CN103336971B - 基于多特征融合与增量学习的多摄像机间的目标匹配方法 - Google Patents
基于多特征融合与增量学习的多摄像机间的目标匹配方法 Download PDFInfo
- Publication number
- CN103336971B CN103336971B CN201310284015.0A CN201310284015A CN103336971B CN 103336971 B CN103336971 B CN 103336971B CN 201310284015 A CN201310284015 A CN 201310284015A CN 103336971 B CN103336971 B CN 103336971B
- Authority
- CN
- China
- Prior art keywords
- feature
- target
- words tree
- fusion
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000005352 clarification Methods 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合与增量学习的多摄像机间的目标匹配方法。本发明中的目标的特征模型是指提取目标的SIFT特征,将该特征量化到已创建好的分层词汇树上,形成分层词汇树直方图特征,提取颜色直方图特征,根据两种直方图特征得到初步融合特征,对融合特征实施核PCA降维,提取出非线性融合特征。目标的分类识别是将多目标非线性融合特征送入多类SVM分类器中进行分类识别。目标模型的在线更新是通过对多类SVM分类器增量学习完成的,当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习不断被更新。本发明融合了目标的词汇树直方图特征和颜色直方图特征,显著提高了目标的识别率。
Description
技术领域
本发明属于计算机视觉中的智能视频监控领域,适用于无重叠域多摄像机视频监控的基于多特征融合和增量学习的目标匹配方法。
背景技术
在大型的视频监控场所(如机场、地铁站、广场等),对于无重叠域的多摄像机环境下的目标持续跟踪,多摄像机间的目标匹配是一个关键步骤。此处目标匹配是指多个目标从一个摄像机视野域内进入另一个摄像机视野域时,系统为该多个目标自动分配对应目标标签的过程。传统多摄像机间的目标匹配方法有基于特征的目标匹配和基于跟踪轨迹的目标匹配,然而无重叠域的视频监控环境下,摄像机间是相对独立的,无需费时复杂的摄像机标定,但是彼此间的空间关系、时间关系以及时间差都是未知的,因此传统的基于跟踪轨迹的起点和终点目标匹配的方法已不再适用。在这种情况下,基于特征的匹配是一种可行的选择。基于特征的匹配是多摄像机目标匹配的一种经典方法。目前提取的目标特征主要有颜色直方图特征、方向梯度直方图特征、SIFT特征等。传统的颜色直方图特征容易受光照变化以及摄像机本身的光学特性的影响,对多类目标的识别能力不强。虽然SIFT特征对图像目标的变形和光照变化具有了较强的适应性,定位精度也比较高,但是当SIFT特征直接用于目标匹配时,从每一帧视频图像中提取的目标SIFT特征点个数比较多,有的多达上千个特征点,而每一个特征点又是一个128维的特征向量,这样当SIFT特征用于分类识别时,会造成匹配速度比较慢,实时性不高。一般来说,目标的特征提取后,目标匹配可以采用基于相似度测量的方法完成匹配,例如传统的欧几里德距离和马哈拉诺比斯距离等相似度测量方法。可是为了能够识别新的目标以及适应目标的形态变化,我们需要学习和更新目标的特征模型。因此,使用分类器的方法并进行增量学习是一种更好的目标匹配方法。增量学习是一种典型的在线机器学习方法,无论新样本何时出现,增量学习都会根据从新样本中学习到的新信息来调整模型。与传统的分类技术相比较,增量学习分类技术具有显著地优越性:首先由于其无须保存历史数据,从而减少存储空间的占用,再次,由于其在新的训练中可以充分利用学习的历史结果,使得学习具有延续性,并且很大程度上减少了后续的训练时间。
发明内容
本发明针对现有技术的不足,提供了一种基于多特征融合与增量学习的多摄像机间的目标匹配方法。
本发明方法的具体步骤是:
步骤(1)构建分层词汇树直方图特征:为了得到目标的分层词汇树特征,首先需要建立一个分层词汇树,然后将目标的SIFT特征量化到词汇树上形成词汇树特征,具体步骤为:
(a)首先对训练图像特征进行K均值聚类,从而将特征集划分成K个分支,然后对每一个分支递归地执行K均值聚类从而得到下一层K个更细的分支,通过层层递归直到最大的层数L,最终创建成一个词汇树; 整个词汇树的节点数M,即视觉单词数为:
(1)
其中i表示词汇树的第i层。
(b)当词汇树创建好后,由于不同的树节点对于整个被量化的特征集而言有不同的重要性,为每一个节点分配一个权重
(2)
其中N是模型中图像的个数, 是至少有一个图像的描述算子特征矢量经过节点i的图像个数。
(c)为了获得每一个目标图像的词汇树直方图,128维的SIFT特征矢量将使用词汇树中的视觉词汇来量化;当一个目标图像的SIFT特征被提取后,它们只需从上而下在每一层逐个与K个候选的聚类中心做比较,从而选择距离最近的聚类中心;对于一个被给定的目标O,在t时刻它的词汇树直方图特征被表示为:
(3)
其中M是整个词汇树中的视觉单词个数,即节点个数,由公式(1)计算出来;为加权的单词直方图;
(4)
其中是路径节点i的SIFT描述算子特征矢量的个数,由公式(2)计算得到。
步骤(2)构建颜色直方图特征:由于 HSV空间更加接近于人们对颜色的主观认识,在目标图像的HSV空间上提取目标的颜色直方图特征;对于被给定的目标O,它在t时刻的HSV颜色直方图特征可以表示为:
(5)
其中表示HSV每一级别的值;
步骤(3)特征融合:首先使用简单连续特征融合策略将词汇树直方图特征与颜色直方图特征结合;然后使用核PCA算法从融合的特征集中提取出非线性特征,从而将融合的特征集降到一定的维数;具体步骤为:
(a)对于一个被给定的目标O,它在t时刻利用连续特征融合策略获得的融合特征向量表示为:
(6)
(b)将特征向量映射到一个高维的特征空间,然后在上实施PCA算法,从而获得最终的非线性特征;在特征映射到高维空间过程中,使用了高斯核函数。
步骤 (4)分类识别:将最终目标视频帧的融合非线性特征送入多类SVM中进行训练学习,当目标从一个摄像机视野域内进入另外一个摄像机视野域时,利用多类SVM对目标进行分类识别,并标注对应的目标标签,以供交接摄像机对各目标进行准确的跟踪。
步骤(5)目标模型在线更新:当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习被更新;该增量SVM的基本思想是将之前视频帧的所有目标训练样本在保持KKT条件下,扰动新的训练样本;该增量SVM学习方法首先参与修改SVM核函数,然后增量更正之前的结果直到KKT条件满足新的核函数的设置;每一次增量的扰动,将会造成至少一个样本的类别改变,因此当新的样本和增量前的样本都满足KKT条件时,所有的训练样本最终会被分成三个类别,即间隔支持向量,错误支持向量和保留向量;当模型更新后,使用新的目标特征模型,返回步骤(4),利用更新后的特征模型进行分类识别。
本发明的有益效果:该发明由于融合了目标的词汇树直方图特征和颜色直方图特征,显著提高了目标的识别率。该词汇树直方图特征由于是由目标的SIFT特征构建而成,对目标的尺度变化和旋转能够保持不变性,对场景的光照变化具有较强的适应性。该发明对简单连续融合后的特征进行了核PCA降维,有效降低了融合后的特征维数,避免了维数灾难,缩短了目标的识别时间,并且提取出了融合特征中的非线性特征从而消除了因降维而造成的识别率下降。该发明还通过引入增量学习思想对目标特征表示模型实施了在线更新,较好地解决了无重叠域多摄像机视频跟踪中因出现新目标以及原有目标的外观形态发生变化时而造成的匹配失败问题,提高了目标的识别率,满足目标匹配系统的实时性。
具体实施方式
本发明方法包括目标特征的表示和目标模型的在线更新及目标识别三个部分。我们提出的目标匹配方法是将目标的分层词汇树直方图特征,颜色直方图特征与核PCA算法相结合构建一个目标特征表示模型,我们将此模型称之为CVMFH(competitive majorfeature histogram fusion representation),然后使用该融合特征作为多类SVM分类器的输入特征,进行目标的分类识别。同时我们将增量学习引入视频监控领域,在分类器中融入增量学习思想,构建增量SVM分类器,使得在目标分类识别过程中能够不断的对目标的模型进行在线更新。具体步骤如下:
步骤(1)构建分层词汇树直方图特征:为了得到目标的分层词汇树特征,首先需要建立一个分层词汇树,然后将目标的SIFT特征量化到词汇树上形成词汇树特征,具体步骤为:
(a)首先对训练图像特征进行K均值聚类,从而将特征集划分成K个分支,然后对每一个分支递归地执行K均值聚类从而得到下一层K个更细的分支,通过层层递归直到最大的层数L,最终创建成一个词汇树。 整个词汇树的节点数M,即视觉单词数为:
(1)
(b)当词汇树创建好后,由于不同的树节点对于整个被量化的特征集而言有不同的重要性,我们为每一个节点分配一个权重
(2)
其中N是模型中图像的个数, 是至少有一个图像的描述算子特征矢量经过节点i的图像个数。
(c)为了获得每一个目标图像的词汇树直方图,128维的SIFT特征矢量将使用词汇树中的视觉词汇来量化。当一个目标图像的SIFT特征被提取后,它们只需从上而下在每一层逐个与K个候选的聚类中心做比较,从而选择距离最近的聚类中心。对于一个被给定的目标O,在t时刻它的词汇树直方图特征被表示为:
(3)
其中M是整个词汇树中的视觉单词个数,即节点个数,由公式(1)计算出来。为加权的单词直方图。
(4)
其中是路径节点i的SIFT描述算子特征矢量的个数,由公式(2)计算得到。
步骤(2)构建颜色直方图特征:由于 HSV空间更加接近于人们对颜色的主观认识,我们在目标图像的HSV空间上提取目标的颜色直方图特征。对于被给定的目标O,它在t时刻的HSV颜色直方图特征可以表示为:
(5)
其中表示HSV每一级别的值。
步骤(3)特征融合:首先使用简单连续特征融合策略将词汇树直方图特征与颜色直方图特征结合。然后使用核PCA算法从融合的特征集中提取出非线性特征,从而将融合的特征集降到一定的维数。具体步骤为:
(a)对于一个被给定的目标O,它在t时刻利用连续特征融合策略获得的融合特征向量表示为:
(6)
(b)将特征向量映射到一个高维的特征空间,然后在上实施PCA算法, 从而获得最终的非线性特征。在特征映射到高维空间过程中,本发明使用了被广泛使用的高斯核函数。
步骤(4)分类识别:将最终目标视频帧的融合非线性特征送入多类SVM中进行训练学习,当目标从一个摄像机视野域内进入另外一个摄像机视野域时,利用多类SVM对目标进行分类识别,并标注对应的目标标签,以供交接摄像机对各目标进行准确的跟踪。
步骤(5)目标模型在线更新:当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习被更新。该增量SVM的基本思想是将之前视频帧的所有目标训练样本在保持KKT条件下,扰动新的训练样本。该方法首先参与修改核函数,然后增量更正之前的结果直到KKT条件满足新的SVM核函数的设置。每一次增量的扰动,将会造成至少一个样本的类别改变,因此当新的样本和增量前的样本都满足KKT条件时,所有的训练样本最终会被分成三个类别,即间隔支持向量,错误支持向量和保留向量。当模型更新后,使用新的目标特征模型,返回步骤(4),利用更新后的特征模型进行分类识别。
Claims (1)
1.基于多特征融合与增量学习的多摄像机间的目标匹配方法,其特征在于该方法包括以下步骤:
步骤(1)构建分层词汇树直方图特征:为了得到目标的分层词汇树特征,首先需要建立一个分层词汇树,然后将目标的SIFT特征量化到词汇树上形成词汇树特征,具体步骤为:
(a)首先对训练图像特征进行K均值聚类,从而将特征集划分成K个分支,然后对每一个分支递归地执行K均值聚类从而得到下一层K个更细的分支,通过层层递归直到最大的层数L,最终创建成一个词汇树;整个词汇树的节点数M,即视觉单词数为:
其中v表示词汇树的第v层;
(b)当词汇树创建好后,由于不同的树节点对于整个被量化的特征集而言有不同的重要性,为每一个节点分配一个权重Wi
其中N是模型中图像的个数,Ni是至少有一个图像的描述算子特征矢量经过节点i的图像个数;
(c)为了获得每一个目标图像的词汇树直方图,128维的SIFT特征矢量将使用词汇树中的视觉词汇来量化;当一个目标图像的SIFT特征被提取后,它们只需从上而下在每一层逐个与K个候选的聚类中心做比较,从而选择距离最近的聚类中心;对于一个被给定的目标O,在t时刻它的词汇树直方图特征Vt o被表示为:
Vt o={x1,x2,x3...xi},i∈1,...M (3)
其中M是整个词汇树中的视觉单词个数,即节点个数,由公式(1)计算出来;xi为加权的单词直方图;
xi=niWi (4)
其中ni是路径节点i的SIFT描述算子特征矢量的个数,Wi由公式(2)计算得到;
步骤(2)构建颜色直方图特征:由于HSV空间更加接近于人们对颜色的主观认识,在目标图像的HSV空间上提取目标的颜色直方图特征;对于被给定的目标O,它在t时刻的HSV颜色直方图特征表示为:
其中yj表示HSV每一级别的值;
步骤(3)特征融合:首先使用简单连续特征融合策略将词汇树直方图特征与颜色直方图特征结合;然后使用核PCA算法从融合的特征集中提取出非线性特征,从而将融合的特征集降低维数;具体步骤为:
(a)对于一个被给定的目标O,它在t时刻利用连续特征融合策略获得的融合特征向量Ft o表示为:
(b)将特征向量Ft o映射到一个高维的特征空间K(Ft o),然后在K(Ft o)上实施PCA算法,从而获得最终的非线性特征在特征映射到高维空间过程中,使用了高斯核函数;
步骤(4)分类识别:将最终目标视频帧的融合非线性特征送入多类SVM中进行训练学习,当目标从一个摄像机视野域内进入另外一个摄像机视野域时,利用多类SVM对目标进行分类识别,并标注对应的目标标签,以供交接摄像机对各目标进行准确的跟踪;
步骤(5)目标模型在线更新:当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习被更新;该增量SVM的基本思想是将之前视频帧的所有目标训练样本在保持KKT条件下,扰动新的训练样本;该增量SVM学习方法首先参与修改SVM的核函数,然后增量更正之前的结果直到KKT条件满足新的核函数的设置;每一次增量的扰动,将会造成至少一个样本的类别改变,因此当新的样本和增量前的样本都满足KKT条件时,所有的训练样本最终会被分成三个类别,即间隔支持向量,错误支持向量和保留向量;当模型更新后,使用新的目标特征模型,返回步骤(4),利用更新后的特征模型进行分类识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310284015.0A CN103336971B (zh) | 2013-07-08 | 2013-07-08 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310284015.0A CN103336971B (zh) | 2013-07-08 | 2013-07-08 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103336971A CN103336971A (zh) | 2013-10-02 |
CN103336971B true CN103336971B (zh) | 2016-08-10 |
Family
ID=49245128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310284015.0A Expired - Fee Related CN103336971B (zh) | 2013-07-08 | 2013-07-08 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103336971B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984953B (zh) * | 2014-04-23 | 2017-06-06 | 浙江工商大学 | 基于多特征融合与Boosting决策森林的街景图像的语义分割方法 |
CN104239898B (zh) * | 2014-09-05 | 2017-07-14 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
CN104299003B (zh) * | 2014-11-02 | 2018-08-03 | 天津理工大学 | 一种基于相似规则高斯核函数分类器的步态识别方法 |
CN104794179B (zh) * | 2015-04-07 | 2018-11-20 | 无锡天脉聚源传媒科技有限公司 | 一种基于知识树的视频快速标引方法及装置 |
CN111368125B (zh) * | 2017-02-13 | 2022-06-10 | 哈尔滨理工大学 | 一种面向图像检索的距离度量方法 |
CN108710915B (zh) * | 2018-05-22 | 2020-09-18 | 合肥工业大学 | 基于多核学习的多特征融合胃镜图像处理方法 |
CN109271883A (zh) * | 2018-08-28 | 2019-01-25 | 武汉科技大学 | 一种融合学习机制的目标跟踪方法 |
CN112766151B (zh) * | 2021-01-19 | 2022-07-12 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
CN117876538B (zh) * | 2024-03-11 | 2024-05-31 | 成都环境工程建设有限公司 | 一种垃圾发电厂可视化管理方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329765A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 多摄像机目标匹配特征融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7386527B2 (en) * | 2002-12-06 | 2008-06-10 | Kofax, Inc. | Effective multi-class support vector machine classification |
-
2013
- 2013-07-08 CN CN201310284015.0A patent/CN103336971B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329765A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 多摄像机目标匹配特征融合方法 |
Non-Patent Citations (2)
Title |
---|
OBJECT REACQUISITION AND TRACKING IN LARGE-SCALE SMART CAMERA NETWORKS;Clemens Arth等;《IEEE》;20071231;第156-163页 * |
多摄像机之间基于区域SIFT描述子的目标匹配;明安龙 等;《计算机学报》;20080430;第31卷(第4期);第650-661页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103336971A (zh) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103336971B (zh) | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 | |
Maheswari et al. | Intelligent fruit yield estimation for orchards using deep learning based semantic segmentation techniques—a review | |
Qian et al. | Robust Chinese traffic sign detection and recognition with deep convolutional neural network | |
CN107247956B (zh) | 一种基于网格判断的快速目标检测方法 | |
Dong et al. | Deep metric learning-based for multi-target few-shot pavement distress classification | |
CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN103116762B (zh) | 一种基于自调制字典学习的图像分类方法 | |
Mao et al. | Finding every car: a traffic surveillance multi-scale vehicle object detection method | |
US20190108399A1 (en) | Video action localization from proposal-attention | |
CN106096602A (zh) | 一种基于卷积神经网络的中文车牌识别方法 | |
CN104021375A (zh) | 一种基于机器学习的车型识别方法 | |
CN106709528A (zh) | 基于多目标函数深度学习的车辆重识别方法及装置 | |
CN105825233A (zh) | 一种基于在线学习随机蕨分类器的行人检测方法 | |
Yadav et al. | Implementation of robust HOG-SVM based pedestrian classification | |
Xiao et al. | Traffic sign detection based on histograms of oriented gradients and boolean convolutional neural networks | |
Symeonidis et al. | Neural attention-driven non-maximum suppression for person detection | |
Zhu et al. | Visual place recognition in long-term and large-scale environment based on CNN feature | |
CN114818963B (zh) | 一种基于跨图像特征融合的小样本检测方法 | |
Yin | Object Detection Based on Deep Learning: A Brief Review | |
Hasegawa et al. | Robust detection and recognition of japanese traffic sign in the complex scenes based on deep learning | |
Sun et al. | Exploiting deeply supervised inception networks for automatically detecting traffic congestion on freeway in China using ultra-low frame rate videos | |
Chen et al. | Deep-learning-based road crack detection frameworks for dashcam-captured images under different illumination conditions | |
Dongtao et al. | Traffic sign detection method of improved ssd based on deep learning | |
Xiang et al. | Safety helmet detection algorithm in complex scenarios based on YOLOX | |
Huang et al. | A unified hierarchical convolutional neural network for fine-grained traffic sign detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160810 |