CN103336971A - 基于多特征融合与增量学习的多摄像机间的目标匹配方法 - Google Patents
基于多特征融合与增量学习的多摄像机间的目标匹配方法 Download PDFInfo
- Publication number
- CN103336971A CN103336971A CN2013102840150A CN201310284015A CN103336971A CN 103336971 A CN103336971 A CN 103336971A CN 2013102840150 A CN2013102840150 A CN 2013102840150A CN 201310284015 A CN201310284015 A CN 201310284015A CN 103336971 A CN103336971 A CN 103336971A
- Authority
- CN
- China
- Prior art keywords
- feature
- target
- words tree
- histogram
- svm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合与增量学习的多摄像机间的目标匹配方法。本发明中的目标的特征模型是指提取目标的SIFT特征,将该特征量化到已创建好的分层词汇树上,形成分层词汇树直方图特征,提取颜色直方图特征,根据两种直方图特征得到初步融合特征,对融合特征实施核PCA降维,提取出非线性融合特征。目标的分类识别是将多目标非线性融合特征送入多类SVM分类器中进行分类识别。目标模型的在线更新是通过对多类SVM分类器增量学习完成的,当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习不断被更新。本发明融合了目标的词汇树直方图特征和颜色直方图特征,显著提高了目标的识别率。
Description
技术领域
本发明属于计算机视觉中的智能视频监控领域,适用于无重叠域多摄像机视频监控的基于多特征融合和增量学习的目标匹配方法。
背景技术
在大型的视频监控场所(如机场、地铁站、广场等),对于无重叠域的多摄像机环境下的目标持续跟踪,多摄像机间的目标匹配是一个关键步骤。此处目标匹配是指多个目标从一个摄像机视野域内进入另一个摄像机视野域时,系统为该多个目标自动分配对应目标标签的过程。传统多摄像机间的目标匹配方法有基于特征的目标匹配和基于跟踪轨迹的目标匹配,然而无重叠域的视频监控环境下,摄像机间是相对独立的,无需费时复杂的摄像机标定,但是彼此间的空间关系、时间关系以及时间差都是未知的,因此传统的基于跟踪轨迹的起点和终点目标匹配的方法已不再适用。在这种情况下,基于特征的匹配是一种可行的选择。基于特征的匹配是多摄像机目标匹配的一种经典方法。目前提取的目标特征主要有颜色直方图特征、方向梯度直方图特征、SIFT特征等。传统的颜色直方图特征容易受光照变化以及摄像机本身的光学特性的影响,对多类目标的识别能力不强。虽然SIFT特征对图像目标的变形和光照变化具有了较强的适应性,定位精度也比较高,但是当SIFT特征直接用于目标匹配时,从每一帧视频图像中提取的目标SIFT特征点个数比较多,有的多达上千个特征点,而每一个特征点又是一个128维的特征向量,这样当SIFT特征用于分类识别时,会造成匹配速度比较慢,实时性不高。一般来说,目标的特征提取后,目标匹配可以采用基于相似度测量的方法完成匹配,例如传统的欧几里德距离和马哈拉诺比斯距离等相似度测量方法。可是为了能够识别新的目标以及适应目标的形态变化,我们需要学习和更新目标的特征模型。因此,使用分类器的方法并进行增量学习是一种更好的目标匹配方法。增量学习是一种典型的在线机器学习方法,无论新样本何时出现,增量学习都会根据从新样本中学习到的新信息来调整模型。与传统的分类技术相比较,增量学习分类技术具有显著地优越性:首先由于其无须保存历史数据,从而减少存储空间的占用,再次,由于其在新的训练中可以充分利用学习的历史结果,使得学习具有延续性,并且很大程度上减少了后续的训练时间。
发明内容
本发明针对现有技术的不足,提供了一种基于多特征融合与增量学习的多摄像机间的目标匹配方法。
本发明方法的具体步骤是:
步骤(1)构建分层词汇树直方图特征:为了得到目标的分层词汇树特征,首先需要建立一个分层词汇树,然后将目标的SIFT特征量化到词汇树上形成词汇树特征,具体步骤为:
(a)首先对训练图像特征进行K均值聚类,从而将特征集划分成K个分支,然后对每一个分支递归地执行K均值聚类从而得到下一层K个更细的分支,通过层层递归直到最大的层数L,最终创建成一个词汇树; 整个词汇树的节点数M,即视觉单词数为:
其中i表示词汇树的第i层。
(c)为了获得每一个目标图像的词汇树直方图,128维的SIFT特征矢量将使用词汇树中的视觉词汇来量化;当一个目标图像的SIFT特征被提取后,它们只需从上而下在每一层逐个与K个候选的聚类中心做比较,从而选择距离最近的聚类中心;对于一个被给定的目标O,在t时刻它的词汇树直方图特征被表示为:
步骤(3)特征融合:首先使用简单连续特征融合策略将词汇树直方图特征与颜色直方图特征结合;然后使用核PCA算法从融合的特征集中提取出非线性特征,从而将融合的特征集降到一定的维数;具体步骤为:
步骤 (4)分类识别:将最终目标视频帧的融合非线性特征送入多类SVM中进行训练学习,当目标从一个摄像机视野域内进入另外一个摄像机视野域时,利用多类SVM对目标进行分类识别,并标注对应的目标标签,以供交接摄像机对各目标进行准确的跟踪。
步骤(5)目标模型在线更新:当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习被更新;该增量SVM的基本思想是将之前视频帧的所有目标训练样本在保持KKT条件下,扰动新的训练样本;该增量SVM学习方法首先参与修改SVM核函数,然后增量更正之前的结果直到KKT条件满足新的核函数的设置;每一次增量的扰动,将会造成至少一个样本的类别改变,因此当新的样本和增量前的样本都满足KKT条件时,所有的训练样本最终会被分成三个类别,即间隔支持向量,错误支持向量和保留向量;当模型更新后,使用新的目标特征模型,返回步骤(4),利用更新后的特征模型进行分类识别。
本发明的有益效果:该发明由于融合了目标的词汇树直方图特征和颜色直方图特征,显著提高了目标的识别率。该词汇树直方图特征由于是由目标的SIFT特征构建而成,对目标的尺度变化和旋转能够保持不变性,对场景的光照变化具有较强的适应性。该发明对简单连续融合后的特征进行了核PCA降维,有效降低了融合后的特征维数,避免了维数灾难,缩短了目标的识别时间,并且提取出了融合特征中的非线性特征从而消除了因降维而造成的识别率下降。该发明还通过引入增量学习思想对目标特征表示模型实施了在线更新,较好地解决了无重叠域多摄像机视频跟踪中因出现新目标以及原有目标的外观形态发生变化时而造成的匹配失败问题,提高了目标的识别率,满足目标匹配系统的实时性。
具体实施方式
本发明方法包括目标特征的表示和目标模型的在线更新及目标识别三个部分。我们提出的目标匹配方法是将目标的分层词汇树直方图特征,颜色直方图特征与核PCA算法相结合构建一个目标特征表示模型,我们将此模型称之为CVMFH(competitive major feature histogram fusion representation),然后使用该融合特征作为多类SVM分类器的输入特征,进行目标的分类识别。同时我们将增量学习引入视频监控领域,在分类器中融入增量学习思想,构建增量SVM分类器,使得在目标分类识别过程中能够不断的对目标的模型进行在线更新。具体步骤如下:
步骤(1)构建分层词汇树直方图特征:为了得到目标的分层词汇树特征,首先需要建立一个分层词汇树,然后将目标的SIFT特征量化到词汇树上形成词汇树特征,具体步骤为:
(a)首先对训练图像特征进行K均值聚类,从而将特征集划分成K个分支,然后对每一个分支递归地执行K均值聚类从而得到下一层K个更细的分支,通过层层递归直到最大的层数L,最终创建成一个词汇树。 整个词汇树的节点数M,即视觉单词数为:
(1)
(c)为了获得每一个目标图像的词汇树直方图,128维的SIFT特征矢量将使用词汇树中的视觉词汇来量化。当一个目标图像的SIFT特征被提取后,它们只需从上而下在每一层逐个与K个候选的聚类中心做比较,从而选择距离最近的聚类中心。对于一个被给定的目标O,在t时刻它的词汇树直方图特征被表示为:
(3)
(5)
步骤(3)特征融合:首先使用简单连续特征融合策略将词汇树直方图特征与颜色直方图特征结合。然后使用核PCA算法从融合的特征集中提取出非线性特征,从而将融合的特征集降到一定的维数。具体步骤为:
(a)对于一个被给定的目标O,它在t时刻利用连续特征融合策略获得的融合特征向量表示为:
步骤(4)分类识别:将最终目标视频帧的融合非线性特征送入多类SVM中进行训练学习,当目标从一个摄像机视野域内进入另外一个摄像机视野域时,利用多类SVM对目标进行分类识别,并标注对应的目标标签,以供交接摄像机对各目标进行准确的跟踪。
步骤(5)目标模型在线更新:当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习被更新。该增量SVM的基本思想是将之前视频帧的所有目标训练样本在保持KKT条件下,扰动新的训练样本。该方法首先参与修改核函数,然后增量更正之前的结果直到KKT条件满足新的SVM核函数的设置。每一次增量的扰动,将会造成至少一个样本的类别改变,因此当新的样本和增量前的样本都满足KKT条件时,所有的训练样本最终会被分成三个类别,即间隔支持向量,错误支持向量和保留向量。当模型更新后,使用新的目标特征模型,返回步骤(4),利用更新后的特征模型进行分类识别。
Claims (1)
1. 基于多特征融合与增量学习的多摄像机间的目标匹配方法,其特征在于该方法包括以下步骤:
步骤(1)构建分层词汇树直方图特征:为了得到目标的分层词汇树特征,首先需要建立一个分层词汇树,然后将目标的SIFT特征量化到词汇树上形成词汇树特征,具体步骤为:
(a)首先对训练图像特征进行K均值聚类,从而将特征集划分成K个分支,然后对每一个分支递归地执行K均值聚类从而得到下一层K个更细的分支,通过层层递归直到最大的层数L,最终创建成一个词汇树; 整个词汇树的节点数M,即视觉单词数为:
其中i表示词汇树的第i层
(b)当词汇树创建好后,由于不同的树节点对于整个被量化的特征集而言有不同的重要性,为每一个节点分配一个权重
(c)为了获得每一个目标图像的词汇树直方图,128维的SIFT特征矢量将使用词汇树中的视觉词汇来量化;当一个目标图像的SIFT特征被提取后,它们只需从上而下在每一层逐个与K个候选的聚类中心做比较,从而选择距离最近的聚类中心;对于一个被给定的目标O,在t时刻它的词汇树直方图特征被表示为:
(3)
(4)
(a)对于一个被给定的目标O,它在t时刻利用连续特征融合策略获得的融合特征向量表示为:
步骤 (4)分类识别:将最终目标视频帧的融合非线性特征送入多类SVM中进行训练学习,当目标从一个摄像机视野域内进入另外一个摄像机视野域时,利用多类SVM对目标进行分类识别,并标注对应的目标标签,以供交接摄像机对各目标进行准确的跟踪;
步骤 (5) 目标模型在线更新:当摄像机视野域内出现新目标以及目标的外观形态发生较大变化时,目标模型通过增量SVM学习被更新;该增量SVM的基本思想是将之前视频帧的所有目标训练样本在保持KKT条件下,扰动新的训练样本;该增量SVM学习方法首先参与修改SVM的核函数,然后增量更正之前的结果直到KKT条件满足新的核函数的设置;每一次增量的扰动,将会造成至少一个样本的类别改变,因此当新的样本和增量前的样本都满足KKT条件时,所有的训练样本最终会被分成三个类别,即间隔支持向量,错误支持向量和保留向量;当模型更新后,使用新的目标特征模型,返回步骤(4),利用更新后的特征模型进行分类识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310284015.0A CN103336971B (zh) | 2013-07-08 | 2013-07-08 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310284015.0A CN103336971B (zh) | 2013-07-08 | 2013-07-08 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103336971A true CN103336971A (zh) | 2013-10-02 |
CN103336971B CN103336971B (zh) | 2016-08-10 |
Family
ID=49245128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310284015.0A Active CN103336971B (zh) | 2013-07-08 | 2013-07-08 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103336971B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984953A (zh) * | 2014-04-23 | 2014-08-13 | 浙江工商大学 | 基于多特征融合与Boosting决策森林的街景图像的语义分割方法 |
CN104239898A (zh) * | 2014-09-05 | 2014-12-24 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
CN104299003A (zh) * | 2014-11-02 | 2015-01-21 | 天津理工大学 | 一种基于相似规则高斯核函数分类器的步态识别方法 |
CN104794179A (zh) * | 2015-04-07 | 2015-07-22 | 无锡天脉聚源传媒科技有限公司 | 一种基于知识树的视频快速标引方法及装置 |
CN106844733A (zh) * | 2017-02-13 | 2017-06-13 | 哈尔滨理工大学 | 基于词汇树信息融合与豪斯多夫距离结合的图像检索方法 |
CN108710915A (zh) * | 2018-05-22 | 2018-10-26 | 合肥工业大学 | 基于多核学习的多特征融合胃镜图像处理方法 |
CN109271883A (zh) * | 2018-08-28 | 2019-01-25 | 武汉科技大学 | 一种融合学习机制的目标跟踪方法 |
CN112766151A (zh) * | 2021-01-19 | 2021-05-07 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
CN117876538A (zh) * | 2024-03-11 | 2024-04-12 | 成都环境工程建设有限公司 | 一种垃圾发电厂可视化管理方法及系统 |
CN117876538B (zh) * | 2024-03-11 | 2024-05-31 | 成都环境工程建设有限公司 | 一种垃圾发电厂可视化管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040111453A1 (en) * | 2002-12-06 | 2004-06-10 | Harris Christopher K. | Effective multi-class support vector machine classification |
CN101329765A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 多摄像机目标匹配特征融合方法 |
-
2013
- 2013-07-08 CN CN201310284015.0A patent/CN103336971B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040111453A1 (en) * | 2002-12-06 | 2004-06-10 | Harris Christopher K. | Effective multi-class support vector machine classification |
CN101329765A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 多摄像机目标匹配特征融合方法 |
Non-Patent Citations (2)
Title |
---|
CLEMENS ARTH等: "OBJECT REACQUISITION AND TRACKING IN LARGE-SCALE SMART CAMERA NETWORKS", 《IEEE》, 31 December 2007 (2007-12-31), pages 156 - 163 * |
明安龙 等: "多摄像机之间基于区域SIFT描述子的目标匹配", 《计算机学报》, vol. 31, no. 4, 30 April 2008 (2008-04-30), pages 650 - 661 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984953B (zh) * | 2014-04-23 | 2017-06-06 | 浙江工商大学 | 基于多特征融合与Boosting决策森林的街景图像的语义分割方法 |
CN103984953A (zh) * | 2014-04-23 | 2014-08-13 | 浙江工商大学 | 基于多特征融合与Boosting决策森林的街景图像的语义分割方法 |
CN104239898A (zh) * | 2014-09-05 | 2014-12-24 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
CN104239898B (zh) * | 2014-09-05 | 2017-07-14 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
CN104299003A (zh) * | 2014-11-02 | 2015-01-21 | 天津理工大学 | 一种基于相似规则高斯核函数分类器的步态识别方法 |
CN104299003B (zh) * | 2014-11-02 | 2018-08-03 | 天津理工大学 | 一种基于相似规则高斯核函数分类器的步态识别方法 |
CN104794179B (zh) * | 2015-04-07 | 2018-11-20 | 无锡天脉聚源传媒科技有限公司 | 一种基于知识树的视频快速标引方法及装置 |
CN104794179A (zh) * | 2015-04-07 | 2015-07-22 | 无锡天脉聚源传媒科技有限公司 | 一种基于知识树的视频快速标引方法及装置 |
CN111368126A (zh) * | 2017-02-13 | 2020-07-03 | 哈尔滨理工大学 | 一种面向图像检索的生成方法 |
CN106844733B (zh) * | 2017-02-13 | 2020-04-03 | 哈尔滨理工大学 | 基于词汇树信息融合与豪斯多夫距离结合的图像检索方法 |
CN106844733A (zh) * | 2017-02-13 | 2017-06-13 | 哈尔滨理工大学 | 基于词汇树信息融合与豪斯多夫距离结合的图像检索方法 |
CN111368126B (zh) * | 2017-02-13 | 2022-06-07 | 哈尔滨理工大学 | 一种面向图像检索的生成方法 |
CN108710915A (zh) * | 2018-05-22 | 2018-10-26 | 合肥工业大学 | 基于多核学习的多特征融合胃镜图像处理方法 |
CN108710915B (zh) * | 2018-05-22 | 2020-09-18 | 合肥工业大学 | 基于多核学习的多特征融合胃镜图像处理方法 |
CN109271883A (zh) * | 2018-08-28 | 2019-01-25 | 武汉科技大学 | 一种融合学习机制的目标跟踪方法 |
CN112766151A (zh) * | 2021-01-19 | 2021-05-07 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
CN112766151B (zh) * | 2021-01-19 | 2022-07-12 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
CN117876538A (zh) * | 2024-03-11 | 2024-04-12 | 成都环境工程建设有限公司 | 一种垃圾发电厂可视化管理方法及系统 |
CN117876538B (zh) * | 2024-03-11 | 2024-05-31 | 成都环境工程建设有限公司 | 一种垃圾发电厂可视化管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103336971B (zh) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103336971A (zh) | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 | |
CN109583482B (zh) | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 | |
Qian et al. | Robust Chinese traffic sign detection and recognition with deep convolutional neural network | |
CN107247956B (zh) | 一种基于网格判断的快速目标检测方法 | |
WO2018137358A1 (zh) | 基于深度度量学习的目标精确检索方法 | |
CN110414462A (zh) | 一种无监督的跨域行人重识别方法及系统 | |
CN107145862B (zh) | 一种基于霍夫森林的多特征匹配多目标跟踪方法 | |
CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
CN109583375B (zh) | 一种多特征融合的人脸图像光照识别方法及系统 | |
CN108416270B (zh) | 一种基于多属性联合特征的交通标志识别方法 | |
WO2022062419A1 (zh) | 基于非督导金字塔相似性学习的目标重识别方法及系统 | |
CN105930792A (zh) | 一种基于视频局部特征字典的人体动作分类方法 | |
Symeonidis et al. | Neural attention-driven non-maximum suppression for person detection | |
Han et al. | A novel loop closure detection method with the combination of points and lines based on information entropy | |
Yuan et al. | Fast QR code detection based on BING and AdaBoost-SVM | |
CN116738271A (zh) | 基于雷达与视频融合的目标自主识别分类方法、系统 | |
CN113743251B (zh) | 一种基于弱监督场景的目标搜索方法及装置 | |
Chen et al. | A survey on visual place recognition for mobile robots localization | |
Zou et al. | Research on human movement target recognition algorithm in complex traffic environment | |
Zuo et al. | An attention-based lightweight residual network for plant disease recognition | |
Zhang et al. | Unsound wheat kernel recognition based on deep convolutional neural network transfer learning and feature fusion | |
Guo et al. | Cascaded convolutional neural networks for object detection | |
He et al. | Ensemble of multiple descriptors for automatic image annotation | |
Azam et al. | Relationship aware context adaptive feature selection framework for image parsing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |