CN103984955B - 基于显著性特征和迁移增量学习的多摄像机目标识别方法 - Google Patents
基于显著性特征和迁移增量学习的多摄像机目标识别方法 Download PDFInfo
- Publication number
- CN103984955B CN103984955B CN201410165717.1A CN201410165717A CN103984955B CN 103984955 B CN103984955 B CN 103984955B CN 201410165717 A CN201410165717 A CN 201410165717A CN 103984955 B CN103984955 B CN 103984955B
- Authority
- CN
- China
- Prior art keywords
- region
- features
- migration
- rightarrow
- sigma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013508 migration Methods 0.000 title claims abstract description 13
- 230000005012 migration Effects 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 3
- 238000005352 clarification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于显著特征和迁移增量学习的多摄像机目标识别方法,包括如下步骤:步骤1提取灰度直方图特征并归一化,步骤2提取显著性特征,步骤3特征融合,步骤4分类识别。本发明融合显著性特征和灰度直方图特征构造目标的外观特征模型,采用基于迁移增量学习的方法作为分类器,在摄像机之间时空关联信息未知,无需摄像机标定的情况下,解决了摄像机视野不重叠时的目标识别问题。本发明的特点主要有一下两点:1)仅需要少量的训练样本,就能得到一个高效、鲁棒的目标识别模型;2)能够准确地识别新的目标。本发明适用于实时的无重叠域多摄像机长距离目标跟踪。
Description
技术领域
本发明属于计算机视觉中的智能视频监控领域,适用于实时的无重叠域多摄像机长距离目标跟踪。
背景技术
可视化跟踪是计算机视觉应用的一个重要课题,如智能视频监控、人机交互和增强现实等。这个问题可以容易的表示为从视频序列的第一帧识别出一些特定的目标,并在之后的视频序列中跟踪他们。然而,一些实际的情况,使得这个问题变得非常具有挑战性。首先,由于一个单一的摄像机视野有限,很难进行大范围监测。很多跟踪系统利用多个摄像头共同对目标进行跟踪。但是,由于经济和计算的原因,这些摄像机的视野都是不重叠的。然而无重叠域的视频监控环境下,每个摄像机之间是相对独立的,不需要复杂的摄像机标定,但是彼此间的空间关系、时间关系以及时间差都是未知的,也就是说,不同摄像机之间的跟踪信息是不连续的。因此传统的基于跟踪轨迹的方法已不再适用。其次,另一个难点就是,摄像机捕捉到的目标,由于摄像机不同的参数、噪声、遮挡、目标运动、光照等,导致所捕获的目标外观不同。基于特征的目标跟踪方法是多摄像机目标匹配的一种经典方法。大多数都是使用图像的外观特征,例如颜色、边缘、纹理等。然而,这些特征都对光照变化和几何变形很敏感。当然,有些问题已经被很好的解决了,例如SIFT特征,能够鲁棒地处理光照变化和尺度变化等,同时能够对目标进行精确的匹配。显著性特征能够很好的表示出引起人眼注意的视频区域。它源于视觉的独特性、不可预测性以及奇异性,并且由颜色、梯度、边缘等图像属性所致。一般来说,目标的特征提取后,目标匹配可以采用基于相似度测量的方法完成匹配,例如传统的欧几里德距离和马哈拉诺比斯距离等相似度测量方法。可是为了能够识别新的目标以及适应目标的形态变化,我们需要学习和更新目标的特征模型。迁移增量学习方法与显著性特征结合,不仅能够从少量的样本中,高效地学习到识别率很高的特征模型,还能识别新的目标。
发明内容
本发明针对现有技术的不足,提供了一种基于显著性特征和迁移增量学习的多摄像机目标识别方法。
基于显著特征和迁移增量学习的多摄像机目标识别方法,包括以下步:
步骤1提取灰度直方图特征并归一化:
p(rk)=nk/MN
其中rk是第k级灰度级,nk是图像中灰度为rk的像素个数,M和N分别为图像的行和列的维数,p(rk)是灰度级rk在图像中出现的概率;灰度直方图特征:
步骤2提取显著性特征:显著性特征是基于区域对比度的视觉显著性区域检测算法,同时考虑了全局对比度和空间相干性;其步骤如下,
(2.1)计算图像像素显著值,得到显著图像;这里采用带权值的区域对比度方法,来增强区域的空间影响效果,简单地说,就是近邻的区域影响增大,较远的区域影响减小,对于任意区域rk,显著性值定义为:
其中,ω(ri)为区域ri的权值,Ds(rk,ri)为区域rk和ri的空间距离,Dr(rk,ri)为两个区域rk和ri的颜色距离:
其中,f(ck,i)为第i个颜色ck,i在第k个区域rk的所有nk种颜色中出现的概率;
(2.2)将显著性图像转换为特征向量;用pi,j表示(a)中显著性图像的第i行,第j列的像素。显著性特征向量:
其中,M和N分别表示为显著性图行和列的维数;
(2.3)显著性特征向量归一化;
步骤3特征融合:将上述步骤(2.1)(2.2)得到的两个特征向量合并在一起,得到:
步骤4分类识别:采用迁移增量学习的方法,基于LSSVM算法的改进,其核心是求解:
其中,W′=[w′1,…w′N,]表示是由源样本经过LSSVM方法得到的超平面,W=[w1,…,wN]表示由训练样本经过上面公式得到的超平面;wN,w′N表示从N个类别里面分离出一个来的超平面;β是每个源模型的权重系数;Y是类别标签矩阵,bn是常量,||*||F表示弗罗宾尼斯范数。
本发明的有益效果:该发明使用了显著性特征和灰度直方图特征作为特征模型,利用迁移增量学习的方法作为分类器,得到了一个只需要少量训练样本就能有极高识别率的模型。所使用的显著性特征具有简单、高效、正确率高的特点。同时,使用灰度直方图特征作为辅助,优化模型,使之误判率下降。不仅如此,采用的分类器是一种增量的学习方法,该方法能够有效提高模型的学习效率,也更适应在实际中的应用。
附图说明
图1是本发明的流程图
具体实施方式
本发明方法包括目标特征的表示和目标识别两个部分。我们提出了将显著性特征和灰度直方图特征融合在一起,构建一个目标特征模型,然后使用该融合特征作为迁移增量学习方法输入特征,进行目标的分类识别。本发明方法的具体步骤是:
步骤1提取灰度直方图特征并归一化:
p(rk)=nk/MN
其中rk是第k级灰度级,nk是图像中灰度为rk的像素个数,M和N分别为图像的行和列的维数,p(rk)是灰度级rk在图像中出现的概率;灰度直方图特征:
步骤2提取显著性特征:显著性特征是基于区域对比度的视觉显著性区域检测算法,同时考虑了全局对比度和空间相干性;其步骤如下,
(2.1)计算图像像素显著值,得到显著图像;这里采用带权值的区域对比度方法,来增强区域的空间影响效果,简单地说,就是近邻的区域影响增大,较远的区域影响减小,对于任意区域rk,显著性值定义为:
其中,ω(ri)为区域ri的权值,Ds(rk,ri)为区域rk和ri的空间距离,Dr(rk,ri)为两个区域rk和ri的颜色距离:
其中,f(ck,i)为第i个颜色ck,i在第k个区域rk的所有nk种颜色中出现的概率;
(2.2)将显著性图像转换为特征向量;用pi,j表示(a)中显著性图像的第i行,第j列的像素。显著性特征向量:
其中,M和N分别表示为显著性图行和列的维数;
(2.3)显著性特征向量归一化;
步骤3特征融合:将上述步骤(2.1)(2.2)得到的两个特征向量合并在一起,得到:
步骤4分类识别:采用迁移增量学习的方法,基于LSSVM算法的改进,其核心是求解:
其中,W′=[w′1,…w′N,]表示是由源样本经过LSSVM方法得到的超平面,W=[w1,…,wN]表示由训练样本经过上面公式得到的超平面;wN,w′N表示从N个类别里面分离出一个来的超平面;β是每个源模型的权重系数;Y是类别标签矩阵,bn是常量,||*||F表示弗罗宾尼斯范数。
Claims (1)
1.基于显著特征和迁移增量学习的多摄像机目标识别方法,包括以下步:
步骤1提取灰度直方图特征并归一化:
p(rk)=nk/MN
其中rk是第k级灰度级,nk是图像中灰度为rk的像素个数,M和N分别为图像的行和列的维数,p(rk)是灰度级rk在图像中出现的概率;灰度直方图特征:
步骤2提取显著性特征:显著性特征是基于区域对比度的视觉显著性区域检测算法,同时考虑了全局对比度和空间相干性;其步骤如下,
(2.1)计算图像像素显著值,得到显著图像;这里采用带权值的区域对比度方法,来增强区域的空间影响效果,简单地说,就是近邻的区域影响增大,较远的区域影响减小,对于任意区域rk,显著性值定义为:
其中,ω(ri)为区域ri的权值,Ds(rk,ri)为区域rk和ri的空间距离,Dr(rk,ri)为两个区域rk和ri的颜色距离:
其中,f(ck,i)为第i个颜色ck,i在第k个区域rk的所有nk种颜色中出现的概率;
(2.2)将显著性图像转换为特征向量;用pi,j表示(2.1)中显著性图像的第i行,第j列的像素;显著性特征向量:
其中,M和N分别表示为显著性图行和列的维数;
(2.3)显著性特征向量归一化;
步骤3特征融合:将上述步骤(2.1)(2.2)得到的两个特征向量合并在一起,得到:
步骤4分类识别:采用迁移增量学习的方法,基于LSSVM算法的改进,其核心是求解:
其中,W′=[w′1,…w′N]表示是由源样本经过LSSVM方法得到的超平面,W=[w1,…,wN]表示由训练样本经过上面公式得到的超平面;wN,w′N表示从N个类别里面分离出一个来的超平面;β是每个源模型的权重系数;Y是类别标签矩阵,bn是常量,||*||F表示弗罗宾尼斯范数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410165717.1A CN103984955B (zh) | 2014-04-23 | 2014-04-23 | 基于显著性特征和迁移增量学习的多摄像机目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410165717.1A CN103984955B (zh) | 2014-04-23 | 2014-04-23 | 基于显著性特征和迁移增量学习的多摄像机目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103984955A CN103984955A (zh) | 2014-08-13 |
CN103984955B true CN103984955B (zh) | 2017-02-22 |
Family
ID=51276917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410165717.1A Expired - Fee Related CN103984955B (zh) | 2014-04-23 | 2014-04-23 | 基于显著性特征和迁移增量学习的多摄像机目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103984955B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463907A (zh) * | 2014-11-13 | 2015-03-25 | 南京航空航天大学 | 一种基于视觉显著性特征的自适应目标跟踪方法 |
CN106559645B (zh) * | 2015-09-25 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 基于摄像机的监控方法、系统和装置 |
CN106127257B (zh) * | 2016-06-30 | 2022-05-31 | 联想(北京)有限公司 | 一种数据分类方法及电子设备 |
CN109002750B (zh) * | 2017-12-11 | 2021-03-30 | 罗普特科技集团股份有限公司 | 一种基于显著性检测与图像分割的相关滤波跟踪方法 |
CN109145741A (zh) * | 2018-07-19 | 2019-01-04 | 北京交通大学 | 一种基于人类记忆机制的车辆目标识别方法及装置 |
CN111652292B (zh) * | 2020-05-20 | 2022-12-06 | 贵州电网有限责任公司 | 一种基于ncs、ms的相似物体实时检测方法及系统 |
CN112115967B (zh) * | 2020-08-06 | 2023-08-01 | 中山大学 | 一种基于数据保护的图像增量学习方法 |
CN113273174A (zh) * | 2020-09-23 | 2021-08-17 | 深圳市大疆创新科技有限公司 | 待跟随目标的确定方法、装置、系统、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101616309A (zh) * | 2009-07-16 | 2009-12-30 | 上海交通大学 | 无重叠视域多摄像机人体目标跟踪方法 |
CN103281513A (zh) * | 2013-05-14 | 2013-09-04 | 西安理工大学 | 一种无重叠域监控系统中行人识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2546327C1 (ru) * | 2011-03-28 | 2015-04-10 | Нек Корпорейшн | Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека |
-
2014
- 2014-04-23 CN CN201410165717.1A patent/CN103984955B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101616309A (zh) * | 2009-07-16 | 2009-12-30 | 上海交通大学 | 无重叠视域多摄像机人体目标跟踪方法 |
CN103281513A (zh) * | 2013-05-14 | 2013-09-04 | 西安理工大学 | 一种无重叠域监控系统中行人识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103984955A (zh) | 2014-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103984955B (zh) | 基于显著性特征和迁移增量学习的多摄像机目标识别方法 | |
CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
Li et al. | Joint distance maps based action recognition with convolutional neural networks | |
Xiong et al. | Spatiotemporal modeling for crowd counting in videos | |
Wang et al. | Actionness estimation using hybrid fully convolutional networks | |
US9639747B2 (en) | Online learning method for people detection and counting for retail stores | |
CN112686928B (zh) | 一种基于多源信息融合的运动目标视觉跟踪方法 | |
CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
WO2021077785A1 (zh) | 一种基于行人重识别驱动定位调整的行人搜索方法 | |
CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
CN110728216A (zh) | 一种基于行人属性自适应学习的无监督行人再识别方法 | |
WO2022218396A1 (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN108021869A (zh) | 一种结合高斯核函数的卷积神经网络跟踪方法 | |
CN107203745A (zh) | 一种基于跨域学习的跨视角动作识别方法 | |
CN113158943A (zh) | 一种跨域红外目标检测方法 | |
CN109635634A (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
CN104036526A (zh) | 一种基于自适应窗的灰度目标跟踪方法 | |
Cheng et al. | Agricultural pests tracking and identification in video surveillance based on deep learning | |
Chen et al. | Learning to count with back-propagated information | |
Zhang et al. | EventMD: High-speed moving object detection based on event-based video frames | |
CN104318267B (zh) | 一种藏獒幼犬纯度的自动化识别系统 | |
CN114463676A (zh) | 一种基于隐式表达的安全帽配戴检测方法 | |
Han et al. | Object Detection based on Combination of Visible and Thermal Videos using A Joint Sample Consensus Background Model. | |
Wang et al. | Collaborative model based uav tracking via local kernel feature |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170222 |
|
CF01 | Termination of patent right due to non-payment of annual fee |