CN106778517A - 一种监控视频序列图像车辆再识别的方法 - Google Patents
一种监控视频序列图像车辆再识别的方法 Download PDFInfo
- Publication number
- CN106778517A CN106778517A CN201611052772.5A CN201611052772A CN106778517A CN 106778517 A CN106778517 A CN 106778517A CN 201611052772 A CN201611052772 A CN 201611052772A CN 106778517 A CN106778517 A CN 106778517A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- distance
- image
- identification
- sequences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 241001269238 Data Species 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- MXCVHSXCXPHOLP-UHFFFAOYSA-N 4-oxo-6-propylchromene-2-carboxylic acid Chemical compound O1C(C(O)=O)=CC(=O)C2=CC(CCC)=CC=C21 MXCVHSXCXPHOLP-UHFFFAOYSA-N 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种监控视频序列图像车辆再识别的方法,包括以下步骤:图像特征提取:对于拍摄到的所有视频数据,首先检测出所有在摄像头下出现的车辆图像,监控视频车辆图像根据车辆和摄像头分成多个等长的车辆图像序列,计算在YCrCb空间中Cr、Cb两个通道的灰度直方图,最后用Gabor滤波器和原图像卷积得到车辆轮廓图像;基于集合到集合的度量学习方法:训练车辆目标图像序列间相对距离度量函数学习步骤,即基于类内距离比类间距离小的概率最大化的思想学习度量;基于集合间度量学习的车辆再识别;本发明的方法在降低了特征维数的同时,也降低了算法的复杂度。在再识别的效果上,加入了集合间距离度量后,提高了算法的识别率,改善了识别的结果。
Description
技术领域
本发明涉及一种监控视频序列图像车辆再识别的方法。
背景技术
无重叠视域的监控系统拍摄到的车辆图像是车辆再识别问题用到的主要处理对象,然而这些车辆图像包含视角变化、分辨率、光照变化、模糊、摄像头设置、复杂背景以及遮挡等问题,使得车辆再识别问题的困难加剧,这些问题的解决方案也仍然被很多学者研究着。在非重叠视域监控系统下的车辆再识别这个领域下,有非常多的方法被国内外研究学者提出。这些方法可以粗略的分成两个类别,一类为基于特征选择的车辆再识别算法,另一类则是基于度量学习的车辆再识别算法。
对于第一种基于特征选择的车辆再识别方法,车辆图像通过一些具有鲁棒性、稳定和有区分能力的描述子来表示成为特征向量。被广泛应用的特征描述子包括SIFT[1]以及SURF[2] ([1]D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60: 91-110、[2]H. Bay,A. Ess, T. Tuytelaars, and L. Van Gool. Speeded-up robust features (SURF).Computer Vision and Image Understanding, 2008, 110(3):346–359)。再识别问题中,传统的生物特征识别的方法,如:人脸识别[3]、步态识别[4] 或者轮廓识别[5]等([3]KaleA, Kroychowdhury A, Chellappa R. Fusion of gait and face for humanidentification, 2004, 5: 901-904、[4]L. Wang, T. Tan, H. Ning, and W. Hu.Silhouette analysis-based gait recognition for human identification. IEEETransactions on Pattern Analysis and Machine Intelligence, 2003, 25(12):1505–1518、[5]D.-N. Truong Cong, L. Khoudour, C. Achard, C. Meurie, andO. Lezoray.People re-identification by spectral classification of silhouettes. SignalProcess, 2010, 90(8): 2362–2374),是被广泛应用于行人再识别类问题的。然而,上述的一系列特征描述子对于车辆再识别问题并不是特别有效,很难同时满足鲁棒性、稳定性和有区分性这几个要求。因为大部分由监控系统摄像头拍摄到的车辆图像不具有高分辨率,低分辨率会导致在实际的监控系统中无法看清楚车辆细节,如车辆车牌号码,或者由于监控摄像头拍摄的角度、距离等原因使得车辆部分区域被遮挡而无法精确再识别。与行人的再识别相比,由于车辆的机械构造而无法利用生物特征来通过细节实现车辆再识别。现有的很多研究方法都在寻找一个更与众不同、更鲁棒和稳定的车辆外形特征,就特征提取而言,如何设计特征以及寻找优化的特征对于车辆再识别有着举足轻重的影响力,比如研究颜色特征时主要关注的问题是如何同时满足减少光照变化影响和保留色彩色调信息两个条件,而将纹理特征和颜色特征一起使用往往能得到更加优化的效果。主流的目标再识别特征有:基于Haar的特征[6]([6]文学志, 方巍, 郑钰辉. 一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J]. 电子学报, 2011, 39(5):1121-1126.)、颜色直方图和纹理直方图等特征。
第二种为基于度量学习的再识别方法。利用度量学习的方法,如PCCA[7]、([7]A.Mignon and F. Jurie. PCCA: A new approach for distance learning from sparsepairwise constraints. Computer Vision and Pattern Recognition, 2012, 157:2666-2672)LMNN[8]、([8]K. Q. Weinberger and L. K. Saul. Distance metriclearning for large margin nearest neighbor classification. Journal of MachineLearning Research, 2009, 10:207-244) RankSVM[9]和LDML[10] ([9]B. Prosser, W.-S. Zheng, S. Gong, and T. Xiang. Person re-identification by support vectorranking. British Machine Vision Conference, 2010, 42:1-11、[10]M. Guillaumin,J. Verbeek, and C. Schmid. Is that you.Metric learning approaches for faceidentification. International Conference on Computer Vision, 2009, 30(2):498-505)等,将其成功应用到行人再识别问题中如[9][10],并已取得了很好的效果,但是应用到车辆再识别中仍然是一个较新的问题。大部分目标再识别方法中都将其定义为单个目标图像间的匹配问题,即只利用了单帧图像的信息而忽略了序列图像间的关联信息。事实上当车辆经过一个监控摄像头时,这个监控摄像头会拍摄到车辆由远到近以及由近到远的一系列图像,而不仅仅是单帧图像。
发明内容
有鉴于此,本发明目的是提供一种在算法复杂度上,在降低了特征维数的同时,也降低了算法的复杂度。在再识别的效果上,加入了集合间距离度量后,提高了算法的识别率,改善了识别的结果的监控视频序列图像车辆再识别的方法。
为了解决上述技术问题,本发明的技术方案是:
一种监控视频序列图像车辆再识别的方法,包括以下步骤:
(1)图像特征提取:对于拍摄到的所有视频数据,首先检测出所有在摄像头下出现的车辆图像,监控视频车辆图像根据车辆和摄像头分成多个等长的车辆图像序列,然后对于序列图像中每一帧图像,计算在YCrCb空间中Cr、Cb两个通道的灰度直方图,最后用Gabor滤波器和原图像卷积得到车辆轮廓图像,将其与之前两个直方图结合,得到每一帧图像的特征向量;
(2)基于集合到集合的度量学习方法:训练车辆目标图像序列间相对距离度量函数学习步骤,即基于类内距离比类间距离小的概率最大化的思想学习度量,求得特征向量间的映射矩阵,具体为:
首先,采取计算平均距离的方法计算车辆特征序列间距离,得到有标记的距离集合,其中代表属于同一类(车辆)间距离,代表属于不同类(车辆)间的距离;
其次,开始迭代前设定,经过次迭代后,总共学习到这个正交向量,那么再学习下一个正交向量时,让
其中和的 p和n如前面部分解释可知,它们分别表示的是第次迭代时的同一类和不同类的差分向量,具体定义公式为:
然后,学习新的向量的优化函数则为:
经过以上两步后,接着利用梯度下降法寻找一个最优解:
其中代表了梯度下降法的迭代步长,由上式所示的梯度下降方
向来进行求解,的初始值设为:
算法的迭代终止条件为:
最后,当两次迭代后目标函数的值相差小于这个容忍值时,就默认目标优化函数已经达到了它的最小值,也就是求得了最优解,获得了特征向量间的映射矩阵
(3)基于集合间度量学习的车辆再识别:视频数据的车辆再识别步骤:首先,对于步骤(1)的方法中得到的车辆图像数据,将除训练数据外需要进行再识别的车辆序列标记作为样本数据;其次,将视频数据的所有车辆序列与样本数据中所有车辆序列利用步骤(2)学习到的度量映射矩阵W计算距离,将距离由小到大排序;最后,距离最小的两辆车辆序列就被判断归属于同一辆车辆,即匹配到了车辆序列,完成了车辆再识别。
进一步的,所述步骤(2)的序列间距离计算中,所述集合间平均距离的计算公式为:
其中,为需要计算距离的两个集合,代表 x 和 y 这两个样本间的距离,由于在本车辆再识别方法中,监控系统下的不同摄像头拍摄到的车辆序列都拥有同一长度,定义为k。
进一步的,平均距离中的测度为马氏距离,马氏距离的具体计算方法为:假设有 M个样本向量,计算得到协方差矩阵为 S,均值为向量,那么样本向量 X 到均值的马氏距离为
其中样本向量之间的马氏距离为:
如果各个样本向量互相独立同分布,也就是可以如欧氏距离一样,将
样本向量间的不同属性同等看待,那么协方差矩阵就相对应的是单位矩阵,上述(1-6)公式则可以写成:
即可。
其中,(1)在车辆的特征选择上,提出用纹理特征加上颜色特征的结合作为车辆的最终的距离度量特征。其中,颜色特征选择YCbCr中的CbCr分量,可以去掉光照的影响;纹理特征选择Gabor滤波器提取的图像纹理特征。
(2)在算法上,将单张图片的距离度量改成图片序列的距离度量,距离度量的方式为马氏距离。具体学习部分算法实现包含以下的步骤。求得一个将训练样本利用线性转换投影到低维子空间中的W矩阵,这个低维子空间是使得所有样本的特征和语义区分度更容易被区分开来的空间。测试部分则是利用学习到的集合间度量函数计算已知的车辆序列与测试的车辆序列间的距离,距离按照从小到大的顺序排序,排第一的即距离最小的判断为同一个车辆。
学习算法的具体实现步骤:
输入:用于训练学习的车辆图像序列集合,终止迭代阈值,迭代最大次数L。
输出:学习到的度量投影矩阵。
1.初始化;
2.设置迭代开始前的迭代值,;
3.利用式;
4.用式(1-2)计算;
5.更新;
6.根据式(1-3)估算;
7.计算;
8.判断条件是否满足其中一条,满足执行9,否则执行10;
9.输出迭代的矩阵W;
10. 接着从3开始顺序计算。
本发明技术效果主要体现在以下方面:通过学习得到距离度量参数,即:学习特征向量的映射矩阵W来计算待识别车辆目标序列与候选车辆目标序列之间的距离,将之作为相似性度量。按照度量的距离将候选车辆序列与待识别车辆目标序列匹配的目标,实现车辆目标的再识别。本发明提出将车辆目标图像序列视为集合,利用样本来学集合间距离度量。集合中单个元素间的距离为需要学习参数的马氏距离,集合间的距离定义为集合间元素距离的平均值。用于计算车辆目标间距离的特征为Gabor纹理特征和YCrCb颜色空间直方图特征组合而成。对所有的候选车辆目标序列,按其和待识别车辆目标序列间的距离进行排序,距离小者排前,其相似度更高。本发明提出的的车辆再识别方式在减少运算时间同时,匹配率也大大提高。
附图说明
图1(a)是样本集数据的一部分,A摄像头下的车辆数据;
图1(b)是测试集数据的一部分,B摄像头下对应的车辆数据;
图1(c)是训练集数据的一部分,来自于A摄像头下拍摄图片。实际上每一类都是一辆车图片序列,本训练集数据的每类序列数目取k=6。
图2是车辆颜色特征提取流程;
图3是车辆纹理特征提取流程;
图4是仅颜色特征与颜色+纹理结合特征下匹配的效果对比图。
具体实施方式
以下结合附图,对本发明的具体实施方式作进一步详述,以使本发明技术方案更易于理解和掌握。
Vehicle Reid数据集下车辆再识别,在本实例下的样本尺寸大小为:312×104像素。
一、实验数据集:
如附图1所示,实验数据由三个部分组成:训练数据、样本数据和测试数据。如图1(a),图1(b)所示,分别是A、B摄像头下的数据图片序列。图1(a)作为样本集,图1(b)作为测试集,图1(c)作为训练集。其中A摄像头下的图片数据划分为样本集与训练集,B摄像头下的图片数据作为测试集与样本集进行匹配。该再识别的车辆图像的数据集来源于Vehicle Reid数据集。对应的是A,B两个摄像头下的车辆图片序列。为了实验的方便,从中选取的A摄像头下选取25辆车辆序列作为训练集,11辆车辆序列作为样本集,B摄像头下选取对应的11类车作为测试集。其中每辆车由6张图片序列组成,
二、特征量提取:
1.颜色特征提取:首先将初始读取的车辆图像由 RGB 颜色空间转换到 YCrCb 颜色。然后去除掉光照变化影响尤为严重的 Y 通道,在 Cr 和 Cb 这两个子通道中,分别统计像素值在子通道的大小范围中由小到大每个像素值的个数,由颜色空间转换公式可知,因为RGB 每个通道的像素值范围均为 0-255,所以 Cr 和 Cb 这两个子通道的像素值范围也为0-255。因此统计直方图后得到车辆的颜色特征,此特征的维数为256+256=516 维。车辆的颜色特征提取的流程图如图 2 所示。
2.纹理特征提取:首先确定Gabor滤波器参数(二维方向上的方差:Sx,Sy,滤波器的方向:theta,以及正弦函数的频率f),得到Gabor滤波器。然后将输入的车辆图像与Gabor滤波器进行卷积运算得到车辆的纹理特征图像,将纹理特征图像归一化后作为图像的纹理特征进行运算。车辆图像的纹理特征图像为单通道的灰度图像,即一维图像。车辆纹理特征提取的流程图如图3所示。
3.性能分析指标及特征选择:
a、CMC曲线(cumulative match characteristic)
b、横坐标为排名分数(Rank score)r
c、纵坐标为匹配率(Recognition Percentage,有时也写作Matching rate)
名词详细解释:不同车辆再识别算法间的对比结果主要是利用了CMC曲线来显示。CMC曲线又叫累计匹配特征(cumulative match characteristic)曲线,是一个累计的曲线,这个CMC曲线图由文献[11] 解释阐述,([11]D. Gray, S. Brennan, and H. Tao.Evaluating appearance models for recognition, reacquisition, and tracking.IEEE International workshop on performance evaluation of tracking andsurveillance, 2007)与本发明的实验无关。CMC曲线图中横坐标为排名分数(Rank score)r。对于训练集,按照学习到的度量计算不同车辆序列间的距离,将距离由小到大依次排序,这个排序就是排名分数,这就是学习过程。预测过程将测试样本输入学习得到的排序模型中,即可得到结果的相关得分,利用该得分进行排序即可得到待预测结果的最终顺序。当r=1时,表示的就是距离最近的车辆序列,即按照这个最小距离作为车辆再次识别到的距离,此情况下的计算精度最高。纵坐标为匹配率(Recognition Percentage,有时也写作Matching rate),匹配率的计算公式为:
如附图4 所示,选择两种特征下,相同的排名分数下,选择颜色特征+纹理特征结合的方式的匹配率更高。因此证明了本发明选择的特征具有更好的再识别效果。
4.基于集合间的距离度量训练
4.1输入监控摄像头拍摄到的车辆图像序列:
输入:A 表示图 1(a)所示的样本集,输入B 表图 1(b)所示的测试集。分别代表样本集和测试集里面的一个图像序列。如附图 1所示,每个图像序列的个数 k=6。从表示有 n 个不同的车辆序列,且在该样本集中 n=11。即样本集中图片总张数为:k×n,测试集相同。
输出:图像序列间的距离度量函数,及其投影矩阵W。
4.2求得两车辆图像序列间的距离;
4.3利用车辆图像序列对间的距离,结合马氏距离的计算公式,求得两个车辆图像序列间的马氏;
4.4结合传统的基于单帧图像的距离度量学习算法,以及图像序列对间马氏距离的计算公式,得到集合到集合间的距离度量函数
;
结合本实例:先将训练集中的25类车辆样本,总数为25×6=150帧车辆的图片进行学习,通过训练后得到距离度量的参数,即一个距离模型的投影系数的向量W。然后按照上式将W带入计算,得到样本集与测试集之间的图片间距离度量。即:按图像序列顺序,依次计算集合间对应每一张图像的离,得到一个66×66的距离矩阵。
4.5排序:将过程(4.4)中得到的距离度量函数,(为一个66×66距离矩阵),按图像序列的类统计。对于测试集,按样本的每类k帧相加,将距离矩阵压缩到n ×n维(11×11),即用k个序列的和值代表A集合下一辆车与B集合下一辆车的之间的距离分数。再按照从小到大顺序将序列间的距离矩阵排序,得到距离从小到大的车辆编号。距离最小表示两辆车之间的相似度最高,度量的精度也是最高。然后分别将分数排序1:11下的距离作为可以再识别到车辆的距离,并统计匹配成功的对数。得到最终的结果见附图4所示。从附图4可以看出,本发明选取的两种特征都能较好的实现不同监控摄像头下车辆的再识别。而且选取颜色+纹理特征结合的方式,再识别效果更优。
4.6时间复杂度分析
在本实例算法复杂度上,由于归一化后的数据集上的图像尺寸(M*N),在原本直接输入度量学习算法的图像数据是M*N维,现在特征向量变成了纹理特征加上颜色特征。降低了维数,即降低了该算法运算时间。
本发明技术效果主要体现在以下方面:通过学习得到距离度量参数,即:学习特征向量的映射矩阵W来计算待识别车辆目标序列与候选车辆目标序列之间的距离,将之作为相似性度量。按照度量的距离将候选车辆序列与待识别车辆目标序列匹配的目标,实现车辆目标的再识别。本发明提出将车辆目标图像序列视为集合,利用样本来学集合间距离度量。集合中单个元素间的距离为需要学习参数的马氏距离,集合间的距离定义为集合间元素距离的平均值。用于计算车辆目标间距离的特征为Gabor纹理特征和YCrCb颜色空间直方图特征组合而成。对所有的候选车辆目标序列,按其和待识别车辆目标序列间的距离进行排序,距离小者排前,其相似度更高。本发明提出的的车辆再识别方式在减少运算时间同时,匹配率也大大提高。
当然,以上只是本发明的典型实例,除此之外,本发明还可以有其它多种具体实施方式,凡采用等同替换或等效变换形成的技术方案,均落在本发明要求保护的范围之内。
Claims (3)
1.一种监控视频序列图像车辆再识别的方法,其特征在于,包括以下步骤:
(1)图像特征提取:对于拍摄到的所有视频数据,首先检测出所有在摄像头下出现的车辆图像,监控视频车辆图像根据车辆和摄像头分成多个等长的车辆图像序列,然后对于序列图像中每一帧图像,计算在YCrCb空间中Cr、Cb两个通道的灰度直方图,最后用Gabor滤波器和原图像卷积得到车辆轮廓图像,将其与之前两个直方图结合,得到每一帧图像的特征向量;
(2)基于集合到集合的度量学习方法:训练车辆目标图像序列间相对距离度量函数学习步骤,即基于类内距离比类间距离小的概率最大化的思想学习度量,求得特征向量间的映射矩阵,具体为:
首先,采取计算平均距离的方法计算车辆特征序列间距离,得到有标记的距离集合其中代表属于同一类(车辆)间距离,代表属于不同类(车辆)间的距离;
其次,开始迭代前设定经过次迭代后,总共学习到这个正交向量,那么再学习下一个正交向量时,让
其中的 p和n如前面部分解释可知,它们分别表示的是
第次迭代时的同一类和不同类的差分向量,具体定义公式为:
其中,
然后,学习新的向量的优化函数则为:
经过以上两步后,接着利用梯度下降法寻找一个最优解:
其中代表了梯度下降法的迭代步长,由上式所示的梯度下降方
向来进行求解,的初始值设为:
算法的迭代终止条件为:
最后,当两次迭代后目标函数的值相差小于这个容忍值时,就默认目标优化函数已经达到了它的最小值,也就是求得了最优解,获得了特征向量间的映射矩阵;
(3)基于集合间度量学习的车辆再识别:视频数据的车辆再识别步骤:首先,对于步骤(1)的方法中得到的车辆图像数据,将除训练数据外需要进行再识别的车辆序列标记作为样本数据;其次,将视频数据的所有车辆序列与样本数据中所有车辆序列利用步骤(2)学习到的度量映射矩阵W计算距离,将距离由小到大排序;最后,距离最小的两辆车辆序列就被判断归属于同一辆车辆,即匹配到了车辆序列,完成了车辆再识别。
2.根据权利要求 1 所述的监控视频序列图像车辆再识别的方法,其特征在于,所述步骤(2)的序列间距离计算中,所述集合间平均距离的计算公式为:
其中,为需要计算距离的两个集合,
代表 x 和 y 这两个样本间的距离,由于在本车辆再识别方法中,监控系统下的不同摄像头拍摄到的车辆序列都拥有同一长度,定义为k。
3.根据权利要求 2 所述的监控视频序列图像车辆再识别的方法,其特征在于,平均距离中的测度为马氏距离,马氏距离的具体计算方法为:假设有 M 个样本向量计算得到协方差矩阵为 S,均值为向量,那么样本向量 X 到均值的马氏距离为
其中样本向量之间的马氏距离为:
如果各个样本向量互相独立同分布,也就是可以如欧氏距离一样,将
样本向量间的不同属性同等看待,那么协方差矩阵就相对应的是单位
矩阵,上述(1-6)公式则可以写成:
即可。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611052772.5A CN106778517A (zh) | 2016-11-25 | 2016-11-25 | 一种监控视频序列图像车辆再识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611052772.5A CN106778517A (zh) | 2016-11-25 | 2016-11-25 | 一种监控视频序列图像车辆再识别的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106778517A true CN106778517A (zh) | 2017-05-31 |
Family
ID=58911239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611052772.5A Pending CN106778517A (zh) | 2016-11-25 | 2016-11-25 | 一种监控视频序列图像车辆再识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106778517A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108168459A (zh) * | 2017-12-29 | 2018-06-15 | 南京埃克里得视觉技术有限公司 | 一种汽车轮毂识别匹配方法 |
CN108171247A (zh) * | 2017-12-21 | 2018-06-15 | 北京大学 | 一种车辆再识别方法及系统 |
CN108229292A (zh) * | 2017-07-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 目标识别方法、装置、存储介质和电子设备 |
CN108647595A (zh) * | 2018-04-26 | 2018-10-12 | 华中科技大学 | 基于多属性深度特征的车辆重识别方法 |
CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
CN109376578A (zh) * | 2018-08-27 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度迁移度量学习的小样本目标识别方法 |
CN109389177A (zh) * | 2018-10-25 | 2019-02-26 | 长安大学 | 一种基于协同级联森林的隧道车辆再识别方法 |
CN110164152A (zh) * | 2019-07-03 | 2019-08-23 | 西安工业大学 | 一种用于单交叉路口交通信号灯控制系统 |
CN110263864A (zh) * | 2019-06-24 | 2019-09-20 | 北京精英路通科技有限公司 | 车辆的匹配方法、装置、计算机设备及存储介质 |
CN110309844A (zh) * | 2018-03-27 | 2019-10-08 | Aptiv技术有限公司 | 用于对光斑进行聚类的装置和方法 |
CN110705384A (zh) * | 2019-09-12 | 2020-01-17 | 天津大学 | 一种基于跨域迁移增强表示的车辆再识别方法 |
CN111104867A (zh) * | 2019-11-25 | 2020-05-05 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
CN113065495A (zh) * | 2021-04-13 | 2021-07-02 | 深圳技术大学 | 图像相似度的计算方法、目标对象重识别方法及系统 |
CN113688849A (zh) * | 2021-08-30 | 2021-11-23 | 中国空空导弹研究院 | 一种用于卷积神经网络的灰度图像序列特征提取方法 |
CN113989763A (zh) * | 2021-12-30 | 2022-01-28 | 江西省云眼大视界科技有限公司 | 一种视频结构化分析方法和分析系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116986A (zh) * | 2013-01-21 | 2013-05-22 | 信帧电子技术(北京)有限公司 | 车辆识别方法 |
CN105868700A (zh) * | 2016-03-25 | 2016-08-17 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的车型识别与跟踪方法及系统 |
-
2016
- 2016-11-25 CN CN201611052772.5A patent/CN106778517A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116986A (zh) * | 2013-01-21 | 2013-05-22 | 信帧电子技术(北京)有限公司 | 车辆识别方法 |
CN105868700A (zh) * | 2016-03-25 | 2016-08-17 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的车型识别与跟踪方法及系统 |
Non-Patent Citations (5)
Title |
---|
JUN LIU ET AL.: "Person re-identification based on set-to-set metric learning", 《2016 IEEE 13TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING (ICSP)》 * |
WEI-SHI ZHENG ET AL.: "Person Re-identification by Probabilistic Relative Distance Comparison", 《CVPR 2011》 * |
XINCHEN LIU ET AL.: "Large-scale vehicle re-identification in urban surveillance videos", 《2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 * |
孙海燕编著: "《数理统计》", 31 October 2016, 北京:北京航空航天大学出版社 * |
文学志等: "一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法", 《电子学报》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229292A (zh) * | 2017-07-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 目标识别方法、装置、存储介质和电子设备 |
US11200682B2 (en) | 2017-07-28 | 2021-12-14 | Beijing Sensetime Technology Development Co., Ltd. | Target recognition method and apparatus, storage medium, and electronic device |
CN108171247A (zh) * | 2017-12-21 | 2018-06-15 | 北京大学 | 一种车辆再识别方法及系统 |
CN108171247B (zh) * | 2017-12-21 | 2020-10-27 | 北京大学 | 一种车辆再识别方法及系统 |
CN108168459B (zh) * | 2017-12-29 | 2019-06-14 | 南京埃克里得视觉技术有限公司 | 一种汽车轮毂识别匹配方法 |
CN108168459A (zh) * | 2017-12-29 | 2018-06-15 | 南京埃克里得视觉技术有限公司 | 一种汽车轮毂识别匹配方法 |
CN110309844A (zh) * | 2018-03-27 | 2019-10-08 | Aptiv技术有限公司 | 用于对光斑进行聚类的装置和方法 |
CN110309844B (zh) * | 2018-03-27 | 2023-05-02 | Aptiv技术有限公司 | 用于对光斑进行聚类的装置和方法 |
CN108647595A (zh) * | 2018-04-26 | 2018-10-12 | 华中科技大学 | 基于多属性深度特征的车辆重识别方法 |
CN108647595B (zh) * | 2018-04-26 | 2021-08-03 | 华中科技大学 | 基于多属性深度特征的车辆重识别方法 |
CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
CN109376578A (zh) * | 2018-08-27 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度迁移度量学习的小样本目标识别方法 |
CN109389177A (zh) * | 2018-10-25 | 2019-02-26 | 长安大学 | 一种基于协同级联森林的隧道车辆再识别方法 |
CN109389177B (zh) * | 2018-10-25 | 2021-08-10 | 长安大学 | 一种基于协同级联森林的隧道车辆再识别方法 |
CN110263864A (zh) * | 2019-06-24 | 2019-09-20 | 北京精英路通科技有限公司 | 车辆的匹配方法、装置、计算机设备及存储介质 |
CN110164152A (zh) * | 2019-07-03 | 2019-08-23 | 西安工业大学 | 一种用于单交叉路口交通信号灯控制系统 |
CN110705384A (zh) * | 2019-09-12 | 2020-01-17 | 天津大学 | 一种基于跨域迁移增强表示的车辆再识别方法 |
CN110705384B (zh) * | 2019-09-12 | 2023-03-31 | 天津大学 | 一种基于跨域迁移增强表示的车辆再识别方法 |
CN111104867A (zh) * | 2019-11-25 | 2020-05-05 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
WO2021103721A1 (zh) * | 2019-11-25 | 2021-06-03 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
CN111104867B (zh) * | 2019-11-25 | 2023-08-25 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
CN113065495A (zh) * | 2021-04-13 | 2021-07-02 | 深圳技术大学 | 图像相似度的计算方法、目标对象重识别方法及系统 |
CN113065495B (zh) * | 2021-04-13 | 2023-07-14 | 深圳技术大学 | 图像相似度的计算方法、目标对象重识别方法及系统 |
CN113688849A (zh) * | 2021-08-30 | 2021-11-23 | 中国空空导弹研究院 | 一种用于卷积神经网络的灰度图像序列特征提取方法 |
CN113688849B (zh) * | 2021-08-30 | 2023-10-24 | 中国空空导弹研究院 | 一种用于卷积神经网络的灰度图像序列特征提取方法 |
CN113989763A (zh) * | 2021-12-30 | 2022-01-28 | 江西省云眼大视界科技有限公司 | 一种视频结构化分析方法和分析系统 |
CN113989763B (zh) * | 2021-12-30 | 2022-04-15 | 江西省云眼大视界科技有限公司 | 一种视频结构化分析方法和分析系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106778517A (zh) | 一种监控视频序列图像车辆再识别的方法 | |
CN109145921B (zh) | 一种基于改进的直觉模糊c均值聚类的图像分割方法 | |
CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
CN107835654B (zh) | 图像处理装置、图像处理方法和记录介质 | |
KR100724932B1 (ko) | 얼굴 검출 장치 및 방법 | |
CN110991389B (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
US11380010B2 (en) | Image processing device, image processing method, and image processing program | |
CN111104867A (zh) | 基于部件分割的识别模型训练、车辆重识别方法及装置 | |
CN102103690A (zh) | 一种自动的头发区域分割方法 | |
CN105243376A (zh) | 一种活体检测方法和装置 | |
CN110766657B (zh) | 一种激光干扰图像质量评价方法 | |
CN112836671B (zh) | 一种基于最大化比率和线性判别分析的数据降维方法 | |
CN110874576B (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
Shuo et al. | Object tracking method based on SURF | |
Li et al. | Human sperm health diagnosis with principal component analysis and K-nearest neighbor algorithm | |
Barata et al. | The role of keypoint sampling on the classification of melanomas in dermoscopy images using bag-of-features | |
CN110163274B (zh) | 一种基于鬼成像和线性判别分析的物体分类方法 | |
Kamencay et al. | Feature extraction for object recognition using PCA-KNN with application to medical image analysis | |
Li et al. | Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology | |
CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
Molina-Giraldo et al. | Image segmentation based on multi-kernel learning and feature relevance analysis | |
KR100869876B1 (ko) | 블록 레벨 품질 측정값을 이용한 지문 영상의 품질 측정방법과 그 기록매체 | |
CN111340052A (zh) | 中医舌诊舌尖红检测装置、方法及计算机存储介质 | |
CN109389017B (zh) | 行人再识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170531 |
|
RJ01 | Rejection of invention patent application after publication |