CN107622229A - 一种基于融合特征的视频车辆重识别方法与系统 - Google Patents
一种基于融合特征的视频车辆重识别方法与系统 Download PDFInfo
- Publication number
- CN107622229A CN107622229A CN201710753436.1A CN201710753436A CN107622229A CN 107622229 A CN107622229 A CN 107622229A CN 201710753436 A CN201710753436 A CN 201710753436A CN 107622229 A CN107622229 A CN 107622229A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- vehicle image
- mtr
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于融合特征的视频车辆重识别方法与系统，方法包括：确定目标车辆与匹配范围；根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度；将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合。本发明通过将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合来得到车辆重识别的相似度结果，准确率更高，鲁棒性更强，通用性更高。本发明可广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域，尤其是一种基于融合特征的视频车辆重识别方法与系统。
背景技术
车辆重识别是指，在视频图像中，监控场景、光照条件、目标角度等条件变化后，车辆被再次识别的过程(即从不同的时间与地点所采集的监控视频或图像中识别出同一个目标车辆)，其在道路交通状态分析以及打击违法犯罪等方面都有重要意义。首先，在现实交通流中，因车辆受遮挡或其他环境条件影响而不能收集到车牌等车辆信息的情况时有发生，通过车辆重识别可以在另一摄像头获取车牌信息，并且获取车辆行驶路径和车辆行程时间等信息用于后续数据分析。另外，在刑侦工作中，刑侦人员经常要浏览多个摄像头中的视频，查找某一特定的车辆在哪些摄像头曾经出现过，而通过车辆重识别技术则能快速找到目标车辆，以及对目标车辆进行后续的跟踪。
车辆重识别的研究方法主要分为两类，第一类是基于外观特征的车辆重识别方法，通过提取车辆的颜色、形状、纹理等外观特征进行区分匹配；第二类是基于训练学习的车辆重识别方法，通过学习训练，获得具有最大区分度的车辆特征或者相似性度量准则，再对车辆进行建模实现车辆重识别。
基于外观特征的车辆重识别方法不需要提前进行训练，可以直接进行车辆特征提取和匹配，在不同摄像机之间普遍适用，一般情况下这种方法具有较好的拓展性。该类方法采用的外观特征主要包括颜色特征、形状特征和纹理特征等。以颜色特征作为目标的主要特征时，一般使用颜色直方图(描述的是各种颜色占整幅图像的比例，一般可用一个二维直方图表示，横坐标表示颜色级别，纵坐标代表各颜色级别出现的频率，即像素个数)作为车辆的颜色特征，并计算颜色直方图间的欧式距离进行目标匹配。但是由于交通流中存在颜色相同或相近的车辆，以及不同摄像机间拍摄图像的光照会有差异，直接进行颜色特征的匹配会有偏差。在以纹理特征或点特征作为车辆的主要特征时，若使用单个特征，则其在多摄像机中进行车辆识别的鲁棒性不高，容易出现错误匹配的结果。
基于训练学习的车辆重识别方法可以分为两种，一种是通过样本训练，学习到具有最大区分度的特征，再用学习到的特征进行车辆重识别。另一种方法则是训练学习相似性度量准则，使得同一个车辆的图像相似性高，不同车辆间相似性低。虽然训练学习的方法能有效地得到区分度大的特征或度量准则，但是由于在不同摄像机间车辆外观特征变化较大，其得到目标特征模型或相似性度量模型通用性不高，这也是目前训练学习方法较难解决的问题之一。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种准确率高、适用性强、鲁棒性强和通用性高的，基于融合特征的视频车辆重识别方法。
本发明的另一目的在于：提供一种准确率高、适用性强、鲁棒性强和通用性高的，基于融合特征的视频车辆重识别系统。
本发明所采取的技术方案是：
一种基于融合特征的视频车辆重识别方法，包括以下步骤：
确定目标车辆与匹配范围；
根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；
根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；
将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。
进一步，所述确定目标车辆与匹配范围这一步骤，具体包括：
从第一摄像头的车辆图像中选定一辆车作为目标车辆；
在需要进行重识别的第二摄像头中，通过车辆检测器对每一辆经过的车辆进行记录，得到作为匹配范围的查找图库，所述查找图库记录的信息包括车辆经过的时间、车辆经过的地点和车辆在第二摄像头的视频帧中的坐标。
进一步，所述根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体包括：
在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图；
对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度。
进一步，所述在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图这一步骤，具体包括：
根据颜色空间转换公式将目标车辆图像与待匹配车辆图像从RGB空间转换到HSV空间；
对目标车辆图像与待匹配车辆图像的H、S和V分量进行非等间隔量化，从而将目标车辆图像与待匹配车辆图像的H、S和V分量分别划分为16个量级、4个量级和4个量级，所述非等间隔量化的量化公式为：
其中，h、s和v分别为目标车辆图像与待匹配车辆图像H、S和V分量的像素值；
根据划分的量级将目标车辆图像与待匹配车辆图像的H、S和V分量合成一维特征向量L，并对L进行归一化，所述一维特征向量L的表达式为：L＝16H+4S+V，其中，归一化后的向量L的取值为0,1,2…255；
根据归一化后的向量L得到目标车辆图像与待匹配车辆图像的颜色直方图。
进一步，所述对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体为：
分别计算目标车辆图像的颜色直方图h0与待匹配车辆图像的颜色直方图h1，h2…hn的欧氏距离d0i，生成一个1×n的欧氏距离矩阵，所述欧氏距离d0i的计算公式为： 其中，h0k为目标车辆图像的颜色直方图h0第k维的数值，hik为待匹配车辆图像的第i幅图像的颜色直方图hi中第k维的数值，i＝1，2…n，n为待匹配车辆图像的总幅数。
进一步，所述根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度这一步骤，具体包括：
分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征；
采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征；
根据得到的编码方向梯度直方图特征进行相似度计算，得到目标车辆图像与待匹配车辆图像的相关系数，所述目标车辆图像IA与待匹配车辆图像IB的相关系数ρH(IA,IB)表达式为：
其中，Cov(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的协方差，D(IA)为目标车辆图像IA的方差，D(IB)为待匹配车辆图像IB的方差。
进一步，所述分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征这一步骤，具体包括：
将目标车辆图像与待匹配车辆图像分别归一化为64×64标准像素大小的标准化图像；
设置每个元胞的像素个数，并构建每个元胞的方向梯度直方图，其中每个元胞将360度划分为9个区间；
将标准化图像划分为若干个图像块，并构建每个图像块的方向梯度直方图；
设置每个图像块中元胞的个数，并按顺序连接每个元胞的9方向特征向量，得到每个图像块的特征向量；
按照设定步长扫描标准化图像，得到由若干个图像块特征向量组成的方向梯度直方图特征向量。
进一步，所述采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征这一步骤，具体包括：
对方向梯度直方图特征向量中的所有图像块特征向量进行K-Means聚类，生成视觉词典；
用视觉词典中的视觉单词对图像块特征向量进行局部线性约束编码，得到编码向量；
采用加权空间金字塔对编码向量进行处理，得到编码方向梯度直方图特征向量，所述加权空间金字塔采用的权重矩阵根据车辆纹理特征分布规律设计，所述编码方向梯度直方图特征向量具有空间位置信息和语义信息。
进一步，所述将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果这一步骤，具体包括：
根据计算的编码方向梯度直方图特征相似度计算目标车辆图像与待匹配车辆图像的相关距离，所述目标车辆图像IA与待匹配车辆图像IB的相关距离dH(IA,IB)计算公式为：dH(IA,IB)＝1-ρH(IA,IB)，其中，ρH(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的相关系数；
将计算的颜色特征相似度和计算的相关距离进行加权融合，得到融合后的相似度，并将融合后的相似度作为车辆重识别的相似度结果进行输出，所述加权融合的公式为：d(IA,IB)＝λdc(IA,IB)+(1-λ)dH(IA,IB)，其中，d(IA,IB)为融合后的相似度，dc(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的颜色特征相似度，λ为特征融合的权重，λ能根据不同环境条件进行权重自适应调整。
本发明所采取的另一技术方案是：
一种基于融合特征的视频车辆重识别系统，包括以下模块：
目标车辆与匹配范围确定模块，用于确定目标车辆与匹配范围；
颜色特征相似度计算模块，用于根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；
编码方向梯度直方图特征相似度计算模块，用于根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；
加权融合模块，用于将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。
本发明的方法的有益效果是：采用了基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，使计算出的编码方向梯度直方图特征相似度具有语义信息和空间位置信息，提升了车辆重识别的准确率，且加权空间金字塔的权重能根据不同车辆特征进行调整，适应性更强；通过将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合得到车辆重识别的相似度结果，融合了基于颜色直方图的颜色特征以及基于局部线性约束编码和加权空间金字塔的编码方向梯度直方图特征来进行车辆重识别，与分别采用单一特征进行车辆重识别的方法相比，准确率更高，并可以根据光照、角度等不同环境条件对加权融合时的权重进行自适应调整，鲁棒性更强；采用了基于颜色特征和方向梯度直方图特征的外观特征来进行车辆重识别，与基于训练学习的车辆重识别方法相比，通用性更高。
本发明的系统的有益效果是：在编码方向梯度直方图特征相似度计算模块中采用了基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，使计算出的编码方向梯度直方图特征相似度具有语义信息和空间位置信息，提升了车辆重识别的准确率，且加权空间金字塔的权重能根据不同车辆特征进行调整，适应性更强；加权融合模块通过将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合来得到车辆重识别的相似度结果，融合了基于颜色直方图的颜色特征以及基于局部线性约束编码和加权空间金字塔的编码方向梯度直方图特征来进行车辆重识别，与分别采用单一特征进行车辆重识别的方法相比，准确率更高，并可以根据光照、角度等不同环境条件对加权融合时的权重进行自适应调整，鲁棒性更强；采用了基于颜色特征和方向梯度直方图特征的外观特征来进行车辆重识别，与基于训练学习的车辆重识别方法相比，通用性更高。
附图说明
图1为本发明一种基于融合特征的视频车辆重识别方法的步骤流程图；
图2为本发明一种基于融合特征的视频车辆重识别系统的功能框图；
图3为本发明实施例一的算法流程图；
图4为本发明实施例一基于颜色直方图的车辆重识别算法流程图；
图5为本发明实施例一基于LLC和加权SPM的HOG特征相似度计算流程图；
图6为本发明实施例一特征融合流程图。
具体实施方式
参照图1，一种基于融合特征的视频车辆重识别方法，包括以下步骤：
确定目标车辆与匹配范围；
根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；
根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；
将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。
本发明采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，使计算出的编码方向梯度直方图特征相似度具有语义信息和空间位置信息，既强调了车身纹理分布规律，同时也保留了图像空间信息，提升了车辆重识别的准确率，且加权空间金字塔的权重能根据不同车辆特征进行调整，适应性更强；融合了基于颜色直方图的颜色特征以及基于局部线性约束编码和加权空间金字塔的编码方向梯度直方图特征来进行车辆重识别，结合编码方向梯度直方图特征的空间位置信息来降低颜色相同或相近以及光照差异对颜色特征匹配精度的影响，并通过颜色特征和方向梯度直方图特征来适应不同的拍摄环境，准确率更高，鲁棒性更强。
进一步作为优选的实施方式，所述确定目标车辆与匹配范围这一步骤，具体包括：
从第一摄像头的车辆图像中选定一辆车作为目标车辆；
在需要进行重识别的第二摄像头中，通过车辆检测器对每一辆经过的车辆进行记录，得到作为匹配范围的查找图库，所述查找图库记录的信息包括车辆经过的时间、车辆经过的地点和车辆在第二摄像头的视频帧中的坐标。
其中，查找图库包含有多幅待匹配车辆图像。
进一步作为优选的实施方式，所述根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体包括：
在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图；
对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度。
进一步作为优选的实施方式，所述在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图这一步骤，具体包括：
根据颜色空间转换公式将目标车辆图像与待匹配车辆图像从RGB空间转换到HSV空间；
对目标车辆图像与待匹配车辆图像的H、S和V分量进行非等间隔量化，从而将目标车辆图像与待匹配车辆图像的H、S和V分量分别划分为16个量级、4个量级和4个量级，所述非等间隔量化的量化公式为：
其中，h、s和v分别为目标车辆图像与待匹配车辆图像H、S和V分量的像素值；
根据划分的量级将目标车辆图像与待匹配车辆图像的H、S和V分量合成一维特征向量L，并对L进行归一化，所述一维特征向量L的表达式为：L＝16H+4S+V，其中，归一化后的向量L的取值为0,1,2…255；
根据归一化后的向量L得到目标车辆图像与待匹配车辆图像的颜色直方图。
进一步作为优选的实施方式，所述对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体为：
分别计算目标车辆图像的颜色直方图h0与待匹配车辆图像的颜色直方图h1，h2…hn的欧氏距离d0i，生成一个1×n的欧氏距离矩阵，所述欧氏距离d0i的计算公式为： 其中，h0k为目标车辆图像的颜色直方图h0第k维的数值，hik为待匹配车辆图像的第i幅图像的颜色直方图hi中第k维的数值，i＝1，2…n，n为待匹配车辆图像的总幅数。
进一步作为优选的实施方式，所述根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度这一步骤，具体包括：
分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征；
采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征；
根据得到的编码方向梯度直方图特征进行相似度计算，得到目标车辆图像与待匹配车辆图像的相关系数，所述目标车辆图像IA与待匹配车辆图像IB的相关系数ρH(IA,IB)表达式为：
其中，Cov(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的协方差，D(IA)为目标车辆图像IA的方差，D(IB)为待匹配车辆图像IB的方差。
进一步作为优选的实施方式，所述分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征这一步骤，具体包括：
将目标车辆图像与待匹配车辆图像分别归一化为64×64标准像素大小的标准化图像；
设置每个元胞的像素个数，并构建每个元胞的方向梯度直方图，其中每个元胞将360度划分为9个区间；
将标准化图像划分为若干个图像块，并构建每个图像块的方向梯度直方图；
设置每个图像块中元胞的个数，并按顺序连接每个元胞的9方向特征向量，得到每个图像块的特征向量；
按照设定步长扫描标准化图像，得到由若干个图像块特征向量组成的方向梯度直方图特征向量。
进一步作为优选的实施方式，所述采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征这一步骤，具体包括：
对方向梯度直方图特征向量中的所有图像块特征向量进行K-Means聚类，生成视觉词典；
用视觉词典中的视觉单词对图像块特征向量进行局部线性约束编码，得到编码向量；
采用加权空间金字塔对编码向量进行处理，得到编码方向梯度直方图特征向量，所述加权空间金字塔采用的权重矩阵根据车辆纹理特征分布规律设计，所述编码方向梯度直方图特征向量具有空间位置信息和语义信息。
其中，加权空间金字塔的权值可根据不同车辆纹理特征进行重新设计。例如，加权空间金字塔采用的权重矩阵可包括有[1；1,1,1,1；1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]、[1；2,1,2,1；3,3,2,2,3,3,2,2,3,3,2,2,3,3,2,2]、[1；2,1,2,1；4,4,2,2,4,4,2,2,4,4,2,2,4,4,2,2]、[1；2,1,2,1；5,5,2,2,5,5,2,2,5,5,2,2,5,5,2,2]和[1；2,1,2,1；6,6,2,2,6,6,2,2,6,6,2,2,6,6,2,2]。
进一步作为优选的实施方式，所述将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果这一步骤，具体包括：
根据计算的编码方向梯度直方图特征相似度计算目标车辆图像与待匹配车辆图像的相关距离，所述目标车辆图像IA与待匹配车辆图像IB的相关距离dH(IA,IB)计算公式为：dH(IA,IB)＝1-ρH(IA,IB)，其中，ρH(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的相关系数；
将计算的颜色特征相似度和计算的相关距离进行加权融合，得到融合后的相似度，并将融合后的相似度作为车辆重识别的相似度结果进行输出，所述加权融合的公式为：d(IA,IB)＝λdc(IA,IB)+(1-λ)dH(IA,IB)，其中，d(IA,IB)为融合后的相似度，dc(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的颜色特征相似度，λ为特征融合的权重，λ能根据不同环境条件进行权重自适应调整。
参照图2，一种基于融合特征的视频车辆重识别系统，包括以下模块：
目标车辆与匹配范围确定模块，用于确定目标车辆与匹配范围；
颜色特征相似度计算模块，用于根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；
编码方向梯度直方图特征相似度计算模块，用于根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；
加权融合模块，用于将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
实施例一
出于通用性的考虑，现有的车辆重识别方法一般采用基于外观特征的车辆重识别方法。而现有基于外观特征的车辆重识别方法主要存在的问题包括易受拍摄角度与光照等的影响两类：传统的纹理提取方法(如方向梯度直方图特征，即HOG特征)由于没有结合空间位置信息，因此对目标角度变化不具有鲁棒性；而传统的颜色特征则容易受光照、颜色相同或颜色相近的影响。
针对上述问题，本发明在以下三个方面进行了改进：
(1)本发明采用LLC(Locality-constrained Linear Coding，局部约束线性编码)编码和加权SPM(Spatial Pyramid Matching，空间金字塔)对传统HOG特征进行编码，使其具有语义信息和空间位置信息。实验结果表明，本发明编码后的HOG特征向量的整体识别率比传统的HOG特征的高。
(2)本发明在计算图像的颜色直方图时，将图像从RGB(red，红色；green，绿色；blue，蓝色)颜色空间转换为HSV(Hue，色调H；Saturation，饱和度S；Value，亮度V)颜色空间。与RGB颜色空间相比，一方面，HSV颜色空间能够更加直观地表达色彩的明暗，色调以及颜色的鲜艳程度，同时也更符合人的视觉特性；另一方面，HSV颜色空间能更方便地进行颜色之间的对比，因此HSV颜色空间也更加适合基于颜色特征的图像目标相似性比较。
(3)本发明将颜色特征与HOG特征进行加权融合，结合两者各自的优点，使得处理重识别结果对角度和光照都具有较高的鲁棒性。实验证明，本发明使用融合特征进行车辆重识别比使用单一特征的识别率高。
如图3所示，本发明基于融合特征的视频车辆重识别方法的具体实现过程包括：
(1)确定目标车辆与匹配范围
此过程可进一步细分为：
1)确定目标车辆：从第一摄像头中确定某一辆车作为目标车辆，并记为A。
2)确定匹配范围：在需要进行重识别的第二摄像头中，通过车辆检测器对每一辆经过的车辆进行记录，作为目标匹配时的查找图库，记为Data B。Data B包含了第二摄像头拍摄的多幅车辆图像(即待匹配车辆图像)，其记录的信息包括：车辆经过的时间、车辆经过的地点、车辆在视频帧里的坐标等信息。
(2)基于颜色直方图的相似度计算
本发明基于颜色直方图的相似度计算分为2个部分，首先提取车辆图像的颜色直方图，然后进行颜色直方图匹配，如图4所示。
此过程可进一步细分为：
1)提取车辆图像的颜色直方图
RGB各个分量具有高关联性，在计算机视觉中并不稳定，容易受到强光、弱光、阴影等因素的影响。相比之下，HSV空间面对这些光照的变化更稳定，能很好地反应颜色的本质，可以得到区分性更强、更鲁棒的颜色特征，所以HSV颜色空间也更符合人的视觉特性，更加适合基于颜色特征的图像目标相似性比较。
本发明首先根据公式(1)、(2)、(3)将车辆图像(包含目标车辆图像与待匹配车辆图像)从RGB空间转换到HSV空间，然后依据人的颜色感知规律可将HSV颜色空间进行非等间隔量化，将H分量划分成16个区间，将S分量划分成4个区间，将V分量划分成4个区间，结果如式(4)所示。
V＝max(R,G,B) (1)
接着构造一维特征向量并归一化：按照公式(4)的量化级，把三个颜色分量合成为一维特征向量L，如公式(5)所示：
L＝H*Qs*Qv+S*Qv+V (5)
其中，Qs和Qv分别是分量S和V的量化级数，即Qs＝4，Qv＝4。L的取值是0,1,…,255，L为一维256个bin的直方图，再将L进行归一化。
最后重复以上步骤，计算出图库Data B中所有图像的颜色直方图，存放于维度为256的矩阵中。
2)颜色直方图匹配
计算目标车辆图像的颜色直方图h0，并分别计算h0与图库Data B中待识别车辆图像(即待匹配车辆图像)的颜色直方图h1,h2…hn的欧氏距离，生成一个1×n的欧氏距离矩阵，其中n是图库Data B中待识别图像的数量。本发明计算两个直方图h0、hi间的欧氏距离d0i的公式如下式(6)所示：
其中：h0k表示目标车辆的颜色直方图h0第k维的数值；
hik表示待匹配车辆图像的第i幅图像的颜色直方图hi中第k维的数值，i＝1，2…n。
欧氏距离越小，表示两个特征向量的距离越近，即越相似。
(3)基于LLC和加权SPM的HOG特征相似度计算
基于LLC和加权SPM的HOG特征相似度计算可分为三个部分，如图5所示，先提取车辆的HOG特征，然后进行HOG特征编码，最后进行基于编码HOG特征的相似度计算。
此过程的具体步骤如下：
1)提取车辆的HOG特征
提取车辆的HOG特征时，先将图像归一化为标准像素大小(即64×64)，设置每个元胞(cell)的像素个数，每个cell中将360度分为9个区间(即9个方向)，统计出每个cell的HOG。然后设置每个图像块(block)中cell的个数，按顺序连接每个cell的特征向量得到一个block的特征向量。最后按照设定的步长扫描车辆图像，得到若干个block特征向量。
2)HOG特征编码
HOG特征编码先将所有block特征向量进行K-Means(K均值)聚类，目的是将相似的block特征向量都用一个特征向量来表示。一个特征向量代表一个视觉单词，K个聚类中心就有K个视觉单词。
经过聚类得到一本视觉词典，然后用视觉词典中的视觉单词将图像的block特征向量进行编码，编码方式采用LLC，目的是将每个block特征向量对应多个视觉词汇。
再用加权SPM赋予编码向量空间位置信息，将区域中的视觉单词出现次数最多的作为该区域的特征。加权SPM，将局部线性约束编码后的车辆图像划分为三个层次，划分方式分别是将图像一等分、四等分以及是十六等分，这样三个层次分别有1、4、16个区域。
最后对各区域赋权值，得到具有空间位置信息的编码HOG特征向量。其中，加权SPM可根据车辆纹理特征分布规律进行权重设计。结合不同类型的车辆特点，几种常用的SPM权重矩阵如下：
C＝[1；1,1,1,1；1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
D＝[1；2,1,2,1；3,3,2,2,3,3,2,2,3,3,2,2,3,3,2,2]
E＝[1；2,1,2,1；4,4,2,2,4,4,2,2,4,4,2,2,4,4,2,2]
F＝[1；2,1,2,1；5,5,2,2,5,5,2,2,5,5,2,2,5,5,2,2]
G＝[1；2,1,2,1；6,6,2,2,6,6,2,2,6,6,2,2,6,6,2,2]
3)基于编码HOG特征的相似度计算
HOG特征的相似度计算采用相关系数作为其相似性的判断依据。相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数越大，则X与Y的相关度越高。相关系数的定义如式(7)所示，其中ρXY为X与Y的相关系数，Cov(X,Y)为X和Y的协方差，D(X)和D(Y)为X和Y的方差。
(4)特征融合算法
本发明将基于颜色直方图的颜色特征与编码HOG特征的图像相似度结果进行融合，实现不同摄像头场景下车辆图像的重识别。在进行特征融合时，两种特征在融合时的权值不同，车辆重识别率也不相同，当其中一种特征所占比例过大时，将有可能丢失另一种特征中有助于车辆重识别的信息，所以合适的权值是融合特征的关键参数。颜色特征与编码HOG特征这两个特征描述物体的物理意义不同，而且特征向量的维度不同，特征值的范围也不相同，因此一般需要先进行归一化处理。
由基于颜色直方图的车辆重识别方法以及基于LLC和加权SPM的HOG特征相似度计算方法能分别得到车辆重识别的相似度结果，本发明采用加权法将两种特征进行融合，其算法具体流程如图6所示。
本发明在用颜色直方图进行车辆重识别时，采用欧氏距离作为两幅图像表达向量的相似性。两者的欧氏距离越大，说明两者越不相似。而在用编码HOG特征进行车辆重识别时，采用的是相关系数。两者的相关系数越大，说明两者越相似。为了解决这两种方法对相似度排序的不一致性问题，本发明在计算HOG特征相似度的时候，采用相关距离的方法代替相关系数。相关距离与相关系数的转换关系如下式(8)所示：
dH＝1-ρH (8)
其中ρH为相关系数，dH为相关距离。
在将相关系数转化为相关距离后，采取加权融合的方式对颜色特征和编码HOG特征的相似度结果进行融合，得到车辆重识别的相似度结果，融合公式如下式(9)所示：
d(IA,IB)＝λdc(IA,IB)+(1-λ)dH(IA,IB) (9)
其中，d(IA,IB)为融合特征后的相似度，dc(IA,IB)，dH(IA,IB)分别为颜色特征和编码HOG特征的相似度(即欧氏距离和相关距离)，λ为特征融合的权重。λ可以根据实际情况进行调整。如白天光照条件好，则可以适当提高λ值，增大颜色特征的权重；夜间光照条件差，则减少λ值。同理，若在相同光照条件下，当车辆尺寸较大时，则车辆重识别的判断依据更依赖于HOG特征，故需增大HOG的权重，即减少λ值，反之亦然。由于λ可根据具体环境条件适当调整取值，这也使得该算法具有了很强的环境适应性，能根据不同环境对目标车辆做出更加准确的识别。
现有的车辆重识别方法都只采用其中一种特征对目标车辆进行重识别。经过多项比对测试表明，本发明的方法识别率最高，比只采用颜色直方图的匹配方法提高7％，比只采用传统HOG特征或编码HOG特征的匹配方法提高了20％，比融合颜色直方图和传统HOG特征的匹配方法提高了4％。
本发明提出了一种基于融合特征的车辆重识别方法及系统，融合了颜色特征和HOG特征，实现了不同拍摄环境下的车辆匹配与再识别，适用于全天候各类道路监控视频以及车辆抓拍系统，并能根据识别结果对车辆在城市中的行驶路径进行判断。与现有技术相比，本发明具有以下优点：
1)融合了颜色特征和HOG特征，实现了不同拍摄环境下的车辆匹配与再识别，与分别采用单一特征进行车辆重识别的方法相比，准确率更高，鲁棒性更强。
2)本发明通过计算颜色特征的欧氏距离和HOG特征的相关距离，并进行加权融合求解车辆重识别的结果，可根据不同环境条件进行权重自适应调整，提高了车辆识别的准确率。
3)采用了基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，使得计算出的编码方向梯度直方图特征相似度具有语义信息和空间位置信息，既强调了车身纹理分布规律，同时也保留了图像空间信息，提升了车辆重识别的准确率。
4)在采用基于颜色直方图的相似度计算方法计算颜色特征相似度时从RGB转换到HSV空间，更符合人的视觉特性，方便了进行颜色之间的对比。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于融合特征的视频车辆重识别方法，其特征在于：包括以下步骤：
确定目标车辆与匹配范围；
根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；
根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；
将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。
2.根据权利要求1所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述确定目标车辆与匹配范围这一步骤，具体包括：
从第一摄像头的车辆图像中选定一辆车作为目标车辆；
在需要进行重识别的第二摄像头中，通过车辆检测器对每一辆经过的车辆进行记录，得到作为匹配范围的查找图库，所述查找图库记录的信息包括车辆经过的时间、车辆经过的地点和车辆在第二摄像头的视频帧中的坐标。
3.根据权利要求1所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体包括：
在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图；
对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度。
4.根据权利要求3所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图这一步骤，具体包括：
根据颜色空间转换公式将目标车辆图像与待匹配车辆图像从RGB空间转换到HSV空间；
对目标车辆图像与待匹配车辆图像的H、S和V分量进行非等间隔量化，从而将目标车辆图像与待匹配车辆图像的H、S和V分量分别划分为16个量级、4个量级和4个量级，所述非等间隔量化的量化公式为：
<mrow>
<mi>H</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>{</mo>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mn>15</mn>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mo>(</mo>
<mn>345</mn>
<mo>,</mo>
<mn>360</mn>
<mo>&rsqb;</mo>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>15</mn>
<mo>,</mo>
<mn>25</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>25</mn>
<mo>,</mo>
<mn>45</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>3</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>45</mn>
<mo>,</mo>
<mn>55</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>4</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>55</mn>
<mo>,</mo>
<mn>80</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>5</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>80</mn>
<mo>,</mo>
<mn>108</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>6</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>108</mn>
<mo>,</mo>
<mn>140</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>7</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>140</mn>
<mo>,</mo>
<mn>165</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>8</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>165</mn>
<mo>,</mo>
<mn>190</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>9</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>190</mn>
<mo>,</mo>
<mn>220</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>10</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>220</mn>
<mo>,</mo>
<mn>255</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>11</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>255</mn>
<mo>,</mo>
<mn>275</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>12</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>275</mn>
<mo>,</mo>
<mn>290</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>13</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>290</mn>
<mo>,</mo>
<mn>316</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>14</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>316</mn>
<mo>,</mo>
<mn>330</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>15</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>h</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>330</mn>
<mo>,</mo>
<mn>345</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>S</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>0.15</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0.15</mn>
<mo>,</mo>
<mn>0.4</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0.4</mn>
<mo>,</mo>
<mn>0.75</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>3</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0.75</mn>
<mo>,</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>V</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>0.15</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0.15</mn>
<mo>,</mo>
<mn>0.4</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0.4</mn>
<mo>,</mo>
<mn>0.75</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>3</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0.75</mn>
<mo>,</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，h、s和v分别为目标车辆图像与待匹配车辆图像H、S和V分量的像素值；
根据划分的量级将目标车辆图像与待匹配车辆图像的H、S和V分量合成一维特征向量L，并对L进行归一化，所述一维特征向量L的表达式为：L＝16H+4S+V，其中，归一化后的向量L的取值为0,1,2…255；
根据归一化后的向量L得到目标车辆图像与待匹配车辆图像的颜色直方图。
5.根据权利要求3所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体为：
分别计算目标车辆图像的颜色直方图h0与待匹配车辆图像的颜色直方图h1，h2…hn的欧氏距离d0i，生成一个1×n的欧氏距离矩阵，所述欧氏距离d0i的计算公式为： 其中，h0k为目标车辆图像的颜色直方图h0第k维的数值，hik为待匹配车辆图像的第i幅图像的颜色直方图hi中第k维的数值，i＝1，2…n，n为待匹配车辆图像的总幅数。
6.根据权利要求1所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度这一步骤，具体包括：
分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征；
采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征；
根据得到的编码方向梯度直方图特征进行相似度计算，得到目标车辆图像与待匹配车辆图像的相关系数，所述目标车辆图像IA与待匹配车辆图像IB的相关系数ρH(IA,IB)表达式为：
<mrow>
<msub>
<mi>&rho;</mi>
<mi>H</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>A</mi>
</msub>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>C</mi>
<mi>o</mi>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>A</mi>
</msub>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>A</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<msqrt>
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中，Cov(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的协方差，D(IA)为目标车辆图像IA的方差，D(IB)为待匹配车辆图像IB的方差。
7.根据权利要求6所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征这一步骤，具体包括：
将目标车辆图像与待匹配车辆图像分别归一化为64×64标准像素大小的标准化图像；
设置每个元胞的像素个数，并构建每个元胞的方向梯度直方图，其中每个元胞将360度划分为9个区间；
将标准化图像划分为若干个图像块，并构建每个图像块的方向梯度直方图；
设置每个图像块中元胞的个数，并按顺序连接每个元胞的9方向特征向量，得到每个图像块的特征向量；
按照设定步长扫描标准化图像，得到由若干个图像块特征向量组成的方向梯度直方图特征向量。
8.根据权利要求7所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征这一步骤，具体包括：
对方向梯度直方图特征向量中的所有图像块特征向量进行K-Means聚类，生成视觉词典；
用视觉词典中的视觉单词对图像块特征向量进行局部线性约束编码，得到编码向量；
采用加权空间金字塔对编码向量进行处理，得到编码方向梯度直方图特征向量，所述加权空间金字塔采用的权重矩阵根据车辆纹理特征分布规律设计，所述编码方向梯度直方图特征向量具有空间位置信息和语义信息。
9.根据权利要求1-8任一项所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果这一步骤，具体包括：
根据计算的编码方向梯度直方图特征相似度计算目标车辆图像与待匹配车辆图像的相关距离，所述目标车辆图像IA与待匹配车辆图像IB的相关距离dH(IA,IB)计算公式为：dH(IA,IB)＝1-ρH(IA,IB)，其中，ρH(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的相关系数；
将计算的颜色特征相似度和计算的相关距离进行加权融合，得到融合后的相似度，并将融合后的相似度作为车辆重识别的相似度结果进行输出，所述加权融合的公式为：d(IA,IB)＝λdc(IA,IB)+(1-λ)dH(IA,IB)，其中，d(IA,IB)为融合后的相似度，dc(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的颜色特征相似度，λ为特征融合的权重，λ能根据不同环境条件进行权重自适应调整。
10.一种基于融合特征的视频车辆重识别系统，其特征在于：包括以下模块：
目标车辆与匹配范围确定模块，用于确定目标车辆与匹配范围；
颜色特征相似度计算模块，用于根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；
编码方向梯度直方图特征相似度计算模块，用于根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；
加权融合模块，用于将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710753436.1A CN107622229B (zh) | 2017-08-29 | 2017-08-29 | 一种基于融合特征的视频车辆重识别方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710753436.1A CN107622229B (zh) | 2017-08-29 | 2017-08-29 | 一种基于融合特征的视频车辆重识别方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107622229A true CN107622229A (zh) | 2018-01-23 |
| CN107622229B CN107622229B (zh) | 2021-02-02 |
Family
ID=61089118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710753436.1A Active CN107622229B (zh) | 2017-08-29 | 2017-08-29 | 一种基于融合特征的视频车辆重识别方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107622229B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108279238A (zh) * | 2018-01-30 | 2018-07-13 | 深圳春沐源控股有限公司 | 一种果实成熟度判断方法及装置 |
| CN108875754A (zh) * | 2018-05-07 | 2018-11-23 | 华侨大学 | 一种基于多深度特征融合网络的车辆再识别方法 |
| CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
| CN109344695A (zh) * | 2018-08-14 | 2019-02-15 | 中山大学 | 一种基于特征选择卷积神经网络的目标重识别方法和装置 |
| CN109389177A (zh) * | 2018-10-25 | 2019-02-26 | 长安大学 | 一种基于协同级联森林的隧道车辆再识别方法 |
| CN109508731A (zh) * | 2018-10-09 | 2019-03-22 | 中山大学 | 一种基于融合特征的车辆重识别方法、系统及装置 |
| CN109740653A (zh) * | 2018-12-25 | 2019-05-10 | 北京航空航天大学 | 一种融合视觉表观与时空约束的车辆再识别方法 |
| CN109934853A (zh) * | 2019-03-21 | 2019-06-25 | 云南大学 | 基于响应图置信区域自适应特征融合的相关滤波跟踪方法 |
| CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111147856A (zh) * | 2018-11-03 | 2020-05-12 | 广州灵派科技有限公司 | 一种视频编码方法 |
| CN112132014A (zh) * | 2020-09-22 | 2020-12-25 | 德州学院 | 基于非督导金字塔相似性学习的目标重识别方法及系统 |
| CN112183231A (zh) * | 2020-09-09 | 2021-01-05 | 广州杰赛科技股份有限公司 | 一种基于高清视频的车辆识别方法及装置 |
| CN113034454A (zh) * | 2021-03-16 | 2021-06-25 | 上海交通大学 | 一种基于人类视觉感官的水下图像质量评价方法 |
| CN114067293A (zh) * | 2022-01-17 | 2022-02-18 | 武汉珞信科技有限公司 | 基于双重属性的车辆重识别重排列方法、系统及电子设备 |
| CN115601690A (zh) * | 2022-12-13 | 2023-01-13 | 山东常生源生物科技股份有限公司（Cn） | 一种基于智慧农业的食用菌环境检测方法 |
| US11694436B2 (en) | 2020-06-30 | 2023-07-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Vehicle re-identification method, apparatus, device and storage medium |
| CN117542220A (zh) * | 2024-01-10 | 2024-02-09 | 深圳市拓安科技有限公司 | 应用于恶劣天气下的行车安全诱导方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102695056A (zh) * | 2012-05-23 | 2012-09-26 | 中山大学 | 一种提取压缩视频关键帧的方法 |
| CN102750771A (zh) * | 2012-07-13 | 2012-10-24 | 中山大学 | 一种应用于智能手机的第五套人民币面额识别方法 |
| CN102831409A (zh) * | 2012-08-30 | 2012-12-19 | 苏州大学 | 基于粒子滤波的运动行人视频自动跟踪方法及系统 |
| CN105787466A (zh) * | 2016-03-18 | 2016-07-20 | 中山大学 | 一种车辆类型的精细识别方法及系统 |
| US20160259981A1 (en) * | 2013-06-28 | 2016-09-08 | Institute Of Automation, Chinese Academy Of Sciences | Vehicle detection method based on hybrid image template |
| CN106919910A (zh) * | 2016-05-12 | 2017-07-04 | 江苏科技大学 | 一种基于hog‑cth组合特征的交通标志识别方法 |
| CN106933816A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
-
2017
- 2017-08-29 CN CN201710753436.1A patent/CN107622229B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102695056A (zh) * | 2012-05-23 | 2012-09-26 | 中山大学 | 一种提取压缩视频关键帧的方法 |
| CN102750771A (zh) * | 2012-07-13 | 2012-10-24 | 中山大学 | 一种应用于智能手机的第五套人民币面额识别方法 |
| CN102831409A (zh) * | 2012-08-30 | 2012-12-19 | 苏州大学 | 基于粒子滤波的运动行人视频自动跟踪方法及系统 |
| US20160259981A1 (en) * | 2013-06-28 | 2016-09-08 | Institute Of Automation, Chinese Academy Of Sciences | Vehicle detection method based on hybrid image template |
| CN106933816A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
| CN105787466A (zh) * | 2016-03-18 | 2016-07-20 | 中山大学 | 一种车辆类型的精细识别方法及系统 |
| CN106919910A (zh) * | 2016-05-12 | 2017-07-04 | 江苏科技大学 | 一种基于hog‑cth组合特征的交通标志识别方法 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108279238A (zh) * | 2018-01-30 | 2018-07-13 | 深圳春沐源控股有限公司 | 一种果实成熟度判断方法及装置 |
| CN108875754A (zh) * | 2018-05-07 | 2018-11-23 | 华侨大学 | 一种基于多深度特征融合网络的车辆再识别方法 |
| CN108875754B (zh) * | 2018-05-07 | 2022-04-05 | 华侨大学 | 一种基于多深度特征融合网络的车辆再识别方法 |
| CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
| CN109344695A (zh) * | 2018-08-14 | 2019-02-15 | 中山大学 | 一种基于特征选择卷积神经网络的目标重识别方法和装置 |
| CN109344695B (zh) * | 2018-08-14 | 2022-03-22 | 中山大学 | 一种基于特征选择卷积神经网络的目标重识别方法和装置 |
| CN109508731A (zh) * | 2018-10-09 | 2019-03-22 | 中山大学 | 一种基于融合特征的车辆重识别方法、系统及装置 |
| CN109389177A (zh) * | 2018-10-25 | 2019-02-26 | 长安大学 | 一种基于协同级联森林的隧道车辆再识别方法 |
| CN109389177B (zh) * | 2018-10-25 | 2021-08-10 | 长安大学 | 一种基于协同级联森林的隧道车辆再识别方法 |
| CN111147856A (zh) * | 2018-11-03 | 2020-05-12 | 广州灵派科技有限公司 | 一种视频编码方法 |
| CN109740653B (zh) * | 2018-12-25 | 2020-10-09 | 北京航空航天大学 | 一种融合视觉表观与时空约束的车辆再识别方法 |
| CN109740653A (zh) * | 2018-12-25 | 2019-05-10 | 北京航空航天大学 | 一种融合视觉表观与时空约束的车辆再识别方法 |
| CN109934853A (zh) * | 2019-03-21 | 2019-06-25 | 云南大学 | 基于响应图置信区域自适应特征融合的相关滤波跟踪方法 |
| CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111126493B (zh) * | 2019-12-25 | 2023-08-01 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| US11694436B2 (en) | 2020-06-30 | 2023-07-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Vehicle re-identification method, apparatus, device and storage medium |
| CN112183231A (zh) * | 2020-09-09 | 2021-01-05 | 广州杰赛科技股份有限公司 | 一种基于高清视频的车辆识别方法及装置 |
| CN112132014B (zh) * | 2020-09-22 | 2022-04-12 | 德州学院 | 基于非督导金字塔相似性学习的目标重识别方法及系统 |
| CN112132014A (zh) * | 2020-09-22 | 2020-12-25 | 德州学院 | 基于非督导金字塔相似性学习的目标重识别方法及系统 |
| CN113034454A (zh) * | 2021-03-16 | 2021-06-25 | 上海交通大学 | 一种基于人类视觉感官的水下图像质量评价方法 |
| CN113034454B (zh) * | 2021-03-16 | 2023-11-24 | 上海交通大学 | 一种基于人类视觉感官的水下图像质量评价方法 |
| CN114067293A (zh) * | 2022-01-17 | 2022-02-18 | 武汉珞信科技有限公司 | 基于双重属性的车辆重识别重排列方法、系统及电子设备 |
| CN115601690A (zh) * | 2022-12-13 | 2023-01-13 | 山东常生源生物科技股份有限公司（Cn） | 一种基于智慧农业的食用菌环境检测方法 |
| CN115601690B (zh) * | 2022-12-13 | 2023-05-05 | 山东常生源生物科技股份有限公司 | 一种基于智慧农业的食用菌环境检测方法 |
| CN117542220A (zh) * | 2024-01-10 | 2024-02-09 | 深圳市拓安科技有限公司 | 应用于恶劣天气下的行车安全诱导方法及系统 |
| CN117542220B (zh) * | 2024-01-10 | 2024-04-16 | 深圳市拓安科技有限公司 | 应用于恶劣天气下的行车安全诱导方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107622229B (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107622229A (zh) | 一种基于融合特征的视频车辆重识别方法与系统 | |
| Chen et al. | Quality-guided key frames selection from video stream based on object detection | |
| Li et al. | Traffic light recognition for complex scene with fusion detections | |
| CN109558823B (zh) | 一种以图搜图的车辆识别方法及系统 | |
| CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN111104867B (zh) | 基于部件分割的识别模型训练、车辆重识别方法及装置 | |
| CN105787466B (zh) | 一种车辆类型的精细识别方法及系统 | |
| CN106845341B (zh) | 一种基于虚拟号牌的无牌车辆识别方法 | |
| CN110991340B (zh) | 一种基于图像压缩的人体动作分析方法 | |
| CN104200228B (zh) | 一种安全带识别方法与系统 | |
| CN106960176B (zh) | 一种基于超限学习机和颜色特征融合的行人性别识别方法 | |
| Li et al. | DMNet: A network architecture using dilated convolution and multiscale mechanisms for spatiotemporal fusion of remote sensing images | |
| CN110555387A (zh) | 骨架序列中基于局部关节点轨迹时空卷的行为识别方法 | |
| Hong et al. | Geodesic regression on the Grassmannian | |
| CN110796828B (zh) | 一种基于车联网寻找丢失人口的方法及其系统 | |
| CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
| Peng et al. | Vehicle classification using sparse coding and spatial pyramid matching | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
| CN113792686B (zh) | 基于视觉表征跨传感器不变性的车辆重识别方法 | |
| CN105868711A (zh) | 一种基于稀疏低秩的人体行为识别方法 | |
| CN107203779A (zh) | 基于空谱信息保持的高光谱降维方法 | |
| CN115188066A (zh) | 基于协同注意力和多尺度融合的运动目标检测系统及方法 | |
| CN103927517B (zh) | 一种基于人体全局特征直方图熵的动作检测方法 | |
| CN110458234A (zh) | 一种基于深度学习的以图搜车方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |