CN104615998A - 一种基于多视角的车辆检索方法 - Google Patents

Abstract

一种基于多视角的车辆检索方法，预先建立车辆潜在姿态的方位划分模型，所述方位划分模型中，定义方位划分以摄像机正面摄像点为基准点进行，平均划分为多个方位；预先设定每个方位分别关注的局部块，并建立任意两个方位的局部块对应关系；构建车辆查询库，对车辆查询库中每个用于车辆检测的图像和查询车辆图片，进行车辆姿态估计，根据方位划分模型得到车辆姿态所属方位，根据划分所得车辆姿态所属方位提取该方位所关注局部块的视觉特征，根据局部块的视觉特征采用局部二维模型来表示目标车辆；基于局部二维模型依据相关方位的局部块对应关系进行视觉相似性比对，得到相似度，获取车辆检索结果。

Description

一种基于多视角的车辆检索方法

技术领域

本发明涉及一种车辆检索技术，具体涉及一种基于多视角的车辆检索方法。

背景技术

车辆检索主要表现为不同地点不同视角的摄像机对同一车辆监控视频结果的匹配，以期找出目标车辆的一种技术。其在智能交通系统、公安刑事侦查以及信息安全等领域具有广泛的应用背景。

正如Zehang Sun和ETreppid在《On-road vehicle detection:a review》一文中提到相对于传统的车辆分类，车辆检索要求在一系列外形相似的车辆中找出特定目标的车辆，这就使得工作变得更具挑战性；不仅如此，还要考虑到实际情况，诸如监控环境、天气情况以及光照条件等因素的影响。一般来说，在实际的监控系统中，对于车辆的搜索和识别主要表现在两个方面，其一是要保证对目标车辆视觉特征予以准确的选择，诸如尺度不变特征变换和几何模糊等传统的图像描述方法，都是通过图像内部的兴趣点推导出来的；近年来，基于边缘分布，质地和颜色等外观特征的提取也用来表示车辆模型，例如Xiaoyu Wang等在《AnHOG-LBP human detector with partial occlusion handling》中提到的局部二分模式，Dalal等在《Histograms of oriented gradients for human detection》中提到的面向梯度的直方图和颜色直方图等，另外依据车辆属性的语义搜索系统也已经创建；另一方面，车辆匹配的结果应该由选择特征的相似性来排列。如何构建二维和三维模型是先前学者们提出来的衡量车辆相似性的方法，在《Optimal Edge-Based Shape Detection.》一文中H.Moon等提出了一种优化的二维模型方法。现今大多数度量学习的方法曾经也被用来衡量目标的相似性，根据相似性距离度量使搜索结果重新排列，在《Object Co-detection》一文中，Bao.S等人提到的通过衡量局部相似性能够检测到通过多视角观察到的整体目标，并且也获得了较理想的效果。

但是，由于在不同的视角情况下，加之车辆外观形态的可变性，导致了传统车辆检测方法的不可行性。目前城市规模日益扩大，在海量监控视频中寻找特定车辆面临更大挑战。

发明内容

针对现今在海量监控视频中寻找特定车辆技术的不足，本发明提出了一种可行的方法用来准确匹配城市监控系统中所得监控数据中的目标车辆，即在多视角下，采用基于局部外观相似性的方法来实现目标车辆的检索。

为了实现上述目标，本发明采用的技术方案为一种基于多视角的车辆检索方法，预先建立车辆潜在姿态的方位划分模型，所述方位划分模型中，定义方位划分以摄像机正面摄像点为基准点进行，平均划分为多个方位；预先设定每个方位分别关注的局部块，并建立任意两个方位的局部块对应关系；执行如下步骤，

步骤1，构建车辆查询库，对车辆查询库中每个用于车辆检测的图像，分别依次执行以下操作，

(1)进行车辆识别，识别出图像中车辆区域，并对检测判定为车辆的区域进行车辆姿态估计，然后根据方位划分模型得到车辆姿态所属方位；

(2)根据车辆姿态所属方位提取该方位所关注局部块的视觉特征并存储进车辆查询库，根据局部块的视觉特征采用局部二维模型来表示检测到的车辆区域中目标车辆；

步骤2，输入查询车辆图片I，进行车辆姿态估计，根据方位划分模型得到车辆姿态所属方位，根据划分所得车辆姿态所属方位提取该方位所关注局部块的视觉特征，根据局部块的视觉特征采用局部二维模型来表示查询车辆图片I中目标车辆；

步骤3，将步骤2所得查询车辆图片I的相应局部块视觉特征，与车辆查询库中存储的所有相关用于车辆检测的图像的局部块视觉特征，基于局部二维模型依据相关方位的局部块对应关系进行视觉相似性比对，得到相似度，获取查询车辆图片I的车辆检索结果。

而且，步骤1和步骤2中，根据局部块的视觉特征采用局部二维模型来表示目标车辆，实现方式如下，

设目标车辆用r表示，目标车辆在划分所得方位关注的n个局部块的特征数据分别为p₁,...,p_n，相应车辆局部数据集p＝{p₁,...,p_n}，用v表示目标车辆的方位，目标车辆的局部二维模型为Vec＝(r,v,p)。

而且，步骤3中，任意给定两个车辆的局部二维模型，设记为车辆模型Vec₁＝(r₁,p₁,v₁)和Vec₂＝(r₂,p₂,v₂)，定义能量函数E(Vec₁，Vec₂)来比较两个车辆模型的相似性，

$E({\mathrm{Vec}}_1,{\mathrm{Vec}}_2)={\mathrm{\Σ}}_{i,j=1}^n{E}_{\mathrm{match}}\left(\right\{p_i^1\},\{p_j^2\},v^1,v^2)$

$E_{\mathrm{match}}\left(\right\{p_i^1\},\{p_j^2\},v^1,v^2)=\frac{1}{n}\mathrm{\ΣM}(p_i^1,p_j^2,v^1,v^2)$

其中，为车辆模型Vec₁和车辆模型Vec₂的势匹配，其中为匹配函数，表示车辆模型Vec₁的第i个局部块与车辆模型Vec₂的第j个局部块的相似性程度，其中，v¹,v²分别表示车辆模型Vec₁的方位和车辆模型Vec₂的方位。

而且，局部块相似性程度的计算实现如下，

通过特征向量来计算车辆模型的局部相似性其中表示车辆k¹的第i个局部块的特征，表示车辆k²的第j个局部块的特征，包括车辆k¹的第i个局部块和车辆k²的第j个局部块的各种特征的差异，

包含局部特征相似性权重W_ij的匹配函数公式如下，

其中，W_ij根据训练获取。

而且，训练获取局部特征相似性权重，根据训练数据集采用如下公式得到，

$W=\arg \underset{W}{\min }\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{\left|\right|W_{\mathrm{ij}}\left|\right|}^2+\mathrm{\λ}{\mathrm{\Σ}}_{t=1}^T\max (\mathrm{0,1}-y_t[{\mathrm{\Σ}}_{i,j=1}^n{E}_{\mathrm{match}}\left(\right\{p_i^{k_1}\},\{p_i^{k_2}\},v^{k_1},v^{k_2})\left]\right)$

其中，W是支持向量机的权重参数，该公式求取权重参数W的最优值，λ表示约束系数，T表示数据样本总数，t表示单个样本，y_t表示分类结果标记；为第k₁幅车辆图像中的第i部分，为第k₁幅车辆图像的方位，为第k₂幅车辆图像中的第j部分，为第k₂幅车辆图像的方位，为第k₁幅车辆图像的车辆模型和第k₂幅车辆图像的车辆模型的势匹配。

本发明具有以下积极效果和优点：

1)本发明通过对一般车辆运动轨迹典型姿态的确立，从而估计目标车辆的潜在姿态，并且对其潜在姿态给予相应的追踪，归一化到一般车辆运行的典型姿态，顺利实现对目标车辆的跟踪和检索；

2)对于任一给定的待匹配的车辆，利用二维数学模型，实现对目标车辆局部特征的不变性来实现不同视角下车辆的重新匹配，以期找到目标车辆，从而实现车辆检索的过程。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的目标车辆模型潜在姿态的划分模型；

图3为本发明实施例的目标车辆模型局部特征匹配模型。

具体实施方式

下面结合实施例和相关的附图来详细说明本发明技术方案。

由于在不同的视角情况下，加之车辆外观形态的可变性，导致了传统车辆检测方法的不可行性。在本发明中从两个方面优化了局部模型表示法。具体实施时，可以预先建立车辆潜在姿态的方位划分模型和任意两个方位的局部对应关系。

所述方位划分模型中，定义方位划分以摄像机正面摄像点为基准点进行，平均划分为多个方位。本领域技术人员可以自行指定具体方位划分方式，例如划分为4个、8个或16个方位等，可根据精度要求灵活选择。

首先，实施例是通过把车辆的姿态按照45度间隔，划分为8个潜在的姿态方位(分别为上，下，左，右，左上，右上，左下，右下)来提高检测的精确度，如图2所示。此划分是以摄像机视角中心点为依据的；其次，对于接近上述典型姿态的任一个车辆姿态最终都可以归一化到8个典型的车辆姿态中。即车辆的任意前进方向都可以归纳为此八个姿态中的一种，每个姿态之间相差45°间隔，能够模拟任意情况下车辆的运行方向。因为目前提取车辆局部特征都是基于在静止图像中开展的，可以根据车辆移动的轨迹，从视频序列中截取车辆姿势最接近上述8个典型方向的图像，从而估计出车辆的运行方向(姿势)，使其映射到典型姿势中，以便提取相关视觉特征。

由于摄像头的位置，使得车辆在运动过程中所呈现的局部模块不尽相同。本领域技术人员可以自行设定每个方位分别关注不同局部块信息，例如提取车窗、车尾以及车灯等局部块所呈现出来的不同视觉特征，用以车辆匹配过程中的相似度比较。为便于匹配，可以预先根据任意两个方位的相应局部块建立局部对应关系。例如方位上、方位右上同样关注车辆的车尾、后车灯。

本发明可以通过计算机软件方式实现自动运行流程。参见图1，本发明包括根据预先建立的车辆潜在姿态的划分模型和任意两个方位的局部对应关系，进行以下步骤：

步骤1，构建车辆查询库。具体实施时，可以采用数据库方式实现车辆查询库，输入预先收集的车辆数据到车辆查询库，包括图片和视频。

对查询库中的视频，可以先提取关键帧，得到用于车辆检测的图像。

对查询库中的图片，则可直接将图片作为用于车辆检测的图像。

对每个用于车辆检测的图像，分别依次执行以下操作：

(1)进行车辆识别，识别出图像中车辆区域，并对检测判定为车辆的区域进行车辆姿态估计，然后根据本发明建立的方位划分模型得到车辆姿态所属方位。

具体实施时，可以对图像进行混合高斯背景建模提取运动块，对运动块进行车辆识别，姿态估计方法可为三维线框模型。由于用于城市视频监控的摄像机都是静止的，所以通过背景相减法很容易就获取视频序列的前景特征。通过相应的前景特征，也可以了解到物体移动的轨迹，实现目标物体的跟踪，获知车辆的运行方向，从而车辆姿态就很容易的被估计到，因而也就很容易被映射到之前8个典型的姿态中。

(2)根据(1)划分所得车辆姿态所属方位提取车辆指定局部块(即设定该方位所关注的局部块)的视觉特征并存储，根据局部块的视觉特征采用局部二维模型来表示检测到的车辆区域相应的目标车辆。

对所有用于车辆检测的图像，分别得到视觉特征并存储到车辆查询库，以备查询使用。

具体实施时，本领域技术人员可以自行设定具体提取的特征，可采用几何特征，如几何质心，或视觉特征，如颜色直方图、特征点、LBP算子等其中之一。具体实施时，可提取多种特征。

三维线框模型、特征提取可采用现有技术，本发明不予赘述。

步骤2，输入查询车辆图片I，一般查询车辆图片I整个图像都为车辆区域，可以直接进行车辆姿态估计，根据本发明建立的方位划分模型得到车辆姿态所属方位，根据划分所得车辆姿态所属方位提取车辆指定局部块的视觉特征。

具体实现方式与步骤1一致。实施例同样利用三维线框模型对图片I中车辆进行姿态估计，然后根据方位划分模型得到姿态所属方位；根据车辆的姿态在对应的局部块提取视觉特征，与等于车辆查询库中识别所得车辆区域的处理方式一致。

在步骤1、2中，实施例根据提取的视觉特征，采用局部二维模型来表示用于车辆检测的图像或查询车辆图片I中的车辆，建立车辆模型，即目标车辆用r表示，p代表车辆局部数据集，也即目标车辆在划分所得方位关注的n个局部块的特征数据分别为p₁,...,p_n，相应车辆局部数据集p＝{p₁,...,p_n}，用v表示车辆目前的姿态方位，所以对一个车辆模型的表示方法为Vec＝(r,v,p)。

步骤3，将步骤2所得查询车辆图片I的相应局部块视觉特征，与车辆查询库中存储的所有相关用于车辆检测的图像的局部块视觉特征，依据相关方位的局部对应关系进行视觉相似性比对，得到相似度，获取查询车辆图片I的车辆检索结果。

在步骤3中，根据相似性度量的方法，权衡不同视角环境下车辆实例的相似性程度。BaoS.Y等人在《Object Co-detection》一文中提到，采用匹配的潜在能量法比较车辆模型的相似性，但在本发明中，优化了几个方面的内容。实施例具体实现如下：

任意给定两个车辆的局部二维模型，设记为车辆模型Vec₁＝(r₁,p₁,v₁)和Vec₂＝(r₂,p₂,v₂)，定义能量函数E(Vec₁，Vec₂)来比较两个车辆模型的相似性：

$E({\mathrm{Vec}}_1,{\mathrm{Vec}}_2)={\mathrm{\Σ}}_{i,j=1}^n{E}_{\mathrm{match}}\left(\right\{p_i^1\},\{p_j^2\},v^1,v^2)$

公式 $E_{\mathrm{match}}\left(\right\{p_i^1\},\{p_j^2\},v^1,v^2)=\frac{1}{n}\mathrm{\&Sigma;M}(p_i^1,p_j^2,v^1,v^2)$ 为车辆模型Vec₁和车辆模型Vec₂的势匹配(潜在的相似度)，取车辆模型Vec₁为查询车辆图片I相应待匹配的车辆模型，车辆模型Vec₂为车辆查询库中存储的车辆模型，则可评价相应相似性。其中为匹配函数，表示车辆模型Vec₁的第i个局部块与车辆模型Vec₂的第j个局部块的相似性程度，其中，v¹,v²分别表示车辆模型Vec₁的方位和车辆模型Vec₂的方位，i,j的取值范围取决于两个方位相应的车辆指定局部块的数量n，例如数目n为7，则取值为{i,j<＝7}。

由于车辆的姿态在计算其局部相似性前都已经评估过，通过这种方法能够计算在不同视角下车辆模型的局部外观相似性程度，如图3所示车辆模型Vec₁的局部块1、2、3、4与车辆模型Vec₂的局部块1、2、3、4分别对应，虽然车辆方位不同，仍然可以对比相似度。

为了具体计算不同车辆局部外观特征的相似性程度，实施例从图像中提取目标车辆第i部分的多种局部特征所构成特征向量可记为φ_i，通过特征向量来计算车辆模型的局部相似性其中表示车辆k¹的第i个局部块的特征，表示车辆k²的第j个局部块的特征，该特征一般包括一系列的几何特征(如HOGs等)和视觉特征(RGB等)，包括车辆k¹的第i个局部块和车辆k²的第j个局部块的各种特征的差异。具体实施时，本领域技术人员可自行设定提取的具体特征，求取各种特征的差异后，即可得到局部相似性例如：

$S({\mathrm{\&phi;}}_i^{k^1},{\mathrm{\&phi;}}_j^{k^2})={[S_1,S_2,S_3,S_4,S_5]}^T,$

是用来表示计算车辆模型局部相似性的函数，其中S₁为车辆布局的KL距离和颜色直方图之间的负值，S₂为与尺度不变特征变换相匹配的逻辑值，S₃为归一化的图像块内积值，S₄为图像几何特征之间的逆距离，S₅为车辆局部LBP向量之间的马氏距离。

包含局部特征相似性权重W_ij的匹配函数公式如下，实施例通过训练获取局部特征相似性权重：

其中，W_ij为一个向量，表示的是车辆模型第i局部块和第j局部块的局部特征相似性权重，上标T表示第i部分和第j部分特征向量的转置，即通过训练能够获得在不同视角下的车辆模型的局部通用特征权重，最终目的就是在不同的图像中找出最优匹配的供候选的实例车辆。

假设IS_candiante为训练数据集，其中每一张图像里面都包括一辆已知的车辆实例，接下来要用待搜索的目标车辆Vec_search分别与训练图像集中供候选的车辆模型进行比较，以获得相似权重最高的分数值。具体实施时，可以利用车辆查询库中部分图像作为训练数据集，或者另行构建训练数据集，特征提取方式与步骤1、2一致。局部特征相似性权重W_ij是通过训练数据集中基于特定视角和特定标记获得的，由此，实施例有下面的公式：

$W=\arg \underset{W}{\min }\frac{1}{2}\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|W_{\mathrm{ij}}\left|\right|}^2+\mathrm{\&lambda;}{\mathrm{\&Sigma;}}_{t=1}^T\max (\mathrm{0,1}-y_t[{\mathrm{\&Sigma;}}_{i,j=1}^n{E}_{\mathrm{match}}\left(\right\{p_i^{k_1}\},\{p_i^{k_2}\},v^{k_1},v^{k_2})\left]\right)$

其中，该公式表示从训练数据集中获取不同车辆的匹配权重，_w表示权重参数W的最优值，λ表示约束系数，T表示训练数据集中样本图像总数，t表示训练数据集中任一个样本图像，y_t表示样本图像t的分类结果标记，要么为1，要么为0；局部特征相似性权重W_ij表示在训练数据集中基于局部标记和视觉的比重参数，为第k₁幅车辆图像(取目标车辆Vec_search)中的第i个局部块，为第k₁幅车辆图像的方位，为第k₂幅车辆图像(取训练数据集IS_candiante中的图像)中的第j个局部块，v^k2为第k₂幅车辆图像的方位，为第k₁幅车辆图像的车辆模型和第k₂幅车辆图像的车辆模型的势匹配。

W是通过一个标准的支持向量而评估得到的。具体实施时可采用支持向量机技术，W是支持向量机(SVMs)的权重参数，其分界面为W*x+b，对数据进行分类的函数。其中，b表示偏置项，x表示待分类的目标数据。在用SVM进行分类的时候，通过大量的训练数据目的就是为了学习参数W，然后进行预测。

根据局部特征相似性权重W_ij，求取查询车辆图片I的车辆模型和车辆查询库中存储的各车辆模型的相似性后，根据相似度大小排序，可以取车辆查询库中相似性最高的若干车辆模型，从而得到最优匹配结果集合。

本文中所描述的具体实施例子仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例子做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于多视角的车辆检索方法，其特征在于：预先建立车辆潜在姿态的方位划分模型，所述方位划分模型中，定义方位划分以摄像机正面摄像点为基准点进行，平均划分为多个方位；预先设定每个方位分别关注的局部块，并建立任意两个方位的局部块对应关系；执行如下步骤，

步骤1，构建车辆查询库，对车辆查询库中每个用于车辆检测的图像，分别依次执行以下操作，

(1)进行车辆识别，识别出图像中车辆区域，并对检测判定为车辆的区域进行车辆姿态估计，然后根据方位划分模型得到车辆姿态所属方位；

(2)根据车辆姿态所属方位提取该方位所关注局部块的视觉特征并存储进车辆查询库，根据局部块的视觉特征采用局部二维模型来表示检测到的车辆区域中目标车辆；

步骤2，输入查询车辆图片I，进行车辆姿态估计，根据方位划分模型得到车辆姿态所属方位，根据划分所得车辆姿态所属方位提取该方位所关注局部块的视觉特征，根据局部块的视觉特征采用局部二维模型来表示查询车辆图片I中目标车辆；

步骤3，将步骤2所得查询车辆图片I的相应局部块视觉特征，与车辆查询库中存储的所有相关用于车辆检测的图像的局部块视觉特征，基于局部二维模型依据相关方位的局部块对应关系进行视觉相似性比对，得到相似度，获取查询车辆图片I的车辆检索结果。

2.根据权利要求1所述基于多视角的车辆检索方法，其特征在于：步骤1和步骤2中，根据局部块的视觉特征采用局部二维模型来表示目标车辆，实现方式如下，

设目标车辆用r表示，目标车辆在划分所得方位关注的n个局部块的特征数据分别为p₁,...,p_n，相应车辆局部数据集p＝{p₁,...,p_n}，用v表示目标车辆的方位，目标车辆的局部二维模型为Vec＝(r,v,p)。

3.根据权利要求2所述基于多视角的车辆检索方法，其特征在于：步骤3中，任意给定两个车辆的局部二维模型，设记为车辆模型Vec₁＝(r₁,p₁,v₁)和Vec₂＝(r₂,p₂,v₂)，定义能量函数E(Vec₁，Vec₂)来比较两个车辆模型的相似性，

$E({\mathrm{Vec}}_1,{\mathrm{Vec}}_2)={\mathrm{\&Sigma;}}_{i,j=1}^n{E}_{\mathrm{match}}\left(\right\{p_i^1\},\{p_j^2\},v^1,v^2)$

$E_{\mathrm{match}}\left(\right\{p_i^1\},\{p_j^2\},v^1,v^2)=\frac{1}{n}\mathrm{\&Sigma;M}(p_i^1,p_j^2,v^1,v^2)$

其中，为车辆模型Vec₁和车辆模型Vec₂的势匹配，其中为匹配函数，表示车辆模型Vec₁的第i个局部块与车辆模型Vec₂的第j个局部块的相似性程度，其中，v¹,v²分别表示车辆模型Vec₁的方位和车辆模型Vec₂的方位。

4.根据权利要求3所述基于多视角的车辆检索方法，其特征在于：局部块相似性程度的计算实现如下，

通过特征向量来计算车辆模型的局部相似性其中表示车辆k¹的第i个局部块的特征，表示车辆k²的第j个局部块的特征，包括车辆k¹的第i个局部块和车辆k²的第j个局部块的各种特征的差异，

包含局部特征相似性权重W_ij的匹配函数公式如下，

其中，W_ij根据训练获取。

5.根据权利要求4所述基于多视角的车辆检索方法，其特征在于：训练获取局部特征相似性权重，根据训练数据集采用如下公式得到，

$W=\arg \underset{w}{\min }\frac{1}{2}\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|W_{\mathrm{ij}}\left|\right|}^2+\mathrm{\&lambda;}{\mathrm{\&Sigma;}}_{t=1}^T\max (\mathrm{0,1}-y_t[{\mathrm{\&Sigma;}}_{i,j=1}^n{E}_{\mathrm{match}}\left(\right\{p_i^{k_1}\},\{p_j^{k_2}\},v^{k_1},v^{k_2})\left]\right)$

其中，W是支持向量机的权重参数，该公式求取权重参数W的最优值，λ表示约束系数，T表示数据样本总数，t表示单个样本，y_t表示分类结果标记；为第k₁幅车辆图像中的第i部分，为第k₁幅车辆图像的方位，为第k₂幅车辆图像中的第j部分，为第k₂幅车辆图像的方位，为第k₁幅车辆图像的车辆模型和第k₂幅车辆图像的车辆模型的势匹配。