CN109800321A - 一种卡口图像车辆检索方法及系统 - Google Patents

Abstract

一种卡口图像车辆检索方法及系统,该方法构建了卡口图像车辆检索模型，卡口图像车辆检索模型由获取目标车辆图像块的检测网络、车辆关键点定位网络、车辆图像块编码网络三个子网络组成；然后利用训练样本对卡口图像车辆检索模型进行训练。采集卡口车辆图片输入训练好的卡口图像车辆检索模型，从数据库中检索得到属于同一辆车的不同图像。本发明方法将包括相机姿态、车辆类别等全局信息用于辅助车辆关键点的定位，从而得到准确的车辆图像块；车辆图像块编码网络采用样本空间结构感知的四元损失函数，充分发掘负样本信息，解决三元损失函数性能改进有限的问题。本发明方法有效提高车辆图片检索的准确率。

Description

一种卡口图像车辆检索方法及系统

技术领域

本发明属于图像车辆检索领域，涉及一种卡口图像车辆检索方法及系统。

背景技术

随着大量的卡口摄像头被部署，车辆流速监测，违规驾驶取证，车辆走向监测等卡口图像识别的广泛应用，卡口图像车辆检索成为了交通行业关注的热点。

近几年时间，随着深度学习的广泛应用，许多分类和回归任务已经大规模地采用卷积神经网络的方法，而且使用CNN的方法在基于内容的图像检索上也已经实现了许多成功的研究。在图像车辆检索中，许多车辆图像仅占总图像的一部分，并且如果图像中包括太多不相关的背景因素，检索结果则将受到影响。在这种情况下，现在主流的方法是采用实例检索(instance retrieval)来匹配图像块。然而，当涉及实例检索时，基于CNN的方法则会遇到两个问题：第一点是如何准确地定位出图像中的车辆图像块；第二点是当负样本的数量远远大于正样本的数量时，如何将训练数据中的信息有效利用起来。

发明内容

针对上述背景技术介绍中存在的问题，本发明的目的在于提供一种卡口图像车辆检索方法及系统，融合局部与全局信息，获得更为准确的车辆图像块，增强样本空间结构的感知能力，充分发掘负样本信息，提高卡口图像的检索效果。

本发明采用的技术方案是：

一种卡口图像车辆检索方法,采集的卡口图像输入卡口图像车辆检索模型，获得卡口图像数据库中与采集的卡口图像车辆相同的卡口图像；其中，卡口图像车辆检索模型用于提取输入卡口图像车辆的关键点，利用关键点提取车辆图像块，根据车辆图像块的输出特征图检索获得与输入卡口图像车辆相同的卡口图像。

进一步，卡口图像车辆检索模型由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，检测网络用于提取卡口图像中的车辆潜在区域，车辆关键点定位网络用于提取车辆潜在区域中车辆的关键点，利用关键点提取车辆图像块，车辆图像块编码网络用于提取所述车辆图像块的输出特征图，使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。

进一步，车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成，关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用关键点提取车辆图像块，其中在训练阶段，查询车辆的图像为正样本，其它车辆的为负样本。

进一步，获取车辆潜在区域中车辆的关键点预测信息，包括采用神经网络，满足以下一种或组合条件：

4.1)关键点的预测位置与实际位置之间的均方误差(MSE)损失函数：

其中表示关键点u的第u个预测热图中最大激活值的位置，y_u是关键点u的实际位置，U是关键点u的总个数；

4.2)限制关键点预测位置间距与实际位置间距的差距:

其中是预测的第u和第v个关键点预测位置之间的距离，d_u，v是相应的第u和第v个关键点实际位置之间的距离。

进一步，获取影响车辆的关键点预测信息的全局信息，具体为根据全局影响因素获取对应的全局信息Ψ＝{a，s，t}，其中a、s、t为全局影响因素，分别表示摄像机视图、车辆的规模、车辆的类型，摄像机视图采用摄像机的俯仰、平扫和旋转角度来描述。

进一步，融合关键点预测信息和全局信息，可以表示为：

其中b(u)是第u个关键点的相邻关键点，为根据第v个相邻关键点的预测位置和全局信息Ψ对应的相邻关键点影响信息，为根据第个u关键点的预测位置和综合相邻关键点影响信息的融合信息；

提取车辆潜在区域中车辆的关键点，具体为：

其中为第u个关键点的预测位置第l次迭代结果，l为设定的迭代次数。

进一步，车辆图像块编码网络用于提取所述车辆图像块的输出特征图，所述输出特征图使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片，具体为：

满足条件：

L_quadru＝max{α+δ_posδ_neg1，0}+max{β+δ_posδ_neg2，0}

δ_pos＝d(f(x^a)，f(x^p))

其中，x^a为目标样本，即车辆图像块，x^p为正样本，为负样本I，为负样本II，f(x^a)为目标样本的输出特征图，d(f(x^a)，f(x^p))为目标样本x^a和正样本x^p输出特征图之间的距离，为负样本I和负样本II之间的相似距离，α和β为根据经验调整的参数。

进一步，车辆的关键点为车辆的车窗左上、左下、右上、右下、左车灯、右车灯、左保险杆、右保险杆八个点。

一种卡口图像车辆检索系统，由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成；其中，检测网络用于提取卡口图像中的车辆潜在区域，关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用关键点提取车辆图像块；车辆图像块编码网络用于提取所述车辆图像块的输出特征图，所述输出特征图使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。

进一步，检测网络采用Cascade R-CNN网络；关键点预测网络结构包括7×7卷积层、最大池化层、4个残差层、2个沙漏网络；全局信息预测网络结构包括3个残差层、2个全连接层；车辆图像块编码网络在VGG网络基础上采用MAC编码方法，得到车辆图像块的输出特征图。

本发明与现有技术相比，其显著优点包括：(1)融合局部的车辆关键点预测信息与全局的摄像机视图、车辆规模、车辆类型信息，有效地提高关键点定位的准确性，从而得到准确的车辆图像块。(2)采用样本空间结构感知的四元损失函数，充分发掘负样本信息，在车辆检索代价函数中使用多个负样本信息，有效提高车辆图片检索的准确率。

附图说明

图1为本发明实施例提供的车辆检索中难点示意图。

图2为本发明实施例提供的卡口图像车辆检索方法框架示意图。

图3为本发明实施例提供的关键点预测网络框架示意图。

图4为本发明实施例提供的不准确对齐结果的示意图。

图5为本发明实施例提供的不同损失函数的示意图。

图6为本发明实施例提供的卡口图像数据集中的检测结果。

图7为本发明实施例提供的卡口图像车辆检索系统框架示意图。

具体实施方式

下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。

参见图1(a)，目前的卡口图像车辆检索过程中，卡口图像数据集中可能存在同一车辆的不同图像，其中某些图像的车辆的姿势、被遮挡程度、在原图像中的比例大小和被拍摄时车辆的照明条件等各不相同，为卡口图像车辆检索带来难度。参见图1(b)卡口图像数据集可能出现负样本远远超过正样本的情况，边界线右侧为负样本，边界线左侧为正样本，影响搜索性能。

实施例1，参见图2、图3、图4、图5、图6，一种卡口图像车辆检索方法，该方法包括以下步骤：

(1)构建卡口图像车辆检索模型，由检测网络、车辆关键点定位网络、车辆图像块编码网络组成。

1.1)检测网络，采用Cascade R-CNN网络来提取车辆的潜在区域，并且将这个潜在区域用边界框表示。该网络第一步：用model初始化RPN网络，然后训练RPN，在训练后，model以及RPN的unique会被更新。第二步：用model初始化Cascade R-CNN网络，这个model和第一步一样。然后使用训练过的RPN来计算proposal，再将proposal给予Cascade R-CNN网络。此时采用cascaded regression不断改变proposal的分布，并且通过调整阈值的方式重采样。接着训练Cascade R-CNN。训练完以后，model以及Cascade R-CNN的unique都会被更新。第三步：使用第二步训练完成的model来初始化RPN网络，第二次训练RPN网络。但是这次要把model锁定，训练过程中，model始终保持不变，而RPN的unique会被改变。第四步：仍然保持第三步的model不变，初始化Cascade R-CNN，第二次训练Cascade R-CNN网络。其实就是对其unique进行微调，训练完毕。

1.2)车辆关键点定位网络，由关键点预测网络、全局信息预测网络、信息融合网络组成。获取车辆潜在区域中目标车辆的关键点预测信息，关键点包括目标车辆的车窗左上、左下、右上、右下、左车灯、右车灯、左保险杆、右保险杆八个点。用这八个关键点提取更加准确的目标车辆图像块，并将其大小统一至640*480像素。

关键点预测网络，开始时采用7×7卷积层，步长为2，通道数为64，然后步入到最大池化层和4个残差层(通道数分别为128，128，128和256)；之后，使用2个沙漏网络来预测关键点的位置。关键点预测中，可以考虑关键点的预测位置与实际位置之间的均方误差(MSE)损失最小：

其中表示关键点u的第u个预测热图中最大激活值的位置，y_u是关键点u的实际位置，U是关键点u的集合。

虽然这方法在大多数情况下起作用，但有时孤立的关键点会使得预测结果不准确。参见图4，预测目标车辆的车窗左上、左下、右上、右下、左车灯、右车灯、左保险杆、右保险杆八个点。其中白点是准确的预测结果，而黑点是不准确的预测结果。

还可以考虑限制关键点预测位置间距与实际位置间距的差距:

其中是预测的第u和第v个关键点预测位置之间的距离，d_u，v是相应的第u和第v个关键点实际位置之间的距离。这里，利用图形G＝{V，E}来表示车辆中关键点之间的结构关系，其中节点v_u对应于第u关键点，边e_uv用来描述第u节点和第v节点之间的关系。这种成对关系可以改善单个点的预测效果。

可以考虑采用如加权求和、分别限制等方式组合。

然而，还存在一些影响关键点的位置预测的全局因素，例如，1)如果被拍摄车辆离卡口摄像机过远，则车辆在图像中呈现出的图像块的尺度过小，并且由于各图像块之间的距离较小，能被准确预测出的关键点也将随之减少；2)由于存在透视变换效应，随着观察角度的不同，车辆关键点的位置会发生偏移；3)不同类型的车辆具有不同的框架，例如汽车和公共汽车的框架就不同，难以利用一个通用模型能够给出准确的预测结果。

为减小以上这些因素引起的预测误差，能将相同类别的所有车辆都旋转到同一平面并归一化到相同的比例，构建全局信息预测网络、信息融合网络。

全局信息预测网络包括3个残差层，其中信道数为256，以及2个全连接层，输出维度分别为128和5，根据全局影响因素获取对应的全局信息Ψ＝{a，s，t}，其中a、s、t为全局影响因素，分别表示摄像机视图、车辆的规模、车辆的类型例如轿车、货车和公共汽车等，摄像机视图采用摄像机的俯仰、平扫和旋转角度来描述，共5个全局影响因素。

信息融合网络，融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点。构建局部和全局信息融合函数L_global-local(Ψ)来处理所有关键点预测时的位移问题。

其中b(u)是第u个关键点的相邻关键点，为根据第v个相邻关键点的预测位置和全局信息Ψ对应的相邻关键点影响信息，为根据第个u关键点的预测位置和综合相邻关键点影响信息的融合信息。

可以用迭代的方式训练局部和全局信息融合函数，以提高对齐精度：

其中为第u个关键点的预测位置第l次迭代结果，l为设定的迭代次数。

1.3)车辆图像块编码网络，用于提取所述车辆图像块的输出特征图,使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。输出特征图可以采用车辆图像块的颜色特征、纹理特征、关键点特征等，也可以采用诸如车窗、引擎盖等目标物体特征。可以采用二元损失、三元损失或四元损失来优化网络的权重。

二元损失根据这对样本是否属于同一对象的事实产生不同的损失函数，例如，对比两种损失之间差异的函数可以表示为：

其中是由图像xⁱ和x^j获得的特征图f(xⁱ)和f(x^j)之间的距离。Y(i，j)∈{0，1}表示具有IDi和j的图像对是属于同一对象(1)还是不属于(0)。如果xⁱ和x^j匹配，则它们的特征图之间的差异被最小化，否则差异被最大化。

三元损失解决了负样本到目标样本的距离小于正样本的情况：

L_triple＝max{α+δ_pos-δ_neg，0}

其中δ_pos＝d(f(x^a)，f(x^p))是目标样本x^a及其正样本x^p得到的特征映射之间的距离，而δ_neg＝d(f(x^a)，f(xⁿ))是由目标样本x^a及其负样本xⁿ获得的特征图之间的距离。α是给出余量的常数参数。

四元损失函数也会处理负样本到目标点的距离小于正样本到目标点的距离的情况：

L_quadru＝max{α+δ_pos-δ_neg1，0}+max{β+δ_pos-δ_neg2，0}

其中α和β是根据工程经验调整的恒定参数。是通过目标样本x^a及其负样本获得的特征图之间的距离，并且δ_neg2具有相似的含义 和可以通过硬样本挖掘方法获得，即选择与特征空间中的目标样本距离最小的负样本。

在实际的图像检索中，负样本的数量远远大于正样本的数量，在某些情况下，负样本和在特征空间中具有相似的外观并且彼此接近。为了增强负样本的多样性，参见图5(c)，其中′+′表示正样本，′-′表示负样本，′A′表示目标样本。仍然选择作为与目标样本距离最小的负样本，并且通过约束选择这样被选出的负样本不仅与目标样本的距离小，而且与的相似性也小；构建损失函数，满足条件：

L_quadru＝max{α+δ_pos-δ_neg1，0}+max{β+δ_pos-δ_neg2，0}

δ_pos＝d(f(x^a)，f(x^p))

其中，x^a为目标样本，即车辆图像块，x^p为正样本，为负样本I，为负样本II，f(x^a)为目标样本的输出特征图，d(f(x^a)，f(x^p))为目标样本x^a和正样本x^p输出特征图之间的距离，为负样本I和负样本II之间的相似距离，α和β为根据经验调整的参数。

实施例2，一种卡口图像车辆检索系统，由检测网络、车辆关键点定位网络、车辆图像块编码网络组成。

检测网络，其主要任务在于获得含车辆图像的车辆潜在区域，可以采用如CascadeR-CNN网络、LSTM网络、YOLO网络等神经网络模型提取车辆潜在区域，也可以采用图像边缘检测、Hough变换等方法提取车辆潜在区域。

车辆关键点定位网络，其主要任务在于预测车辆的关键点位置信息，提取车辆图像块。可以采用方法：对样本集图像的目标车辆的车窗左上、左下、右上、右下、左车灯、右车灯、左保险杆、右保险杆八个关键点进行标记，利用含关键点标记的样本集，训练如CascadeR-CNN网络、LSTM网络、YOLO网络等神经网络模型，获得新输入图像的车辆的关键点位置。

也可以采用多网络构建的方式：车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成。关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用所述关键点提取车辆图像块。如：关键点预测网络结构包括7×7卷积层、最大池化层、4个残差层、2个沙漏网络；全局信息预测网络结构包括3个残差层、2个全连接层。

车辆图像块编码网络在VGG网络基础上采用MAC编码方法，得到车辆图像块的输出特征图，识别出正样本，所述输出特征图使得正样本的最大距离小于到任何负样本的距离。其中在训练阶段，查询车辆的图像为正样本，其它车辆的为负样本。

Claims (10)

1.一种卡口图像车辆检索方法,其特征在于：采集的卡口图像输入卡口图像车辆检索模型，获得卡口图像数据库中与所述采集的卡口图像车辆相同的卡口图像；

其中，所述卡口图像车辆检索模型用于提取输入卡口图像车辆的关键点，利用所述关键点提取车辆图像块，根据车辆图像块的输出特征图检索获得与输入卡口图像车辆相同的卡口图像。

2.根据权利要求1所述的一种卡口图像车辆检索方法，其特征在于：所述卡口图像车辆检索模型由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，所述检测网络用于提取卡口图像中的车辆潜在区域，所述车辆关键点定位网络用于提取车辆潜在区域中车辆的关键点，利用所述关键点提取车辆图像块，所述车辆图像块编码网络用于提取所述车辆图像块的输出特征图，使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。

3.根据权利要求2所述的一种卡口图像车辆检索方法，其特征在于：所述的车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成，所述关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；所述全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；所述信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用所述关键点提取车辆图像块；其中在训练阶段，查询车辆的图像为正样本，其它车辆的为负样本。

4.根据权利要求3所述的一种卡口图像车辆检索方法，其特征在于：所述的获取车辆潜在区域中车辆的关键点预测信息，包括采用神经网络，满足以下一种或组合条件：

4.1)关键点的预测位置与实际位置之间的均方误差(MSE)损失函数：

其中表示关键点u的第u个预测热图中最大激活值的位置，y_u是关键点u的实际位置，U是关键点u的总个数；

4.2)限制关键点预测位置间距与实际位置间距的差距:

其中是预测的第u和第v个关键点预测位置之间的距离，d_u，v是相应的第u和第v个关键点实际位置之间的距离。

5.根据权利要求3所述的一种卡口图像车辆检索方法，其特征在于：所述获取影响车辆的关键点预测信息的全局信息，具体为根据全局影响因素获取对应的全局信息Ψ＝{a，s，t}，其中a、s、t为全局影响因素，分别表示摄像机视图、车辆的规模、车辆的类型，所述摄像机视图采用摄像机的俯仰、平扫和旋转角度来描述。

6.根据权利要求3所述的一种卡口图像车辆检索方法，其特征在于：所述融合关键点预测信息和全局信息，可以表示为：

其中b(u)是第u个关键点的相邻关键点，为根据第v个相邻关键点的预测位置和全局信息Ψ对应的相邻关键点影响信息，为根据第个u关键点的预测位置和综合相邻关键点影响信息的融合信息；

所述提取车辆潜在区域中车辆的关键点，具体为：

其中为第u个关键点的预测位置第1次迭代结果，1为设定的迭代次数。

7.根据权利要求2所述的一种卡口图像车辆检索方法，其特征在于：所述车辆图像块编码网络用于提取诸所述车辆图像块的输出特征图，所述输出特征图使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片，具体为：

满足条件：

L_quadru＝max{α+δ_pos-δ_neg1，0}+max{β+δ_pos-δ_neg2，0}

δ_pos＝d(f(x^a)，f(x^P))

其中，x^a为目标样本，即所述车辆图像块，x^p为正样本，为负样本I，为负样本II，f(x^a)为目标样本的输出特征图，d(f(x^a)，f(x^p))为目标样本x^a和正样本x^p输出特征图之间的距离，为负样本I和负样本II之间的相似距离，α和β为根据经验调整的参数。

8.根据权利要求2-7所述的一种卡口图像车辆检索方法，其特征在于：所述车辆的关键点为车辆的车窗左上、左下、右上、右下、左车灯、右车灯、左保险杆、右保险杆八个点。

9.一种卡口图像车辆检索系统,其特征在于：由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，所述车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成；其中，所述检测网络用于提取卡口图像中的车辆潜在区域，所述关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；所述全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；所述信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用所述关键点提取车辆图像块；所述车辆图像块编码用于提取所述车辆图像块的输出特征图，所述输出特征图使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。

10.根据权利要求9所述的一种卡口图像车辆检索系统，其特征在于：

所述检测网络采用Cascade R-CNN网络；

所述关键点预测网络结构包括7×7卷积层、最大池化层、4个残差层、2个沙漏网络；

所述全局信息预测网络结构包括3个残差层、2个全连接层；

所述车辆图像块编码网络在VGG网络基础上采用MAC编码方法，得到车辆图像块的输出特征图。