CN109740405B - 一种非对齐相似车辆前窗差异信息检测方法 - Google Patents

Abstract

本发明公开了一种非对齐相似车辆前窗差异信息检测方法，具体由3个模块构成：车窗标记点检测模块、透视变换模块以及差异区域检测模块构成。这三个模块车辆图像对作为输入，输出差异区域的候选框以及对应的置信度。本发明通过提供高精度的车辆档风玻璃标记点模块；采用透视变换解决相机光心以及内部参数变换带来的影响；采用双流网络结构同时包含两张输入图片，通过比较他们的高维特征确定检测差异区域。

Description

一种非对齐相似车辆前窗差异信息检测方法

技术领域

本发明涉及车辆差异区域检测技术领域，特别是一种非对齐相似车辆前窗差异信息检测方法。

背景技术

随着安防摄像头的不断普及，车辆精准搜索已经成为了公共安全中的一个重要课题。之前的研究人员都通过度量学习的方式将车辆表现为一个全局特征。这种方法虽然能够很好的搜查到外形相似的车辆，但是车窗后面的细节差异信息并不能够很好的被观察人员或者是现有的视觉算法所找到。这些细节的差异信息一方面能够直接作为一个重排序模块，提升初始检索性能的指标。另一方面，它可以通过可视化车辆图片对之间差异区域的方式，帮助视频观察人员快速的挑选出与搜索图像尽可能接近的图像，起到快速查询扩展的作用。

现有技术方案中有一定程度上解决了非对齐相似车辆前窗差异信息检测的问题，但这些方法都基本上将整个问题拆分成图像对齐以及差异性检测两个方面，有很大的局限性。同时在精度，效率及可泛化性上还存在较大的问题。对于这两部分，现有技术方案的处理方法有：

图像对齐：通过传统的图像描述算子或者是依赖深度学习的图像局部特征，他们分别提取各自图像之间的特征点并相互匹配，通过求解对应匹配点之间的单应性矩阵，完成车辆图像对之间的对齐。

差异区域检测：通过车辆图像对之间的直接相减或者是特征相减的方式获得差异特征图。之后在差异特征图的基础上完成对于差异区域的定位。这些方法一般将单一像素作为差异分析的基本单位。

但是现有技术中还存在以下缺点：

1、基于图像特征算子的图像对齐在车窗强反光情况下基本失效；

2、图像对之间的单应性变换解决不了相机光心以及内部参数的变换；

3、传统的物体检测方法无法解决差异区域这类没有特定类别信息的特征。

发明内容

本发明的目的是要解决现有技术中存在的不足，提供一种非对齐相似车辆前窗差异信息检测方法，提供高精度的车辆档风玻璃标记点检测模块；采用透视变换解决相机光心以及内部参数变换带来的影响；采用双流网络结构同时包含两张输入图片，通过比较他们的高维特征确定检测差异区域。

为达到上述目的，本发明是按照以下技术方案实施的：

一种非对齐相似车辆前窗差异信息检测方法，包括以下步骤:

步骤一、通过车窗标记点检测模块采集得到m个车窗候选区域B＝{B_i|i∈{1,2,…,m}}；为此得到损失函数：

其中i为候选框的索引信息；p_i为候选框属于车窗的概率，t_i代表向量化的候选框坐标；

和

为对应的标注信息，每一个车窗候选框拥有四个顶点V＝{V_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}；在车窗候选区域的基础上，使用通过RoI Pooling得到的特征，预测得到车窗标记点K＝{K_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}，在学习目标的设定时，将4个预测的车窗标记点K，4个车窗候选区域的顶点V以及车窗标记点的标注信息K^*；对于车窗标记点的回归，有以下的损失函数：

结合损失函数：

得到最终的损失函数：

步骤二、通过使用车窗标记点检测模块得到的K′以及对应的目标图像的四个顶点D＝{(0,0),(0,h),(w,0),(w,h)}经透视变换模块进行变换得到变换矩阵M，对于目标图像上每一个像素点(x_t,y_t)，一个采样核在源图像的对应位置上采样插值得到对应的像素值，目标图像T和源图像图像S像素点之间的转换关系为：z_tp_s＝Mp_t，其中p_s＝(x_s,y_s,1)^T和p_t＝(x_t,y_t,1)^T是目标图像和源图像之间对应的点；

步骤三、采用双流差异区域检测模块构建双流网络结构同时包含两张输入图片，通过比较他们的高维特征确定检测差异区域。

具体地，所述步骤三具体包括：

1)通过车窗关键点检测以及透视变换完成车窗在多视角下的对齐，并使用3x3的卷积模块以及3x3的池化窗口，对于差异区域的检测，设计如下的损失函数：差异/非差异的一个二分类的交叉熵损失、差异区域的回归损失：

通过车窗差异性检测网络，获得车窗内差异区域对应的可视化标注框；

2)基于车窗差异区域的车辆搜索重排序算法，对于待检测车辆图像对，得到它的差异区域数量N以及每个差异区域对应的置信度P＝{p_i}，对于给定图像q，得初始搜索结果G＝{g_i|i∈{1,2,…,m}}，由现有度量学习模型获得初始检索结果G＝{g_i}，i<m，则得到相似度S(q,g_i)，得到差异区域数量及置信度N_q和P_q，得到不相似度

更新相似度

如果i≥m，根据更新后的相似度S(q,g_i)，对结果进行基于车窗差异区域信息的人为参与查询扩展算法运算；

3)基于车窗差异区域信息的人为参与查询扩展算法具体为：对于任意图像对，可视化其差异区域人为挑选无差异可视化结果图像作为扩展查询样本，完成对车辆差异区域的检测。

与现有技术相比，本发明具有以下有益效果：

1、本发明以深度学习为依旧，通过对大量待检测差异区域的学习，得到高精度的车窗差异区域检测网络。通过提取车窗关键点的方法，完成对于车窗在强反光，多视角变换以及弱纹理信息下的对齐。同时，采用透视变换的方法将非对齐车窗对齐。最后使用双流网络结构，通过比较对齐车窗的高维特征，完成对车船差异区域的检测。

2、对于获得的车窗差异结果，我们设计了基于车窗差异信息的重排序算法以及人为参与的查询扩展算法，极大的提升的车辆搜索的准确性。

3、本发明将图像差异性检测的两个阶段，图像预处理以及差异性检测两个阶段用三个模块设计到一个网络中，并能够通过端到端的方式完成训练。同时，在双流网络结构中，它们相互分享权重，在减小模型大小的同时，使得模型学到更加鲁棒的特征，避免在差异区域检测结果陷入过拟合状态。

附图说明

图1为本发明的车窗标记点检测模块提取的车窗候选区域。

图2为本发明的透视变换模块的透视变换流程图。

图3为本发明的基于车窗差异区域的车辆搜索重排序算法流程图。

图4为本发明的基于车窗差异区域的车辆人为参与查询扩展算法流程图。

具体实施方式

下面结合具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

本实施例的一种非对齐相似车辆前窗差异信息检测方法，具体由3个模块实现：车窗标记点检测模块、透视变换模块以及差异区域检测模块构成。这三个模块车辆图像对作为输入，输出差异区域的候选框以及对应的置信度。

车窗标记点模块：

因为车船标记点在空间上与车窗候选区域非常接近，首先我们通过现有的两阶监测网络模型完成得到m个车窗候选区域B＝{B_i|i∈{1,2,…,m}}；在该检测过程中，我们分别设计对应的候选框回归损失函数以及候选框分类损失函数。为此我们得到损失函数：

(1)

其中i为候选框的索引信息；p_i为候选框属于车窗的概率，t_i代表向量化的候选框坐标；

和

为对应的标注信息。

因为每一个车窗候选框拥有四个顶点V＝{V_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}，因此我们期望通过车窗候选框进一步精确定位出车窗的4个特征点。首先，我们使用通过RoI Pooling，得到车窗候选框所对应的车窗高维特征。在对应特征的基础上，我们通过设计两个全连接网络，预测得到车窗标记点K＝{K_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}。在学习目标的设定上，我们将4个待预测的车窗标记点K，4个车窗候选区域的顶点V以及车窗标记点的标注信息K^*分为一一对应的四组。这是因为我们发现左上角车窗标记点V_i,j,与车窗候选框的左上角点K_i,j更为接近。其具体设计方式如图.1所示。对于车窗标记点的回归，我们有以下的损失函数：

结合公式(1)以及(2)，我们可以得到我们最终的损失函数：

透视变换模块：

因为车辆挡风玻璃可以近似的看成一个矩形，所以我们希望将车窗区域变换为矩阵的方式来实现对齐功能。为了解决不同摄像机之间光心以及相机参数的变换，我们使用特殊的单应性变换透视变换。我们通过使用上一个模块得到的K′以及对应的目标图像的四个顶点D＝{(0,0),(0,h),(w,0),(w,h)}得到变换矩阵M。对于目标图像上每一个像素点(x_t,y_t)，一个采样核在源图像的对应位置上采样插值得到对应的像素值。目标图像T和原始图像S像素点之间的转换关系为：

z_tp_s＝Mp_t，其中p_s＝(x_s,y_s,1)^T和p_t＝(x_t,y_t,1)^T是目标图像和原始图像之间对应的点。整个插值过程如图2所示：

我们可以从理论上证明，上述的透视变换流程不仅可以将梯度传递到源图像上的采样点，同样可以传递到车窗标记点。因此，车窗标记点可以同时被人工标注信息和接下来部分的梯度信息所监督。从而提升最终的性能。

双流差异区域检测模块：

为了更好检测出对齐图像对之间的差异区域，最直观的方式就是将对齐图像直接相减得到差异图，从而完成检测。不仅如此，我们也可以将对齐的图像对分别送入卷积模块中，提取他们的高维特征，通过他们高维特征图之间的差异完成差异区域的检测。我们选择经过最大值池化的特征作为图像对高维特征的表示，因为它不仅能够减小特征的分辨率，减小计算大小，同时也能够保证一定的集合不变性。具体而言，在我们设计的双流网络中，我们使用3x3的卷积模块以及2x2的池化窗口。

对于差异区域的检测，我们设计如下的损失函数：1.差异/非差异的一个二分类的交叉熵损失；2.差异区域的回归损失。

通过车窗差异性检测网络，我们可以获得车窗内差异区域对应的可视化标注框，为了更好地使用这些信息，我们分别设计了基于车窗差异区域信息的车辆重排序算法以及人为参与的查询扩展算法：

基于车窗差异区域信息的车辆检索重排序算法：

对于待检测车辆图像对，我们可以获得它的差异区域数量N以及每个差异区域对应的置信度P＝{p_i}，因此我们设计了如下的算法流程图3来表示完成的车辆检索重排序法。其中对于给定图像q，我们可以得初始搜索结果G＝{g_i|i∈{1,2,…,m}}。

基于车窗差异区域信息的人为参与查询扩展算法：

同样的，对于待检测车辆图像对，我们可以获得它的差异区域数量N以及每个差异区域对应的置信度P＝{p_i}以及初始搜索结果G＝{g_i|i∈{1,2,…,m}}；如图4所示，对于任意图像对，可视化其差异区域人为挑选无差异可视化结果图像作为扩展查询样本，完成对车辆差异区域的检测。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (2)

1.一种相似车辆前窗差异信息检测方法，其特征在于，包括以下步骤:

步骤一、通过车窗标记点检测模块采集得到m个车窗候选区域B＝{B_i|i∈{1，2，...，m}}；为此得到损失函数：

其中i为候选框的索引信息；p_i为候选框属于车窗的概率，bi代表向量化的候选框坐标，L_cls为基于logloss的分类损失函数，L_breg为基于L2-loss的候选框坐标回归损失函数；

和bi^*为对应的标注信息，每一个车窗候选框拥有四个顶点K＝{K_i，j|i∈(1，2，...，m)，j∈(1，2，3，4)}；在车窗候选区域的基础上，使用通过RoI Pooling得到的特征，预测得到车窗标记点K＝{K_i，j|i∈(1，2，...，m)，j∈(1，2，3，4)}，在学习目标的设定上，将4个预测的车窗标记点K，4个车窗候选区域的顶点V以及车窗标记点的标注信息

分为对应的4组；对于车窗标记点的回归，有以下的损失函数：

结合损失函数：

得到最终的损失函数：

其中：k_i表示第i个预测的车窗标记点，k_i ^*表示第i个预测的车窗标记点的标注信息，L_kreg表示参与车窗标记点k的回归损失函数，N_cls表示参与车辆候选框分类模型的个数，N_breg表示参与车辆候选框标记点回归损失函数的标记点个数，N_kreg表示参与车窗标记点回归损失函数的标记点个数，r₁、r₂分别表示车窗候选框标记点回归损失函数对应的超参数；

步骤二、通过使用车窗标记点检测模块得到的K′以及对应的目标图像的四个顶点D＝{(0，0)，(0，h)，(w，0)，(w，h)}经透视变换模块进行变换得到变换矩阵M，对于目标图像上每一个像素点(x_t，y_t)，一个采样核在源图像的对应位置上采样插值得到对应的像素值，目标图像T和原始图像S像素点之间的转换关系为：z_tp_s＝Mp_t，其中p_s＝(x_s，y_s，1)^T和p_t＝(x_t，y_t，1)^T是目标图像和源图像之间对应的点，z_t表示缩放系数；

步骤三、采用双流差异区域检测模块构建双流网络结构同时包含两张输入图片，通过比较他们的高维特征确定检测差异区域。

2.根据权利要求1所述的相似车辆前窗差异信息检测方法，其特征在于，所述步骤三具体包括：

1)使用3x3的卷积模块以及2x2的池化窗口，对于差异区域的检测，设计如下的损失函数：差异/非差异的一个二分类的交叉熵损失、差异区域的回归损失：

其中：L_cls为基于logloss的分类损失函数，L_breg为基于L2-loss的候选框坐标回归损失函数；通过车窗差异性检测网络，获得车窗内差异区域对应的可视化标注框；

2)基于车窗差异区域的车辆搜索重排序算法，对于待检测车辆图像对，得到它的差异区域数量N以及每个差异区域对应的置信度P＝{p_i}，对于给定图像q，得初始搜索结果G＝{g_i|i∈{1，2，...，m}}.，由现有度量学习模型获得初始检索结果G＝{g_i}，i＜m，则得到相似度S(q，g_i)，得到差异区域数量及置信度N_q和P_q，得到不相似度

更新相似度

θ₁、θ₂表示更新相似度过程中的超参数；如果i≥m，根据更新后的相似度S(q，g_i)，对结果进行基于车窗差异区域信息的人为参与查询扩展算法运算；

3)基于车窗差异区域信息的人为参与查询扩展算法具体为：对于任意图像对，可视化其差异区域人为挑选无差异可视化结果图像作为扩展查询样本，完成对车辆差异区域的检测。

Images