CN108898133A - 一种基于图像分析的套牌车识别方法 - Google Patents

Abstract

本发明公开了一种基于图像分析的套牌车识别方法，获取两张车牌号信息相同的车辆图像；提取获取的车辆图像的特征点，并对特征点进行匹配；通过匹配的特征点对车辆图像进行对齐；提取对齐后的整个车辆图像的特征向量，并比较特征向量的相似度；按照每个尺度划分的块提取块的特征，对两张车辆图像在每个尺度下相同位置的块的特征进行比对，并记录每个尺度下相同位置存在差异的块；对于不同尺度下记录的块进行融合；对融合后的块进行后处理。本发明采用特征点检测、特征点匹配以及对齐，相比现有技术，可以保证车辆图像相对应的比对区域相同，较好的保证图像输入一致性；能够极大提高相似度较高车辆的分辨准确率。

Description

一种基于图像分析的套牌车识别方法

技术领域

本发明涉及一种智能交通系统和计算机视觉技术，尤其涉及的是一种基于图像分析的套牌车识别方法。

背景技术

目前，套牌车的识别技术主要是通过对比车辆的属性，如：车型，品牌以及车身颜色。通常包括如下步骤：第一步，卡口系统获取待识别的车辆信息；第二步，将获取的车辆信息与数据库中相同车牌号的车辆信息做对比，若两张车辆图像的颜色、类型、品牌等属性存在不同，则判断获取的车辆是套牌车辆。采用这种方式进行套牌车识别，仅仅基于车辆的属性信息来分析，不足以完整的刻画描述车辆，特别是针对车身颜色、车型、品牌都相同，相似度极高的两辆车，会导致套牌车识别准确率下降。

采用现有的套牌车识别技术，无法获取两张图像的局部区域的细节特征，难以区分车身颜色、车型、品牌都相同的套牌车，导致套牌车识别准确率下降。

发明内容

本发明所要解决的技术问题在于：套牌车与真实车辆相似度极高而导致的识别准确率下降，提供了一种基于图像分析的套牌车识别方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

(1)获取两张车牌号信息相同的车辆图像；

(2)提取获取的车辆图像的特征点，并对特征点进行匹配；

(3)通过匹配的特征点对车辆图像进行对齐；

(4)提取对齐后的整个车辆图像的特征向量，并比较特征向量的相似度S；设定一个阈值τ，若S大于等于τ，则两辆车是同一辆车；若S小于τ，则两辆车是套牌车，并将对齐后的车辆图像划分成不同尺度大小的块；

(5)按照每个尺度划分的块提取块的特征，对两张车辆图像在每个尺度下相同位置的块的特征进行比对，并记录每个尺度下相同位置存在差异的块；

(6)对于不同尺度下记录的块进行融合；

(7)对融合后的块进行后处理。

所述步骤(1)中，车辆图像是两张车牌信息相同的，且具有多个属性的车辆。

所述步骤(2)包括以下步骤：

(21)采用Harris角点检测算法检测出车辆图像的特征点，利用移动的窗口在图像中计算灰度变化值，从而判断是否为角点、边缘、平滑区域；

(22)采用尺度不变特征变化SIFT匹配方式对检测出的特征点进行匹配；

(23)再用随机抽样一致性算法剔除误匹配的特征点。

所述步骤(23)中，剔除误匹配的特征点具体如下：

(231)从匹配的特征点样本集中随机抽选出3个匹配点对；

(232)根据这3个匹配点对的位置坐标((x1，y1)，(u1，v1))，((x2，y2)，(u2，v2))，((x3，y3)，(u3，v3)计算变换矩阵M；

(233)根据样本集的匹配点对，变化矩阵M以及误差度量函数计算满足当前变换矩阵的一致集，并返回一致集中元素个数；

(234)根据当前一致集中元素个数判断是否为最优一致集，若是则更新当前最优一致集，直至找到最优一致集，得到变换矩阵M。

所述一致集，是指集合中的所有匹配点对均满足当前变换矩阵M。

所述步骤(3)中，首先按旋转变换参数，计算旋转角度θ，对其中的一张车辆图像旋转θ，使其与另一张车辆图像角度保持一致；然后通过尺度变换参数，确定待比对的公共区域，得到两张对齐后的车辆图像。

所述步骤(4)中，将两张车辆图像按照level1，level2，level3三个尺度分成不同大小的块；在level1尺度下，车辆图像被划分成16个区域，每个区域的大小相同；在level2尺度下，车辆图像被划分成64个区域，每个区域的大小相同；在level3尺度下，车辆图像被划分成256个区域，每个区域的大小相同。

所述步骤(5)包括以下步骤：

(51)按照level1尺度，分别提取两张车辆图像被划分成的16个块的特征，并计算两张车辆图像相同位置的块的特征之间的距离d1，设定一个合适的阈值τ1，若d1大于τ1，则记录当前尺度下的块；

(52)按照level2尺度，分别提取两张车辆图像被划分成的64个块的特征，并计算两张车辆图像相同位置块的特征之间的距离d2，设定一个合适的阈值τ2，若d2大于τ2，则记录当前尺度下的块；

(53)按照level3尺度，分别提取两张车辆图像被划分成的256个块的特征，并计算两张车辆图像相同位置块的特征之间的距离d3，设定一个合适的阈值τ3，若d3大于τ3，则记录当前尺度下的块。

所述步骤(6)具体为：对步骤(5)中每个尺度下记录的块进行判断，若在level1尺度下记录的块与level2尺度下记录的块以及level3尺度下记录的块有交集，则将这三个尺度下记录的块进行融合，记录融合后的块；若三个尺度下记录的块无交集，则保留每个尺度下记录的块。

所述步骤(7)中，包括以下处理：

(71)对融合后的块进行检测，消除含有高光的块，记录无高光干扰的块；

(72)对两张车辆图像二值化处理，将图像上的像素点的灰度值设置为0或者255；将两张车辆图像的年检标志、前窗摆放物品挂饰处像素点的灰度设置为255，其余区域的像素点的灰度值设置为0；

(73)将无高光干扰的块的像素点的灰度值与二值化处理后的对应位置像素点的灰度值相乘，并记录包含相乘后灰度值不为零的像素点的块，这些块即为套牌车辆与该车牌号的真实车辆存在差异的区域。

本发明相比现有技术具有以下优点：本发明采用特征点检测、特征点匹配以及对齐，相比现有技术，可以保证车辆图像相对应的比对区域相同，较好的保证图像输入一致性；采用本发明提供比对方法可以区分车牌信息相同，车身颜色、车型以及品牌都相同但不是同一辆车的车辆样本，相比现有技术，可以提高套牌车识别的准确率，在测试集上的平均精度能够达到87.6％，能够极大提高相似度较高车辆的分辨准确率。

附图说明

图1是本发明的流程示意图；

图2是待对比两辆车牌号信息相同的红色解放货车；

图3是对齐后的车辆图像；

图4是在level1尺度下车辆图像的分块示意图；

图5是在level2尺度下车辆图像的分块示意图；

图6是在level3尺度下车辆图像的分块示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括以下步骤：

(1)获取两张车牌号信息相同的车辆图像；获取待比对的车辆图像，所述车辆图像是两张车牌信息相同且具有多个属性的车辆，如车辆车型，车辆款式，车身颜色，车牌信息等，例如，所述待比对的车辆图像是两辆车牌号信息相同的红色解放货车，如图2所示。

(2)提取步骤(1)中获取的车辆图像的特征点，并对提取的特征点进行匹配；所述特征点又称关键点，它是在图像中突出且具有代表意义的一些点；

具体步骤为：

(21)可以采用Harris角点检测算法检测出车辆图像的特征点，所述Harris角点检测是特征点检测的基础，提出了应用邻近像素点灰度差值概念，从而进行判断是否为角点、边缘、平滑区域；Harris角点检测原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点(特征点)；

(22)可以采用尺度不变特征变化(Scale-invariant feature transform，SIFT)匹配方式对检测出的特征点进行匹配；

(23)为了获得更鲁棒的匹配的特征点，可以采用随机抽样一致性(RandomSampleConsensus，RANSAC)算法剔除误匹配的特征点。

剔除误匹配的特征点具体操作为：

从匹配的特征点样本集中随机抽选出3个匹配点对；

根据这3个匹配点对的位置坐((x1，y1)，(u1，v1))，((x2，y2)，(u2，v2))，((x3，y3)，(u3，v3)计算变换矩阵M；

根据样本集的匹配点对，变化矩阵M以及误差度量函数计算满足当前变换矩阵的一致集，并返回一致集中元素个数；

根据当前一致集中元素个数判断是否最优(最大)一致集，若是则更新当前最优一致集，直至找到最优一致集，得到变换矩阵M；

所述一致集，是指集合中的所有匹配点对均满足当前变换矩阵M。

(3)通过匹配的特征点对车辆图像进行对齐；

根据生成的变换矩阵M，可以得到除了最优一致集匹配点之外的其余特征点变换到另一张车辆图像其余特征点的变换参数，包括：平移变换、旋转变换以及尺度变换；首先按旋转变换参数，计算旋转角度θ，对其中的一张车辆图像旋转θ，使其与另一张车辆图像角度保持一致；然后通过尺度变换参数，确定待比对的公共区域，得到两张对齐后的车辆图像，如图3所示；

(4)提取对齐后的整个车辆图像的特征向量，并比较特征向量的相似度S；设定一个阈值τ，若S大于等于τ，则两辆车是同一辆车；若S小于τ，则两辆车是套牌车，并将对齐后的车辆图像划分成不同尺度大小的块；

(41)直接提取对齐后的车辆图像的特征向量，可以采用但不限于卷积神经网络(Convolutional Neural Network，CNN)、方向梯度直方图(Histogram of OrientedGradient，HOG)等方法；将两张车辆图像按照level1，level2，level3三个尺度分成不同大小的块；在level1尺度下，车辆图像被划分成16个区域，每个区域的大小相同，如图5所示；在level2尺度下，车辆图像被划分成64个区域，每个区域的大小相同，如图5所示；在level3尺度下，车辆图像被划分成256个区域，每个区域的大小相同，如图6所示。

(5)按照每个尺度划分的块提取块的特征，对两张车辆图像在每个尺度下相同位置的块的特征进行比对，并记录每个尺度下相同位置存在差异的块；

(51)按照level1尺度，分别提取两张车辆图像被划分成的16个块的特征，并计算两张车辆图像相同位置的块的特征之间的距离d1，设定一个合适的阈值τ1，若d1大于τ1，则记录当前尺度下的块；

(52)按照level2尺度，分别提取两张车辆图像被划分成的64个块的特征，并计算两张车辆图像相同位置块的特征之间的距离d2，设定一个合适的阈值τ2，若d2大于τ2，则记录当前尺度下的块；

(53)按照level3尺度，分别提取两张车辆图像被划分成的256个块的特征，并计算两张车辆图像相同位置块的特征之间的距离d3，设定一个合适的阈值τ3，若d3大于τ3，则记录当前尺度下的块。

(6)对步骤(5)中不同尺度下记录的块进行融合；

若在level1尺度下记录的块与level2尺度下记录的块以及level3尺度下记录的块有交集，则将三个尺度下记录的块进行融合，可以采用但不限于非极大值抑制(Non-MaximumSuppression)的方法进行融合，记录融合后的块；若三个尺度下记录的块无交集，则保留每个尺度下记录的块。

(7)对步骤(6)中融合后的块进行后处理：

(71)为了消除高光对结果的影响，可以采用高光检测的方法对融合后的块进行检测，消除含有高光的块，记录无高光干扰的块；

(72)相似度高的两张车辆图像真实存在的差异多为年检标志、前车窗摆放的物品挂饰等，但是由于驾驶舱内部信息变化较大，不能作为识别套牌车识别的依据；因此需要消除驾驶舱的干扰信息对识别结果的影响，对两张车辆图像二值化处理，所述图像二值化，是将图像上的像素点的灰度值设置为0或者255；将两张车辆图像的年检标志、前窗摆放物品挂饰处像素点的灰度设置为255，其余区域的像素点的灰度值设置为0；

(73)将无高光干扰的块的像素点的灰度值与二值化处理后的对应位置像素点的灰度值相乘，并记录包含相乘后灰度值不为零的像素点的块。这些块即为套牌车辆与该车牌号的真实车辆存在差异的区域。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像分析的套牌车识别方法，其特征在于，包括以下步骤：

(1)获取两张车牌号信息相同的车辆图像；

(2)提取获取的车辆图像的特征点，并对特征点进行匹配；

(3)通过匹配的特征点对车辆图像进行对齐；

(4)提取对齐后的整个车辆图像的特征向量，并比较特征向量的相似度S；设定一个阈值τ，若S大于等于τ，则两辆车是同一辆车；若S小于τ，则两辆车是套牌车，并将对齐后的车辆图像划分成不同尺度大小的块；

(5)按照每个尺度划分的块提取块的特征，对两张车辆图像在每个尺度下相同位置的块的特征进行比对，并记录每个尺度下相同位置存在差异的块；

(6)对于不同尺度下记录的块进行融合；

(7)对融合后的块进行后处理。

2.根据权利要求1所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(1)中，车辆图像是两张车牌信息相同的，且具有多个属性的车辆。

3.根据权利要求1所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(2)包括以下步骤：

(21)采用Harris角点检测算法检测出车辆图像的特征点，利用移动的窗口在图像中计算灰度变化值，从而判断是否为角点、边缘、平滑区域；

(22)采用尺度不变特征变化SIFT匹配方式对检测出的特征点进行匹配；

(23)再用随机抽样一致性算法剔除误匹配的特征点。

4.根据权利要求3所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(23)中，剔除误匹配的特征点具体如下：

(231)从匹配的特征点样本集中随机抽选出3个匹配点对；

(232)根据这3个匹配点对的位置坐标((x1，y1)，(u1，v1))，((x2，y2)，(u2，v2))，((x3，y3)，(u3，v3))计算变换矩阵M；

(233)根据样本集的匹配点对，变化矩阵M以及误差度量函数计算满足当前变换矩阵的一致集，并返回一致集中元素个数；

(234)根据当前一致集中元素个数判断是否为最优一致集，若是则更新当前最优一致集，直至找到最优一致集，得到变换矩阵M。

5.根据权利要求4所述的一种基于图像分析的套牌车识别方法，其特征在于，所述一致集，是指集合中的所有匹配点对均满足当前变换矩阵M。

6.根据权利要求4所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(3)中，首先按旋转变换参数，计算旋转角度θ，对其中的一张车辆图像旋转θ，使其与另一张车辆图像角度保持一致；然后通过尺度变换参数，确定待比对的公共区域，得到两张对齐后的车辆图像。

7.根据权利要求1所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(4)中，将两张车辆图像按照level1，level2，level3三个尺度分成不同大小的块；

在level1尺度下，车辆图像被划分成16个区域，每个区域的大小相同；

在level2尺度下，车辆图像被划分成64个区域，每个区域的大小相同；

在level3尺度下，车辆图像被划分成256个区域，每个区域的大小相同。

8.根据权利要求7所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(5)包括以下步骤：

(51)按照level1尺度，分别提取两张车辆图像被划分成的16个块的特征，并计算两张车辆图像相同位置的块的特征之间的距离d1，设定一个合适的阈值τ1，若d1大于τ1，则记录当前尺度下的块；

(52)按照level2尺度，分别提取两张车辆图像被划分成的64个块的特征，并计算两张车辆图像相同位置块的特征之间的距离d2，设定一个合适的阈值τ2，若d2大于τ2，则记录当前尺度下的块；

(53)按照level3尺度，分别提取两张车辆图像被划分成的256个块的特征，并计算两张车辆图像相同位置块的特征之间的距离d3，设定一个合适的阈值τ3，若d3大于τ3，则记录当前尺度下的块。

9.根据权利要求8所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(6)具体为：对步骤(5)中每个尺度下记录的块进行判断，若在level1尺度下记录的块与level2尺度下记录的块以及level3尺度下记录的块有交集，则将这三个尺度下记录的块进行融合，记录融合后的块；若三个尺度下记录的块无交集，则保留每个尺度下记录的块。

10.根据权利要求8所述的一种基于图像分析的套牌车识别方法，其特征在于，所述步骤(7)中，包括以下处理：

(71)对融合后的块进行检测，消除含有高光的块，记录无高光干扰的块；

(72)对两张车辆图像二值化处理，将图像上的像素点的灰度值设置为0或者255；将两张车辆图像的年检标志、前窗摆放物品挂饰处像素点的灰度设置为255，其余区域的像素点的灰度值设置为0；

(73)将无高光干扰的块的像素点的灰度值与二值化处理后的对应位置像素点的灰度值相乘，并记录包含相乘后灰度值不为零的像素点的块，这些块即为套牌车辆与该车牌号的真实车辆存在差异的区域。