CN104102909B - 基于多重视觉信息的车辆特征定位及匹配方法 - Google Patents

Abstract

本发明提供一种基于多重视觉信息的车辆特征定位及匹配方法，包括以下部分：S01、根据车牌中字高比例建立测试车辆图像特征初步区域；S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位；S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的最终定位；S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车与测试车辆的特征相似度。本发明能够准确的进行车辆特征的定位及匹配，为公安部门通过信息化技术抓取嫌疑车辆提供技术支持。

Description

基于多重视觉信息的车辆特征定位及匹配方法

技术领域

本发明涉及图像识别技术领域，尤其是一种基于多重视觉信息的车辆特征定位及匹配方法。

背景技术

随着人工智能、自动控制和模式识别等领域的发展，公安交通部门的信息化电子监测系统应运而生，并取得巨大发展。但目前嫌疑车辆的判别工作主要依靠人工排查，费时费力且效果不佳。

通过在嫌疑车主车图像中框定嫌疑车辆的某区域特征，通过图像分析技术在卡口图像中不断定位及匹配该特征是进行自动嫌疑车辆判别的有效手段，但由于样本的单一性和实际检测环境的多变性，传统的基于视觉分析的算法难以完成高精度判别。因此，本发明提供一种基于多重视觉信息的特征定位及匹配方法，解决样本单一与环境多变的矛盾，提高嫌疑车辆检测精度。

发明内容

本发明的目的在于提供一种基于多重视觉信息的车辆特征定位及匹配方法，在嫌疑车辆区域特征已知的条件下，通过获取交通卡口图像，利用多重图像分析技术，逐步细化特征定位信息，建立局部特征匹配与全局特征匹配及融合机制，实时完成通过各交通卡口的嫌疑车辆判别工作，为交通管理及刑侦系统提供技术支持。本发明采用的技术方案是：

一种基于多重视觉信息的车辆特征定位及匹配方法，包括以下部分：

S01、根据车牌中字高比例建立测试车辆图像特征初步区域：在车牌定位的基础上，提取车牌中字符的高度，在已知主车图像特征区域的基础上，通过计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例，获得测试车辆图像特征初步区域；

S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位：在测试车辆图像特征初步区域内进行区域图像的纹理分析，获取颜色纹理区域作为测试车辆图像中特征区域的二次定位结果；

S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的最终定位；

S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车图像与测试车辆图像的特征相似度。

本发明的优点在于，本发明提出的方法，对于捕获的交通卡口图像，可以快速定位指定区域特征，并且能够准确的进行特征的匹配，大大提高了嫌疑车辆判别的准确度和快速性。

附图说明

图1为本发明的主要流程图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1所示：

本发明所提出的基于前脸特征的车型识别方法，包括以下部分：

S01、根据车牌中字高比例建立测试车辆图像特征初步区域：在车牌定位的基础上，提取车牌中字符的高度，在已知主车图像特征区域的基础上，通过计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例，获得测试车辆图像特征初步区域；

所述S01具体为：

(1)对主车车牌图像I_lic采用自适应阈值进行二值化，获得主车车牌二值图像

(2)采用车牌定位方法从测试车辆图像中获取测试车牌图像J_lic，对测试车牌图像J_lic采用自适应阈值进行二值化，获得测试车牌二值图像因为截取车牌区域的方法不是本发明的重点，本发明介绍从略；

(3)提取主车车牌二值图像中每一列白色像素的个数,取出现次数最多的个数作为主车车牌字符高度

(4)提取测试车牌二值图像中每一列白色像素的个数,取出现次数最多的个数作为测试车牌字符高度

(5)计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例

(6)已知主车图像车牌区域左上角点坐标为特征区域左上角坐标为(x₀,y₀)，区域高度为h₀，长度为w₀，测试车辆图像车牌区域左上角点坐标为则测试车辆图像特征初步区域(x₁,y₁,w₁,h₁)计算如下：w₁＝ratio_h·w₀，h₁＝ratio_h·h₀，x₁,y₁,w₁,h₁分别为测试车辆图像特征初步区域左上角坐标、长度和高度；

(7)根据测试车辆图像特征初步区域坐标及尺寸，在测试车辆图像中进行截取，获得测试车辆图像特征初步区域图像J₁；

S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位：在测试车辆图像特征初步区域内进行区域图像的纹理分析，获取颜色纹理区域作为测试车辆图像中特征区域的二次定位结果；

在本实施方式中，所述步骤S02具体为：

(1)针对测试车辆图像特征初步区域图像J₁，将其从RGB颜色空间转化到YCbCr颜色空间，得到Y分量图像Cb分量图像和Cr分量图像

(2)对Y分量图像进行阈值为0.5的二值化处理，得到Y分量二值图像

(3)对Cb分量图像中的元素进行从小到大的排序，取前(h₁×w₁)/2个值的平均值作为Cb分量图像的二值化阈值，并做二值化处理，得到Cb分量二值图像

(4)对Cr分量图像中的元素进行从小到大的排序，取前(h₁×w₁)/2个值的平均值作为Cr分量图像的二值化阈值，并做二值化处理，得到Cr分量二值图像

(5)融合Y分量、Cb分量和Cr分量二值化图像，得到融合二值图像

(6)对融合二值图像BW中的每一个斑点ki，若其面积和长宽比与主车图像区域相似，则记录该斑点区域roi＝[x y W H]，其中(x,y)为该斑点左上角点的坐标，(W,H)为斑点的长和高，并退出斑点循环；

(7)将roi作为测试车辆图像中特征区域的二次定位结果，获得测试车辆特征区域图像J₂；

S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的最终定位；

在本实施方式中，所述步骤S03具体为：

(1)从主车特征区域图像I中提取局部特征点集合L_I；

(2)从测试车辆特征区域图像J₂中提取局部特征点集合L_J；

(3)利用SIFT匹配法获取L_I和L_J的初始匹配集合A＝{(a_i,a′_i),i＝1,2,…,q_A}，其中q_A为初始匹配个数；

(4)建立匹配间的空间几何约束，消除初始匹配集合A中的错误匹配，得到L_I和L_J的最终匹配B＝{(b_j,b′_j),j＝1,2,…,q_B}，其中q_B为最终匹配个数；

(5)根据最终匹配获取测试车辆图像中特征的最终定位区域图像J₃；

其中所述S03的步骤(5)的具体实现步骤如下：

(a)计算p_w＝w'/w,p_h＝h'/h，其中h表示b₁,两点在y方向上的距离，w表示b₁,两点在x方向上的距离，h'表示b′₁,两点在y方向上的距离，w'表示b′₁,两点在x方向上的距离，其中是主车特征区域图像I中的两点，是与相对应的测试车辆特征区域图像J₂中的两点；

(b)计算测试车辆图像中特征的最终定位区域(x_t,y_t,w_t,h_t)，其中w_t＝p_w·w₀，h_t＝p_h·h₀；x_t,y_t,w_t,h_t分别为最终定位区域的左上角坐标、长度和高度；

(c)获得测试车辆图像中特征的最终定位区域图像J₃。

S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车图像与测试车辆图像的特征相似度。

在本实施方式中，所述步骤S04具体为：

(1)计算局部特征匹配度其中norm为取二范数操作符；

(2)计算主车特征区域图像I的有向梯度直方图特征H_I和测试车辆特征区域图像J₃的有向梯度直方图特征H_J；

(3)计算全局有向梯度直方图特征相似度Siv₂＝norm(H_I-H_J)；

(4)利用加权融合获取主车图像与测试车辆图像的特征相似度Siv＝0.6×Siv₁+0.4×Siv₂。

Claims (6)

1.一种基于多重视觉信息的车辆特征定位及匹配方法，其特征在于，包括以下部分：

S01、根据车牌中字高比例建立测试车辆图像特征初步区域：在车牌定位的基础上，提取车牌中字符的高度，在已知主车图像特征区域的基础上，通过计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例，获得测试车辆图像特征初步区域；

S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位：在测试车辆图像特征初步区域内进行区域图像的纹理分析，获取颜色纹理区域作为测试车辆图像中特征区域的二次定位结果；

S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的最终定位；

S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车图像与测试车辆图像的特征相似度。

2.如权利要求1所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于，所述S01具体包括下述步骤：

(1)对主车车牌图像I_lic采用自适应阈值进行二值化，获得主车车牌二值图像

(2)对测试车牌图像J_lic采用自适应阈值进行二值化，获得测试车牌二值图像

(3)提取主车车牌二值图像中每一列白色像素的个数,取出现次数最多的个数作为主车车牌字符高度

(4)提取测试车牌二值图像中每一列白色像素的个数,取出现次数最多的个数作为测试车牌字符高度

(5)计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例

(6)已知主车图像车牌区域左上角点坐标为特征区域左上角坐标为(x₀,y₀)，区域高度为h₀，长度为w₀，测试车辆图像车牌区域左上角点坐标为则测试车辆图像特征初步区域(x₁,y₁,w₁,h₁)计算如下：w₁＝ratio_h·w₀，h₁＝ratio_h·h₀，x₁,y₁,w₁,h₁分别为测试车辆图像特征初步区域左上角坐标、长度和高度；

(7)根据测试车辆图像特征初步区域坐标及尺寸，在测试车辆图像中进行截取，获得测试车辆图像特征初步区域图像J₁。

3.如权利要求2所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于，所述S02具体包括下述步骤：

(1)针对测试车辆图像特征初步区域图像J₁，将其从RGB颜色空间转化到YCbCr颜色空间，得到Y分量图像Cb分量图像和Cr分量图像

(2)对Y分量图像进行阈值为0.5的二值化处理，得到Y分量二值图像BW₁ ^(Y)；

(3)对Cb分量图像中的元素进行从小到大的排序，取前(h₁×w₁)/2个值的平均值作为Cb分量图像的二值化阈值，并做二值化处理，得到Cb分量二值图像BW₁ ^(Cb)；

(4)对Cr分量图像中的元素进行从小到大的排序，取前(h₁×w₁)/2个值的平均值作为Cr分量图像的二值化阈值，并做二值化处理，得到Cr分量二值图像BW₁ ^(Cr)；

(5)融合Y分量、Cb分量和Cr分量二值化图像，得到融合二值图像BW＝BW₁ ^(Y)∩(BW₁ ^(Cb)∪BW₁ ^(Cr))；

(6)对融合二值图像BW中的每一个斑点ki，若其面积和长宽比与主车图像区域相似，则记录该斑点区域roi＝[x y W H]，其中(x,y)为该斑点左上角点的坐标，(W,H)为斑点的长和高，并退出斑点循环；

(7)将roi作为测试车辆图像中特征区域的二次定位结果，获得测试车辆特征区域图像J₂。

4.如权利要求3所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于，所述S03具体包括下述步骤：

(1)从主车特征区域图像I中提取局部特征点集合L_I；

(2)从测试车辆特征区域图像J₂中提取局部特征点集合L_J；

(3)利用SIFT匹配法获取L_I和L_J的初始匹配集合A＝{(ai,a′_i),i＝1,2,…,q_A}，其中q_A为初始匹配个数；

(4)建立匹配间的空间几何约束，消除初始匹配集合A中的错误匹配，得到L_I和L_J的最终匹配B＝{(b_j,b'_j),j＝1,2,…,q_B}，其中q_B为最终匹配个数；

(5)根据最终匹配获取测试车辆图像中特征的最终定位区域图像J₃。

5.如权利要求4所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于，所述S04具体包括下述步骤：

(1)计算局部特征匹配度其中norm为取二范数操作符；

(2)计算主车特征区域图像I的有向梯度直方图特征H_I和测试车辆特征区域图像J₃的有向梯度直方图特征H_J；

(3)计算全局有向梯度直方图特征相似度Siv₂＝norm(H_I-H_J)；

(4)利用加权融合获取主车图像与测试车辆图像的特征相似度Siv＝0.6×Siv₁+0.4×Siv₂。

6.如权利要求4所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于：所述S03的步骤(5)的具体实现步骤如下：

(a)计算p_w＝w'/w,p_h＝h'/h，其中h表示b₁,两点在y方向上的距离，w表示b₁,两点在x方向上的距离，h'表示b′₁,两点在y方向上的距离，w'表示b′₁,两点在x方向上的距离，其中是主车特征区域图像I中的两点，是与相对应的测试车辆特征区域图像J₂中的两点；

(b)计算测试车辆图像中特征的最终定位区域(x_t,y_t,w_t,h_t)，其中w_t＝p_w·w₀，h_t＝p_h·h₀；x_t,y_t,w_t,h_t分别为最终定位区域的左上角坐标、长度和高度；

(c)获得测试车辆图像中特征的最终定位区域图像J₃。