CN104778444B - 道路场景下车辆图像的表观特征分析方法 - Google Patents

Abstract

本发明涉及一种道路场景下车辆图像的表观特征分析方法，通过对目标车辆定位、主要部件分割、特征分析，获得类型、品牌信息，用于对目标车辆的分类识别。本发明提出的方法步骤是：（1）对车辆图像进行预处理，并判断是否为白天获取的图像；（2）对判定为白天获取的图像进行车辆的精确定位，获得目标车辆的图像区域；（3）对目标车辆的图像区域进行分割，定位出主要部件；（4）计算目标车辆主要部件的相对位置和尺度关系，获得目标车辆类型；（5）建立各品牌车辆的主要部件表观特征描述库用于特征匹配，获得目标车辆的品牌信息。本发明可以全面地分析车辆表观特征，实现高准确率的车辆定位、车型识别、品牌识别功能。

Description

道路场景下车辆图像的表观特征分析方法

技术领域

本发明涉及一种道路场景下车辆的表观特征分析方法，属于交通图像处理技术领域。

背景技术

对道路及治安卡口拍摄图像中的车辆进行定位和特征提取，形成该车辆结构化的特征描述，并进一步用于车辆类型、品牌信息、车身颜色等的识别，是智能交通系统的重要技术之一，可以在交通管理、公安监控、信息统计等领域广泛应用。如车辆类型的识别可对路网中不同类型车辆的禁区行驶行为进行检测；车辆品牌和号牌的识别可直接用于套牌车辆的检测；品牌信息、车身颜色的识别则可用于汽车行业的信息统计和市场调查等。

在现有的文献中，已有一些车辆类型识别和车辆品牌识别的方法，大部分方法从具体的车辆识别目标(如车牌、车标、车辆前脸、车身形状等)出发，未对车辆进行全局到局部的分析理解，因此受实际道路场景中的干扰影响较大，其方法准确率和实际应用仍有较大差距。

具体地，车辆类型的识别主要用于各型轿车、各型客车、各型货车的区分。如申请号为201210350574.2的中国专利申请中提出利用背景剪除提取目标车辆区域的轮廓，计算轮廓形状的几何不变矩用于识别车型，这种利用视频的方法简单有效，但应用范围受到局限；如申请号为201310471461.2的中国专利申请中提出利用车辆号牌底色判断车辆类型，这种方法直观快速，但仅能区分少部分车型；如申请号为201210082814.5的中国专利申请中提出将轮廓与车辆的3D模型库进行匹配并判断车辆类型的方法，该方法需要建立多种类型的车辆3D模型库，并确定摄像机的拍摄视角，实施方式较为复杂。

车辆品牌的识别用于鉴定车辆所属的具体厂商，如大众、别克、丰田等，主要有基于车标和车辆前脸区域的识别方法。如申请号为201210042809.1的中国专利申请中提出利用Adaboost组合分类器结合图像Haar特征的提取，对图像中的车标进行检测和分类，判断车辆的品牌，这种方法的难点在于车标图像种类众多、尺寸不一，因此难以保证很高的分类准确性；如申请号为201310416016.6的中国专利申请中提出利用车辆前脸区域，包括大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等多个位置，构建hog(histogram of gradient)和LBP(Local Binary Pattern)的组合特征向量，用于车辆品牌的识别，该方法的抗干扰性强，但对车辆局部细节区域的图像清晰度有较高的要求。

可见，已有的一些车辆类型识别和车辆品牌识别的方法仍然存在较为明显的缺陷，这是由于大部分方法仍然针对具体识别问题，缺乏对图像全局的整体分析理解，使用的技术手段容易受应用环境所局限。因此，本发明从全局到局部的表观特征分析角度出发，提出一种能够对道路场景下拍摄的车辆图像进行准确的车辆定位、车型识别、品牌识别的方法，具有高识别率和低误报性能。

发明内容

本发明的目的是克服现有技术的不足，提供一种道路场景下车辆图像的表观特征分析方法，能够更加准确的识别车辆，且实施简便。

本发明所述的道路场景下车辆图像的表观特征分析方法，包括：对图像进行预处理；对图像中的目标车辆进行定位；对目标车辆区域的主要部件进行分割；根据目标车辆主要部件分割结果计算主要部件的相对关系，判断车辆类型；对目标车辆主要部件提取表观特征，并与各品牌车辆的主要部件表观特征描述库进行特征匹配，获得目标车辆的品牌信息。

其中，图像的预处理可以包括去除图像噪声、图像畸形校正，还可以包括通过统计图像像素的灰度值，计算图像的平均灰度和对比度，判断是否为白天拍摄的图像，如果图像的平均灰度高于设定阈值或者对比度低于设定阈值，则判定该图像为白天拍摄。

图像中目标车辆的定位可采用全局梯度分析与全局号牌检测结合的方式。通过全局梯度分析可大致确定目标车辆区域的，进一步检测区域内号牌位置，基于对称性获得目标车辆准确位置；或者，在全局图像中检测号牌位置，进一步对号牌周围图像区域进行梯度分析，获得目标车辆准确位置。

梯度分析的方法涉及一种梯度复杂度算子，包括：嵌套的两个图像窗口。其图像窗口的尺度根据检测目标的大小进行调整，计算输出为这两个图像窗口的梯度统计值比值；

对目标车辆图像区域的主要部件的分割可基于局部梯度分析，获得目标车辆主要部件的边缘区域，从而进行区分。提取的目标车辆主要部件的图像区域一般包括目标车辆的前脸、引擎盖、车顶、前挡风玻璃和车侧面图像区域。

所述判断车辆类型可依据分割得到的目标车辆主要部件的相对位置、相对尺度关系。

车辆品牌信息的获取可依据分割得到的目标车辆主要部件的表观特征与各品牌车辆的主要部件表观特征描述库的匹配结果。

所述特征描述库是通过对各品牌车辆的主要部件图像区域进行人工分割，并进一步提取特征建立的，且特征数据的记录对应车辆品牌信息。

通过上述方案形成的车辆表观特征分析方案，可以对拍摄的白天道路场景图像中的目标车辆进行准确的定位、主要部件分割、特征分析，从而获得车辆类型和车辆品牌信息。该方案要求摄像机拍摄的角度为目标车辆的前上方，符合我国道路及治安卡口的视频监控设备安装要求，可广泛应用于道路及治安卡口的视频图像监控系统中。本发明方法成熟可靠、实现成本低，通过摄像机、嵌入式处理器或者计算机便可以实现，而且通过对特征描述库的更新可提高方法的性能和支持的车辆品牌数目。

附图说明

图1示出本发明的总体流程图。

图2示出梯度复杂度算子示意图。

图3示出车辆定位方法的流程图。

图4示出梯度复杂度算子对图像的滤波响应示意图。

图5示出全局图像号牌检测结果示意图。

图6示出车辆主要部件分割及梯度直方图统计方向示意图。

图7示出车辆主要部件分割坐标位置示意图。

具体实施方式

下面结合具体附图和实施例对本发明进一步阐述。本实施例中，输入图像要求为白天拍摄并包含目标车辆的单张图像或者视频的某帧。

图1示出了本发明的车辆表观特征分析方法的流程图概览。

本发明的针对道路场景下的车辆表观特征分析方法包括以下步骤：

步骤S1、图像预处理：对摄像机拍摄的道路场景图像去除图像噪声、图像畸形校正，并判定是否为白天拍摄的图像。

在实施例中，去除图像噪声采用均值滤波、中值滤波或者高斯滤波方法。

图像畸形校正根据摄像机实际成像效果决定是否进行，若改摄像机的图像畸变使得图像中目标车辆发生严重变形，则应根据摄像机及其镜头参数计算图像仿射矩阵，利用该仿射矩阵对图像数据进行空间映射，生成无畸变或畸变较小的新图像。

步骤S1中引入图像是否“白天拍摄”的判定，通过统计图像像素的灰度值，计算图像的平均灰度和对比度，如果图像的平均灰度高于设定阈值或者对比度低于设定阈值，则可确定该图像为白天拍摄的(夜晚拍摄的图像平均灰度值较小，且由于闪光灯，其对比度较大)。因此本发明中“白天拍摄”的概念为自我设定的范围，视图像属性而定。

步骤S2、目标车辆定位：在图像中准确检测出目标车辆所在的区域，消除图像背景对后续分析的影响。目前的车辆定位技术中有多种方案，用的比较广泛的是Haar特征和Adaboost组合分类器结合的方案。该方法利用多尺度的滑动窗口在图像中遍历，对窗口中的数据提取Haar特征并通过离线学习得到的Adaboost组合分类器进行分类，确定当前窗口是否为车辆。该方法优点是准确性高，但计算复杂度高，实时性一般，且对新场景的适应性差。因此，在实施例中，本发明采用全局梯度分析与全局号牌检测结合的方式。

本步骤中，使用了一种梯度复杂度算子201。图2示出了该算子的结构及其在图像中滤波的示意。该算子由嵌套的两个图像窗口组成。其外围窗口大小为W₁×H₁像素，内部窗口大小为W₂×H₂像素，W₁、H₁、W₂、H₂的取值根据检测目标的大小来确定，算子的计算输出为这两个图像窗口的加权梯度统计值比值：

其中(x,y)为当前算子所在图像像素位置202，h₁和h₂分别为外围窗口和内部窗口中各像素的梯度值之和。

图3示出了步骤S2的处理流程，进一步包括：

步骤S21、全局梯度分析:利用梯度复杂度算子对图像进行全局滤波。该滤波操作通过如下方式提高计算速度：基于Sobel算子计算梯度分布，进一步计算梯度分布的积分图像。本实施例中，为了使算子能对车辆边缘区域203进行响应，W₂和H₂取值为车辆车梁/柱的图像像素宽度，W₁和H₁取值分别为W₂和H₂的两倍。图4示出了图像经过该算子的滤波输出(该图像进行了反相和标准化)。

然后，对滤波图像进行二值化，获得图像中边缘变化比较强烈的区域(一般为车辆边缘区域，其他纹理复杂的区域如绿化带、栅栏、树枝等会被滤去)。在实施例中，二值化的阈值根据算子两个窗口面积比值的大小设置为1.8。

继续利用图像形态学操作，对二值化图像多次闭运算和开运算，使得边缘区域相互融合。

进一步，计算二值化图像中各个连通区域的面积和长宽比，滤除面积较小以及长宽比不符合车辆比例的连通区域，剩下的连通区域为大致的车辆候选位置。

步骤S22、局部号牌检测：如果步骤S21中能够获得一个或多个车辆候选位置，则利用车辆号牌检测方法来对这些车辆候选目标位置进一步确认。

当前车辆号牌检测技术也存在多种方案，考虑本发明针对的是白天拍摄的图像，采用基于颜色检测的方式来检测车辆号牌。首先对车辆候选位置的梯度值进行二值化获得车辆的边缘像素；然后遍历每个边缘像素，判断该像素左右相邻像素的颜色是否分别蓝色和白色、或者黄色和黑色，如果是则判定该像素为号牌区域的边缘像素；最后，对通过判定的像素进行图像闭运算，得到的融合区域为车辆的号牌位置。进一步删除通过上述方式不能获得号牌位置的车辆候选位置。

步骤S23、全局号牌检测：如果步骤S21中未能获得任何车辆候选位置，则利用车辆号牌检测方法来尝试获取车辆候选位置。在实施例中，首先计算全局图像的梯度图像；然后使用号牌大小的检测窗口在梯度图像中滤波，若窗口内梯度值之和大于设定值，则输出为正，否则置零；最后使用步骤S22的基于颜色的号牌检测方法对滤波结果处理，找到全局图像中的号牌位置204。图5示出了全局图像经过该步骤的号牌检测结果(该图像进行了反相和标准化)。

步骤S24、局部梯度分析：利用梯度复杂度算子对步骤S23输出的号牌位置附近的局部范围内进行梯度分析，获得车辆的边缘分布。进一步经过多次闭运算和开运算，获取车辆候选位置。

步骤S25、车辆精确定位：利用车辆前视图像的对称性，根据步骤S22或者步骤S23获得的车辆号牌位置对目标车辆位置进行精确修正。在此，对车辆候选位置的梯度图像每一列像素进行直方图统计，在车辆号牌中心位置附近计算左右两侧直方图的镜像匹配度，取匹配度最高的位置所在图像列为车辆对称轴，并进一步寻找目标车辆区域的两侧边界。

至此，在图像中准确获得了目标车辆区域，将该区域按最小包含矩形提取目标车辆的图像区域。

步骤S3、车辆主要部件分割：对步骤S2获得的目标车辆图像进行局部梯度分析，获得目标车辆主要部件的图像区域，包括：前脸301、引擎盖302、前挡风玻璃303、车顶304和车侧面305。

在实施例中，利用梯度复杂度算子获得车辆边缘的分布，同时基于图像的空间标定信息对目标车辆边缘分布进行统计。如图6，根据图像空间标定信息，计算图像横向306、纵向307以及透视方向308的边缘统计直方图；进一步，在这3个方向边缘统计直方图的多个极大值中找出目标车辆主要部件边缘的分割坐标309，310，311，312，313，314，315及它们关于目标车辆中轴的对称位置坐标，如图7所示；最后，基于分割坐标完成对目标车辆主要部件的准确分割。

步骤S4、主要部件特征分析：对车辆主要部件的图像区域提取表观特征。表观特征包括：车辆主要部件在图像中的位置关系、大小关系、车辆主要部件的长宽比、利用特征提取算法对车辆各主要部件提取的特征向量。特征提取算法可以是hog(histogram ofgradient)、Haar-like、小波(wavelet)、PCA(Principal Component Analysis)。

在实施例中，对于步骤S3获得的车辆各主要部件图像，首先计算各部件图像的最小包含椭圆，根据各椭圆圆心的相互距离计算车辆主要部件之间的相对位置，根据各部件图像的面积比值计算车辆主要部件之间的大小关系，根据各椭圆的长轴与短轴的比值计算车辆主要部件长宽比，并进行记录；然后将车辆各主要部件图像进行标准化，得到大小一致的标准图像；最后对车辆主要部件的标准图像利用特征提取算法提取特征向量，并进行记录。

对5个车辆主要部件的所有特征信息进行汇总，形成总特征向量(f₁，f₂，f₃，f₄，f₅)。

步骤S5、各品牌车辆特征描述库：利用步骤S4的方式对各品牌车辆建立标准的特征描述数据库，用于进一步的特征匹配。特征描述库的建立可通过对各品牌车辆的主要部件图像区域进行人工分割并提取表观特征，然后将获得的特征数据按照车辆品牌信息索引记录。

在实施例中，收集尽可能多的车辆品牌及子品牌的车辆图像数据，对每一种品牌的车辆图像通过人员手工标定获得车辆各主要部件的精确图像区域，再根据步骤S4提取目标车辆的表观特征，包括：车辆主要部件的位置关系、大小关系、长宽比和利用特征提取算法提取的特征向量，形成用于匹配的标准数据库。

步骤S6、车辆类型识别：依据步骤S4获得的目标车辆主要部件的相对位置、大小关系及长宽比判断车辆类型。基于离线统计获得的轿车、客车及货车的车辆主要部件的相对位置、大小关系及长宽比的分布模型确定用于区分车型的阈值。利用该阈值对目标车辆的类型进行判定。

步骤S7、车辆品牌识别：依据步骤S4获得的目标车辆总特征向量，与步骤S5建立的各品牌车辆特征描述库进行特征匹配或者特征分类，特征描述库中匹配度最高或者分类隶属度最高的标准特征数据对应的品牌为目标车辆的品牌。用于特征匹配或者特征分类的分类器需要基于各品牌车辆特征描述库及充分的测试图像数据进行离线学习。由于车辆品牌数目众多，常用的二分分类算法，如Adaboost组合分类器、支持向量机(Support VectorMachine)分类器难以满足需求。在实施例中采用随机森林(Random Forests)分类器或者基于神经网络学习的分类器。主要原因是：针对多类别分类速度快、性能满足需求。

最后，将车辆表观特征分析结果，包括：车辆类型信息、车辆品牌信息，进行输出。该特征信息可以与车辆号牌信息结合，进行车辆轨迹信息记录；进一步可以与车辆管理系统中的车辆登记信息对照，检测是否套牌嫌疑车辆，实现对道路通行车辆的全面管控。定位和分割获得的目标车辆图像及目标车辆主要部件图像也可以单独存储，和原始图像相比数据量更少更精确，减少图像传输所需要的数据带宽。

由此，本发明提供了一种白天道路场景下的车辆表观特征分析方法，能够对白天拍摄的道路场景图像进行目标车辆定位、目标车辆主要部件分割，并进一步提取特征进行分析，获得目标车辆的车辆类型、车辆品牌信息。该方法检测和识别的准确率高，且计算实时性好，对摄像机拍摄的图片、视频的某一帧都可以进行处理。该方法实现简单，仅需要普通的摄像机、嵌入式处理系统或者普通计算机便可以实现，可以方便的应用于道路视频监控系统、汽车电子收费系统等车辆管控系统中。

本发明对白天拍摄的图像或者视频有效，包括早晨、上午、中午、下午和傍晚，主要原因是，白天光线比夜晚充足、均匀，车辆轮廓及车辆主要部件的边缘较清晰，可以实现车辆及车辆主要部件的准确定位和分割。

本发明对车辆前侧上方的摄像机拍摄的图像有效，允许由于车辆所在车道位置不同形成的±20°水平角度偏差，主要原因是，车辆前侧上方拍摄的图像能够获取完整的车辆主要部件，并具有良好的对称性，且该拍摄视角符合当前视频监控设备在道路及治安卡口的安装要求。

本发明提出分割的车辆主要部件，包括：前脸、引擎盖前挡风玻璃、车顶和车侧面，可根据实际应用情况减少或者进一步细化，如车灯、进气格栅等。

本发明结合一个实施例描述了本发明的具体实施方式，但本发明不仅限于所述的实施例。可根据实际应用情况针对性地修改部分检测、识别、特征提取以及分类方法。

Claims (9)

1.道路场景下车辆图像的表观特征分析方法，其特征是，所述方法包括：

对图像进行预处理；

对图像中的目标车辆进行定位；

对目标车辆图像区域的主要部件进行分割；

计算目标车辆主要部件的相对关系，判断车辆类型；

对目标车辆主要部件提取表观特征，并进行特征匹配，获得品牌信息；

其中，所述对图像中的目标车辆进行定位采用全局梯度分析与全局号牌检测结合的方式：（1）通过全局梯度分析来大致确定目标车辆区域，再进一步检测区域内号牌位置，基于对称性获得目标车辆准确位置；或者（2）在全局图像中检测号牌位置，再进一步对号牌周围图像区域进行梯度分析，获得目标车辆准确位置。

2.如权利要求1所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述预处理包括去噪、畸形校正。

3.如权利要求1或2所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述预处理包括通过统计图像像素的灰度值，计算图像的平均灰度和对比度，判断是否为白天拍摄的图像，如果图像的平均灰度高于设定阈值或者对比度低于设定阈值，则判定该图像为白天拍摄。

4.如权利要求1所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述对目标车辆主要部件的分割基于局部梯度分析，获得目标车辆主要部件的边缘区域，从而进行区分。

5.如权利要求1或4所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述目标车辆主要部件的图像区域包括以下图像区域的部分或全部：目标车辆的前脸、引擎盖、车顶、前挡风玻璃和车侧面的图像区域。

6.如权利要求1所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述判断车辆类型依据分割得到的目标车辆主要部件的相对位置、相对尺度关系。

7.如权利要求1所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述车辆品牌信息的获取依据分割得到的目标车辆主要部件的表观特征与各品牌车辆的主要部件表观特征描述库的匹配结果。

8.如权利要求1所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述梯度分析的方法涉及一种梯度复杂度算子，包括：嵌套的两个图像窗口，所述图像窗口的尺度根据检测目标的大小进行调整，计算输出为这两个图像窗口的梯度统计值比值。

9.如权利要求7所述的道路场景下车辆图像的表观特征分析方法，其特征在于，所述特征描述库是通过对各品牌车辆的主要部件图像区域进行人工分割，并进一步提取特征建立的，且特征数据的记录对应车辆品牌信息。