CN109741406A - 一种监控场景下的车身颜色识别方法 - Google Patents

Abstract

本发明属于图像处理技术，为监控场景下的车身颜色识别方法，根据监控场景下的图片获取车身图片，然后通过边缘检测对车窗和车脸进气栅进行包络检测，提取车窗和车脸进气栅的轮廓；然后提取车窗和车脸区域；在车身图片上剔除车窗和车脸进气栅的区域，在剔除车窗和车脸进气栅的区域填充像素均值；对填充处理后的车身图片做颜色分类识别。该方法对监控场景所抓拍的车身图像进行了筛选，筛选出质量较高的车身图像，剔除低质量车身图像，然后将筛选得到的车身区域送到深度学习网络中进行颜色识别，对车窗内部复杂场景具有较好的抗干扰能力，鲁棒性较强。

Description

一种监控场景下的车身颜色识别方法

技术领域

本发明涉及图像处理技术，具体为一种监控场景下的车身颜色识别方法。

背景技术

智能交通系统(Intelligent Transportation System，简称ITS)是有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的综合交通运输管理系统，具有实时性、准确性、高效性等特点。视频结构化系统是智能交通的重要组成部分，其首先采用目标检测、对象识别、深度学习等分析手段提取视频图像中的目标对象及运动轨迹，并将目标对象分为人、车、人骑车、行为、事件等不同类别；然后进一步提取目标对象的高层结构化属性特征，包括目标颜色特征、分类特征、速度特征等，并把目标对象的轨迹信息以及高层结构化属性特征形成高效的索引数据进行结构化检索。

车身颜色识别是视频结构化信息中的关键信息，是车辆信息的基础，具有广泛的实用价值。目前学术界在车身颜色识别方面做了大量研究，提出了不少有价值的算法。较为常用的车身颜色识别方法主要有以下几类：

1、基于颜色空间的车身颜色识别方法

这种方法需提取颜色识别区域内的RGB\HSV\LAB多维颜色直方图特征，然后基于颜色直方图特征，进行车身颜色识别。

2、基于颜色像素统计的车身颜色识别方法

这种方法需提取颜色识别区域内的像素值，然后统计出像素值最大的几种颜色，采用经验阈值判定识别车身颜色。

3、基于车脸候选区域的车身颜色识别方法

这种方法需确定车脸区域，然后确定车脸区域中的颜色识别区域，最后对车脸候选区域的颜色进行识别。

4、基于机器学习的车身颜色识别方法

这种方法对检测的车身或车脸区域做特征提取，采用机器学习方法识别车身颜色。

5、基于深度学习的车身颜色识别方法

这种方法对检测的车身或车脸区域通常不做特征提取，直接采用深度学习方法识别车身颜色。

上述方法3是提取车脸的颜色识别区域，但在监控场景下，车脸区域漏检的概率较高；上述方法5采用基于深度学习的方法识别车身颜色，未对车窗和车脸进气栅区域进行剔除处理，在监控场景下影响了车身颜色的识别准确率，需要收集大量的场景图片来训练调整，算法模型较大，不具有实时性。

总的来说，现有的车身颜色识别算法，成熟度不够，特别是监控场景下受外界复杂环境的干扰，通常采集的车辆图像中都存在有模糊、残缺、侧身角度等情况，从而使车脸区域和车脸颜色识别区域存在误定位和准确性低的问题。

实际运用中，从监控场景获取的视频流或抓拍到的图片中会检测到多种干扰信息和各种角度的车身。如果角度过大，现有的检测方法会造成车脸漏检；如果车身区域内干扰信息较多，会造成识别准确率降低，影响车身颜色识别率。故需要对检测到的车身区域，筛选出真实的车身颜色进行后续的识别。然而，传统的车身颜色识别方法是通过车脸进行颜色识别，对大角度的车辆无法准确识别其颜色，基于深度学习的车身颜色识别方法又对干扰信息较多的车辆无法高准确率识别。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种监控场景下的车身颜色识别方法，该方法对监控场景所抓拍的车身图像进行了筛选，筛选出质量较高的车身图像，剔除低质量车身图像，然后将筛选得到的车身区域送到深度学习网络中进行颜色识别，对车窗内部复杂场景具有较好的抗干扰能力，鲁棒性较强，可以达到实时性，具有一定的实用价值，利于推广应用。

本发明采用以下技术方案来实现：一种监控场景下的车身颜色识别方法，包括以下步骤：

根据监控场景下的图片，获取车身图片，然后通过边缘检测对车窗和车脸进气栅进行包络检测，提取车窗和车脸进气栅的轮廓；

根据车窗和车脸进气栅的轮廓，提取车窗和车脸区域；在车身图片上剔除车窗和车脸进气栅的区域，在剔除车窗和车脸进气栅的区域填充像素均值；

对填充处理后的车身图片做颜色分类识别。

优选地，所述包络检测的过程如下：车身图片通过边缘检测，得到车身和车窗的边缘信息，通过非闭合曲线延伸n个像素点，防止检测的边缘缺失；剔除相交的边缘闭合曲线段，得到车身闭合包络；在车身闭合包络区域内部，剔除相交的边缘闭合曲线段，得到包含车窗区域的闭合包络。

优选地，车窗和车脸进气栅轮廓提取的过程如下：在车身闭合包络区域内部，通过数字形态学腐蚀膨胀处理，得到大小不一的区域“块”，车身轮廓下半部分最大的区域“块”即为进气栅候选区域；在车身闭合包络区域内部中间部分最大的包络即为车窗候选区域。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明首先对监控场景所抓拍的车身图像进行筛选，筛选出质量较高的车身图像，剔除低质量车身图像，然后将筛选得到的车身区域送到深度学习网络中进行颜色识别，可以在车身角度较大的情况下，通过卷积神经网络分类器直接对车身颜色进行识别，对车窗内部复杂场景具有较好的抗干扰能力，算法鲁棒性较强，可以达到实时性，具有一定的实用价值，利于推广应用。

2、本发明可以对车脸漏检的情况进行颜色识别，有效避免车窗内部复杂场景的干扰，而采用基于深度学习的颜色识别算法在对监控场景下的车身颜色识别更加具有鲁棒性。

3、本方案的车身颜色识别算法采用基于深度学习的卷积神经网络算法，有效的解决了车身颜色多样、车身褪色、模糊、颜色渐变非线性等问题；对于车身倾斜角度大的情况，深度学习算法也有很好的适应性。

附图说明

图1是本发明的车身颜色识别流程图；

图2是车身和车窗包络检测流程图；

图3是卷积神经网络模型的处理流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

由于车身颜色识别的准确率受两方面影响：车身颜色识别区域和车身颜色识别算法。故本发明提出包括以下步骤的方法对监控场景下的车身颜色进行识别，如图1所示：

一、剔除车窗和车脸进气栅，在剔除车窗和车脸进气栅的区域填充像素均值。

假设针对监控场景下的图片，在运用车辆检测算法后获取到车身图片，然后通过边缘检测对车窗和车脸进气栅进行包络检测，提取车窗和车脸进气栅的轮廓。

包络检测的过程如下：车身图片通过DOG边缘检测，得到车身和车窗的边缘信息，通过非闭合曲线延伸n个像素点，防止检测的边缘缺失。剔除相交的边缘闭合曲线段，得到车身闭合包络。在车身闭合包络区域内部，剔除相交的边缘闭合曲线段，得到包含车窗区域的闭合包络。车身和车窗的包络检测流程如图2所示。

轮廓提取的过程如下：在车身闭合包络区域内部，通过数字形态学腐蚀膨胀处理，得到大小不一的区域“块”，车身轮廓下半部分最大的区域“块”即为进气栅候选区域；在车身闭合包络区域内部中间部分最大的包络即为车窗候选区域。

本实施例采用高斯差分算子(DOG，Difference of Gaussian)对车身做边缘检测，提取车窗和车脸区域，DOG算子公式为：

DoG(x,y,σ₁,σ₂)*I(x,y)＝G(x,y,σ₁)*I(x,y)-G(x,y,σ₂)*I(x,y)

其中I(x,y)为图像像素值，G(x,y)高斯平滑函数，DoG(x,y,σ₁,σ₂)为高斯差分算子，σ、σ₁、σ₂为高斯平滑参数。

通过DOG算子能够较好地提取出车辆外轮廓、车窗轮廓及车脸进气栅轮廓，通过面积大小和空间位置关系判定车窗和车脸进气栅区域，从而在车身图片上剔除车窗和车脸进气栅的区域，在剔除车窗和车脸进气栅的区域填充像素均值。

通过面积大小和空间位置关系判定为车窗和车脸进气栅区域的原则如下：通过车辆目标检测，得到车辆的宽度和高度信息。车窗区域与车身中间区域交并比(Intersectionover Union，IOU)大于80％，车脸进气栅区域与车身下部区域交并比大于80％，车脸进气栅的面积和车窗面积都要大于车身外接面积的10％小于车身外接面积的80％。

车身颜色识别图像是BGR三个通道图像组成的，I＝(I_B,I_G,I_R)，像素均值计算公式为：

其中，I_B(x₁,y₁)、I_G(x₁,y₁)、I_R(x₁,y₁)为x₁,y₁坐标的B、G、R通道像素值；

I_{G_mean}(x,y)、I_{G_mean}(x,y)、I_{R_mean}(x,y)为坐标(x,y)的B、G、R通道像素均值；

I(x₁,y₁)、I(x₂,y₂)、I(x₃,y₃)、....、I(x_n,y_n)为扣除区域的车身剩余区域像素值。

填充到剔除区域(车窗区域和车脸区域)的像素为：

I(x,y)＝(I_{R_mean}(x,y),I_{R_mean}(x,y),I_{R_mean}(x,y))

二、对填充处理后的车身图片做基于卷积神经网络的车身颜色分类识别。

图3示意了基于深度学习算法的卷积神经网络模型的处理流程。用于车身颜色识别的卷积神经网络模型的训练过程为：将车身颜色分为红、绿、蓝、灰、白、黑、黄、粉、棕、紫色10种，合并车身颜色较接近的颜色，制作训练样本，训练得到的初始模型，解决了传统算法对颜色渐变非线性进行划分困难的问题。添加一定数量的车身颜色褪色、车身模糊、车身倾斜角度大的样本到训练集，另外，对原样本进行一定比例的数据扩充，包括角度倾斜、图像模糊处理、添加噪声等操作，训练得到的最终模型，对车身颜色褪色、模糊、车身倾斜角度大的车身颜色识别也具有很好的识别准确率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种监控场景下的车身颜色识别方法，其特征在于，包括以下步骤：

根据监控场景下的图片，获取车身图片，然后通过边缘检测对车窗和车脸进气栅进行包络检测，提取车窗和车脸进气栅的轮廓；

根据车窗和车脸进气栅的轮廓，提取车窗和车脸区域；在车身图片上剔除车窗和车脸进气栅的区域，在剔除车窗和车脸进气栅的区域填充像素均值；

对填充处理后的车身图片做颜色分类识别。

2.根据权利要求1所述的车身颜色识别方法，其特征在于，所述包络检测的过程如下：车身图片通过边缘检测，得到车身和车窗的边缘信息，通过非闭合曲线延伸n个像素点，防止检测的边缘缺失；剔除相交的边缘闭合曲线段，得到车身闭合包络；在车身闭合包络区域内部，剔除相交的边缘闭合曲线段，得到包含车窗区域的闭合包络。

3.根据权利要求2所述的车身颜色识别方法，其特征在于，车窗和车脸进气栅轮廓提取的过程如下：在车身闭合包络区域内部，通过数字形态学腐蚀膨胀处理，得到大小不一的区域“块”，车身轮廓下半部分最大的区域“块”即为进气栅候选区域；在车身闭合包络区域内部中间部分最大的包络即为车窗候选区域。

4.根据权利要求1所述的车身颜色识别方法，其特征在于，所述边缘检测采用高斯差分算子DOG进行，通过高斯差分算子DOG提取出车辆外轮廓、车窗轮廓及车脸进气栅轮廓，通过面积大小和空间位置关系判定车窗和车脸进气栅区域，从而在车身图片上剔除车窗和车脸进气栅的区域。

5.根据权利要求4所述的车身颜色识别方法，其特征在于，高斯差分算子DOG的公式为：

DoG(x,y,σ₁,σ₂)*I(x,y)＝G(x,y,σ₁)*I(x,y)-G(x,y,σ₂)*I(x,y)

其中I(x,y)为图像像素值，G(x,y)高斯平滑函数，DoG(x,y,σ₁,σ₂)为高斯差分算子，σ、σ₁、σ₂为高斯平滑参数。

6.根据权利要求4所述的车身颜色识别方法，其特征在于，通过面积大小和空间位置关系判定为车窗和车脸进气栅区域的原则如下：通过车辆目标检测，得到车辆的宽度和高度信息；车窗区域与车身中间区域交并比大于80％，车脸进气栅区域与车身下部区域交并比大于80％，车脸进气栅的面积和车窗面积都大于车身外接面积的10％且小于车身外接面积的80％。

7.根据权利要求1所述的车身颜色识别方法，其特征在于，车身图片的颜色分类识别基于卷积神经网络模型。

8.根据权利要求7所述的车身颜色识别方法，其特征在于，卷积神经网络模型的训练过程为：将车身颜色分为红、绿、蓝、灰、白、黑、黄、粉、棕、紫色，合并车身颜色较接近的颜色，制作训练样本，训练得到初始模型；添加一定数量的车身颜色褪色、车身模糊、车身倾斜角度大的样本到训练集，对原样本进行一定比例的数据扩充，包括角度倾斜、图像模糊处理、添加噪声，训练得到最终模型。