CN102034080B - 车辆颜色识别方法及装置 - Google Patents

Abstract

本发明提供一种车辆颜色识别方法及装置，属于计算机视觉领域。包括，首先，检测单元对输入的视频数据进行运动检测，根据检测结果对车辆区域进行首次粗定位；接着，计算单元在首次粗定位的基础上对车辆区域进行二次精确定位；然后，计算单元对所述二次精确定位后的车辆区域进行白平衡校正，提取所述二次精确定位后的车辆区域的颜色特征；最后，比较单元将提取的颜色特征与建立的特征模板库中的颜色特征进行比对，对所述车辆颜色进行识别。本发明采用自动白平衡处理校正图像，通过计算各种颜色的分布情况得到车辆的主要色彩的分布，直接通过各通道的颜色直方图表示输入区域与车辆模板之间的色彩差异，提高了车辆定位的精度和目标颜色识别的正确率。

Description

车辆颜色识别方法及装置

技术领域

本发明属于计算机视觉领域，涉及一种车辆颜色识别方法及装置。

背景技术

车辆颜色识别是智能交通控制中非常重要的一个环节。本领域中通常是通过模式分类的方式对各类颜色车辆样本进行处理，以进行车辆颜色的识别。具体过程为：对输入视频帧进行色彩处理，并对图像进行白平衡校正得到校正后图像的颜色特征。最后校正后图像的颜色特征与模板库中的颜色特征进行比对，从而识别出车辆的颜色。在该过程中，通常以对车辆检测的结果为输入视频帧，并根据车辆区域内所有像素点的色彩来识别车辆的颜色。

但是，在上述识别过程中，车辆样本容易受到安装场景和录制时间等因素的影响导致同一车辆在不同场景或不同时间的样本有较大差异，如检测出的车辆区域常大于车辆的实际大小，引入了较多的干扰像素点，甚至有明显的偏色现象，从而降低颜色识别的正确率。另外，在提取车辆的色彩特征时，通常是将图像由RGB色彩空间转换至其他色彩空间，统计该色彩空间中各通道的颜色直方图，并计算输入区域与车辆模板的特征距离。但是，由于很多色彩空间的视觉差异一致性较差，如HSV色彩空间中，黄色色度的宽度仅为红色色度宽度的十分之一，因此不能直接通过各通道的颜色直方图来表示输入区域与车辆模板之间的色彩差异。

发明内容

本发明所要解决的技术问题是提供一种车辆颜色识别方法及装置，本方法首先对图像进行了白平衡校正，并通过统计区域内各种色彩分布及其与区域中心点的距离来判断所述车辆的具体位置，结合颜色模式进行颜色识别。本方法消除了滤除偏色的干扰，采用二次精确定位提高了定位精度，从而提高了车辆颜色识别的正确率，增强了颜色识别的鲁棒性。

为解决上述技术问题，本发明提供一种车辆颜色识别方法，包括如下步骤：

步骤（1），检测单元对输入的视频数据进行运动检测，根据检测结果对视频数据中的车辆区域进行首次粗定位。

步骤（2），计算单元在首次粗定位的基础上对车辆区域进行二次精确定位。

步骤（3），计算单元对所述二次精确定位后的车辆区域进行白平衡校正，提取所述校正后的车辆区域的颜色特征。

步骤（4），比较单元将提取的颜色特征与建立的特征模板库中的颜色特征进行比对，对所述车辆颜色进行识别。

其中，所述特征模板库的建立包括：

步骤A：数据处理单元对通过图像采集装置采集的视频数据进行标定，提取出现车辆的主体区域作为车辆模板。

步骤B：数据处理单元按预定的颜色对所述车辆模板进行分类。

步骤C：计算单元对所述分类后的车辆模板进行白平衡校正，并提取校正后所述车辆模板的颜色特征。

步骤D：数据处理单元对预定的颜色建立所述车辆模板的颜色特征的特征模板。

其中，所述颜色特征为HSV36特征。

其中，所述步骤A中车辆的模板的提取范围包括所述车辆的主体区域。

其中，计算单元采用迭代的方法进行白平衡校正。

其中，所述步骤（1）中运动检测时，采用区域分割的方法获取所述视频数据中的车辆区域。

其中，所述步骤（2）中进行二次精确定位包括，根据所述首次粗定位得到的车辆区域中的色彩分布、各种颜色分布与粗定位得到的车辆区域中心的距离来对粗定位得到的车辆区域进行二次精确定位。

为解决上述技术问题，本发明还提供一种车辆颜色识别装置，包括：

检测单元，用于对输入的视频数据进行运动检测，根据检测结果对车辆区域进行首次粗定位。

计算单元，用于在首次定位的基础上对车辆区域进行二次精确定位；并对所述二次精确定位后的车辆区域进行白平衡校正，提取所述校正后的车辆区域的颜色特征。

比较单元，比较单元将提取的颜色特征与建立的特征模板库中的颜色特征进行比对，对所述车辆颜色进行识别。

本发明提供的车辆颜色识别方法，具有以下优点：

1、本发明首先采用自动白平衡处理对图像进行校正，滤除了图像的偏色，提高了颜色识别的鲁棒性。

2、本方法提出了车辆的二次精确定位的方法，采用颜色特征来表示图像的色彩特性，通过计算各种颜色的分布情况来得到车辆的主要色彩的分布，直接通过各通道的颜色直方图来表示输入区域与车辆模板之间的色彩差异，提高了车辆定位的精度和颜色识别的正确率。

3、本方法基于色彩分布，对于色彩鲜艳的目标，能准确的找出区域中车辆的位置，提高目标定位的精度和颜色识别的正确率。

附图说明

图1为本发明实施例中车辆颜色识别方法的流程图；

图2为本发明实施例中车辆颜色识别方法中建立车辆的特征模板库的流程图；

图3为本发明实施例中车辆颜色识别方法的各种颜色车辆的识别正确率的曲线图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例中，使用摄像机采集视频数据，使用计算机处理视频数据。本实施例中所使用的计算机的配置为：CPU:Pentium(R),Dual 3.00G Hz,Memory:1GB。上述设备仅为例举，本发明所使用的处理设备并不限于上述设备。本实施例中共采集10段视频，每段2到3个小时。采集时间分布早、中、晚3段，早上和晚上录制的视频有明显的阴影，中午的视频亮度较高而没有阴影。采集场景包括两类：摄像头架在室内，透过玻璃窗拍摄外面道路的5段视频，因为玻璃的影响，采集的视频有轻微的偏色，且图像的清晰度较低。摄像头直接架设在路边进行拍摄5段视频，没有偏色且清晰度较高。视频中共出现车辆2558辆，其中黑色612辆，蓝色70辆，绿色57辆，混合色284辆，红色199辆，白色1084辆，黄色252辆，统计情况如表1所示。

表1.实验样本个数

颜色	黑色	蓝色	绿色	混合色	红色	白色	黄色
								样本个数	612	70	57	284	199	1084	252

本发明以其中的6段视频用于建立车辆的特征模板库，剩余4段用于进行车辆颜色的检测识别。

首先，需要建立车辆的特征模板库，并将建立好的车辆的特征模板库存入第一存储单元中。如图2所示，建立特征模板库可以包括如下步骤：

a)数据处理单元对所采集的视频数据进行标定，提取出现车辆的主体区域作为车辆模板。对6段视频分别进行标定，提取其中出现的车辆作为模板，提取的标准是刚好包含车辆的主体区域。

b)按预定颜色对车辆模板进行分类。本实施例中，共取7种预定颜色：黑色、蓝色、绿色、混合色（非单色）、红色、白色、黄色。

c)由计算单元对分类后的车辆模板进行白平衡校正，并提取校正后车辆模板的颜色特征。本实施例中，车辆模板的颜色特征为HSV36特征。其它颜色特征如颜色直方图、颜色矩、颜色集、颜色聚合向量、颜色相关图、局部颜色特征，以及基于其它色彩空间的颜色特征如CIELAB色彩空间的S-CIELAB、CIELAB94,CIELAB2000等，结合本发明的框架都可以达到对车辆颜色进行分类的目的。

本步骤中，首先，对车辆模板进行白平衡校正。将图像由RGB色彩空间转换到YCbCr空间，其中的Y分量表示图像的亮度，Cb表示色度的蓝色分量，Cr分量表示色度的红色分量，代表图像的色差。判断像素是否为白色或近白色的约束条件为：

式中为判断阈值，可根据实际需要对其进行调节，从而对白平衡校正的程度进行调节，本实施例中取值130。

根据约束条件统计整幅图像的色温如下式所示：

$\stackrel{\‾}{Y}=\frac{{\mathrm{\Σ}}_{(x,y)\∈\mathrm{\θ}}{Y}_{(x,y)}}{{\mathrm{\Σ}}_{(x,y)\∈\mathrm{\θ}}1}---\left(2\right)$

$\stackrel{\‾}{\mathrm{Cb}}=\frac{{\mathrm{\Σ}}_{(x,y)\∈\mathrm{\θ}}{\mathrm{Cb}}_{(x,y)}}{{\mathrm{\Σ}}_{(x,y)\∈\mathrm{\θ}}1},\stackrel{\‾}{\mathrm{Cr}}=\frac{{\mathrm{\Σ}}_{(x,y)\∈\mathrm{\θ}}{\mathrm{Cr}}_{(x,y)}}{{\mathrm{\Σ}}_{(x,y)\∈\mathrm{\θ}}1}---\left(3\right)$

其中，Y_(x，y)为(x，y)处像素的Y通道分量，θ为根据约束条件判断的所有白点或近白点的集合，

为整幅图像的亮度均值。同理，式(3)中,Cb(x，y)表示（x，y）处色度的蓝色分量，Cr(x，y)表示（x，y）处色度的红色分量；Cb(x，y)和Cr(x，y)用来计算图像的蓝色色差均值

和红色色差均值

如前所述，白平衡调节就是将整幅图像的色差均值

和

调整为0（或近似为0）。

本实施例中，采用迭代的方法来实现白平衡调整，并按下面的方法计算每次迭代的增益。

$\mathrm{\μ}=\left\{\begin{array}{cc}\mathrm{\λ}\stackrel{\‾}{\mathrm{Cb}}& \stackrel{\‾}{\mathrm{Cb}}>\stackrel{\‾}{\mathrm{Cr}}\\ \mathrm{\λ}\stackrel{\‾}{\mathrm{Cr}}& \stackrel{\‾}{\mathrm{Cb}}\≤\stackrel{\‾}{\mathrm{Cr}}\end{array}\right.---\left(4\right)$

式中μ为增益，λ为计算增益的系数，取值较小时能平滑的实现白平衡的校正，但需要多次迭代和较多的计算时间，本实施例中λ为0.25。

色温校正过程如下式所示：

$\left\{\begin{array}{c}Y(x,y)=Y(x,y)\\ \mathrm{Cb}(x,y)=\mathrm{Cb}(x,y)-\mathrm{\μ}\\ \mathrm{Cr}(x,y)=\mathrm{Cr}(x,y)-\mathrm{\μ}\end{array}\right.---\left(5\right)$

$\left|\stackrel{\&OverBar;}{\mathrm{Cb}}\right|+\left|\stackrel{\&OverBar;}{\mathrm{Cr}}\right|<\mathrm{\&gamma;}---\left(6\right)$

(5)式中Cb(x,y)为像素(x,y)处的蓝色色差,Cr(x,y)为像素(x,y)处的红色色差，γ为既定的阈值。完成所有像素的色差校正后，根据式(3)重新计算图像的红色色差和蓝色色差，并按照计算结果根据式(6)决定是否执行下一次迭代。如将计算结果代入式(6)，当蓝色色差与红色色差的绝对值的和小于既定的阈值γ时，停止迭代。本发实施例中的该阈值γ取值2。经过白平衡校正，使采集的视频帧的色彩偏差大大降低，得到了色彩校正后车辆模板。

然后，提取校正后车辆模板的HSV36特征。对应36种不同的颜色将HSV空间分为不均等的36个区间，统计一幅图像中各种颜色的像素数，并除以图像总像素数，得到各种颜色所占的百分比，即36维的直方图特征。

提取校正后车辆模板的HSV36特征时，需计算HSV36特征的差异。本实施例中采用计算欧式距离的方法来比较差异。首先将图像从RGB色彩空间转换到HSV色彩空间，然后按下面的步骤计算HSV36特征值l，l∈[0,36)。统计图像中所有像素点的l值，可得到整幅图像的HSV36特征向量。

情况一、若v∈[0,0.2)，该像素为黑色，l＝0；

情况二、若s∈[0,0.2)且v∈[0.2,0.8)，该像素为灰色，l＝[(v-0.2)×10]+1；

情况三、若s∈[0,0.2)且v∈[08,1.0]，该像素为白色，l=7；

情况四、若s∈[0.2,1.0]且v∈[0.2,1.0]，该像素为彩色，l＝4h+2s+v+8，

其中，

其中，h表示色度值、s表示饱和度值、v表示亮度值。

d)数据处理单元对预定的各颜色建立所述车辆模板的HSV36特征的特征模板，并将形成的特征模板库存储于第一存储单元中。

本实施例中使用表结构，由于本实施例中对应了7种颜色，故分别建立7张表。每个表的列表示HSV空间的不均等的36个区间，即36列；行表示某一颜色模板库中车辆样本的个数。上述表结构可以存储于内存中的第一存储单元中。

在建立了车辆的特征模板库后，便可以开始对视频数据中车辆颜色的识别，如图1所示，识别方法如下。

首先，由检测单元对视频数据进行运动检测，对车辆区域进行粗定位。

本实施例是利用区域分割的方法在剩余的4段视频中获取视频帧中的运动目标，该运动目标即为车辆。

接着，由计算单元在粗定位的基础上对车辆区域进行二次精确定位。

由于阴影等环境因素的干扰，运动检测的结果通常比车辆的实际区域要大。导致现场采集的样本与模板库中样本差异较大，若直接用车辆检测的结果与模板进行匹配，会影响颜色识别的正确率。由此可见，车辆定位的精度直接影响到车辆颜色识别的正确率，因此有必要对车辆检测的结果进行二次精确定位。由于车辆通常占据了靠近区域中心的较大面积，且绝大部分车辆都是单一色彩。因此，本实施例根据检测区域中主要的色彩分布，以及各种颜色分布与区域中心的距离来判断车辆的具体位置。

由于RGB色彩空间不具有视觉差异一致性，故在本实施例中将区域图像转换到HSV色彩空间进行处理。首先找出所有彩色像素点，当像素点的S通道值大于0.2时可认为是彩色点。然后统计图像中的彩色信息直方图，可根据H通道值来判断像素是否属于同一种颜色。将H通道等分为10个区间，并统计各个区间中色彩像素点所占整幅图像的比例，比例越大说明车辆是该颜色的可能性越高。同时统计每个区间中像素点与区域中心的平均距离，较大的平均距离意味着该点可能是来自区域边缘的干扰。

通过上述两个步骤可判断出区域中的主要色彩区域，该色彩应该同时满足较高的色彩分布比值与较低的中心距离。计算方法如下：

φ＝{(x，y)|h(x，y)∈H_i∩s(x，y)＞0.2}            (8)

${\mathrm{\&rho;}}_i=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&phi;}}\sqrt{{(x-M/2)}^2+{(y-N/2)}^2}}{{\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&phi;}}1}---\left(9\right)$

${\mathrm{\&eta;}}_i=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&phi;}}1}{\mathrm{MN}}---\left(10\right)$

${\mathrm{\&omega;}}_i=\frac{{\mathrm{\&eta;}}_i}{{\mathrm{\&rho;}}_i}=\frac{{\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&phi;}}1\right)}^2}{\mathrm{MN}{\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&phi;}}\sqrt{{(x-M/2)}^2+{(y-N/2)}^2}}---\left(11\right)$

ψ＝max(ω₁，…，ω_i，…，ω₁₀)                 (12)

式中ρ_i为第i个H区间中像素点的平均距离。h(x，y)∈H_i∩s(x，y)＞0.2表示(x,y)像素点的h值属于第i个H区间的彩色点，φ为这些点的集合。M、N分别为图像的宽度和高度。η_i为第i个H区间中彩色像素数所占的比例。ω_i为判断第i个H区间中颜色是否为主要车辆颜色的指标。ψ为检测出的主要车辆颜色的H区间，根据ψ可滤除非车辆颜色的彩色像素点。

然后，由计算单元对二次精确定位后的车辆区域进行白平衡校正，提取车辆区域的HSV36特征，并将所得到的待识别车辆区域的HSV36特征存储于内存中的第二存储单元。过程与建立车辆的特征模板库的步骤c)相似，不再赘述。

最后，由比较单元对存储于第二存储单元中的待识别车辆区域的HSV36特征与存储于第一存储单元中的特征模板库中的车辆模板的HSV36特征进行比对，对车辆颜色进行识别，通过计算样本与模板库中各特征的欧式距离来寻找最相似的颜色，并统计正确率。

本发明实施例还提供了一种车辆颜色识别装置，包括如下模块：

检测单元，对输入的视频数据进行运动检测，对车辆区域进行首次粗定位。

计算单元，在首次定位的基础上对车辆区域进行二次精确定位；并对二次精确定位后的车辆区域进行白平衡校正，提取所述二次精确定位后的车辆区域的颜色特征。

比较单元，将提取的颜色特征与建立的特征模板库中的颜色特征进行比对，对车辆颜色进行识别。

本实施例中参与建立车辆的特征模板库的车辆总个数为1516辆，利用本实施例的方法参与颜色检测识别测试的车辆总个数为1042辆。实验结果如表2所示。为了更直观的显示，由图3表示各种颜色车辆的识别正确率。

表2.实验结果

由表2和图3的实验数据可知，经过车辆的二次精确定位，定位后的各种颜色的识别正确率大于定位前的各种颜色的识别正确率。各种颜色的识别正确率都有所提高，证明了车辆定位在颜色识别中的有效性。色彩单一的车辆识别正确率比较高，如黑色、白色和黄色的识别正确率均超过了90%。识别率最低的是混合色的车辆，正确率仅为74.7%，低于车辆精确定位之前的颜色识别率。原因是本发明的车辆精确定位方法检测出的是车辆的主要色彩所占的区域，识别的结果通常是该车的主要颜色。实验结果证明了本发明提出的车辆颜色识别方法及装置的有效性和鲁棒性。

本方法基于色彩分布，对于色彩鲜艳的车辆，能准确的找出区域中车辆的位置，提高车辆定位的精度和颜色识别的正确率。黑色和白色车辆缺少色彩信息，可与彩色车辆分开后单独进行处理；通过区域中彩色像素所占的比例可检测出这两种颜色的车辆，然后对整个检测区域进行颜色识别，实验证明对最终的颜色识别结果没有太大的影响。对于混合色的车辆，该定位方法通常会检测出其中主要色彩区域，识别的结果为车辆的某一主要颜色的色彩类别。

本发明将运动检测与模式识别技术相结合，采用一种新的车辆检测与颜色识别技术，把运动中的车辆检测出来，并识别出车辆的颜色。根据本方法可对录制的视频进行处理，也可用于监控系统中视频的实时处理。

Claims (5)

1.一种车辆颜色识别方法，其特征在于，包括：

步骤（1），检测单元对输入的视频数据进行运动检测，根据检测结果对视频数据中的车辆区域进行首次粗定位；

步骤（2），计算单元，根据各种颜色分布与粗定位得到的车辆区域中心的距离，以及首次粗定位得到的车辆区域中的色彩分布来对粗定位得到的车辆区域进行二次精确定位；

步骤（3），计算单元对所述二次精确定位后的车辆区域进行白平衡校正，提取所述校正后的车辆区域的颜色特征；

步骤（4），比较单元将提取的颜色特征与建立的特征模板库中的颜色特征进行比对，对所述车辆颜色进行识别，其中所述特征模板库的建立包括：

步骤A：数据处理单元对通过图像采集装置采集的视频数据进行标定，提取出现车辆的主体区域作为车辆模板；

步骤B：数据处理单元按预定的颜色对所述车辆模板进行分类；

步骤C：计算单元对所述分类后的车辆模板进行白平衡校正，并提取校正后所述车辆模板的颜色特征；

步骤D：数据处理单元对预定的颜色建立所述车辆模板的颜色特征的特征模板。

2.如权利要求1所述的车辆颜色识别方法，其特征在于，所述颜色特征为36维的HSV空间直方图特征。

3.如权利要求1所述的车辆颜色识别方法，其特征在于，计算单元采用迭代的方法进行白平衡校正。

4.如权利要求1所述的车辆颜色识别方法，其特征在于，所述步骤（1）中运动检测时，采用区域分割的方法获取所述视频数据中的车辆区域。

5.一种车辆颜色识别装置，其特征在于，包括：

检测单元，用于对输入的视频数据进行运动检测，根据检测结果对车辆区域进行首次粗定位；

计算单元，计算首次粗定位得到的车辆区域中主要的色彩分布、各种颜色分布与粗定位得到的车辆区域中心的距离，来对粗定位得到的车辆区域进行二次精确定位；并对所述二次精确定位后的车辆区域进行白平衡校正，提取所述校正后的车辆区域的颜色特征；

比较单元，比较单元将提取的颜色特征与建立的特征模板库中的颜色特征进行比对，对所述车辆颜色进行识别；

其中比较单元还包括：

数据处理单元一，对通过图像采集装置采集的视频数据进行标定，提取出现车辆的主体区域作为车辆模板；按预定的颜色对所述车辆模板进行分类；

计算子单元，对所述分类后的车辆模板进行白平衡校正，并提取校正后所述车辆模板的颜色特征；

数据处理单元二，对预定的颜色建立所述车辆模板的颜色特征的特征模板，以形成特征模版库。

Images