CN107729812B - 一种适用于监控场景中的车辆颜色识别的方法 - Google Patents

Abstract

本发明提供了一种适用于监控场景中的车辆颜色识别方法，其主要包含了基于颜色相似性聚类的分割方法、词袋模型与HSV空间相结合形成车辆颜色特征向量的方法。首先对车辆图片进行尺寸归一化处理，利用边缘检测的方法消除玻璃窗对车身颜色特征提取的干扰，然后利用颜色相似性聚类的方法将车身部分分成多个颜色信息相差较大的像素块，对像素块中的像素个数进行归一化得到该像素块的第一个权重，利用基于欧式距离的模型为该像素块分配第二个权重。抽取各种颜色的车辆图片，利用k‑means聚类的方法生成一个特征表作为码本，利用词袋模型得出每一幅图片的颜色特征向量。最后利用分类器将该车辆的颜色分类出来。本发明具有准确率高、鲁棒性好、实用性高的优点。

Description

一种适用于监控场景中的车辆颜色识别的方法

技术领域

本发明属于图像处理领域，是对监控视频中的车辆，基于颜色相似性分割的车辆颜色识别方法。

背景技术

随着时代的进步和经济的飞速发展，城市中车辆的数量日益增加，交通管理变得越来越困难，虽然现在有很多车辆管理系统，但是大多数只是利用车牌来对车辆进行管理，这样一旦出现车牌被遮挡、车辆套牌或者一车多牌的现象，车牌就无法作为车辆的特征，因此仅仅靠车牌对车辆进行识别不能够满足现在的需求。颜色特征作为车辆特征有不易短时间更换，容易引起人们注意的优点，这样可以弥补车牌识别的不足之处，大幅度提高交通车辆管理的智慧化程度，成为智能交通系统中的重要辅助手段。

目前，对车辆颜色识别的方法主要有两类：第一类是局部区域识别，首先利用车牌定位来找到一个能代表车身颜色的特征区域，然后对该特征区域进行识别。第二类是整体识别，这种方法是将整个图片作为车辆颜色识别区域。第一类方法和第二类方法主要涉及到的方法有K最邻近法、人工神经网络等方法。第一类方法主要是将车辆颜色识别的问题转化为车牌定位的问题，其特征区域选取的好坏直接取决于车牌定位的好坏，而且该方法比较适用于车辆由远向近行驶的情况，对于倾斜的车子车牌就很难定位准确，所以在监控视频中适用的范围有限。第二类方法目前存在的问题主要是：1.如何去除背景干扰；2.非车身部分的颜色对车辆颜色识别的影响；3.如何选取特征来表示整个车辆图像的颜色特征。针对这三个问题，我们提出了一种在监控视频中多视角的车辆颜色识别的方法。该方法对车辆颜色的分类的准确率有一定的提高。

发明内容

一种适用于监控场景中的车辆颜色识别的方法，实现步骤如下：

S1、建立清晰车辆图像样本库，将三成的样本作为测试集，七成的样本作为训练集，将训练样本分成8类颜色，分别为黑色(black)、白色(white)、灰色(grey)、红色(red)、蓝色(blue)、绿色(green)、黄色(yellow)和浅蓝色(cyan)；

S2、输入要识别的车辆图片，先对原图像进行尺寸归一化和对比度增强操作，将车辆图片分成两大类，一类为正对着摄像头的车辆，另一类为斜对着摄像头的车辆，根据车辆相对于摄像头的位置来选择去除前后挡风玻璃、侧面车窗和背景的方法，然后利用边缘检测的方法对图像边缘进行检测，如果车辆正对摄像头则利用水平Sobel算子进行检测，如果车辆斜对摄像头则利用倾斜Sobel算子进行检测；

S3、在Lab颜色空间中用颜色相似性聚类的方法对已去除前后挡风玻璃和侧面车窗的车辆图片进行分割，将图片分割成多个颜色信息相差较大的像素块，而每个相素块内的像素值都是相似的；

S4、对每个像素块在HSV颜色空间中进行奇异值SVD分解，得到对角矩阵中对角元素最大的行所对应的HSV值，将该HSV值作为该像素块的HSV标签值；

S5、为每个像素块分配权重，首先将一幅图片的像素块中像素的个数进行归一化处理，将归一化的值作为每个像素块的第一个权重值，分别对已去除前后挡风玻璃和侧面车窗图片的两个部分建立基于欧式距离的权重分配模型，以此得到像素块的第二个权重值；

S6、随机挑选N幅图片，分别对这N幅图片进行S3步骤的分割得到M个像素块，将M个像素块利用S4步骤的HSV标签值表示，利用k-means算法将分割的块进行聚类，得到K个聚类中心，以这K个中心为码本，得到每个图片的K维的直方图特征向量，利用SVM分类器进行分类。

所述步骤S1，其具体为：

人工选取车身部分的一个区域，求选取的区域中的所有像素在HSV空间域中的均值，利用预先设定的HSV空间阈值对该均值进行判断，具体如下：

根据公式(1)计算出选取的区域HSV的均值，利用公式(2)得到该车辆的颜色类别，其中集合B为

{black，white，grey，red，yellow，green，blue，cyan}八种颜色的标签。

所述步骤S2中前后挡风玻璃和侧面车窗及背景的去除，其具体为：

S21、对要识别的车辆图片进行尺寸归一化处理；

S22、对车辆图片进行对比度增强操作：

其中f_c是输入图片，

是输出图片，[x₁,x₂]是输入的像素变化范围，[y₁,y₂]是输出像素的变化范围；

S23、利用形态学运算先初步将背景和车子分离；

S24、对已去除背景、尺寸归一化和对比度增强的目标车辆图像，根据车辆相对于摄像头的位置来确定进行边缘检测的方法，本方法将车辆的位置分为两种，一种为正对摄像头、另一种为斜对摄像头，如果车辆位置为正对摄像头，则对车辆图片采用水平Sobel算子边缘检测，如果车辆位置为斜对摄像头，则对车辆图片采用斜对角Sobel算子边缘检测；

S25、对这幅图片进行扫描，根据已检测边缘的车辆图片的位置情况分两种情况，如果是第一种位置则找到水平线最长的两根线，分别为前挡风玻璃的上边界线和下边界线；如果是第二种位置则找到四条斜边界线，分别为前后挡风玻璃和侧面车窗的上边界线和下边界线，根据这几条边界线的位置确定出前后挡风玻璃和侧面车窗的位置，以此来达到去除前后挡风玻璃和侧面车窗的目的；

所述步骤S3中相似性颜色聚合的方法，其具体为：

S31、将图像从RGB颜色空间转换到Lab颜色空间，将每个像素的(L,a,b)颜色值和(x,y)坐标组成一个5维向量(L,a,b,x,y)；

S32、设生成的像素块数目为k，对拥有N个像素点的图像每隔

个像素取一个聚类中心，共生成k个聚类中心，为了避免所选的聚类中心是边缘和噪声这样的不合理点，我们在3×3的窗口中将聚类中心移动到梯度最小的区域；

S33、以每个聚类中心的周围2Δ×2Δ为搜索空间，为其选择

个与中心最接近的点即为属于该搜索中心的类的点，第i个像素点(L_i,a_i,b_i,x_i,y_i)到中心(L_k,a_k,b_k,x_k,y_k)的欧式距离公式如下：

其中为了避免图片尺寸对D_Δ的影响过大，所以对(x,y)进行了归一化处理；m是用来调整d_xy的权值；

S34、当所有的像素点都归类完毕后，利用公式(7)计算K个像素块的所有像素点的平均向量值：

将该平均向量值

作为新的聚类中心，然后以这新的K个点为中心在2Δ×2Δ的空间中进行搜索，归类完毕后更新聚类中心，再次迭代直至收敛；

所述步骤S4中SVD求取的方法，其具体为：

S41、将每个像素块用一个n×3的矩阵A表示，其中n为该像素块的像素点的个数，每一行对应为该像素点的H、S、V的值，然后利用SVD分解可以将矩阵A分解成如下形式：

A＝U×∑×W^T (8)

其中U是一个n×r的矩阵，Σ是一个r×r的对角方阵(r≤n)，除对角元素外其它均为0，W^T是一个r×3的矩阵，选取Σ中对角元素最大的值所在行(Line)，然后在W^T矩阵中选取该行(Line)对应的三个值作为该像素块的HSV标签值。

根据前面所述的监控视频中基于颜色相似性聚类分割方法的车辆颜色识别方法，其特征在于，所述步骤S5中权重分配的方法，其具体为：

S51、设图像被分为M个像素块，第i个像素块中像素点的个数可以表示为num_i，即该图像的每个像素块像素点个数可以用集合E＝{num₁,num₂,……,num_M}来表示，利用公式(9)对num_i进行归一化：

得到归一化的像素点个数

即为该像素块的第一个权重值；

S52、将去除前后挡风玻璃和侧面车窗后车辆图像后的两个部分设为p₁和p₂，将p₁和p₂的中心像素块的中心坐标设为(x₁,y₁)和(x₂,y₂)，利用公式(10)计算p₁和p₂中每个像素块的中心坐标(x_i,y_i)到各自中心坐标的距离：

其中w_i即为第二个权重值。

所述步骤S6中每个图像的特征求取的方法，其具体为：

S61、随机挑选N个图片，分别对这N个图片进行S3步骤的分割得到M个像素块将M个像素块的HSV标签值表示为集合I为{x₁,x₂,……x_M}，其中x_i为向量(H_i,S_i,V_i)；

S62、利用k-means算法将集合I聚类，首先随机选取K个聚类中心，中心质点记为{μ₁,μ₂,……,μ_K}，对集合I中的M个元素利用公式(11)计算其应该属于的类：

对于每一个类j，重新计算该类的质心：

重复上面的过程直至收敛，得到K个聚类中心

S63、以这K个中心为

码本，得到每个图像的K维的直方图特征向量{n₁,n₂,……,n_K}，利用SVM分类器进行分类。

有益效果

1.本专利提出的方法是针对整个车辆图片进行的特征提取方法，所以提取的区域信息要比先定位车牌再提取颜色区域的方法更稳定。

2.相对于那些仅仅利用颜色空间信息根据距离值来判断车辆颜色的方法，该方法利用了添加了两个权重值并利用机器学习的方法，鲁棒性更高，准确率更高。

3.本方法的添加了对斜对着摄像头的车辆进行颜色识别的方法，比仅仅只识别正对摄像头的颜色识别方法应对的情况更复杂。

附图说明

图1为监控视频中车辆颜色识别流程图。

具体实施方式

以下结合附图进一步说明本发明技术方案。图1为监控视频中车辆颜色识别流程图。

方案如下：

S1、建立清晰车辆图像样本库，将三成的样本作为测试集，七成的样本作为训练集，将训练样本分成8类颜色，分别为黑色(black)、白色(white)、灰色(grey)、红色(red)、蓝色(blue)、绿色(green)、黄色(yellow)和浅蓝色(cyan)；

S2、输入要识别的车辆图片，先对原图像进行尺寸归一化和对比度增强操作，将车辆图片分成两大类，一类为正对着摄像头的车辆，另一类为斜对着摄像头的车辆，根据车辆相对于摄像头的位置来选择去除前后挡风玻璃、侧面车窗和背景的方法，然后利用边缘检测的方法对图像边缘进行检测，如果车辆正对摄像头则利用水平Sobel算子进行检测，如果车辆斜对摄像头则利用倾斜Sobel算子进行检测；

S3、在Lab颜色空间中用颜色相似性聚类的方法对已去除前后挡风玻璃和侧面车窗的车辆图片进行分割，将图片分割成多个颜色信息相差较大的像素块，而每个相素块内的像素值都是相似的；

S4、对每个像素块在HSV颜色空间中进行奇异值SVD分解，得到对角矩阵中对角元素最大的行所对应的HSV值，将该HSV值作为该像素块的HSV标签值；

S5、为每个像素块分配权重，首先将一幅图片的像素块中像素的个数进行归一化处理，将归一化的值作为每个像素块的第一个权重值，分别对已去除前后挡风玻璃和侧面车窗图片的两个部分建立基于欧式距离的权重分配模型，以此得到像素块的第二个权重值；

S6、随机挑选N幅图片，分别对这N幅图片进行S3步骤的分割得到M个像素块，将M个像素块利用S4步骤的HSV标签值表示，利用k-means算法将分割的块进行聚类，得到K个聚类中心，以这K个中心为码本，得到每个图片的K维的直方图特征向量，利用SVM分类器进行分类。

所述步骤S1中的方法，其具体为：

人工选取车身部分的一个区域，求选取的区域中的所有像素在HSV空间域中的均值，利用预先设定的HSV空间阈值对该均值进行判断，具体如下：

根据公式(13)计算出选取的区域HSV的均值，利用公式(14)得到该车辆的颜色类别，其中集合B为

{black，white，grey，red，yellow，green，blue，cyan}八种颜色的标签。

所述步骤S2中的方法，其具体为：

S21、对要识别的车辆图片进行尺寸归一化处理，将所有的图片尺寸归一为300×300的图像；

S22、对车辆图片进行对比度增强操作：

其中f_c是输入图片，

是输出图片，[x₁,x₂]是输入的像素变化范围，[y₁,y₂]是输出像素的变化范围；

S23、利用形态学运算先初步将背景和车子分离；

S24、对已尺寸归一化和对比度增强的目标车辆图像，根据车辆相对于摄像头的位置来确定进行边缘检测的方法，本方法将车辆的位置分为两种，一种为正对摄像头、另一种为斜对摄像头、如果车辆位置为正对摄像头，则对车辆图片采用水平Sobel算子边缘检测，如果车辆位置为斜对摄像头，则对车辆图片采用斜对角Sobel算子边缘检测；

S25、根据已检测边缘的车辆图片的位置情况分两种情况，如果是第一种位置则找到水平线最长的两根线，分别为前挡风玻璃的上边界线和下边界线；如果是第二种位置则找到四条斜边界线，分别为前后挡风玻璃和侧面车窗的上边界线和下边界线，根据这几条边界线的位置确定出前后挡风玻璃和侧面车窗的位置，以此来达到去除前后挡风玻璃和侧面车窗的目的；

所述步骤S3中颜色相似性聚合的方法，其具体为：

S31、将图像从RGB颜色空间转换到Lab颜色空间，将每个像素的(L,a,b)颜色值和(x,y)坐标组成一个5维向量(L,a,b,x,y)；

S32、设生成的像素块数目为k＝255，对拥有N＝90000个像素点的图像每隔

个像素取一个聚类中心，共生成k个聚类中心，为了避免所选的聚类中心是边缘和噪声这样的不合理点，我们在3×3的窗口中将聚类中心移动到梯度最小的区域；

S33、以每个聚类中心的周围2Δ×2Δ＝40×40为搜索空间，为其选择

个与中心最接近的点即为属于该搜索中心的类的点，第i个像素点(L_i,a_i,b_i,x_i,y_i)到中心(L_k,a_k,b_k,x_k,y_k)的欧式距离公式如下：

其中为了避免图片尺寸对D_Δ的影响过大，所以对(x,y)进行了归一化处理；m是用来调整d_xy的权值，一般为10；

S34、当所有的像素点都归类完毕后，利用公式(19)计算K个像素块的所有像素点的平均向量值：

将该平均向量值

作为新的聚类中心，然后以这新的K个点为中心在2Δ×2Δ的空间中进行搜索，归类完毕后更新聚类中心，再次迭代直至收敛；

所述步骤S5中权重分配的方法，其具体为：

S51、将每个像素块用一个n×3的矩阵A表示，其中n为该像素块的像素点的个数，每一行对应为该像素点的H、S、V的值，然后利用SVD分解可以将矩阵A分解成如下形式：

A＝U×∑×W^T (20)其中U是一个n×r的矩阵，Σ是一个r×r的对角方阵(r≤n)，除对角元素外其它均为0，W^T是一个r×3的矩阵。选取Σ中对角元素最大的值所在行(Line)，然后在W^T矩阵中选取该行(Line)对应的三个值作为该像素块的HSV标签值。

所述步骤S5中权重分配的方法，其具体为：

S51、设图像被分为M个像素块，第i个像素块中像素点的个数可以表示为num_i，即该图像的每个像素块像素点个数可以用集合E＝{num₁,num₂,……,num_M}来表示，利用公式(19)对num_i进行归一化：

得到归一化的像素点个数

即为该像素块的第一个权重值；

S52、将去除前后挡风玻璃和侧面车窗后车辆图像后的两个部分设为p₁和p₂，将p₁和p₂的中心像素块的中心坐标设为(x₁,y₁)和(x₂,y₂)，利用公式(22)计算p₁和p₂中每个像素块的中心坐标(x_i,y_i)到各自中心坐标的距离：

其中w_i即为第二个权重值。

所述步骤S6中每个图像的特征求取的方法，其具体为：

S61、随机挑选N＝1000个图片，分别对这N个图片进行S3步骤的分割得到M个像素块将M个像素块的HSV标签值表示为集合I为{x₁,x₂,……x_M}，其中x_i为向量(H_i,S_i,V_i)；

S62、利用k-means算法将集合I聚类，首先随机选取K＝2000个聚类中心，中心质点记为{μ₁,μ₂,……,μ_K}，对集合I中的M个元素利用公式(23)计算其应该属于的类：

对于每一个类j，重新计算该类的质心：

重复上面的过程直至收敛，得到K个聚类中心

S63、以这K个中心为

码本，得到每个图像的K维的直方图特征向量{n₁,n₂,……,n_K}，利用SVM分类器进行分类。

Claims (7)

1.一种适用于监控场景中的车辆颜色识别的方法，其特征在于，实现步骤如下：

S1、建立清晰车辆图像样本库，将三成的样本作为测试集，七成的样本作为训练集，将训练样本分成8类颜色，分别为黑色black、白色white、灰色grey、红色red、蓝色blue、绿色green、黄色yellow和浅蓝色cyan；

S2、输入要识别的车辆图片，先对原图像进行尺寸归一化和对比度增强操作，将车辆图片分成两大类，一类为正对着摄像头的车辆，另一类为斜对着摄像头的车辆，根据车辆相对于摄像头的位置来选择去除前后挡风玻璃、侧面车窗和背景的方法，然后利用边缘检测的方法对图像边缘进行检测，如果车辆正对摄像头则利用水平Sobel算子进行检测，如果车辆斜对摄像头则利用倾斜Sobel算子进行检测；

S3、在Lab颜色空间中用颜色相似性聚类的方法对已去除前后挡风玻璃和侧面车窗的车辆图片进行分割，将图片分割成多个颜色信息相差较大的像素块，而每个相素块内的像素值都是相似的；

S4、对每个像素块在HSV颜色空间中进行奇异值SVD分解，得到对角矩阵中对角元素最大的值所在行的HSV值，将该HSV值作为该像素块的HSV标签值；

S5、为每个像素块分配权重，首先将一幅图片的像素块中像素的个数进行归一化处理，将归一化的值作为每个像素块的第一个权重值，分别对已去除前后挡风玻璃和侧面车窗图片的两个部分建立基于欧式距离的权重分配模型，以此得到像素块的第二个权重值；

S6、随机挑选N幅图片，分别对这N幅图片进行S3步骤的分割得到M个像素块，将M个像素块利用S4步骤的HSV标签值表示，利用k-means算法将分割的块进行聚类，得到K个聚类中心，以这K个中心为码本，得到每个图片的K维的直方图特征向量，利用SVM分类器进行分类。

2.如权利要求1所述的方法，其特征在于，所述步骤S1中，具体为：

人工选取车身部分的一个区域，求选取的区域中的所有像素在HSV空间域中的均值，利用预先设定的HSV空间阈值对该均值进行判断，具体如下：

根据公式(25)计算出选取的区域HSV的均值，利用公式(26)得到该车辆的颜色类别，其中集合B为{black，white，grey，red，yellow，green，blue，cyan}八种颜色的标签。

3.如权利要求1所述的方法，其特征在于，所述步骤S2中前后挡风玻璃和侧面车窗及背景的去除，具体为：

S21、对要识别的车辆图片进行尺寸归一化处理；

S22、对车辆图片进行对比度增强操作：

其中f_c是输入图片，

是输出图片，[x₁,x₂]是输入的像素变化范围，[y₁,y₂]是输出像素的变化范围；

S23、利用形态学运算先初步将背景和车子分离；

S24、对已去除背景、尺寸归一化和对比度增强的目标车辆图像，根据车辆相对于摄像头的位置来确定进行边缘检测的方法，本方法将车辆的位置分为两种，一种为正对摄像头、另一种为斜对摄像头，如果车辆位置为正对摄像头，则对车辆图片采用水平Sobel算子边缘检测，如果车辆位置为斜对摄像头，则对车辆图片采用斜对角Sobel算子边缘检测；

S25、对这幅图片进行扫描，根据已检测边缘的车辆图片的位置情况分两种情况，如果是第一种位置则找到水平线最长的两根线，分别为前挡风玻璃的上边界线和下边界线；如果是第二种位置则找到四条斜边界线，分别为前后挡风玻璃和侧面车窗的上边界线和下边界线，根据这几条边界线的位置确定出前后挡风玻璃和侧面车窗的位置，以此来达到去除前后挡风玻璃和侧面车窗的目的。

4.如权利要求1所述的方法，其特征在于，所述步骤S3中相似性颜色聚合的方法，具体为：

S31、将图像从RGB颜色空间转换到Lab颜色空间，将每个像素的(L,a,b)颜色值和(x,y)坐标组成一个5维向量(L,a,b,x,y)；

S32、设生成的像素块数目为k，对拥有N个像素点的图像每隔

个像素取一个聚类中心，共生成k个聚类中心，为了避免所选的聚类中心是边缘和噪声这样的不合理点，我们在3×3的窗口中将聚类中心移动到梯度最小的区域；

S33、以每个聚类中心的周围2Δ×2Δ为搜索空间，为其选择

个与中心最接近的点即为属于该搜索中心的类的点，第i个像素点(L_i,a_i,b_i,x_i,y_i)到中心(L_k,a_k,b_k,x_k,y_k)的欧式距离公式如下：

其中为了避免图片尺寸对D_Δ的影响过大，所以对(x,y)进行了归一化处理；m是用来调整d_xy的权值；

S34、当所有的像素点都归类完毕后，利用公式(31)计算K个像素块的所有像素点的平均向量值：

将该平均向量值

作为新的聚类中心，然后以这新的K个点为中心在2Δ×2Δ的空间中进行搜索，归类完毕后更新聚类中心，再次迭代直至收敛。

5.如权利要求1所述的方法，其特征在于，所述步骤S4中SVD求取的方法，具体为：

S41、将每个像素块用一个n×3的矩阵A表示，其中n为该像素块的像素点的个数，每一行对应为该像素点的H、S、V的值，然后利用SVD分解可以将矩阵A分解成如下形式：

A＝U×∑×W^T (32)

其中U是一个n×r的矩阵，Σ是一个r×r的对角方阵， r≤n，除对角元素外其它均为0，W^T是一个r×3的矩阵， 选取Σ中对角元素最大的值所在行(Line)，然后在W^T矩阵中选取该行(Line)对应的三个值作为该像素块的HSV标签值。

6.如权利要求1所述的方法，其特征在于，所述步骤S5中权重分配的方法，具体为：

S51、设图像被分为M个像素块，第i个像素块中像素点的个数可以表示为num_i，即该图像的每个像素块像素点个数可以用集合E＝{num₁,num₂,……,num_M}来表示，利用公式(33)对num_i进行归一化：

得到归一化的像素点个数

即为该像素块的第一个权重值；

S52、将去除前后挡风玻璃和侧面车窗后车辆图像后的两个部分设为p₁和p₂，将p₁和p₂的中心像素块的中心坐标设为(x₁,y₁)和(x₂,y₂)，利用公式(34)计算p₁和p₂中每个像素块的中心坐标(x_i,y_i)到各自中心坐标的距离：

其中w_i即为第二个权重值。

7.如权利要求1所述的方法，其特征在于，所述步骤S6中每个图像的特征求取的方法，具体为：

S61、随机挑选N个图片，分别对这N个图片进行S3步骤的分割得到M个像素块将M个像素块的HSV标签值表示为集合I为{x₁,x₂,……x_M}，其中x_i为向量(H_i,S_i,V_i)；

S62、利用k-means算法将集合I聚类，首先随机选取K个聚类中心，中心质点记为{μ₁,μ₂,……,μ_K}，对集合I中的M个元素利用公式(35)计算其应该属于的类：

对于每一个类j，重新计算该类的质心：

重复上面的过程直至收敛，得到K个聚类中心

S63、以这K个中心为

码本，得到每个图像的K维的直方图特征向量{n₁,n₂,……,n_K}，利用SVM分类器进行分类。

Images