CN105184299A - 基于局部约束线性编码的车身颜色识别方法 - Google Patents

Abstract

本发明提供一种基于局部约束线性编码的车身颜色识别方法。本发明方法能够对交通车辆视频和图像进行智能化处理，实现车身颜色的自动识别，包括车身颜色词袋模型、局部约束编码LLC、车身颜色识别三个主要步骤。首先通过车辆检测算法提取出车辆，量化为固定尺度；采用词袋模型对车辆进行深度采样，将车辆分成相互重叠的矩形块，对每一小块分别提取颜色直方图特征；对不同颜色、不同外部环境车辆特征进行K-means聚类生成固定长度码本；依据码本，将车辆特征进行局部约束编码映射到高维空间；利用线性SVM进行训练和识别。本发明识别过程简洁，并且识别准确率高。

Description

基于局部约束线性编码的车身颜色识别方法

技术领域

本发明属于数字图像处理技术，特别涉及计算机视觉识别技术。

背景技术

因此在智能交通系统中，在对车牌进行识别的同时，还需要车辆的其他辅助信息，如车身颜色，车型，车标等。

目前关于车身颜色识别的研究相对较少，技术尚不成熟，其识别准确率远不如车牌识别。影响识别率的主要原因：

1、车身颜色易受光照、雾霾、不同天气等外界噪声的干扰而产生颜色失真；

2、车辆颜色复杂多变(车身颜色丰富多彩，部分车辆颜色比较少见)；

3、运动车辆的分割定位困难(摄像头位置不同，主颜色区域很那定位，定位算法受车型影响)。

当前车身颜色识别方法有：

一、基于色差的方法。将RGB空间转换为HIS空间，在HIS空间对所选区域计算彩色直方图，根据相应的色差计算公式，计算与标准颜色模板间的色差，选取计算到的色差最小者，通过查找颜色映射表得到其对象颜色。该方法简单快速，在光线较好的情况下可获取较好的识别结果，但在实际应用中，光照、天气等影响使其获取的车辆图像及颜色都不稳定。详见：李贵俊，刘正熙等.一种基于色差和彩色归一化的车身颜色识别方法.计算机应用，2004，9.

二、基于模板的背景减除法。通过联合基于模板的前景掩膜法和图像分割，使用基于掩膜相关区域标注算法将图像分成几个区域，然后通过去除不必要的区域细化前景图像得到颜色特征区域。采用两层SVM算法对车身颜色进行分类，第一层将颜色分为彩色与灰色，第二层对彩色和灰色分别进行分类。该方法两层SVM分类算法效果很好，但对光照、运动目标等外部环境非常敏感。详见：Yi-TaWu,Jau-HongKao,andMing-YuShih.Avehiclecolorclassificationmethodforvideosurveillancesystemconcerningmodel-basedbackgroundsubtraction.IEEEPacificRimConferenceonMultimedia,pp.369-380,2010.

三、基于流形学习的方法。该方法通过车尾灯红色块定位、几何规则过滤以及基于纹理信息的分类级联方法定位车身尾部的颜色特征区域，将多个颜色空间的特征进行融合，然后降低特征维数。在流形空间中分别使用SVM，kNN进行分类学习。该方法速度非常快，能满足实时性要求，有较高的准确率，但此方法是利用车身尾部进行颜色特征提取，局限性较大。详见：Yu-ChenWang,Chin-ChuanHan,Chen-TaHsiehandKuo-ChinFan.Vehiclecolorclassificationusingmanifoldlearningmethodsfromurbansurveillancevideos.EURASIPJournalonImageandVideoProcessing,October2014.

发明内容

本发明所要解决的技术问题是，提供一种准确率高的车身颜色的自动识别方法。

本发明为解决上述技术问题所采用的技术方案是，基于局部约束线性编码的车身颜色识别方法，包括以下步骤：

步骤1、建立车身颜色词袋模型

1-1：车辆图像分块。将检测到的车辆图像量化到相同尺度，然后将车辆分成相互重叠的矩形块，矩形块大小根据经验值设置其移动步长决定重叠区域的大小，可根据实际情况进行调整。矩形块相互重叠是为了保持车辆的局部特征以及空间位置特征。所述车辆图像由在不同光照以及天气环境下多种车身颜色图片组成。

1-2：特征提取。对车辆图像中每个矩形块提取颜色特征，颜色特征为变形的Lab颜色直方图，色度直方图，色矩，对抗直方图，归一化的RG颜色直方图的合并，即将颜色特征按顺序表征为一维列向量。实验中可以根据对速度与精度的要求相应的调整所需直方图的种数以及各个直方图的维数。

1-3：码本生产。将每一个矩形块的颜色特征设为一个码元，对数据库中所有车辆图像的颜色特征进行K-means聚类，码元为聚类的中心，K即最后的码本集合大小，K为统计经验值。

步骤2、局部约束线性编码LLC

步骤2-1：对待测车辆图片提取矩形块的颜色特征，利用码本通过局部约束线性编码LLC对待测车辆图片的颜色特征进行编码，映射为高维稀疏向量；

步骤3、线性SVM分类

步骤3-1：分类器训练。随机选取车辆颜色数据库中每类颜色的一半作为训练样本，提取训练样本中车辆图片的颜色信息，利用线性SVM进行分类器训练，得到分类器模型，并利用剩余样本测试分类器性能。

步骤3-2：车身颜色识别。将编码后的待测车辆图片的颜色特征输入训练好的线性SVM分类器进行分类，从而得到车辆的颜色信息。

本发明方法能够对交通车辆视频和图像进行智能化处理，实现车身颜色的自动识别，包括车身颜色词袋模型、局部约束编码LLC、车身颜色识别三个主要步骤。首先通过车辆检测算法提取出车辆，量化为固定尺度；采用词袋模型对车辆进行深度采样，将车辆分成相互重叠的矩形块，对每一小块分别提取颜色直方图特征；对不同颜色、不同外部环境车辆特征进行K-means聚类生成固定长度码本；依据码本，将车辆特征进行局部约束编码映射到高维空间；利用线性SVM进行训练和识别。

本发明提出了一种新的车身颜色识别框架。该框架不需要将车辆分割成不同颜色的子区域，依靠词袋模型获得车身颜色码本，并通过LLC对整车进行编码处理，获取车身颜色的高维特征表示，从而通过线性SVM快速识别出车身颜色。实验证明提出的框架极大的提高了系统的识别准确率。

本发明的有益效果是，识别过程简洁，并且识别准确率高。

附图说明

图1：基于局部约束线性编码的车身颜色识别方法整体流程示意图；

具体实施方式

为方便描述本发明内容，这里首先对一些术语进行说明：

车身颜色识别系统。指能够检测到受监控路面的车辆并自动提取车身颜色信息(含黑色、白色、蓝色、黄色、绿色、红色、灰色、蓝绿色等颜色)，并对其进行识别。

视觉词袋模型。将图形分成小块进行特征提取，统计图像数据库中出现的所有特征，去除冗余组成词袋。如果图像特征过多，采用聚类算法将相近特征归为一类，利用聚类结果组成词袋。利用视觉词袋量化图像特征，通过词频表示图像。

码本。在词袋模型中将特征向量表示为码元，即词。对样本采用聚类算法，聚为K类，K为码本集合大小，K个聚类中心为码本中的码元。

K-means算法。K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。

局部约束编码LLC。LLC编码使用局部约束性将描述子投影到局部坐标系统中，LLC编码侧重于局部的约束，而非稀疏性，局部可以带来稀疏性，但稀疏性未必满足局部性。

线性支持向量机SVM。SVM是一种监督学习模型，通常用来进行模式识别、分类、以及回归分析。线性SVM是解决含有大量样本及特征的大尺寸稀疏数据最有前途的学习技术之一，学习速度非常快并有很好的识别准确率。

基于局部约束线性编码的车身颜色识别方法，如图1所示，包含下述步骤：

步骤1、车身颜色词袋模型

步骤1-1：车辆图像分块。将检测到的车辆图像量化到相同尺度(如300*300)，然后将车辆分成相互重叠的矩形块，矩形块大小根据经验值设置(如24*24)，其移动步长决定重叠区域的大小，可根据实际情况进行调整(如8)。矩形块相互重叠是为了保持车辆的局部特征以及空间位置特征。

步骤1-2：特征提取。对车辆图像中每个矩形块提取颜色特征，颜色特征为变形的Lab颜色直方图(48维)，色度直方图(30维)，色矩(21维)，对抗直方图(48维)，归一化的RG颜色直方图(32维)的合并，即将颜色特征表征为一维列向量。实验中可以根据对速度与精度的要求相应的调整所需直方图的种数以及各个直方图的维数。

步骤1-3：码本生成。本发明将词袋模型运用于车身颜色识别，利用词袋模型的思想对车身颜色特征进行提取，并生产车身颜色码本。

在不同光照以及天气环境下，黑色、白色、蓝色、黄色、绿色、红色、灰色与蓝绿色共八种主流颜色组成的车身颜色数据库中，根据步骤1-1与1-2提取车身颜色特征。每一个块特征为一个码元，对数据库中所有图像的颜色特征进行K-means聚类，K即最后的码本集合大小，K为统计经验值(如512)，码元就是聚类的中心。

步骤2、局部约束线性编码LLC

对于车辆图片，步骤1-1与1-2得到车辆特征描述，然后利用步骤1-3中的码本，通过局部约束线性编码对车辆特征进行编码，映射为高维稀疏向量。

步骤3、线性SVM分类

步骤3-1：分类器训练。随机选取车辆颜色数据库中每类的一半作为训练样本，依据步骤2获取每个样本的编码，利用线性SVM对训练样本进行分类器训练，得到分类器模型。

步骤3-2：车身颜色识别。将视频流中的车辆通过车辆检测算法提取出来，在词袋模型码本的基础上，通过步骤2中的局部约束线性编码对车辆颜色进行编码，利用步骤3-1中训练的分类器模型进行分类，从而得出车辆的颜色信息。

下面对引用到本发明步骤中的一些已有技术进行说明：

步骤1-2中颜色直方图：

变化的Lab颜色直方图，将Lab颜色空间各个通道的像素进行独立的归一化

$\left(\begin{array}{c}{L}^{\′}\\ a^{\′}\\ b^{\′}\end{array}\right)=\left(\begin{array}{c}\frac{L-{\mathrm{\μ}}_L}{{\mathrm{\σ}}_L}\\ \frac{a-{\mathrm{\μ}}_a}{{\mathrm{\σ}}_a}\\ \frac{b-{\mathrm{\μ}}_b}{{\mathrm{\σ}}_b}\end{array}\right)$

其中μc代表C通道像素均值，σc代表C通道像素方差。

色度直方图是HSV彩色空间的H通道的直方图，H彩色模型对于光照具有尺度不变与平移不变特性。

色矩：彩色图像可表示为方程I在像素点(x，y)处的元组RGB，即I(x，y)→(R(x，y)，G(x，y)，B(x，y)。因此把RGB元组作为来自一个分布的数据点，是可以定义矩。泛化的色矩方程的定义如下：

$M_{pq}^{abc}=\∫\∫x^p{y}^q{\[I_R(x,y)\]}^a{\[I_G(x,y)\]}^b{\[I_B(x,y)\]}^{c}dxdy$

其中表示一个p+q阶且度为a+b+c的泛化色矩。

对抗直方图是基于通道之间的对抗颜色空间构成的三个一维直方图的组合：

$\left(\begin{array}{c}{O}_1\\ O_2\\ O_3\end{array}\right)=\left(\begin{array}{c}\frac{R-G}{\sqrt{2}}\\ \frac{R+G-2B}{\sqrt{6}}\\ \frac{R+G+B}{\sqrt{3}}\end{array}\right)$

归一化的rg颜色直方图：

$\left(\begin{array}{c}r\\ g\\ b\end{array}\right)=\left(\begin{array}{c}\frac{R}{R+G+B}\\ \frac{G}{R+G+B}\\ \frac{B}{R+G+B}\end{array}\right)$

由于r+g+b＝1，因此只需要r和g就可以表示图像颜色信息。

步骤1-3中的K-means聚类：

K-means算法是典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终的目标。

算法过程如下：

假设训练样本为(x¹，x²…x^m)，其中每个xⁱ∈Rⁿ。

(1)随机选取k个聚类质心点为μ₁，μ₂…μ_k∈Rⁿ。

(2)重复下面的过程直到收敛：

对于每一个样例i，计算其应该属于的类，即计算距离该样例最小的聚类质心μ_j

cⁱ＝argmin‖xⁱ-μ_j‖²j＝12…k

对每一类j，重新计算该类的聚类质心

${\mathrm{\μ}}_j=\frac{{\Σ}_{i=1}^{m}1\{c^i=j\}{x}^i}{{\Σ}_{i=1}^{m}1\{c^i=j\}}$

其中k是事先给定的聚类数，εⁱ代表样例i与k个类中距离最近的那个类，εⁱ的值是1到k中一个。质心μ_j代表对属于同一类的样本中心的猜测。重复迭代(2)中的第一步和第二步直到质心不变或者变化很小为止。

步骤2中局部约束线性编码：

设X是由从车辆图像中提取的一系列D维局部描述子，即每个矩形块的颜色特征。

X＝[x₁，x₂，…，x_N]∈R^D×N。给定一个含有M个码元的码本B＝[b₁，b₂，…b_M]∈R^D×N，不同的编码技巧将描述子X转换为一个M维的编码，然后生成最终的图像特征表示。

本发明采用LLC编码。由于局部属性比稀疏性更重要，因为局部性必然导致稀疏性，但反过来稀疏性不一定能满足局部性。因此LLC使用局部约束代替稀疏约束，并获得了良好的性能。LLC编码使用如下准则：

$\min \underset{i=1}{\overset{N}{\Σ}}\left|\right|x_i-{\mathrm{Bc}}_i|{|}^2+\mathrm{\λ}||d_i\Θc_i|{|}^2,$ 其中

其中⊙表示向量逐位相乘，d_i∈R^M是局部描述子，根据输入描述子x_i按比例给每个基向量不同的自由度。特别的，

$d_i=\exp \left(\frac{dist(x_i,B)}{\mathrm{\σ}}\right)$

其中dist(x_i,B)＝[dist(x_i,b₁)，…，dist(x_i，b_M)]^T，dist(x_i，b_j)是x_i与b_j之间的欧式距离，σ用来

调节局部适配器的权值衰减速度。通常d_i归一化到(0，1]。1^Tc_i＝1遵循LLC编码移动不变要求。在零范数时，LLC编码不是稀疏的，但当结果只有几个有效值时时稀疏的。在实际应用中，通常简单的把这些小的系数变为零。

近似LLC快速编码

LLC的解只有很少的重要的值，或者说LLC编码进行特征选择，对于每个描述子选择局部基构成局部坐标系统。因此可以采用更加快速的近视的LLC加速编码过程。可以简单的将x_i的K(K＜D＜M)近邻作为局部基B_i，并通过解一个更小的线性系统获得编码。计算复杂度

从(M²)减小到O(M+K²)，其中K＜＜M。

本发明首次将LLC编码运用于车身颜色识别。LLC是目标检测与场景识别的经典方法。在词袋模型码本的基础上，利用LLC将车辆原始颜色特征映射为高维稀疏向量，因此不需要将车辆分割为不同颜色的子区域，使实验过程简洁，并且能够获得非常高的识别准确率。

依据本发明的实现步骤，在C/C++平台上编写车身颜色识别程序。采用实地拍摄图片，包括白天和黑夜，晴天与雾天等天气环境；颜色种类包括黑色、白色、蓝色、黄色、绿色、红色、灰色与蓝绿色共八种主流颜色，作为源实验数据。本发明提出的技术方案相较于传统方案更加简洁、不需对车辆进行分割，识别准确率更高，为智能交通系统提供了新的技术支持。

Claims (1)

1.基于局部约束线性编码的车身颜色识别方法，其特征在于，包括以下步骤：

步骤1、建立车身颜色词袋模型：

1-1：将检测到的车辆图像量化到相同尺度，然后将车辆分成相互重叠的矩形块；所述车辆图像包括在不同光照以及天气环境下多种车身颜色图片组成；

1-2：对车辆图像中每个矩形块提取颜色特征，所述颜色特征由Lab颜色直方图、色度直方图、色矩、对抗直方图，归一化的RG颜色直方图的合并为一维列向量而成；

1-3：将每一个矩形块的颜色特征设为一个码元，对数据库中所有车辆图像的颜色特征进行K-means聚类，码元为聚类的中心；

步骤2、对待测车辆图片提取矩形块的颜色特征，利用码本通过局部约束线性编码LLC对待测车辆图片的颜色特征进行编码，映射为高维稀疏向量；

步骤3、将编码后的待测车辆图片的颜色特征输入训练好的SVM分类器进行分类，从而得出车辆的颜色信息。