CN108563976A - 一种基于车窗位置的多方向车辆颜色识别方法 - Google Patents

Abstract

本发明公开了一种基于车窗定位的多方向车辆识别方法。本发明的优点是：（1）本发明可以处理多方向车辆颜色识别问题；（2）本发明将满足颜色一致性的子区域作为最小颜色识别单元，相对于基于像素的颜色识别方法，效率更优，相对于基于完整区域的颜色识别方法，准确率更优；（3）本发明根据车窗位置，给出了车脸上的颜色识别区域和车身上的颜色识别区域，联合进行车辆颜色识别，同时本发明给出的车辆颜色判别策略，可以很好的改善强光条件下车辆颜色识别准确率。

Description

一种基于车窗位置的多方向车辆颜色识别方法

技术领域

本发明涉及数字图像处理领域，是车辆颜色识别方法，具体是一种基于车窗定位的多方向车辆识别方法。

技术背景

随着ITS的快速发展，车辆的自动识别越来越受到重视，而车辆颜色作为车辆的重要信息，对车辆识别起到重要的辅助作用，但由于受光照条件影响，车辆颜色的识别一直难以达到较高的准确率，因此目前还是学者们比较关注的一个研究点。

由于车辆整体区域较难定位，因此目前已有的车辆识别方法主要是基于车辆局部区域的方法，主要用到的识别策略有基于颜色空间量化范围的和基于特征分类器的。如胡焯源等(基于HSV颜色空间的车身颜色识别算法[J].辽宁工业大学学报,2017,37(1):10-12)选取车前脸靠近排气格栅的车盖区域作为车辆颜色识别区域，然后根据改进的HSV颜色模型的量化模板得到识别区域内每一个像素的颜色，最后利用判定规则对识别区域的颜色统计结果进行分析，确定车辆颜色；如赵红波等(车辆颜色识别方法研究[J].电视技术,2013,37(23):207-209)将局部车脸区域作为车辆颜色的识别区域，通过提取识别区域在不同颜色空间的分解、合并特征，训练了7个支持向量分类器进行颜色识别；宋晓红等(车身颜色识别在高速公路卡口中的应用[J].中国交通信息化,2014(3)：87-90)根据车牌选取局部车脸区域作为车辆颜色的识别区域，以识别区域在LAB颜色空间下的颜色直方图作为特征向量训练分类器进行车辆颜色识别。

上述方法主要存在的问题：(1)颜色识别单元不合适：以单个像素作为颜色识别单元会导致算法效率差；以整个识别区域作为颜色识别单元，根据提取区域颜色直方图进行颜色识别，对区域颜色的统一性要求较高，识别结果容易出错；(2)车脸区域受光照影响较大，指根据车脸区域的颜色识别结果判断车辆颜色可靠性不高。因此针对现有方法的不足，本发明提出了一种基于车窗定位的多方向车辆颜色识别方法，该方法以满足颜色一致性的图像子区域作为最小颜色识别单元，分别对车脸局部区域和车身局部区域分别进行了颜色识别，最后结合车脸区域和车身区域的识别结果判断车身颜色，极大提高了车辆颜色识别的准确度。

发明内容

本发明包括如下步骤：

步骤1：训练得到三个颜色分类器：彩色颜色分类器，车身非彩色颜色分类器，车脸非彩色颜色分类器，三个分类器具体描述如下：

彩色颜色分类器：该分类器的识别对象为满足颜色一致性要求的图像，图像颜色一致性判定方法在步骤4.2中介绍，分类器的颜色识别类别为Color¹＝{黑白灰,黄,红,绿,蓝,棕}；该分类器用到的为颜色特征向量为图像的H、S、V颜色直方图，其中H分量量化为36级，S、V分别量化为20级，得到的颜色特征向量为76维；

车身非彩色颜色分类器：该分类器的识别对象为非彩色车辆的车身颜色识别区域图像，该区域由步骤2-3确定，分类器的颜色识别类别为Color²＝{黑,白,灰}；该分类器用到的为颜色特征向量为图像的S、V颜色直方图，其中S、V分别量化为20级，得到的颜色特征向量为40维；

车脸非彩色颜色分类器：分类器的识别对象为非彩色车辆的车脸颜色识别区域图像，该区域由步骤2-3确定，分类器的颜色识别类别为Color²＝{黑,白,灰}；该分类器用到的为颜色特征向量为图像的S、V颜色直方图，其中S、V分别量化为20级，得到的颜色特征向量为40维；

步骤2：已知车辆图像I以及车辆图像上车窗的四个顶点位置W^UL、W^UR、W^DL、W^DR，将车窗左右边界线对应的与水平直线的逆时针夹角记为θ^L、θ^R，根据公式(1)求得车辆方向角度θ^Car；

步骤3：若θ^Car＜83°，则根据公式(2)、(3)分别确定车脸颜色识别区域D^F，和车身颜色识别区域D^B；若θ^Car＞97°，则根据公式(4)、(5)确定车脸颜色识别区域D^F，和车身颜色识别区域D^B；否则，根据公式(2)确定车脸颜色识别区域D^F；将图像I上车脸颜色识别区域D^F对应的车脸颜色识别区域图像记为I^F；若D^B存在，将图像I上车身颜色识别区域D^B对应的车身颜色识别区域图像记为I^B；

其中，D^X.(x₁,y₁)、D^X.(x₂,y₂)、D^X.(x₃,y₃)、D^X.(x₄,y₄)分别表示平行四边形区域D^X的左上，右上，左下，右下四个顶点的坐标，X＝F或B；

步骤4：根据步骤4.1-4.2得到车脸颜色识别区域图像I^F上识别单元对应的图像集C^FR；若D^B存在，根据步骤4.1-4.2得到车身颜色识别区域图像I^B上识别单元对应的图像集C^BR；

步骤4.1：图像I^X为形状为平行四边形的图像，为了方便图像分割和颜色一致性分析，需要首先得到图像I^X对应的近似矩形图像I^XR；具体的，图像I^XR的宽高l₁、l₂分别根据公式(6)、(7)计算得到，且图像I^XR上任意坐标(x,y)对应的像素颜色值与图像I上坐标(x’,y’)对应的像素颜色值相同，x’,y’分别根据公式(8)、(9)计算得到；

其中，D^X为图像I^X在图像I上对应的四边形区域，由步骤3计算得到；

步骤4.2：将图像I^XR等分为边长为a的正方形子图像集，记为C^XR，其中a为事先给定的子图像边长；然后筛选剔除集合C^XR中不满足颜色一致性的子图像，图像颜色一致性判别方法如下；

图像颜色一致性判别方法：首先得到图像对应的灰度图，然后得到灰度图上两条对角线上的像素灰度值集，记为S，根据公式(10)-(11)计算S对应的灰度标准差λ，若满足λ＜λ^max，则图像满足颜色一致性，否则不满足；其中λ^max为事先给定的标准差阈值；

其中，avg为集合S中所有像素灰度的平均值，S.num为集合S中元素的个数，s_i为集合S中第i个元素，步骤4.1和4.2中X＝F或B；

步骤5：根据步骤5.1-5.4，得到C^FR对应的颜色识别结果集T^FR；

步骤5.1：用彩色颜色分类器识别集合C^FR中每个子图像，得到初始颜色识别结果集T^FR；

步骤5.2：将集合C^FR中所有对应颜色识别结果为“黑白灰”的子图像拼接成一个大的图像；

步骤5.3：用车脸非彩色颜色分类器识别步骤5.2中得到的图像，将识别结果记为其中为颜色集合Color²中的第f个颜色；

步骤5.4：将颜色识别结果集T^FR中所有值为“黑白灰”的元素更新为

步骤6：若D^B存在，根据步骤6.1-6.4，得到C^BR对应的颜色识别结果集T^BR；

步骤6.1：用彩色颜色分类器识别集合C^BR中每个子图像，得到初始颜色识别结果集T^BR；

步骤6.2：将集合C^BR中所有对应颜色识别结果为“黑白灰”的子图像拼接成一个大的图像；

步骤6.3：用车身非彩色颜色分类器识别步骤6.2中得到的图像，将识别结果记为其中为颜色集合Color²中的第g个颜色；

步骤6.4：将颜色识别结果集T^BR中所有值为“黑白灰”的元素更新为

步骤7：得到颜色集合Color³＝{黑,白,灰,黄,红,绿,蓝,棕}在图像I^FR上的颜色分布比例若D^B存在，得到颜色集合

其中，j＝0,1…,7根据公式(12)进行计算；

其中，C^XR为图像I^XR的子区域图像集，C^XR.num为集合C^XR中元素的个数，为集合C^XR中第i个子区域图像，为子区域图像的面积，为颜色识别结果集T^XR中第i个颜色识别结果，为对应的颜色集合Color³中的第j个颜色，X＝F或B；

步骤8：若D^B存在，记I^FR、I^BR中分布比例最大的颜色为记I^FR中分布比例第二大的颜色为根据判别规则一确定车辆颜色；否则，记I^FR中分布比例最大的颜色为记I^FR中分布比例第二大的颜色为根据判别规则二确定车辆颜色；其中，分别为颜色集合Color³中下标为max11、max21、max12的颜色；

判定规则一：

(1)若则确定车辆颜色为

(2)若且则确定车辆颜色为

(3)若不满足(1)、(2)，且且则确定车辆颜色为灰色；

(4)若不满足(1)、(2)、(3)，则确定车辆颜色为

判定规则二：

(1)若则确定车辆颜色为

(2)若且则确定车辆颜色为

(3)若不满足(1)、(2)，则确定车辆颜色为白色。

本发明的优点是：(1)本发明可以处理多方向车辆颜色识别问题；(2)本发明将满足颜色一致性的子区域作为最小颜色识别单元，相对于基于像素的颜色识别方法，效率更优，相对于基于完整区域的颜色识别方法，准确率更优；(3)本发明根据车窗位置，给出了车脸上的颜色识别区域和车身上的颜色识别区域，联合进行车辆颜色识别，同时本发明给出的车辆颜色判别策略，可以很好的改善强光条件下车辆颜色识别准确率。

附图说明

图1是用于进行说明的实例图；

图2是根据步骤3得到车脸颜色识别区域D^F和车身颜色识别区域D^B；

图3是车脸颜色识别区域图像；

图4是车脸颜色识别区域的识别单元分割结果；

图5是车身颜色识别区域图像；

图6是车身颜色识别区域的识别单元分割结果。

具体实施方式

下面结合具体实例，对本发明(一种基于车窗位置的多方向车辆颜色识别方法)实施的过程进行详细的说明。

步骤1：训练得到三个颜色分类器：彩色颜色分类器，车身非彩色颜色分类器，车脸非彩色颜色分类器，三个分类器具体描述如下：

彩色颜色分类器：该分类器的识别对象为满足颜色一致性要求的图像，图像颜色一致性判定方法在步骤4.2中介绍，分类器的颜色识别类别为Color¹＝{黑白灰,黄,红,绿,蓝,棕}；该分类器用到的为颜色特征向量为图像的H、S、V颜色直方图，其中H分量量化为36级，S、V分别量化为20级，得到的颜色特征向量为76维；

车身非彩色颜色分类器：该分类器的识别对象为非彩色车辆的车身颜色识别区域图像，该区域由步骤2-3确定，分类器的颜色识别类别为Color²＝{黑,白,灰}；该分类器用到的为颜色特征向量为图像的S、V颜色直方图，其中S、V分别量化为20级，得到的颜色特征向量为40维；

车脸非彩色颜色分类器：分类器的识别对象为非彩色车辆的车脸颜色识别区域图像，该区域由步骤2-3确定，分类器的颜色识别类别为Color²＝{黑,白,灰}；该分类器用到的为颜色特征向量为图像的S、V颜色直方图，其中S、V分别量化为20级，得到的颜色特征向量为40维；

步骤2：已知车辆图像I以及车辆图像上车窗的四个顶点位置W^UL、W^UR、W^DL、W^DR，将车窗左右边界线对应的与水平直线的逆时针夹角记为θ^L、θ^R，根据公式(1)求得车辆方向角度θ^Car；

本实例中用来说明的图像I如图1所示，图像上黑色直线标注的四边形为已知的车窗边界位置，窗左右边界线对应的与水平直线的逆时针夹角θ^L＝46.35°，θ^R＝63.95°，因此根据步骤2得到的车辆方向角度θ^Car＝55.15°；

步骤3：若θ^Car＜83°，则根据公式(2)、(3)分别确定车脸颜色识别区域D^F，和车身颜色识别区域D^B；若θ^Car＞97°，则根据公式(4)、(5)确定车脸颜色识别区域D^F，和车身颜色识别区域D^B；否则，根据公式(2)确定车脸颜色识别区域D^F；将图像I上车脸颜色识别区域D^F对应的车脸颜色识别区域图像记为I^F；若D^B存在，将图像I上车身颜色识别区域D^B对应的车身颜色识别区域图像记为I^B；

其中，D^X.(x₁,y₁)、D^X.(x₂,y₂)、D^X.(x₃,y₃)、D^X.(x₄,y₄)分别表示平行四边形区域D^X的左上，右上，左下，右下四个顶点的坐标，X＝F或B；

根据步骤3确定车脸颜色识别区域D^F和车身颜色识别区域D^B如图2所示，图中左侧的黑色平行四边形为车脸颜色识别区域D^F所在位置，右侧的黑色平行四边形为车身颜色识别区域D^F所在位置；

步骤4：根据步骤4.1-4.2得到车脸颜色识别区域图像I^F上识别单元对应的图像集C^FR；若D^B存在，根据步骤4.1-4.2得到车身颜色识别区域图像I^B上识别单元对应的图像集C^BR；

步骤4.1：图像I^X为形状为平行四边形的图像，为了方便图像分割和颜色一致性分析，需要首先得到图像I^X对应的近似矩形图像I^XR；具体的，图像I^XR的宽高l₁、l₂分别根据公式(6)、(7)计算得到，且图像I^XR上任意坐标(x,y)对应的像素颜色值与图像I上坐标(x’,y’)对应的像素颜色值相同，x’,y’分别根据公式(8)、(9)计算得到；

其中，D^X为图像I^X在图像I上对应的四边形区域，由步骤3计算得到；

步骤4.2：将图像I^XR等分为边长为a的正方形子图像集，记为C^XR，其中a为事先给定的子图像边长；然后筛选剔除集合C^XR中不满足颜色一致性的子图像，图像颜色一致性判别方法如下；

图像颜色一致性判别方法：首先得到图像对应的灰度图，然后得到灰度图上两条对角线上的像素灰度值集，记为S，根据公式(10)-(11)计算S对应的灰度标准差λ，若满足λ＜λ^max，则图像满足颜色一致性，否则不满足；其中λ^max为事先给定的标准差阈值；

其中，avg为集合S中所有像素灰度的平均值，S.num为集合S中元素的个数，s_i为集合S中第i个元素，步骤4.1和4.2中X＝F或B；

步骤5：根据步骤5.1-5.4，得到C^FR对应的颜色识别结果集T^FR；

步骤5.1：用彩色颜色分类器识别集合C^FR中每个子图像，得到初始颜色识别结果集T^FR；

步骤5.2：将集合C^FR中所有对应颜色识别结果为“黑白灰”的子图像拼接成一个大的图像；

步骤5.3：用车脸非彩色颜色分类器识别步骤5.2中得到的图像，将识别结果记为其中为颜色集合Color²中的第f个颜色；

步骤5.4：将颜色识别结果集T^FR中所有值为“黑白灰”的元素更新为

对于所述实例，根据步骤5，可以知道集合C^FR中有75个子区域对应的颜色识别结果为白色，有11个子区域对应的颜色识别结果为绿色；

步骤6：若D^B存在，根据步骤6.1-6.4，得到C^BR对应的颜色识别结果集T^BR；

步骤6.1：用彩色颜色分类器识别集合C^BR中每个子图像，得到初始颜色识别结果集T^BR；

步骤6.2：将集合C^BR中所有对应颜色识别结果为“黑白灰”的子图像拼接成一个大的图像；

步骤6.3：用车身非彩色颜色分类器识别步骤6.2中得到的图像，将识别结果记为其中为颜色集合Color²中的第g个颜色；

步骤6.4：将颜色识别结果集T^BR中所有值为“黑白灰”的元素更新为

对于所述实例，根据步骤6，可以知道集合C^BR中有21个子区域对应的颜色识别结果为绿色；

步骤7：得到颜色集合Color³＝{黑,白,灰,黄,红,绿,蓝,棕}在图像I^FR上的颜色分布比例若D^B存在，得到颜色集合

其中，j＝0,1…,7根据公式(12)进行计算；

其中，C^XR为图像I^XR的子区域图像集，C^XR.num为集合C^XR中元素的个数，为集合C^XR中第i个子区域图像，为子区域图像的面积，为颜色识别结果集T^XR中第i个颜色识别结果，为对应的颜色集合Color³中的第j个颜色，X＝F或B；

对于所述实例，根据步骤7计算可得图像I^FR上颜色集合 图像I^BR上颜色集合

步骤8：若D^B存在，记I^FR、I^BR中分布比例最大的颜色为记I^FR中分布比例第二大的颜色为根据判别规则一确定车辆颜色；否则，记I^FR中分布比例最大的颜色为记I^FR中分布比例第二大的颜色为根据判别规则二确定车辆颜色；其中，分别为颜色集合Color³中下标为max11、max21、max12的颜色；

判定规则一：

(5)若则确定车辆颜色为

(6)若且则确定车辆颜色为

(7)若不满足(1)、(2)，且且则确定车辆颜色为灰色；

(8)若不满足(1)、(2)、(3)，则确定车辆颜色为

判定规则二：

(4)若则确定车辆颜色为

(5)若且则确定车辆颜色为

(6)若不满足(1)、(2)，则确定车辆颜色为白色；

对于所述实例，D^B存在，因此根据判定规则一判别车辆颜色，推断可得颜色识别结果满足情况(4)，且因此车辆颜色识别为绿色，识别正确。

Claims (4)

1.一种基于车窗位置的多方向车辆颜色识别方法，包括如下步骤：

步骤1：训练得到三个颜色分类器：彩色颜色分类器，车身非彩色颜色分类器，车脸非彩色颜色分类器；

步骤2：已知车辆图像I以及车辆图像上车窗的四个顶点位置W^UL、W^UR、W^DL、W^DR，将车窗左右边界线对应的与水平直线的逆时针夹角记为θ^L、θ^R，根据公式(1)求得车辆方向角度θ^Car；

步骤3：若θ^Car＜83°，则根据公式(2)、(3)分别确定车脸颜色识别区域D^F，和车身颜色识别区域D^B；若θ^Car＞97°，则根据公式(4)、(5)确定车脸颜色识别区域D^F，和车身颜色识别区域D^B；否则，根据公式(2)确定车脸颜色识别区域D^F；将图像I上车脸颜色识别区域D^F对应的车脸颜色识别区域图像记为I^F；若D^B存在，将图像I上车身颜色识别区域D^B对应的车身颜色识别区域图像记为I^B；

其中，D^X.(x₁,y₁)、D^X.(x₂,y₂)、D^X.(x₃,y₃)、D^X.(x₄,y₄)分别表示平行四边形区域D^X的左上，右上，左下，右下四个顶点的坐标，X＝F或B；

步骤4：根据步骤4.1-4.2得到车脸颜色识别区域图像I^F上识别单元对应的图像集C^FR；若D^B存在，根据步骤4.1-4.2得到车身颜色识别区域图像I^B上识别单元对应的图像集C^BR；

步骤4.1：图像I^X为形状为平行四边形的图像，为了方便图像分割和颜色一致性分析，需要首先得到图像I^X对应的近似矩形图像I^XR；具体的，图像I^XR的宽高l₁、l₂分别根据公式(6)、(7)计算得到，且图像I^XR上任意坐标(x,y)对应的像素颜色值与图像I上坐标(x’,y’)对应的像素颜色值相同，x’,y’分别根据公式(8)、(9)计算得到；

其中，D^X为图像I^X在图像I上对应的四边形区域，由步骤3计算得到；

步骤4.2：将图像I^XR等分为边长为a的正方形子图像集，记为C^XR，其中a为事先给定的子图像边长；然后筛选剔除集合C^XR中不满足颜色一致性的子图像，图像颜色一致性判别方法如下；

图像颜色一致性判别方法：首先得到图像对应的灰度图，然后得到灰度图上两条对角线上的像素灰度值集，记为S，根据公式(10)-(11)计算S对应的灰度标准差λ，若满足λ＜λ^max，则图像满足颜色一致性，否则不满足；其中λ^max为事先给定的标准差阈值；

其中，avg为集合S中所有像素灰度的平均值，S.num为集合S中元素的个数，s_i为集合S中第i个元素，步骤4.1和4.2中X＝F或B；

步骤5：得到C^FR对应的颜色识别结果集T^FR；

对于所述实例，根据步骤5，可以知道集合C^FR中有75个子区域对应的颜色识别结果为白色，有11个子区域对应的颜色识别结果为绿色；

步骤6：若D^B存在，根据步骤6.1-6.4，得到C^BR对应的颜色识别结果集T^BR；

步骤7：得到颜色集合Color³＝{黑,白,灰,黄,红,绿,蓝,棕}在图像I^FR上的颜色分布比例若D^B存在，得到颜色集合Color³＝{黑,白,灰,黄,红,绿,蓝,棕}在图像I^BR上的颜色分布比例其中，j＝0,1…,7根据公式(12)进行计算；

其中，C^XR为图像I^XR的子区域图像集，C^XR.num为集合C^XR中元素的个数，为集合C^XR中第i个子区域图像，为子区域图像的面积，为颜色识别结果集T^XR中第i个颜色识别结果，为对应的颜色集合Color³中的第j个颜色，X＝F或B；

步骤8：若D^B存在，记I^FR、I^BR中分布比例最大的颜色为记I^FR中分布比例第二大的颜色为根据判别规则一确定车辆颜色；否则，记I^FR中分布比例最大的颜色为记I^FR中分布比例第二大的颜色为根据判别规则二确定车辆颜色；其中，分别为颜色集合Color³中下标为max11、max21、max12的颜色；

判定规则一：

(1)若则确定车辆颜色为

(2)若且则确定车辆颜色为

(3)若不满足(1)、(2)，且且则确定车辆颜色为灰色；

(4)若不满足(1)、(2)、(3)，则确定车辆颜色为

判定规则二：

(1)若则确定车辆颜色为

(2)若且则确定车辆颜色为

(3)若不满足(1)、(2)，则确定车辆颜色为白色。

2.如权利要求1所述的基于车窗位置的多方向车辆颜色识别方法，其特征在于：三个分类器具体描述如下：

彩色颜色分类器：该分类器的识别对象为满足颜色一致性要求的图像，分类器的颜色识别类别为Color¹＝{黑白灰,黄,红,绿,蓝,棕}；该分类器用到的为颜色特征向量为图像的H、S、V颜色直方图，其中H分量量化为36级，S、V分别量化为20级，得到的颜色特征向量为76维；

车身非彩色颜色分类器：该分类器的识别对象为非彩色车辆的车身颜色识别区域图像，分类器的颜色识别类别为Color²＝{黑,白,灰}；该分类器用到的为颜色特征向量为图像的S、V颜色直方图，其中S、V分别量化为20级，得到的颜色特征向量为40维；

车脸非彩色颜色分类器：分类器的识别对象为非彩色车辆的车脸颜色识别区域图像，分类器的颜色识别类别为Color²＝{黑,白,灰}；该分类器用到的为颜色特征向量为图像的S、V颜色直方图，其中S、V分别量化为20级，得到的颜色特征向量为40维。

3.如权利要求1所述的基于车窗位置的多方向车辆颜色识别方法，其特征在于：步骤5具体为：

步骤5.1：用彩色颜色分类器识别集合C^FR中每个子图像，得到初始颜色识别结果集T^FR；

步骤5.2：将集合C^FR中所有对应颜色识别结果为“黑白灰”的子图像拼接成一个大的图像；

步骤5.3：用车脸非彩色颜色分类器识别步骤5.2中得到的图像，将识别结果记为其中为颜色集合Color²中的第f个颜色；

步骤5.4：将颜色识别结果集T^FR中所有值为“黑白灰”的元素更新为

4.如权利要求1所述的基于车窗位置的多方向车辆颜色识别方法，其特征在于：步骤6具体为：

步骤6.1：用彩色颜色分类器识别集合C^BR中每个子图像，得到初始颜色识别结果集T^BR；

步骤6.2：将集合C^BR中所有对应颜色识别结果为“黑白灰”的子图像拼接成一个大的图像；

步骤6.3：用车身非彩色颜色分类器识别步骤6.2中得到的图像，将识别结果记为其中为颜色集合Color²中的第g个颜色；

步骤6.4：将颜色识别结果集T^BR中所有值为“黑白灰”的元素更新为