CN106326893A - 一种基于区域辨别的车辆颜色识别方法 - Google Patents

一种基于区域辨别的车辆颜色识别方法 Download PDF

Info

Publication number
CN106326893A
CN106326893A CN201610727814.4A CN201610727814A CN106326893A CN 106326893 A CN106326893 A CN 106326893A CN 201610727814 A CN201610727814 A CN 201610727814A CN 106326893 A CN106326893 A CN 106326893A
Authority
CN
China
Prior art keywords
region
vehicle
color
vehicle color
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610727814.4A
Other languages
English (en)
Inventor
康乾道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Watrix Technology Co ltd
Original Assignee
Anhui Watrix Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Watrix Technology Co ltd filed Critical Anhui Watrix Technology Co ltd
Priority to CN201610727814.4A priority Critical patent/CN106326893A/zh
Publication of CN106326893A publication Critical patent/CN106326893A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本发明涉及一种基于区域辨别的车辆颜色识别方法,使用检测出的整车图像作为输入,采用深度学习算法框架,经过车辆颜色区域辨别、车辆颜色特征提取和车辆颜色判断各步骤处理之后,输出待识别车辆的颜色类别;所述车辆颜色区域辨别,是将整车图像中依据颜色信息量辨别出整车图像中颜色识别的主线索区域、辅助识别区域,以及无关区域,并通过对这些区域的准确检测,分别提取车辆颜色特征,以实现对车辆颜色的准确识别。将整车图像划分为颜色识别的主线索区域、辅助识别区域和无法区域,在识别过程中剔除无关区域,同时结合主线索区域和辅助识别区域的特征对车辆颜色进行识别,从而能够提高复杂监控场景下的车辆颜色识别准确率。

Description

一种基于区域辨别的车辆颜色识别方法
技术领域
本发明涉及计算机视觉领域,尤其涉及智能交通系统中的车辆颜色识别方法。
背景技术
近年来,计算机视觉技术(Computer Vision)及其应用取得了较大的发展,极大地刺激了智能交通系统(Intellectual transportation system)中的视觉图像处理的应用需求,基于视觉技术实现车辆颜色识别正是在这个背景下提出的。
目前,已有的车辆颜色识别方法主要分为以下两类。第一类是基于车牌位置定位的颜色识别方法,先对车辆进行车牌检测,接着提取车牌附近区域的颜色特征,并使用颜色分类器进行判断。第二类方法是对车辆区域进行随机取样,并将采用出来的区域作为颜色判断的依据。具体地,首先对车辆区域进行随机取样,然后将从各采用区域提取出来的特征拼成一个向量,送入颜色分类器。
虽然这些已有方法都考虑到了车辆颜色分布的复杂性,但也存在着明显弊端:在第一种方法中,由于不同车型在车牌附近的颜色分布差异巨大,直接将车牌附近的颜色作为车身颜色存在以偏概全的问题,而且该方法对无车牌的车辆无法奏效;在第二种方法中,当待识别车辆的颜色不单一时,该特征的语义特性就会受到影响,从而降低颜色识别的准确率。
由于机动车颜色分布的复杂性,以及车身颜色易受环境的影响,已有的车辆颜色识别方法都难以达到理想的车辆识别准确率,且容易受到车辆类型等客观因素的限制。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种基于区域辨别的车辆颜色识别方法,将整车图像划分为颜色识别的主线索区域、辅助识别区域和无关线索区域,在识别过程中剔除无关线索区域,同时结合主线索区域和辅助识别区域的特征对车辆颜色进行识别,从而能够提高复杂监控场景下的车辆颜色识别准确率。
本发明公开了一种基于区域辨别的车辆颜色识别方法,其特征在于,使用检测出的整车图像作为输入,采用深度学习算法框架,依次经过车辆颜色区域辨别、车辆颜色特征提取和车辆颜色判断各步骤处理之后,输出待识别车辆的颜色类别。
所述的车辆颜色区域辨别,是将整车图像中依据颜色信息量划分为不同的区域,其特征在于采用多尺度检测方法和多区域检测方法,辨别出整车图像中颜色识别的主线索区域、辅助识别区域,以及无关线索区域。
进一步的,所述的主线索区域、辅助识别区域,以及无关线索区域,指整车图像中包含不同颜色信息量的区域。在整车图像中,车辆的颜色信息分布复杂,通常情况下,主要的颜色信息集中在车辆的引擎盖以及车顶部分,但是在实际道路中,不同车辆的引擎盖,车顶形状差异巨大,定位难度大。同时由于自然光的影响,在车辆的表面还会存在严重的反光现象,这些反光随机的存在于车辆的不同区域,导致这些区域不同程度的颜色丢失。结合这些情况,在本发明中根据不同区域的颜色信息量将车辆的表面区域划分为主线索区域、辅助识别区域,以及无关线索区域。具体地,所述的无关线索区域是指车辆的车窗部分,该区域在整车图像中的占比大,但是不包含任何车辆颜色信息。所述的辅助识别区域是指车辆表面的反光区域,该区域由于受到自然光的影响,会出现不同程度的颜色信息丢失。所述的主线索区域是指在整车图像中除了无关区域以及辅助识别区域以外的部分,这部分区域中颜色信息丰富,与车体颜色的相关度高。
进一步地,所述的多尺度检测方法,其特征在于一个检测网络中融合了多尺度检测能力,可以适应检测目标在尺度上的差异,主要解决以下的三个多尺度问题,包括:实际监控道路上车辆类型不同而导致的尺度差异,车辆距离监控探头距离不等而导致整车图像在尺度上的差异,以及车辆上不同反光区域之间尺度上的差异。具体地,将SPP-net(空间池化网络)作为检测的网络结构,利用其中的多尺度特征池化层完成不同尺度区域的特征提取并且进行归一化。
进一步地,所述的多区域检测方法,其特征在于针对本发明中存在的不同颜色信息区域,一幅整车图像只需执行一次检测,即可检测出所有的主线索区域、辅助识别区域和无关线索区域。具体地,采用selective search算法和滑窗法作为提取候选区域的算法,利用车窗的长宽比作为先验知识,设置滑窗的大小,可以有效的提取车窗区域。selectivesearch算法利用图像的边缘信息以及区域的颜色信息可以充分提取具有相似颜色候选区域的能力,可以有效的提取反光区域。通过结合两种候选区域生成的算法,有效地克服了车窗区域以及反光区域在形状、大小,以及颜色信息上的差异,实现了多种类型区域的同时提取。
所述的车辆颜色特征提取,其特征在于采用使用卷积神经网络自动生成颜色特征,而不是采用传统的颜色统计量作为颜色特征。具体地,针对颜色识别这个特定任务训练卷积神经网络模型,使用卷积神经网络分别对车辆的主线索区域和辅助区域提取颜色特征。
进一步地,为了学习适用于本发明中颜色识别的卷积神经网络,在本发明中结合颜色区域辨别以及颜色特征的特点对数据集进行预处理。利用区域判别对整车图像进行检测,只保留其中的主线索区域,其余部分使用训练集中的均值数据进行填充。由于颜色特征与图像纹理无关,在本发明中采用高斯模糊算子对图像进行了高斯模糊,通过减少图像的纹理特征,提升卷积神经网络对于颜色特征关注度。
所述的车辆颜色判断,其特征在于采用特征融合的方法综合利用主线索区域以及辅助识别区域的颜色特征作为车辆颜色判断的依据。具体地,将主线索区域的特征与辅助识别区域的特征进行拼接,作为整车图像最终的颜色特征。通过采用特征融合的方法,结合主线索区域以及辅助识别区域的颜色信息,可以有效地应对辅助识别区域在不同光照情况造成的颜色信息损失,当辅助识别区域由于反光严重丢失较多颜色信息时,主线索区域部分的颜色特征将起到决定性的作用,当辅助识别区域的反光情况不严重时,辅助识别区域部分的特征也会对车辆颜色的分类产生影响,有助于提升车辆颜色判断的准确率。
本发明与现有技术相比的优点在于:将车辆区域划分为主线索区域、辅助识别区域和无关线索区域,并通过对这些区域的准确检测,分别提取颜色特征,以实现对车辆颜色的准确识别。具体来说,在车辆颜色区域辨别中,针对车窗以及反光区域的形状特性,结合了selective search算法和滑窗法提取检测候选区域,提升了区域检测的准确率;针对监控场景中车辆车型大小以及车辆距离监控摄像头距离远近不同导致的多尺度问题,采用SPP-net(空间池化网络)作为检测的网络结构,使用多尺度的图像训练网络,使得网络具有识别多尺度车窗以及多反光区域的能力。在颜色特征提取中,剔除无关区域之后,针对主线索区域以及辅助区域,分别提取颜色特征,将两个部分特征融合在一起用于判断车辆颜色类别,提升了车辆颜色判别的鲁棒性。另外,在输入网络之前,利用高斯核对图像进行预处理,降低网络对于纹理信息的响应,提升了网络结构对于颜色信息的针对性。总之,本发明针对车辆颜色分布的特性,充分利用主线索区域和辅助识别区域的颜色特征作为车辆颜色辨别的依据,极大地提高了识别准确率,很好地处理了实际道路上车辆颜色的分布复杂、易受环境干扰的难点。
与上述选取可能存在车辆颜色区域的方法不同,本发明公开了一种基于区域辨别的车辆颜色识别方法,它直接处理检测出的整车图像,并划分为不同类型区域,包括主线索区域、辅助识别区域和无关线索区域。在具体处理中,将无关线索区域剔除,结合主线索区域以及辅助识别区域的特征进行车辆颜色识别。所谓无关线索区域,是指不存在车辆颜色信息的区域,在检测出来的整车图像中,主要集中在车辆的车窗区域,其在图像的占比大;所谓辅助识别区域,是车辆表面的反光区域,由于车辆是一个光滑的表面,在自然光照下会有反光存在,这些反光区域均有不同程度的颜色信息丢失,虽然包含部分颜色信息,但是其不能作为颜色识别的主要判断依据;所谓主线索区域便是在整车图像中除了无关区域以及辅助区域以外的区域,这部分区域包含了车辆颜色的主要信息。
附图说明
图1为系统测试训练框图;
图2为IoU示例图;
图3为SPP-net网络结构示例图;
图4为SPP-layer结构示例图;
图5为本发明完整流程示例图。
具体实施方式
为了使得本发明中的更加明确,下面结合具体数据集进一步的介绍该发明的具体实施方法,以及该发明中的具体细节。
首先介绍数据库的组成,在该数据集中一共包括11652张图像,其中各个类别的数量如表格1所示。
表格1数据库简介
其中淡色系包括以下三种颜色,白色,浅灰色,银色。数据库中所有的图像中均只包含一辆完整的机动车,车型包含了大小型卡车,大小型客车,越野车,三厢轿车,两厢轿车,面包车,商务车等机动车类型,基本覆盖了常见的车辆类型。
(1)设计车窗检测以及车身反光部分的检测器。该步骤中明确了车窗检测以及车辆反光区域检测器的具体设计方法。
(1.1)采用SPP-net空间池化网络作为车窗及反光区域检测器的网络结构。
网络结构如表格2所示,具体结构如图3所示,对图3进行详细说明。网络的前向通道中依次为conv1卷积层,pool2池化层,conv3卷积层,pool4池化层,conv5卷积层,conv6卷积层,conv7卷积层,spp-layer空间池化层,fc9全连接层,fc10全连接层,卷积层中对应的卷积核尺寸如表格2所示,空间域池化层中的池化核大小如表格2所示。
表格2 SPP-net网络结构介绍
具体介绍空间域池化层,第七层输出尺寸为的特征图,共有256张,针对每一张特征图,采用滑窗法进行池化操作,池化核大小以及采样步长如表格3所示。
表格3空间域池化层介绍
通过该操作,可以将任意大小的区域归化成一个固定长度的特征向量,特征向量长度为(4*4+2*2+1)*256=5376维的长度。该操作如图4所示,对图4进行详细说明,在。如图4所示,当采用表格2所示的网络结构时,第七层中得到特征图尺寸为13*13,依次使用三个池化核对该特征图进行滑窗操作,具体的池化核大小以及池化核采用的滑窗步长如表格三所示。通过滑窗操作之后得到4*4,2*2,1*1三个数值结果,将其拼接在一起可以得到一个21维的向量。同时在第七层中存在256张特征图,所以经过空间池化之后得到21*256=5376维的特征向量。
(1.2)设计模型的目标函数。在本发明中,使用多任务损失函数作为目标函数,如下所示:
L(p,k*,t,t*)=Lcls(p,k*)+λ[k*≥1]Lloc(t,t*)
其中λ值是控制分类和定位两个任务之间的权重参数,在本发明中设置λ=0.95。具体地,其中Lcls表示分类任务的损失函数,采用交叉熵损失函数,Lcls(p,k*)具体形式如下式所示:
Lcls(p,k*)=-logpk*
其中k*为样本的真实类别,pk*为模型对样本的预测值。在公式中k*是指区域所述的类别,其中k*=0指背景类,k*≥1时指前景类别,具体的可以设置车窗类别为1,反光区域类别为2。p=(p0,…,pK)是指在前向过程中网络对每个区域预测其属于某一类的概率值。
第二项中Lloc(t,t*)的具体形式是:
L l o c ( t , t * ) = Σ i ∈ { x , y , w , h } smooth L 1 ( t i , t i * )
其中t=(tx,ty,tw,th)指网络在前向过程中预测的区域位置,指标定的区域位置。其中x,y,w,h分别对应窗口的左上角坐标以及窗口的宽度和高度。
函数的具体形式如下所示:
smooth L 1 ( x ) = 0.5 x 2 i f | x | < 1 | x | - 0.5 o t h e r w i s e
其中x是指ti,之间的差值。
(1.3)采用批量梯度下降法求解模型参数。
在确定了网络的结构以及网络的目标函数之后,在本节中介绍网络的优化方法。为了求解目标函数,采用批量梯度下降算法对目标函数进行求解,其具体形式为:
&theta; = &theta; - &eta; * &dtri; &theta; L ( &theta; ; x ( i : i + n ) , y ( i : i + n ) )
其中t为模型参数,η为学习率,L是目标函数,n为batch-size大小,具体地,在本发明中128,即训练过程中每一次迭代只从样本中抽取128个样本用于更新梯度。
(1.4)构造训练集并进行标定。
在确定了网络结构以及网络的优化方法之后,下面介绍针对本发明中的任务构建数据集,用于训练网络模型。首先,训练样本的图像是只包括整车的图像,采用方框的形式对样本进行标定,每张图像中需要标定的内容有两个,一是车窗部分,二是车辆的反光部分,车窗区域的采用方框的形式标定,一辆车只有一个车窗,所以车窗部分只需要一个方框。同样的,反光区域也采用方框标定,由于在一个车辆的不同区域可能出现多处反光,所以在标定的时候,需要用方框全部标出。其中方框的具体形式为B=(x,y,h,w),其中(x,y)表示方框左上角在图像中的坐标,(h,w)分别对应方框的高和宽。
(1.5)采用selective search以及滑窗法作为区域生成的算法。
在本发明中,使用selective search算法作为产生候选检测区域的算法。在selective search算法的基础上,在本发明中针对车窗的检测,还添加了固定长宽比的滑窗结果作为检测的候选区域。使用以上两种算法生成候选区域之后,将这些区域的集合记作R={r1,r2,…,rn},其中r=(x,y,h,w),表示生成区域在原图中的位置,(x,y)表示框的左上角顶点位置,(w,h)对应方框的宽和高。
在图像域中产生的候选区域需要映射到第七层的特征图中提取特征,下面给出如何从图像域中的位置映射到特征图中的计算公式。
操作符分别表示向上取整以及向下取整的操作。其中xtl表示产生的方框在原图像中左上角定点的坐标,xbr表示产生方框右下角点在原图中坐标,xconv5-tl表示方框左上角的坐标经过映射之后在conv5层特征图中的位置,xconv5-br表示方框右下角的坐标经过映射之后在conv5层特征图中的位置。在网络结构中的第八层,即空间域池化层,就是依次对中的每个元素生成的特征图进行池化,提取长度为5376维的特征向量。
(1.6)在训练过程中融合多尺度的训练方法。
在实际道路监控场景中,不同类型车辆之间的大小差距较大,同时车辆距离监控摄像头的距离也是随机的,导致车辆在尺度上面的差距很大,为了使得模型具有更好的泛化特性,采用多尺度的训练方法。具体地,采用如下方式进行。首先将训练集中的图像保持长宽比不变的情况下缩放到不同的尺度,其中短边对应的长度分别是350,400,450,500。在训练过程中,每次迭代都随机将图像缩放到某一个尺度,缩放之后采用(1.5)中的方法产生候选区域。
(1.7)利用标定的训练集生成车窗区域的正样本,反光区域的正样本,以及背景类三个类别,用于训练网络。
在确定网络结构以及训练集之后,采用批量梯度下降算法求解模型参数。在训练过程中,每次迭代,从训练集中选取两张图像,采用(1.6)中的方法进行随机缩放,采用(1.5)中的方法生成候选区域,将这些区域作为本次迭代计算误差的样本。下面介绍车窗类和反光区域类的样本定义,同样使用IoU作为评判标准,将候选区域中与任意一个类别的IoU高于0.7的作为两个类别的正样本,将与任意一个类别真实值的IoU小于0.3的都作为负样本,同时,根据正样本的数量,确定负样本的数量,正负样本数量的比例为1:3。具体地,当batch-size设置为128时,随机从候选区域中选取32个正样本,另外选取96个负样本。
其中IoU的计算方法下式所示:
IoU=(Bp∩Bgt)/(Bp∪Bgt)
其中,Bp表示候选区域,Bgt表示标定的区域。
(1.8)针对车窗以及反光区域单独训练SVM分类器,对车窗以及反光区域进行精确检测。在对网络参数优化之后,使用网络中第十层的神经元响应作为候选区域的特征,采用one-vs-all(一对多)的方法分别训练针对车窗以及反光区域的分类器,记作Cwin以及Cspe
具体地,Cwin的正样本是标定的车窗部分,与标定真实值的IoU在0.3以下的区域都被作为Cwin的负样本。同样地,Cspe的正样本是标定的反光部分,Cspe与标定真实值IoU在0.3以下的区域都被作为Cspe的负样本。
具体的训练流程如图1所示。
(2)在完成对图像中车窗以及车辆反光区域的检测之后,使用CNN提取车辆颜色特征。
(2.1)采用AlexNet作为颜色识别的CNN网络结构。网络结构如表格4所示。
表格4 AlexNet网络结构参数
网络使用目标函数形式如下所示:
Lcls(p,k*,θ)=-logpk*+Σθ2
其中θ为卷积神经网络的参数,p=(p0,…,pK)是指在前向过程中网络对每个样本预测其属于某一类的概率值,其中K=7,指车辆的七种颜色。
(2.2)在求解模型参数时,使用批量随机梯度下降法训练模型。
具体地,首先从caffe zoo上下载已经在Image-Net上面训练完成的模型进行优化,在优化过程中,固定网络的前两层卷积层参数,只对后面的网络结构进行优化。具体的参数更新公式如下所示。
&theta; * = &theta; - &eta; * V &theta; L c l s ( &theta; ; x ( i : i + n ) , y ( i : i + n ) )
其中θ指模型参数,x(i:i+n)是指训练样本集中第i个下标开始选择的n个样本,y(i :i+n)为这n个样本对应的标记。
(2.3)对数据集进行预处理,该模块中包含了两个部分,一是车窗检测以及反光区域检测,二是使用高斯核对图像进行处理,最后是将所有的图像缩放到统一尺度。
具体地,首先使用(1)中的生成的车窗检测器以及反光检测器对训练图像进行检测,得到处理后的图像。
由于颜色特征是不需要纹理特征的,所以将图像输入到网络中之前,采用高斯模糊对图像进行处理,减少图像的纹理信息,使得网络更加关注颜色空间的信息。具体地,采用3*3大小的Gaussian核对训练集中的图像数据进行模糊处理。
同时,考虑到AlexNet是单尺度的识别模型,所以需要将图像缩放到统一大小,具体地,在本发明中将图像统一缩放到255*255。在训练过程中使用大小为227*227的窗口进行截图操作,分别截取图像的左上,左下,正中间,右上,右下用于训练模型。
(2.5)使用经过预处理之后的图像训练CNN模型。
(3)结合主识别区域以及辅助识别区域的颜色特征,训练分类器识别机动车颜色。
(3.1)采用selective search以及滑窗法产生图像中的候选区域。
具体地,先使用selective search(选择性搜索)算法,滑窗法产生候选区域,记作P={p1,p2,…,pn},其中pi=(x,y,h,w)。
(3.2)利用检测模块对图像进行检测,检测出图像中的车窗部分以及反光的区域。
具体地,先使用车窗分类器Cwin对P进行检测得到区域然后使用反光区域检测器Cspe进行检测,得到区域集合其中nspe+nwin<n。
(3.3)对检测出来的区域进行融合。
由于在本发明中采用了两种区域生成方法,特别地,针对车窗区域的检测,会有冗余信息,即在中nwin≥1,所以需要对其中冗余的窗口区域进行合并,在合并完成之后,得到最终的区域合集Pwin′={p1}。
(3.4)生成主线索区域,以及辅助识别区域。
在(3.3)中确定了车辆的车窗区域,以及车辆的反光区域,为了不损失反光区域中的颜色信息,同样使用在(2)中训练的卷积神经网络对这些区域提取特征,具体的操作方式为如下所述,将图像中Pspe以外的区域利用训练集中的均值进行填充,得到辅助识别区域图Mspe。同样的将图像中Pspe,Pwin区域利用训练集中的均值进行填充,即可得到主线索区域图Mmain
均值的求解方式如下式所示:
m e a n = &Sigma; i = 1 N Image i / N
其中Imagei是指第i张图像,由于所有的训练图像均已进行缩放,所以最后得到的mean为一个大小为255*255*3矩阵。
(3.5)采用Gaussian核对(3.4)中的图像进行模糊处理,降低图像中的噪点。
具体地,使用大小为3*3的核分别对图像Mspe和Mmain进行模糊处理。
(3.6)将图像Mspe和Mmain送入CNN网络中,将其最后一层的全连接层的响应作为颜色特征,分别得到特征Fspe,Fmain,将这两个特征拼接在一起,得到最终的颜色向量Ffinal,具体到本发明中,该向量长度为8192维。
(3.7)将(3.6)中得到的特征结合训练集中图像的标记训练softmax分类器,作为颜色分类器。
本发明的完整步骤如附图5所示,
(1)测试图像指包含完整车辆的整车车辆。
(2)selective search(选择性搜索)算法和滑窗法为候选区域生成算法,对应步骤(1.5)。
(3)生成主线索区域以及辅助线索区域对应步骤(3.4)。
(4)使用高斯核对图像进行模糊处理对应步骤(3.5)。
(5)使用alexnet对两张图提取颜色特征对应步骤(3.6)。
(6)使用softmax分类器进行分类得到车辆颜色的最终类别,对应步骤(3.7)。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (8)

1.一种基于区域辨别的车辆颜色识别方法,其特征在于:使用检测出的整车图像作为输入,采用深度学习算法框架,经过车辆颜色区域辨别、车辆颜色特征提取和车辆颜色判断各步骤处理之后,输出待识别车辆的颜色类别;所述车辆颜色区域辨别,是将整车图像中依据颜色信息量辨别出整车图像中颜色识别的主线索区域、辅助识别区域及无关区域,并通过对这些区域的准确检测,分别提取车辆颜色特征,以实现对车辆颜色的准确识别。
2.根据权利要求1所述的基于区域辨别的车辆颜色识别方法,其特征在于:所述主线索区域、辅助识别区域,以及无关线索区域,指整车图像中包含不同颜色信息量的区域,无关线索区域是指车辆的车窗部分,该无关线索区域在整车图像中的占比大,但是不包含任何车辆颜色信息,辅助识别区域是指车辆表面的反光区域,主线索区域是指在整车图像中除了无关区域以及辅助识别区域以外的部分,这部分区域中颜色信息丰富,与车体颜色的相关度高。
3.根据权利要求1所述的基于区域辨别的车辆颜色识别方法,其特征在于:采用多尺度检测方法和多区域检测方法,辨别出整车图像中颜色识别的主线索区域、辅助识别区域,以及无关区域。
4.根据权利要求3所述的基于区域辨别的车辆颜色识别方法,其特征在于:所述多尺度检测方法将SPP-net作为检测的网络结构,利用其中的多尺度特征池化层完成不同尺度区域的特征提取并且进行归一化。
5.根据权利要求3所述的基于区域辨别的车辆颜色识别方法,其特征在于:所述多区域检测方法采用selective search算法和滑窗法作为提取候选区域的算法,利用车窗的长宽比作为先验知识,设置滑窗的大小,可以有效的提取车窗区域,通过结合两种候选区域生成的算法,有效地克服了车窗区域以及反光区域在形状、大小,以及颜色信息上的差异,实现了多种类型区域的同时提取。
6.根据权利要求1所述的基于区域辨别的车辆颜色识别方法,其特征在于:所述车辆颜色特征提取采用卷积神经网络自动生成颜色特征,针对颜色识别这个特定任务训练卷积神经网络模型,使用卷积神经网络分别对车辆的主线索区域和辅助区域提取颜色特征。
7.根据权利要求6所述的基于区域辨别的车辆颜色识别方法,其特征在于:在使用卷积神经网络处理输入之前,利用高斯核对区域图像进行预处理,降低卷积神经网络网络对于纹理信息的响应,提升了卷积神经网络对于颜色信息的针对性。
8.根据权利要求1所述的基于区域辨别的车辆颜色识别方法,其特征在于:所述的车辆颜色判断采用特征融合的方法综合利用主线索区域以及辅助识别区域的颜色特征作为车辆颜色判断的依据,具体地,将主线索区域的特征与辅助识别区域的特征进行拼接,作为整车图像最终的颜色特征,通过采用特征融合的方法,结合主线索区域以及辅助识别区域的颜色信息,可以有效地应对辅助识别区域在不同光照情况造成的颜色信息损失,当辅助识别区域由于反光严重丢失较多颜色信息时,主线索区域部分的颜色特征将起到决定性的作用,当辅助识别区域的反光情况不严重时,辅助识别区域部分的特征也会对车辆颜色的分类产生影响,有助于提升车辆颜色判断的准确率。
CN201610727814.4A 2016-08-25 2016-08-25 一种基于区域辨别的车辆颜色识别方法 Pending CN106326893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610727814.4A CN106326893A (zh) 2016-08-25 2016-08-25 一种基于区域辨别的车辆颜色识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610727814.4A CN106326893A (zh) 2016-08-25 2016-08-25 一种基于区域辨别的车辆颜色识别方法

Publications (1)

Publication Number Publication Date
CN106326893A true CN106326893A (zh) 2017-01-11

Family

ID=57791562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610727814.4A Pending CN106326893A (zh) 2016-08-25 2016-08-25 一种基于区域辨别的车辆颜色识别方法

Country Status (1)

Country Link
CN (1) CN106326893A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897747A (zh) * 2017-02-28 2017-06-27 深圳市捷顺科技实业股份有限公司 一种基于卷积神经网络模型鉴别车辆颜色的方法及装置
CN106909943A (zh) * 2017-02-28 2017-06-30 深圳市捷顺科技实业股份有限公司 一种基于卷积神经网络模型鉴别车辆颜色的方法及装置
CN106971556A (zh) * 2017-05-16 2017-07-21 中山大学 基于双网络结构的卡口车辆重识别方法
CN106991428A (zh) * 2017-02-24 2017-07-28 中国科学院合肥物质科学研究院 基于自适应池化模型的害虫图像识别方法
CN107067011A (zh) * 2017-03-20 2017-08-18 北京邮电大学 一种基于深度学习的车辆颜色识别方法与装置
CN107341798A (zh) * 2017-07-06 2017-11-10 西安电子科技大学 基于全局‑局部SPP Net的高分辨SAR图像变化检测方法
CN107358625A (zh) * 2017-06-12 2017-11-17 西安电子科技大学 基于SPP Net和感兴趣区域检测的高分辨SAR图像变化检测方法
CN107480676A (zh) * 2017-07-28 2017-12-15 浙江大华技术股份有限公司 一种车辆颜色识别方法、装置和电子设备
CN109190639A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种车辆颜色识别方法、装置及系统
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
CN109508720A (zh) * 2018-10-23 2019-03-22 高新兴科技集团股份有限公司 一种车辆颜色识别方法及装置
CN109635825A (zh) * 2018-12-19 2019-04-16 苏州市科远软件技术开发有限公司 车辆属性检测方法、装置及存储介质
CN109741406A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 一种监控场景下的车身颜色识别方法
CN110135456A (zh) * 2019-04-08 2019-08-16 图麟信息科技(上海)有限公司 一种目标检测模型的训练方法及装置
CN110188774A (zh) * 2019-05-27 2019-08-30 昆明理工大学 一种基于深度学习的电涡流扫描图像分类识别方法
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110569692A (zh) * 2018-08-16 2019-12-13 阿里巴巴集团控股有限公司 多车识别方法、装置及设备
CN110654237A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车体图标显示方法、装置、车辆和存储介质
CN111160476A (zh) * 2019-12-31 2020-05-15 佛山喀视科技有限公司 一种生成色差检测模型、瓷砖分色方法及装置
CN111368909A (zh) * 2020-03-03 2020-07-03 温州大学 一种基于卷积神经网络深度特征的车标识别方法
CN111985409A (zh) * 2020-08-21 2020-11-24 四川省人工智能研究院(宜宾) 一种用于实时街道场景分割的方法
CN112019827A (zh) * 2020-09-02 2020-12-01 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质
CN112016433A (zh) * 2020-08-24 2020-12-01 高新兴科技集团股份有限公司 一种基于深度神经网络的车辆颜色识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737221A (zh) * 2011-03-31 2012-10-17 北京汉王智通科技有限公司 车辆颜色的识别方法及装置
CN103996041A (zh) * 2014-05-15 2014-08-20 武汉睿智视讯科技有限公司 一种基于匹配的车辆颜色识别方法和系统
CN104134067A (zh) * 2014-07-07 2014-11-05 河海大学常州校区 基于智能视觉物联网的道路车辆监控系统
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN104680195A (zh) * 2015-03-27 2015-06-03 广州阳光耐特电子有限公司 一种自动识别道路卡口视频及图片中的车辆颜色的方法
CN105354530A (zh) * 2015-09-22 2016-02-24 浙江宇视科技有限公司 一种车身颜色识别方法及装置
WO2016054779A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737221A (zh) * 2011-03-31 2012-10-17 北京汉王智通科技有限公司 车辆颜色的识别方法及装置
CN103996041A (zh) * 2014-05-15 2014-08-20 武汉睿智视讯科技有限公司 一种基于匹配的车辆颜色识别方法和系统
CN104134067A (zh) * 2014-07-07 2014-11-05 河海大学常州校区 基于智能视觉物联网的道路车辆监控系统
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
WO2016054779A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing
CN104680195A (zh) * 2015-03-27 2015-06-03 广州阳光耐特电子有限公司 一种自动识别道路卡口视频及图片中的车辆颜色的方法
CN105354530A (zh) * 2015-09-22 2016-02-24 浙江宇视科技有限公司 一种车身颜色识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨峰: "基于支持向量机的车身颜色识别方法研究", 《中国优秀硕士学位论文全文数据库(工程科技II辑)》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991428A (zh) * 2017-02-24 2017-07-28 中国科学院合肥物质科学研究院 基于自适应池化模型的害虫图像识别方法
CN106897747A (zh) * 2017-02-28 2017-06-27 深圳市捷顺科技实业股份有限公司 一种基于卷积神经网络模型鉴别车辆颜色的方法及装置
CN106909943A (zh) * 2017-02-28 2017-06-30 深圳市捷顺科技实业股份有限公司 一种基于卷积神经网络模型鉴别车辆颜色的方法及装置
CN107067011A (zh) * 2017-03-20 2017-08-18 北京邮电大学 一种基于深度学习的车辆颜色识别方法与装置
CN107067011B (zh) * 2017-03-20 2019-05-03 北京邮电大学 一种基于深度学习的车辆颜色识别方法与装置
CN106971556A (zh) * 2017-05-16 2017-07-21 中山大学 基于双网络结构的卡口车辆重识别方法
CN107358625A (zh) * 2017-06-12 2017-11-17 西安电子科技大学 基于SPP Net和感兴趣区域检测的高分辨SAR图像变化检测方法
CN107341798A (zh) * 2017-07-06 2017-11-10 西安电子科技大学 基于全局‑局部SPP Net的高分辨SAR图像变化检测方法
CN107480676A (zh) * 2017-07-28 2017-12-15 浙江大华技术股份有限公司 一种车辆颜色识别方法、装置和电子设备
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
CN107480676B (zh) * 2017-07-28 2019-12-24 浙江大华技术股份有限公司 一种车辆颜色识别方法、装置和电子设备
US11069090B2 (en) 2017-07-28 2021-07-20 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110654237B (zh) * 2018-06-29 2022-02-08 比亚迪股份有限公司 车体图标显示方法、装置、车辆和存储介质
CN110654237A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车体图标显示方法、装置、车辆和存储介质
CN110569692A (zh) * 2018-08-16 2019-12-13 阿里巴巴集团控股有限公司 多车识别方法、装置及设备
CN110569692B (zh) * 2018-08-16 2023-05-12 创新先进技术有限公司 多车识别方法、装置及设备
CN109190639A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种车辆颜色识别方法、装置及系统
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109255052B (zh) * 2018-08-29 2022-03-25 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109508720A (zh) * 2018-10-23 2019-03-22 高新兴科技集团股份有限公司 一种车辆颜色识别方法及装置
CN109635825A (zh) * 2018-12-19 2019-04-16 苏州市科远软件技术开发有限公司 车辆属性检测方法、装置及存储介质
CN109741406A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 一种监控场景下的车身颜色识别方法
CN110135456A (zh) * 2019-04-08 2019-08-16 图麟信息科技(上海)有限公司 一种目标检测模型的训练方法及装置
CN110188774A (zh) * 2019-05-27 2019-08-30 昆明理工大学 一种基于深度学习的电涡流扫描图像分类识别方法
CN110188774B (zh) * 2019-05-27 2022-12-02 昆明理工大学 一种基于深度学习的电涡流扫描图像分类识别方法
CN111160476A (zh) * 2019-12-31 2020-05-15 佛山喀视科技有限公司 一种生成色差检测模型、瓷砖分色方法及装置
CN111368909A (zh) * 2020-03-03 2020-07-03 温州大学 一种基于卷积神经网络深度特征的车标识别方法
CN111985409B (zh) * 2020-08-21 2021-03-16 四川省人工智能研究院(宜宾) 一种用于实时街道场景分割的方法
CN111985409A (zh) * 2020-08-21 2020-11-24 四川省人工智能研究院(宜宾) 一种用于实时街道场景分割的方法
CN112016433A (zh) * 2020-08-24 2020-12-01 高新兴科技集团股份有限公司 一种基于深度神经网络的车辆颜色识别方法
CN112019827A (zh) * 2020-09-02 2020-12-01 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106326893A (zh) 一种基于区域辨别的车辆颜色识别方法
CN106373394B (zh) 一种基于视频和雷达的车辆检测方法及系统
CN106228125B (zh) 基于集成学习级联分类器的车道线检测方法
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN110155053A (zh) 提供用于驾驶车辆的信息的方法和设备
CN110097109A (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN109359684A (zh) 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN108460328A (zh) 一种基于多任务卷积神经网络的套牌车检测方法
CN107633220A (zh) 一种基于卷积神经网络的车辆前方目标识别方法
CN110033002A (zh) 基于多任务级联卷积神经网络的车牌检测方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN107886080A (zh) 一种泊车位检测方法
CN102855500A (zh) 一种基于Haar和HoG特征的前车检测方法
CN106446834A (zh) 一种基于图像的车型识别方法及装置
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
CN107194343B (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN106257490A (zh) 检测行驶车辆信息的方法及系统
CN106778633B (zh) 一种基于区域分割的行人识别方法
CN107273832A (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN109902610A (zh) 交通标志识别方法和装置
CN108985145A (zh) 小尺寸交通标志检测识别的反向连接深度神经网络模型方法
CN106250824A (zh) 车窗定位方法和系统
KR20200039548A (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
CN110197494A (zh) 一种基于单目红外图像的受电弓接触点实时检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111

RJ01 Rejection of invention patent application after publication