CN107480676A - 一种车辆颜色识别方法、装置和电子设备 - Google Patents

一种车辆颜色识别方法、装置和电子设备 Download PDF

Info

Publication number
CN107480676A
CN107480676A CN201710631848.8A CN201710631848A CN107480676A CN 107480676 A CN107480676 A CN 107480676A CN 201710631848 A CN201710631848 A CN 201710631848A CN 107480676 A CN107480676 A CN 107480676A
Authority
CN
China
Prior art keywords
vehicle
convolution
roi region
subregion
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710631848.8A
Other languages
English (en)
Other versions
CN107480676B (zh
Inventor
付建海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201710631848.8A priority Critical patent/CN107480676B/zh
Publication of CN107480676A publication Critical patent/CN107480676A/zh
Priority to EP18839321.9A priority patent/EP3625761B1/en
Priority to PCT/CN2018/086456 priority patent/WO2019019772A1/en
Priority to US16/718,304 priority patent/US11069090B2/en
Application granted granted Critical
Publication of CN107480676B publication Critical patent/CN107480676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本发明公开了一种车辆颜色识别方法、装置和电子设备,所述方法,包括:获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;以及从所述车辆ROI区域提取至少一个车辆子区域;并分别提取各个车辆子区域的特征信息,以及提取所述车辆ROI区域的特征信息;根据所述车辆ROI区域的特征信息和各个车辆子区域的特征信息,利用预设分类器获得所述待识别车辆的车辆颜色。采用本发明提供的方法,即使在天气、光照等环境不好或车牌遮挡时,也能准确识别车辆颜色。

Description

一种车辆颜色识别方法、装置和电子设备
技术领域
本发明涉及模式识别与机器学习技术领域,尤其涉及一种车辆颜色识别方法、装置和电子设备。
背景技术
随着社会经济的快速发展,辅助驾驶和无人驾驶逐渐进入了人们的生活当中。在安防领域和智慧城市中,对视频序列的内容分析有着至关重要的作用,其中对车辆属性的识别尤其重要。然而在实际场景中,由于车牌遮挡或车辆没有车牌或车辆存在一车多牌情况等导致车辆的车牌信息无法识别时,车辆颜色识别对于车辆的分析可以起到事半功倍的效果,且车辆颜色对于案件侦查和套牌识别等起着至关重要的作用。
现有的车辆颜色识别方法需要在特定条件下识别出的车辆颜色效果较好,受条件限制。
例如,基于色差的车辆颜色识别算法,该方法主要将RGB(Red,Green,Blue;红,绿,蓝)空间转换到HIS(Hue,Intensity,Saturation;色调,强度,饱和度)空间然后在HIS空间计算色差值,确定颜色表中查找到的色差值最小对应的颜色为车辆颜色识别结果;该方法只有在光线较好的情况下,如白天场景且没有较大干扰的情况下,可以获得较好的车辆颜色识别结果。但实际应用场景中,由于实际条件的影响,识别结果将会差。
再比如,基于色度信息和SVM(Support Vector Machine,支持向量机)的识别算法,识别原理为:首先将RGB空间转换到LAB和HSV(Hue,Saturation,Value;色调,饱和度,亮度)空间,然后分别利用色度信息的颜色进行合并,分别在不同的特征颜色区间进行SVM分类和最近邻分类识别,最终得到车身颜色识别结果,该方法可以提高车辆颜色识别结果的准确率,但只适用于小轿车类别,对应一些大型卡车和货车识别效果特别差。
再者,基于车牌位置区域定位车盖区域和车灯附件区域分块策略,该方法首先根据车牌定位技术确定车牌的坐标位置信息,如宽和高等信息;然后在车牌上方检测代表车身颜色的车盖区域,并通过量化的矢量颜色空间计算直方图特征,再结合SVM特征识别方法获得车辆颜色识别结果。此方法缺点为:必须依赖车牌信息,对于车牌信息遮挡或没有车牌的情况,该方法无法有效识别车辆颜色。
综上可知,现有的车辆颜色识别方法受光照、天气和车牌遮挡等因素影响,导致车辆颜色识别结果不佳,因此,如何在不受环境的限制,准确识别车辆颜色是亟待解决的技术问题之一。
发明内容
本发明实施例提供一种车辆颜色识别方法、装置和电子设备,用以解决现有技术中由于受光照、天气和车牌遮挡等因素影响而导致的车辆颜色识别结果准确率低的问题。
第一方面,本发明实施例提供一种车辆颜色识别方法,包括:
获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;以及
从所述车辆ROI区域提取至少一个车辆子区域;并
提取各个车辆子区域的特征信息并获得各个车辆子区域的特征向量,以及提取所述车辆ROI区域的特征信息并获得所述车辆ROI区域的特征向量;
根据所述车辆ROI区域的特征向量和各个车辆子区域的特征向量,利用预设分类器获得所述待识别车辆的车辆颜色。
第二方面,一种车辆颜色识别装置,包括:
获取单元,用于获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;
第一提取单元,用于从所述车辆ROI区域提取至少一个车辆子区域;
第二提取单元,提取各个车辆子区域的特征信息并获得各个车辆子区域的特征向量,以及提取所述车辆ROI区域的特征信息并获得所述车辆ROI区域的特征向量;
获得单元,用于根据所述车辆ROI区域的特征向量和各个车辆子区域的特征向量,利用预设分类器获得所述待识别车辆的车辆颜色。
第三方面,本发明实施例提供一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行本申请提供的车辆颜色识别方法。
第四方面,本发明实施例提供一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请提供的车辆颜色识别方法。
第五方面,本发明实施例提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被计算机执行时,使所述计算机执行本申请提供的车辆颜色识别方法。
本发明有益效果:
本发明实施例提供实施例提供一种车辆颜色识别方法、装置和电子设备,获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;以及从所述车辆ROI区域提取至少一个车辆子区域;并分别提取各个车辆子区域的特征信息,以及提取所述车辆ROI区域的特征信息;根据所述车辆ROI区域的特征信息和各个车辆子区域的特征信息,利用预设分类器获得所述待识别车辆的车辆颜色。采用本发明实施例提供的方法,通过获取待识别车辆的ROI区域的特征信息和各个车辆子区域的特征信息,进而根据各个区域的特征信息确定待识别车辆的车辆颜色,即使车牌遮挡或天气状况不佳,也能较好且准确地识别车辆颜色。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1a为本发明实施例一提供的车辆颜色识别方法的流程示意图;
图1b-1为本发明实施例一提供的车辆子区域的示意图之一;
图1b-2为本发明实施例一提供的车辆子区域的示意图之二;
图1c为本发明实施例一提供的获得该车辆子区域的特征向量的方法的流程示意图;
图1d为本发明实施例一提供的获得所述车辆ROI区域的特征向量的方法的流程示意图;
图1e为本发明实施例一提供的获得待识别车辆的车辆颜色的方法的流程示意图;
图2为本发明实施例二提供的车辆颜色识别装置的结构示意图;
图3为本发明实施例四提供的实施车辆颜色识别方法的电子设备的硬件结构示意图。
具体实施方式
本发明实施例提供一种车辆颜色识别方法、装置和电子设备,用以解决现有技术中由于受光照、天气和车牌遮挡等因素影响而导致的车辆颜色识别结果准确率低的问题。
以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1a所示,为本发明实施例一提供的车辆颜色识别方法的流程示意图,可以包括以下步骤:
S11、获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域。
其中,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域。
具体实施时,在从监控到的图像中获取所述待识别车辆的ROI(Region ofInterset,感兴趣区域)区域时,可以利用车辆检测和定位技术,从图像中检测并识别出图像中包含的车辆区域,即车辆ROI区域,具体地,可以利用检测和定位技术获取车辆ROI区域的顶点坐标(如左上角顶点坐标),然后按照按经验确定出图像中待识别车辆的高和宽(x,y,width,height;顶点横坐标,顶点纵坐标,车辆ROI区域宽度,车辆ROI区域高度),由此可以获得待识别车辆在所述图像中的车辆ROI区域。
较佳地,所述车辆检测和定位技术为深度学习算法,可以但不限于包括以下至少一种:SSD(Single Shot MultiBox Detector,单镜多检测器)、YOLO(Real-Time ObjectDetection,实时对象检测)、Faster-rcnn和R-FCN检测算法等。
具体实施时,以SSD为例进行说明,在利用SSD算法从图像中提取所述待识别车辆的车辆ROI区域时之前,可以利用大量的包含车辆区域的样本训练SSD模型,然后利用训练好的SSD模型提取所述车辆ROI区域,需要确定所述车辆ROI区域在所述图像中的顶点坐标(如左上角顶点坐标(x,y)),然后再根据大量实验结果得出的经验值确定所述车辆ROI区域在所述图像中的宽度和高度,最终提取出所述车辆ROI区域。
具体实施时,由于获取到的图像可能为YUV(Luminance,Chrominance;亮度,色度)格式,为了较准确的获得车辆颜色识别结果,本发明实施例在执行步骤S11时,可以按照下述方法对所述图像执行如下处理:
首先,将所述监控到的图像的格式转换为红绿蓝RGB格式。
具体实施时,将所述YUV格式的图像转换为RGB格式的图像。
其次,从所述RGB格式的图像中获取所述待识别车辆的车辆ROI区域。
然后再从所述RGB格式的图像中获取所述车辆的ROI区域,由此再执行后续步骤时能够更好的得到所述待识别车辆的车辆颜色。
S12、从所述车辆ROI区域中提取至少一个车辆子区域。
较佳地,如果确定出所述车辆ROI区域包含车盖区域和/或保险杠区域,则从所述车辆ROI区域中提取车盖区域和/或保险杠区域,其中所述车盖区域包括前车盖区域或后车盖区域,所述保险杠区域包括前保险杠区域或后保险杠区域,参考图1b-1和图1b-2所示。
具体实施时,图1b-1中标号为“1”的为前车盖区域,标号为“2”的为前保险杠区域;图1b-2中标号为“1”的为后车盖区域,标号为“2”的为后保险杠区域。
具体实施时,从所述车辆ROI区域中提取车盖区域或保险杠区域时,也可以利用SSD(Single Shot MultiBox Detector,单镜多检测器)、YOLO(Real-Time ObjectDetection,实时对象检测)、Faster-rcnn和R-FCN检测算法等方法提取车盖区域或保险杠区域。
具体地,在利用SSD提取前车盖区域时,可以利用大量包含前车盖区域的车辆ROI区域样本训练SSD模型,待SSD模型训练好后,在从待识别车辆的ROI区域提取前车盖区域时,直接利用训练好的SSD模型提取,同样需要确定前车盖区域的顶点坐标(x,y),然后根据经验值确定出前车盖区域的在所述车辆ROI区域中的宽度和高度,基于此提取出所述前车盖区域。
同理,可以分别训练提取后车盖区域、前保险杠区域和后保险杠区域的SSD模型,然后利用训练好的方法提取各个区域。
此外,本发明实施例一中从所述车辆ROI区域中提取车辆子区域的优势在于处理速度快,一般情况下也可以直接从所述图像中提取车辆子区域,如保险杠区域,但从所述图像中提取保险杠区域时是基于一个比较大的图像,如图像大小为1000*1000,需要训练从图像中提取保险杠区域的SSD模型,耗费时间较大且识别结果不佳。因此,本发明提出先从所述图像中提取所述车辆的ROI区域,所述车辆ROI区域相对于保险杠区域是比较大的区域,识别效果较好;然后再在所述车辆ROI区域的基础上,训练从车辆ROI区域提取保险杠区域的模型,其训练速度相比从图像中训练提取保险杠区域的模型要快的多,且提取速度相对从所述图像中提取保险杠区域要快得多,以及提取效果要好得多。
具体地,在从车辆ROI区域提取若干个车辆子区域时,可以将天气等因素考虑进行,如考虑光照因素的影响。光照较强时,对于车辆高反光情况,车盖区域最容易反光,而保险杠区域不容易反光,且在夜晚时保险杠区域反光程度也不大,因此,当所述车辆ROI区域包含保险杠区域时,可以将保险杠区域从所述车辆ROI区域提取出来,利用保险杠区域识别待识别车辆颜色时,效果会更好更准确;
此外,对于分层颜色的车辆,有些有不同颜色组合的车辆,如图1b-2所示,图1b-2中车辆由绿色和银色组合得到,标号为“1”的区域颜色为绿色,标号为“2”的区域颜色为银色。即图1b-2中车辆的保险杠区域的颜色明显不同于车盖区域和车顶区域的颜色,因此,在对该车辆颜色进行识别时,从所述车辆ROI区域中提取保险杠区域是十分有必要的,利用保险杠区域、车盖区域和所述车辆ROI区域可以较好地识别出该车辆的车辆颜色为银-绿颜色组合色。
另外,虽然光照较强时车盖区域反光程度较大,但车盖区域为体现车辆颜色的关键区域,因此选取车盖区域来识别待识别车辆颜色也是有必要的,因此如果确定出所述车辆ROI区域包含车盖区域时,则从所述ROI区域提取出车盖区域,将其与提取的保险杠区域和所述车辆ROI区域相结合,获取待识别车辆的车辆颜色,选取保险杠区域弥补了车盖区域的反光不足,再结合所述图像中包含的所述待识别车辆的全部区域,由此可以使得最终确定出的待识别车辆的车辆颜色更加准确。
需要说明的是,由于本发明提供的车辆颜色识别方法常应用于监控领域,在对待识别车辆进行监控时,一个摄像头通常只能拍摄到待识别车辆的前部或后部区域,也就是说,当车辆驶入监控区时,监控系统中设置的前摄像头通常只能拍摄到待识别车辆的、包含前保险杠区域、前车盖区域等车辆前部区域;监控系统中设置的后摄像头通常只能拍摄到待识别车辆的、包含后保险杠区域、后车盖区域等车辆后部区域,也就是说,监控到的图像中不可能同时拍摄到前车盖区域和后车盖区域,同样也不可能同时拍摄到前保险杠区域和后保险杠区域。
因此,在从所述车辆ROI区域中提取的若干个车辆子区域,只可能同时提取前车盖区域和前保险杠区域,或后车盖区域和后保险杠区域等。
S13、分别提取各个车辆子区域的特征信息,以及提取所述车辆ROI区域的特征信息。
具体实施时,在提取步骤S13各个车辆子区域的特征信息,具体包括:
针对每一车辆子区域,利用该车辆子区域对应的特征提取模型,提取该车辆子区域的特征信息,并获得该车辆子区域的特征向量;
具体地,如果从步骤S12中提取的车辆子区域包括前车盖区域和前保险杠区域,则需要利用车盖区域对应的特征提取模型提取车盖区域的特征信息,由保险杠区域对应的特征提取模型提取保险杠区域的特征信息。
较佳地,可以预先设置好各种特征提取模型,当确定出提取的车辆子区域属于哪一个时,则将其直接输入到对应的特征提取模型中。然后由相应的特征提取模型提取该车辆子区域的特征信息并组成该车辆子区域的特征向量。
具体地,可以按照图1c所示的方法获得该车辆子区域的特征向量,包括以下步骤:
S21、根据该车辆子区域的像素值组成的像素矩阵和第一预设数量的卷积核,确定执行相应次数的卷积处理后得到的该车辆子区域的池化矩阵。
具体地,在获取该车辆子区域的特征向量时,其执行卷积处理的所述次数与第一预设数量相同,以及在执行任一次卷积处理时,可以按照下述方法执行:
以执行第N次卷积处理为例进行说明,执行过程如下:
首先,对第N-1次卷积处理得到的卷积矩阵执行下采样处理,得到第N次卷积对应的下采样矩阵。
其次,利用第N个卷积核对第N次卷积对应的下采样矩阵执行第N次卷积处理得到第N次卷积处理的卷积矩阵;
其中,N为介于2与第一预设数量之间的整数,当N为2时,第1次卷积处理得到的卷积矩阵为利用第一个卷积核对所述车辆子区域的像素矩阵执行卷积处理得到的;当N等于第一预设数量时,第N次卷积处理得到的卷积矩阵为该车辆子区域的池化矩阵。
具体实施时,以车辆子区域为前保险杠区域为例进行说明,在进行第一次卷积时,利用第一个卷积核对所述前保险杠区域的像素值组成的像素矩阵执行第一次卷积处理得到第一次卷积处理得到的卷积矩阵,然后对第一次卷积处理得到的卷积矩阵执行下采样处理,例如第一次卷积处理得到的卷积矩阵为8*8的矩阵,执行下采样处理后得到4*4的矩阵等,具体做何种下采样处理根据实际需要而定。在执行第一次下采样处理后,利用第二个卷积核对下采样处理得到的第二次卷积对应的下采样矩阵执行第二次卷积处理,得到第二次卷积处理的卷积矩阵,然后再按照上述方法利用第N个卷积核对第N次卷积对应的下采样矩阵执行第N次卷积处理得到第N次卷积处理的卷积矩阵,直至N等于第一预设数量,由此最终得到前保险杠区域的池化矩阵,所述池化矩阵的维数与提取的特征向量的维数相同,如所述池化矩阵的维数可以为8*8。
同理,可以按照上述确定前保险杠区域的池化矩阵的方法,确定前车盖区域的池化矩阵,或者确定后保险杠区域的池化矩阵和后车盖区域的池化矩阵等。
具体实施时,在提取车辆子区域的特征信息时,获得的池化矩阵的维数可能没有达到预设维数,为了能够达到预设维数,可以利用空间金字塔对上述池化矩阵执行池化处理得到预设维数的特征。
具体地,所述第一预设数量由工作人员根据经验确定,此外,所述第一预设数量还根输出的行向量的维数有关,行向量的维数越大,第一预设数量越大,具体根据实际情况确定。
S22、对该车辆子区域的池化矩阵进行全连接处理得到相同维数的、该车辆子区域的行向量。
具体实施时,由于所述前保险杠区域的池化矩阵为8*8矩阵,而输入到分类器中的矩阵应该是行向量,因此需要将所述前保险杠区域的池化矩阵执行全连接处理,得到所述前保险杠区域的行向量,即将8*8矩阵执行全连接处理后,得到一个1*64的矩阵,也即行向量。
同理,对前车盖区域的池化矩阵也执行全连接处理得到前车盖区域对应的池化矩阵。
S23、确定该车辆子区域的行向量为该车辆子区域的特征向量。
较佳地,所述车辆子区域的特征向量可以但不限于为64维。
具体地,在利用各个车辆子区域对应的特征提取模型提取各个车辆子区域的信息并组成特征向量时,将各个车辆子区域的像素值组成的像素矩阵分别输入到各个车辆子区域分别对应的特征提取模型中,然后各自的特征提取模型按照步骤S21~S23的方法提取各个车辆子区域的特征信息并获得各个子区域的特征向量。
例如,将前保险杠区域的像素矩阵输入到前保险杠区域对应的特征提取模型中,所述特征提取模型为神经网络特征提取模型,神经网络中各个层对应各个卷积核,执行卷积处理和下采样处理,在执行第一预设数量次的卷积处理得到第一预设数量次卷积的卷积矩阵时,即所述前保险杠区域的池化矩阵时,利用全连接层将所述池化矩阵进行处理输出预设维数的特征向量,即所述前保险杠区域的特征向量。
较佳地,所述特征提取模型可以但不限于包括以下至少一种:Lenet、Alexne、GoogleNet系列、VGG16层和VGG19层和Deep Residual Learning及其变形等。
此外,车辆子区域的特征提取模型为预先训练好的,训练过程大致为:以前保险杠区域为例进行说明,首先选取大量前保险杠区域样本,然后可以用批量梯度下降法得到前保险杠区域的特征提取模型,在训练前保险杠区域的特征提取模型时,相当于求解模型中的除输入和输出值以外的其它参数值,如权重值。例如,首先,根据任一个前保险杠区域样本,利用前向传导计算神经网络中所有激活值以及输出值,然后针对神经网络中任一层的每一个节点,计算各个节点的残差,该残差表明了该节点对最终输出值的残差的影响程度;对于最终的输出节点,可以计算出神经网络产生的输出值与样本实际输出值之间的差距,利用此差距进行校正。对于神经网络中各个隐藏层,基于每一层计算得到的各个节点的残差进行加权平均处理,获得每一层的残差,然后执行反向传导,也即针对要求解的各个参数求偏导数,即可得到各个参数值,将求得的各参数值代入到特征提取模型中,即可得到训练好的、前保险杠区域的特征提取模型。
基于同样的训练过程,可以得到前车盖区域、后车盖区域或后保险杠区域的特征提取模型。
根据前保险杠区域样本获得代价函数,该代价函数包含两项,一项为均方差项,另一项为规则化项,该规则化项也称作权值衰减项,用于减少权重的幅度,防止过度拟合。
较佳地,在提取步骤S13中所述车辆ROI区域的特征信息,具体包括:
利用所述车辆ROI区域对应的特征提取模型,提取所述车辆ROI区域的特征信息并获得所述车辆ROI区域的特征向量。
具体实施时,所述车辆ROI区域的特征提取模型与所述车辆子区域的特征提取模型可以相同,也可以不同,本发明实施例对此不进行限定。
此外,即使特征提取模型相同,如都采用Lenet模型,但由于训练特征提取模型的区域不同,如训练车辆ROI区域对应的特征提取模型时,是利用图像中包含的车辆全部区域训练的,而训练车辆子区域对应的特征提取模型时,是根据从车辆全部区域中提取的车辆子区域训练得到的,特征提取模型中的参数取值可能不同,例如采用的卷积核可能不同等,由此训练得到的Lenet特征提取模型也不同。
具体地,可以按照图1d所示的流程获得所述车辆ROI区域的特征向量,包括以下步骤:
S31、根据所述车辆ROI区域的像素值组成的像素矩阵和第二预设数量的卷积核,确定执行相应次数的卷积处理后得到的所述车辆ROI区域的池化矩阵。
具体地,在获取所述车辆ROI区域的特征向量时,其执行卷积处理的次数与第二预设数量相同,以及在执行任一次卷积处理时,可以按照下述方法执行:
以执行第N次卷积处理为例进行说明,执行过程如下:
首先,对第N-1次卷积处理得到的卷积矩阵执行下采样处理,得到第N次卷积对应的下采样矩阵。
其次,利用第N个卷积核对第N次卷积对应的下采样矩阵执行第N次卷积处理得到第N次卷积处理的卷积矩阵;
其中,N为介于2与第二预设数量之间的整数,当N为2时,第1次卷积处理得到的卷积矩阵为利用第一个卷积核对所述车辆ROI区域的像素矩阵卷积处理得到的;当N等于第二预设数量时,第N次卷积处理得到的卷积矩阵为所述车辆ROI区域的池化矩阵。
具体实施时,提取所述车辆ROI区域的特征向量的过程与上述提取前保险杠区域的特征向量的方法相同,可以参考提取前保险杠区域的特征向量的过程,重复之处不再赘述。
具体地,所述第二预设数量可以与第一预设数量相同,也可不同,具体由工作人员根据经验确定,此外,所述第二预设数量还根输出的行向量的维数有关,行向量的维数越大,第二预设数量越大,具体根据实际情况确定。
S32、对所述车辆ROI区域的池化矩阵进行全连接处理得到相同维数的、所述车辆ROI区域的行向量。
具体实施时,参考步骤S22的描述,重复之处步骤赘述。
S33、确定所述车辆ROI区域的行向量为所述车辆ROI区域的特征向量。
较佳地,所述车辆ROI区域的特征向量可以但不限于为64维。
具体实施时,在利用车辆ROI区域的特征提取模型提取特征向量时,将所述车辆ROI区域的像素矩阵输入到特征提取模型中,然后执行第二预设数量次的卷积处理得到所述车辆ROI区域的池化矩阵。需要说明的是,本次卷积处理后得到的卷积矩阵执行下采样处理后,将下采样得到的矩阵作为下一次卷积处理的输入,直至卷积次数达到第二预设数量。当执行第二预设数量的卷积处理得到第二预设数量对应的卷积矩阵后,将其输入至全连接层,然后全连接层输出的即为所述车辆ROI区域的特征向量。
具体实施时,所述车辆ROI区域的特征提取模型为提取训练好的,具体训练过程可参见前述前保险杠区域的特征模型训练过程,重复之处不再赘述。
本发明实施例通过提取车辆ROI区域和若干个车辆子区域的特征信息,将整体特征和局部特征相结合,有效克服了整图强光照的干扰,尤其适用于出租车等车身颜色分段的车辆。基于此利用卷积神经网络特取各个区域的特征信息,针对不同的区域采用不同的网络结构可以提取不同的特征,由此实现整体特征和局部特征的融合,有效提高模型的鲁棒性。此外,由于提取的车辆子区域为保险杠区域和车盖区域,使得融合后的网络仍保持较小的模型,在准确率和速度方面进行了有效平衡,能够较好地应用于辅助驾驶中。
S14、根据所述车辆ROI区域的特征向量和各个车辆子区域的特征向量,利用预设分类器获得所述待识别车辆的车辆颜色。
在通过执行步骤S21~S23和步骤S31~S33得到所述车辆子区域的特征向量和所述车辆ROI区域的特征向量后,将其输入到预设分类器中,从预设分类器中输出各个颜色对应的置信度值,根据所述置信度值即可确定待识别车辆的车辆颜色。
具体地,所述预设分类器为预先训练好的,具体利用大量车辆样本来输入到分类器中,由此可以确定分类器中权重值,基于此得到训练好的分类器,后续详细介绍之。
较佳地,所述预设分类器可以但不限于为:SVM分类器、贝叶斯分类器、决策树分类器和softmax分类器等。
具体实施时,在根据步骤S14获得待识别车辆的车辆颜色时,可以按照图1e所示的方法执行,可以包括以下步骤:
S141、将所述车辆ROI区域的特征向量与各个车辆子区域的特征向量进行特征融合,得到所述待识别车辆的特征向量。
具体实施时,以车辆子区域包含前保险杠区域和前车盖区域为例进行说明,将所述车辆ROI区域的特征向量、前保险杠区域的特征向量和前车盖区域的特征向量分别看作三个盒子,然后将这三个盒子随机排序,排序后得到的组合即为所述待识别车辆的特征向量。
例如,所述车辆ROI区域的特征向量、前保险杠区域的特征向量和前车盖区域的特征向量分别为I1、I2和I3,这三个特征向量的维数均为64维,则将其进行特征融合,得到的所述待识别车辆的特征向量可以为I=[I2,I1,I3],其维数为192维。
S142、根据所述待识别车辆的特征向量,利用所述预设分类器分别确定所述预设分类器中存储的各颜色的置信度值。
具体地,将192维的特征向量输入到所述预设分类器中,由于所述预设分类器为预先训练好的,如可以将市面上销售的车的颜色输入到预设分类器中进行训练,每一颜色训练出一个模型,可以理解为每一颜色对应一个公式,然后将待识别车辆的特征向量输入到各个颜色对应的公式中,确定出各个公式的输出值,即得到各个颜色对应的置信度值。
较佳地,所述预设分类器存储的各颜色为单色或组合色。
由于输入分分类器的颜色可能为组合色,如银绿色,则采用当待识别车辆为银绿色时,能够较准确的确定出待识别车辆的车辆颜色。也就是说本发明提供的方法不仅能识别单色车辆颜色,还能够较准确地识别出车辆颜色为组合色的车辆。
S143、将置信度取值最大的颜色确定为所述待识别车辆的车辆颜色。
当步骤S142确定出分类器中存储的各个颜色对应的置信度值时,将置信度取值最大对应的颜色确定为待识别车辆的车辆颜色。
具体地,在利用预设分类器确定分类器中存储的各颜色的置信度值时,可以以支持向量机SVM为例进行说明。
需要说明的是,SVM算法的基本原理是:基于统计学习理论对数据进行分类预测。致力于寻找结构化风险最小进一步提高学习机的泛化能力,从而达到经验风险和置信范围的最小化,最终使得在统计样本量比较少的情况下,也能够获得良好的学习效果。本发明实施例一采用的SVM算法可以为非线性的支持向量机。即:将核函数应用到SVM算法中,首先使用一个变换将线性不可分的数据从原来空间映射到一个新的高维空间将数据变成线性可分,然后在新的高维空间里使用线性分类的方法学习训练数据的规律。将核函数应用在SVM中,就是使用一个非线性的变换将原来的输入空间-欧式空间Rn映射到一个新的特征空间-希尔伯特空间H,这样就可以是在原来空间里面的超曲面变成在新的希尔伯特空间中的超平面。
具体地,本发明实施例一中提供的核函数可以为高斯核函数等。当然还可以采用多项式核函数,将其应用到SVM算法中确定待识别车辆的车辆颜色,具体可以利用公式(1)提供的方法确定SVM分类器中存储的任一颜色的置信度值:
其中,N表示所述待识别车辆的特征向量的维数,如N可以为192,ai *表示最优拉格朗日乘子向量,b*表示最优超平面截距,yi为设定值,取值为{-1,+1}。
式中,K(x,z)为高斯核函数,表达式参考公式(2)所示:
公式(1)和公式(2)中x表示所述待识别车辆的特征向量;f(x)表示分类器中存储的任一颜色对应的置信度值,z表示所述待识别车辆的特征信息的均值;σ表示所述待识别车辆的特征信息的标准差。
需要说明的是,针对SVM分类器中存储的各个颜色,公式(1)和公式(2)中的ai *、b*和yi的值可能不同。也就是说,可以将SVM分类器看做由各种颜色对应的模型构成,然后将所述待识别车辆的特征向量输入到SVM分类器中时,将其分别输入到各种颜色对应的模型中,然后得到各个颜色对应的置信度值,进而得到待识别车辆的车辆颜色。
此外,SVM分类器中各个颜色对应的模型也是预先训练好的,在未训练时,SVM各个模型即公式(1)和公式(2)都相同,只是公式中参数值未知,训练过程即为确定公式中参数的过程。具体训练过程大致如下:
在特征提取模型训练好之后,针对任一颜色,预先利用该颜色对应的大量样本,提取各个样本的特征信息得到特征向量,然后将特征向量输入到SVM分类器中该颜色对应的模型中,由此获得该颜色对应的模型的参数值,将参数值代入到上述公式中,即可得到该颜色对应的模型。
同理,按照上述方法,可以分别训练得到各个颜色对应的模型。
本发明实施例一提供的SVM分类器中预先输入的颜色可以为单色,也可以为组合色,例如,输入SVM分类器中的颜色可以但不限于为:黑色、白色、黄色、红色、绿色、橙色、灰色、粉-紫色、银-绿色、银色和棕色等。只要市面上出售的车辆颜色都可以输入到本发明提供的SVM分类器中,对这些颜色分别进行训练并得到这些颜色对应的SVM模型,进而利用本发明提供的方法确定车辆颜色,通用性较强,且识别车辆颜色速度也较快。
本发明实施例一提供的车辆颜色识别方法,在获取到监控到的图像中包含的待识别车辆的ROI区域后,从所述车辆ROI区域提取若干个车辆子区域,为了较准确地确定出待识别车辆的车辆颜色,可以从ROI区域中提取车盖区域和保险杠区域,然后对利用车辆ROI区域对应的特征提取模型提取车辆ROI区域的特征信息并获得车辆ROI区域的特征向量,并利用保险杠区域和车盖区域分别对应的特征提取的模型,提取车盖区域的特征信息并获得车盖区域的特征向量,及提取保险杠区域的特征信息并获得保险杠区域的特征向量;在获得这三个特征向量后,对这三个特征向量进行特征融合即可得到待识别车辆的特征向量,然后将待识别车辆的特征向量输入至预设分类器中,根据输入的待识别车辆的特征向量确定预设分类器中存储的各颜色的置信度值,将置信度值取值最大对应的颜色确定为待识别车辆的车辆颜色,由此采用不同的特征提取模型提取各区域的特征信息,不仅可以快速获得待识别车辆的车辆颜色,同时可以提高识别出的车辆颜色的准确性;此外,由于预设分类器中存储的颜色可以为组合色,因此本发明实施例提供的方法可以较准确的识别出组合色的车辆,可以更好地应用到辅助驾驶中和车辆智能监控系统中,快速实现车辆颜色的自动识别。
实施例二
基于同一发明构思,本发明实施例中还提供了一种车辆颜色识别装置,由于上述装置解决问题的原理与车辆颜色识别方法相似,因此上述装置的实施可以参见方法的实施,重复之处不再赘述。
如图2所示,为本发明实施例二提供的车辆颜色识别装置的结构示意图,包括:获取单元21、第一提取单元22、第二提取单元23和获得单元24,其中:
获取单元21,用于获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;
第一提取单元22,用于从所述车辆ROI区域提取至少一个车辆子区域;
第二提取单元23,分别提取各个车辆子区域的特征信息,以及提取所述车辆ROI区域的特征信息;
获得单元24,用于根据所述车辆ROI区域的特征信息和各个车辆子区域的特征信息,利用预设分类器获得所述待识别车辆的车辆颜色。
具体实施时,所述第一提取单元22,具体用于如果确定出所述车辆ROI区域包含车盖区域和/或保险杠区域,则从所述车辆ROI区域提取车盖区域和/或保险杠区域,其中所述车盖区域包括前车盖区域或后车盖区域,所述保险杠区域包括前保险杠区域或后保险杠区域。
较佳地,所述获取单元21,具体用于将所述监控到的图像的格式转换为红绿蓝RGB格式;并从所述RGB格式的图像中获取所述待识别车辆的车辆ROI区域。
较佳地,所述第二提取单元23,具体用于针对每一车辆子区域,利用该车辆子区域对应的特征提取模型,提取该车辆子区域的特征信息,并获得该车辆子区域的特征向量;以及利用所述车辆ROI区域对应的特征提取模型,提取所述车辆ROI区域的特征信息,并获得所述车辆ROI区域的特征向量。
进一步地,所述第二提取单元23,具体用于根据该车辆子区域的像素值组成的像素矩阵和第一预设数量的卷积核,确定执行相应次数的卷积处理后得到的该车辆子区域的池化矩阵;并对该车辆子区域的池化矩阵进行全连接处理得到相同维数的、该车辆子区域的行向量;确定该车辆子区域的行向量为该车辆子区域的特征向量;以及还用于根据所述车辆ROI区域的像素值组成的像素矩阵和第二预设数量的卷积核,确定执行相应次数的卷积处理后得到的所述车辆ROI区域的池化矩阵;并对所述车辆ROI区域的池化矩阵进行全连接处理得到相同维数的、所述车辆ROI区域的行向量;确定所述车辆ROI区域的行向量为所述车辆ROI区域的特征向量。
进一步地,所述第二提取单元23,具体用于针对第N次卷积处理,执行以下过程:对第N-1次卷积处理得到的卷积矩阵执行下采样处理,得到第N次卷积对应的下采样矩阵;并利用第N个卷积核对第N次卷积对应的下采样矩阵执行第N次卷积处理得到第N次卷积处理的卷积矩阵;其中,N为介于2与第一预设数量之间的整数,或者介于2与第二预设数量之间的整数,当N为2时,第1次卷积处理得到的卷积矩阵为利用第一个卷积核对所述车辆子区域的像素矩阵或所述车辆ROI区域的像素矩阵执行卷积处理得到的;当N等于第一预设数量时,第N次卷积处理得到的卷积矩阵为该车辆子区域的池化矩阵或当N等于第二预设数量时,第N次卷积处理得到的卷积矩阵为所述车辆ROI区域的池化矩阵。
较佳地,所述获得单元24,具体用于将所述车辆ROI区域的特征向量与各个车辆子区域的特征向量进行特征融合,得到所述待识别车辆的特征向量;并根据所述待识别车辆的特征向量,利用所述预设分类器分别确定所述预设分类器中存储的各颜色的置信度值;将置信度取值最大的颜色确定为所述待识别车辆的车辆颜色。
较佳地,所述预设分类器存储的各颜色为单色或组合色。
为了描述的方便,以上车辆颜色识别装置的各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
实施例三
本申请实施例三提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的车辆颜色识别方法。
实施例四
图3是本发明实施例四提供的实施车辆颜色识别方法的电子设备的硬件结构示意图,如图3所示,该电子设备包括:
一个或多个处理器310以及存储器320,图3中以一个处理器310为例。
执行车辆颜色识别方法的电子设备还可以包括:输入装置330和输出装置340。
处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接,图3中以通过总线连接为例。
存储器320作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的车辆颜色识别方法对应的程序指令/模块/单元(例如,附图2所示的获取单元21、第一提取单元22、第二提取单元23和获得单元24)。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块/单元,从而执行服务器或者智能终端的各种功能应用以及数据处理,即实现上述方法实施例车辆颜色识别方法。
存储器320可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据车辆颜色识别装置的使用所创建的数据等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器320可选包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络连接至车辆颜色识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可接收输入的数字或字符信息,以及产生与车辆颜色识别装置的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器320中,当被所述一个或者多个处理器310执行时,执行上述任意方法实施例中的车辆颜色识别方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
实施例五
本申请实施例五提供了一种计算机程序产品,其中,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被计算机执行时,使所述计算机执行本申请上述方法实施例中任一项车辆颜色识别方法。
本申请的实施例所提供的车辆颜色识别装置可通过计算机程序实现。本领域技术人员应该能够理解,上述的模块划分方式仅是众多模块划分方式中的一种,如果划分为其他模块或不划分模块,只要车辆颜色识别装置具有上述功能,都应该在本申请的保护范围之内。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (19)

1.一种车辆颜色识别方法,其特征在于,包括:
获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;以及
从所述车辆ROI区域中提取至少一个车辆子区域;并
分别提取各个车辆子区域的特征信息,以及提取所述车辆ROI区域的特征信息;
根据所述车辆ROI区域的特征信息和各个车辆子区域的特征信息,利用预设分类器获得所述待识别车辆的车辆颜色。
2.如权利要求1所述的方法,其特征在于,从所述车辆ROI区域提取若干个车辆子区域,具体包括:
如果确定出所述车辆ROI区域包含车盖区域和/或保险杠区域,则从所述车辆ROI区域中提取车盖区域和/或保险杠区域,其中所述车盖区域包括前车盖区域或后车盖区域,所述保险杠区域包括前保险杠区域或后保险杠区域。
3.如权利要求1所述的方法,其特征在于,获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,具体包括:
将所述监控到的图像的格式转换为红绿蓝RGB格式;并
从所述RGB格式的图像中获取所述待识别车辆的车辆ROI区域。
4.如权利要求1所述的方法,其特征在于,分别提取各个车辆子区域的特征信息,具体包括:
针对每一车辆子区域,利用该车辆子区域对应的特征提取模型,提取该车辆子区域的特征信息,并获得该车辆子区域的特征向量;
提取所述车辆ROI区域的特征信息,具体包括
利用所述车辆ROI区域对应的特征提取模型,提取所述车辆ROI区域的特征信息,并获得所述车辆ROI区域的特征向量。
5.如权利要求4所述的方法,其特征在于,针对每一车辆子区域,利用该车辆子区域对应的特征提取模型,提取该车辆子区域的特征信息,并获得该车辆子区域的特征向量,具体包括:
根据该车辆子区域的像素值组成的像素矩阵和第一预设数量的卷积核,确定执行相应次数的卷积处理后得到的该车辆子区域的池化矩阵;并
对该车辆子区域的池化矩阵进行全连接处理得到相同维数的、该车辆子区域的行向量;
确定该车辆子区域的行向量为该车辆子区域的特征向量;以及
利用所述车辆ROI区域对应的特征提取模型,提取所述车辆ROI区域的特征信息并获得所述车辆ROI区域的特征向量,具体包括:
根据所述车辆ROI区域的像素值组成的像素矩阵和第二预设数量的卷积核,确定执行相应次数的卷积处理后得到的所述车辆ROI区域的池化矩阵;并
对所述车辆ROI区域的池化矩阵进行全连接处理得到相同维数的、所述车辆ROI区域的行向量;
确定所述车辆ROI区域的行向量为所述车辆ROI区域的特征向量。
6.如权利要求5所述的方法,其特征在于,根据该车辆子区域的像素值组成的像素矩阵和第一预设数量的卷积核,确定执行相应次数的卷积处理后得到的该车辆子区域的池化矩阵,或者根据所述车辆ROI区域的像素值组成的像素矩阵和第二预设数量的卷积核,确定执行相应次数的卷积处理后得到的所述车辆ROI区域的池化矩阵,具体包括:
针对第N次卷积处理,执行以下过程:
对第N-1次卷积处理得到的卷积矩阵执行下采样处理,得到第N次卷积对应的下采样矩阵;并
利用第N个卷积核对第N次卷积对应的下采样矩阵执行第N次卷积处理得到第N次卷积处理的卷积矩阵;
其中,N为介于2与第一预设数量之间的整数,或者介于2与第二预设数量之间的整数,当N为2时,第1次卷积处理得到的卷积矩阵为利用第一个卷积核对所述车辆子区域的像素矩阵或所述车辆ROI区域的像素矩阵执行卷积处理得到的;当N等于第一预设数量时,第N次卷积处理得到的卷积矩阵为该车辆子区域的池化矩阵或当N等于第二预设数量时,第N次卷积处理得到的卷积矩阵为所述车辆ROI区域的池化矩阵。
7.如权利要求4所述的方法,其特征在于,根据所述车辆ROI区域的特征信息和各个车辆子区域的特征信息,利用预设分类器确定所述待识别车辆的车辆颜色,具体包括:
将所述车辆ROI区域的特征向量与各个车辆子区域的特征向量进行特征融合,得到所述待识别车辆的特征向量;并
根据所述待识别车辆的特征向量,利用所述预设分类器分别确定所述预设分类器中存储的各颜色的置信度值;
将置信度取值最大的颜色确定为所述待识别车辆的车辆颜色。
8.如权利要求6所述的方法,其特征在于,所述预设分类器存储的各颜色为单色或组合色。
9.一种车辆颜色识别装置,其特征在于,包括:
获取单元,用于获取监控到的图像中包含的待识别车辆的车辆感兴趣ROI区域,所述车辆ROI区域为所述图像包含的所述待识别车辆的全部区域;
第一提取单元,用于从所述车辆ROI区域提取至少一个车辆子区域;
第二提取单元,分别提取各个车辆子区域的特征信息,以及提取所述车辆ROI区域的特征信息;
获得单元,用于根据所述车辆ROI区域的特征信息和各个车辆子区域的特征信息,利用预设分类器获得所述待识别车辆的车辆颜色。
10.如权利要求9所述的装置,其特征在于,
所述第一提取单元,具体用于如果确定出所述车辆ROI区域包含车盖区域和/或保险杠区域,则从所述车辆ROI区域提取车盖区域和/或保险杠区域,其中所述车盖区域包括前车盖区域或后车盖区域,所述保险杠区域包括前保险杠区域或后保险杠区域。
11.如权利要求9所述的装置,其特征在于,
所述获取单元,具体用于将所述监控到的图像的格式转换为红绿蓝RGB格式;并从所述RGB格式的图像中获取所述待识别车辆的车辆ROI区域。
12.如权利要求9所述的装置,其特征在于,
所述第二提取单元,具体用于针对每一车辆子区域,利用该车辆子区域对应的特征提取模型,提取该车辆子区域的特征信息,并获得该车辆子区域的特征向量;以及利用所述车辆ROI区域对应的特征提取模型,提取所述车辆ROI区域的特征信息,并获得所述车辆ROI区域的特征向量。
13.如权利要求12所述的装置,其特征在于,
所述第二提取单元,具体用于根据该车辆子区域的像素值组成的像素矩阵和第一预设数量的卷积核,确定执行相应次数的卷积处理后得到的该车辆子区域的池化矩阵;并对该车辆子区域的池化矩阵进行全连接处理得到相同维数的、该车辆子区域的行向量;确定该车辆子区域的行向量为该车辆子区域的特征向量;以及还用于根据所述车辆ROI区域的像素值组成的像素矩阵和第二预设数量的卷积核,确定执行相应次数的卷积处理后得到的所述车辆ROI区域的池化矩阵;并对所述车辆ROI区域的池化矩阵进行全连接处理得到相同维数的、所述车辆ROI区域的行向量;确定所述车辆ROI区域的行向量为所述车辆ROI区域的特征向量。
14.如权利要求13所述的装置,其特征在于,
所述第二提取单元,具体用于针对第N次卷积处理,执行以下过程:对第N-1次卷积处理得到的卷积矩阵执行下采样处理,得到第N次卷积对应的下采样矩阵;并利用第N个卷积核对第N次卷积对应的下采样矩阵执行第N次卷积处理得到第N次卷积处理的卷积矩阵;其中,N为介于2与第一预设数量之间的整数,或者介于2与第二预设数量之间的整数,当N为2时,第1次卷积处理得到的卷积矩阵为利用第一个卷积核对所述车辆子区域的像素矩阵或所述车辆ROI区域的像素矩阵执行卷积处理得到的;当N等于第一预设数量时,第N次卷积处理得到的卷积矩阵为该车辆子区域的池化矩阵或当N等于第二预设数量时,第N次卷积处理得到的卷积矩阵为所述车辆ROI区域的池化矩阵。
15.如权利要求12所述的装置,其特征在于,
所述获得单元,具体用于将所述车辆ROI区域的特征向量与各个车辆子区域的特征向量进行特征融合,得到所述待识别车辆的特征向量;并根据所述待识别车辆的特征向量,利用所述预设分类器分别确定所述预设分类器中存储的各颜色的置信度值;将置信度取值最大的颜色确定为所述待识别车辆的车辆颜色。
16.如权利要求15所述的装置,其特征在于,所述预设分类器存储的各颜色为单色或组合色。
17.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令用于执行如权利要求1至8任一权利要求所述的方法。
18.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8任一权利要求所述的方法。
19.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被计算机执行时,使所述计算机执行如权利要求1至8任一权利要求所述的方法。
CN201710631848.8A 2017-07-28 2017-07-28 一种车辆颜色识别方法、装置和电子设备 Active CN107480676B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710631848.8A CN107480676B (zh) 2017-07-28 2017-07-28 一种车辆颜色识别方法、装置和电子设备
EP18839321.9A EP3625761B1 (en) 2017-07-28 2018-05-11 Systems and methods for image processing
PCT/CN2018/086456 WO2019019772A1 (en) 2017-07-28 2018-05-11 SYSTEMS AND METHODS FOR IMAGE PROCESSING
US16/718,304 US11069090B2 (en) 2017-07-28 2019-12-18 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710631848.8A CN107480676B (zh) 2017-07-28 2017-07-28 一种车辆颜色识别方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN107480676A true CN107480676A (zh) 2017-12-15
CN107480676B CN107480676B (zh) 2019-12-24

Family

ID=60597822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710631848.8A Active CN107480676B (zh) 2017-07-28 2017-07-28 一种车辆颜色识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN107480676B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171141A (zh) * 2017-12-25 2018-06-15 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
CN109948671A (zh) * 2019-03-04 2019-06-28 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备
CN110569693A (zh) * 2018-08-16 2019-12-13 阿里巴巴集团控股有限公司 车体颜色识别方法及装置
CN110569692A (zh) * 2018-08-16 2019-12-13 阿里巴巴集团控股有限公司 多车识别方法、装置及设备
CN111209878A (zh) * 2020-01-10 2020-05-29 公安部户政管理研究中心 跨年龄人脸识别方法及装置
CN113139409A (zh) * 2020-01-20 2021-07-20 浙江宇视科技有限公司 车辆识别方法、装置、设备及存储介质
CN116563770A (zh) * 2023-07-10 2023-08-08 四川弘和数智集团有限公司 车辆颜色的检测方法、装置及设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091232A1 (en) * 2001-11-13 2003-05-15 Nokia Corporation Method and system for improving color images
US20060291746A1 (en) * 2005-06-21 2006-12-28 Samsung Electronics Co., Ltd. Method of and apparatus for removing color noise based on correlation between color channels
US20090129695A1 (en) * 2007-11-15 2009-05-21 Aldrich Bradley C Method and system for noise management for spatial processing in digital image/video capture systems
CN101466046A (zh) * 2007-12-21 2009-06-24 三星Techwin株式会社 用于去除图像信号的颜色噪声的方法和设备
US20100141809A1 (en) * 2007-08-13 2010-06-10 Olympus Corporation Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method
CN102156964A (zh) * 2011-03-31 2011-08-17 杭州海康威视软件有限公司 彩色图像去噪声的方法及其系统
CN102750671A (zh) * 2011-09-28 2012-10-24 新奥特(北京)视频技术有限公司 一种图像彩色噪声去除方法
CN106326893A (zh) * 2016-08-25 2017-01-11 安徽水滴科技有限责任公司 一种基于区域辨别的车辆颜色识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091232A1 (en) * 2001-11-13 2003-05-15 Nokia Corporation Method and system for improving color images
US20060291746A1 (en) * 2005-06-21 2006-12-28 Samsung Electronics Co., Ltd. Method of and apparatus for removing color noise based on correlation between color channels
US20100141809A1 (en) * 2007-08-13 2010-06-10 Olympus Corporation Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method
US20090129695A1 (en) * 2007-11-15 2009-05-21 Aldrich Bradley C Method and system for noise management for spatial processing in digital image/video capture systems
CN101466046A (zh) * 2007-12-21 2009-06-24 三星Techwin株式会社 用于去除图像信号的颜色噪声的方法和设备
CN102156964A (zh) * 2011-03-31 2011-08-17 杭州海康威视软件有限公司 彩色图像去噪声的方法及其系统
CN102750671A (zh) * 2011-09-28 2012-10-24 新奥特(北京)视频技术有限公司 一种图像彩色噪声去除方法
CN106326893A (zh) * 2016-08-25 2017-01-11 安徽水滴科技有限责任公司 一种基于区域辨别的车辆颜色识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
US11069090B2 (en) 2017-07-28 2021-07-20 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN108171141A (zh) * 2017-12-25 2018-06-15 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法
CN108171141B (zh) * 2017-12-25 2020-07-14 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法
CN110569693A (zh) * 2018-08-16 2019-12-13 阿里巴巴集团控股有限公司 车体颜色识别方法及装置
CN110569692A (zh) * 2018-08-16 2019-12-13 阿里巴巴集团控股有限公司 多车识别方法、装置及设备
CN109948671A (zh) * 2019-03-04 2019-06-28 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备
CN109948671B (zh) * 2019-03-04 2021-11-30 腾讯医疗健康(深圳)有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备
CN111209878A (zh) * 2020-01-10 2020-05-29 公安部户政管理研究中心 跨年龄人脸识别方法及装置
CN113139409A (zh) * 2020-01-20 2021-07-20 浙江宇视科技有限公司 车辆识别方法、装置、设备及存储介质
CN116563770A (zh) * 2023-07-10 2023-08-08 四川弘和数智集团有限公司 车辆颜色的检测方法、装置及设备和介质
CN116563770B (zh) * 2023-07-10 2023-09-29 四川弘和数智集团有限公司 车辆颜色的检测方法、装置及设备和介质

Also Published As

Publication number Publication date
CN107480676B (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN107480676A (zh) 一种车辆颜色识别方法、装置和电子设备
US10636169B2 (en) Synthesizing training data for broad area geospatial object detection
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
EP3289529B1 (en) Reducing image resolution in deep convolutional networks
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN109740413A (zh) 行人重识别方法、装置、计算机设备及计算机存储介质
CN109492638A (zh) 文本检测方法、装置及电子设备
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
Qu et al. A pedestrian detection method based on yolov3 model and image enhanced by retinex
CN106934396A (zh) 一种车牌检索方法及系统
CN108830199A (zh) 识别交通灯信号的方法、装置、可读介质及电子设备
CN106683046A (zh) 用于警用无人机侦察取证的图像实时拼接方法
CN106250838A (zh) 车辆识别方法及系统
CN112070729A (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN113569667A (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
Shopa et al. Traffic sign detection and recognition using OpenCV
Doi et al. The effect of focal loss in semantic segmentation of high resolution aerial image
CN116385896A (zh) 一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质
CN114170532A (zh) 一种基于困难样本迁移学习的多目标分类方法和装置
CN109816001A (zh) 一种基于深度学习的车辆多属性识别方法、装置和设备
CN115984226A (zh) 绝缘子缺陷检测方法、设备、介质及程序产品
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
Yi et al. Research on Underwater small target Detection Algorithm based on improved YOLOv7
CN112508863B (zh) 一种基于rgb图像和msr图像双通道的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant