CN109145759B - 车辆属性识别方法、装置、服务器及存储介质 - Google Patents
车辆属性识别方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN109145759B CN109145759B CN201810828675.3A CN201810828675A CN109145759B CN 109145759 B CN109145759 B CN 109145759B CN 201810828675 A CN201810828675 A CN 201810828675A CN 109145759 B CN109145759 B CN 109145759B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- attribute
- model
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请公开了一种车辆属性识别方法、装置、服务器及存储介质,属于车辆识别领域。该方法包括:获取车辆图像;从车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的车辆局部图像对应不同的车辆部位;将车辆整体图像输入第一车辆属性识别模型,得到第一识别结果,第一车辆属性识别模型根据样本车辆整体图像训练生成;将车辆局部图像输入对应的第二车辆属性识别模型,得到第二识别结果,第二车辆属性识别模型根据样本车辆局部图像训练生成,第一车辆属性识别模型和第二车辆属性识别模型用于识别同一车辆属性;根据第一识别结果和至少一条第二识别结果确定目标车辆属性。本申请采用模型融合的方式识别车辆属性,提高了车辆属性的识别准确性。
Description
技术领域
本申请实施例涉及车辆识别技术领域,特别涉及一种车辆属性识别方法、装置、服务器及存储介质。
背景技术
随着人工智能(Artificial Intelligence,AI)技术的不断成熟,越来越多场景下开始借助AI技术进行车辆属性识别。比如,在实拍场景下借助AI技术识别实拍图像中车辆的颜色、车型、车系等车辆属性。
在一种车辆属性识别方法中,开发人员首先为样本车辆图像设置车辆属性标签,然后采用基于神经网络的深度学习算法,训练出多个用于识别不同车辆属性的车辆属性识别模型,比如分别训练出车辆品牌识别模型、车辆车型识别模型和车辆车系识别模型等等。后续进行车辆属性识别时,将车辆图像输入各个车辆属性识别模型后即可得到相应的车辆属性信息。
然而,采用上述方法识别车辆属性时,对于车系这类复杂的车辆属性,仅使用单一车辆属性识别模型进行识别,车辆属性的识别准确率较低。
发明内容
本申请实施例提供了一种车辆属性识别方法、装置、服务器及存储介质,可以解决相关技术中对于车系这类复杂的车辆属性,仅使用单一车辆属性识别模型进行识别,车辆属性的识别准确率较低的问题。所述技术方案如下:
一方面,提供了一种车辆属性识别方法,所述方法包括:
获取车辆图像;
从所述车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的所述车辆局部图像对应不同的车辆部位;
将所述车辆整体图像输入第一车辆属性识别模型,得到第一识别结果,所述第一车辆属性识别模型根据样本车辆整体图像训练生成;
将所述车辆局部图像输入对应的第二车辆属性识别模型,得到第二识别结果,所述第二车辆属性识别模型根据样本车辆局部图像训练生成,所述第一车辆属性识别模型和所述第二车辆属性识别模型用于识别同一车辆属性,且不同的第二车辆属性识别模型对应不同的车辆部位;
根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性。
另一方面,提供了一种车辆属性识别装置,所述装置包括:
图像获取模块,用于获取车辆图像;
提取模块,用于从所述车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的所述车辆局部图像对应不同的车辆部位;
第一识别模块,用于将所述车辆整体图像输入第一车辆属性识别模型,得到第一识别结果,所述第一车辆属性识别模型根据样本车辆整体图像训练生成;
第二识别模块,用于将所述车辆局部图像输入对应的第二车辆属性识别模型,得到第二识别结果,所述第二车辆属性识别模型根据样本车辆局部图像训练生成,所述第一车辆属性识别模型和所述第二车辆属性识别模型用于识别同一车辆属性,且不同的第二车辆属性识别模型对应不同的车辆部位;
确定模块,用于根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性。
另一方面,提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如上述方面所述的车辆属性识别方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如上述方面所述的车辆属性识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
在模型训练阶段,利用样本车辆整体图像、样本车辆局部图像以及对应的车辆属性标签,训练出多个同于识别同一车辆属性的车辆属性识别模型;后续进行车辆图像进行识别时,将从车辆图像中提取到的车辆整体图像和车辆局部图像输入对应的车辆属性识别模型,并对多个车辆属性识别模型输出的识别结果进行融合,确定出目标车辆属性。相较于相关技术中训练并使用单一模型进行车辆属性识别,本申请实施例中基于多个维度的训练样本训练多个识别同一车辆属性的模型,并采用模型融合的方式进行车辆属性识别,增加了车辆属性的识别维度,进而提高了车辆属性的识别准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例提供的实施环境的示意图;
图2是本申请实施例中模型训练以及属性识别过程的原理示意图;
图3示出了本申请一个实施例提供的车辆属性识别方法中模型训练阶段的流程图;
图4是根据第一样本车辆图像生成样本车辆整车图像和样本车辆局部图像的示意图;
图5示出了本申请另一个实施例提供的车辆属性识别方法中模型训练阶段的流程图;
图6是训练第一车辆属性识别模型的流程图;
图7是训练第一车辆属性识别模型的实施示意图;
图8是训练第二车辆属性识别模型的流程图;
图9是训练第三车辆属性识别模型的流程图;
图10是训练第三车辆属性识别模型的实施示意图;
图11示出了本申请一个实施例提供的车辆属性识别方法的流程图;
图12示出了本申请另一个实施例提供的车辆属性识别方法的流程图;
图13是车辆属性识别过程的实施示意图;
图14示出了本申请一个实施例提供的车辆属性识别装置的框图;
图15示出了本申请一个实施例提供的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的实施环境的示意图。该实施环境中包括终端110和服务器120。
终端110是具有图像采集功能的电子设备,该电子设备可以是配置有摄像头的智能手机、平板电脑、个人计算机,或者监控设备(比如智能摄像头或者道路监控探头)等等。图1中,终端110是设置有摄像头的手机。
可选的,终端110中安装有具有车辆识别功能的预设应用程序,或者,关注有提供车辆识别服务的社交账号(比如公众号),或者,运行有依赖于其它应用程序的小程序(miniprogram)(比如即时通信应用程序中的小程序)。当需要进行车辆属性识别时,终端110即启用摄像头进行图像采集。
终端110与服务器120之间通过有线或无线网络相连。
服务器120是一台服务器、若干台服务器构成的服务器集群或云计算中心。在一种可能的实施方式中,服务器120是终端110中预设应用程序的后台服务器、社交账号的后台服务器或者小程序的后台服务器。
可选的,服务器120中存储有用于识别不同车辆属性的车辆属性识别模型。如图1所示,服务器120中包含颜色车型识别模型121以及车系识别模型122和123。
在一种可能的应用场景下,如图1所示,终端110通过摄像头采集到车辆图像后,即将车辆图像发送至服务器120。服务器120对车辆图像进行预处理后,通过颜色车型识别模型121识别车辆的颜色和车型;同时,服务器分别通过车系识别模型122和车辆识别模型123识别车辆的车系,并对两个模型的识别结果进行融合。完成颜色、车型以及车系识别后,服务器120将车辆属性识别结果反馈给终端110,供其进行显示。
在另一种可能的应用场景下,当终端110具备图像处理功能时,对于采集到的车辆图像,终端110即在本地对车辆图像进行处理,并将处理后的车辆图像发送至服务器120,由服务器120进行车辆属性识别。
可选的,服务器120通过神经网络芯片实现车辆属性识别功能。
可选地,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
本申请各个实施例提供的车辆属性识别方法可以由服务器120独立执行,也可以由服务器120和终端110协同执行。为了方便表述,下述各个实施例以车辆属性识别方法用于服务器为例进行说明。
相关技术中,为了实现车辆属性识别,需要预先训练出用于识别不同属性的识别模型。比如,分别训练出颜色识别模型、车型识别模型和车系识别模型。后续进行车辆属性识别时,即将车辆图像分别输入上述识别模型,从而获取模型输出的各项车辆属性。
对于颜色、车型这类简单的车辆属性(仅包含数十种颜色和车型),使用单一识别模型即可得到较好的识别效果,但是对于车系这类复杂的车辆属性(可能包含数千种车系),使用单一识别模型进行属性识别的准确率较低。
为了提高车辆属性识别的准确率,如图2所示,本申请实施例中,在离线训练阶段,首先利用开源数据库或者网络爬虫工具获取开源数据和爬虫数据201,并采用人工标注的方式为开源数据和爬虫数据201设置车辆属性标签,从而生成训练数据202。对于生成的训练数据202,模型训练设备(可以是服务器)进一步对其进行预处理,从而得到颜色&车型训练集203(包含颜色标签和车型标签)、整车训练集204(包含车系标签的车辆整体图像)、局部训练集205(包含车系标签的车辆局部图像)。对于各个训练集,模型训练设备分别采用基于神经网络的深度学习算法进行模型训练,训练得到颜色车型识别模型206、第一车系识别模型207以及第二车系识别模型208。
在线识别阶段,识别设备(可以是服务器)通过接入层209获取到待识别的车辆图像210后,由预处理模块211对车辆图像210进行预处理,并进一步从预处理后车辆图像210中提取整车图像212和局部图像213。识别设备将整车图像212和局部图像213输入车系识别模型集合214中(包含第一车系识别模型207和第二车系识别模型208),由相应的识别模型进行车系识别,并对模型的识别结果进行融合。同时,识别设备将预处理后的车辆图像210输入颜色车型识别模型206,得到模型输出的颜色&车型215。根据最终得到的车系识别结果,识别设备基于品牌&车系数据库216,确定识别出车系对应的品牌,并根据车系&品牌217,对颜色&车型215进行修正,最终得到包含颜色、车型、车系的车辆属性识别结果。
下面采用示意性的实施例分别对识别模型训练以及车辆属性识别过程进行说明,其中,识别模型训练在车辆属性识别之前进行。
本申请实施例中提供的车辆属性的识别方法可以用于实拍场景、监控场景等等。下面结合不同的应用场景进行说明。
实拍场景
当应用于实拍场景时,可以将车辆属性的识别方法实现成为智能识车软件,并将智能识车软件安装在终端中。终端启用智能识车软件后,终端即通过摄像头采集车辆图像,并在本地或借助服务器对车辆图像进行车辆属性识别,并对识别出的车辆属性,以及车辆的相关信息(比如售价、评论、配置、经销商等等)进行显示。
监控场景
当应用于监控场景时,可以将车辆属性的识别方法实现成为一套车辆识别系统,并将该系统部署在监控服务器中。监控服务器通过监控设备(比如道路监控探头)采集车辆图像,并通过车辆识别系统对车辆图像中的车辆进行属性识别。借助该车辆识别系统可以实现车辆类型统计,或者,实现对指定车型、指定车系和/或指定颜色车辆的定位追踪,或者,套牌车辆识别。
当然,上述车辆属性的识别方法还可以用于其它需要进行车辆属性识别的应用场景,本申请实施例对此不做限定。
请参考图3,其示出了本申请一个实施例提供的车辆属性识别方法中模型训练阶段的流程图。本实施例以该方法应用于模型训练设备来举例说明,该模型训练设备可以是图1中的服务器120,也可以是其他具有较强计算能力的计算机,该方法可以包括以下几个步骤:
步骤301,获取第一样本车辆图像。
在一种可能的实施方式中,模型训练设备从开源的车辆图片数据库中,获取第一样本车辆图像;或者,模型训练设备通过网络爬虫工具,从网络中下载包含车辆的图片作为第一样本车辆图像;或者,模型训练设备从车辆视频中截取视频帧,作为第一样本车辆图像。本申请实施例并不对获取第一样本车辆图像的方式进行限定。
可选的,为了提高后续训练出模型的质量,获取到的第一样本车辆图像覆盖不同光照强度(比如包括晴天、阴天、雨天、夜间)、不同拍摄角度(比如正面拍摄、侧面拍摄、尾部拍摄等等)、不同清晰度(比如360P、480P、730P、1080P等等)。
步骤302,根据第一样本车辆图像生成样本车辆整体图像和至少一张样本车辆局部图像,不同的样本车辆局部图像对应不同的车辆部位。
由于第一样本车辆图像中除了包含车辆外,还可能包含其他干扰元素,比如行人、楼房、路灯等等,为了避免此类干扰元素对后续模型训练造成影响,模型训练设备对第一样本车辆图像进行预处理,提取出包含车辆影像的样本车辆整体图像。其中,样本车辆整体图像中包含车辆整体的图像。
在一种可能的实施方式中,模型训练设备将第一样本车辆图像输入车辆识别模型,从而根据车辆识别模型输出的车辆区域热图,从第一样本车辆图像中分割出样本车辆整体图像。在其他可能的实施方式中,也可以采用手动方式从第一样本车辆图像中分割出样本车辆整体图像,本申请实施例并不对此进行限定。
对于车系这类复杂的车辆属性,为了能够提供不同维度的训练样本供神经网络进行学习,模型训练设备进一步从第一样本车辆图像中提取出对应不同车辆部位的样本车辆局部图像。
其中,样本车辆局部图像中包含车辆指定部位的影像,该指定部位包括车脸、车尾、车门中的至少一种。相应的,该样本车辆局部图像可以包括样本车脸图像、样本车尾图像、样本车门图像中的至少一种。
在一种可能的实施方式中,对于每张第一样本车辆图像,标注人员手动标注出其中的车辆部位,以便模型训练设备根据标注信息生成样本车辆局部图像。其中,标注人员可以通过线框的方式标记出不同的车辆部位,模型训练设备即根据线框分为提取出对应的样本车辆局部图像。
示意性的,如图4所示,模型训练设备根据第一样本车辆图像41生成样本车辆整体图像42以及样本车辆车尾图像43。
可选的,模型训练设备将样本车辆整体图像添加到整车训练集中,将样本车辆局部图像添加到对应的局部训练集中(包括车脸训练集、车尾训练集、车门训练集等等)。
步骤303,根据样本车辆整体图像和车脸属性标签训练第一车辆属性识别模型。
可选的,采用人工标注的方式为生成的样本车辆整体图像和样本车辆局部图像设置车辆属性标签。该车辆属性标签用于指示图像中车辆的属性信息,且根据同一样本车辆图像生成的样本车辆整体图像和样本车辆局部图像具有相同的车辆属性标签。
可选的,该车辆属性标签包括颜色、车型、车系中的至少一种。比如,如图4所示,样本车辆整体图像42和样本车辆车尾图像43对应的车辆属性标签包括:红色(颜色)、中型车(车型)以及X350(车系)。
在一种可能的实施方式中,对于复杂车辆属性(比如车系),模型训练设备根据样本车辆整体图像及对应的车辆属性标签(车系标签),采用基于神经网络的深度学习算法训练第一车辆属性识别模型,其中,第一车辆属性识别模型用于根据输入的车辆整体图像输出车辆属性。
步骤304,根据样本车辆局部图像和属性标签训练第二车辆属性识别模型。
与上述步骤303相似的,模型训练设备根据样本车辆局部图像及对应的车辆属性标签(车系标签),采用基于神经网络的深度学习算法训练第二车辆属性识别模型,其中,第二车辆属性识别模型用于根据输入的车辆局部图像输出车辆属性,且第一车辆属性识别模型和第二车辆属性识别模型用于识别同一车辆属性(车系)。
可选的,对于简单车辆属性(比如颜色或车型),由于单一车辆属性识别模型就能够达到较好的识别效果,因此模型训练设备根据样本车辆整体图像及对应的车辆属性标签(颜色或车型),训练独立的车辆属性识别模型。
本申请实施例中,利用相同的源图像(即样本车辆图像)生成拥有不同语义(整车、车脸、车尾等等)的子图像(样本车辆整体图像和样本车辆局部图像),并针对各个语义的图像使用多个神经网络学习车辆属性特征,最终生成多个车辆属性识别模型。由于不同语义的子图像能够提供多维度的信息供神经网络学习,因此训练得到的多个车辆属性识别模型可以从不同维度进行车辆属性识别,实现了基于多模型融合的深度学习技术进行车辆属性识别模型训练。
综上所述,本申请实施例中,在模型训练阶段,基于样本车辆图像生成样本车辆整体图像以及不同车辆部位对应的样本车辆局部图像,并利用样本车辆整体图像、样本车辆局部图像以及对应的车辆属性标签,训练出多个同于识别同一车辆属性的车辆属性识别模型;后续进行车辆图像进行识别时,将从车辆图像中提取到的车辆整体图像和车辆局部图像输入对应的车辆属性识别模型,并对多个车辆属性识别模型输出的识别结果进行融合,确定出目标车辆属性。相较于相关技术中训练并使用单一模型进行车辆属性识别,本申请实施例中基于多个维度的训练样本训练多个识别同一车辆属性的模型,并采用模型融合的方式进行车辆属性识别,增加了车辆属性的识别维度,进而提高了车辆属性的识别准确性。
在一种可能的实施方式中,对于复杂车辆属性,模型训练设备训练多个用于识别复杂车辆属性的模型,以提高后续属性识别的准确率;对于简单车辆属性,模型训练设备采用多任务训练的方式训练单个识别模型,以便后续利用单个识别模型识别多种简单车辆属性,提高属性识别的效率。下面采用示意性的实施例进行说明。
步骤501,获取第一样本车辆图像。
步骤502,根据第一样本车辆图像生成样本车辆整体图像和至少一张样本车辆局部图像,不同的样本车辆局部图像对应不同的车辆部位。
上述步骤501至502的实施方式可以参考步骤301至302,本实施例在此不再赘述。
本实施例中,模型训练设备在训练用于识别车系的车辆属性识别模型时,采用多模型融合的方式训练多个车辆属性识别模型,并执行下述步骤503和504;在训练用于识别颜色和车型的车辆属性识别模型时,采用多任务的训练方式训练车辆属性识别模型。
步骤503,根据样本车辆整体图像和车辆属性标签,训练第一车辆属性识别模型。
本实施例中,该车辆属性标签即用于指示车辆所属的车系。相应的,模型训练设备即根据样本车辆整体图像及其对应的车系,采用基于神经网络的深度学习算法训练第一车辆属性识别模型,该第一车辆属性识别模型即用于从车辆整体这一维度进行车系识别。
为了保证车辆属性识别模型的识别准确率,模型训练设备需要采用层数深且参数量大的神经网络进行模型训练,导致最终训练出的车辆属性识别模型过大,不利于应用且会影响车辆属性的识别效率。
为了在保证识别模型识别准确率的前提下,压缩识别模型的大小,从而降低应用部署难度,并提高识别效率,在一种可能的实施方式中,模型训练设备首先训练出一个层数深且参数量大的目标车辆属性识别模型,然后采用知识精炼的方式,利用该目标车辆属性识别模型训练出层数较少且参数量较少的轻量级车辆属性识别模型。下面采用示意性的实施例进行说明。
如图6所示,本步骤可以包括如下步骤。
步骤503A,构建第一车辆属性识别模型。
为了使训练得到的第一车辆属性识别模型具有较好的识别效果,本申请实施例中,在训练第一车辆属性识别模型前,模型训练设备预先根据样本车辆整体图像和车辆属性标签,训练第一目标识别模型,其中,该第一目标识别模型与第一车辆属性识别模型用于识别同一车辆属性,且第一目标识别模型的层数大于第一车辆属性识别模型的层数,第一目标识别模型的参数量大于第一车辆属性识别模型的参数量。
可选的,第一目标识别模型和第一车辆属性识别模型基于相同的网络结构,该网络结构可以为残差网络(Residual Network,ResNet)结构或者密集网络(Dense Network,DenseNet)结构。
示意性的,如图7所示,第一目标识别模型71和第一车辆属性识别模型72均采用基于DenseNet。其中,第一目标识别模型71的层数以及参数量均大于第一车辆属性识别模型72。其中,第一目标识别模型71和第一车辆属性识别模型72中均包含若干个密集块(DenseBlock),卷积(convolution)层以及池化(pooling)层。本申请实施例并不对识别模型的具体结构进行限定。
其中,卷积层是用于提取特征的层,用于对高维数据进行低维特征提取,分为卷积操作和激活(activation)操作。其中,进行卷积操作时,使用卷积核进行特征提取,进行激活操作时,使用激活函数(activation function)对卷积得到的特征图进行激活处理,常用的激活函数包括线性整流(Rectified Linear Unit,ReLU)函数、S型(Sigmoid)函数和双曲正切(Tanh)函数。
池化层是用于降低卷积输出的特征向量(即缩小特征图的尺寸),同时改善过拟合问题。常用的池化方式包括平均池化(mean-pooling)、最大池化(max-pooling)和随机池化(stochastic-pooling)。
步骤503B,将样本车辆整体图像输入第一车辆属性识别模型,得到第一输出结果。
第一车辆属性识别模型构建完成后,模型训练设备将样本车辆整体图像输入第一车辆属性识别模型,从而得到第一输出结果,该第一输出结果中即包含车系以及对应的置信度,其中,车系对应的置信度越高,表明车辆属于该车系的概率越高。
示意性的,如图7所示,样本车辆整体图像73输入第一车辆属性识别模型71,得到第一输出结果74。
步骤503C,将样本车辆整体图像输入第一目标识别模型,得到第一目标输出结果。
将样本车辆整体图像输入第一车辆属性识别模型的同时,模型训练设备将样本车辆整体图像输入第一目标识别模型,得到第一目标输出结果,该第一目标输出结果中也包含车系及其对应的置信度。上述步骤503B和503C之间不存在严格的先后顺序,本申请并不对两者的执行时序进行限定。
示意性的,如图7所示,样本车辆整体图像73输入第一目标识别模型72,得到第一目标输出结果75。
步骤503D,根据第一输出结果和车辆属性标签计算第一残差。
为了使第一车辆属性识别模型的识别结果趋近于实际标注的车辆属性,模型训练设备计算第一输出结果与车辆属性标签(即指示车辆实际所属的车系)的第一残差,以便后续利用第一残差进行反向学习。
在一种可能的实施方式中,模型训练设备根据车辆属性标签所指示的车系分类以及第一输出结果所指示的车类分类计算分类损失,从根据分类损失计算得到第一残差。本申请实施例并不对计算第一残差的具体方式进行限定。
示意性的,如图7所示,模型训练设备根据第一输出结果74和车辆属性标签76,计算得到第一残差77。
步骤503E,根据第一输出结果和第一目标输出结果计算第二残差。
由于第一目标识别模型的层数深且参数量大,因此,得到的第一目标输出结果的准确率,且为了使第一车辆属性识别模型达到与第一目标识别模型相近的识别效果,模型训练设备在计算第一残差的同时,计算第一输出结果和第一目标输出结果之间的第二残差。
在一种可能的实施方式中,模型训练设备根据第一目标输出结果所指示的车系分类以及第一输出结果所指示的车类分类计算分类损失,从根据分类损失计算得到第二残差。本申请实施例并不对计算第二残差的具体方式进行限定。
示意性的,如图7所示,模型训练设备根据第一输出结果74和第一目标输出结果75,计算得到第二残差78。
步骤503F,根据第一残差和第二残差反向训练第一车辆属性识别模型。
进一步的,模型训练设备根据第一残差和第二残差,通过反向传播算法对第一车辆属性识别模型中的参数进行调整,实现模型训练。
示意性的,如图7所示,模型训练设备根据第一残差77和第二残差78,对第一车辆属性识别模型72进行反向传播训练。
可选的,模型训练设备循环执行上述步骤503A至503F,直至残差符合预设条件时,确定第一车辆属性识别模型训练完成。
采用上述方法训练车辆属性识别模型,在不损失识别精度的前提下,压缩了识别模型的深度以及参数量,从而降低了识别模型的大小,进而降低了部署难度,并提高了识别模型的识别效率。
步骤504,根据至少一张样本车辆整体图像和车辆属性标签训练至少一个第二车辆属性识别模型,第二车辆属性识别模型用于根据输入的车辆局部图像输出车辆属性,且不同的第二车辆属性识别模型对应不同的车辆部位。
本实施例中,该车辆属性标签即用于指示车辆所属的车系。相应的,模型训练设备即根据样本车辆局部图像及其对应的车系,采用基于神经网络的深度学习算法训练第二车辆属性识别模型,该第二车辆属性识别模型即用于从车辆部位(车脸、车尾、车门等等)这一维度进行车系识别。
与上述步骤503相似的,为了使训练得到的第二车辆属性识别模型具有较好的识别效果,本申请实施例中,在训练第二车辆属性识别模型前,模型训练设备预先根据样本车辆局部图像和车辆属性标签,训练第二目标识别模型,其中,该第二目标识别模型与第二车辆属性识别模型用于识别同一车辆属性,且第二目标识别模型的层数大于第二车辆属性识别模型的层数,第二目标识别模型的参数量大于第二车辆属性识别模型的参数量。
如图8所示,本步骤可以包括如下步骤。
步骤504A,构建第二车辆属性识别模型。
与上述步骤503A相似的,为了使训练得到的第二车辆属性识别模型具有较好的识别效果,本申请实施例中,在训练第二车辆属性识别模型前,模型训练设备预先根据样本车辆局部图像和车辆属性标签,训练第二目标识别模型,其中,该第二目标识别模型与第二车辆属性识别模型用于识别同一车辆属性,且第二目标识别模型的层数大于第二车辆属性识别模型的层数,第二目标识别模型的参数量大于第二车辆属性识别模型的参数量。
可选的,第二目标识别模型和第二车辆属性识别模型基于相同的网络结构,该网络结构可以为ResNet结构或者DenseNet结构。
步骤504B,将样本车辆局部图像输入第二车辆属性识别模型,得到第二输出结果。
第二车辆属性识别模型构建完成后,模型训练设备将样本车辆局部图像输入第二车辆属性识别模型,从而得到第二输出结果,该第二输出结果中即包含车系以及对应的置信度,其中,车系对应的置信度越高,表明车辆属于该车系的概率越高。
步骤504C,将样本车辆局部图像输入第二目标识别模型,得到第二目标输出结果。
将样本车辆局部图像输入第二车辆属性识别模型的同时,模型训练设备将样本车辆局部图像输入第二目标识别模型,得到第二目标输出结果,该第二目标输出结果中也包含车系及其对应的置信度。上述步骤504B和504C之间不存在严格的先后顺序,本申请并不对两者的执行时序进行限定。
步骤504D,根据第二输出结果和车辆属性标签计算第三残差。
为了使第二车辆属性识别模型的识别结果趋近于实际标注的车辆属性,模型训练设备计算第二输出结果与车辆属性标签(即指示车辆实际所属的车系)的第三残差,以便后续利用第三残差进行反向学习。
可选的,计算第三残差的实施方式可以参考上述步骤503D,本实施例在此不再赘述。
步骤504E,根据第二输出结果和第二目标输出结果计算第四残差。
由于第二目标识别模型的层数深且参数量大,因此,得到的第二目标输出结果的准确率,且为了使第二车辆属性识别模型达到与第二目标识别模型相近的识别效果,模型训练设备在计算第三残差的同时,计算第二输出结果和第二目标输出结果之间的第四残差。
可选的,计算第四残差的实施方式可以参考上述步骤503E,本实施例在此不再赘述。
步骤504F,根据第三残差和第四残差反向训练第二车辆属性识别模型。
进一步的,模型训练设备根据第二残差和第二残差,通过反向传播算法对第二车辆属性识别模型中的参数进行调整,实现模型训练。
可选的,模型训练设备循环执行上述步骤504A至504F,直至残差符合预设条件时,确定第二车辆属性识别模型训练完成。
通过上述步骤503和504,模型训练设备即训练得到用于识别车系的第一、第二车辆属性识别模型。
步骤505,根据样本车辆整体图像、颜色标签和车型标签,训练第三车辆属性识别模型,第三车辆属性识别模型用于根据输入的车辆整体图像输出颜色和车型。
为了能够识别出车辆颜色以及车型等车辆属性,模型训练设备除了训练第一、第二车辆属性识别模型外,还需要根据样本车辆整体图像以及对应的颜色标签和车型标签,训练用于同时识别颜色和车型的第三车辆属性识别模型。
相关技术中,针对颜色和车型,模型训练设备分别训练出两个独立的识别模型,后续分别利用两个识别模型进行颜色和车型识别。然而,对于颜色和车型这类简单车辆属性,单独训练识别模型的成本较高且降低了识别实时性。为了避免上述问题,本申请实施例中,对于简单车辆属性,模型训练设备采用多任务学习的方法进行模型训练。如图9所示,本步骤可以包括如下步骤。
步骤505A,构建第三车辆属性识别模型。
可选的,模型训练设备构建基于神经网络的第三车辆属性识别模型。本申请实施例并不对第三车辆属性识别模型的具体结构进行限定。
步骤505B,将样本车辆整体图像输入第三车辆属性识别模型,得到第三输出结果。
第二车辆属性识别模型构建完成后,模型训练设备将样本车辆整体图像输入第三车辆属性识别模型,从而得到第三输出结果,该第三输出结果中即包含颜色分类结果(颜色与对应的置信度)以及车型分类结果(车型与对应的置信度)。
步骤505C,根据第三输出结果中的颜色和颜色标签计算第五残差。
可选的,根据第三输出结果中的颜色(分类),模型训练设备计算该颜色与样本车辆整体图像对应颜色标签的颜色分类损失,根据颜色分类损失计算得到第五残差。其中,第五残差越小,表明颜色分类结果越准确。
示意性的,如图10所示,模型训练设备将样本车辆整体图像1001输入第三车辆属性识别模型1002后,根据颜色标签(颜色:红色)以及模型输出结果,计算得到颜色分类损失1003,并进一步通过残差计算,得到第五残差。
步骤505D,根据第三输出结果中的车型和车型标签计算第六残差。
与上述步骤505C相似的,根据第三输出结果中的车型(分类),模型训练设备计算该车型与样本车辆整体图像对应车型标签的车型分类损失,根据车型分类损失计算得到第六残差。其中,第六残差越小,表明车型分类结果越准确。
示意性的,如图10所示,模型训练设备将样本车辆整体图像1001输入第三车辆属性识别模型1002后,根据颜色标签(车型:中型车)以及模型输出结果,计算得到车型分类损失1003,并进一步通过残差计算,得到第六残差。
步骤505E,根据第五残差和第六残差反向训练第三车辆属性识别模型。
进一步的,模型训练设备根据第五残差和第六残差,通过反向传播算法对第三车辆属性识别模型中的参数进行调整,直至第五残差和第六残差符合预设残差条件。
通过上述步骤训练出的第三车辆属性识别模型同时具备不同车辆属性的识别能力,后续进行模型部署时,只需要部署一个模型即可处理颜色和车辆两个识别任务,降低模型部署难度的同时,提高了模型识别的实时性。
本实施例中,在训练用于识别复杂车辆属性的识别模型时,模型训练设备通过知识精炼技术,在保证识别模型识别准确率的前提下,压缩识别模型的大小,从而降低应用部署难度,并提高识别效率。
另外,在训练用于识别简单车辆属性的识别模型时,模型训练设备采用多任务学习技术,训练出具有不同车辆属性识别功能的识别模型,相应的,后续只需要部署一个识别模型即可识别多种车辆属性,降低模型部署难度的同时,提高了模型识别的实时性。
相关技术中,针对不同的应用场景需要训练不同的识别模型,比如,需要为实拍场景和监控场景分别训练识别模型。这种模型训练方式导致单个识别模型的鲁棒性较差。而本申请实施例中,模型训练设备首先基于易于获取的实拍场景下的第一样本车辆图像训练出车辆属性识别模型,然后获取监控场景下采集的第二样本车辆图像,进而根据第二样本车辆图像,采用预设学习率(Learning rate)训练至少两个车辆属性识别模型(基于第一样本车辆图像训练得到),其中,预设学习率低于学习率阈值,比如,该预设学习率为10-4。采用这种方式训练车辆属性识别模型后,车辆属性识别模型对不同场景具有良好的泛化能力,使得车辆属性识别模型在不同场景下均能够达到良好的识别效果。
请参考图11,其示出了本申请一个实施例提供的车辆属性识别方法的流程图。本实施例以该车辆属性识别方法应用于识别设备来举例说明,该车辆属性识别设备可以是图1中的服务器120。该方法可以包括以下几个步骤:
步骤1101,获取车辆图像。
可选的,该车辆图像是终端拍摄的静态车辆图像,或者,该车辆图像是监控设备抓拍的图像,或者,该车辆图像是车辆视频中截取的某一帧视频帧。本申请实施例并不对车辆图像的采集方式进行限定。
在一种可能的应用场景下,当识别设备为服务器时,当用户想要知悉道路上某一车辆的属性信息时,通过终端拍摄至少一张包含车辆影像的车辆图像,并将车辆图像上传至服务器,相应的,服务器获取该车辆图像。
可选的,识别设备还具有图像鉴权和流量控制功能,其中,图像鉴权用于检测车辆图像是否合法,流量控制用于避免终端恶意上传大量车辆图像进行识别。
可选的,识别设备获取到车辆图像后,还可以对车辆图像进行分辨率调节、光照强度调节,以提高后续的识别准确性。本申请实施例并不对此进行限定。
步骤1102,从车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的车辆局部图像对应不同的车辆部位。
在一种可能的实施方式中,识别设备预先训练有车辆识别模型以及车辆部位识别模型。识别设备即使用车辆识别模型从车辆图像中提取出车辆整体图像,并使用车辆部位识别模型从车辆图像中提取出不同车辆部位对应的车辆局部图像。该车辆部位包括车脸、车尾、车门中的至少一种,相应的,该车辆局部图像可以包括车脸图像、车尾图像、车门图像中的至少一种。
在其他可能的实施方式中,当识别设备为服务器时,为了降低服务器的处理压力,终端在本地提取车辆整体图像和车辆局部图像,并将提取到的图像上传至服务器。
步骤1103,将车辆整体图像输入第一车辆属性识别模型,得到第一识别结果,第一车辆属性识别模型根据样本车辆整体图像训练生成。
在模型训练阶段,针对车系这类复杂的车辆属性,模型训练设备根据样本车辆整体图像和样本车辆局部图像训练出至少两个车辆属性识别模型。相应的,在识别负载车辆属性时,识别设备分别将车辆整体图像和车辆局部图像输入对应的车辆属性识别模型,从而得到不同维度的车辆属性识别结果。
在一种可能的实施方式中,对于复杂车辆属性(比如车系),识别设备将车辆整体图像输入第一车辆属性识别模型(从整车维度识别),得到第一识别结果。
步骤1104,将车辆局部图像输入对应的第二车辆属性识别模型,得到第二识别结果,第二车辆属性识别模型根据样本车辆局部图像训练生成,第一车辆属性识别模型和第二车辆属性识别模型用于识别同一车辆属性,且不同的第二车辆属性识别模型对应不同的车辆部位。
与上述步骤1103相似的,识别设备确定车辆局部图像对应的车辆部位,并将该车辆局部图像输入车辆部位对应的第二车辆属性识别模型中(从车辆局部维度识别),得到第二识别结果。
在一种可能的实施方式中,识别设备中包含用于识别车脸的车脸识别模型以及用于识别车尾的车尾识别模型,进行车辆属性识别时,识别设备即将车脸图像输入车脸识别模型,将车尾图像输入车尾识别模型。
可选的,对于车辆颜色和车辆这类简单的车辆属性,识别设备将车辆整车图像输入预先训练的多任务车辆属性识别模型,从而得到多个简单车辆属性识别结果。
步骤1105,根据第一识别结果和至少一条第二识别结果确定目标车辆属性。
进一步的,针对复杂车辆属性,识别设备采用多模型融合的方式,根据同一车辆属性对应的至少两条识别(第一识别结果和至少一条第二识别结果)结果确定出目标车辆属性。
综上所述,本申请实施例中,在模型训练阶段,利用样本车辆整体图像、样本车辆局部图像以及对应的车辆属性标签,训练出多个同于识别同一车辆属性的车辆属性识别模型;后续进行车辆图像进行识别时,将从车辆图像中提取到的车辆整体图像和车辆局部图像输入对应的车辆属性识别模型,并对多个车辆属性识别模型输出的识别结果进行融合,确定出目标车辆属性。相较于相关技术中训练并使用单一模型进行车辆属性识别,本申请实施例中基于多个维度的训练样本训练多个识别同一车辆属性的模型,并采用模型融合的方式进行车辆属性识别,增加了车辆属性的识别维度,进而提高了车辆属性的识别准确性。
基于图5所示实施例,如图12所示,其示出了本申请另一个实施例提供的识别方法的流程图。本实施例以该车辆属性识别方法应用于识别设备来举例说明,该方法可以包括以下几个步骤:
步骤1201,获取车辆图像。
步骤1202,从车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的车辆局部图像对应不同的车辆部位。
上述步骤1201至1202的实施方式可以参考步骤1101至1102,本实施例在此不再赘述。
步骤1203,将车辆整体图像输入第一车辆属性识别模型,得到第一识别结果,第一车辆属性识别模型根据样本车辆整体图像训练生成。
图5所示实施例中,模型训练设备根据样本车辆整体图像和车辆属性标签(车系)训练出第一车辆属性识别模型,对应的,在识别阶段,识别设备即将提取出的车辆整体图像输入第一车辆属性识别模型,从而得到包含车系分类的第一识别结果。
可选的,该第一识别结果中包含各个车系及其对应的置信度,其中,置信度越高,表示识别出的车系是实际车系的概率越高。
步骤1204,将车辆局部图像输入对应的第二车辆属性识别模型,得到第二识别结果,第二车辆属性识别模型根据样本车辆局部图像训练生成,且不同的第二车辆属性识别模型对应不同的车辆部位。
图5所示实施例中,模型训练设备根据样本车辆局部图像和车辆属性标签(车系)训练出第二车辆属性识别模型,对应的,在识别阶段,识别设备即将提取出的车辆局部图像输入对应的第二车辆属性识别模型,从而得到包含车系分类的第二识别结果。
比如,当提取到的车辆局部图像为车脸图像时,识别设备即将车辆图像输入基于样本车脸图像训练生成的第二车辆属性识别模型;当提取到的车辆局部图像为车尾图像时,识别设备即将车尾图像输入基于样本车尾图像训练生成的第二车辆属性识别模型。
步骤1205,根据第一识别结果和至少一条第二识别结果,计算车辆属性对应的平均置信度。
本实施例中,第一识别结果和第二识别结果中包含车辆属性(车系)与置信度之间的对应关系。相应的,基于第一识别结果和至少两条第二识别结果确定目标车辆属性时,识别设备即将平均置信度最高的车辆属性确定为目标车辆属性。
在一种可能的实施方式中,识别设备获取相同车辆属性对应的置信度,并计算多个置信度的平均值。
比如,当第一识别结果为:X350-90%(车系-置信度),X330-50%,第二识别结果为X350-96%,X330-40%时,识别设备计算得到X350对应的平均置信度为93%,X330对应的平均置信度为45%。
步骤1206,将最大平均置信度对应的车辆属性确定为目标车辆属性。
进一步的,识别设备将最大平均置信度对应的车辆属性确定为目标车辆属性。
比如,结合上述步骤的例子,识别设备将最大平均置信度为93%对应的车辆属性X350确定为目标车辆属性。
可选的,确定出目标车辆属性后,识别设备进一步基于车系与平台之间的对应关系,确定出目标车辆属性(即目标车系)对应的品牌。
步骤1207,将车辆整体图像输入第三车辆属性识别模型,得到第三识别结果,第三车辆属性识别模型用于识别颜色和车型。
图5所示实施例中,模型训练设备根据样本车辆整体图像、颜色标签和车型标签训练出第三车辆属性识别模型,对应的,在识别阶段,识别设备即将提取出的车辆整体图像输入对应的第三车辆属性识别模型,从而得到包含颜色和车型分类的第三识别结果。
需要说明的是,上述步骤1203至1206与步骤1207不存在严格的先后关系,步骤1203至1206与步骤1207可以同时执行,本实施例并不对此执行时序进行限定。
步骤1208,根据目标车辆属性对第三识别结果进行修正。
为了进一步提高识别准确性,在一种可能的实施方式中,识别设备确定目标车系所属的目标车型,并根据该目标车型对第三识别结果中的车型进行修正。可选的,本步骤包括如下步骤。
一、获取目标车辆属性所指示目标车系对应的第一置信度。
结合上述步骤中的示例,识别设备获取到目标车系X350对应的第一置信度为93%。
二、获取第三识别结果所指示目标车型对应的第二置信度。
比如,识别设备获取到目标车型“大型车”对应的第二置信度为90%。
三、若目标车系对应的车型与目标车型不匹配,且第一置信度高于第二置信度,则根据目标车系对应的车型对目标车型进行修正。
可选的,识别设备获取目标车系对应的车型,并检测该车型与目标车型是否匹配,若匹配,则确定无需进行修正;若不匹配,识别设备进一步检测第一置信度是否高于第二置信度,若高于,则根据目标车系对应的车型对目标车型进行修正。
结合上述步骤中的示例,识别设备确定目标车型对应的车型为“中型车”,而第三识别结果所指示目标车型为“大型车”,由于第一置信度高于第二置信度,因此,识别设备将目标车型修正为“中型车”。
在一个示意性的例子中,如图13所示,终端1301将采集到车辆图像发送至服务器1302后,服务器1302通过车辆属性识别模型进行车辆属性识别,并将识别出的车辆属性反馈给终端1301,以便终端1301在界面中显示相应的识车结果1303。
本实施例中,识别设备根据车系识别结果以及车型识别结果的置信度,对车型识别结果进行修正,进一步提高了车辆属性识别的准确率。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图14,其示出了本申请一个实施例提供的车辆属性识别装置的框图。该装置具有执行上述方法示例的功能,功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以包括:
图像获取模块1410,用于获取车辆图像;
提取模块1420,用于从所述车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的所述车辆局部图像对应不同的车辆部位;
第一识别模块1430,用于将所述车辆整体图像输入第一车辆属性识别模型,得到第一识别结果,所述第一车辆属性识别模型根据样本车辆整体图像训练生成;
第二识别模块1440,用于将所述车辆局部图像输入对应的第二车辆属性识别模型,得到第二识别结果,所述第二车辆属性识别模型根据样本车辆局部图像训练生成,所述第一车辆属性识别模型和所述第二车辆属性识别模型用于识别同一车辆属性,且不同的第二车辆属性识别模型对应不同的车辆部位;
确定模块1450,用于根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性。
可选的,所述第一识别结果和所述第二识别结果中包含车辆属性与置信度之间的对应关系;
所述确定模块1450,包括:
计算单元,用于根据所述第一识别结果和至少一条所述第二识别结果,计算车辆属性对应的平均置信度;
确定单元,用于将最大平均置信度对应的车辆属性确定为所述目标车辆属性。
可选的,所述装置还包括:
第一样本获取模块,用于获取第一样本车辆图像;
生成模块,用于根据所述第一样本车辆图像生成所述样本车辆整体图像和至少一张所述样本车辆局部图像,不同的所述样本车辆局部图像对应不同的车辆部位;
第一训练模块,用于根据所述样本车辆整体图像和车脸属性标签训练所述第一车辆属性识别模型;
第二训练模块,用于根据所述样本车辆局部图像和所述属性标签训练所述第二车辆属性识别模型。
可选的,所述第一训练模块,用于:
构建所述第一车辆属性识别模型;
将所述样本车辆整体图像输入所述第一车辆属性识别模型,得到第一输出结果;
将所述样本车辆整体图像输入第一目标识别模型,得到第一目标输出结果,所述第一目标识别模型与所述第一车辆属性识别模型用于识别同一车辆属性,且所述第一目标识别模型的层数大于所述第一车辆属性识别模型的层数,所述第一目标识别模型的参数量大于所述第一车辆属性识别模型的参数量;
根据所述第一输出结果和所述车辆属性标签计算第一残差;
根据所述第一输出结果和所述第一目标输出结果计算第二残差;
根据所述第一残差和所述第二残差反向训练所述第一车辆属性识别模型。
可选的,所述第二训练模块,用于:
构建所述第二车辆属性识别模型;
将所述样本车辆局部图像输入所述第二车辆属性识别模型,得到第二输出结果;
将所述样本车辆局部图像输入第二目标识别模型,得到第二目标输出结果,所述第二目标识别模型与所述第二车辆属性识别模型用于识别同一车辆属性,且所述第二目标识别模型的层数大于所述第二车辆属性识别模型的层数,所述第二目标识别模型的参数量大于所述第二车辆属性识别模型的参数量;
根据所述第二输出结果和所述车辆属性标签计算第三残差;
根据所述第二输出结果和所述第二目标输出结果计算第四残差;
根据所述第三残差和所述第四残差反向训练所述第二车辆属性识别模型。
可选的,所述第一样本车辆图像是实拍场景下采集的图像,所述装置还包括:
第二样本获取模块,用于获取第二样本车辆图像,所述第二样本车辆图像是监控场景下采集的图像;
第三训练模块,用于根据所述第二样本车辆图像,采用预设学习率训练所述第一车辆属性识别模型和至少一个所述第二车辆属性识别模型,所述预设学习率低于学习率阈值。
可选的,所述第一车辆属性识别模型和至少一个所述第二车辆属性识别模型用于识别车系;
所述装置包括:
第三识别模块,用于将所述车辆整体图像输入第三车辆属性识别模型,得到第三识别结果,所述第三车辆属性识别模型用于识别颜色和车型;
修正模块,用于根据所述目标车辆属性对所述第三识别结果进行修正。
可选的,所述修正模块,用于:
获取所述目标车辆属性所指示目标车系对应的第一置信度;
获取所述第三识别结果所指示目标车型对应的第二置信度;
若所述目标车系对应的车型与所述目标车型不匹配,且所述第一置信度高于所述第二置信度,则根据所述目标车系对应的车型对所述目标车型进行修正。
可选的,所述装置还包括:
第四训练模块,用于根据所述样本车辆整体图像、颜色标签和车型标签,训练所述第三车辆属性识别模型。
可选的,所述第四训练模块,用于:
构建所述第三车辆属性识别模型;
将所述样本车辆整体图像输入所述第三车辆属性识别模型,得到第三输出结果;
根据所述第三输出结果中的颜色和所述颜色标签计算第五残差;
根据所述第三输出结果中的车型和所述车型标签计算第六残差;
根据所述第五残差和所述第六残差反向训练所述第三车辆属性识别模型。
请参考图15,其示出了本申请一个实施例提供的服务器的结构示意图。该服务器用于实施上述实施例提供的车辆属性识别方法。具体来讲:
所述服务器1800包括中央处理单元(CPU)1801、包括随机存取存储器(RAM)1802和只读存储器(ROM)1803的系统存储器1804,以及连接系统存储器1804和中央处理单元1801的系统总线1805。所述服务器1800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1806,和用于存储操作系统1813、应用程序1814和其他程序模块1815的大容量存储设备1807。
所述基本输入/输出系统1806包括有用于显示信息的显示器1808和用于用户输入信息的诸如鼠标、键盘之类的输入设备1809。其中所述显示器1808和输入设备1809都通过连接到系统总线1805的输入输出控制器1810连接到中央处理单元1801。所述基本输入/输出系统1806还可以包括输入输出控制器1810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1807通过连接到系统总线1805的大容量存储控制器(未示出)连接到中央处理单元1801。所述大容量存储设备1807及其相关联的计算机可读介质为服务器1800提供非易失性存储。也就是说,所述大容量存储设备1807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1804和大容量存储设备1807可以统称为存储器。
根据本申请的各种实施例,所述服务器1800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1800可以通过连接在所述系统总线1805上的网络接口单元1811连接到网络1812,或者说,也可以使用网络接口单元1811来连接到其他类型的网络或远程计算机系统。
所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述车辆属性识别方法中各个步骤的功能。
本申请实施例还提供一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述各个实施例提供的车辆属性识别方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
Claims (11)
1.一种车辆属性识别方法,其特征在于,所述方法包括:
获取第一样本车辆图像;
根据所述第一样本车辆图像生成样本车辆整体图像和至少一张样本车辆局部图像,不同的所述样本车辆局部图像对应不同的车辆部位;
根据第一目标识别模型、所述样本车辆整体图像以及所述车辆属性标签,采用知识精炼方式训练第一车辆属性识别模型,所述第一目标识别模型基于所述样本车辆整体图像和车辆属性标签预先训练得到,所述第一目标识别模型与所述第一车辆属性识别模型用于识别同一车辆属性,所述第一目标识别模型的层数大于所述第一车辆属性识别模型的层数,所述第一目标识别模型的参数量大于所述第一车辆属性识别模型的参数量;
根据第二目标识别模型、所述样本车辆局部图像以及所述车辆属性标签,采用知识精炼方式训练第二车辆属性识别模型,所述第二目标识别模型基于所述样本车辆局部图像和车辆属性标签预先训练得到,所述第二目标识别模型与所述第二车辆属性识别模型用于识别同一车辆属性,所述第二目标识别模型的层数大于所述第二车辆属性识别模型的层数,所述第二目标识别模型的参数量大于所述第二车辆属性识别模型的参数量;
获取第二样本车辆图像,所述第二样本车辆图像与所述第一样本车辆图像在不同场景下采集得到;
根据所述第二样本车辆图像,采用预设学习率训练所述第一车辆属性识别模型和至少一个所述第二车辆属性识别模型,所述预设学习率低于学习率阈值;
获取车辆图像;
从所述车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的所述车辆局部图像对应不同的车辆部位;
将所述车辆整体图像输入所述第一车辆属性识别模型,得到第一识别结果;
将所述车辆局部图像输入对应的所述第二车辆属性识别模型,得到第二识别结果;
根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性。
2.根据权利要求1所述的方法,其特征在于,所述第一识别结果和所述第二识别结果中包含车辆属性与置信度之间的对应关系;
所述根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性,包括:
根据所述第一识别结果和至少一条所述第二识别结果,计算车辆属性对应的平均置信度;
将最大平均置信度对应的车辆属性确定为所述目标车辆属性。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一目标识别模型、所述样本车辆整体图像以及所述车辆属性标签,采用知识精炼方式训练第一车辆属性识别模型,包括:
构建所述第一车辆属性识别模型;
将所述样本车辆整体图像输入所述第一车辆属性识别模型,得到第一输出结果;
将所述样本车辆整体图像输入所述第一目标识别模型,得到第一目标输出结果;
根据所述第一输出结果和所述车辆属性标签计算第一残差;
根据所述第一输出结果和所述第一目标输出结果计算第二残差;
根据所述第一残差和所述第二残差反向训练所述第一车辆属性识别模型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第二目标识别模型、所述样本车辆整体图像以及所述车辆属性标签,采用知识精炼方式训练第二车辆属性识别模型,包括:
构建所述第二车辆属性识别模型;
将所述样本车辆局部图像输入所述第二车辆属性识别模型,得到第二输出结果;
将所述样本车辆局部图像输入第二目标识别模型,得到第二目标输出结果;
根据所述第二输出结果和所述车辆属性标签计算第三残差;
根据所述第二输出结果和所述第二目标输出结果计算第四残差;
根据所述第三残差和所述第四残差反向训练所述第二车辆属性识别模型。
5.根据权利要求1至4任一所述的方法,其特征在于,所述第一车辆属性识别模型和至少一个所述第二车辆属性识别模型用于识别车系;
所述从所述车辆图像中提取车辆整体图像和至少一张车辆局部图像之后,所述方法还包括:
将所述车辆整体图像输入第三车辆属性识别模型,得到第三识别结果,所述第三车辆属性识别模型用于识别颜色和车型;
所述根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性之后,所述方法还包括:
根据所述目标车辆属性对所述第三识别结果进行修正。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标车辆属性对所述第三识别结果进行修正,包括:
获取所述目标车辆属性所指示目标车系对应的第一置信度;
获取所述第三识别结果所指示目标车型对应的第二置信度;
若所述目标车系对应的车型与所述目标车型不匹配,且所述第一置信度高于所述第二置信度,则根据所述目标车系对应的车型对所述目标车型进行修正。
7.根据权利要求5所述的方法,其特征在于,所述获取车辆图像之前,所述方法还包括:
根据所述样本车辆整体图像、颜色标签和车型标签,训练所述第三车辆属性识别模型。
8.根据权利要求7所述的方法,其特征在于,所述根据所述样本车辆整体图像、颜色标签和车型标签,训练所述第三车辆属性识别模型,包括:
构建所述第三车辆属性识别模型;
将所述样本车辆整体图像输入所述第三车辆属性识别模型,得到第三输出结果;
根据所述第三输出结果中的颜色和所述颜色标签计算第五残差;
根据所述第三输出结果中的车型和所述车型标签计算第六残差;
根据所述第五残差和所述第六残差反向训练所述第三车辆属性识别模型。
9.一种车辆属性识别装置,其特征在于,所述装置包括:
第一样本获取模块,用于获取第一样本车辆图像;
生成模块,用于根据所述第一样本车辆图像生成样本车辆整体图像和至少一张样本车辆局部图像,不同的所述样本车辆局部图像对应不同的车辆部位;
第一训练模块,用于根据第一目标识别模型、所述样本车辆整体图像以及所述车辆属性标签,采用知识精炼方式训练第一车辆属性识别模型,所述第一目标识别模型基于所述样本车辆整体图像和车辆属性标签预先训练得到,所述第一目标识别模型与所述第一车辆属性识别模型用于识别同一车辆属性,所述第一目标识别模型的层数大于所述第一车辆属性识别模型的层数,所述第一目标识别模型的参数量大于所述第一车辆属性识别模型的参数量;
第二训练模块,用于根据第二目标识别模型、所述样本车辆局部图像以及所述车辆属性标签,采用知识精炼方式训练第二车辆属性识别模型,所述第二目标识别模型基于所述样本车辆局部图像和车辆属性标签预先训练得到,所述第二目标识别模型与所述第二车辆属性识别模型用于识别同一车辆属性,所述第二目标识别模型的层数大于所述第二车辆属性识别模型的层数,所述第二目标识别模型的参数量大于所述第二车辆属性识别模型的参数量;
第二样本获取模块,用于获取第二样本车辆图像,所述第二样本车辆图像与所述第一样本车辆图像在不同场景下采集得到;
第三训练模块,用于根据所述第二样本车辆图像,采用预设学习率训练所述第一车辆属性识别模型和至少一个所述第二车辆属性识别模型,所述预设学习率低于学习率阈值;
图像获取模块,用于获取车辆图像;
提取模块,用于从所述车辆图像中提取车辆整体图像和至少一张车辆局部图像,不同的所述车辆局部图像对应不同的车辆部位;
第一识别模块,用于将所述车辆整体图像输入所述第一车辆属性识别模型,得到第一识别结果;
第二识别模块,用于将所述车辆局部图像输入对应的所述第二车辆属性识别模型,得到第二识别结果;
确定模块,用于根据所述第一识别结果和至少一条所述第二识别结果确定目标车辆属性。
10.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如权利要求1至8任一所述的车辆属性识别方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器执行以实现如权利要求1至8任一所述的车辆属性识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810828675.3A CN109145759B (zh) | 2018-07-25 | 2018-07-25 | 车辆属性识别方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810828675.3A CN109145759B (zh) | 2018-07-25 | 2018-07-25 | 车辆属性识别方法、装置、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145759A CN109145759A (zh) | 2019-01-04 |
CN109145759B true CN109145759B (zh) | 2023-04-18 |
Family
ID=64797953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810828675.3A Active CN109145759B (zh) | 2018-07-25 | 2018-07-25 | 车辆属性识别方法、装置、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145759B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135261A (zh) * | 2019-04-15 | 2019-08-16 | 北京易华录信息技术股份有限公司 | 一种训练道路异常识别模型、道路异常识别的方法及系统 |
CN110765929A (zh) * | 2019-10-21 | 2020-02-07 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆障碍物检测方法及装置 |
CN112861567B (zh) * | 2019-11-12 | 2024-01-05 | 上海高德威智能交通系统有限公司 | 一种车型分类方法及装置 |
CN110991337B (zh) * | 2019-12-02 | 2023-08-25 | 山东浪潮科学研究院有限公司 | 一种基于自适应双路检测网络的车辆检测方法 |
CN111126224A (zh) * | 2019-12-17 | 2020-05-08 | 成都通甲优博科技有限责任公司 | 车辆检测方法及分类识别模型训练方法 |
CN111144510B (zh) * | 2019-12-31 | 2020-09-04 | 上海云从汇临人工智能科技有限公司 | 基于多模型的图像语义识别方法、系统、设备及介质 |
CN111695587B (zh) * | 2020-04-01 | 2024-04-16 | 新华三技术有限公司 | 一种车辆品牌型号识别方法及装置 |
WO2022015236A1 (en) * | 2020-07-17 | 2022-01-20 | Hitachi, Ltd. | Method of image processing for object identification and system thereof |
CN112036455B (zh) * | 2020-08-19 | 2023-09-01 | 浙江大华技术股份有限公司 | 一种图像识别方法、智能终端和存储介质 |
CN112101246A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种车辆识别方法、装置、设备及介质 |
CN113326768B (zh) * | 2021-05-28 | 2023-12-22 | 浙江商汤科技开发有限公司 | 训练方法、图像特征提取方法、图像识别方法及装置 |
CN113313079B (zh) * | 2021-07-16 | 2021-11-12 | 深圳市安软科技股份有限公司 | 一种车辆属性识别模型的训练方法、系统及相关设备 |
CN117882116A (zh) * | 2021-11-29 | 2024-04-12 | 深圳市大疆创新科技有限公司 | 车辆识别模型的参数调整及数据处理方法和装置、车辆 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574550A (zh) * | 2016-02-02 | 2016-05-11 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN106776943A (zh) * | 2016-12-01 | 2017-05-31 | 中科唯实科技(北京)有限公司 | 一种基于AutoEncoder和属性标签的车辆检索方法 |
CN107292291A (zh) * | 2017-07-19 | 2017-10-24 | 北京智芯原动科技有限公司 | 一种车辆识别方法和系统 |
CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN108021933A (zh) * | 2017-11-23 | 2018-05-11 | 深圳市华尊科技股份有限公司 | 神经网络识别模型及识别方法 |
CN108229444A (zh) * | 2018-02-09 | 2018-06-29 | 天津师范大学 | 一种基于整体和局部深度特征融合的行人再识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100852970B1 (ko) * | 2007-01-24 | 2008-08-19 | 배강원 | 이미지 분할 기법을 이용한 언어 학습 시스템 및 방법과,이를 위한 기록매체와 언어 학습 교재 |
US9471838B2 (en) * | 2012-09-05 | 2016-10-18 | Motorola Solutions, Inc. | Method, apparatus and system for performing facial recognition |
CN106778583B (zh) * | 2016-12-07 | 2019-12-17 | 北京理工大学 | 基于卷积神经网络的车辆属性识别方法与装置 |
CN107133570B (zh) * | 2017-04-07 | 2018-03-13 | 武汉睿智视讯科技有限公司 | 一种车辆/行人检测方法及系统 |
CN107729801B (zh) * | 2017-07-11 | 2020-12-18 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 |
CN108319907A (zh) * | 2018-01-26 | 2018-07-24 | 腾讯科技(深圳)有限公司 | 一种车辆识别方法、装置和存储介质 |
-
2018
- 2018-07-25 CN CN201810828675.3A patent/CN109145759B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574550A (zh) * | 2016-02-02 | 2016-05-11 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN106776943A (zh) * | 2016-12-01 | 2017-05-31 | 中科唯实科技(北京)有限公司 | 一种基于AutoEncoder和属性标签的车辆检索方法 |
CN107292291A (zh) * | 2017-07-19 | 2017-10-24 | 北京智芯原动科技有限公司 | 一种车辆识别方法和系统 |
CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN108021933A (zh) * | 2017-11-23 | 2018-05-11 | 深圳市华尊科技股份有限公司 | 神经网络识别模型及识别方法 |
CN108229444A (zh) * | 2018-02-09 | 2018-06-29 | 天津师范大学 | 一种基于整体和局部深度特征融合的行人再识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109145759A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145759B (zh) | 车辆属性识别方法、装置、服务器及存储介质 | |
CN109101602B (zh) | 图像检索模型训练方法、图像检索方法、设备及存储介质 | |
US11475660B2 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
US20210406516A1 (en) | Method and apparatus for training face detection model, and apparatus for detecting face key point | |
JP6994588B2 (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
WO2021184754A1 (zh) | 视频对比方法、装置、计算机设备和存储介质 | |
CN114746898A (zh) | 用于生成图像抠图的三分图的方法和系统 | |
US11475572B2 (en) | Systems and methods for object detection and recognition | |
WO2022218396A1 (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN112580657B (zh) | 一种自学习字符识别方法 | |
CN112052855A (zh) | 一种基于深度学习的车牌识别方法及装置 | |
CN112417947B (zh) | 关键点检测模型的优化及面部关键点的检测方法及装置 | |
CN113515655A (zh) | 一种基于图像分类的故障识别方法及装置 | |
WO2023279799A1 (zh) | 对象识别方法、装置和电子系统 | |
CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
CN115862055A (zh) | 基于对比学习和对抗训练的行人重识别方法及装置 | |
US11605220B2 (en) | Systems and methods for video surveillance | |
CN111310837A (zh) | 车辆改装识别方法、装置、系统、介质和设备 | |
CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
CN114581994A (zh) | 一种课堂考勤管理方法和系统 | |
CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
WO2024000728A1 (zh) | 单目三维平面恢复方法、设备及存储介质 | |
CN116091921A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN117218229A (zh) | 一种生成人脸ir图模型的训练方法、系统、设备及介质 | |
CN114067276A (zh) | 基于3d人脸模型的视频监控动态人脸识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |