CN111340004A - 一种车辆图像识别的方法和相关装置 - Google Patents

一种车辆图像识别的方法和相关装置 Download PDF

Info

Publication number
CN111340004A
CN111340004A CN202010228433.8A CN202010228433A CN111340004A CN 111340004 A CN111340004 A CN 111340004A CN 202010228433 A CN202010228433 A CN 202010228433A CN 111340004 A CN111340004 A CN 111340004A
Authority
CN
China
Prior art keywords
vehicle
target
identification
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010228433.8A
Other languages
English (en)
Inventor
周峰
张永伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202010228433.8A priority Critical patent/CN111340004A/zh
Publication of CN111340004A publication Critical patent/CN111340004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种车辆图像识别的方法和相关装置，该方法包括：基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得目标车辆识别模型；获取包括车辆区域图像的待识别车辆图像；利用目标车辆识别模型对待识别车辆图像进行识别，获得待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色。考虑车车辆车型识别、车辆颜色识别和车辆重识别之间的相关性，通过卷积神经网络同时学习车辆特征、车辆车型特征和车辆颜色特征获得目标车辆识别模型，该模型可同时实现车辆重识别、车辆车型识别和车辆颜色识别，使得识别算法简单化，减小计算量，节省计算资源，降低运行环境要求，实现系统的集成化和小型化。

Description

一种车辆图像识别的方法和相关装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种车辆图像识别的方法和相关装置。
背景技术
随着科技的快速发展，在道路监控分析、智能化停车场等各个场景中，需要对车辆的车型和颜色进行识别，以便于统计经过车辆的信息。同时由于车辆在行驶过程中出现在多个不同摄像头的画面中，还需要在不同摄像头画面中识别出同一车辆，即，需要对车辆进行车辆重识别。
现有技术中，基于车辆车型识别、车辆颜色识别和车辆重识别这三个不同的需求，一般是利用三个不同的神经网络分别进行车辆车型识别、车辆颜色识别和车辆重识别。
但是，发明人经过研究发现，上述三个不同的神经网络需要三个完全独立的处理单元，才能完成车辆车型识别、车辆颜色识别和车辆重识别，不仅识别算法繁琐复杂，计算量较大，需要消耗较多的计算资源，而且对运行环境要求较高，不利于系统的集成化和小型化。
发明内容
有鉴于此，本申请实施例提供一种车辆图像识别的方法和相关装置，使得识别算法简单化，减小计算量，节省计算资源，降低运行环境要求，以便实现系统的集成化和小型化。
第一方面，本申请实施例提供了一种车辆图像识别的方法，所述方法包括：
获取待识别车辆图像，所述待识别车辆图像包括车辆区域图像；
基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色；所述目标车辆识别模型是基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得的。
可选的，所述卷积神经网络包括基础神经网络、车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，所述目标车辆识别模型的获得步骤包括：
基于所述车辆图像样本和所述基础神经网络，获得所述车辆图像样本的车辆通用视觉特征；所述基础神经网络由多个卷积层构成；
基于所述车辆通用视觉特征和所述车辆特征识别网络，获得所述车辆图像样本的预测车辆标识；基于所述车辆通用视觉特征和所述车辆车型识别网络，获得所述车辆图像样本的预测车辆车型；基于所述车辆通用视觉特征和所述车辆颜色识别网络，获得所述车辆图像样本的预测车辆颜色；所述车辆特征识别网络、所述车辆车型识别网络和所述车辆颜色识别网络均由全连接层构成；
基于所述预测车辆标识、所述预测车辆车型、所述预测车辆颜色、所述车辆标识、所述车辆车型标签、所述车辆颜色标签以及目标损失函数对所述卷积神经网络的网络参数进行反向梯度训练，获得所述目标车辆识别模型。
可选的，所述基于所述车辆通用视觉特征和所述车辆特征识别网络，获得所述车辆图像样本的预测车辆标识，包括：
将所述车辆通用视觉特征输入所述车辆特征识别网络，获得所述车辆图像样本的车辆特征；
基于所述车辆特征和多个预设车辆特征，利用相似度算法获得所述预测车辆标识；
所述基于所述车辆通用视觉特征和所述车辆车型识别网络，获得所述车辆图像样本的预测车辆车型，包括：
将所述车辆通用视觉特征输入所述车辆车型识别网络，获得所述车辆图像样本的车辆车型特征；
基于所述车辆车型特征和多个预设车辆车型特征，利用多分类算法获得所述预测车辆车型；
所述基于所述车辆通用视觉特征和所述车辆颜色识别网络，获得所述车辆图像样本的预测车辆颜色，包括：
将所述车辆通用视觉特征输入所述车辆颜色识别网络，获得所述车辆图像样本的车辆颜色特征；
基于所述车辆颜色特征和多个预设车辆颜色特征，利用所述多分类算法获得所述预测车辆颜色。
可选的，所述基础神经网络具体为残差神经网络。
可选的，所述目标损失函数包括车辆标识预测损失函数、车辆车型预测损失函数和车辆颜色预测损失函数。
可选的，所述基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色，包括：
基于所述待识别车辆图像和所述车辆检测模型，获得所述车辆区域图像；
按照预设图像尺寸对所述车辆区域图像进行调整，获得目标车辆区域图像；
将所述目标车辆区域图像输入所述目标车辆识别模型，获得所述目标车辆标识、所述目标车辆车型和所述目标车辆颜色。
可选的，所述目标车辆识别模型包括目标基础神经网络、目标车辆特征识别网络、目标车辆车型识别网络和目标车辆颜色识别网络；对应地，所述将所述目标车辆区域图像输入所述目标车辆识别模型，获得所述目标车辆标识、所述目标车辆车型和所述目标车辆颜色，包括：
将所述目标车辆区域图像输入所述目标基础神经网络，获得所述目标车辆区域图像的目标车辆通用视觉特征；
将所述目标车辆通用视觉特征输入所述目标车辆特征识别网络，获得所述目标车辆标识；将所述目标车辆通用视觉特征输入所述目标车辆车型识别网络，获得所述目标车辆车型；将所述目标车辆通用视觉特征输入所述目标车辆颜色识别网络，获得所述目标车辆颜色。
第二方面，本申请实施例提供了一种车辆图像识别的装置，所述装置包括：
获取单元，用于获取待识别车辆图像，所述待识别车辆图像包括车辆区域图像；
获得单元，用于基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色；所述目标车辆识别模型是基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得的。
第三方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的车辆图像识别的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述的车辆图像识别的方法。
与现有技术相比，本申请至少具有以下优点：
采用本申请实施例的技术方案，首先，基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得目标车辆识别模型；然后，获取包括车辆区域图像的待识别车辆图像；最后，利用目标车辆识别模型对待识别车辆图像进行识别，获得待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色。由此可见，考虑车车辆车型识别、车辆颜色识别和车辆重识别之间的相关性，通过卷积神经网络同时学习车辆特征、车辆车型特征和车辆颜色特征获得目标车辆识别模型，该模型可同时实现车辆重识别、车辆车型识别和车辆颜色识别，使得识别算法简单化，减小计算量，节省计算资源，降低运行环境要求，以便实现系统的集成化和小型化。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的系统框架示意图；
图2为本申请实施例提供的一种车辆图像识别的方法的流程示意图；
图3为本申请实施例提供的一种目标车辆识别模型的训练结构示意图；
图4为本申请实施例提供的一种车辆图像识别的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现阶段，基于道路监控分析、智能化停车场等各个场景中车辆车型识别、车辆颜色识别和车辆重识别的需求，一般是利用三个不同的神经网络分别进行车辆车型识别、车辆颜色识别和车辆重识别。但是，三个不同的神经网络需要三个完全独立的处理单元，才能完成车辆车型识别、车辆颜色识别和车辆重识别；不仅识别算法繁琐复杂，计算量较大，需要消耗较多的计算资源，而且对运行环境要求较高，不利于系统的集成化和小型化。
为了解决这一问题，在本申请实施例中，基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得目标车辆识别模型；获取包括车辆区域图像的待识别车辆图像；利用目标车辆识别模型对待识别车辆图像进行识别，获得待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色。可见，考虑车车辆车型识别、车辆颜色识别和车辆重识别之间的相关性，通过卷积神经网络同时学习车辆特征、车辆车型特征和车辆颜色特征获得目标车辆识别模型，该模型可同时实现车辆重识别、车辆车型识别和车辆颜色识别，使得识别算法简单化，减小计算量，节省计算资源，降低运行环境要求，以便实现系统的集成化和小型化。
举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景中监控摄像机101和处理器102，其中，监控摄像机101对视野内的车辆进行拍摄获得待识别车辆图像，并将该待识别车辆图像发送至处理器102；处理器102存储有目标车辆识别模型，采用本申请实施例的方式获得目标车辆标识、目标车辆车型和目标车辆颜色，以便统计经过车辆的信息。
可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由处理器102执行，但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。
可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。
下面结合附图，通过实施例来详细说明本申请实施例中车辆图像识别的方法和相关装置的具体实现方式。
示例性方法
参见图2，示出了本申请实施例中一种车辆图像识别的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：
步骤201：获取待识别车辆图像，所述待识别车辆图像包括车辆区域图像。
本申请实施例中，在进行车辆重识别、车辆车型识别和车辆颜色识别之前，首先需要获取包括车辆区域图像的待识别图片。待识别图片可以是监控摄像机101对视野内的车辆进行拍摄获得的，也可以采用其他方式获得，本申请实施例并不限定待识别车辆图像的获得方式。
步骤202：基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色；所述目标车辆识别模型是基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得的。
需要说明的是，为了解决现有技术中利用三个不同的神经网络分别进行车辆车型识别、车辆颜色识别和车辆重识别，需要三个完全独立的处理单元，不仅识别算法繁琐复杂，计算量较大，需要消耗较多的计算资源，而且对运行环境要求较高，不利于系统的集成化和小型化的问题；在本申请实施例中，预先设计能够同时学习车辆特征、车辆车型特征和车辆颜色特征的卷积神经网络，基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本进行训练，获得能够同时进行车辆重识别、车辆车型识别和车辆颜色识别的模型作为目标车辆识别模型。因此，在步骤201之后利用目标车辆识别模型识别待识别车辆图像，即可同时获得待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色。
实际应用之前，需要预选训练获得目标车辆识别模型，训练的前提是为了目标车辆识别模型能够同时进行车辆重识别、车辆车型识别和车辆颜色识别，考虑上述三种识别需求之间相关性，在卷积神经网络中设计用于提取车辆通用视觉特征的、由多个卷积层构成的基础神经网络，分别用于车辆重识别、车辆车型识别和车辆颜色识别对应的车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络由全连接层构成。
具体训练过程是指针对同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本，首先，将车辆图像样本输入基础神经网络，即可输出车辆图像样本的车辆通用视觉特征；然后，将车辆通用视觉特征分别输入车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，即可对应输出车辆图像样本的预测车辆标识、预测车辆车型和预测车辆颜色；最后，通过上述预测结果和车辆图像样本的标注数据利用目标损失函数对网络参数进行反向梯度训练直至训练完成，获得目标车辆识别模型。例如，如图3所示的一种目标车辆识别模型的训练结构示意图。因此，在本申请实施例一种可选的实施方式中，所述卷积神经网络包括基础神经网络、车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，所述目标车辆识别模型的获得过程例如可以包括以下步骤：
步骤A：基于所述车辆图像样本和所述基础神经网络，获得所述车辆图像样本的车辆通用视觉特征；所述基础神经网络由多个卷积层构成。
其中，基础神经网络例如可以采用残差神经网络(ResNet网络)，ResNet网络的网络结构复杂度较低、训练测试以及应用过程中耗时较少以及后续识别准确率较高，即，ResNet网络相较于其他神经网络的综合优势更明显。因此，在本申请实施例一种可选的实施方式中，所述基础神经网络具体为残差神经网络。
步骤B：基于所述车辆通用视觉特征和所述车辆特征识别网络，获得所述车辆图像样本的预测车辆标识；基于所述车辆通用视觉特征和所述车辆车型识别网络，获得所述车辆图像样本的预测车辆车型；基于所述车辆通用视觉特征和所述车辆颜色识别网络，获得所述车辆图像样本的预测车辆颜色；所述车辆特征识别网络、所述车辆车型识别网络和所述车辆颜色识别网络均由全连接层构成。
步骤B具体实施过程中，车辆通用视觉特征输入车辆特征识别网络先获得车辆图像样本的车辆特征，该车辆特征用于整体描述车辆的外观特征，再基于车辆特征结合多个预设车辆特征利用相似度算法计算相似度，以获得预测车辆标识。车辆通用视觉特征输入车辆车型识别网络先获得车辆图像样本的车辆车型特征，再基于车辆车型特征结合多个预设车辆车型特征利用多分类算法计算分类得分，将最大分类得分对应的车辆车型确定为预测车辆车型。车辆通用视觉特征输入车辆颜色识别网络先获得车辆图像样本的车辆颜色特征，再基于车辆颜色特征结合多个预设车辆颜色特征利用多分类算法计算分类得分，将最大分类得分对应的车辆颜色确定为预测车辆颜色。因此，在本申请实施例一种可选的实施方式中，所述步骤B例如可以包括以下步骤：
步骤B1：将所述车辆通用视觉特征输入所述车辆特征识别网络，获得所述车辆图像样本的车辆特征；
步骤B2：基于所述车辆特征和多个预设车辆特征，利用相似度算法获得所述预测车辆标识；
步骤B3：将所述车辆通用视觉特征输入所述车辆车型识别网络，获得所述车辆图像样本的车辆车型特征；
步骤B4：基于所述车辆车型特征和多个预设车辆车型特征，利用多分类算法获得所述预测车辆车型；
步骤B5：将所述车辆通用视觉特征输入所述车辆颜色识别网络，获得所述车辆图像样本的车辆颜色特征；
步骤B6：基于所述车辆颜色特征和多个预设车辆颜色特征，利用所述多分类算法获得所述预测车辆颜色。
在本申请实施例中，并不限定步骤B1-步骤B2、步骤B3-步骤B4以及步骤B5-步骤B6的执行顺序，既可以按照步骤B1-步骤B2、步骤B3-步骤B4以及步骤B5-步骤B6的顺序执行，也可以按照随机顺序执行，还可以同时执行。
步骤C：基于所述预测车辆标识、所述预测车辆车型、所述预测车辆颜色、所述车辆标识、所述车辆车型标签、所述车辆颜色标签以及目标损失函数对所述卷积神经网络的网络参数进行反向梯度训练，获得所述目标车辆识别模型。
需要说明的是，由于在本申请实施例中需要同时预测车辆标识、车辆车辆和车辆颜色，则对于车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络获得的预测车辆标识、预测车辆车辆和预测车辆颜色这些预测结果，需要结合车辆图像样本标注的车辆标识、车辆车型标签、车辆颜色标识这些标注数据分别计算损失函数，即，需要将车辆标识预测损失函数、车辆车型预测损失函数和车辆颜色预测损失函数结合作为卷积神经网络的目标损失函数。因此，在本申请实施例一种可选的实施方式中，所述目标损失函数包括车辆标识预测损失函数、车辆车型预测损失函数和车辆颜色预测损失函数。其中，车辆标识预测损失函数的目的是使得预测车辆标识接近车辆标识，即，增大相同车辆的车辆特征相似度，减小不同车辆的相似度；车辆车型预测损失函数的目的是使得预测车辆车型接近车辆车型标签；车辆颜色预测损失函数的目的是使得预测车辆颜色接近车辆颜色标签。
需要说明的是，考虑到待识别车辆图像中既包括车辆区域图像也包括非车辆区域图像，目标车辆识别模型是重点关注的是待识别车辆图像中的车辆区域图像，而非车辆区域图像无关车辆识别任务，其输入目标车辆识别模型无实际意义，还可能造成一定的干扰，则在本申请实施例中，利用车辆检测模型处理将待识别车辆图像，相当于从待识别车辆图像扣取车辆区域图像。此外，考虑到目标车辆识别模型对图像尺寸的要求，可预先确定预设图像尺寸，在获得车辆区域图像之后，还需要将车辆区域图像调整为预设图像尺寸，才能输入目标车辆识别模型进行识别，以获得目标车辆标识、目标车辆车型和目标车辆颜色。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以包括以下步骤：
步骤D：基于所述待识别车辆图像和所述车辆检测模型，获得所述车辆区域图像；
步骤E：按照预设图像尺寸对所述车辆区域图像进行调整，获得目标车辆区域图像；
步骤F：将所述目标车辆区域图像输入所述目标车辆识别模型，获得所述目标车辆标识、所述目标车辆车型和所述目标车辆颜色。
需要说明的是，对应于卷积神经网络中基础神经网络、车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，预先训练获得的目标车辆识别模型包括目标基础神经网络、目标车辆特征识别网络、目标车辆车型识别网络和目标车辆颜色识别网络。利用目标车辆识别模型对目标车辆区域图像进行识别具体是指：首先，将目标车辆区域图像输入目标基础神经网络，即可输出目标车辆通用视觉特征；然后，将该目标车辆通用视觉特征分别输入目标车辆特征识别网络、目标车辆车型识别网络和目标车辆颜色识别网络，进行车辆重识别、车辆车型识别和车辆颜色识别，即可输出目标车辆标识、目标车辆车型和目标车辆颜色。因此，在本申请实施例一种可选的实施方式中，所述步骤F例如可以包括以下步骤：
步骤F1：将所述目标车辆区域图像输入所述目标基础神经网络，获得所述目标车辆区域图像的目标车辆通用视觉特征；
步骤F2：将所述目标车辆通用视觉特征输入所述目标车辆特征识别网络，获得所述目标车辆标识；将所述目标车辆通用视觉特征输入所述目标车辆车型识别网络，获得所述目标车辆车型；将所述目标车辆通用视觉特征输入所述目标车辆颜色识别网络，获得所述目标车辆颜色。
还需要说明的是，考虑到在同时进行车辆重识别、车辆车型识别和车辆颜色识别过程中，还可以同时进行车辆种类识别，因此，在本申请实施例一种可选的实施方式中，卷积神经网络例如还可以包括车辆种类识别网络，由车辆种类识别网络全连接层构成；对应地，步骤B还包括：基于车辆通用视觉特征和车辆种类识别网络，获得车辆图像样本的预测车辆种类。即，将车辆通用视觉特征输入车辆种类识别网络，获得车辆图像样本的车辆种类特征；基于车辆种类特征和多个预设车辆种类特征，利用多分类算法获得预测车辆种类。对应地，步骤C具体为：基于预测车辆标识、预测车辆车型、预测车辆颜色、预测车辆种类、车辆标识、车辆车型标签、车辆颜色标签、车辆种类标签以及目标损失函数对卷积神经网络的网络参数进行反向梯度训练，获得目标车辆识别模型；其中，目标损失函数还包括车辆种类预测损失函数。同理可得，目标车辆识别模型还包括目标车辆种类识别网络，以便实现对应的车辆种类识别，在此不再详细描述，类推可得对应的相关步骤。
通过本实施例提供的各种实施方式，首先，基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得目标车辆识别模型；然后，获取包括车辆区域图像的待识别车辆图像；最后，利用目标车辆识别模型对待识别车辆图像进行识别，获得待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色。由此可见，考虑车车辆车型识别、车辆颜色识别和车辆重识别之间的相关性，通过卷积神经网络同时学习车辆特征、车辆车型特征和车辆颜色特征获得目标车辆识别模型，该模型可同时实现车辆重识别、车辆车型识别和车辆颜色识别，使得识别算法简单化，减小计算量，节省计算资源，降低运行环境要求，以便实现系统的集成化和小型化。
示例性装置
参见图4，示出了本申请实施例中一种车辆图像识别的装置的结构示意图。在本实施例中，装置例如具体可以包括：
获取单元401，用于获取待识别车辆图像，所述待识别车辆图像包括车辆区域图像；
获得单元402，用于基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色；所述目标车辆识别模型是基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得的。
在本申请实施例一种可选的实施方式中，所述卷积神经网络包括基础神经网络、车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，所述装置还包括目标车辆识别模型获得单元，所述目标车辆识别模型获得单元包括：
第一获得子单元，用于基于所述车辆图像样本和所述基础神经网络，获得所述车辆图像样本的车辆通用视觉特征；所述基础神经网络由多个卷积层构成；
第二获得子单元，用于基于所述车辆通用视觉特征和所述车辆特征识别网络，获得所述车辆图像样本的预测车辆标识；基于所述车辆通用视觉特征和所述车辆车型识别网络，获得所述车辆图像样本的预测车辆车型；基于所述车辆通用视觉特征和所述车辆颜色识别网络，获得所述车辆图像样本的预测车辆颜色；所述车辆特征识别网络、所述车辆车型识别网络和所述车辆颜色识别网络均由全连接层构成；
第三获得子单元，用于基于所述预测车辆标识、所述预测车辆车型、所述预测车辆颜色、所述车辆标识、所述车辆车型标签、所述车辆颜色标签以及目标损失函数对所述卷积神经网络的网络参数进行反向梯度训练，获得所述目标车辆识别模型。
在本申请实施例一种可选的实施方式中，所述第二获得子单元包括：
第一获得模块，用于将所述车辆通用视觉特征输入所述车辆特征识别网络，获得所述车辆图像样本的车辆特征；
第二获得模块，用于基于所述车辆特征和多个预设车辆特征，利用相似度算法获得所述预测车辆标识；
第三获得模块，用于将所述车辆通用视觉特征输入所述车辆车型识别网络，获得所述车辆图像样本的车辆车型特征；
第四获得模块，用于基于所述车辆车型特征和多个预设车辆车型特征，利用多分类算法获得所述预测车辆车型；
第五获得模块，用于将所述车辆通用视觉特征输入所述车辆颜色识别网络，获得所述车辆图像样本的车辆颜色特征；
第六获得模块，用于基于所述车辆颜色特征和多个预设车辆颜色特征，利用所述多分类算法获得所述预测车辆颜色。
在本申请实施例一种可选的实施方式中，所述基础神经网络具体为残差神经网络。
在本申请实施例一种可选的实施方式中，所述目标损失函数包括车辆标识预测损失函数、车辆车型预测损失函数和车辆颜色预测损失函数。
在本申请实施例一种可选的实施方式中，所述获得单元402包括：
第四获得子单元，用于基于所述待识别车辆图像和所述车辆检测模型，获得所述车辆区域图像；
第五获得子单元，用于按照预设图像尺寸对所述车辆区域图像进行调整，获得目标车辆区域图像；
第六获得子单元，用于将所述目标车辆区域图像输入所述目标车辆识别模型，获得所述目标车辆标识、所述目标车辆车型和所述目标车辆颜色。
在本申请实施例一种可选的实施方式中，所述目标车辆识别模型包括目标基础神经网络、目标车辆特征识别网络、目标车辆车型识别网络和目标车辆颜色识别网络；对应地，所述第六获得子单元包括：
第七获得模块，用于将所述目标车辆区域图像输入所述目标基础神经网络，获得所述目标车辆区域图像的目标车辆通用视觉特征；
第八获得模块，用于将所述目标车辆通用视觉特征输入所述目标车辆特征识别网络，获得所述目标车辆标识；将所述目标车辆通用视觉特征输入所述目标车辆车型识别网络，获得所述目标车辆车型；将所述目标车辆通用视觉特征输入所述目标车辆颜色识别网络，获得所述目标车辆颜色。
通过本实施例提供的各种实施方式，首先，基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得目标车辆识别模型；然后，获取包括车辆区域图像的待识别车辆图像；最后，利用目标车辆识别模型对待识别车辆图像进行识别，获得待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色。由此可见，考虑车车辆车型识别、车辆颜色识别和车辆重识别之间的相关性，通过卷积神经网络同时学习车辆特征、车辆车型特征和车辆颜色特征获得目标车辆识别模型，该模型可同时实现车辆重识别、车辆车型识别和车辆颜色识别，使得识别算法简单化，减小计算量，节省计算资源，降低运行环境要求，以便实现系统的集成化和小型化。
此外，本申请实施例还提供了一种终端设备，终端设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述方法实施例的车辆图像识别的方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例的车辆图像识别的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种车辆图像识别的方法，其特征在于，包括：
获取待识别车辆图像，所述待识别车辆图像包括车辆区域图像；
基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色；所述目标车辆识别模型是基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得的。
2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括基础神经网络、车辆特征识别网络、车辆车型识别网络和车辆颜色识别网络，所述目标车辆识别模型的获得步骤包括：
基于所述车辆图像样本和所述基础神经网络，获得所述车辆图像样本的车辆通用视觉特征；所述基础神经网络由多个卷积层构成；
基于所述车辆通用视觉特征和所述车辆特征识别网络，获得所述车辆图像样本的预测车辆标识；基于所述车辆通用视觉特征和所述车辆车型识别网络，获得所述车辆图像样本的预测车辆车型；基于所述车辆通用视觉特征和所述车辆颜色识别网络，获得所述车辆图像样本的预测车辆颜色；所述车辆特征识别网络、所述车辆车型识别网络和所述车辆颜色识别网络均由全连接层构成；
基于所述预测车辆标识、所述预测车辆车型、所述预测车辆颜色、所述车辆标识、所述车辆车型标签、所述车辆颜色标签以及目标损失函数对所述卷积神经网络的网络参数进行反向梯度训练，获得所述目标车辆识别模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述车辆通用视觉特征和所述车辆特征识别网络，获得所述车辆图像样本的预测车辆标识，包括：
将所述车辆通用视觉特征输入所述车辆特征识别网络，获得所述车辆图像样本的车辆特征；
基于所述车辆特征和多个预设车辆特征，利用相似度算法获得所述预测车辆标识；
所述基于所述车辆通用视觉特征和所述车辆车型识别网络，获得所述车辆图像样本的预测车辆车型，包括：
将所述车辆通用视觉特征输入所述车辆车型识别网络，获得所述车辆图像样本的车辆车型特征；
基于所述车辆车型特征和多个预设车辆车型特征，利用多分类算法获得所述预测车辆车型；
所述基于所述车辆通用视觉特征和所述车辆颜色识别网络，获得所述车辆图像样本的预测车辆颜色，包括：
将所述车辆通用视觉特征输入所述车辆颜色识别网络，获得所述车辆图像样本的车辆颜色特征；
基于所述车辆颜色特征和多个预设车辆颜色特征，利用所述多分类算法获得所述预测车辆颜色。
4.根据权利要求2所述的方法，其特征在于，所述基础神经网络具体为残差神经网络。
5.根据权利要求2所述的方法，其特征在于，所述目标损失函数包括车辆标识预测损失函数、车辆车型预测损失函数和车辆颜色预测损失函数。
6.根据权利要求2所述的方法，其特征在于，所述基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色，包括：
基于所述待识别车辆图像和所述车辆检测模型，获得所述车辆区域图像；
按照预设图像尺寸对所述车辆区域图像进行调整，获得目标车辆区域图像；
将所述目标车辆区域图像输入所述目标车辆识别模型，获得所述目标车辆标识、所述目标车辆车型和所述目标车辆颜色。
7.根据权利要求6所述的方法，其特征在于，所述目标车辆识别模型包括目标基础神经网络、目标车辆特征识别网络、目标车辆车型识别网络和目标车辆颜色识别网络；对应地，所述将所述目标车辆区域图像输入所述目标车辆识别模型，获得所述目标车辆标识、所述目标车辆车型和所述目标车辆颜色，包括：
将所述目标车辆区域图像输入所述目标基础神经网络，获得所述目标车辆区域图像的目标车辆通用视觉特征；
将所述目标车辆通用视觉特征输入所述目标车辆特征识别网络，获得所述目标车辆标识；将所述目标车辆通用视觉特征输入所述目标车辆车型识别网络，获得所述目标车辆车型；将所述目标车辆通用视觉特征输入所述目标车辆颜色识别网络，获得所述目标车辆颜色。
8.一种车辆图像识别的装置，其特征在于，包括：
获取单元，用于获取待识别车辆图像，所述待识别车辆图像包括车辆区域图像；
获得单元，用于基于所述待识别车辆图像和目标车辆识别模型，获得所述待识别车辆图像的目标车辆标识、目标车辆车型和目标车辆颜色；所述目标车辆识别模型是基于同时标注车辆标识、车辆车型标签和车辆颜色标签的车辆图像样本以及卷积神经网络预先训练获得的。
9.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的车辆图像识别的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的车辆图像识别的方法。
CN202010228433.8A 2020-03-27 2020-03-27 一种车辆图像识别的方法和相关装置 Pending CN111340004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010228433.8A CN111340004A (zh) 2020-03-27 2020-03-27 一种车辆图像识别的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010228433.8A CN111340004A (zh) 2020-03-27 2020-03-27 一种车辆图像识别的方法和相关装置

Publications (1)

Publication Number Publication Date
CN111340004A true CN111340004A (zh) 2020-06-26

Family

ID=71184394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010228433.8A Pending CN111340004A (zh) 2020-03-27 2020-03-27 一种车辆图像识别的方法和相关装置

Country Status (1)

Country Link
CN (1) CN111340004A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881924A (zh) * 2020-08-05 2020-11-03 广东工业大学 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN114863083A (zh) * 2022-04-06 2022-08-05 包头钢铁（集团）有限责任公司 一种车辆定位与尺寸测量的方法与系统
CN115534750A (zh) * 2022-08-31 2022-12-30 珠海市魅族科技有限公司 新能源车能耗的预测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740906A (zh) * 2016-01-29 2016-07-06 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
CN108446658A (zh) * 2018-03-28 2018-08-24 百度在线网络技术（北京）有限公司 用于识别人脸图像的方法和装置
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
EP3432214A1 (en) * 2017-07-19 2019-01-23 Beijing ICETech Science & Technology Co. Ltd. Method and system for vehicle recognition
CN110222604A (zh) * 2019-05-23 2019-09-10 复钧智能科技(苏州)有限公司 基于共享卷积神经网络的目标识别方法和装置
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740906A (zh) * 2016-01-29 2016-07-06 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
EP3432214A1 (en) * 2017-07-19 2019-01-23 Beijing ICETech Science & Technology Co. Ltd. Method and system for vehicle recognition
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
CN108446658A (zh) * 2018-03-28 2018-08-24 百度在线网络技术（北京）有限公司 用于识别人脸图像的方法和装置
CN110222604A (zh) * 2019-05-23 2019-09-10 复钧智能科技(苏州)有限公司 基于共享卷积神经网络的目标识别方法和装置
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNFEI TIAN 等: "Multi-task convolutional neural network for car attribute recognition" *
阮航，孙涵: "基于FasterR-CNN的车辆多属性识别" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881924A (zh) * 2020-08-05 2020-11-03 广东工业大学 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN111881924B (zh) * 2020-08-05 2023-07-28 广东工业大学 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN114863083A (zh) * 2022-04-06 2022-08-05 包头钢铁（集团）有限责任公司 一种车辆定位与尺寸测量的方法与系统
CN115534750A (zh) * 2022-08-31 2022-12-30 珠海市魅族科技有限公司 新能源车能耗的预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN111340004A (zh) 一种车辆图像识别的方法和相关装置
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN111598182A (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN111444850B (zh) 一种图片检测的方法和相关装置
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN115063672A (zh) 基于改进yolox模型的小目标检测方法
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
CN110969173B (zh) 目标分类方法及装置
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
CN113627477A (zh) 车辆多属性识别方法及系统
CN116030507A (zh) 一种电子设备、识别图像中人脸是否佩戴口罩的方法
CN113869364A (zh) 图像处理方法、装置、电子设备及介质
CN113221604A (zh) 目标识别方法、装置、存储介质及电子设备
CN116778534B (zh) 图像处理方法、装置、设备和介质
CN113642353B (zh) 一种人脸检测模型的训练方法、存储介质及终端设备
CN116935494B (zh) 一种基于轻量化网络模型的多人坐姿识别方法
CN113221887A (zh) 一种车牌识别方法及装置
CN115131591A (zh) 基于对比估计自监督学习的车辆失效模式识别方法及装置
CN115346049A (zh) 图像造假识别方法、装置、计算机设备及存储介质
CN117671332A (zh) 车辆定损方法、装置、计算机设备及存储介质
CN114821150A (zh) 一种图像分类方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication