CN112132031B - 车款识别方法、装置、电子设备及存储介质 - Google Patents

车款识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112132031B
CN112132031B CN202011009441.XA CN202011009441A CN112132031B CN 112132031 B CN112132031 B CN 112132031B CN 202011009441 A CN202011009441 A CN 202011009441A CN 112132031 B CN112132031 B CN 112132031B
Authority
CN
China
Prior art keywords
feature map
vehicle
feature
conversion layer
operations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011009441.XA
Other languages
English (en)
Other versions
CN112132031A (zh
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202011009441.XA priority Critical patent/CN112132031B/zh
Publication of CN112132031A publication Critical patent/CN112132031A/zh
Application granted granted Critical
Publication of CN112132031B publication Critical patent/CN112132031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种车款识别方法、装置、电子设备及存储介质，该方法包括：获取待识别图像；对所述待识别图像进行处理，并将处理后的图像输入至Transformer‑YOLOv3模型中；通过所述Transformer‑YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵；对所述车辆特征矩阵执行操作，获得多个最终特征图；使用多个锚框分别在所述多个特征图上进行检测并识别，获得车款识别结果；将每个所述车款识别结果映射至所述待识别图像上。本发明可应用在智慧交通等需要进行车款识别的领域，从而推动智慧城市的发展。

Description

车款识别方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种车款识别方法、装置、电子设备及存储介质。
背景技术
随着车辆违规行为的不断增加，对交通卡口中的车辆进行快速定位与识别，成为城市交通管理中极其重要且具有挑战性的任务。现有技术中，可以通过车款识别算法进行车款识别，其中，车款比如奥迪A6、宝马X5、奔驰E300、大众CC以及比亚迪F3等。
然而，实践中发现，在雾霾、雨天、夜间等复杂场景下，现有的车款识别算法识别效果不好，识别的准确率较低。
因此，如何对车款进行识别以提高车款识别的准确率是一个亟待解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种车款识别方法、装置、电子设备及存储介质，能够提高车款识别的准确率。
本发明的第一方面提供一种车款识别方法，所述车款识别方法包括：
获取待识别图像；
对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层；
通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵；
对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图；
使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果；
将每个所述车款识别结果映射至所述待识别图像上。
在一种可能的实现方式中，所述转换层操作包括：输入操作、展开操作、转换编码操作、折叠操作以及输出操作；其中，每个所述转换层的网络结构相同，且每个所述转换层的参数矩阵相同；或，每个所述转换层的网络结构相同，且每个所述转换层的参数矩阵不同；或，每个所述转换层的网络结构不同。
在一种可能的实现方式中，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图进行转换层操作，获得第一特征图；
对所述第一中间特征图执行上采样操作以及卷积层操作，获得第二中间特征图，以及对所述第二中间特征图进行转换层操作，获得第二特征图；
对所述第二中间特征图执行上采样操作以及卷积层操作，获得第三中间特征图，以及对所述第三中间特征图进行转换层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
在一种可能的实现方式中，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
在一种可能的实现方式中，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行上采样操作、卷积层操作以及转换层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
在一种可能的实现方式中，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行转换层操作、上采样操作以及卷积层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
在一种可能的实现方式中，所述获取待识别图像之前，所述车款识别方法还包括：
获取多个车辆图像样本，其中，所述车辆图像样本携带有标注框和车款类别；
将多个所述标注框进行转换，获得多个标注矩阵；
将所述多个车辆图像样本输入至预设框架中进行训练，获得多个预测矩阵，其中，所述预设框架为添加有转换层的YOLOv3框架；
根据所述多个标注矩阵以及所述多个预测矩阵，计算损失值；
调整所述预设框架的模型参数，以最小化所述损失值，并将调整后的YOLOv3确定为改进型的目标检测算法Transformer--YOLOv3模型。
本发明的第二方面提供一种车款识别装置，所述车款识别装置包括：
获取模块，用于获取待识别图像；
处理输入模块，用于对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层；
提取模块，用于通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵；
执行模块，用于对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图；
识别模块，用于使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果；
映射模块，用于将每个所述车款识别结果映射至所述待识别图像上。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的车款识别方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的车款识别方法。
由以上技术方案可知，本发明可应用在智慧交通等需要进行车款识别的领域，从而推动智慧城市的发展。本发明中，通过将转换层transformer算法融入到传统的YOLOv3中，并对传统的YOLOv3适应性修改，并进行模型训练，获得了Transformer--YOLOv3模型，通过Transformer--YOLOv3模型，显著增强了困难场景下各种车款的特征表达能力，从而提高了车款识别的整体准确率和召回率。
附图说明
图1是本发明公开的一种车款识别方法的较佳实施例的流程图。
图2是本发明公开的一种车款识别装置的较佳实施例的功能模块图。
图3是本发明实现车款识别方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本发明中涉及“第一”、“第二”、“第三”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
其中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种车款识别方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11、获取待识别图像。
其中，所述待识别图像为需要进行车款识别的包括车辆的图像。
S12、对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层。
其中，所述尺寸处理即resize处理，比如将待识别图像resize成固定大小512*512。
其中，改进型的目标检测算法通过将NLP(自然语言处理)领域中的前沿算法Transformer与CV(计算机视觉)领域中的传统目标检测算法YOLOv3进行了巧妙的结合，获得了Transformer-YOLOv3模型。借助于Transformer较强的特征编码能力，能够对不同的车款进行更为精细化的特征抽象与表达，有效弥补了传统YOLOv3在困难场景下准确率和召回率较低的弊端，从而提高了车款识别的整体准确率和召回率。
S13、通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵。
S14、对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图。
其中，卷积层操作(conv_layer)包括5层卷积操作、1层归一化操作以及1层激活操作，上采样操作即upsample操作。
其中，转换层操作包括：输入操作、展开操作、转换编码操作、折叠操作以及输出操作。
其中输入操作(input)表示输入矩阵，展开操作(unfold)表示将输入矩阵进行展开，转换编码操作(transformer_encoder)表示NLP中transformer算法中的编码器部分，其由6个转换块(transformer_block)先后串联构成，折叠操作(fold)表示将transformer_encoder的输出矩阵进行折叠，通过输出操作(output)输出，即得到最终特征图。
需要说明的是：transformer_layer操作的作用就是将原始的多个特征图分别重新编码转换成新的最终特征图，即transformer_layer不改变矩阵大小，只改变矩阵数值。也就是原始的多个特征图与新的最终特征图的大小相同，数值不同。
举个例子：假设input表示的y1，大小为2*13*13*2048，经过unfold操作后变成2*169*2048(即矩阵数值不变，总大小也不变，只是将中间的二维13*13展开成一维169)，再经过transformer_encoder操作后变成2*169*2048(此时矩阵数值改变，大小不变)，最后再经过fold操作折叠得到output，大小为2*13*13*2048。
原始Transformer算法是由Encoder和Decoder两部分组合，本发明中，需要对YOLOv3中的中间某层的输出矩阵进行重新编码，而不是解码，因此，本发明删除了原始Transformer算法的Decoder部分，只取了其Encoder部分，另外，本发明还去除了原始Transformer算法的concat、conv_block和conv操作，以确保改进型的目标检测算法Transformer-YOLOv3模型的网络结构与原始YOLOv3一样轻量级，即模型大小基本相当，且训练和预测速度基本相当。
其中，每个所述转换层的网络结构相同，且每个所述转换层的参数矩阵相同；或
每个所述转换层的网络结构相同，且每个所述转换层的参数矩阵不同；或每个所述转换层的网络结构不同。
可选的，3个转换层transformer_layer是相同的，即3个transformer_layer的网络结构相同，比如：每个transformer_layer都是由6个transformer_block，并且其中的参数矩阵也都相同。
可选的，这3个transformer_layer可以各不相同，一种情况是：3个transformer_layer的网络结构相同(即每个transformer_layer都是由6个transformer_block串联构成)但其中的参数矩阵不同；一种情况是：3个transformer_layer的网络结构不同，比如3个transformer_layer分别由4个、5个、6个transformer_block串联构成。
具体的，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图进行转换层操作，获得第一特征图；
对所述第一中间特征图执行上采样操作以及卷积层操作，获得第二中间特征图，以及对所述第二中间特征图进行转换层操作，获得第二特征图；
对所述第二中间特征图执行上采样操作以及卷积层操作，获得第三中间特征图，以及对所述第三中间特征图进行转换层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
具体的，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
具体的，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行上采样操作、卷积层操作以及转换层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
具体的，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行转换层操作、上采样操作以及卷积层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
该可选的实施方式的网络架构如下图所示：
在上述几种可选的实施方式中，transformer_layer嵌入到YOLOv3中的位置不是固定不变的，可以有多种形式。例如，transformer_layer可以加在y与y’之间，还可以加在conv_layer与upsample之间，或者，transformer_layer可以加在upsample与conv_layer之间，或者transformer_layer可以加在conv_layer与y之间等)。其中，transformer_layer并不会改变矩阵的大小，而只是重新对矩阵进行编码(即改变矩阵中的数值)，所以，不会影响Transformer-YOLOv3的整体算法框架，只是具体结构发生变化。
S15、使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果。
其中，可以预先利用k-means算法聚类得到的9个锚框(anchor box)。
其中，车款识别结果可以包括3个不同anchor box的坐标(即车辆位置坐标)，车款类别(比如：奥迪A6、宝马X5、奔驰E300、大众cc、比亚迪F3等)。
S16、将每个所述车款识别结果映射至所述待识别图像上。
可选的，所述方法还包括：
获取多个车辆图像样本，其中，所述车辆图像样本携带有标注框和车款类别；
将多个所述标注框进行转换，获得多个标注矩阵；
将所述多个车辆图像样本输入至预设框架中进行训练，获得多个预测矩阵，其中，所述预设框架为添加有转换层的YOLOv3框架；
根据所述多个标注矩阵以及所述多个预测矩阵，计算损失值；
调整所述预设框架的模型参数，以最小化所述损失值，并将调整后的YOLOv3确定为改进型的目标检测算法Transformer--YOLOv3模型。
在该可选的实施方式中，在原始的YOLOv3上添加了NLP(自然语言处理)领域中的转换层Transformer算法，构成预设框架，并通过对预设框架进行训练，调整参数，可以获得训练好的Transformer--YOLOv3模型，该Transformer--YOLOv3模型借助于Transformer较强的特征编码能力，能够对不同的车款进行更为精细化的特征抽象与表达，有效弥补了传统YOLOv3在困难场景下准确率和召回率较低的弊端，从而提高了车款识别的整体准确率和召回率。
在图1所描述的方法流程中，通过将转换层transformer算法融入到传统的YOLOv3中，并对传统的YOLOv3适应性修改，并进行模型训练，获得了Transformer--YOLOv3模型，通过Transformer--YOLOv3模型，显著增强了困难场景下各种车款的特征表达能力，从而提高了车款识别的整体准确率和召回率。
由以上实施例可知，本发明可应用在智慧交通等需要进行车款识别的领域，从而推动智慧城市的发展。以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
请参见图2，图2是本发明公开的一种车款识别装置的较佳实施例的功能模块图。
在一些实施例中，所述车款识别装置运行于电子设备中。所述车款识别装置可以包括多个由程序代码段所组成的功能模块。所述车款识别装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的车款识别方法中的部分或全部步骤，具体参考图1中的相关描述，在此不再赘述。
本实施例中，所述车款识别装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、处理输入模块202、提取模块203、执行模块204、识别模块205及映射模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
获取模块201，用于获取待识别图像。
处理输入模块202，用于对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层。
提取模块203，用于通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵。
执行模块204，用于对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图。
识别模块205，用于使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果。
映射模块206，用于将每个所述车款识别结果映射至所述待识别图像上。
在图2所描述的车款识别装置中，通过将转换层transformer算法融入到传统的YOLOv3中，并对传统的YOLOv3适应性修改，并进行模型训练，获得了Transformer--YOLOv3模型，通过Transformer--YOLOv3模型，显著增强了困难场景下各种车款的特征表达能力，从而提高了车款识别的整体准确率和召回率。
如图3所示，图3是本发明实现车款识别方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据(比如音频数据)等。此外，存储器31可以包括非易失性和易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种车款识别方法，所述处理器32可执行所述多个指令从而实现：
获取待识别图像；
对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层；
通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵；
对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图；
使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果；
将每个所述车款识别结果映射至所述待识别图像上。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的电子设备3中，通过将转换层transformer算法融入到传统的YOLOv3中，并对传统的YOLOv3适应性修改，并进行模型训练，获得了Transformer--YOLOv3模型，通过Transformer--YOLOv3模型，显著增强了困难场景下各种车款的特征表达能力，从而提高了车款识别的整体准确率和召回率。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器以及只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。系统权利要求中陈述的多个单元或装置也可以通过软件或者硬件来实现。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种车款识别方法，其特征在于，所述车款识别方法包括：
获取待识别图像；
对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层；
通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵；
对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图；其中，所述转换层操作用于将多个原始特征图分别重新编码转换成新的最终特征图；
使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果；
将每个所述车款识别结果映射至所述待识别图像上；其中，所述转换层操作包括：输入操作、展开操作、转换编码操作、折叠操作以及输出操作；所述输入操作表示输入矩阵；所述展开操作表示将输入矩阵进行展开；所述转换编码操作表示NLP中Transformer算法中的编码器部分，其由多个转换块先后串联构成；所述折叠操作表示将转换编码操作的输出矩阵进行折叠；所述输出操作表示输出得到最终特征图；其中，每个所述转换层的网络结构相同，且每个所述转换层的参数矩阵相同；或，每个所述转换层的网络结构相同，且每个所述转换层的参数矩阵不同；或，每个所述转换层的网络结构不同；
所述获取待识别图像之前，所述车款识别方法还包括：
获取多个车辆图像样本，其中，所述车辆图像样本携带有标注框和车款类别；
将多个所述标注框进行转换，获得多个标注矩阵；
将所述多个车辆图像样本输入至预设框架中进行训练，获得多个预测矩阵，其中，所述预设框架为添加有转换层的YOLOv3框架；
根据所述多个标注矩阵以及所述多个预测矩阵，计算损失值；
调整所述预设框架的模型参数，以最小化所述损失值，并将调整后的YOLOv3确定为改进型的目标检测算法Transformer--YOLOv3模型。
2.根据权利要求1所述的车款识别方法，其特征在于，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图进行转换层操作，获得第一特征图；
对所述第一中间特征图执行上采样操作以及卷积层操作，获得第二中间特征图，以及对所述第二中间特征图进行转换层操作，获得第二特征图；
对所述第二中间特征图执行上采样操作以及卷积层操作，获得第三中间特征图，以及对所述第三中间特征图进行转换层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
3.根据权利要求1所述的车款识别方法，其特征在于，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
4.根据权利要求1所述的车款识别方法，其特征在于，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行上采样操作、卷积层操作以及转换层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
5.根据权利要求1所述的车款识别方法，其特征在于，所述对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图包括：
对所述车辆特征矩阵执行卷积层操作，获得第一中间特征图，以及对所述第一中间特征图执行转换层操作，获得第一特征图；
对所述第一中间特征图依次执行上采样操作、转换层操作以及卷积层操作，获得第二特征图；
对所述第二特征图依次执行转换层操作、上采样操作以及卷积层操作，获得第三特征图；
将所述第一特征图、所述第二特征图以及所述第三特征图确定为多个最终特征图。
6.一种车款识别装置，用于实现如权利要求1所述的车款识别方法，其特征在于，所述车款识别装置包括：
获取模块，用于获取待识别图像；
处理输入模块，用于对所述待识别图像进行尺寸处理，并将处理后的图像输入至改进型的目标检测算法Transformer-YOLOv3模型中，其中，所述Transformer-YOLOv3模型包括转换层；
提取模块，用于通过所述Transformer-YOLOv3模型中的DarkNet53网络提取所述处理后的图像中的车辆特征矩阵；
执行模块，用于对所述车辆特征矩阵执行多次卷积层操作、多次上采样操作以及多次转换层操作，获得多个最终特征图；
识别模块，用于使用预先聚类得到的多个锚框分别在所述多个特征图上进行检测并识别，获得每个所述最终特征图对应的车款识别结果；
映射模块，用于将每个所述车款识别结果映射至所述待识别图像上。
7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至5中任意一项所述的车款识别方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至5任意一项所述的车款识别方法。
CN202011009441.XA 2020-09-23 2020-09-23 车款识别方法、装置、电子设备及存储介质 Active CN112132031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011009441.XA CN112132031B (zh) 2020-09-23 2020-09-23 车款识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011009441.XA CN112132031B (zh) 2020-09-23 2020-09-23 车款识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132031A CN112132031A (zh) 2020-12-25
CN112132031B true CN112132031B (zh) 2024-04-16

Family

ID=73841187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011009441.XA Active CN112132031B (zh) 2020-09-23 2020-09-23 车款识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112132031B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269182A (zh) * 2021-04-21 2021-08-17 山东师范大学 一种基于变体transformer对小区域敏感的目标果实检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN110909666A (zh) * 2019-11-20 2020-03-24 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111027555A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法
CN111401371A (zh) * 2020-06-03 2020-07-10 中邮消费金融有限公司 一种文本检测识别方法、系统及计算机设备
CN111598860A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN111695448A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉传感器的路侧车辆识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984289B2 (en) * 2016-12-23 2021-04-20 Shenzhen Institute Of Advanced Technology License plate recognition method, device thereof, and user equipment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027555A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN110909666A (zh) * 2019-11-20 2020-03-24 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法
CN111598860A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN111695448A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉传感器的路侧车辆识别方法
CN111401371A (zh) * 2020-06-03 2020-07-10 中邮消费金融有限公司 一种文本检测识别方法、系统及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attention-YOLO：引入注意力机制的YOLO检测算法;徐诚极 等;《计算机工程与应用》;第55卷(第06期);全文 *
视角相关的车辆型号精细识别方法;朱文佳 等;《合肥工业大学学报(自然科学版)》(第02期);全文 *

Also Published As

Publication number Publication date
CN112132031A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
AU2019213369B2 (en) Non-local memory network for semi-supervised video object segmentation
CN110874594B (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN112132032B (zh) 交通标志牌检测方法、装置、电子设备及存储介质
WO2022105125A1 (zh) 图像分割方法、装置、计算机设备及存储介质
CN111860138B (zh) 基于全融合网络的三维点云语义分割方法及系统
CN111832449B (zh) 工程图纸的显示方法及相关装置
CN112132033B (zh) 车型识别方法、装置、电子设备及存储介质
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
CN115083435B (zh) 音频数据处理方法、装置、计算机设备和存储介质
CN111832445B (zh) 工程图纸的定位方法及相关装置
CN107832794A (zh) 一种卷积神经网络生成方法、车系识别方法及计算设备
GB2579262A (en) Space-time memory network for locating target object in video content
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN112712005A (zh) 识别模型的训练方法、目标识别方法及终端设备
CN112132031B (zh) 车款识别方法、装置、电子设备及存储介质
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
TWI764489B (zh) 人行通道環境評估方法、裝置及電子設備
WO2024066697A1 (zh) 一种图像处理方法和相关装置
US20240135679A1 (en) Method for classifying images and electronic device
CN116861262A (zh) 一种感知模型训练方法、装置及电子设备和存储介质
US20230386178A1 (en) Image recognition method, electronic device and readable storage medium
CN113723515B (zh) 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN116152637A (zh) 自动驾驶感知模型的评测方法、计算机设备和存储介质
US20220207879A1 (en) Method for evaluating environment of a pedestrian passageway and electronic device using the same
CN113139561B (zh) 一种垃圾分类方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant