CN111754784B - 基于注意力机制的多层网络的车辆主子品牌识别方法 - Google Patents

基于注意力机制的多层网络的车辆主子品牌识别方法 Download PDF

Info

Publication number
CN111754784B
CN111754784B CN202010581874.6A CN202010581874A CN111754784B CN 111754784 B CN111754784 B CN 111754784B CN 202010581874 A CN202010581874 A CN 202010581874A CN 111754784 B CN111754784 B CN 111754784B
Authority
CN
China
Prior art keywords
brand
sub
main
class
layer network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010581874.6A
Other languages
English (en)
Other versions
CN111754784A (zh
Inventor
邓顺戈
王祥雪
林焕凯
贺迪龙
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN202010581874.6A priority Critical patent/CN111754784B/zh
Publication of CN111754784A publication Critical patent/CN111754784A/zh
Application granted granted Critical
Publication of CN111754784B publication Critical patent/CN111754784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域和智能交通信息技术领域，具体涉及一种基于注意力机制的多层网络的车辆主子品牌识别方法，本发明的基于注意力机制的多层网络的车辆主子品牌识别方法，能同时得到车辆的主子品牌识别结果；基于注意力机制的多层网络的车辆主子品牌识别模型通过注意力机制，更加关注显著性区域，提高了模型的泛化能力；通过投票机制，使得模型在复杂场景下更加稳定和可靠。

Description

基于注意力机制的多层网络的车辆主子品牌识别方法
技术领域
本发明属于计算机视觉领域和智能交通信息技术领域，具体涉及一种基于注意力机制的多层网络的车辆主子品牌识别方法。
背景技术
随着社会的高速发展，经济实力的不断提高，人民群众对地面交通出行的需求也随着增加。大量的机动车的涌现，使得当前城市中道路情况日益复杂，急需合理的交通管理来保证路面的畅通与人民的生命财产安全。因此，智能交通的发展是当务之急。同时，随着深度学习不断发展与突破，基于深度学习的计算机视觉技术在智能交通上存在着大量的应用。
在智能交通系统中，准确识别出车辆的主品牌与子品牌在城市交通设计、交通管理系统和公安系统有着重要的应用。它可以对不同的车辆的主品牌、子品牌进行识别，例如识别出某辆车的主品牌是大众，子品牌是桑塔纳等。公安系统可以利用车辆的主子品牌信息来识别车辆是否为套牌车；交通管理系统可以根据车辆的主子品牌信息来动态调节信号灯等。
目前，车辆主子品牌识别主要有两种方法，车标识别和车型识别。车标识别是针对车辆上的车标进行分类，得到车辆的品牌信息。但是，该方法只能识别出车辆的主品牌，无法判断车辆的子品牌；对图像质量要求高，车标需清晰可见。车型识别是区分车辆的种类，如桥车、货车和客车等，通过感应线圈得到信号波形，对波形进行分类得到车型信息。该方法灵活性不足，不易于安装；对车辆品牌识别的准确率低；维护成本高。
发明内容
针对上述的不足，本发明提供一种基于注意力机制的多层网络的车辆主子品牌识别方法。该基于注意力机制的多层网络的车辆主子品牌识别方法，能同时得到车辆的主子品牌识别结果；基于注意力机制的多层网络的车辆主子品牌识别模型通过注意力机制，更加关注显著性区域，提高了模型的泛化能力；通过投票机制，使得模型在复杂场景下更加稳定和可靠。
本发明通过以下技术方案实现：
一种基于注意力机制的多层网络的车辆主子品牌识别方法，所述的方法包含如下步骤：
步骤一：收集数据，选择不同场景、天气、光线和角度下的图片，且该图片仅包含一辆完整车辆区域，并对该图片进行分类，得到目标车辆的主品牌和子品牌信息，构建训练集；
步骤二：使用步骤一所得的训练集，训练基于注意力机制的多层网络的车辆主子品牌识别模型；
步骤三：使用步骤二得到的基于注意力机制的多层网络的车辆主子品牌识别模型，输入仅包含一辆完整车辆区域的图片，得到该目标车辆的主品牌预测概率矩阵和子品牌预测概率矩阵；
步骤四：使用步骤三得到的主品牌预测概率矩阵和子品牌预测概率矩阵，通过投票的方式，得到车辆的主品牌和子品牌识别结果。
进一步地，所述的基于注意力机制的多层网络的车辆主子品牌识别模型具有双层网络结构。
进一步地，所述的双层网络结构包括第一层网络和第二层网络，第一层网络由第一特征提取器和注意力网络组成，第二层网络由第二特征提取器组成。
进一步地，所述的第一层网络中的第一特征提取器和注意力网络通过双线性池化操作得到部位特征矩阵，并将该部位特征矩阵输入到全连接层，得到主品牌预测概率矩阵。
进一步地，所述的第二层网络中的输入是由第一层网络的注意力网络提取的显著性区域所构成，通过第二特征提取器得到输入图片的子品牌预测概率矩阵。
进一步地，所述的主品牌预测概率矩阵和子品牌预测概率矩阵通过投票的方式得到车辆的主品牌和子品牌识别结果。
进一步地，子品牌预测概率矩阵的最大值P子1对应的子品牌为class子1，及其映射对应的主品牌为class子→主1，主品牌预测概率矩阵的最大值P主1对应的主品牌为class主1。
进一步地，所述的投票的具体规则如下：
规则一：当class子→主1＝class主1时，则目标车辆主品牌为class主1，子品牌为class子1；
规则二：当class子→主1≠class主1，且P子1>P主1时，则目标车辆主品牌为class子→主1，子品牌为class子1；
规则三：当class子→主1≠class主1，且P子1<P主1时，假设子品牌预测概率矩阵映射到主品牌class主1所对应的最大概率值的子品牌为class子X，则目标车辆主品牌为class主1，子品牌为class子X。
本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于注意力机制的多层网络的车辆主子品牌识别方法的步骤。
本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于注意力机制的多层网络的车辆主子品牌识别方法的步骤。
与现有技术相比，本发明至少具有下述的有益效果或优点：
1.本发明基于注意力机制的多层网络的车辆主子品牌识别模型，能同时得到车辆的主品牌信息和子品牌信息；
2.本发明利用了注意力机制，能使得模型更加关注显著性区域，提高模型的泛化能力；
3.本发明通过投票机制，使得模型在复杂场景下更加稳定和可靠。
附图说明
以下将结合附图对本发明做进一步详细说明；
图1是本发明实施例中基于注意力机制的多层网络的车辆主子品牌识别方法流程图。
图2是本发明实施例中构建训练集的样本示例图。
图3是本发明实施例中基于注意力机制的多层网络的车辆主子品牌识别模型示意图。
图4是本发明实施例中提取显著性区域的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于注意力机制的多层网络的车辆主子品牌识别方法，如图1所示，包含如下步骤：
步骤一：在S101中，收集数据，选择不同场景、天气、光线和角度下的图片，且该图片仅包含一辆完整车辆区域和背景尽可能少，并对该图片进行分类，得到目标车辆的主品牌和子品牌信息，构建训练集。如图2所示，是构建训练集的样例，该车辆的主品牌是东风日产，子品牌是轩逸。
步骤二：在S102中，使用S101中构建的训练集，训练基于注意力机制的多层网络的车辆主子品牌识别模型；
步骤三：在S103中，使用S102得到的基于注意力机制的多层网络的车辆主子品牌识别模型，输入仅包含一辆完整车辆区域的图片，得到该目标车辆的主品牌预测概率矩阵和子品牌预测概率矩阵；
步骤四：使用S103得到的主品牌预测概率矩阵和子品牌预测概率矩阵，通过投票的方式，得到车辆的主品牌和子品牌识别结果。
在S103中，所述的基于注意力机制的多层网络的车辆主子品牌识别模型如图3所示。该识别模型具有双层网络结构，第一层网络由特征提取器1和注意力网络组成，第二层网络由特征提取器2组成。
优选的，使用仅包含一辆完整车辆区域的图片(如图2)作为输入图片，输入进识别模型中，输入图片的尺寸为224*224。
优选的，基于ResNet18构建第一层网络的特征提取器1，则特征提取器1得到的特征图1尺寸为7*7*512，其中7*7是特征图1的高和宽，512是特征图1的通道数。
优选的，对特征图1进行1*1的卷积，并且输出通道数为32，得到注意力网络。
注意力网络与特征图1进行双线性池化操作，得到部位特征矩阵，并且通过全连接层，得到主品牌预测概率矩阵。
如图4所示，是提取显著性区域的流程示意图。在步骤S201中，将注意力网络按通道进行相加并且归一化，得到一个7*7的矩阵。在步骤S202中，对该矩阵进行缩放，如双线性操作，恢复至与输入图片同样的尺寸，即224*224。在步骤S203中，将该矩阵中的每个元素与注意力网络判定的阈值θattention比较，当大于阈值θattention时置1，否则置0，从而得到掩膜版mask。提取输入图片中掩膜版mask值为1所对应的区域，得到输入图片的显著性区域。在步骤S204中，对该显著性区域进行缩放至输入图片的尺寸，即224*224。
优选的，注意力网络判定的阈值θattention为0.5。
优选的，基于ResNet34构建第二层网络的特征提取器2。将尺寸为224*224的显著性区域作为ResNet34的输入，从而得到7*7*512的特征图2，其中，7*7是特征图2的高和宽，512是特征图2的通道数。对特征图2进行池化操作和全连接操作，得到子品牌预测概率矩阵。
当得到主品牌预测概率矩阵和子品牌预测概率矩阵后，通过投票的方式得到车辆的主品牌和子品牌识别结果。假设子品牌预测概率矩阵的最大值P子1对应的子品牌为class子1，及其映射对应的主品牌为class子→主1，主品牌预测概率矩阵的最大值P主1对应的主品牌为class主1，投票规则如下：
规则一：当class子→主1＝class主1时，则目标车辆主品牌为class主1，子品牌为class子1；
规则二：当class子→主1≠class主1，且P子1>P主1时，则目标车辆主品牌为class子→主1，子品牌为class子1；
规则三：当class子→主1≠class主1，且P子1<P主1时，假设子品牌预测概率矩阵映射到主品牌class主1所对应的最大概率值的子品牌为class子X，则目标车辆主品牌为class主1，子品牌为class子X。
综上所述，本发明基于注意力机制的多层网络的车辆主子品牌识别模型，能同时得到车辆的主品牌信息和子品牌信息；利用了注意力机制，能使得模型更加关注显著性区域，提高模型的泛化能力；通过投票机制，使得模型在复杂场景下更加稳定和可靠。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于注意力机制的多层网络的车辆主子品牌识别方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于注意力机制的多层网络的车辆主子品牌识别方法的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (5)

1.基于注意力机制的多层网络的车辆主子品牌识别方法，其特征在于，所述的方法包含如下步骤：
步骤一：收集数据，选择不同场景、天气、光线和角度下的图片，且该图片仅包含一辆完整车辆区域，并对该图片进行分类，得到目标车辆的主品牌和子品牌信息，构建训练集；
步骤二：使用步骤一所得的训练集，训练基于注意力机制的多层网络的车辆主子品牌识别模型；
步骤三：使用步骤二得到的基于注意力机制的多层网络的车辆主子品牌识别模型，输入仅包含一辆完整车辆区域的图片，得到该目标车辆的主品牌预测概率矩阵和子品牌预测概率矩阵；
步骤四：使用步骤三得到的主品牌预测概率矩阵和子品牌预测概率矩阵，通过投票的方式，得到车辆的主品牌和子品牌识别结果；
所述的基于注意力机制的多层网络的车辆主子品牌识别模型具有双层网络结构；
所述的双层网络结构包括第一层网络和第二层网络，第一层网络由第一特征提取器和注意力网络组成，第二层网络由第二特征提取器组成；
所述的第一层网络中的第一特征提取器和注意力网络通过双线性池化操作得到部位特征矩阵，并将该部位特征矩阵输入到全连接层，得到主品牌预测概率矩阵；
所述的第二层网络中的输入是由第一层网络的注意力网络提取的显著性区域所构成，通过第二特征提取器得到输入图片的子品牌预测概率矩阵；
所述第二特征提取器将显著性区域构成的输入图片进行池化操作和全连接操作，得到子品牌预测概率矩阵。
2.根据权利要求1所述的基于注意力机制的多层网络的车辆主子品牌识别方法，其特征在于，子品牌预测概率矩阵的最大值P子1对应的子品牌为class子1，及其映射对应的主品牌为class子→主1，主品牌预测概率矩阵的最大值P主1对应的主品牌为class主1。
3.根据权利要求2所述的基于注意力机制的多层网络的车辆主子品牌识别方法，其特征在于，所述的投票的具体规则如下：
规则一：当class子→主1＝class主1时，则目标车辆主品牌为class主1，子品牌为class子1；
规则二：当class子→主1≠class主1，且P子1>P主1时，则目标车辆主品牌为class子→主1，子品牌为class子1；
规则三：当class子→主1≠class主1，且P子1<P主1时，假设子品牌预测概率矩阵映射到主品牌class主1所对应的最大概率值的子品牌为class子X，则目标车辆主品牌为class主1，子品牌为class子X。
4.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-3任一所述的基于注意力机制的多层网络的车辆主子品牌识别方法的步骤。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求1-3任一所述的基于注意力机制的多层网络的车辆主子品牌识别方法的步骤。
CN202010581874.6A 2020-06-23 2020-06-23 基于注意力机制的多层网络的车辆主子品牌识别方法 Active CN111754784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010581874.6A CN111754784B (zh) 2020-06-23 2020-06-23 基于注意力机制的多层网络的车辆主子品牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010581874.6A CN111754784B (zh) 2020-06-23 2020-06-23 基于注意力机制的多层网络的车辆主子品牌识别方法

Publications (2)

Publication Number Publication Date
CN111754784A CN111754784A (zh) 2020-10-09
CN111754784B true CN111754784B (zh) 2022-05-24

Family

ID=72676916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010581874.6A Active CN111754784B (zh) 2020-06-23 2020-06-23 基于注意力机制的多层网络的车辆主子品牌识别方法

Country Status (1)

Country Link
CN (1) CN111754784B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627477A (zh) * 2021-07-07 2021-11-09 武汉魅瞳科技有限公司 车辆多属性识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319907A (zh) * 2018-01-26 2018-07-24 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110134774A (zh) * 2019-04-29 2019-08-16 华中科技大学 一种基于注意力决策的图像视觉问答模型、方法和系统
CN110991506A (zh) * 2019-11-22 2020-04-10 高新兴科技集团股份有限公司 一种车辆品牌识别方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3655923B1 (en) * 2016-12-06 2022-06-08 Siemens Energy, Inc. Weakly supervised anomaly detection and segmentation in images
CN110895692B (zh) * 2018-09-13 2023-04-07 浙江宇视科技有限公司 车辆品牌识别方法、装置及可读存储介质
CN109948610B (zh) * 2019-03-14 2022-11-18 西南交通大学 一种基于深度学习的视频中车辆细粒度分类方法
CN111222409A (zh) * 2019-11-26 2020-06-02 北京迈格威科技有限公司 车辆品牌的标注方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319907A (zh) * 2018-01-26 2018-07-24 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110134774A (zh) * 2019-04-29 2019-08-16 华中科技大学 一种基于注意力决策的图像视觉问答模型、方法和系统
CN110991506A (zh) * 2019-11-22 2020-04-10 高新兴科技集团股份有限公司 一种车辆品牌识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111754784A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
Xu et al. Research on small target detection in driving scenarios based on improved yolo network
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN112712057A (zh) 交通信号识别方法、装置、电子设备及存储介质
CN113538916A (zh) 交通路口检测方法、装置、电子设备及存储介质
CN112289037B (zh) 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN111754784B (zh) 基于注意力机制的多层网络的车辆主子品牌识别方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Zheng et al. A deep learning–based approach for moving vehicle counting and short-term traffic prediction from video images
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
Yan et al. Lane information perception network for HD maps
Pan et al. A Hybrid Deep Learning Algorithm for the License Plate Detection and Recognition in Vehicle-to-Vehicle Communications
CN112016534B (zh) 车辆违停检测的神经网络的训练方法、检测方法和装置
CN114639084A (zh) 一种基于ssd改进算法的路侧端车辆感知方法
CN114550094A (zh) 一种三轮车流量统计和载人判断的方法及系统
Hamzah et al. Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm
CN111160230A (zh) 一种基于深度学习的道路不规则区域检测网络
CN109697857A (zh) 基于图像识别和神经网络算法的智能交通控制系统
JP7320307B1 (ja) 知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法
Zou et al. Application of DCGAN in Data Repair of Parking Lots
CN117612139A (zh) 基于深度学习的场景目标检测方法、系统和电子设备
CN115588186A (zh) 停车位的识别方法及装置、介质及电子设备
CN114220088A (zh) 一种车牌号识别的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant