CN112257601B - 基于弱监督学习的数据增强网络的细粒度车辆识别方法 - Google Patents

基于弱监督学习的数据增强网络的细粒度车辆识别方法 Download PDF

Info

Publication number
CN112257601B
CN112257601B CN202011142413.5A CN202011142413A CN112257601B CN 112257601 B CN112257601 B CN 112257601B CN 202011142413 A CN202011142413 A CN 202011142413A CN 112257601 B CN112257601 B CN 112257601B
Authority
CN
China
Prior art keywords
attention
network
vehicle
loss
grained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011142413.5A
Other languages
English (en)
Other versions
CN112257601A (zh
Inventor
柯逍
蔡宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011142413.5A priority Critical patent/CN112257601B/zh
Publication of CN112257601A publication Critical patent/CN112257601A/zh
Application granted granted Critical
Publication of CN112257601B publication Critical patent/CN112257601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出基于弱监督学习的数据增强网络的细粒度车辆识别方法，包括以下步骤；步骤S1：把细粒度车型数据集将其输入数据增强网络的主干网络，以获得车辆注意力图并计算部分注意力特征；步骤S2：进行图片数据增强，生成增强图像以扩充训练样本；步骤S3：计算原始图像和增强图像损失以及特征中心损失，以得到网络整体损失函数；步骤S4：过滤背景噪声，生成定位图输入数据增强网络，与原始图像获得的概率求均值得到最终细粒度车型预测结果；步骤S5：构建与颜色、角度、粗粒度车型相关的的多标签向量，将图片输入网络训练获得多标签分类器。输入汽车定位图得到汽车多标签预测结果；本发明能够准确有效地经图像识别来获取图片中的多种车辆信息。

Description

基于弱监督学习的数据增强网络的细粒度车辆识别方法
技术领域
本发明涉及图像识别处理技术领域，尤其是基于弱监督学习的数据增强网络的细粒度车辆识别方法。
背景技术
随着社会现代化发展，生产力稳步提升，汽车已然成为了最普遍的代步工具之一。
但是汽车拥有量的逐年升高带来了交通的拥堵、车辆管理等方面的许多难题。针对上述问题，快速识别车辆信息的智能算法提供了一种辅助解决手段。近年来细粒度图像分类算法快速发展，由于类内差异大，类间差异小，细粒度车辆识别往往需要大量数据标注信息。如何利用较少的标注信息完成大量相似车型类别的准确识别也成为了当前的一个研究热点，基于弱监督学习的算法的出现，减少了对额外人工标注信息的依赖性。
弱监督学习下的细粒度车型识别的目标是希望在仅使用类别标注信息而不使用额外标注信息的前提下，通过网络挖掘区分不同车型的判别性信息。同时多标签分类可以获得车辆多样化的信息。但车辆图像的采集质量受限于应用场景中摄像机的像素、拍摄时间、拍摄角度、天气等诸多因素，故实际应用场景中对车辆信息的识别算法的性能要求更加严格。
发明内容
本发明提出基于弱监督学习的数据增强网络的细粒度车辆识别方法，能够准确有效地经图像识别来获取图片中的多种车辆信息。
本发明采用以下技术方案。
基于弱监督学习的数据增强网络的细粒度车辆识别方法，可对细粒度的车辆信息进行识别，所述识别方法包括以下步骤；
步骤S1：获取需进行识别的细粒度车型数据集，将其输入数据增强网络的主干网络，以获得车辆注意力图并计算部分注意力特征；
步骤S2：进行注意力引导下的车辆图片数据增强，生成增强图像以扩充训练样本；
步骤S3：计算原始图像和增强图像损失以及特征中心损失，以得到网络整体损失函数；
步骤S4：定位车辆以过滤背景噪声，生成车辆定位图输入数据增强网络，与原始图像获得的概率求均值得到最终细粒度车型预测结果。
步骤S5：构建与颜色、角度、粗粒度车型相关的的多标签向量，将图片输入网络训练获得多标签分类器。输入汽车定位图得到汽车多标签预测结果。
所述步骤S1包括以下步骤；
步骤S11：采用公开的细粒度车型分类数据集，进行标签提取完成数据预处理；
步骤S12：把完成数据预处理的数据集输入基于GoogleNet的InceptionV3网络结构的主干网络；
步骤S13：主干网络用以对车辆图片提取特征图F，注意力机制通过卷积函数对特征图进行降维，从而生成若干个注意力图Ak，所述注意力图关注于车辆图片的不同区域；设令f(·)表示卷积函数，则对于主干网络提取的特征图F，注意力图的获取方式可以表示为
Figure BDA0002737877690000021
其中m为生成注意力图的数量；
步骤S14：为了得到输入图像的局部细节特征，对降维得到的注意力图Ak与特征图F按元素相乘后输入全局平均池化GAP中对结果进行池化操作，从而降维生成各个部分的注意力特征fk，所述各个部分的注意力特征能帮助网络对目标对象类别进行判别，具体计算方式如下
Figure BDA0002737877690000022
其中g(·)表示全局平均池化函数GAP，⊙表示矩阵按元素相乘。
所述步骤S2包括以下步骤；
步骤S21：对生成的若干张注意力图进行选择，采用随机选择一张注意力图Ak来指导车辆图片数据增强过程的选择方式，以使得任一张注意力图都有概率指导之后的增强过程，也就是说注意力机制生成的目标对象的各个部分影响增强过程的概率是相同的，增加了网络的鲁棒性；
对随机选择的注意力图进行标准化，计算过程如下
Figure BDA0002737877690000031
其中Ak表示随机选中的注意力图；
步骤S22：在训练阶段，通过注意力图引导数据增强过程来节约标注成本，从而扩充细粒度数据集的训练样本以提高模型准确率；将所采用的注意力图中像素点值大小与设定的阈值大小进行比较以构造裁切掩码，具体计算方式如下：
Figure BDA0002737877690000032
其中Ck表示裁切掩码，θc表示阈值，在0.4和0.6之间随机生成。
将所采用的注意力图中像素点值大小与设定的阈值大小进行比较以构造丢弃掩码，具体计算方式如下：
Figure BDA0002737877690000033
其中Dk表示丢弃掩码，θd表示阈值，在0.2到0.5之间随机生成；
步骤S23：将输入的测试图像分别与裁切掩码和丢弃掩码相乘，以分别生成注意力裁切后的图像和注意力丢弃后的图像，将原始图像和两种注意力不同引导下生成的数据增强图像共同输入数据增强网络进行训练。
所述步骤S3包括以下步骤；
步骤S31：通过损失函数计算原始图像的训练损失和注意力裁切后的图像以及注意力丢弃后的图像的训练损失，所述损失函数采用交叉熵损失；
步骤S32：为了加强同一分类类别的注意力图所表示的目标对象的部分的相似度，引入特征中心损失作为惩罚项；计算加强同一分类类别相似度的中心特征损失，计算方式如下：
Figure BDA0002737877690000041
其中fk表示部分注意力特征，ck表示部分特征中心；加强同一分类类别相似度的中心特征损失的计算结果呈现部分特征fk更加接近部分特征中心ck的特点，以使得整个注意力学习过程基于弱监督的形式进行；
步骤S33：迭代更新部分特征中心ck，使部分特征中心ck以预设的方式进行更新,在网络首次迭代时将ck的值设置为0；此步骤中更新的过程与每次网络学习得到的部分特征fk相关以进行反馈；计算方式如下：
ck+β(fk-ck)→ck 公式七；
其中β为超参数，其作用是控制部分特征中心ck的更新的速率；
步骤S34：计算包含四个部分的网络整体损失函数，并更新梯度以进行下一轮训练；整体损失函数计算方式如下：
Figure BDA0002737877690000042
其中loss1、loss2、loss3分别为网络输入原始图像、注意力裁切后的图像、注意力丢弃后的图像得到输出的交叉熵损失，LA为特征中心正则化项。
所述步骤S4包括以下步骤；
步骤S41：通过同一分类类别注意力图生成对象图AM，计算同一分类类别注意力图的均值，计算方式如下：
Figure BDA0002737877690000051
其中Ak为注意力图；
步骤S42：通过对象图预测边界框，以在没有标注信息的情况下，获得目标对象在输入图像中的位置，生成车辆定位图；使强化网络模型观察输入图像中的目标对象的细致度，同时在观察中过滤掉无关的背景信息，以提高网络模型的性能；
步骤S43：将车辆定位图输入网络获得细粒度预测概率，并将原始图像输入网络中获得粗粒度预测概率；
步骤S44：把细粒度预测概率、粗粒度预测概率相加求均值，获得最终细粒度车型预测概率，计算方式如下：
p＝(p1+p2)/2 公式十；
其中p1为细粒度预测概率，p2为粗粒度预测概率。
所述步骤S5包括以下步骤；
步骤S51：使用细粒度车型数据集构建车辆图片的多标签向量；所述多标签向量与车型的颜色、角度、粗粒度车型相关；
步骤S52：将车辆图片输入基于InceptionV3网络结构的主干网络，获得多标签预测向量；
步骤S53：分段计算颜色、角度、粗粒度车型的交叉熵损失，并计算网络整体损失函数，训练多标签分类器。网络整体损失函数计算方式如下：
loss＝losscolor+lossviewpoint+2losstype 公式十一；
其中losscolor表示车辆颜色的交叉熵损失，lossviewpoint表示车辆角度的交叉熵损失，losstype表示粗粒度车型的交叉熵损失；
步骤S54：将车辆定位图输入训练好的多标签分类器获得多标签预测向量，分段解析即得到车辆颜色、角度、粗粒度车型的预测结果。
与现有技术相比，本发明有以下有益效果：
1、本发明构建的基于弱监督学习下的数据增强网络的细粒度车辆识别方法能够准确有效地对车辆的细粒度车型、颜色、角度、粗粒度车型等多种信息进行提取识别。
2、本发明仅使用类别标注，无需诸如标注框在内的一系列额外人工标注。
3、针对车辆细粒度车型标注成本高导致的细粒度数据集规模往往较小等问题，本发明提出了一种基于弱监督学习下数据增强网络的方法，通过注意力机制生成注意力图引导数据增强以扩充汽车图片训练数据样本。
4、针对一张车辆图片包含多种信息同时也包含一定背景噪声等问题，本发明提出了采用训练多标签分类器，并利用基于弱监督学习下生成的车辆定位图输入多标签分类器进行信息提取和识别。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明的原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图所示，基于弱监督学习的数据增强网络的细粒度车辆识别方法，可对细粒度的车辆信息进行识别，所述识别方法包括以下步骤；
步骤S1：获取需进行识别的细粒度车型数据集，将其输入数据增强网络的主干网络，以获得车辆注意力图并计算部分注意力特征；
步骤S2：进行注意力引导下的车辆图片数据增强，生成增强图像以扩充训练样本；
步骤S3：计算原始图像和增强图像损失以及特征中心损失，以得到网络整体损失函数；
步骤S4：定位车辆以过滤背景噪声，生成车辆定位图输入数据增强网络，与原始图像获得的概率求均值得到最终细粒度车型预测结果。
步骤S5：构建与颜色、角度、粗粒度车型相关的的多标签向量，将图片输入网络训练获得多标签分类器。输入汽车定位图得到汽车多标签预测结果。
所述步骤S1包括以下步骤；
步骤S11：采用公开的细粒度车型分类数据集，进行标签提取完成数据预处理；
步骤S12：把完成数据预处理的数据集输入基于GoogleNet的InceptionV3网络结构的主干网络；
步骤S13：主干网络用以对车辆图片提取特征图F，注意力机制通过卷积函数对特征图进行降维，从而生成若干个注意力图Ak，所述注意力图关注于车辆图片的不同区域；设令f(·)表示卷积函数，则对于主干网络提取的特征图F，注意力图的获取方式可以表示为
Figure BDA0002737877690000071
其中m为生成注意力图的数量；
步骤S14：为了得到输入图像的局部细节特征，对降维得到的注意力图Ak与特征图F按元素相乘后输入全局平均池化GAP中对结果进行池化操作，从而降维生成各个部分的注意力特征fk，所述各个部分的注意力特征能帮助网络对目标对象类别进行判别，具体计算方式如下
Figure BDA0002737877690000072
其中g(·)表示全局平均池化函数GAP，⊙表示矩阵按元素相乘。
所述步骤S2包括以下步骤；
步骤S21：对生成的若干张注意力图进行选择，采用随机选择一张注意力图Ak来指导车辆图片数据增强过程的选择方式，以使得任一张注意力图都有概率指导之后的增强过程，也就是说注意力机制生成的目标对象的各个部分影响增强过程的概率是相同的，增加了网络的鲁棒性；
对随机选择的注意力图进行标准化，计算过程如下
Figure BDA0002737877690000081
其中Ak表示随机选中的注意力图；
步骤S22：在训练阶段，通过注意力图引导数据增强过程来节约标注成本，从而扩充细粒度数据集的训练样本以提高模型准确率；将所采用的注意力图中像素点值大小与设定的阈值大小进行比较以构造裁切掩码，具体计算方式如下：
Figure BDA0002737877690000082
其中Ck表示裁切掩码，θc表示阈值，在0.4和0.6之间随机生成。
将所采用的注意力图中像素点值大小与设定的阈值大小进行比较以构造丢弃掩码，具体计算方式如下：
Figure BDA0002737877690000083
其中Dk表示丢弃掩码，θd表示阈值，在0.2到0.5之间随机生成；
步骤S23：将输入的测试图像分别与裁切掩码和丢弃掩码相乘，以分别生成注意力裁切后的图像和注意力丢弃后的图像，将原始图像和两种注意力不同引导下生成的数据增强图像共同输入数据增强网络进行训练。
所述步骤S3包括以下步骤；
步骤S31：通过损失函数计算原始图像的训练损失和注意力裁切后的图像以及注意力丢弃后的图像的训练损失，所述损失函数采用交叉熵损失；
步骤S32：为了加强同一分类类别的注意力图所表示的目标对象的部分的相似度，引入特征中心损失作为惩罚项；计算加强同一分类类别相似度的中心特征损失，计算方式如下：
Figure BDA0002737877690000091
其中fk表示部分注意力特征，ck表示部分特征中心；加强同一分类类别相似度的中心特征损失的计算结果呈现部分特征fk更加接近部分特征中心ck的特点，以使得整个注意力学习过程基于弱监督的形式进行；
步骤S33：迭代更新部分特征中心ck，使部分特征中心ck以预设的方式进行更新,在网络首次迭代时将ck的值设置为0；此步骤中更新的过程与每次网络学习得到的部分特征fk相关以进行反馈；计算方式如下：
ck+β(fk-ck)→ck 公式七；
其中β为超参数，其作用是控制部分特征中心ck的更新的速率；
步骤S34：计算包含四个部分的网络整体损失函数，并更新梯度以进行下一轮训练；整体损失函数计算方式如下：
Figure BDA0002737877690000092
其中loss1、loss2、loss3分别为网络输入原始图像、注意力裁切后的图像、注意力丢弃后的图像得到输出的交叉熵损失，LA为特征中心正则化项。
所述步骤S4包括以下步骤；
步骤S41：通过同一分类类别注意力图生成对象图AM，计算同一分类类别注意力图的均值，计算方式如下：
Figure BDA0002737877690000101
其中Ak为注意力图；
步骤S42：通过对象图预测边界框，以在没有标注信息的情况下，获得目标对象在输入图像中的位置，生成车辆定位图；使强化网络模型观察输入图像中的目标对象的细致度，同时在观察中过滤掉无关的背景信息，以提高网络模型的性能；
步骤S43：将车辆定位图输入网络获得细粒度预测概率，并将原始图像输入网络中获得粗粒度预测概率；
步骤S44：把细粒度预测概率、粗粒度预测概率相加求均值，获得最终细粒度车型预测概率，计算方式如下：
p＝(p1+p2)/2 公式十；
其中p1为细粒度预测概率，p2为粗粒度预测概率。
所述步骤S5包括以下步骤；
步骤S51：使用细粒度车型数据集构建车辆图片的多标签向量；所述多标签向量与车型的颜色、角度、粗粒度车型相关；
步骤S52：将车辆图片输入基于InceptionV3网络结构的主干网络，获得多标签预测向量；
步骤S53：分段计算颜色、角度、粗粒度车型的交叉熵损失，并计算网络整体损失函数，训练多标签分类器。网络整体损失函数计算方式如下：
loss＝losscolor+lossviewpoint+2losstype 公式十一；
其中losscolor表示车辆颜色的交叉熵损失，lossviewpoint表示车辆角度的交叉熵损失，losstype表示粗粒度车型的交叉熵损失；
步骤S54：将车辆定位图输入训练好的多标签分类器获得多标签预测向量，分段解析即得到车辆颜色、角度、粗粒度车型的预测结果。
从以上内容可知，特别的，本实施例仅使用类别标注，无需诸如标注框在内的一系列额外人工标注。针对车辆细粒度车型标注成本高导致的细粒度数据集规模往往较小等问题，本发明提出了一种基于弱监督学习下数据增强网络的方法，通过注意力机制生成注意力图引导数据增强以扩充汽车图片训练数据样本。针对一张车辆图片包含多种信息同时也包含一定背景噪声等问题，本发明提出了采用训练多标签分类器，并利用基于弱监督学习下生成的车辆定位图输入多标签分类器进行信息提取和识别。
本发明能准确有效地对车辆的细粒度车型、颜色、角度、粗粒度车型等多种信息进行提取识别。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.基于弱监督学习的数据增强网络的细粒度车辆识别方法，其特征在于：所述识别方法包括以下步骤：
步骤S1：获取需进行识别的细粒度车型数据集，将其输入数据增强网络的主干网络，以获得车辆注意力图并计算各个部分的注意力特征；
步骤S2：进行注意力引导下的车辆图片数据增强，生成增强图像以扩充训练样本；
步骤S3：计算原始图像和增强图像损失以及特征中心损失，以得到网络整体损失函数；
步骤S4：定位车辆以过滤背景噪声，生成车辆定位图，将其与原始图像输入数据增强网络，获得的概率求均值，得到最终细粒度车型预测结果；
步骤S5：构建与颜色、角度、粗粒度车型相关的多标签向量，将图片输入数据增强网络的主干网络训练获得多标签分类器；输入车辆定位图得到汽车多标签预测结果；
所述步骤S1包括以下步骤：
步骤S11：采用公开的细粒度车型分类数据集，进行标签提取完成数据预处理；
步骤S12：把完成数据预处理的数据集输入数据增强网络的主干网络，即基于GoogleNet的InceptionV3网络结构的主干网络；
步骤S13：主干网络用以对车辆图片提取特征图F，注意力机制通过卷积函数对特征图进行降维，从而生成若干个注意力图Ak，所述注意力图关注于车辆图片的不同区域；
设f(·)表示卷积函数，则对于主干网络提取的特征图F，注意力图的集合的获取方式表示为
Figure FDA0003942992850000011
其中m为生成注意力图的数量；
步骤S14：为了得到输入图像的局部细节特征，对降维得到的注意力图Ak与特征图F按元素相乘后输入全局平均池化GAP中对结果进行池化操作，从而降维生成各个部分的注意力特征fk，所述各个部分的注意力特征能帮助网络对目标对象类别进行判别，具体计算方式如下
Figure FDA0003942992850000012
其中g(·)表示全局平均池化函数GAP，⊙表示矩阵按元素相乘；
所述步骤S2包括以下步骤：
步骤S21：对降维生成的若干张注意力图Ak进行选择，采用随机选择一张注意力图Ak来指导车辆图片数据增强过程的选择方式，以使得任一张注意力图都有概率指导之后的增强过程，也就是说注意力机制生成的目标对象的各个部分影响增强过程的概率是相同的，增加了网络的鲁棒性；
对随机选择的注意力图进行标准化，计算过程如下
Figure FDA0003942992850000021
其中Ak表示随机选中的降维生成注意力图；
步骤S22：在训练阶段，通过注意力图引导数据增强过程来节约标注成本，从而扩充细粒度数据集的训练样本以提高模型准确率；将所采用的注意力图中像素点值大小与设定的阈值大小进行比较以构造裁切掩码，具体计算方式如下：
Figure FDA0003942992850000022
其中Ck表示裁切掩码，θc表示裁切掩码阈值，在0.4和0.6之间随机生成；
将所采用的注意力图中像素点值大小与设定的阈值大小进行比较以构造丢弃掩码，具体计算方式如下：
Figure FDA0003942992850000023
其中Dk表示丢弃掩码，θd表示丢弃掩码阈值，在0.2到0.5之间随机生成；
步骤S23：将输入的测试图像分别与裁切掩码和丢弃掩码相乘，以分别生成注意力裁切后的图像和注意力丢弃后的图像，将原始图像和两种注意力不同引导下生成的数据增强图像共同输入数据增强网络进行训练；
所述步骤S3包括以下步骤：
步骤S31：通过损失函数计算原始图像的训练损失和注意力裁切后的图像以及注意力丢弃后的图像的训练损失，所述损失函数采用交叉熵损失；
步骤S32：为了加强同一分类类别的注意力图所表示的目标对象的部分的相似度，引入特征中心损失作为惩罚项；计算加强同一分类类别相似度的特征中心损失，计算方式如下：
Figure FDA0003942992850000031
其中fk表示部分注意力特征，ck表示部分特征中心；通过加强同一分类类别相似度的特征中心损失，使计算结果呈现部分注意力特征fk更加接近部分特征中心ck的特点，以使得整个注意力学习过程基于弱监督的形式进行；
步骤S33：迭代更新部分特征中心ck，使部分特征中心ck以预设的方式进行更新，在网络首次迭代时将ck的值设置为0；此步骤中更新的过程与每次网络学习得到的部分注意力特征fk相关以进行反馈；计算方式如下：
ck+β(fk-ck)→ck 公式七；
其中β为超参数，其作用是控制部分特征中心ck的更新的速率；
步骤S34：计算包含四个部分的网络整体损失函数，并更新梯度以进行下一轮训练；整体损失函数计算方式如下：
Figure FDA0003942992850000032
其中loss1、loss2、loss3分别为网络输入原始图像、注意力裁切后的图像、注意力丢弃后的图像得到输出的交叉熵损失，LA为特征中心损失。
2.根据权利要求1所述的基于弱监督学习的数据增强网络的细粒度车辆识别方法，其特征在于：所述步骤S4包括以下步骤：
步骤S41：通过同一分类类别注意力图生成对象图Am，计算同一分类类别注意力图的均值，计算方式如下：
Figure FDA0003942992850000041
其中Ak为注意力图；
步骤S42：通过对象图预测边界框，以在没有标注信息的情况下，获得目标对象在输入图像中的位置，生成车辆定位图；以强化网络模型观察输入图像中的目标对象的细致度，同时在观察中过滤掉无关的背景信息，以提高网络模型的性能；
步骤S43：将车辆定位图输入数据增强网络获得细粒度预测概率，并将原始图像输入数据增强网络中获得粗粒度预测概率；
步骤S44：把细粒度预测概率、粗粒度预测概率相加求均值，获得最终细粒度车型预测概率，计算方式如下：
p＝(p1+p2)/2 公式十；
其中p1为细粒度预测概率，p2为粗粒度预测概率。
3.根据权利要求2所述的基于弱监督学习的数据增强网络的细粒度车辆识别方法，其特征在于：所述步骤S5包括以下步骤：
步骤S51：使用细粒度车型数据集构建车辆图片的多标签向量；所述多标签向量与车型的颜色、角度、粗粒度车型相关；
步骤S52：将车辆图片输入数据增强网络，即基于InceptionV3网络结构的主干网络，获得多标签预测向量；
步骤S53：分段计算颜色、角度、粗粒度车型的交叉熵损失，并计算网络整体损失函数，训练多标签分类器；网络整体损失函数计算方式如下：
loss＝losscolor+lossviewpoint+2losstype 公式十一；
其中losscolor表示车辆颜色的交叉熵损失，lossviewpoint表示车辆角度的交叉熵损失，losstype表示粗粒度车型的交叉熵损失；
步骤S54：将车辆定位图输入训练好的多标签分类器获得多标签预测向量，分段解析即得到车辆颜色、角度、粗粒度车型的预测结果。
CN202011142413.5A 2020-10-22 2020-10-22 基于弱监督学习的数据增强网络的细粒度车辆识别方法 Active CN112257601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011142413.5A CN112257601B (zh) 2020-10-22 2020-10-22 基于弱监督学习的数据增强网络的细粒度车辆识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011142413.5A CN112257601B (zh) 2020-10-22 2020-10-22 基于弱监督学习的数据增强网络的细粒度车辆识别方法

Publications (2)

Publication Number Publication Date
CN112257601A CN112257601A (zh) 2021-01-22
CN112257601B true CN112257601B (zh) 2023-02-21

Family

ID=74263435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011142413.5A Active CN112257601B (zh) 2020-10-22 2020-10-22 基于弱监督学习的数据增强网络的细粒度车辆识别方法

Country Status (1)

Country Link
CN (1) CN112257601B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821146A (zh) * 2021-01-27 2022-07-29 四川大学 一种基于增强的弱监督细粒度阿尔兹海默症分类方法
CN112966709B (zh) * 2021-01-27 2022-09-23 中国电子进出口有限公司 一种基于深度学习的精细车型识别方法及系统
CN113610757A (zh) * 2021-07-02 2021-11-05 华中科技大学同济医学院附属同济医院 一种基于细粒度的医学x射线肺部图像检测方法
CN113837228B (zh) * 2021-08-30 2024-01-16 厦门大学 基于惩罚感知中心损失函数的用于细粒度物体检索方法
CN114495027A (zh) * 2022-01-11 2022-05-13 北京科技大学 一种基于网络数据的车型细粒度识别方法及装置
CN115100476A (zh) * 2022-07-04 2022-09-23 福州大学 一种基于结构建模局部提议网络的细粒度分类方法
CN115187839B (zh) * 2022-09-15 2022-12-16 有米科技股份有限公司 图文语义对齐模型训练方法及装置
CN115527070B (zh) * 2022-11-01 2023-05-19 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于交通场景的目标检测方法、装置、设备及存储介质
CN117011718B (zh) * 2023-10-08 2024-02-02 之江实验室 一种基于多元损失融合的植物叶片细粒度识别方法和系统
CN117891964A (zh) * 2024-01-16 2024-04-16 安徽大学 一种基于特征聚合的跨模态图像检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111539469A (zh) * 2020-04-20 2020-08-14 东南大学 一种基于视觉自注意力机制的弱监督细粒度图像识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361225B2 (en) * 2018-12-18 2022-06-14 Microsoft Technology Licensing, Llc Neural network architecture for attention based efficient model adaptation
CN109754015B (zh) * 2019-01-02 2021-01-26 京东方科技集团股份有限公司 用于画作多标签识别的神经网络及相关方法、介质和设备
CN110059582B (zh) * 2019-03-28 2023-04-07 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN111461190B (zh) * 2020-03-24 2023-03-28 华南理工大学 一种基于深度卷积神经网络的非均衡船舶分类方法
CN111582225B (zh) * 2020-05-19 2023-06-20 长沙理工大学 一种遥感图像场景分类方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111539469A (zh) * 2020-04-20 2020-08-14 东南大学 一种基于视觉自注意力机制的弱监督细粒度图像识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fine-grained vehicle classifi-cation with unsupervised parts co-occurrence learning;Elkerdawy S et al.;《Proceedings of the European Conference on Computer Vision》;20181230;全文 *
基于AT-PGGAN的增强数据车辆型号精细识别;杨昌东等;《中国图象图形学报》;20200316(第03期);全文 *
车辆型号的精细识别方法研究;金强;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190215(第02期);全文 *

Also Published As

Publication number Publication date
CN112257601A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112257601B (zh) 基于弱监督学习的数据增强网络的细粒度车辆识别方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN111582178B (zh) 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN109165602B (zh) 一种基于视频分析的黑烟车检测方法
CN110647853A (zh) 计算机执行的车辆定损方法及装置
CN112836677A (zh) 一种利用深度学习的弱监督车辆重识别方法
Dorbe et al. FCN and LSTM based computer vision system for recognition of vehicle type, license plate number, and registration country
CN113205026A (zh) 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN114782997B (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
Lee et al. Super-resolution of license plate images via character-based perceptual loss
CN115497122A (zh) 遮挡行人重识别方法、装置、设备和计算机可存储介质
CN111723852A (zh) 针对目标检测网络的鲁棒训练方法
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111144237A (zh) 一种基于ai的水污染识别方法及系统
CN114743126A (zh) 一种基于图注意力机制网络的车道线标志分割方法
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
Soumya et al. License plate detection and character recognition using contour analysis
CN113591545A (zh) 一种基于深度学习的多级特征提取网络行人再识别方法
KR101298937B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
CN116524725A (zh) 一种智能驾驶的交通标志图像数据识别系统
CN116645694A (zh) 基于动态自进化信息抽取和对齐的文本-目标检索方法
CN113392726B (zh) 室外监控场景下人头识别检测方法、系统、终端及介质
CN115049611A (zh) 一种基于改进yolov5的连铸坯裂纹缺陷识别方法
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant