CN111767954A - 车辆细粒度识别模型生成方法、系统、设备及存储介质 - Google Patents

车辆细粒度识别模型生成方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN111767954A
CN111767954A CN202010614079.2A CN202010614079A CN111767954A CN 111767954 A CN111767954 A CN 111767954A CN 202010614079 A CN202010614079 A CN 202010614079A CN 111767954 A CN111767954 A CN 111767954A
Authority
CN
China
Prior art keywords
vehicle
map
identification model
feature
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010614079.2A
Other languages
English (en)
Inventor
陈林
晋兆龙
邹文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202010614079.2A priority Critical patent/CN111767954A/zh
Publication of CN111767954A publication Critical patent/CN111767954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种车辆细粒度识别模型生成方法、系统、设备及存储介质，所述方法包括：获取车辆细粒度识别模型，识别模型包括特征提取层和分类层，特征提取层配置为将输入图像处理得到特征图，特征图由位置注意力图和通道注意力图组合而成，分类层配置为根据特征图得到输入图像的分类结果；获取车辆样本图像，车辆样本图像具有预设类别标签；将车辆样本图像输入识别模型，获取输出的分类结果；构建损失函数并基于损失函数训练识别模型，损失函数用于表征识别模型输出的分类结果与预设类别标签的偏差程度。通过采用本发明，通过结合位置注意力和通道注意力捕获图像的重要细节，提高了车辆细粒度识别模型生成的精度。

Description

车辆细粒度识别模型生成方法、系统、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种车辆细粒度识别模型生成方法、系统、设备及存储介质。
背景技术
车辆年款识别是智能交通系统领域的重要研究领域之一，主要针对更为精细的子类来加以区分，涉及到大品牌、子品牌和年款三级，如奥迪Q52015款。由于车辆数据在外形特征上存在很高的相似性，尤其是不同年款类别间的差别往往很细微。需要算法能够从样本中学到有显著区分度的信息特征，以此来提高车辆年款识别的准确性。这些信息存在于车辆关键部件区域。
针对车辆部件特征的提取，现有技术中一般采用先定位判别区域，然后基于这些区域分类的方法，这类方法大多需要局部区域的标注数据，标注成本较大。并且，由于车辆年款识别中存在类间差异小，类内差异大的现象。如奥迪Q5 2015款和奥迪Q5 2013款间的相似度就远远高于奥迪Q5 2015款与奥迪Q3 2015款之间的相似度。现有的车辆年款识别方法都是对所有子类别同等对待，这样就导致相似度高的子类别间的区分度不高。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种车辆细粒度识别模型生成方法、系统、设备及存储介质，通过结合位置注意力和通道注意力捕获图像的重要细节，从而提高车辆细粒度识别模型生成的精度。
本发明实施例提供一种车辆细粒度识别模型生成方法，包括如下步骤：
获取车辆细粒度识别模型，所述识别模型包括特征提取层和分类层，所述特征提取层配置为将输入图像处理得到特征图，所述特征图由位置注意力图和通道注意力图组合而成，所述分类层配置为根据所述特征图得到所述输入图像的分类结果；
获取车辆样本图像，所述车辆样本图像具有预设类别标签；
将所述车辆样本图像输入所述识别模型，获取输出的分类结果；
构建损失函数并基于所述损失函数训练所述识别模型，所述损失函数用于表征所述识别模型输出的分类结果与所述预设类别标签的偏差程度。
可选地，所述识别模型的特征提取层包括第一特征提取层和第二特征提取层，所述第一特征提取层配置为将输入图像处理得到第一特征图，所述第二特征提取层配置为将所述第一特征图进行处理分别得到位置注意力图和通道注意力图，并将所述位置注意力图和通道注意力图组合得到第二特征图，所述第二特征图作为所述分类层的输入。
可选地，所述第二特征提取层配置为采用如下步骤将所述第一特征图进行处理分别得到位置注意力图和通道注意力图：
对所述第一特征图进行多次卷积操作，至少得到第一子特征图、第二子特征图、第三子特征图和第四子特征图；
将所述第一子特征图与所述第二子特征图的转置进行点乘，得到表示位置间的空间关系的第一点乘结果，根据所述第一点乘结果生成位置注意力图；
将所述第三子特征图的转置和所述第四子特征图进行点乘，得到表示通道间的空间关系的第二点乘结果，根据所述第二点乘结果生成通道注意力图。
可选地，所述第二特征提取层对所述第一特征图进行多次卷积操作时，还得到一第五子特征图；
所述第二特征提取层将第一点乘结果归一化后与所述第五子特征图进行点乘，得到位置注意力图；
所述第二特征提取层将所述第五子特征图与归一化后的第二点乘结果进行点乘，得到通道注意力图。
可选地，所述第二特征提取层配置为采用如下步骤将所述位置注意力图和通道注意力图组合得到第二特征图：
将所述位置注意力图和所述通道注意力图逐元素相加，得到所述第二特征图。
可选地，所述识别模型的特征提取层还包括位于所述第二特征提取层之后的注意力随机失活层，所述注意力随机失活层配置为随机丢弃一定特征图的值。
可选地，所述获取车辆样本图像，包括如下步骤：
获取标记有预设类别标签的样本图像集；
从所述样本图像集中随机抽取N个类别的图像，并且每个类别的图像包括两张随抽取的车辆样本图像，得到2N张车辆样本图像，作为一次模型训练所采用的输入图像。
可选地，所述构建损失函数，包括定义正样本和负样本，并基于softmax损失函数和N-pair损失函数构建损失函数。
可选地，所述定义正样本和负样本，包括将一车辆样本图像作为锚点，将与锚点属于同一类别的车辆样本图像作为正样本，其余车辆样本图像均作为负样本。
通过采用本发明的车辆细粒度识别模型生成方法，通过结合位置注意力和通道注意力捕获图像的重要细节，在原有全局信息的基础上，补充局部细节信息，从而提高了车辆细粒度识别模型生成的精度，并且无需先定位判别区域，也无需额外的区域标注，模型可以实现端到端训练。
本发明实施例还提供一种车辆细粒度识别模型生成系统，应用于所述的车辆细粒度识别模型生成方法，所述系统包括：
模型获取模块，用于获取车辆细粒度识别模型，所述车辆细粒度识别模型包括特征提取层和分类层，所述特征提取层配置为将输入图像处理得到特征图，所述特征图由位置注意力图和通道注意力图组合而成，所述分类层配置为根据所述特征图得到所述输入图像的分类结果；
样本获取模块，用于获取车辆样本图像，所述车辆样本图像具有预设类别标签；
样本分类模块，用于将所述车辆样本图像输入识别模型，获取输出的分类结果；
模型训练模块，用于构建损失函数并基于所述损失函数训练所述识别模型，所述损失函数用于表征所述识别模型输出的分类结果与所述预设类别标签的偏差程度。
通过采用本发明的车辆细粒度识别模型生成系统，通过结合位置注意力和通道注意力捕获图像的重要细节，在原有全局信息的基础上，补充局部细节信息，从而提高了车辆细粒度识别模型生成的精度，并且无需先定位判别区域，也无需额外的区域标注，模型可以实现端到端训练。
本发明实施例还提供一种车辆细粒度识别模型生成设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的车辆细粒度识别模型生成方法的步骤。
通过采用本发明所提供的车辆细粒度识别模型生成设备，所述处理器在执行所述可执行指令时执行所述的车辆细粒度识别模型生成方法，由此可以获得上述车辆细粒度识别模型生成方法的有益效果，即提高了车辆细粒度识别模型生成的精度，并且可以实现端到端训练。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的车辆细粒度识别模型生成方法的步骤。
通过采用本发明所提供的计算机可读存储介质，所述介质中存储的程序被执行时执行所述的车辆细粒度识别模型生成方法，由此可以获得上述车辆细粒度识别模型生成方法的有益效果，即提高了车辆细粒度识别模型生成的精度，并且可以实现端到端训练。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的车辆细粒度识别模型生成方法的流程图；
图2是本发明一实施例的车辆细粒度识别模型训练的过程示意图；
图3是本发明一实施例的第二特征提取层的架构示意图；
图4是本发明一实施例的车辆细粒度识别模型生成系统的结构示意图；
图5是本发明一实施例的车辆细粒度识别模型生成设备的结构示意图；
图6是本发明一实施例的计算机存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，在本发明一实施例中，所述车辆细粒度识别模型生成方法包括如下步骤：
S100：获取车辆细粒度识别模型，所述识别模型包括特征提取层和分类层，所述特征提取层配置为将输入图像处理得到特征图，所述特征图由位置注意力图和通道注意力图组合而成，所述分类层配置为根据所述特征图得到所述输入图像的分类结果；
S200：获取车辆样本图像，所述车辆样本图像具有预设类别标签；
步骤S100和步骤S200分别获取识别模型和车辆样本图像，两者可以同步进行，也可以先进行步骤S100，再进行步骤S200，也可以先进行步骤S200，再进行步骤S100，均属于本发明的保护范围之内；
S300：将所述车辆样本图像输入识别模型，获取输出的分类结果；
S400：构建损失函数并基于所述损失函数训练所述识别模型，所述损失函数用于表征所述识别模型输出的分类结果与所述预设类别标签的偏差程度。此处训练识别模型可以采用迭代训练的方式，训练至所述损失函数最小，选择此时所述识别模型的网络参数作为训练得到的识别模型的网络参数，所述网络参数用于表征所述车辆细粒度识别模型。
通过采用本发明的车辆细粒度识别模型生成方法，首先分别通过步骤S100获取车辆细粒度识别模型和步骤S200获取车辆样本图像，所述识别模型包括特征提取层和分类层，特征提取层通过结合位置注意力和通道注意力捕获图像的重要细节，然后通过步骤S300和S400，采用车辆样本图像基于构建的损失函数对识别模型进行优化训练，从而提高了车辆细粒度识别模型生成的精度。本发明在识别模型中引入了自注意力机制，由于自注意力是特征图间的自主学习，分配权重，这个权重可以是空间位置间的，也可以是通道间的，其通过一种无监督的方式来自动地定位到判别性区域，这类方法不需要额外的标注成本，因此本发明在原有全局信息的基础上，补充局部细节信息，并且无需先定位判别区域，也无需额外的区域标注，模型可以实现端到端训练；本发明不仅可以应用于车辆年款的分类模型生成，也可以用于车辆其他细粒度属性的识别模型生成，例如用于车辆车型的识别等，在应用于车辆年款识别中时，可以更好地凸显出本发明细粒度精度高的优势。
在该实施例中，所述所述车辆细粒度识别模型包括第一特征提取层和第二特征提取层，所述第一特征提取层配置为将输入图像处理得到第一特征图，所述第二特征提取层配置为将所述第一特征图进行处理分别得到位置注意力图和通道注意力图，并将所述位置注意力图和通道注意力图组合得到第二特征图，所述第二特征图作为所述分类层的输入。
如图2所示，为该实施例的车辆细粒度识别模型训练的过程示意图。在该实施例中，所述第一特征提取层可以采用去除全连接层后的ResNet50结构。ResNet是残差网络(Residual Network)的缩写，该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分，典型的网络有ResNet50，ResNet101等。
所述第二特征提取层采用双注意力特征提取层，即结合位置注意力图和通道注意力图进行细粒度特征提取。所述分类层可以采用全连接层对所述特征图进行分类。
具体地，所述第二特征提取层配置为采用如下步骤将所述第一特征图进行处理分别得到位置注意力图和通道注意力图：
对所述第一特征图进行多次卷积操作，至少得到第一子特征图、第二子特征图、第三子特征图和第四子特征图；
将所述第一子特征图与所述第二子特征图的转置进行点乘，得到表示位置间的空间关系的第一点乘结果，根据所述第一点乘结果生成位置注意力图；
将所述第三子特征图的转置和所述第四子特征图进行点乘，得到表示通道间的空间关系的第二点乘结果，根据所述第二点乘结果生成通道注意力图。
进一步地，在将所述第一子特征图与所述第二子特征图的转置进行点乘以及将所述第三子特征图的转置和所述第四子特征图进行点乘之后，为了使得位置注意力图和通道注意力图具有更好的一致性和鲁棒性，可以进一步将两次点乘结果分别再与一个特征图进行点乘处理，具体地。在该实施例中，所述第二特征提取层可以配置为采用如下步骤将所述第一特征图进行处理分别得到位置注意力图和通道注意力图：
(1)对所述第一特征图进行多次卷积操作，至少得到第一子特征图、第二子特征图、第三子特征图、第四子特征图和第五子特征图；
(2)将所述第一子特征图与所述第二子特征图的转置进行点乘，得到第一点乘结果，根据所述第一点乘结果生成位置注意力图，包括将第一点乘结果归一化后与所述第五子特征图进行点乘，得到位置注意力图；
(3)将所述第三子特征图的转置和所述第四子特征图进行点乘，得到第二点乘结果，根据所述第二点乘结果生成通道注意力图，包括将所述第五子特征图与归一化后的第二点乘结果进行点乘，得到通道注意力图。
在该实施例中，所述第二特征提取层配置为采用如下步骤将所述位置注意力图和通道注意力图组合得到第二特征图：
(4)将所述位置注意力图和所述通道注意力图逐元素相加，得到所述第二特征图。
下面结合图3以一个具体实例来进一步介绍所述第一特征提取层和所述第二特征提取层对细粒度特征的提取过程。
所述第一特征提取层输入的车辆样本图像的大小为BHW×2048，输出的第一特征图为BHW×512。所述第一特征图输入到第二特征提取层，由所述第二特征提取层执行下述操作：
对应于上述步骤(1)，首先对输入的第一特征图分别做5次1×1×512的卷积操作，降低通道数，得到了五个特征图，它们的大小均为BHW×512；
对应于上述步骤(2)，对第二特征图进行转置，转置后的大小为512×BHW，然后将第一特征图(BHW×512)与第二特征图的转置(512×BHW)进行点乘操作，得到第一点乘结果(BHW×BHW)；
将第一点乘结果(BHW×BHW)进行softmax归一化，从而找到了特征图中每个像素与其他所有位置像素的归一化相关性。将归一化后的第一点乘结果(BHW×BHW)与第五特征图(BHW×512)进行点乘，得到位置注意力图(BHW×512)；
对应于上述步骤(3)，对第三特征图进行转置，转置后的大小为512×BHW，然后将转置的第三特征图(512×BHW)与第四特征图(BHW×512)进行点乘操作，得到第二点乘结果(512×512)；
将第二点乘结果(512×512)进行softmax归一化，从而找到了特征图中通道与通道之间的归一化相关性。
将第五特征图(BHW×512)与归一化后的第二点乘结果(512×512)进行点乘，得到通道注意力图(BHW×512)；
对应于上述步骤(4)，将位置注意力图(BHW×512)与通道注意力图(BHW×512)逐元素相加，得到第二特征图(BHW×512)。
进一步地，如图3所示，所述车辆细粒度识别模型中还可以进一步包括注意力随机失活层，具体地，在该实施例中，所述在车辆细粒度识别模型中添加特征提取层，还包括如下步骤：
在所述车辆细粒度识别模型中所述第二特征提取层之后还添加了一个注意力随机失活层(Attention Dropout)，所述注意力随机失活层配置为随机丢弃一定特征图的值，即随机将所述第二特征图中部分通道的值设为0。随机失活(Dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零。
该实施例中，通过增加注意力随机失活层，有利于分散注意力区域，使得注意力不再局限于某个区域上，可以更好地应对实际场景中车辆部件存在遮挡或不可见的情况。
如图3所示，在经过注意力随机失活层之后，可以进一步将所述第二特征图进行L2标准化后输出到全连接层中，进行图像分类。L2范数归一化就是在向量中每个元素除以向量的L2范数。
在该实施例中，所述步骤S200：获取车辆样本图像，包括如下步骤：
获取标记有预设类别标签的样本图像集；
从所述样本图像集中随机抽取N个类别的图像，并且每个类别的图像包括两张随抽取的车辆样本图像，得到2N张车辆样本图像，作为一次模型训练所采用的输入图像。
具体地，在所述车辆细粒度识别模型为车辆年款识别模型时，所述获取车辆样本图像可以采用如下步骤：
获取标记有预设类别标签的样本图像集，具体地，可以对车辆样本图像进行标注，标注的预设类别标签包括大品牌、子品牌及年款，不同的年款，即视为不同的类别标签，将所有已标注车辆图像样本进行预处理，将图像缩放至256×256大小，加入到样本图像集；
对样本图像集中图像的数量进行检查，判断每个类别的样本图像数量是否为偶数，如果是奇数，则采用其自身的第一张图像来复制扩增，确保每个类别的样本图像数量为偶数；
从所述样本图像集中随机抽取N个类别的图像，并且每个类别的图像包括两张随抽取的车辆样本图像，得到2N张车辆样本图像，作为一次模型训练所采用的输入图像；
从所有类别数中随机抽取N个类别；
从抽出的N个类别中每个类别的样本图像中随机选择两张图像，一共抽出2N张车辆样本图像，作为一次模型训练所采用的输入图像，即组成一个batch，并且在样本图像集中删除已经抽出的图像。
在一轮模型训练完成后，在样本图像集中继续随机抽取N个类别的共2N张图像(每个类别2张图像)，然后继续下一轮的模型训练，直到所有样本图像被抽完或者所述样本图像集中的类别数小于N，则完成一个epoch(时期)。此处，N为大于1的整数，具体数值可以根据需要进行设定。
在该实施例中，将通过步骤S200抽取出的一轮模型训练所使用的样本图像并输入到步骤S100中获取的识别模型之后，识别模型即首先通过特征提取层提取样本图像的特征图，然后将样本图像的特征图采用全连接层进行分类，得到车辆样本图像的分类结果(例如年款分类结果)。
在该实施例中，所述步骤S400：构建损失函数，包括定义正样本和负样本，并基于softmax损失函数和N-pair损失函数构建损失函数。
在步骤S400中，采用N-pair损失函数同时优化所有负类样本。本发明所使用的N-pair损失函数的函数表达式为：
Figure BDA0002563148370000101
其中，
Figure BDA0002563148370000102
表示N-pair损失函数，f+表示正样本集合中的某一个特征，T表示矩阵转置。
在该实施例中，所述定义正样本和负样本，包括将一车辆样本图像作为锚点，将与锚点属于同一类别的车辆样本图像作为正样本，其余车辆样本图像均作为负样本，即在本次训练一共采用了2N个车辆样本图像的情况下，2张图像为正样本，除了该正样本的2张图像外，其他的有2N-2张图像为负样本。由于本发明在车辆细粒度识别模型中引入了双注意力模块(位置注意力和通道注意力)，可以对车辆更多区域进行检测，并且无需事先进行区域定位或区域标注，因此，在计算N-pair损失函数时，只需要简单地进行正负样本的区分即可，而无需进行更多的分类，使得损失函数的构建上也更为高效。
基于softmax损失函数和N-pair损失函数构建损失函数时，可以采用如下公式来构建损失函数L：
L＝Lsoftmax+α×Lnp (2)
其中α是控制N-pair损失函数比重的参数。
因此，本发明在损失函数的构建中，引入了N-pair损失函数，可以有效地拉近同类样本间的距离，拉远不同样本间的距离，可以有效地解决现有技术中不同年款间相似度高时难以进行识别的缺陷，本发明在损失函数的构建中，通过softmax损失函数和N-pair损失函数的结合，引入了类别间的相似度度量，以减少类内差异，扩大类间差异，从而进一步提高了相似度很高的不同的年款之间的识别精度。
如图4所示，本发明实施例还提供一种车辆细粒度识别模型生成系统，应用于所述的车辆细粒度识别模型生成方法，所述系统包括：
模型获取模块M100，用于获取车辆细粒度识别模型，所述识别模型包括特征提取层和分类层，所述特征提取层配置为将输入图像处理得到特征图，所述特征图由位置注意力图和通道注意力图组合而成，所述分类层配置为根据所述特征图得到所述输入图像的分类结果；
样本获取模块M200，用于获取车辆样本图像，所述车辆样本图像具有预设类别标签；
样本分类模块M300，用于将所述车辆样本图像输入识别模型，获取输出的分类结果；
模型训练模块M400，用于构建损失函数并基于所述损失函数训练所述识别模型，所述损失函数用于表征所述识别模型输出的分类结果与所述预设类别标签的偏差程度。
通过采用本发明的车辆细粒度识别模型生成系统，首先通过模型获取模块M100获取车辆细粒度识别模型，并通过样本获取模块M200获取车辆样本图像，在识别模型中添加特征提取层和分类层，特征提取层通过结合位置注意力和通道注意力捕获图像的重要细节，然后通过样本分类模块M300和模型训练模块M400，采用车辆样本图像基于构建的损失函数对识别模型进行优化训练。通过在识别模型中结合双重注意力机制，在原有全局信息的基础上，补充局部细节信息，从而提高了车辆细粒度识别模型生成的精度，并且无需先定位判别区域，也无需额外的区域标注，模型可以实现端到端训练。
本发明实施例还提供一种车辆细粒度识别模型生成设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的车辆细粒度识别模型生成方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述车辆细粒度识别模型生成处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过采用本发明所提供的车辆细粒度识别模型生成设备，所述处理器在执行所述可执行指令时执行所述的车辆细粒度识别模型生成方法，由此可以获得上述车辆细粒度识别模型生成方法的有益效果，提高了车辆细粒度识别模型生成的精度，并且可以实现端到端训练。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的车辆细粒度识别模型生成方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述车辆细粒度识别模型生成处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或集群上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过采用本发明所提供的计算机可读存储介质，所述处理器在执行所述可执行指令时执行所述的车辆细粒度识别模型生成方法，由此可以获得上述车辆细粒度识别模型生成方法的有益效果，提高了车辆细粒度识别模型生成的精度，并且可以实现端到端训练。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种车辆细粒度识别模型生成方法，其特征在于，包括如下步骤：
获取车辆细粒度识别模型，所述识别模型包括特征提取层和分类层，所述特征提取层配置为将输入图像处理得到特征图，所述特征图由位置注意力图和通道注意力图组合而成，所述分类层配置为根据所述特征图得到所述输入图像的分类结果；
获取车辆样本图像，所述车辆样本图像具有预设类别标签；
将所述车辆样本图像输入所述识别模型，获取输出的分类结果；
构建损失函数并基于所述损失函数训练所述识别模型，所述损失函数用于表征所述识别模型输出的分类结果与所述预设类别标签的偏差程度。
2.根据权利要求1所述的车辆细粒度识别模型生成方法，其特征在于，所述识别模型的特征提取层包括第一特征提取层和第二特征提取层，所述第一特征提取层配置为将输入图像处理得到第一特征图，所述第二特征提取层配置为将所述第一特征图进行处理分别得到位置注意力图和通道注意力图，并将所述位置注意力图和通道注意力图组合得到第二特征图，所述第二特征图作为所述分类层的输入。
3.根据权利要求2所述的车辆细粒度识别模型生成方法，其特征在于，所述第二特征提取层配置为采用如下步骤将所述第一特征图进行处理分别得到位置注意力图和通道注意力图：
对所述第一特征图进行多次卷积操作，至少得到第一子特征图、第二子特征图、第三子特征图和第四子特征图；
将所述第一子特征图与所述第二子特征图的转置进行点乘，得到表示位置间的空间关系的第一点乘结果，根据所述第一点乘结果生成位置注意力图；
将所述第三子特征图的转置和所述第四子特征图进行点乘，得到表示通道间的空间关系的第二点乘结果，根据所述第二点乘结果生成通道注意力图。
4.根据权利要求2所述的车辆细粒度识别模型生成方法，其特征在于，所述第二特征提取层对所述第一特征图进行多次卷积操作时，还得到一第五子特征图；
所述第二特征提取层将第一点乘结果归一化后与所述第五子特征图进行点乘，得到位置注意力图；
所述第二特征提取层将所述第五子特征图与归一化后的第二点乘结果进行点乘，得到通道注意力图。
5.根据权利要求2所述的车辆细粒度识别模型生成方法，其特征在于，所述第二特征提取层配置为采用如下步骤将所述位置注意力图和通道注意力图组合得到第二特征图：
将所述位置注意力图和所述通道注意力图逐元素相加，得到所述第二特征图。
6.根据权利要求2所述的车辆细粒度识别模型生成方法，其特征在于，所述识别模型的特征提取层还包括位于所述第二特征提取层之后的注意力随机失活层，所述注意力随机失活层配置为随机丢弃一定特征图的值。
7.根据权利要求1所述的车辆细粒度识别模型生成方法，其特征在于，所述获取车辆样本图像，包括如下步骤：
获取标记有预设类别标签的样本图像集；
从所述样本图像集中随机抽取N个类别的图像，并且每个类别的图像包括两张随抽取的车辆样本图像，得到2N张车辆样本图像，作为一次模型训练所采用的输入图像。
8.根据权利要求1所述的车辆细粒度识别模型生成方法，其特征在于，所述构建损失函数，包括定义正样本和负样本，并基于softmax损失函数和N-pair损失函数构建损失函数。
9.根据权利要求8所述的车辆细粒度识别模型生成方法，其特征在于，所述定义正样本和负样本，包括将一车辆样本图像作为锚点，将与锚点属于同一类别的车辆样本图像作为正样本，其余车辆样本图像均作为负样本。
10.一种车辆细粒度识别模型生成系统，其特征在于，应用于权利要求1至9中任一项所述的车辆细粒度识别模型生成方法，所述系统包括：
模型获取模块，用于获取车辆细粒度识别模型，所述车辆细粒度识别模型包括特征提取层和分类层，所述特征提取层配置为将输入图像处理得到特征图，所述特征图由位置注意力图和通道注意力图组合而成，所述分类层配置为根据所述特征图得到所述输入图像的分类结果；
样本获取模块，用于获取车辆样本图像，所述车辆样本图像具有预设类别标签；
样本分类模块，用于将所述车辆样本图像输入识别模型，获取输出的分类结果；
模型训练模块，用于构建损失函数并基于所述损失函数训练所述识别模型，所述损失函数用于表征所述识别模型输出的分类结果与所述预设类别标签的偏差程度。
11.一种车辆细粒度识别模型生成设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的车辆细粒度识别模型生成方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9中任一项所述的车辆细粒度识别模型生成方法的步骤。
CN202010614079.2A 2020-06-30 2020-06-30 车辆细粒度识别模型生成方法、系统、设备及存储介质 Pending CN111767954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010614079.2A CN111767954A (zh) 2020-06-30 2020-06-30 车辆细粒度识别模型生成方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010614079.2A CN111767954A (zh) 2020-06-30 2020-06-30 车辆细粒度识别模型生成方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111767954A true CN111767954A (zh) 2020-10-13

Family

ID=72724202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010614079.2A Pending CN111767954A (zh) 2020-06-30 2020-06-30 车辆细粒度识别模型生成方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767954A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241452A (zh) * 2020-10-16 2021-01-19 百度(中国)有限公司 一种模型训练方法、装置、电子设备及存储介质
CN112906810A (zh) * 2021-03-08 2021-06-04 共达地创新技术(深圳)有限公司 目标检测方法、电子设备和存储介质
CN112906824A (zh) * 2021-03-29 2021-06-04 苏州科达科技股份有限公司 车辆聚类方法、系统、设备及存储介质
CN113313079A (zh) * 2021-07-16 2021-08-27 深圳市安软科技股份有限公司 一种车辆属性识别模型的训练方法、系统及相关设备
CN113343881A (zh) * 2021-06-21 2021-09-03 浪潮云信息技术股份公司 基于深度学习的车辆品牌型号细粒度分类系统及方法
CN113361636A (zh) * 2021-06-30 2021-09-07 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113378883A (zh) * 2021-05-12 2021-09-10 山东科技大学 一种基于通道分组注意力模型的细粒度车辆分类方法
CN113392875A (zh) * 2021-05-20 2021-09-14 广东工业大学 一种图像细粒度分类的方法、系统和设备
CN113469259A (zh) * 2021-07-09 2021-10-01 成都恒创新星科技有限公司 一种车辆类别识别方法及系统
WO2021213157A1 (zh) * 2020-11-20 2021-10-28 平安科技（深圳）有限公司 模型训练方法、识别方法、装置、设备及存储介质
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN113689411A (zh) * 2021-08-26 2021-11-23 五邑大学 一种基于视觉识别的计件方法、装置及存储介质
CN115375978A (zh) * 2022-10-27 2022-11-22 北京闪马智建科技有限公司 行为信息的确定方法、装置、存储介质及电子装置
CN117011918A (zh) * 2023-08-08 2023-11-07 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110689043A (zh) * 2019-08-22 2020-01-14 长沙千视通智能科技有限公司 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111340026A (zh) * 2020-03-05 2020-06-26 苏州科达科技股份有限公司 车辆年款识别模型的训练方法以及车辆年款的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110689043A (zh) * 2019-08-22 2020-01-14 长沙千视通智能科技有限公司 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111340026A (zh) * 2020-03-05 2020-06-26 苏州科达科技股份有限公司 车辆年款识别模型的训练方法以及车辆年款的识别方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241452A (zh) * 2020-10-16 2021-01-19 百度(中国)有限公司 一种模型训练方法、装置、电子设备及存储介质
CN112241452B (zh) * 2020-10-16 2024-01-05 百度(中国)有限公司 一种模型训练方法、装置、电子设备及存储介质
WO2021213157A1 (zh) * 2020-11-20 2021-10-28 平安科技（深圳）有限公司 模型训练方法、识别方法、装置、设备及存储介质
CN112906810A (zh) * 2021-03-08 2021-06-04 共达地创新技术(深圳)有限公司 目标检测方法、电子设备和存储介质
CN112906810B (zh) * 2021-03-08 2024-04-16 共达地创新技术(深圳)有限公司 目标检测方法、电子设备和存储介质
CN112906824B (zh) * 2021-03-29 2022-07-05 苏州科达科技股份有限公司 车辆聚类方法、系统、设备及存储介质
CN112906824A (zh) * 2021-03-29 2021-06-04 苏州科达科技股份有限公司 车辆聚类方法、系统、设备及存储介质
CN113378883A (zh) * 2021-05-12 2021-09-10 山东科技大学 一种基于通道分组注意力模型的细粒度车辆分类方法
CN113378883B (zh) * 2021-05-12 2024-01-23 山东科技大学 一种基于通道分组注意力模型的细粒度车辆分类方法
CN113392875A (zh) * 2021-05-20 2021-09-14 广东工业大学 一种图像细粒度分类的方法、系统和设备
CN113392875B (zh) * 2021-05-20 2023-03-24 广东工业大学 一种图像细粒度分类的方法、系统和设备
CN113343881A (zh) * 2021-06-21 2021-09-03 浪潮云信息技术股份公司 基于深度学习的车辆品牌型号细粒度分类系统及方法
CN113361636A (zh) * 2021-06-30 2021-09-07 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113361636B (zh) * 2021-06-30 2022-09-20 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113469259A (zh) * 2021-07-09 2021-10-01 成都恒创新星科技有限公司 一种车辆类别识别方法及系统
CN113313079A (zh) * 2021-07-16 2021-08-27 深圳市安软科技股份有限公司 一种车辆属性识别模型的训练方法、系统及相关设备
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN113689411A (zh) * 2021-08-26 2021-11-23 五邑大学 一种基于视觉识别的计件方法、装置及存储介质
CN113689411B (zh) * 2021-08-26 2023-11-28 五邑大学 一种基于视觉识别的计件方法、装置及存储介质
CN115375978A (zh) * 2022-10-27 2022-11-22 北京闪马智建科技有限公司 行为信息的确定方法、装置、存储介质及电子装置
CN117011918A (zh) * 2023-08-08 2023-11-07 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法
CN117011918B (zh) * 2023-08-08 2024-03-26 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Similar Documents

Publication Publication Date Title
CN111767954A (zh) 车辆细粒度识别模型生成方法、系统、设备及存储介质
CN109858555B (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
CN109961089B (zh) 基于度量学习和元学习的小样本和零样本图像分类方法
US10303979B2 (en) System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN111241304B (zh) 基于深度学习的答案生成方法、电子装置及可读存储介质
EP2289021B1 (en) Semantic event detection for digital content records
CN113033249A (zh) 文字识别方法、装置、终端及其计算机存储介质
CN109522557A (zh) 文本关系抽取模型的训练方法、装置及可读存储介质
RU2760471C1 (ru) Способы и системы идентификации полей в документе
CN109213868A (zh) 基于卷积注意力机制网络的实体级别情感分类方法
CN110188766B (zh) 基于卷积神经网络的图像主目标检测方法及装置
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN112287957A (zh) 目标匹配方法与装置
CN111401309B (zh) 基于小波变换的cnn训练和遥感图像目标识别方法
CN115482418B (zh) 基于伪负标签的半监督模型训练方法、系统及应用
CN113869352A (zh) 模型训练方法、服装检索方法及相关装置
US20230281969A1 (en) Method and device of training a model and information processing method
Banzi et al. Plant species identification from leaf images using deep learning models (CNN-LSTM architecture)
CN116151323A (zh) 模型生成方法、装置、电子设备及存储介质
CN115861993A (zh) 字符识别方法、系统、设备及存储介质
CN112507912B (zh) 一种识别违规图片的方法及装置
CN113887505A (zh) 牛图像分类方法、装置、电子设备及存储介质
Senthil et al. An efficient CNN model with squirrel optimizer for handwritten digit recognition
CN115374943A (zh) 一种基于域对抗迁移网络的数据认知计算方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201013