CN108830254B - 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 - Google Patents

一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 Download PDF

Info

Publication number
CN108830254B
CN108830254B CN201810681853.4A CN201810681853A CN108830254B CN 108830254 B CN108830254 B CN 108830254B CN 201810681853 A CN201810681853 A CN 201810681853A CN 108830254 B CN108830254 B CN 108830254B
Authority
CN
China
Prior art keywords
network
dense
vehicle type
layer
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810681853.4A
Other languages
English (en)
Other versions
CN108830254A (zh
Inventor
柯逍
张毓峰
黄志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810681853.4A priority Critical patent/CN108830254B/zh
Publication of CN108830254A publication Critical patent/CN108830254A/zh
Application granted granted Critical
Publication of CN108830254B publication Critical patent/CN108830254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法，首先获取车型数据集，并对获取的车型数据集进行标注，为训练车型检测与识别模型做好准备；接着采用数据均衡策略对收集到的车型数据集进行数据均衡处理；然后用经过数据均衡处理后的车型数据集训练密集注意网络；最后将一幅待检测的图像输入训练好的密集注意网络中，利用训练好的密集注意网络对待检测的图像进行检测与识别。

Description

一种基于数据均衡策略和密集注意网络的细粒度车型检测与 识别方法
技术领域
本发明涉及模式识别与计算机视觉领域，特别是一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法。
背景技术
智能交通是利用先进的计算机智能技术、信息技术、自动控制技术等有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的一种实时、准确、高效的综合交通运输管理系统。智能交通是智慧城市不可或缺的一部分，是未来交通系统的首要发展方向，从车牌识别到目前非常火热的辅助驾驶、自动驾驶，无不在我们的工作、生产和生活中扮演着越来越重要的角色。设想一下没有“电子警察”的混乱场景，再设想一下未来道路上都是高效行驶的自动驾驶汽车的有序场景，你会发现智能交通已经和我们的生活紧密的交织在一起，我们已经离不开智能交通了。
智能交通中车牌检测与识别虽然在生活中发挥着重要的作用，但有些情况下仅仅有车牌识别是远远不够的，比如对套牌车辆进行检测时，检测的目标都是车牌，仅仅是车型的区别，显然车牌的简单语义描述与检索很难对套牌车进行有效的分析与判断。基于车牌的检测方式在公安视频、图像侦查应用时面临着许多无法回避的困境。因此，车型识别的需求就孕育而生了。车型识别技术在肇事逃逸、车辆假牌、车辆套牌等方面有着广泛的运用。解决了车辆信息提供不充足，仅凭车辆号牌基础数据分析，数据追溯效率偏低，延误最佳破案时间等问题。因此，车型识别是智能交通领域下一步研究的重要方向。除此之外，车型识别在车辆的以图识图方面也有着重要的运用。汽车之家、爱卡汽车、新浪汽车等各大汽车资讯网站都只能通过关键字搜索，车型识别的以图识图功能可以使得这类应用的用户体验大大提升。
车型检测与识别在生产生活中扮演着重要的角色，但其研究进展缓慢，其原因可以归结为两点：车型数据集匮乏和细粒度车型相似度高、识别难度大。
发明内容
有鉴于此，本发明的目的是提出一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法，能够有效地对车型进行检测与识别。
本发明采用以下方案实现：一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法，具体包括以下步骤：
步骤S1：获取车型数据集，并对获取的车型数据集进行标注，为训练车型检测与识别模型做好准备；
步骤S2：采用数据均衡策略对收集到的车型数据集进行数据均衡处理；
步骤S3：用经过数据均衡处理后的车型数据集训练密集注意网络；
步骤S4：将一幅待检测的图像输入训练好的密集注意网络中，利用训练好的密集注意网络对待检测的图像进行检测与识别。
进一步地，包括步骤S1具体包括以下步骤：
步骤S11：采用友好的图片抓取策略，获取车型相关的图片并得到其类别；
步骤S12：采用分类策略对图片中的非整体外观图片进行剔除；
步骤S13：对步骤S12处理后的图片进行标注：采用人工标注的图像作为输入，训练Faster-RCNN模型，得到Faster-RCNN车辆检测模型，并使用Faster-RCNN车辆检测模型对不同类别的车辆分别进行检测，得到位置信息，并将位置信息同类别信息一同构成该图像的标注信息。
进一步地，所述分类策略为：采用人工挑选的来自不同车型的整体外观作为正类，细节外观作为负类，用Resnet模型进行训练，得到分类模型，再利用分类模型对待剔除细节外观的图片进行分类，保留正类图片，剔除负类图片。
进一步地，步骤S2具体包括以下步骤：
步骤S21：在训练前先统计每个车型类别的样本数量，令向量C＝(c1,c2,...ci,...,cM)，ci∈Z+表示车型类别yi在训练集P中出现的次数；
步骤S22：如果kc＜RatiominΛi，则对该车型类别的每个样本做数据均衡处理，进入步骤S23；其中kc代表当前车型类别的样本数量，Ratiomin代表不影响模型效果的最小比例类别差距比例，Λi代表训练集中P样本最大类别样本数，即Λi＝max(Ci)；
步骤S23：将数据均衡处理定义为一个操作矩阵：
[F,Ri1,Ri2,Zj1,Zj2,Ck1,Ck2,Nl1,Nl2,Ri3,......,Nl4]；
其中，F代表图像的翻转操作；R代表图像的旋转操作，每次向两个方向进行旋转；Z代表缩放操作，每次按照一定的比例放大或者缩小图像，每次进行两次缩放操作；C代表当前图像在HSV颜色空间中，在色调分量不变的情况下，对饱和度分量和亮度分量进行的指数运算，从而模拟光照发生变化，每次进行两次指数运算；N代表图像的噪声扰动变换，每次进行两次噪声扰动变换；其中-180°＜i＜+180°，-5＜j＜+5，0.25＜k＜4，0＜l＜1。
进一步地，步骤S3具体包括以下步骤：
步骤S31：所述密集注意网络由多个密集注意单元堆叠而成，密集注意单元前面的网络为密集网络，后面的网络为注意网络；密集网络是一种稠密连接的方式，L层的密集网络共有
Figure BDA0001710617820000031
个连接，第l层接受前面的所有特征图作为输入，令第l层的输入的特征图为xl，则xl的计算方式为：
xl＝Hl([x0,x1,...,xl-1])；
其中Hl([·])是一个操作复合单元，它依次由批量归一化层、ReLU激活层和大小为3×3的卷积层构成；层与层之间采用特征图相串联的方式，为了保证特征图具有相同的大小，密集网络中没有池化层；
步骤S32：注意网络将密集网络的最后一层作为输入，首先将其进行全局池化，通过全局池化操作可以将每个二维的特征通道变成一个具有全局感受野的实数，同时输出实数的维度和密集网络最后输出层的维度相匹配；对通道进行压缩后对不同特征层的重要性进行自学习，采用全连接网络对参数进行学习；全局池化后面紧接着两层全连接层，为了在降低参数量的同时加强网络对重要特征层的提取能力，将第一层全连接层进行压缩，使其维度为
Figure BDA0001710617820000041
其中c为前一层的通道数，η为压缩系数；为了使网络具有非线性学习能力，在全连接层中间引入ReLU非线性激活单元；注意网络的最后是一层Sigmoid层，该层的输出就是网络学习到的不同特征层的重要程度；
步骤S33：密集注意单元的最后是一个特征重标定操作：令I＝{I1,I2,…,IN}为密集注意单元最终输出的特征图，N为密集单元输出的特征图数量，令K＝{k1,k2,...kN}为注意单元的输出向量，则密集注意单元最终的输出为I′＝{I1′,I2′,…,I′N}，其中Ii′为：
Figure BDA0001710617820000042
式中，
Figure BDA0001710617820000043
为卷积运算，通过该运算完成了对原始特征通道的重标定。
进一步地，步骤S4具体包括以下步骤：
步骤S41：输入的待检测的图像的尺寸为224×224；
步骤S42：采用大小为7×7，步长为2的卷积核对步骤S41输入的图片进行卷积操作；
步骤S43：将步骤S42中的输出输入到卷积神经网络中，进行卷积特征提取的操作；其中特征提取由密集注意网络完成，所述密集注意网络包括四个密集注意单元；
步骤S44：四个密集注意单元后的输出作为区域生成网络和感兴趣区域池化层的输入；
步骤S45：区域生成网络负责生成区域建议，每张图片生成300个左右的精炼候选区域；
步骤S46：把步骤S45中生成的建议的候选区域映射到卷积部分最后一层卷积的特征图上；
步骤S47：通过RoI Pooling层将每个RoI生成固定的特征向量；
步骤S48：通过softmax得到属于每个车型类别的概率，同时对候选位置进行回归操作，从而得到最终的位置信息及其所对应的置信度。
与现有技术相比，本发明有以下有益效果：
1、本发明构建的数据均衡策略和密集注意网络的细粒度车型检测与识别能够有效地对车型进行检测与识别，提升了车型检测的准确率与召回率。
2、本发明能够快速获取各种狭义车型的同时对车型图像进行高效标注。
3、针对训练过程中，数据的预处理都需要额外进行，数据直接输入到模型中进行训练，类别之间的数量可能相差悬殊，影响模型效果的问题，本发明提出了一种基于数据均衡策略的Faster-RCNN，提升了模型对目标检测的效果。
4、针对传统的深度学习网络中，层与层之间的特征信息传递不顺畅存在信息衰减，特征之间缺乏相互依赖，不能很好聚焦于重要区域和特征的问题，本发明提出了密集注意网络，通过密集连接和注意单元提升了模型的检测能力。
附图说明
图1为本发明的原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法，具体包括以下步骤：
步骤S1：获取车型数据集，并对获取的车型数据集进行标注，为训练车型检测与识别模型做好准备；
步骤S2：采用数据均衡策略对收集到的车型数据集进行数据均衡处理；
步骤S3：用经过数据均衡处理后的车型数据集训练密集注意网络；
步骤S4：将一幅待检测的图像输入训练好的密集注意网络中，利用训练好的密集注意网络对待检测的图像进行检测与识别。
在本实施例中，包括步骤S1具体包括以下步骤：
步骤S11：采用友好的图片抓取策略，获取车型相关的图片并得到其类别；
步骤S12：采用分类策略对图片中的非整体外观图片进行剔除；
步骤S13：对步骤S12处理后的图片进行标注：采用人工标注的图像作为输入，训练Faster-RCNN模型，得到Faster-RCNN车辆检测模型，并使用Faster-RCNN车辆检测模型对不同类别的车辆分别进行检测，得到位置信息，并将位置信息同类别信息一同构成该图像的标注信息。
在本实施例中，所述分类策略为：采用人工挑选的来自不同车型的整体外观作为正类，细节外观作为负类，用Resnet模型进行训练，得到分类模型，再利用分类模型对待剔除细节外观的图片进行分类，保留正类图片，剔除负类图片。
在本实施例中，步骤S2具体包括以下步骤：
步骤S21：在训练前先统计每个车型类别的样本数量，令向量C＝(c1,c2,...ci,...,cM)，ci∈Z+表示车型类别yi在训练集P中出现的次数；
步骤S22：如果kc＜RatiominΛi，则对该车型类别的每个样本做数据均衡处理，进入步骤S23；其中kc代表当前车型类别的样本数量，Ratiomin代表不影响模型效果的最小比例类别差距比例，Λi代表训练集中P样本最大类别样本数，即Λi＝max(Ci)；
步骤S23：将数据均衡处理定义为一个操作矩阵：
[F,Ri1,Ri2,Zj1,Zj2,Ck1,Ck2,Nl1,Nl2,Ri3,......,Nl4]；
其中，F代表图像的翻转操作；R代表图像的旋转操作，每次向两个方向进行旋转；Z代表缩放操作，每次按照一定的比例放大或者缩小图像，每次进行两次缩放操作；C代表当前图像在HSV颜色空间中，在色调分量不变的情况下，对饱和度分量和亮度分量进行的指数运算，从而模拟光照发生变化，每次进行两次指数运算；N代表图像的噪声扰动变换，每次进行两次噪声扰动变换；其中-180°＜i＜+180°，-5＜j＜+5，0.25＜k＜4，0＜l＜1。
在本实施例中，步骤S3具体包括以下步骤：
步骤S31：所述密集注意网络由多个密集注意单元堆叠而成，密集注意单元前面的网络为密集网络，后面的网络为注意网络；密集网络是一种稠密连接的方式，L层的密集网络共有
Figure BDA0001710617820000081
个连接，第l层接受前面的所有特征图作为输入，令第l层的输入的特征图为xl，则xl的计算方式为：
xl＝Hl([x0,x1,...,xl-1])；
其中Hl([·])是一个操作复合单元，它依次由批量归一化层、ReLU激活层和大小为3×3的卷积层构成；层与层之间采用特征图相串联的方式，为了保证特征图具有相同的大小，密集网络中没有池化层；
步骤S32：注意网络将密集网络的最后一层作为输入，首先将其进行全局池化，通过全局池化操作可以将每个二维的特征通道变成一个具有全局感受野的实数，同时输出实数的维度和密集网络最后输出层的维度相匹配；对通道进行压缩后对不同特征层的重要性进行自学习，采用全连接网络对参数进行学习；全局池化后面紧接着两层全连接层，为了在降低参数量的同时加强网络对重要特征层的提取能力，将第一层全连接层进行压缩，使其维度为
Figure BDA0001710617820000082
其中c为前一层的通道数，η为压缩系数；为了使网络具有非线性学习能力，在全连接层中间引入ReLU非线性激活单元；注意网络的最后是一层Sigmoid层，该层的输出就是网络学习到的不同特征层的重要程度；
步骤S33：密集注意单元的最后是一个特征重标定操作：令I＝{I1,I2,…,IN}为密集注意单元最终输出的特征图，N为密集单元输出的特征图数量，令K＝{k1,k2,...kN}为注意单元的输出向量，则密集注意单元最终的输出为I′＝{I1′,I2′,…,I′N}，其中Ii′为：
Figure BDA0001710617820000091
式中，
Figure BDA0001710617820000092
为卷积运算，通过该运算完成了对原始特征通道的重标定。
在本实施例中，步骤S4具体包括以下步骤：
步骤S41：输入的待检测的图像的尺寸为224×224；
步骤S42：采用大小为7×7，步长为2的卷积核对步骤S41输入的图片进行卷积操作；
步骤S43：将步骤S42中的输出输入到卷积神经网络中，进行卷积特征提取的操作；其中特征提取由密集注意网络完成，所述密集注意网络包括四个密集注意单元；
步骤S44：四个密集注意单元后的输出作为区域生成网络和感兴趣区域池化层的输入；
步骤S45：区域生成网络负责生成区域建议，每张图片生成300个左右的精炼候选区域；
步骤S46：把步骤S45中生成的建议的候选区域映射到卷积部分最后一层卷积的特征图上；
步骤S47：通过RoI Pooling层将每个RoI生成固定的特征向量；
步骤S48：通过softmax得到属于每个车型类别的概率，同时对候选位置进行回归操作，从而得到最终的位置信息及其所对应的置信度。
特别的，本实施例针对车型数据集匮乏的问题，收集整理了一个中国国内车型数据集(FZU Cars Dataset).该数据集包含297个车型类别，43615张图片，相对于现有数据集，该数据集具有更多的类别和图片数量，且车型为近年来的热门车型，具有良好的实际使用价值。针对细粒度车型相似度高、检测与识别难度的问题，本实施例提出了密集注意网络，避免了传统的深度学习网络中层与层之间的特征信息传递不顺畅存在信息衰减，特征之间缺乏相互作用的问题，使得网络充分利用各个层次特征的同时聚焦于重要特征，提升了车型检测与识别的效果。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (1)

1.一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法，其特征在于：包括以下步骤：
步骤S1：获取车型数据集，并对获取的车型数据集进行标注，为训练车型检测与识别模型做好准备；
步骤S2：采用数据均衡策略对收集到的车型数据集进行数据均衡处理；
步骤S3：用经过数据均衡处理后的车型数据集训练密集注意网络；
步骤S4：将一幅待检测的图像输入训练好的密集注意网络中，利用训练好的密集注意网络对待检测的图像进行检测与识别；
步骤S1具体包括以下步骤：
步骤S11：采用友好的图片抓取策略，获取车型相关的图片并得到其类别；
步骤S12：采用分类策略对图片中的非整体外观图片进行剔除；
步骤S13：对步骤S12处理后的图片进行标注：采用人工标注的图像作为输入，训练Faster-RCNN模型，得到Faster-RCNN车辆检测模型，并使用Faster-RCNN车辆检测模型对不同类别的车辆分别进行检测，得到位置信息，并将位置信息同类别信息一同构成该图像的标注信息；
所述分类策略为：采用人工挑选的来自不同车型的整体外观作为正类，细节外观作为负类，用Resnet模型进行训练，得到分类模型，再利用分类模型对待剔除细节外观的图片进行分类，保留正类图片，剔除负类图片；
步骤S2具体包括以下步骤：
步骤S21：在训练前先统计每个车型类别的样本数量，令向量C＝(c1,c2,...ci,...,cM)，ci∈Z+表示车型类别yi在训练集P中出现的次数；
步骤S22：如果kc＜RatiominΛi，则对该车型类别的每个样本做数据均衡处理，进入步骤S23；其中kc代表当前车型类别的样本数量，Ratiomin代表不影响模型效果的最小比例类别差距比例，Λi代表训练集中P样本最大类别样本数，即Λi＝max(Ci)；
步骤S23：将数据均衡处理定义为一个操作矩阵：
[F,Ri1,Ri2,Zj1,Zj2,Ck1,Ck2,Nl1,Nl2,Ri3,......,Nl4]；
其中，F代表图像的翻转操作；R代表图像的旋转操作，每次向两个方向进行旋转；Z代表缩放操作，每次按照一定的比例放大或者缩小图像，每次进行两次缩放操作；C代表当前图像在HSV颜色空间中，在色调分量不变的情况下，对饱和度分量和亮度分量进行的指数运算，从而模拟光照发生变化，每次进行两次指数运算；N代表图像的噪声扰动变换，每次进行两次噪声扰动变换；其中-180°＜i＜+180°，-5＜j＜+5，0.25＜k＜4，0＜l＜1；
步骤S3具体包括以下步骤：
步骤S31：所述密集注意网络由多个密集注意单元堆叠而成，密集注意单元前面的网络为密集网络，后面的网络为注意网络；密集网络是一种稠密连接的方式，L层的密集网络共有
Figure FDA0003244012710000021
个连接，第l层接受前面的所有特征图作为输入，令第l层的输入的特征图为xl，则xl的计算方式为：
xl＝Hl([x0,x1,...,xl-1])；
其中Hl([])是一个操作复合单元，它依次由批量归一化层、ReLU激活层和大小为3×3的卷积层构成；层与层之间采用特征图相串联的方式，为了保证特征图具有相同的大小，密集网络中没有池化层；
步骤S32：注意网络将密集网络的最后一层作为输入，首先将其进行全局池化，通过全局池化操作可以将每个二维的特征通道变成一个具有全局感受野的实数，同时输出实数的维度和密集网络最后输出层的维度相匹配；对通道进行压缩后对不同特征层的重要性进行自学习，采用全连接网络对参数进行学习；全局池化后面紧接着两层全连接层，为了在降低参数量的同时加强网络对重要特征层的提取能力，将第一层全连接层进行压缩，使其维度为
Figure FDA0003244012710000022
其中c为前一层的通道数，η为压缩系数；为了使网络具有非线性学习能力，在全连接层中间引入ReLU非线性激活单元；注意网络的最后是一层Sigmoid层，该层的输出就是网络学习到的不同特征层的重要程度；
步骤S33：密集注意单元的最后是一个特征重标定操作：令I＝{I1,I2,…,IN}为密集注意单元最终输出的特征图，N为密集单元输出的特征图数量，令K＝{k1,k2,...kN}为注意单元的输出向量，则密集注意单元最终的输出为I′＝{I′1,I′2,…,I′N}，其中I′i为：
Figure FDA0003244012710000023
式中，
Figure FDA0003244012710000024
为卷积运算，通过该运算完成了对原始特征通道的重标定；
步骤S4具体包括以下步骤：
步骤S41：输入的待检测的图像的尺寸为224×224；
步骤S42：采用大小为7×7，步长为2的卷积核对步骤S41输入的图片进行卷积操作；
步骤S43：将步骤S42中的输出输入到卷积神经网络中，进行卷积特征提取的操作；其中特征提取由密集注意网络完成，所述密集注意网络包括四个密集注意单元；
步骤S44：四个密集注意单元后的输出作为区域生成网络和感兴趣区域池化层的输入；
步骤S45：区域生成网络负责生成区域建议，每张图片生成以300个为基准的阈值范围内数量的精炼候选区域；
步骤S46：把步骤S45中生成的建议的候选区域映射到卷积部分最后一层卷积的特征图上；
步骤S47：通过RoI Pooling层将每个RoI生成固定的特征向量；
步骤S48：通过softmax得到属于每个车型类别的概率，同时对候选位置进行回归操作，从而得到最终的位置信息及其所对应的置信度。
CN201810681853.4A 2018-06-27 2018-06-27 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 Active CN108830254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810681853.4A CN108830254B (zh) 2018-06-27 2018-06-27 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810681853.4A CN108830254B (zh) 2018-06-27 2018-06-27 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法

Publications (2)

Publication Number Publication Date
CN108830254A CN108830254A (zh) 2018-11-16
CN108830254B true CN108830254B (zh) 2021-10-29

Family

ID=64139091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810681853.4A Active CN108830254B (zh) 2018-06-27 2018-06-27 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法

Country Status (1)

Country Link
CN (1) CN108830254B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784347B (zh) * 2018-12-17 2022-04-26 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN109766808A (zh) * 2018-12-29 2019-05-17 南通贝法瑞信息科技有限公司 一种基于二维标签进行汽车标注与识别的ai算法
CN109902732B (zh) * 2019-02-22 2021-08-27 哈尔滨工业大学（深圳） 车辆自动分类方法及相关装置
CN110109543B (zh) * 2019-04-30 2021-08-31 福州大学 基于被试迁移的c-VEP识别方法
CN111898598B (zh) * 2020-07-03 2022-08-30 贵州大学 一种动态场景下基于文本的目标检测方法
CN112949379A (zh) * 2020-12-30 2021-06-11 南京佑驾科技有限公司 一种基于视觉的安全带检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN107437096A (zh) * 2017-07-28 2017-12-05 北京大学 基于参数高效的深度残差网络模型的图像分类方法
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和系统
CN107958257A (zh) * 2017-10-11 2018-04-24 华南理工大学 一种基于深度神经网络的中药材识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
CN107886073B (zh) * 2017-11-10 2021-07-27 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN107437096A (zh) * 2017-07-28 2017-12-05 北京大学 基于参数高效的深度残差网络模型的图像分类方法
CN107958257A (zh) * 2017-10-11 2018-04-24 华南理工大学 一种基于深度神经网络的中药材识别方法
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Convolutional Neural Networks with Alternately Updated Clique";Yibo Yang等;《arXiv:1802.10419v3》;20180403;第1-10页 *
"Densely Connected Convolutional Networks";G. Huang等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;第2261-2269页 *
"Squeeze-and-Excitation Networks";Jie Hu等;《arXiv:1709.01507v2》;20180405;全文 *
"区域建议网络的细粒度车型识别";杨娟等;《中国图象图形学报》;20180616;第23卷(第6期);第837-845页 *
"基于Gabor小波和CNN的图像失真类型判定算法";李鹏程等;《计算机应用研究》;20180619;第36卷(第10期);第1-7页 *

Also Published As

Publication number Publication date
CN108830254A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
Dai et al. TIRNet: Object detection in thermal infrared images for autonomous driving
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN112949673A (zh) 一种基于全局注意力的特征融合目标检测与识别方法
Huo et al. Vehicle type classification and attribute prediction using multi-task RCNN
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN111008639B (zh) 一种基于注意力机制的车牌字符识别方法
CN111582178B (zh) 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN110399828B (zh) 一种基于多角度的深度卷积神经网络的车辆再识别方法
He et al. Vehicle theft recognition from surveillance video based on spatiotemporal attention
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
CN114882351A (zh) 一种基于改进YOLO-V5s的多目标检测与跟踪方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113269099A (zh) 基于图匹配的异构无人系统下车辆重新识别方法
Li et al. Incremental learning of infrared vehicle detection method based on SSD
CN116824270A (zh) 一种基于注意力机制改进的小样本车型识别方法
CN112418020A (zh) 一种基于注意力机制的YOLOv3违法广告牌智能检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant