CN111079602A - 基于多尺度区域特征约束的车辆细粒度识别方法及装置 - Google Patents
基于多尺度区域特征约束的车辆细粒度识别方法及装置 Download PDFInfo
- Publication number
- CN111079602A CN111079602A CN201911243642.3A CN201911243642A CN111079602A CN 111079602 A CN111079602 A CN 111079602A CN 201911243642 A CN201911243642 A CN 201911243642A CN 111079602 A CN111079602 A CN 111079602A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- fine
- scale
- training
- grained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施方式提供一种基于多尺度区域特征约束的车辆细粒度识别方法及装置，属于计算机视觉技术领域，方法包括：获取待识别的第一车辆目标图像；以及以第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对第一车辆目标图像进行车辆细粒度分类识别；车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA‑CNN模型训练后得到。本发明的上述技术方案通过多重注意力机制与多尺度区域特征相结合的深度学习神经网络进行训练，在局部注意力计算时，车辆目标图像定位准确，且基本没有特征损失，提高了车辆细粒度的识别准确率，并且能够完成端对端的训练，从而极大地简化了计算。
Description
技术领域
本发明涉及计算机视觉技术领域，具体地涉及一种基于多尺度区域特征约束的车辆细粒度识别方法、一种基于多尺度区域特征约束的车辆细粒度识别装置、一种基于多尺度区域特征约束的车辆细粒度识别设备以及一种计算机可读存储介质。
背景技术
随着现代化交通、安防等行业的迅速发展，目标识别技术越来越多的被应用于各种领域，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。
车辆细粒度识别是计算机视觉领域的一个重要研究方向，相同车型的车辆识别对于传统方法难度较大，因为往往同类车辆之间的差异十分微小，不同之处可能仅仅在于其之上的年检标志，或者是车内某些小装饰。随着深度学习的兴起，很多研究者基于此也尝试将深度学习应用于目标检测识别领域，其中细粒度级别图像分析是针对此类问题的一项计算机视觉领域热门研究课题，其目标是对上述细粒度级别图像中的物体子类进行定位、识别及检索等若干视觉分析任务的研究，具有真实场景下广泛的应用价值。
现有算法对同类型车识别率不高，识别不够准确，且传统的基于局部特征的算法框架在对车辆进行深度学习训练的神经网络中，对于局部定位和特征属性提取没有任何优势。
发明内容
本发明实施方式的目的是提供一种基于多尺度区域特征约束的车辆细粒度识别方法、一种基于多尺度区域特征约束的车辆细粒度识别装置、一种基于多尺度区域特征约束的车辆细粒度识别设备以及一种计算机可读存储介质，以解决现有现有算法对同类型车识别率不高，识别不够准确的问题。
为了实现上述目的，在本发明第一方面，提供一种基于多尺度区域特征约束的车辆细粒度识别方法，包括：
获取待识别的第一车辆目标图像；以及
以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
可选地，所述训练数据通过以下步骤得到：
获取第二车辆目标图像；
确定所述第二车辆目标图像中的目标区域；
将所述目标区域划分为多个尺度区域并标记；
依据包围盒约束算法及标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位；以及
依据海伦约束算法及经初步定位后的第二车辆目标图像对所述目标检测模型的检测框进行最终定位，以最终定位后的第二车辆目标图像的图像数据作为训练数据样本。
可选地，所述目标检测模型基于FASTER-RCNN模型构建。
可选地，所述将所述目标区域划分为多个尺度区域，包括：
将所述目标区域划分为多个尺度区域，其中，最中心的尺度区域为第一目标区域,最外围的尺度区域为第三目标区域，所述第一目标区域与所述第三目标区域之间为第二目标区域，所述第三目标区域包含所述第一目标区域及所述第二目标区域，所述第二目标区域包含所述第一目标区域。
可选地，所述MA-CNN模型包括依次连接的基础网络层、通道聚类层及局部分类子网络层，所述所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到，包括：
以所述训练数据样本作为所述MA-CNN模型的输入；
交替训练所述通道聚类层及局部分类子网络层通道聚类层；
依据预设的损失函数优化所述MA-CNN模型的参数，得到训练后的车辆细粒度识别模型。
可选地，所述预设的损失函数为：
L＝L(X)+Lcng(Mi)+L(Y)；
其中，L(X)为所述通道聚类层的损失函数，Lcng(Mi)为所述局部分类子网络层的损失函数，L(Y)为多尺度区域约束损失函数。
可选地，所述交替训练所述通道聚类层及局部分类子网络层通道聚类层，包括：
固定所述局部分类子网络层，依据所述通道聚类层的损失函数优化所述通道聚类层；
固定所述通道聚类层，依据所述局部分类子网络层的损失函数优化所述局部分类子网络层；
交替重复上述过程，直至所述通道聚类层的损失函数及所述局部分类子网络层的损失函数满足收敛条件。
在本发明的第二方面，提供一种基于多尺度区域特征约束的车辆细粒度识别装置，包括：
图像获取模块，被配置为获取待识别的第一车辆目标图像；以及
细粒度识别模块，被配置为以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
在本发明的第三方面，提供一种基于多尺度区域特征约束的车辆细粒度识别设备，包括：
至少一个处理器；以及
与所述处理器连接的至少一个存储器及总线；
其中，所述处理器及存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
在本发明的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
本发明的上述技术方案通过多重注意力机制与多尺度区域特征相结合的深度学习神经网络进行训练，在局部注意力计算时，车辆目标图像定位准确，且基本没有特征损失，提高了车辆细粒度的识别准确率，并且能够完成端对端的训练，从而极大地简化了计算。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是本发明一种实施方式提供的一种基于多尺度区域特征约束的车辆细粒度识别方法的方法流程图；
图2是本发明一种实施方式提供的训练数据获取方法流程图；
图3是本发明一种实施方式提供的一种基于多尺度区域特征约束的车辆细粒度识别装置的装置示意框图；
图4是本发明一种实施方式提供的一种基于多尺度区域特征约束的车辆细粒度识别设备的示意框图。
附图标记说明
100-图像获取模块，200-细粒度识别模块，70-车辆细粒度识别设备，701-处理器，702-存储器，703-总线。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明实施方式中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
如图1所示，在本实施方式的第一方面，提供一种基于多尺度区域特征约束的车辆细粒度识别方法，包括：
获取待识别的第一车辆目标图像；以及
以第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对第一车辆目标图像进行车辆细粒度分类识别；车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
如此，本实施方式通过多重注意力机制与多尺度区域特征相结合的深度学习神经网络进行训练，在局部注意力计算时，车辆目标图像定位准确，且基本没有特征损失，提高了车辆细粒度的识别准确率，并且能够完成端对端的训练，从而极大地简化了计算。
具体的，MA-CNN模型，即多重注意力模型的框架包括三部分：基础网络层、通道聚类层及局部分类子网络层。MA-CNN模型的运行过程为：首先，整个网络以全尺寸图像作为输入，将其输入到基础网络层中，提取基于区域的特征标识，其中，基础网络层为卷积层，其次，通道聚类层从基础网络层中获取特征表示的特征通道，并通过从空间相关通道中聚类、加权和池化来生成多个注意部分，然后生成一个sigmoid函数以产生各部分的局部特征概率，局部特征标识结果是通过从基于区域的特征标识集中生成的，局部特征具有空间注意机制。第三，通过局部分类子网络层中的完全连接层和SoftMax层预测每个部分到细粒度类别的一组概率分数。通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型进行训练，结合多尺度区域特征提取，有效的提高了对于目标图像的定位精度。
本实施方式基于通道聚类层和局部分类子网络层的预训练，结合基础网络层，构建多重注意力模型的神经网络层级结构，其中，局部分类子网络层和通道聚类层通常一起进行预训练。
通道聚类层用于判别局部定位，局部分类子网络层用于识别定位后的局部特征，并生成相应权重。例如，先给定输入车辆图像为X，首先通过将图像输入预训练的卷积层提取图像的原始深度特征，提取出的深度特征表述为：W*X，其中*代表了一系列的卷积、池化等操作，W为基础网络模型。然后，将图像X分为N个局部，假如有N组通道聚类层，每组通道聚类层的结构由带有tanh的两个特征通道构成，且每个局部对应一组通道聚类层。
为了防止训练陷入局部最优解，需要对通道聚类层进行预训练，具体地，由于每个特征通道都会对特定类型的视觉模式产生响应，所以每个特征通道都有一个峰值响应点，这样每个特征通道都可以用一个位置向量表示，其元素是所有训练图像在该通道上的峰值响应坐标。把这些位置向量作为特征，进行聚类，将不同的通道分成N个聚类，即N个部分，用长度为c(通道数)的指示向量表示每个通道是否属于该聚类，如果是，则该通道位置为1,否则为0。N个指示向量为互斥的关系，通道数c通常不等于聚类部分数目N。
为了保证上述过程在训练中得到优化，本实施方式用fc近似聚类过程，若产生N个部分，则用N组全连接层，全连接层是现有的神经网络的全连接层的结构，每个全连接层接收基础网络层的特征图像，然后产生一个权重向量di：
di(X)＝fi(W*X)；
其中di(X)＝[d1,...,dc]。C为通道数目，fi表示第i组全连接层的聚类函数，定义全连接层的聚类函数为f(·)＝[f1(·),...,fN(·)]，每一个fi定义为输入卷积特征，产生一个跨通道的权重向量Di。同时，为了获得准确的权重向量，通常需要预训练fc参数，基于学习到的权重向量，可以得到每个部位的注意力热图。W*X代表基础网络层提取的特征热图。dj与对应特征通道相乘，相加后用sigmoid归一化得到一个可能性热图：
其中，Mi(X)是对每一个部分可能性热图进行相加然后进行sigmoid函数归一化以后得到的相应的该部分的注意力可能性热图。M(x)是整体的注意力可能性热图。[W*X]j表示表示第j个局部的深度特征。
由可能性热图与基础卷积神经网络提取的特征热图进行点乘，累加，得到局部精细化特征，具体公式如下所示：
其中，点积表示数组元素[W*X]j和Mi依次相乘。
通过以上步骤对聚类层的预训练步骤，设置好各个参数，从而构建多重注意力模型的神经网络层级结构。构建好多重注意力模型的神经网络层级结构后，通过预先经过多尺度区域特征提取后的训练数据样本对建立好的多重注意力模型进行训练，进一步调整模型的各层参数，得到车辆细粒度识别模型，通过预先经过多尺度区域特征提取的训练数据样本对多重注意力模型进行训练，能有效的提高多重注意力模型对目标定位的精度，从而使得车辆细粒度识别模型对目标区域的定位精度更高。
如图2所示，为了使得多个区域尺度的MA-CNN模型对目标区域的定位更准确，需要进行对目标车辆图像训练数据进行处理，训练数据通过以下步骤得到：
获取第二车辆目标图像；
确定第二车辆目标图像中的目标区域；
将目标区域划分为多个尺度区域并标记；
依据包围盒约束算法及标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位；以及
依据海伦约束算法及经初步定位后的第二车辆目标图像对目标检测模型的检测框进行最终定位，以最终定位后的第二车辆目标图像的图像数据作为训练数据样本。
其中，目标检测模型基于FASTER-RCNN模型构建。在结构上，FASTER-RCNN将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。其主要包括以下部分：
卷积层(Conv layers)：作为一种CNN网络目标检测方法，FASTER-RCNN首先使用一组基础的conv+relu+pooling层提取图像的feature maps。该feature maps被共享用于后续RPN层和全连接层。
RPN网络(Region Proposal Networks)：RPN网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background，再利用bounding boxregression修正anchors获得精确的proposals。
Roi Pooling：该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。
分类和回归(Classification)：利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。
将第二车辆目标图像作为FASTER-RCNN模型的输入，区分第二车辆目标图像的背景，确定第二车辆目标图像的目标区域，将目标区域划分为多个尺度区域并对每个尺度区域进行标记，依据包围盒约束算法，基于标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位，使得各检测框满足包围盒约束算法的约束，从而对检测框进行初步定位。基于初步定位后的第二车辆目标图像，通过海伦约束算法进一步对检测框进行定位，选择满足海伦约束算法约束的检测框作为最终定位的检测框，经过包围盒约束算法与海伦约束算法的双重约束、过滤后，有效提高了对于目标检测的定位精度，以经过最终定位后的第二车辆目标图像的图像数据作为MA-CNN模型的训练数据样本，其中，训练数据样本包括第二车辆目标图像及检测框定位数据。本实施方式将搜索区域的尺度设置为图片的长宽比可变，总体图片大小不变，从而有利于增加视频图像的处理需求，大大减少了计算量。对于原始的输入图片，RPN网络会得到约两万个检测框，在实际应用时，一些超出图片边界的搜索框会被剔除；同时，对于同一目标重叠覆盖的搜索框，采用非极大值抑制(Non-MaximumSuppression，NMS)方法来处理，以达到去除重叠搜索框的目的。
为了微调多个区域尺度的FASTER-RCNN模型，需要对目标车辆图像训练数据进行多尺度目标区域进行标注，将目标区域划分为多个尺度区域，包括：
将目标区域划分为多个尺度区域，其中，最中心的尺度区域为第一目标区域,最外围的尺度区域为第三目标区域，第一目标区域与第三目标区域之间为第二目标区域，第三目标区域包含第一目标区域及第二目标区域，第二目标区域包含第一目标区域。
本实施方式中，将检测的目标区域分为3个尺度,最中心的尺度区域为p0区域,中间的尺度为p1区域,最外围的部分为完整的目标区域。目标区域包含p1和p0区域,p1区域包含p0区域。其中，最中心的尺度区域p0以及中间部分的尺度区域p1的标注信息如下所示：
其中x1,y1,x2,y2分别为目标物体最外围区域的左下角和右上角的横、纵坐标值，
和
分别为目标物体中心部分p0标注信息的左下角和右上角的横、纵坐标值。
和
分别为目标物体中心部分p1标注信息的左下角和右上角的横、纵坐标值。
对基于多尺度区域信息标注后的第二车辆目标图像数据，进行改进的包围盒约束处理优化，使标注车辆信息定位更加准确，将处理后的车辆图像整理成数据集。其具体过程如下：
根据多尺度区域互相包含的关系,对检测的结果进行包围盒约束算法优化,更有效的筛选出图片中包含目标物体和多尺度目标中心的检测框,使得检测出包含目标物体的检测框数量提高和检测的定位准确度提高,p1区域包含在物体目标区域内,p0区域包含在p1区域内。即满足公式
和
且Δbox(X)值不为0的约束条件,设置ε值为10,选择满足上述关系的检测框并且优先选择FASTER-RCNN检测的包含目标物体得分概率分数依大到小排序靠前的检测框，其具体选择可以根据实际情况确定，其中box表示检测到的完整的目标区域。将标注好的目标车辆图像进行包围盒约束以后，分类形成相应第二目标车辆图像数据集。
基于改进的海伦约束算法及经初步定位得到的第二目标车辆图像数据集，对第二目标车辆图像进行最终定位，同时将处理后的车辆图像整理成数据集，海伦约束算法的具体步骤如下：
由于通过包围盒约束算法初步定位后能确定各尺度区域的包含关系，但是无法很好的将各尺度检测框中心点约束在同一个中心点，而将各尺度检测框中心点约束在同一个中心点可以求出检测位置更精确的检测框，因此，需要在初步定位的基础上，进一步对各检测框的中心点进行约束。
依据平面上不在同一条直线上的三个点唯一确定一个外接圆,故而计算多尺度区域的中心点坐标，其中，目标物体的检测中心坐标计算公式为
目标物体中心部分p1检测框的中心坐标公式为
目标物体中心部分p0检测框的中心坐标公式为
目标物体区域与p0区域中心坐标之间的距离公式为
目标物体区域与p1区域中心坐标之间的距离公式为
p0区域与p1区域中心坐标之间的距离公式为
通过海伦公式计算连接各中心坐标的三角形的外接圆面积：
本实施方式中设置面积S的最大值为120，即通过海伦公式计算出的面积S大小不能超过120，以此作为约束条件，选择FASTER-RCNN提取的候选框中包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。
本实施方式基于MA-CNN模型构建车辆细粒度识别模型，其中，MA-CNN模型包括依次连接的基础网络层、通道聚类层及局部分类子网络层，需要通过训练对MA-CNN模型的参数进行调整，以使得最终输出的结果最佳，则，车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到，包括：
以训练数据样本作为MA-CNN模型的输入；
交替训练通道聚类层及局部分类子网络层通道聚类层；
依据预设的损失函数优化MA-CNN模型的参数，得到训练后的车辆细粒度识别模型。
其中，交替训练通道聚类层及局部分类子网络层通道聚类层，包括：
固定局部分类子网络层，依据通道聚类层的损失函数优化通道聚类层；
固定通道聚类层，依据局部分类子网络层的损失函数优化局部分类子网络层；
交替重复上述过程，直至通道聚类层的损失函数及局部分类子网络层的损失函数满足收敛条件。
通过标注定位好的第二目标车辆图像的图像数据集，训练多重注意力模型，确定多重注意力模型的损失函数：学习局部分类损失函数(part classification loss)和通道聚类损失函数(channel grouping loss)的联合损失，从而进行权重参数矩阵和偏置值的调整。其中，损失函数调整采用交替优化、相互强化的方式，交替训练局部分类子网络层和通道聚类层，最后，结合两个约束条件的损失函数，输出最后系统的总损失函数，即预设的损失函数为：
L＝L(X)+Lcng(Mi)+L(Y)；
其中，L(X)为通道聚类层的损失函数，Lcng(Mi)为局部分类子网络层的损失函数，L(Y)为多尺度区域约束损失函数。
多重注意力模型的损失由两部分组成，一部分是局部分类损失函数(partclassification loss)，即普通的分类网络中的交叉熵；另一部分是通道聚类损失函数，一张图片X的损失函数表示如下，N表示N个细节部分。
本实施方式的算法中，通道聚类层的损失函数如下，由两个部分组成：
其中，Y(i)表示使用基于局部特征Pi(X)从第i个部分开始预测的标签向量，Y*是地面真值标签向量，训练是通过一个SoftMax函数来指定类别标签来实现，其中，Lcng是由Dis和Div两块组成，则，Lcng可以表示为：
Lcng(Mi)＝Dis(Mi)+λDiv(Mi)；
其中，Dis和Div表示了权重为λ的差异和距离函数，Dis是使同一局部内的坐标更聚集，Div是使不同局部尽量疏远，Mi是上述的可能性热点图。
本实施方式采用相互强化的方式，交替训局部分类子网络层和通道类聚层，首先，固定卷积层，通过Lcng优化通道聚类层，然后固定通道聚类层，通过Lcls，训练局部分类子网络层，交替迭代直至两类损失函数都不再改变。
为了进一步提高车辆细粒度识别模型的识别精度，在确定通道聚类层的损失函数以及局部分类子网络层的损失函数的基础上，还需要确定基于多尺度区域约束部分损失函数：
将目标车辆区域按权重视为一个锚点，把包围盒约束及海伦约束两个约束条件视为是逐渐约束并靠近锚点的两个距离样本，首先把基于包围盒约束的条件推向锚点，满足第一个约束，该部分的约束条件权重参数设置为β，然后再用海伦约束的条件推向前两个锚点，使其整体满足第二个约束条件，该部分的权重参数设置为γ，两部分约束条件结合后，结合度量学习的成果，得到其损失函数为：L(Y)＝γ(β Log(1+Δbox(x))+Log(1+S))；
其中，β与γ为根据不同车辆标注图像人为设定的参数，通常γ取值为0.5到0.8，β取值为0.8到1之间。
最后，得到多重注意力模型的最终的整体损失函数为三部分之和，即预设的损失函数L＝L(X)+Lcng(Mi)+L(Y)。
通过包含不同车辆属性的细粒度图像分类的第二目标车辆图像数据集，通过带标签的数据的有监督学习训练多重注意力模型神经网络，同时将得到的训练好的各层中的权重参数矩阵和偏置值，对应地赋值给多重注意力模型神经网络中的各个层，最终实现对车辆特征提取和车辆多属性识别。
如图3所示，在本发明的第二方面，提供一种基于多尺度区域特征约束的车辆细粒度识别装置，包括：
图像获取模块100，被配置为获取待识别的第一车辆目标图像；以及
细粒度识别模块200，被配置为以第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对第一车辆目标图像进行车辆细粒度分类识别；车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
如图4所示，在本发明的第三方面，提供一种基于多尺度区域特征约束的车辆细粒度识别设备70，包括：
至少一个处理器701；以及
与处理器701连接的至少一个存储器702及总线703；
其中，处理器701及存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
在本发明的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器701执行时执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
综上所述，本实施方式构建了一个多注意力卷积神经网络(MA-CNN)模型，让局部生成网络和特征学习能互相强化，同时模型抛弃手工标记局部注意力的方法，采用弱监督学习方法，通过本实施方式的算法，能够准确的对违法车辆进行检测识别，如检测出车辆是否贴有年检标、驾驶员是否打电话和未系安全带等行为；以及通过如纸巾盒、摆件、挂件等多维度的特征组合对车辆进行智能检索等，能够大大增加车辆识别的准确率，同时简化计算步骤，很好的应用于各类具有实时输出车辆图像功能的目标检测的视频车辆识别侦查系统，能很好的帮助有关部门提高工作效率，提升道路交通安全，保证广大群众的生命安全。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，包括：
获取待识别的第一车辆目标图像；以及
以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
2.根据权利要求1所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述训练数据通过以下步骤得到：
获取第二车辆目标图像；
确定所述第二车辆目标图像中的目标区域；
将所述目标区域划分为多个尺度区域并标记；
依据包围盒约束算法及标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位；以及
依据海伦约束算法及经初步定位后的第二车辆目标图像对所述目标检测模型的检测框进行最终定位，以最终定位后的第二车辆目标图像的图像数据作为训练数据样本。
3.根据权利要求2所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述目标检测模型基于FASTER-RCNN模型构建。
4.根据权利要求2所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述将所述目标区域划分为多个尺度区域，包括：
将所述目标区域划分为多个尺度区域，其中，最中心的尺度区域为第一目标区域,最外围的尺度区域为第三目标区域，所述第一目标区域与所述第三目标区域之间为第二目标区域，所述第三目标区域包含所述第一目标区域及所述第二目标区域，所述第二目标区域包含所述第一目标区域。
5.根据权利要求2所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述MA-CNN模型包括依次连接的基础网络层、通道聚类层及局部分类子网络层，所述所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到，包括：
以所述训练数据样本作为所述MA-CNN模型的输入；
交替训练所述通道聚类层及局部分类子网络层通道聚类层；
依据预设的损失函数优化所述MA-CNN模型的参数，得到训练后的车辆细粒度识别模型。
6.根据权利要求5所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述预设的损失函数为：
L＝L(X)+Lcng(Mi)+L(Y)；
其中，L(X)为所述通道聚类层的损失函数，Lcng(Mi)为所述局部分类子网络层的损失函数，L(Y)为多尺度区域约束损失函数。
7.根据权利要求6所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述交替训练所述通道聚类层及局部分类子网络层通道聚类层，包括：
固定所述局部分类子网络层，依据所述通道聚类层的损失函数优化所述通道聚类层；
固定所述通道聚类层，依据所述局部分类子网络层的损失函数优化所述局部分类子网络层；
交替重复上述过程，直至所述通道聚类层的损失函数及所述局部分类子网络层的损失函数满足收敛条件。
8.一种基于多尺度区域特征约束的车辆细粒度识别装置，其特征在于，包括：
图像获取模块，被配置为获取待识别的第一车辆目标图像；以及
细粒度识别模块，被配置为以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
9.一种基于多尺度区域特征约束的车辆细粒度识别设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器连接的至少一个存储器及总线；
其中，所述处理器及存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-7中任一项所述的基于多尺度区域特征约束的车辆细粒度识别方法。
10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时执行如权利要求1-7中任一项所述的基于多尺度区域特征约束的车辆细粒度识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911243642.3A CN111079602B (zh) | 2019-12-06 | 2019-12-06 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911243642.3A CN111079602B (zh) | 2019-12-06 | 2019-12-06 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111079602A true CN111079602A (zh) | 2020-04-28 |
| CN111079602B CN111079602B (zh) | 2024-02-09 |
Family
ID=70313126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911243642.3A Active CN111079602B (zh) | 2019-12-06 | 2019-12-06 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111079602B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709481A (zh) * | 2020-06-17 | 2020-09-25 | 云南省烟草农业科学研究院 | 一种烟草病害识别方法、系统、平台及存储介质 |
| CN111767954A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 车辆细粒度识别模型生成方法、系统、设备及存储介质 |
| CN111860344A (zh) * | 2020-07-22 | 2020-10-30 | 浙江大华技术股份有限公司 | 确定图像中目标对象数量的方法及装置 |
| CN112232368A (zh) * | 2020-09-10 | 2021-01-15 | 浙江大华技术股份有限公司 | 目标识别模型训练方法、目标识别方法及其相关装置 |
| CN112507934A (zh) * | 2020-12-16 | 2021-03-16 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及存储介质 |
| CN112566117A (zh) * | 2020-11-06 | 2021-03-26 | 厦门大学 | 基于度量学习的车辆节点身份识别方法及装置 |
| CN112766156A (zh) * | 2021-01-19 | 2021-05-07 | 南京中兴力维软件有限公司 | 一种骑行属性识别方法及装置、存储介质 |
| CN112906810A (zh) * | 2021-03-08 | 2021-06-04 | 共达地创新技术(深圳)有限公司 | 目标检测方法、电子设备和存储介质 |
| CN112926441A (zh) * | 2021-02-24 | 2021-06-08 | 广州极点三维信息科技有限公司 | 基于机器视觉的家居识别方法、系统、装置及介质 |
| CN113191218A (zh) * | 2021-04-13 | 2021-07-30 | 南京信息工程大学 | 基于双线性注意力汇集和卷积长短期记忆的车型识别方法 |
| CN113627477A (zh) * | 2021-07-07 | 2021-11-09 | 武汉魅瞳科技有限公司 | 车辆多属性识别方法及系统 |
| CN113642431A (zh) * | 2021-07-29 | 2021-11-12 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法及装置、电子设备和存储介质 |
| CN113688851A (zh) * | 2020-05-18 | 2021-11-23 | 华为技术有限公司 | 数据标注方法和装置和精细粒度识别方法和装置 |
| CN113706437A (zh) * | 2020-05-21 | 2021-11-26 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
| CN114120160A (zh) * | 2022-01-25 | 2022-03-01 | 成都合能创越软件有限公司 | 基于Faster-RCNN物体空间区分方法、装置、计算机设备及存储介质 |
| CN114998748A (zh) * | 2022-07-28 | 2022-09-02 | 北京卫星信息工程研究所 | 遥感图像目标精细识别方法、电子设备及存储介质 |
| CN115359306A (zh) * | 2022-10-24 | 2022-11-18 | 中铁科学技术开发有限公司 | 一种铁路货检高清图像智能识别方法和系统 |
| CN115375978A (zh) * | 2022-10-27 | 2022-11-22 | 北京闪马智建科技有限公司 | 行为信息的确定方法、装置、存储介质及电子装置 |
| CN117173422A (zh) * | 2023-08-07 | 2023-12-05 | 广东第二师范学院 | 基于图融合多尺度特征学习的细粒度图像识别方法 |
| CN112507934B (zh) * | 2020-12-16 | 2024-06-07 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354273A (zh) * | 2015-10-29 | 2016-02-24 | 浙江高速信息工程技术有限公司 | 一种快速检索高速公路逃费车辆高相似度图像的方法 |
| CN106557579A (zh) * | 2016-11-28 | 2017-04-05 | 中通服公众信息产业股份有限公司 | 一种基于卷积神经网络的车辆型号检索系统及方法 |
| CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
| CN108269244A (zh) * | 2018-01-24 | 2018-07-10 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| CN110110729A (zh) * | 2019-03-20 | 2019-08-09 | 中国地质大学（武汉） | 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 |
| US20190348733A1 (en) * | 2016-12-22 | 2019-11-14 | Trak Microwave Corporation | Transmission line with tunable frequency response |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
-
2019
- 2019-12-06 CN CN201911243642.3A patent/CN111079602B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354273A (zh) * | 2015-10-29 | 2016-02-24 | 浙江高速信息工程技术有限公司 | 一种快速检索高速公路逃费车辆高相似度图像的方法 |
| CN106557579A (zh) * | 2016-11-28 | 2017-04-05 | 中通服公众信息产业股份有限公司 | 一种基于卷积神经网络的车辆型号检索系统及方法 |
| US20190348733A1 (en) * | 2016-12-22 | 2019-11-14 | Trak Microwave Corporation | Transmission line with tunable frequency response |
| CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
| CN108269244A (zh) * | 2018-01-24 | 2018-07-10 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| CN110110729A (zh) * | 2019-03-20 | 2019-08-09 | 中国地质大学（武汉） | 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
Non-Patent Citations (2)
| Title |
|---|
| HELIANG ZHENG 等: "Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition" * |
| 熊昌镇 等: "多尺度区域特征的细粒度分类算法研究" * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688851A (zh) * | 2020-05-18 | 2021-11-23 | 华为技术有限公司 | 数据标注方法和装置和精细粒度识别方法和装置 |
| CN113688851B (zh) * | 2020-05-18 | 2023-09-15 | 华为云计算技术有限公司 | 数据标注方法和装置和精细粒度识别方法和装置 |
| CN113706437B (zh) * | 2020-05-21 | 2024-03-15 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
| CN113706437A (zh) * | 2020-05-21 | 2021-11-26 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
| CN111709481B (zh) * | 2020-06-17 | 2023-12-12 | 云南省烟草农业科学研究院 | 一种烟草病害识别方法、系统、平台及存储介质 |
| CN111709481A (zh) * | 2020-06-17 | 2020-09-25 | 云南省烟草农业科学研究院 | 一种烟草病害识别方法、系统、平台及存储介质 |
| CN111767954A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 车辆细粒度识别模型生成方法、系统、设备及存储介质 |
| CN111860344A (zh) * | 2020-07-22 | 2020-10-30 | 浙江大华技术股份有限公司 | 确定图像中目标对象数量的方法及装置 |
| CN112232368B (zh) * | 2020-09-10 | 2023-09-01 | 浙江大华技术股份有限公司 | 目标识别模型训练方法、目标识别方法及其相关装置 |
| CN112232368A (zh) * | 2020-09-10 | 2021-01-15 | 浙江大华技术股份有限公司 | 目标识别模型训练方法、目标识别方法及其相关装置 |
| CN112566117B (zh) * | 2020-11-06 | 2023-12-08 | 厦门大学 | 基于度量学习的车辆节点身份识别方法及装置 |
| CN112566117A (zh) * | 2020-11-06 | 2021-03-26 | 厦门大学 | 基于度量学习的车辆节点身份识别方法及装置 |
| CN112507934B (zh) * | 2020-12-16 | 2024-06-07 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及存储介质 |
| CN112507934A (zh) * | 2020-12-16 | 2021-03-16 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及存储介质 |
| CN112766156B (zh) * | 2021-01-19 | 2023-11-03 | 南京中兴力维软件有限公司 | 一种骑行属性识别方法及装置、存储介质 |
| CN112766156A (zh) * | 2021-01-19 | 2021-05-07 | 南京中兴力维软件有限公司 | 一种骑行属性识别方法及装置、存储介质 |
| CN112926441B (zh) * | 2021-02-24 | 2021-11-30 | 广州极点三维信息科技有限公司 | 基于机器视觉的家居识别方法、系统、装置及介质 |
| CN112926441A (zh) * | 2021-02-24 | 2021-06-08 | 广州极点三维信息科技有限公司 | 基于机器视觉的家居识别方法、系统、装置及介质 |
| CN112906810A (zh) * | 2021-03-08 | 2021-06-04 | 共达地创新技术(深圳)有限公司 | 目标检测方法、电子设备和存储介质 |
| CN112906810B (zh) * | 2021-03-08 | 2024-04-16 | 共达地创新技术(深圳)有限公司 | 目标检测方法、电子设备和存储介质 |
| CN113191218A (zh) * | 2021-04-13 | 2021-07-30 | 南京信息工程大学 | 基于双线性注意力汇集和卷积长短期记忆的车型识别方法 |
| CN113627477A (zh) * | 2021-07-07 | 2021-11-09 | 武汉魅瞳科技有限公司 | 车辆多属性识别方法及系统 |
| CN113642431A (zh) * | 2021-07-29 | 2021-11-12 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法及装置、电子设备和存储介质 |
| CN113642431B (zh) * | 2021-07-29 | 2024-02-06 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法及装置、电子设备和存储介质 |
| CN114120160A (zh) * | 2022-01-25 | 2022-03-01 | 成都合能创越软件有限公司 | 基于Faster-RCNN物体空间区分方法、装置、计算机设备及存储介质 |
| CN114998748A (zh) * | 2022-07-28 | 2022-09-02 | 北京卫星信息工程研究所 | 遥感图像目标精细识别方法、电子设备及存储介质 |
| CN115359306A (zh) * | 2022-10-24 | 2022-11-18 | 中铁科学技术开发有限公司 | 一种铁路货检高清图像智能识别方法和系统 |
| CN115375978A (zh) * | 2022-10-27 | 2022-11-22 | 北京闪马智建科技有限公司 | 行为信息的确定方法、装置、存储介质及电子装置 |
| CN117173422A (zh) * | 2023-08-07 | 2023-12-05 | 广东第二师范学院 | 基于图融合多尺度特征学习的细粒度图像识别方法 |
| CN117173422B (zh) * | 2023-08-07 | 2024-02-13 | 广东第二师范学院 | 基于图融合多尺度特征学习的细粒度图像识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111079602B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079602B (zh) | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 | |
| CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
| CN110059554B (zh) | 一种基于交通场景的多支路目标检测方法 | |
| CN111191732B (zh) | 一种基于全自动学习的目标检测方法 | |
| CN111553201B (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
| CN109165540B (zh) | 一种基于先验候选框选择策略的行人搜索方法和装置 | |
| CN106845430A (zh) | 基于加速区域卷积神经网络的行人检测与跟踪方法 | |
| CN110826379B (zh) | 一种基于特征复用与YOLOv3的目标检测方法 | |
| CN105260738A (zh) | 基于主动学习的高分辨率遥感影像变化检测方法及系统 | |
| CN109697469A (zh) | 一种基于一致性约束的自学习小样本遥感图像分类方法 | |
| CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN110879961B (zh) | 利用车道模型的车道检测方法和装置 | |
| CN109636846B (zh) | 基于循环注意力卷积神经网络的目标定位方法 | |
| CN107256017B (zh) | 路线规划方法及系统 | |
| CN103020971A (zh) | 从图像中自动分割目标对象的方法 | |
| CN106023257A (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
| CN111126459A (zh) | 一种车辆细粒度识别的方法及装置 | |
| CN105809672A (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
| CN110610165A (zh) | 一种基于yolo模型的船舶行为分析方法 | |
| CN114648665A (zh) | 一种弱监督目标检测方法及系统 | |
| CN113065460A (zh) | 基于多任务级联的猪脸面部表情识别框架的建立方法 | |
| CN111339967B (zh) | 一种基于多视域图卷积网络的行人检测方法 | |
| CN115376101A (zh) | 一种面向自动驾驶环境感知的增量式学习方法和系统 | |
| CN113609895A (zh) | 基于改进Yolov3的获取道路交通信息方法 | |
| Wu et al. | Traffic sign detection based on SSD combined with receptive field module and path aggregation network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |