CN108960015A - 一种基于深度学习的车系自动识别方法及装置 - Google Patents

一种基于深度学习的车系自动识别方法及装置 Download PDF

Info

Publication number
CN108960015A
CN108960015A CN201710374166.3A CN201710374166A CN108960015A CN 108960015 A CN108960015 A CN 108960015A CN 201710374166 A CN201710374166 A CN 201710374166A CN 108960015 A CN108960015 A CN 108960015A
Authority
CN
China
Prior art keywords
vehicle system
frame
model
resnet
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710374166.3A
Other languages
English (en)
Inventor
庞敏辉
梁大双
毛永波
李文佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Best Faith Racket (beijing) Mdt Infotech Ltd
Original Assignee
Best Faith Racket (beijing) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Best Faith Racket (beijing) Mdt Infotech Ltd filed Critical Best Faith Racket (beijing) Mdt Infotech Ltd
Priority to CN201710374166.3A priority Critical patent/CN108960015A/zh
Publication of CN108960015A publication Critical patent/CN108960015A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例实公开了一种基于深度学习的车系自动识别方法及装置，其中，该方法包括：利用目标车辆检测训练样本训练SSD目标车辆检测模型；利用车系识别训练样本训练ResNet车系识别模型；将待识别的车辆图像输入SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框；利用面积最大的目标矩形框截取待识别的车辆图像，获得目标区域图像；将目标区域图像输入ResNet车系识别模型中进行识别，并输出车系识别结果。本发明实施例通过训练好的SSD目标车辆检测模型能够得到待识别的车辆图像中目标车辆的位置，从而截取得到包括目标车辆的目标区域图像，再通过训练好的ResNet车系识别模型识别出目标区域图像的车系，该方法模型训练简单，并且识别精度高，识别效率高。

Description

一种基于深度学习的车系自动识别方法及装置
技术领域
本发明实施例涉及图形识别技术领域，尤其涉及一种基于深度学习的车系自动识别方法及涉及一种基于深度学习的车系自动识别装置。
背景技术
随着我国现代化进程的加快，汽车作为一种便捷的交通工具正逐步走进千家万户，成为人们居家生活中不可或缺的一部分。据统计截至到2016年末，我国民用汽车保有量19440万辆。如此庞大的数字带来了交通的严重拥堵，极大的束缚了社会的进步和经济的发展，为了有效解决这一问题，智能交通系统受到越来越多的重视，车系的自动识别是该系统的一个重要组成部分，不过由于市场上车系种类的不断增加，车系的自动识别面临着巨大的挑战。
在早期的研究中，人们能利用、射频微波、红光、激光、声表面波等方式来自动识别车辆信息，这些方式虽然准确率高，但安装过程复杂，造价高，不适用于我国的交通现状。如今，人工智能及图像处理技术的快速发展使得通过图像识别车系成为可能。
但是现有的车系自动识别方法，通常为浅层学习方法，将整个过程分为车辆检测、特征提取和选择、车系识别三个阶段，特别是在特征提取阶段和选择阶段往往依赖人的经验，提取的特征分类效果差，导致模型训练复杂，识别精度差，识别效率低。
发明内容
本发明实施例提供了一种基于深度学习的车系自动识别方法及一种基于深度学习的车系自动识别装置，以解决现有车系识别方法中模型训练复杂，识别精度差，识别效率低的问题。
第一方面，本发明实施例提供了一种基于深度学习的车系自动识别方法，该方法包括：
利用目标车辆检测训练样本训练SSD目标车辆检测模型；
利用车系识别训练样本训练ResNet车系识别模型；
将待识别的车辆图像输入所述SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框；
利用面积最大的目标矩形框截取所述待识别的车辆图像，获得目标区域图像；
将所述目标区域图像输入所述ResNet车系识别模型中进行识别，并输出车系识别结果。
优选地，所述利用目标车辆检测训练样本训练SSD目标车辆检测模型的步骤，包括：
在所述目标车辆检测训练样本上标出目标车辆所在区域，获得标签框；
将带有所述标签框的目标车辆检测训练样本加载到SSD网络中；
在SSD网络中，生成多个带有默认框的特征图；
将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失；
在所述SSD网络中反向传播所述模型损失，优化所述SSD网络的各层参数，以获得所述SSD目标车辆检测模型。
优选地，将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失的步骤，包括：
将所述默认框与所述标签框进行匹配，获得所述默认框的位置损失；
将所述默认框与所述标签框进行匹配，获得所述默认框的置信损失；
将所述位置损失和所述置信损失进行相加，获得所述默认框的模型损失。
优选地，所述利用车系识别训练样本训练ResNet车系识别模型的步骤，包括：
将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数；
根据所述最终残差函数和相应的类别标签，获得softmax损失；
在所述ResNet中反向传播所述softmax损失，优化所述ResNet的各层参数，以获得所述ResNet车系识别模型。
优选地，所述将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数的步骤，包括：
将带有类别标签的车系识别训练样本输入ResNet中的残差块中，分别经过第一卷积层、第一ReLU激活函数和第二卷积层，获得卷积结果；
将所述卷积结果与所述残差块的输入进行叠加，再经过所述残差块中的第二ReLU激活函数，获得中间残差函数；
将中间残差函数作为新的输入重新输入其余的残差块中，直至获得最终残差函数。
第二方面，本发明实施例还提供了一种基于深度学习的车系自动识别装置，该装置包括：
检测模型训练模块，用于利用目标车辆检测训练样本训练SSD目标车辆检测模型；
识别模型训练模块，用于利用车系识别训练样本训练ResNet车系识别模型；
目标车辆检测模块，用于将待识别的车辆图像输入所述SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框；
图像截取模块，用于利用面积最大的目标矩形框截取所述待识别的车辆图像，获得目标区域图像；
车系识别模块，用于将所述目标区域图像输入所述ResNet车系识别模型中进行识别，并输出车系识别结果。
优选地，所述检测模型训练模块包括：
标签框获得单元，用于在所述目标车辆检测训练样本上标出目标车辆所在区域，获得标签框；
加载单元，用于将带有所述标签框的目标车辆检测训练样本加载到SSD网络中；
特征图生成单元，用于在SSD网络中，生成多个带有默认框的特征图；
匹配单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失；
第一参数优化单元，用于在所述SSD网络中反向传播所述模型损失，优化所述SSD网络的各层参数，以获得所述SSD目标车辆检测模型。
优选地，所述匹配单元包括：
位置损失获得子单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的位置损失；
置信损失获得子单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的置信损失；
模型损失获得子单元，用于将所述位置损失和所述置信损失进行相加，获得所述默认框的模型损失。
优选地，所述识别模型训练模块包括：
最终残差函数获得单元，用于将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数；
softmax损失获得单元，用于根据所述最终残差函数和相应的类别标签，获得softmax损失；
第二参数优化单元，用于在所述ResNet中反向传播所述softmax损失，优化所述ResNet的各层参数，以获得所述ResNet车系识别模型。
优选地，所述最终残差函数获得单元包括：
卷积结果获得子单元，用于将带有类别标签的车系识别训练样本输入ResNet中的残差块中，分别经过第一卷积层、第一ReLU激活函数和第二卷积层，获得卷积结果；
中间残差函数获得子单元，用于将所述卷积结果与所述残差块的输入进行叠加，再经过所述残差块中的第二ReLU激活函数，获得中间残差函数；
最终残差函数获得子单元，用于将中间残差函数作为新的输入重新输入其余的残差块中，直至获得最终残差函数。
本发明实施例提供了一种基于深度学习的车系自动识别方法，通过训练好的SSD目标车辆检测模型能够得到待识别的车辆图像中目标车辆的位置，从而截取得到包括目标车辆的目标区域图像，再通过训练好的ResNet车系识别模型，识别出目标区域图像的车系，该方法模型训练简单，并且识别精度高，识别效率高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于深度学习的车系自动识别方法的流程图；
图2为带有两组默认框的8×8特征图；
图3为带有一组默认框的4×4特征图；
图4为本发明实施例提供的一种基于深度学习的车系自动识别装置的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1，为本发明实施例提供的一种基于深度学习的车系自动识别方法的流程图，该方法具体可以包括如下步骤：
步骤101，利用目标车辆检测训练样本训练SSD(Single Shot MultiBoxDetector)目标车辆检测模型。
在本发明实施例的一种优选示例中，步骤101具体可以包括：
步骤11，在所述目标车辆检测训练样本上标出目标车辆所在区域，获得标签框。
本发明实施例采用的训练样本可以是在路边实际拍摄的不同车系的图像，也可以是从网上收集到的车辆图像。
步骤12，将带有所述标签框的目标车辆检测训练样本加载到SSD网络中。
步骤13，在SSD网络中，生成多个带有默认框的特征图。
在具体实现中，可以根据训练样本图像的尺寸得到多个不同尺度的特征图，例如8×8特征图或4×4特征图。再在特征图上的每个位置都评估一组包括有不同宽高比的默认框。参见图2，示出了8×8特征图上的两组默认框。当待识别的目标车辆在图像中占的面积较大时，8×8特征图上的默认框可能无法完全框到，则可能需要4×4特征图中的默认框，参见图3，示出了4×4特征图上的一组默认框。
步骤15，将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失。
在本发明实施例中，步骤15具体可以包括如下子步骤。
子步骤1501，将所述默认框与所述标签框进行匹配，获得所述默认框的位置损失。
子步骤1502，将所述默认框与所述标签框进行匹配，获得所述默认框的置信损失。
子步骤1503，将所述位置损失和所述置信损失进行相加，获得所述默认框的模型损失。
默认框的模型损失的计算公式为：
其中xij表示第i个默认框的匹配值，当第i个默认框与第j个标签框匹配时，xij＝1，否则xij＝0；N为匹配到的默认框的个数；Lconf为置信损失；c为类别信息，在本发明实施例中，c＝1；Lloc为位置损失；l为默认框参数，g为标签框参数。
位置损失Lloc可以通过计算默认框参数l与标签框参数g之间的平滑L1损失(Smooth L1 loss)得到。置信损失Lconf可以为softmax损失。
步骤16，在所述SSD网络中反向传播所述模型损失，优化所述SSD网络的各层参数，以获得SSD目标车辆检测模型。
在训练SSD目标车辆检测模型的过程中，可以利用训练样本中的图像进行多次迭代优化，学习率可以设置为0.001，权值衰减系数可以为0.005。
在训练完成目标车辆检测模型后，需要利用检测样本对该目标车辆检测模型进行准确性判断，只有其准确性符合要求后才可以投入应用。
步骤102，利用车系识别训练样本训练ResNet(Residual networks，残差神经网络)车系识别模型。
在本发明实施例的一种优选示例中，步骤102具体可以包括：
步骤21，将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数。
在具体实现中该车系识别训练样本中的图像为只包括车辆图形的图像。类别标签可以通过数字进行标记，每一个数字代表一种车系。
在具体实现中，步骤21具体可以包括如下子步骤：
步骤2101，将带有类别标签的车系识别训练样本输入ResNet中的残差块中，分别经过第一卷积层、第一ReLU激活函数和第二卷积层，获得卷积结果。
该卷积结果F(x)可以表示为:
F(x)＝W2σ1(W1x)；
其中，x为带有类别标签的车系识别训练样本，W1和W2分别表示第一卷积层和第二卷积层的权重，σ1为第一ReLU激活函数。
步骤2102，将所述卷积结果与所述残差块的输入进行叠加，再经过残差块中的第二ReLU激活函数，获得中间残差函数。
Y＝σ2[F(x)+x]；
其中σ2为第二ReLU激活函数。
该残差块依次包括第一卷积层、第一ReLU激活函数、第二卷积层和第二ReLU激活函数。本发明实施例引入了快捷连接，即每层的输出不是传统神经网络中输入的映射，而是映射和输入的叠加，如步骤2102中所述的将卷积结果与输入进行叠加，再经过残差块中的第二ReLU激活函数，获得中间残差函数，这样可以解决由于网络过深造成的梯度消失问题，从而提高识别的精度。
步骤2103，将中间残差函数作为新的输入重新输入其余的残差块中，直至获得最终残差函数。
ResNet中可以设置多个残差块，带有类别标签的车系识别训练样本可以经过多个残差块，直至经过所有的残差块，从而得到最终残差函数。
由于残差函数容易优化，所以能够大大加深网络层数。
步骤22，根据所述最终残差函数和相应的类别标签，获得softmax损失。
步骤23，在所述ResNet中反向传播所述softmax损失，优化所述ResNet的各层参数，以获得ResNet车系识别模型。
本发明实施例可以利用随机梯度下降法优化ResNet的各层参数。
在具体实现中，可以利用训练样本中的图像进行多次迭代优化，获得ResNet车系识别模型。
在训练好车系识别模型后，需要利用测试样本测试该车系识别模型的准确性，待准确性符合要求后，则可进行车系识别应用。
在训练SSD目标车辆检测模型和ResNet车系识别模型的过程中，通过优化网络中各层参数实现了自动提取和选择特征的方式，避免了传统方法中特征提取和选择阶段中的人为干预，模型训练更加简单，提高了智能化程度。
并且SSD目标车辆检测模型和ResNet车系识别模型更新方便，当有新车系加入时可以在以前模型的基础上继续训练，大大减少了模型更新时间。
步骤103，将待识别的车辆图像输入所述SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框。
在具体实现中可以先将待识别的车辆图像归一化到像素为300*300的大小，再输入目标车辆检测模型中。
目标车辆检测模型在进行检测的过程中，可以通过非极大值抑制(Non-maximumsuppression)获到一个或多个不同的目标矩形框，这些目标矩形框用于分隔出目标车辆所在的区域。
步骤104，利用面积最大的目标矩形框截取所述待识别的车辆图像，获得目标区域图像。
在具体实现中，通常在获得的多个目标矩形框中，选取面积最大的目标矩形框取截取待识别的车辆图像，从而得到精确的且完整的目标车辆图像，以用于车系识别。
步骤104，将所述目标区域图像输入所述ResNet车系识别模型中进行识别，并输出车系识别结果。
目标区域图像经过ResNet车系识别模型中各层卷积和采样操作后得到一个特征向量，利用其中的softmax分类器对特征向量进行分类，得到预测的类别标签，然后根据车系与类别标签的对应关系得到最终的车系。
在具体实现中，可以通过python，一种面向对象、解释型计算机程序设计语言，将SSD目标车辆检测模型和ResNet车系识别模型进行整合。
本发明实施例由于利用丰富的样本去优化网络各层参数，特征分类效果较好，所以图像的识别效果好，识别效率也较高。经实验检测得到，利用本发明实施例提供的方法识别车辆图像的车系，平均每张图像的识别时间为712ms。
参见图4，为本发明实施例提供的一种基于深度学习的车系自动识别装置的结构图，该装置具体可以包括：
检测模型训练模块401，用于利用目标车辆检测训练样本训练SSD目标车辆检测模型。
在本发明实施例的一种优选示例中，检测模型训练模块401具体可以包括：
标签框获得单元，用于在所述目标车辆检测训练样本上标出目标车辆所在区域，获得标签框。
加载单元，用于将带有所述标签框的目标车辆检测训练样本加载到SSD网络中。
特征图生成单元，用于在SSD网络中，生成多个带有默认框的特征图。
匹配单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失。
进一步地，该匹配单元具体可以包括：
位置损失获得子单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的位置损失；
置信损失获得子单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的置信损失；
模型损失获得子单元，用于将所述位置损失和所述置信损失进行相加，获得所述默认框的模型损失。
第一参数优化单元，用于在所述SSD网络中反向传播所述模型损失，优化所述SSD网络的各层参数，以获得所述SSD目标车辆检测模型。
识别模型训练模块402，用于利用车系识别训练样本训练ResNet车系识别模型。
在本发明实施例的一种优选示例中，识别模型训练模块402具体可以包括：
最终残差函数获得单元，用于将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数。
进一步地，该最终残差函数获得单元具体可以包括：
卷积结果获得子单元，用于将带有类别标签的车系识别训练样本输入ResNet中的残差块中，分别经过第一卷积层、第一ReLU激活函数和第二卷积层，获得卷积结果；
中间残差函数获得子单元，用于将所述卷积结果与所述残差块的输入进行叠加，再经过所述残差块中的第二ReLU激活函数，获得中间残差函数；
最终残差函数获得子单元，用于将中间残差函数作为新的输入重新输入其余的残差块中，直至获得最终残差函数。
softmax损失获得单元，用于根据所述最终残差函数和相应的类别标签，获得softmax损失。
第二参数优化单元，用于在所述ResNet中反向传播所述softmax损失，优化所述ResNet的各层参数，以获得所述ResNet车系识别模型。
目标车辆检测模块403，用于将待识别的车辆图像输入所述SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框。
图像截取模块404，用于利用面积最大的目标矩形框截取所述待识别的车辆图像，获得目标区域图像。
车系识别模块405，用于将所述目标区域图像输入所述ResNet车系识别模型中进行识别，并输出车系识别结果。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以生成一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令生成用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令生成包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以生成计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种基于深度学习的车系自动识别方法及一种基于深度学习的车系自动识别装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习的车系自动识别方法，其特征在于，所述方法包括：
利用目标车辆检测训练样本训练SSD目标车辆检测模型；
利用车系识别训练样本训练ResNet车系识别模型；
将待识别的车辆图像输入所述SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框；
利用面积最大的目标矩形框截取所述待识别的车辆图像，获得目标区域图像；
将所述目标区域图像输入所述ResNet车系识别模型中进行识别，并输出车系识别结果。
2.如权利要求1所述的方法，其特征在于，所述利用目标车辆检测训练样本训练SSD目标车辆检测模型的步骤，包括：
在所述目标车辆检测训练样本上标出目标车辆所在区域，获得标签框；
将带有所述标签框的目标车辆检测训练样本加载到SSD网络中；
在SSD网络中，生成多个带有默认框的特征图；
将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失；
在所述SSD网络中反向传播所述模型损失，优化所述SSD网络的各层参数，以获得所述SSD目标车辆检测模型。
3.如权利要求2所述的方法，其特征在于，将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失的步骤，包括：
将所述默认框与所述标签框进行匹配，获得所述默认框的位置损失；
将所述默认框与所述标签框进行匹配，获得所述默认框的置信损失；
将所述位置损失和所述置信损失进行相加，获得所述默认框的模型损失。
4.如权利要求1所述的方法，其特征在于，所述利用车系识别训练样本训练ResNet车系识别模型的步骤，包括：
将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数；
根据所述最终残差函数和相应的类别标签，获得softmax损失；
在所述ResNet中反向传播所述softmax损失，优化所述ResNet的各层参数，以获得所述ResNet车系识别模型。
5.如权利要求4所述的方法，其特征在于，所述将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数的步骤，包括：
将带有类别标签的车系识别训练样本输入ResNet中的残差块中，分别经过第一卷积层、第一ReLU激活函数和第二卷积层，获得卷积结果；
将所述卷积结果与所述残差块的输入进行叠加，再经过所述残差块中的第二ReLU激活函数，获得中间残差函数；
将所述中间残差函数作为新的输入重新输入其余的残差块中，直至获得最终残差函数。
6.一种基于深度学习的车系自动识别装置，其特征在于，所述装置包括：
检测模型训练模块，用于利用目标车辆检测训练样本训练SSD目标车辆检测模型；
识别模型训练模块，用于利用车系识别训练样本训练ResNet车系识别模型；
目标车辆检测模块，用于将待识别的车辆图像输入所述SSD目标车辆检测模型中进行检测，并获得至少一个目标矩形框；
图像截取模块，用于利用面积最大的目标矩形框截取所述待识别的车辆图像，获得目标区域图像；
车系识别模块，用于将所述目标区域图像输入所述ResNet车系识别模型中进行识别，并输出车系识别结果。
7.如权利要求6所述的装置，其特征在于，所述检测模型训练模块包括：
标签框获得单元，用于在所述目标车辆检测训练样本上标出目标车辆所在区域，获得标签框；
加载单元，用于将带有所述标签框的目标车辆检测训练样本加载到SSD网络中；
特征图生成单元，用于在SSD网络中，生成多个带有默认框的特征图；
匹配单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的模型损失；
第一参数优化单元，用于在所述SSD网络中反向传播所述模型损失，优化所述SSD网络的各层参数，以获得所述SSD目标车辆检测模型。
8.如权利要求7所述的装置，其特征在于，所述匹配单元包括：
位置损失获得子单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的位置损失；
置信损失获得子单元，用于将所述默认框与所述标签框进行匹配，获得所述默认框的置信损失；
模型损失获得子单元，用于将所述位置损失和所述置信损失进行相加，获得所述默认框的模型损失。
9.如权利要求6所述的装置，其特征在于，所述识别模型训练模块包括：
最终残差函数获得单元，用于将带有类别标签的车系识别训练样本输入ResNet中，并经过多个残差块，获得最终残差函数；
softmax损失获得单元，用于根据所述最终残差函数和相应的类别标签，获得softmax损失；
第二参数优化单元，用于在所述ResNet中反向传播所述softmax损失，优化所述ResNet的各层参数，以获得所述ResNet车系识别模型。
10.如权利要求9所述的装置，其特征在于，所述最终残差函数获得单元包括：
卷积结果获得子单元，用于将带有类别标签的车系识别训练样本输入ResNet中的残差块中，分别经过第一卷积层、第一ReLU激活函数和第二卷积层，获得卷积结果；
中间残差函数获得子单元，用于将所述卷积结果与所述残差块的输入进行叠加，再经过所述残差块中的第二ReLU激活函数，获得中间残差函数；
最终残差函数获得子单元，用于将中间残差函数作为新的输入重新输入其余的残差块中，直至获得最终残差函数。
CN201710374166.3A 2017-05-24 2017-05-24 一种基于深度学习的车系自动识别方法及装置 Pending CN108960015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710374166.3A CN108960015A (zh) 2017-05-24 2017-05-24 一种基于深度学习的车系自动识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710374166.3A CN108960015A (zh) 2017-05-24 2017-05-24 一种基于深度学习的车系自动识别方法及装置

Publications (1)

Publication Number Publication Date
CN108960015A true CN108960015A (zh) 2018-12-07

Family

ID=64493796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710374166.3A Pending CN108960015A (zh) 2017-05-24 2017-05-24 一种基于深度学习的车系自动识别方法及装置

Country Status (1)

Country Link
CN (1) CN108960015A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740696A (zh) * 2019-01-30 2019-05-10 亮风台（上海）信息科技有限公司 一种用于压板识别的方法与设备
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110334572A (zh) * 2019-04-04 2019-10-15 南京航空航天大学 一种多角度下车型精细识别方法
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111144372A (zh) * 2019-12-31 2020-05-12 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111626083A (zh) * 2019-02-28 2020-09-04 中科院微电子研究所昆山分所 一种检测方法、装置、设备及介质
CN111797940A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 一种基于海洋搜救的图像识别方法及相关装置
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN112837541A (zh) * 2020-12-31 2021-05-25 遵义师范学院 基于改进ssd的智能交通车流量管理方法
CN112926378A (zh) * 2021-01-04 2021-06-08 广州小鹏自动驾驶科技有限公司 一种车辆侧边棱确定方法和装置
CN113569648A (zh) * 2021-06-29 2021-10-29 深圳市捷顺科技实业股份有限公司 一种车辆挪位记录的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184303A (zh) * 2015-04-23 2015-12-23 南京邮电大学 一种基于多模态深度学习的图像标注方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106529569A (zh) * 2016-10-11 2017-03-22 北京航空航天大学 基于深度学习的三维模型三角面特征学习分类方法及装置
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184303A (zh) * 2015-04-23 2015-12-23 南京邮电大学 一种基于多模态深度学习的图像标注方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106529569A (zh) * 2016-10-11 2017-03-22 北京航空航天大学 基于深度学习的三维模型三角面特征学习分类方法及装置
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIMING HE. ET AL: "Deep Residual Learning for Image Recognition", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
WEI LIU. ET AL: "SSD: Single Shot MultiBox Detector", 《ECCV: EUROPEAN CONFERENCE ON COMPUTER VISION》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740696A (zh) * 2019-01-30 2019-05-10 亮风台（上海）信息科技有限公司 一种用于压板识别的方法与设备
CN109740696B (zh) * 2019-01-30 2021-09-24 亮风台（上海）信息科技有限公司 一种用于压板识别的方法与设备
CN111626083A (zh) * 2019-02-28 2020-09-04 中科院微电子研究所昆山分所 一种检测方法、装置、设备及介质
CN110334572B (zh) * 2019-04-04 2021-07-13 南京航空航天大学 一种多角度下车型精细识别方法
CN110334572A (zh) * 2019-04-04 2019-10-15 南京航空航天大学 一种多角度下车型精细识别方法
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110135468B (zh) * 2019-04-24 2021-07-20 中国矿业大学(北京) 一种煤矸石的识别方法
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111144372A (zh) * 2019-12-31 2020-05-12 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111797940A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 一种基于海洋搜救的图像识别方法及相关装置
CN112837541A (zh) * 2020-12-31 2021-05-25 遵义师范学院 基于改进ssd的智能交通车流量管理方法
CN112837541B (zh) * 2020-12-31 2022-04-29 遵义师范学院 基于改进ssd的智能交通车流量管理方法
CN112926378A (zh) * 2021-01-04 2021-06-08 广州小鹏自动驾驶科技有限公司 一种车辆侧边棱确定方法和装置
CN112926378B (zh) * 2021-01-04 2022-06-28 广州小鹏自动驾驶科技有限公司 一种车辆侧边棱确定方法和装置
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN112819953B (zh) * 2021-02-24 2024-01-19 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN113569648A (zh) * 2021-06-29 2021-10-29 深圳市捷顺科技实业股份有限公司 一种车辆挪位记录的方法及装置

Similar Documents

Publication Publication Date Title
CN108960015A (zh) 一种基于深度学习的车系自动识别方法及装置
CN106874840B (zh) 车辆信息识别方法及装置
CN111401516B (zh) 一种神经网络通道参数的搜索方法及相关设备
CN110188720A (zh) 一种基于卷积神经网络的目标检测方法及系统
CN109359666A (zh) 一种基于多特征融合神经网络的车型识别方法及处理终端
CN107832835A (zh) 一种卷积神经网络的轻量化方法及装置
CN106503742B (zh) 一种可见光图像绝缘子识别方法
CN110309706A (zh) 人脸关键点检测方法、装置、计算机设备及存储介质
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN107133616A (zh) 一种基于深度学习的无分割字符定位与识别方法
CN107784654A (zh) 图像分割方法、装置及全卷积网络系统
CN110516677A (zh) 一种神经网络识别模型、目标识别方法及系统
CN108090508A (zh) 一种分类训练方法、装置及存储介质
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN105654066A (zh) 一种车辆识别方法及装置
CN109446889A (zh) 基于孪生匹配网络的物体追踪方法及装置
CN110163836A (zh) 基于深度学习用于高空巡检下的挖掘机检测方法
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN109359515A (zh) 一种用于对目标对象的属性特征进行识别的方法及装置
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN107644221A (zh) 基于参数压缩的卷积神经网络交通标志识别方法
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
CN108717520A (zh) 一种行人重识别方法及装置
CN110009051A (zh) 特征提取单元及方法、dcnn模型、识别方法及介质
CN107886110A (zh) 人脸检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207