CN111881958B - 车牌分类识别方法、装置、设备及存储介质 - Google Patents

车牌分类识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111881958B
CN111881958B CN202010689133.XA CN202010689133A CN111881958B CN 111881958 B CN111881958 B CN 111881958B CN 202010689133 A CN202010689133 A CN 202010689133A CN 111881958 B CN111881958 B CN 111881958B
Authority
CN
China
Prior art keywords
license plate
training
vehicle
model
vgg19
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010689133.XA
Other languages
English (en)
Other versions
CN111881958A (zh
Inventor
李斯
赵齐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202010689133.XA priority Critical patent/CN111881958B/zh
Publication of CN111881958A publication Critical patent/CN111881958A/zh
Application granted granted Critical
Publication of CN111881958B publication Critical patent/CN111881958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及物流管理领域，公开了一种车牌分类识别方法、装置、设备及存储介质。本方法包括：获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19模型并进行训练，并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行识别。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。

Description

车牌分类识别方法、装置、设备及存储介质
技术领域
本发明涉及物流管理领域，尤其涉及一种车牌分类识别方法、装置、设备及存储介质。
背景技术
随着物流行业的迅猛发展，物流已经渗透人们平常生活的各个方面。随着电子商务的普及，越来越多的人通过网络进行商品选购。为应对越来越多的快件运输需求，目前的快件物流运输压力也越来越大。现有物流行业中，分为长途运输和中短途运输。长途运输一般采用燃油货车，而中短途运输一般采用新能源汽车，物流车辆种类繁多有黄牌、蓝牌、新能源牌。
但是对于车辆的分类管理，往往都依靠人工来引导指挥，AI技术应用水平不足，对于车辆的分类判别效率低下，无法合理安排装货数量，容易造成车辆排队等待的情况。
发明内容
本发明的主要目的在于解决现有技术中，AI技术应用水平不足，对于车辆的分类判别效率低下的技术问题。
本发明第一方面提供了一种车牌分类识别方法，包括：
获取车辆车牌数据的训练样本图像，所述训练样本图像包括三种类型车辆的车牌样本；
搭建VGG19网络框架，并将所述训练样本图像输入所述VGG19网络框架中进行训练，得到VGG19模型；
基于所述训练样本图像确定对应训练标签结果，并根据所述训练标签结果，确定交叉熵损失函数；
通过所述交叉熵损失函数和预置梯度下降算法，计算所述VGG19模型的权重衰减系数，并通过所述权重衰减系数更新所述VGG19模型的参数，得到优化后的VGG19模型；
对所述训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照最优比例将所述数据集分成训练集、验证集和测试集，得到第二数据集；
将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入所述车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
可选地，在本发明第一方面的第一种实现方式中，所述获取车辆车牌数据的训练样本图像，所述训练样本图像包括三种类型车辆的车牌样本包括：
获取预先拍摄的车辆装载现场的现场图像；
将所述现场图像输入预置车辆识别模型进行识别，输出所述现场图像中各车辆的区域范围；
基于所述现场图像中各车辆的区域范围，从所述现场图像中提取各车辆对应的车辆图像；
对所述车辆图像进行识别，得到各车辆的车牌颜色信息，并根据所述车辆的车牌颜色信息对所述现场图像进行分类，得到训练样本图像。
可选地，在本发明第一方面的第二种实现方式中，所述对所述训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集包括：
圈定所述训练样本图像中车辆的区域范围，并对所述训练样本图像进行实例分割，得到对应的标注信息；
将所述标注信息写入预置JSON格式的空白文件中，得到第一数据集。
可选地，在本发明第一方面的第三种实现方式中，所述搭建VGG19网络框架，并将所述训练样本图像输入所述VGG19网络框架中进行训练，得到VGG19模型包括：
搭建VGG19网络框架并定义所述VGG19网络框架的损失函数、初始学习率及迭代次数；
将所述训练样本图像和对应的数据集进行格式转换，并将格式转换后的数据集输入至所述VGG19网络框架进行训练；
基于所述VGG19网络框架的损失函数、初始学习率及迭代次数对所述VGG19网络框架进行迭代修正，得到VGG19模型。
可选地，在本发明第一方面的第四种实现方式中，所述将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型包括：
将所述第二数据集中的训练集中的训练图像依次输入所述优化后的VGG19模型的卷积层，并通过所述卷积层提取所述训练图像的特征图；
将所述训练图像的特征图输入所述全连接层，并通过所述全连接层对所述训练图像的特征图进行车辆预测，得到所述训练图像中的多个预测标签；
获取所述训练集中的训练图像对应的交叉熵损失函数；
根据所述交叉熵损失函数，计算所述预测标签与所述训练图像的真实标签的损失值，并基于所述损失值确定所述VGG19模型的迭代次数；
根据所述迭代次数对所述VGG19模型进行迭代修正，直到所述VGG19模型收敛，输出车牌分类识别模型。
可选地，在本发明第一方面的第五种实现方式中，所述获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入所述车牌分类识别模型进行识别，输出对应车辆的分类识别结果包括：
获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入预先训练得到的车牌分类识别模型；
通过所述车牌分类识别模型，得到所述车辆图像中各车牌的区域范围；
根据所述车辆图像中各车牌的区域范围，从所述车辆图像中提取各车牌对应的车牌图像；
将所述车辆图像中提取各车牌对应的车牌图像输入所述车牌分类识别模型，并通过所述车牌分类识别模型对所述车牌图像进行识别，输出对应车辆的分类识别结果。
本发明第二方面提供了一种车牌分类识别装置，包括：
获取模块，用于获取车辆车牌数据的训练样本图像，所述训练样本图像包括三种类型车辆的车牌样本；
搭建模块，用于搭建VGG19网络框架，并将所述训练样本图像输入所述VGG19网络框架中进行训练，得到VGG19模型；
确定模块，用于基于所述训练样本图像确定对应训练标签结果，并根据所述训练标签结果，确定交叉熵损失函数；
计算模块，用于通过所述交叉熵损失函数和预置梯度下降算法，计算所述VGG19模型的权重衰减系数，并通过所述权重衰减系数更新所述VGG19模型的参数，得到优化后的VGG19模型；
标注模块，用于对所述训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照最优比例将所述数据集分成训练集、验证集和测试集，得到第二数据集；
训练模块，用于将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
识别模块，用于获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入所述车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
可选地，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：
获取预先拍摄的车辆装载现场的现场图像；
将所述现场图像输入预置车辆识别模型进行识别，输出所述现场图像中各车辆的区域范围；
基于所述现场图像中各车辆的区域范围，从所述现场图像中提取各车辆对应的车辆图像；
对所述车辆图像进行识别，得到各车辆的车牌颜色信息，并根据所述车辆的车牌颜色信息对所述现场图像进行分类，得到训练样本图像。
可选地，在本发明第二方面的第二种实现方式中，所述标注模块具体用于：
圈定所述训练样本图像中车辆的区域范围，并对所述训练样本图像进行实例分割，得到对应的标注信息；
将所述标注信息写入预置JSON格式的空白文件中，得到第一数据集。
可选地，在本发明第二方面的第三种实现方式中，所述搭建模块包括：
搭建单元，用于搭建VGG19网络框架并定义所述VGG19网络框架的损失函数、初始学习率及迭代次数；
转换单元，用于将所述训练样本图像和对应的数据集进行格式转换，并将格式转换后的数据集输入至所述VGG19网络框架进行训练，并基于所述VGG19网络框架的损失函数、初始学习率及迭代次数对所述VGG19网络框架进行迭代修正，得到VGG19模型。
可选地，在本发明第二方面的第四种实现方式中，所述训练模块包括：
特征提取单元，用于将所述数据集中的训练集中的训练图像依次输入所述VGG19模型的卷积层，并通过所述卷积层提取所述训练图像的特征图；
预测单元，用于将所述训练图像的特征图输入所述全连接层，并通过所述全连接层对所述训练图像的特征图进行车辆预测，得到所述训练图像中的多个预测标签；
第一获取单元，用于获取所述训练集中的训练图像对应的交叉熵损失函数；
计算单元，用于根据所述交叉熵损失函数，计算所述预测标签与所述训练图像的真实标签的损失值，并基于所述损失值确定所述VGG19模型的迭代次数；
迭代修正单元，用于根据所述迭代次数对所述VGG19模型进行迭代修正，直到所述VGG19模型收敛，输出车牌分类识别模型。
可选地，在本发明第二方面的第五种实现方式中，所述识别模块包括：
第二获取单元，用于获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入预先训练得到的车牌分类识别模型并通过所述车牌分类识别模型，得到所述车辆图像中各车牌的区域范围；
图像提取单元，用于根据所述车辆图像中各车牌的区域范围，从所述车辆图像中提取各车牌对应的车牌图像；
识别单元，用于将所述车辆图像中提取各车牌对应的车牌图像输入所述车牌分类识别模型，并通过所述车牌分类识别模型对所述车牌图像进行识别，输出对应车辆的分类识别结果。
本发明第三方面提供了一种车牌分类识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述车牌分类识别设备执行上述的车牌分类识别方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的车牌分类识别方法。
本发明提供的技术方案中，获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
附图说明
图1为本发明车牌分类识别方法的第一个实施例示意图；
图2为本发明车牌分类识别方法的第二个实施例示意图；
图3为本发明车牌分类识别方法的第三个实施例示意图；
图4为本发明车牌分类识别方法的第四个实施例示意图；
图5为本发明车牌分类识别方法的第五个实施例示意图；
图6为本发明车牌分类识别装置的第一个实施例示意图；
图7为本发明车牌分类识别装置的第二个实施例示意图；
图8为本发明车牌分类识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种车牌分类识别方法、装置、设备及存储介质，本发明的技术方案中，先获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中车牌分类识别方法的第一个实施例包括：
101、获取车辆车牌数据的训练样本图像；
可以理解的是，本发明的执行主体可以为车牌分类识别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，训练样本图像包括三种类型车辆的车牌样本，首先通过摄像机或其他设备拍摄物流车辆装载场景的第一现场图像。比如所有的监控录像都接入在一个局域网，因此通过DSS平台可以访问到所有摄像头，DSS自带截图功能，将截图拍摄到的物流车辆装载现场图像以bmp的形式保存，取大概900张(或者更多)样本图像，根据图像中待识别车辆的车牌颜色，将图片分为三类，每一类各300张图片。一类是蓝牌车辆，一类是黄牌车辆，一类是新能源车辆。
102、搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
本实施例中，VGG19包含了19个隐藏层，其中包括16个卷积层和3个全连接层。
VGG是Oxford的Visual Geometry Group的组提出的。该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样。在VGG中，使用了3个3*3卷积核来代替7*7卷积核，使用了2个3*3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。比如，3个步长为1的3*3卷积核的一层层叠加作用可看成一个大小为7的感受野(其实就表示3个3*3连续卷积相当于一个7*7卷积)，其参数总量为3*(9*C^2)，如果直接使用7*7卷积核，其参数总量为49*C^2，这里C指的是输入和输出的通道数。很明显，27*C^2小于49*C^2，即减少了参数；而且3*3卷积核有利于更好地保持图像性质。
103、基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
本实施例中，根据训练样本图像确定确定对应的训练标签结果，此处的标签是指图片中车辆上车牌的类别，有黄色，蓝色，绿色三种。
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
在本实施例中，由于损失函数是用于衡量VGG19模型得到的预测值与真实值的不一致程度的函数，损失函数越小，则表明VGG19模型的性能越好，因此，可以通过计算损失函数的梯度来优化损失函数，直至损失函数达到最小值。
作为一种实施方式，可以通过梯度下降法来计算损失函数的梯度，确定是否需要更新VGG19模型中卷积网络层的参数；若更新，再循环获取训练标签结果并计算损失函数，直到损失函数达到最小值。
104、通过交叉熵损失函数和预置梯度下降算法，计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
本实施例中，在本实施例中，根据交叉熵损失函数和预置梯度下降算法，得到损失函数对应的梯度和权重衰减系数，并根据梯度值更新VGG19模型的参数之后，需要损失函数是否满足预设收敛条件，预设收敛条件是指损失函数达到最小值，具体地，预设收敛条件可以是根据经验设定的预设次数或者预设值。也就是，通过权重衰减系数更新VGG19模型的参数；当VGG19模型的迭代次数达到预设次数、或者损失函数达到预设值时，停止VGG19模型的参数更新，得到VGG19模型。
105、对训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照预置比例将数据集分成训练集、验证集和测试集，得到第二数据集；
本实施例中，将训练样本图像输入预置的图像标注软件中以进行展示。优选Labelme软件作为图像标注软件。采用人工的方式，通过交互设备，使用首位连接的闭合线条选中图像中的车辆。服务器根据闭合线条所对应的位置坐标圈定训练样本图像中车辆的车牌区域，得到包含标注车牌区域范围的图像，即标注信息。最后将标注信息写入预置JSON格式的空白文件中，从而得到JSON格式的数据集。
由于在上个步骤中，需要对收集到的图像按照图像中待识别车辆的车牌颜色进行分类，所以，本步骤中，是对根据车牌颜色进行分类得到的三类图像分别进行标注得到的数据集，所述数据集包括第一数据集，第二数据集及第三数据集。本实施例中，标注信息用于圈定各车牌在所述训练样本图像中的区域范围，根据圈定的区域范围得到车牌图像。
将制作好的数据集通过脚本代码按照最优比例进行分类，分成训练集，验证集，测试集，比例各占60％，30％，10％。VGG19模型需要对图片进行预处理，将RGB格式转换成BGR格式；同时，将图片的大小调整成224*224*3、并对图片进行归一化处理，然后输入优化过的VGG19模型进行训练。
归一化又叫数据归一化处理，主要分为最值归一化和均值方差归一化。通常我们获取训练模型来训练时，很多数据大小参差不齐，比如有的特征可能值200000000，而有的特征是0.00123，那我们在进行大数计算的时候是非常消耗时间的，并且计算结果也会异常的大。另外权重分配也会不均匀，一般大的数获取到的权重可能更大。所以也许这个大的数并不是决定这个数据结果的最关键因素，结果因为数值大而变为最重要因素，这样我们预测就会出现问题了，把所有的数据映射到同一尺度当中，也就是对图像数据进行归一化处理。
106、将第二数据集输入优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
本实施例中，VGG19模型包括16个卷积层和3个全连接层，卷积神经网络中每层卷积层(Convolutional layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。卷积层的作用是局部感知，就好比当我们看到一张图片时，不是一下子整张图同时识别，而是对于图片中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。
全连接层(fully connected layers，FC)由许多神经元组成的(1*4096)的平铺结构，作用主要就是实现分类，在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1*1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积结果的高和宽。以VGG-16为例，对224*224*3的输入，最后一层卷积可得输出为7*7*512，如后层是一层含4096个神经元的FC，则可用卷积核为7*7*512*4096的全局卷积来实现这一全连接运算过程，其中该卷积核参数如下：“filter size＝7，padding＝0，stride＝1，D_in＝512，D_out＝4096”经过此卷积操作后可得输出为1*1*4096。
全连接层，以下简称FC。可在模型表示能力迁移过程中充当“防火墙”的作用。具体来讲，假设在ImageNet上预训练得到的模型为，则ImageNet可视为源域(迁移学习中的source domain)。微调(fine tuning)是深度学习领域最常用的迁移学习技术。针对微调，若目标域(target domain)中的图像与源域中图像差异巨大(如相比ImageNet，目标域图像不是物体为中心的图像，而是风景照，见下图)，不含FC的网络微调后的结果要差于含FC的网络。因此FC可视作模型表示能力的“防火墙”，特别是在源域与目标域差异较大的情况下，FC可保持较大的模型capacity从而保证模型表示能力的迁移。
107、获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
本实施例中，将实时抓拍的车辆装载场景中的车辆图像输入车牌分类识别模型，并根据车辆图像中(待识别车辆)车牌的颜色信息，对车辆图像中的物流车辆进行分类。比如，通过对图片进行一系列处理，得到图片中对应车辆的车牌颜色为绿色，则确定该车辆为新能源汽车。
本发明实施例中，通过获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
请参阅图2，本发明实施例中车牌分类识别方法的第二个实施例包括：
201、获取预先拍摄的车辆装载现场的现场图像；
本实施例中，首先通过摄像机或其他设备拍摄货车装货场景的样本图像。如在正在装载快件的物流车辆，车辆的车牌多有多有黄牌、蓝牌、新能源牌，物流运输车辆主要有三类，一类是蓝牌车辆，一类是黄牌车辆，一类是新能源车辆(新能源车辆是绿牌)。
202、将现场图像输入预置车辆识别模型进行识别，输出现场图像中各车辆的区域范围；
训练得到车辆识别模型后，通过实时抓拍或者截图等方式，获得物流车辆装载现场的现场图像，现场图像中包含有正在装载快件的物流车辆。然后将现场图像输入车辆识别模型中。
车辆识别模型能够通过圆形、矩形、或其他形状的框将现场图像中的车辆标识出来，得到现场图像中各车辆的区域范围。
203、基于现场图像中各车辆的区域范围，从现场图像中提取各车辆对应的车辆图像；
然后根据现场图像中各车辆的区域范围，将现场图像中各车辆的区域范围从现场图像中裁剪出来，从而提取各个物流车辆对应的车辆图像。
204、对车辆图像进行识别，得到各车辆的车牌颜色信息，并根据车辆的车牌颜色信息对现场图像进行分类，得到训练样本图像；
提取了车辆图像后，将其输入其他模型，如车牌信息获取模型获取对应的车牌信息。在本实施例中，优选一种可识别车辆上车牌颜色的车牌信息获取模型。通过车牌信息获取模型，可识别车辆上的车牌颜色，然后服务器根据车辆确定其对应的车牌分类识别等信息。而不同的车牌颜色对应着不同的分类扣。因此服务器再下达指令，将车辆图像分类至对应的分类区域，得到训练样本图像。
205、搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
206、基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
207、通过交叉熵损失函数和预置梯度下降算法，计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
208、对训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为数据集，并按照预置比例将数据集分成训练集、验证集和测试集，得到最优比例的数据集；
209、将最优比例的数据集输入优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
210、获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
本实施例中步骤205-210与第一实施例中的步骤102-106类似，此处不再赘述。
本发明实施例中，通过获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
请参阅图3，本发明实施例中车牌分类识别方法的第三个实施例包括：
301、获取车辆车牌数据的训练样本图像；
302、搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
303、基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
304、通过交叉熵损失函数和预置梯度下降算法，计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
305、圈定训练样本图像中车辆的区域范围，并对训练样本图像进行实例分割，得到对应的标注信息；
对训练样本进行标注一般采用两种方式，一种是模型标注，一种是人工标注。由于目前缺乏能够准确标注车辆的模型，因此本方案采用人工标注的方式。
将训练样本图像输入预置的图像标注软件中以进行展示。在本实施例中，优选Labelme软件作为图像标注软件。Lableme软件是一个图像标注工具，可以使用该工具创建定制化标注任务或执行图像标注。采用人工的方式，通过交互设备，使用首位连接的闭合线条选中图像中的快件。交互设备再将闭合线条所对应的位置坐标发送跟服务器。服务器根据位置坐标圈定训练样本图像中的车辆区域，得到包含标注车辆区域范围的图像，从而实现对训练样本图像的实例分割标注。而包含标注车辆区域范围的图像就是所需要的标注信息。
306、将标注信息写入预置JSON格式的空白文件中，得到第一数据集；
JSON格式是一种轻量级的数据交换格式，易于机器解析和生成，并能够有效提升网络传输效率。
在本实施例中，将标注信息写入预置JSON格式的空白文件中，从而得到JSON格式的第一数据集。
307、搭建VGG19网络架构并定义VGG19网络架构的损失函数、初始学习率及迭代次数；
本实施例中，建立VGG19模型，包括16个卷积层和3个全连接层，具体包括输入层、64通道conv2卷积层1、64通道conv2卷积层2、pool_1池化层、128通道conv3卷积层1、128通道conv3卷积层2、pool_2池化层、256通道conv4卷积层1、256通道conv4卷积层2、256通道conv4卷积层3、256通道conv4卷积层4、pool_3池化层、512通道conv5卷积层1、512通道conv5卷积层2、512通道conv5卷积层3、512通道conv5卷积层4、pool_4池化层、512通道conv5卷积层5、512通道conv5卷积层6、512通道conv5卷积层7、512通道conv5卷积层8、pool_5池化层、全连接层fc6、全连接层fc7、全连接层fc8、输出层。其中，conv表示卷积层，FC表示全连接层，conv3表示卷积层使用3*3filters，conv3-64表示深度64，maxpool表示最大池化。
开始训练之前，先定义所述VGG19模型的损失函数、初始学习率及迭代次数。通过损失函数，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代。网络将重复这个过程，将全部图像完成固定次数的迭代，当损失函数的到的计算值更低时，更新权重，直到达到预定的迭代次数后结束训练从而得到VGG模型及权重。
308、将训练样本图像和对应的数据集进行格式转换，并将格式转换后的数据集输入至VGG19网络架构进行训练；
本实施例中，Vgg19需要对图片进行预处理，将RGB换成BGR、将图片resize成224*224*3、图片中每一个pixel减去在ImageNet上训练的平均值，然后进行训练，用imagenet训练过的预训练模型开始，选取batch_size等于4。训练20个epoch，模型信息以h5格式存入。
Epoch(时期)是指当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。(也就是说，所有训练样本在神经网络中都进行了一次正向传播和一次反向传播)再通俗一点，一个Epoch就是将所有训练样本训练一次的过程。然而，当一个Epoch的样本(也就是所有的训练样本)数量可能太过庞大(对于计算机而言)，就需要把它分成多个小块，也就是就是分成多个Batch来进行训练。其中，Batch(批/一批样本)是指将整个训练样本分成若干个Batch，Batch_Size(批大小)：每批样本的大小。
309、基于VGG19网络架构的损失函数、初始学习率及迭代次数对VGG19网络架构进行迭代修正，得到VGG19模型；
损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，是非负实值函数，损失函数的值越小，VGG19模型的准确性越高。根据预先定义的损失函数进行损失函数更新，根据损失函数生成优化的VGG19模型。
迭代训练是深度学习中的一种模型训练方式，用于优化模型。本步骤中的迭代训练实现过程为：首先构建好VGG19模型的目标损失函数，采用优化算法进行循环训练，如优化算法SGD(stochastic gradient descent，随机梯度下降)；在每次循环训练过程中，顺次读入所有训练样本图像并计算VGG19模型当前的损失函数，基于优化算法确定梯度下降方向，使得目标损失函数逐步降低并达到稳定状态，实现对所构建的网络模型中各参数的优化。
其中，损失函数收敛是指损失函数接近0，例如小于0.1等，也即VGG19模型对于给定样本(正样本或者负样本)输出的数值接近0.5，则认为VGG19无法分辨正负样本，也即VGG19的输出收敛，即停止训练，将最后一次训练的模型参数作为VGG19模型的参数，进而得到优化后的VGG19模型。
310、将数据集中的图像处理成适用于VGG19模型的图像，并将数据集中的图像按照训练最优比例分成训练集、验证集和测试集，得到最优比例的数据集；
311、将最优比例的数据集输入优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
312、获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
本实施例中步骤301-304与第一实施例中的步骤101-104类似，此处不再赘述。
本发明实施例中，通过获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
请参阅图4，本发明实施例中车牌分类识别方法的第四个实施例包括：
401、获取车辆车牌数据的训练样本图像，训练样本图像包括三种类型车辆的车牌样本；
402、搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
403、基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
404、通过交叉熵损失函数和预置梯度下降算法，计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
405、对训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照预置比例将数据集分成训练集、验证集和测试集，得到第二数据集；
406、将第二数据集中的训练集中的训练图像依次输入优化后的VGG19模型的卷积层，并通过卷积层提取训练图像的特征图；
本实施例中，将数据集中的训练集中包含的训练图像依次输入VGG19模型的卷积层，并通过卷积层对所述训练图像进行特征提取，得到所述训练图像的特征图。卷积层通过增加了恒等快捷链接的方式，除学习特征提取外，还学习上一层特征到下一层特征之间的损失，即残差，使得堆积层在输入特征基础上能学习到新的特征，从而能够提取更多的特征。
407、将训练图像的特征图输入全连接层，并通过全连接层对训练图像的特征图进行标签预测，得到训练图像中的多个预测标签；
本实施例中，将所述训练图像对应的特征图输入至VGG19模型的全连接层，并通过
比如，在标签包括图像类别时(比如说，车辆的车牌为黄牌，蓝牌或者绿牌)，可以采用VGG19模型对训练图像进行分类，得到训练图像的预测类别，即预测标签。
在一实施例中，当对训练图像进行预处理后，可以“采用VGG19模型对目标训练图像进行标签预测”，包括：采用VGG19模型对预处理后的目标训练图像进行标签预测。其中，VGG19模型可以包括输出层，该输出层可以包括多个输出函数，每个输出函数用于输出相应标签如类别的预测结果，如预测标签、预测标签对应的预测概率等等。比如，VGG19模型的输出层可以包括m个输出函数如Sigmoid函数，该m为多标签图像训练集对应的标签数量，例如，在标签为类别时，m为多标签图像训练集的类别数量，该m为正整数。其中，每个输出函数如Sigmoid函数的输出可以包括给定训练图像属于某一个标签如物体类别、和/或概率值，即预测概率。
其中，VGG19模型可以为基于深度学习网络如卷积神经网络的模型，比如，可以为ResNet(Residual Neural Network，残差神经网络)模型，模型的准确率也有非常大的提升。在一实施例中，在原始的残差网络结构中，卷积分支中的第一个卷积层的卷积核大小为1*1、卷积步长为2，第二个卷积层的卷积核大小为3*3、卷积步长为1，那么在第一个卷积层进行卷积操作时，两次卷积过程之间会跳过一个特征点，进而会造成特征网络的损失，因此，可以对残差网络进行如下结构上的改进：
408、获取训练集中的训练图像对应的交叉熵损失函数；
样本标签对应的交叉熵损失函数获取时序不受序号限制，可以根据实际需求设置在模型训练过程中相应的时序位置，比如，在选择训练图像之后，可以获取训练集中的训练图像中车辆上车牌的分类对应的交叉熵损失函数等等。其中，正标签为与训练图像的样本标签相同的标签，比如，在标签为类别j时，为与训练图像的类别j相同的类别；负标签为与训练图像的样本标签不相同的标签，比如，在标签为类别j时，为与训练图像的类别j不相同的类别。
本发明实施例中，交叉熵损失函数可以包括正标签损失和负标签损失，该正标签损失和负标签损失可以基于训练图像的标签预测概率、样本标签得到。对于训练图像如第i个训练图像Xi的每类样本标签，本发明实施例可以采用该样本标签对应的交叉熵函数，来进行收敛。
409、根据交叉熵损失函数，计算预测标签与训练图像的真实标签的损失值，并基于损失值确定VGG19模型的迭代次数并根据迭代次数对VGG19模型进行迭代修正，直到VGG19模型收敛，输出车牌分类识别模型；
比如，对于训练图像的每一样本(标签如车牌类别)可以获取其对应的交叉熵损失函数，然后，基于交叉熵损失函数对该训练图像的预测标签和样本标签进行收敛，以对模型的模型参数进行训练，得到训练后深度神经网络模型。具体地，在一实施例中，根据交叉熵损失函数获取训练图像的预测标签与样本标签的交叉熵损失；根据交叉熵损失对VGG19模型中的模型参数进行训练。
本发明实施例，可以采用反向传播算法，配合带有动量的随机梯度下降算法来训练模型；比如，可以根据交叉熵损失函数获取训练图像的预测标签与样本标签的交叉熵损失下降梯度(可以通过对损失函数求导得到)，然后，基于交叉熵损失下降梯度对深度神经网络模型中的模型参数进行训练；具体地，可以基于交叉熵损失下降梯度以及模型参数对应的学习率(即模型参数所在层对应的学习率)对模型参数进行更新。
410、获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
本实施例中步骤401-405与第一实施例中的步骤101-105类似，此处不再赘述。
在本发明实施例中，通过获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19模型并进行训练，并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
请参阅图5，本发明实施例中车牌分类识别方法的第五个实施例包括：
501、获取车辆车牌数据的训练样本图像，训练样本图像包括三种类型车辆的车牌样本；
502、搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
503、基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
504、通过交叉熵损失函数和预置梯度下降算法，计算预测标签与训练图像的真实标签的损失值，并基于损失值计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
505、对训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为数据集，并按照预置比例将数据集分成训练集、验证集和测试集，得到最优比例的数据集；
506、将最优比例的数据集输入优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
507、获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入预先训练得到的车牌分类识别模型；
预先训练得到车牌分类识别模型。在本实施例中，车牌分类识别模型主要作用是能够将车辆图像中待识别车辆的车牌信息转换为机器可识别的形式。
508、通过车牌分类识别模型，得到车辆图像中各车牌的区域范围；
在本实施例中，车辆上有车牌，车牌上有车牌对应的车牌号，车牌颜色等信息。
车牌分类识别模型收到车辆图像后，再去识别车辆图像中待识别车辆的车牌数字和车牌颜色并转换为服务器可识别的形式。然后服务器根据车辆图像中各车牌的区域范围。
509、根据车辆图像中各车牌的区域范围，从车辆图像中提取各车牌对应的车牌图像；
然后将车辆图像中各车牌的区域范围从车辆图像中裁剪出来，从而提取各个车牌对应的车图像。
510、将车辆图像中提取各车牌对应的车牌图像输入车牌分类识别模型，并通过车牌分类识别模型对车牌图像进行识别，输出对应车辆的分类识别结果。
提取了车牌图像后，将其输入其他模型，如车牌分类识别，模型获取对应的车牌信息。
在本实施例中，优选一种可识别车辆上车牌的车牌分类识别模型。通过车牌分类识别模型，可识别车辆上的车牌上的车牌信息，然后服务器根据车牌信息确定其对应的车牌号、车牌颜色等信息。而不同的车牌颜色对应着不同的分类区。因此服务器再下达指令，将图像分类至对应的分类区域。
本实施例中步骤501-506与第一实施例中的步骤101-106类似，此处不再赘述。
本发明实施例中，获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19模型并进行训练，并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
上面对本发明实施例中车牌分类识别方法进行了描述，下面对本发明实施例中车牌分类识别装置进行描述，请参阅图6，本发明实施例中车牌分类识别装置的第一个实施例包括：
获取模块601，用于获取车辆车牌数据的训练样本图像，训练样本图像包括三种类型车辆的车牌样本；
搭建模块602，用于搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
确定模块603，用于基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
计算模块604，用于通过交叉熵损失函数和预置梯度下降算法，计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
标注模块605，用于对训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照最优比例将所述数据集分成训练集、验证集和测试集，得到第二数据集；
训练模块606，用于将第二数据集输入优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
识别模块607，用于获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
本发明实施例中，获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
请参阅图7，本发明实施例中车牌分类识别装置的第二个实施例，该车牌分类识别装置具体包括：
获取模块601，用于获取车辆车牌数据的训练样本图像，训练样本图像包括三种类型车辆的车牌样本；
搭建模块602，用于搭建VGG19网络框架，并将训练样本图像输入VGG19网络框架中进行训练，得到VGG19模型；
确定模块603，用于基于训练样本图像确定对应训练标签结果，并根据训练标签结果，确定交叉熵损失函数；
计算模块604，用于通过交叉熵损失函数和预置梯度下降算法，计算VGG19模型的权重衰减系数，并通过权重衰减系数更新VGG19模型的参数，得到优化后的VGG19模型；
标注模块605，用于对训练样本图像进行进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照最优比例将所述数据集分成训练集、验证集和测试集，得到第二数据集；
训练模块606，用于将第二数据集输入优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
识别模块607，用于获取实时抓拍的车辆装载场景中的车辆图像，并将车辆图像输入车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
在本实施例中，所述获取模块601具体用于：
获取预先拍摄的车辆装载现场的现场图像；
将所述现场图像输入预置车辆识别模型进行识别，输出所述现场图像中各车辆的区域范围；
基于所述现场图像中各车辆的区域范围，从所述现场图像中提取各车辆对应的车辆图像；
对所述车辆图像进行识别，得到各车辆的车牌颜色信息，并根据所述车辆的车牌颜色信息对所述现场图像进行分类，得到训练样本图像。
在本实施例中，所述搭建模块602包括：
搭建单元6021，用于搭建VGG19网络架构并定义所述VGG19网络架构的损失函数、初始学习率及迭代次数；
转换单元6022，用于将所述训练样本图像和对应的数据集进行格式转换，并将格式转换后的数据集输入至所述VGG19网络架构进行训练，并基于所述VGG19网络架构的损失函数、初始学习率及迭代次数对所述VGG19网络架构进行迭代修正，得到VGG19模型。
在本实施例中，所述标注模块605具体用于：
圈定所述训练样本图像中车辆的区域范围，并对所述训练样本图像进行实例分割，得到对应的标注信息；
将所述标注信息写入预置JSON格式的空白文件中，得到第一数据集。
在本实施例中，所述训练模块606包括：
特征提取单元6061，用于将所述数据集中的训练集中的训练图像依次输入所述VGG19模型的卷积层，并通过所述卷积层提取所述训练图像的特征图；
预测单元6062，用于将所述训练图像的特征图输入所述全连接层，并通过所述全连接层对所述训练图像的特征图进行车辆预测，得到所述训练图像中的多个预测标签；
第一获取单元6063，用于获取所述训练集中的训练图像对应的交叉熵损失函数；
计算单元6064，用于根据所述交叉熵损失函数，计算所述预测标签与所述训练图像的真实标签的损失值，并基于所述损失值确定所述VGG19模型的迭代次数；
迭代修正单元6065，用于根据所述迭代次数对所述VGG19模型进行迭代修正，直到所述VGG19模型收敛，输出车牌分类识别模型。
本实施例中，所述识别模块607具体用于：
第二获取单元6071，用于获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入预先训练得到的车牌分类识别模型并通过所述车牌分类识别模型，得到所述车辆图像中各车牌的区域范围；
图像提取单元6072，用于根据所述车辆图像中各车牌的区域范围，从所述车辆图像中提取各车牌对应的车牌图像；
识别单元6073，用于将所述车辆图像中提取各车牌对应的车牌图像输入所述车牌分类识别模型，并通过所述车牌分类识别模型对所述车牌图像进行识别，输出对应车辆的分类识别结果。
本发明实施例中，通过获取物流车辆装置场景的图像并根据车牌颜色进行分类，得到数据集；利用数据集对搭建的VGG19网络框架并进行训练，得到VGG19模型；并根据交叉熵损失函数和预置梯度下降算法对VGG19模型进行优化和调整；将数据集输入VGG19模型进行训练，得到车牌分类识别模型；将实时抓拍的车辆图像输入车牌分类识别模型，根据车牌颜色对图像进行分类。本发明通过训练得到的车牌分类识别模型可以直接通过图片得到图片中车辆的车牌颜色信息，基于该车牌信息来对车牌进行分类，代替了原有的人工分类，从而提高了车牌分类识别的效率。
上面图6和图7从模块化功能实体的角度对本发明实施例中的车牌分类识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中车牌分类识别设备进行详细描述。
图8是本发明实施例提供的一种车牌分类识别设备的结构示意图，该车牌分类识别设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对车牌分类识别设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在车牌分类识别设备800上执行存储介质830中的一系列指令操作，以实现上述各方法实施例提供的车牌分类识别方法的步骤。
车牌分类识别设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的车牌分类识别设备结构并不构成对本申请提供的车牌分类识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述车牌分类识别方法的步骤。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种车牌分类识别方法，其特征在于，所述车牌分类识别方法包括：
获取车辆车牌数据的训练样本图像，所述训练样本图像包括三种类型车辆的车牌样本；
搭建VGG19网络框架，并将所述训练样本图像输入所述VGG19网络框架中进行训练，得到VGG19模型；
基于所述训练样本图像确定对应训练标签结果，并根据所述训练标签结果，确定交叉熵损失函数；
通过所述交叉熵损失函数和预置梯度下降算法，计算所述VGG19模型的权重衰减系数，并通过所述权重衰减系数更新所述VGG19模型的参数，得到优化后的VGG19模型；
对所述训练样本图像进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照预置比例将所述数据集分成训练集、验证集和测试集，得到第二数据集；
将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
所述将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型包括：
将所述第二数据集中的训练集中的训练图像依次输入所述优化后的VGG19模型的卷积层，并通过所述卷积层提取所述训练图像的特征图；
将所述训练图像的特征图输入全连接层，并通过所述全连接层对所述训练图像的特征图进行车辆预测，得到所述训练图像中的多个预测标签；
获取所述训练集中的训练图像对应的交叉熵损失函数；
根据所述交叉熵损失函数，计算所述预测标签与所述训练图像的真实标签的损失值，并基于所述损失值确定所述VGG19模型的迭代次数；
根据所述迭代次数对所述VGG19模型进行迭代修正，直到所述VGG19模型收敛，输出车牌分类识别模型；
获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入所述车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
2.根据权利要求1所述的车牌分类识别方法，其特征在于，所述获取车辆车牌数据的训练样本图像包括：
获取预先拍摄的车辆装载现场的现场图像；
将所述现场图像输入预置车辆识别模型进行识别，输出所述现场图像中各车辆的区域范围；
基于所述现场图像中各车辆的区域范围，从所述现场图像中提取各车辆对应的车辆图像；
对所述车辆图像进行识别，得到各车辆的车牌颜色信息，并根据所述车辆的车牌颜色信息对所述现场图像进行分类，得到训练样本图像。
3.根据权利要求1或2所述的车牌分类识别方法，其特征在于，所述对所述训练样本图像进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集包括：
圈定所述训练样本图像中车辆的区域范围，并对所述训练样本图像进行实例分割，得到对应的标注信息；
将所述标注信息写入预置JSON格式的空白文件中，得到第一数据集。
4.根据权利要求1或2所述的车牌分类识别方法，其特征在于，所述搭建VGG19网络框架，并将所述训练样本图像输入所述VGG19网络框架中进行训练，得到VGG19模型包括：
搭建VGG19网络框架并定义所述VGG19网络框架的损失函数、初始学习率及迭代次数；
将所述训练样本图像和对应的数据集进行格式转换，并将格式转换后的数据集输入至所述VGG19网络框架进行训练；
基于所述VGG19网络框架的损失函数、初始学习率及迭代次数对所述VGG19网络框架进行迭代修正，得到VGG19模型。
5.根据权利要求1所述的车牌分类识别方法，其特征在于，所述获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入所述车牌分类识别模型进行识别，输出对应车辆的分类识别结果包括：
获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入预先训练得到的车牌分类识别模型；
通过所述车牌分类识别模型，得到所述车辆图像中各车牌的区域范围；
根据所述车辆图像中各车牌的区域范围，从所述车辆图像中提取各车牌对应的车牌图像；
将所述车辆图像中提取各车牌对应的车牌图像输入所述车牌分类识别模型，并通过所述车牌分类识别模型对所述车牌图像进行识别，输出对应车辆的分类识别结果。
6.一种车牌分类识别装置，其特征在于，所述车牌分类识别装置包括：
获取模块，用于获取车辆车牌数据的训练样本图像，所述训练样本图像包括三种类型车辆的车牌样本；
搭建模块，用于搭建VGG19网络框架，并将所述训练样本图像输入所述VGG19网络框架中进行训练，得到VGG19模型；
确定模块，用于基于所述训练样本图像确定对应训练标签结果，并根据所述训练标签结果，确定交叉熵损失函数；
计算模块，用于通过所述交叉熵损失函数和预置梯度下降算法，计算所述VGG19模型的权重衰减系数，并通过所述权重衰减系数更新所述VGG19模型的参数，得到优化后的VGG19模型；
标注模块，用于对所述训练样本图像进行标注，得到各训练样本图像对应的标注信息并保存为第一数据集，并按照预置比例将所述数据集分成训练集、验证集和测试集，得到第二数据集；
训练模块，用于将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型；
所述将所述第二数据集输入所述优化后的VGG19模型进行分类训练，得到车牌分类识别模型包括：
将所述第二数据集中的训练集中的训练图像依次输入所述优化后的VGG19模型的卷积层，并通过所述卷积层提取所述训练图像的特征图；
将所述训练图像的特征图输入全连接层，并通过所述全连接层对所述训练图像的特征图进行车辆预测，得到所述训练图像中的多个预测标签；
获取所述训练集中的训练图像对应的交叉熵损失函数；
根据所述交叉熵损失函数，计算所述预测标签与所述训练图像的真实标签的损失值，并基于所述损失值确定所述VGG19模型的迭代次数；
根据所述迭代次数对所述VGG19模型进行迭代修正，直到所述VGG19模型收敛，输出车牌分类识别模型；
识别模块，用于获取实时抓拍的车辆装载场景中的车辆图像，并将所述车辆图像输入所述车牌分类识别模型进行识别，输出对应车辆的分类识别结果。
7.一种车牌分类识别设备，其特征在于，所述车牌分类识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述车牌分类识别设备执行如权利要求1-5中任一项所述的车牌分类识别方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的车牌分类识别方法。
CN202010689133.XA 2020-07-17 2020-07-17 车牌分类识别方法、装置、设备及存储介质 Active CN111881958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010689133.XA CN111881958B (zh) 2020-07-17 2020-07-17 车牌分类识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010689133.XA CN111881958B (zh) 2020-07-17 2020-07-17 车牌分类识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111881958A CN111881958A (zh) 2020-11-03
CN111881958B true CN111881958B (zh) 2024-01-19

Family

ID=73155672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010689133.XA Active CN111881958B (zh) 2020-07-17 2020-07-17 车牌分类识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111881958B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597995B (zh) * 2020-12-02 2023-11-03 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
CN112749701B (zh) * 2021-01-22 2024-02-09 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法
CN112699862B (zh) * 2021-03-25 2021-07-30 智道网联科技(北京)有限公司 图像数据处理方法、装置、设备和存储介质
CN113326768B (zh) * 2021-05-28 2023-12-22 浙江商汤科技开发有限公司 训练方法、图像特征提取方法、图像识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
WO2018112900A1 (zh) * 2016-12-23 2018-06-28 深圳先进技术研究院 一种车牌识别方法及装置、用户设备
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法
CN110020669A (zh) * 2019-03-04 2019-07-16 珠海亿智电子科技有限公司 一种车牌分类方法、系统、终端设备及计算机程序
CN110399800A (zh) * 2019-06-28 2019-11-01 智慧眼科技股份有限公司 基于深度学习vgg16框架的车牌检测方法及系统、存储介质
CN111209858A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种基于深度卷积神经网络的实时车牌检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537815B2 (en) * 2018-12-11 2022-12-27 Symbolcraft LLC Methods and systems that use incomplete training data to train machine-learning based systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112900A1 (zh) * 2016-12-23 2018-06-28 深圳先进技术研究院 一种车牌识别方法及装置、用户设备
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法
CN110020669A (zh) * 2019-03-04 2019-07-16 珠海亿智电子科技有限公司 一种车牌分类方法、系统、终端设备及计算机程序
CN110399800A (zh) * 2019-06-28 2019-11-01 智慧眼科技股份有限公司 基于深度学习vgg16框架的车牌检测方法及系统、存储介质
CN111209858A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种基于深度卷积神经网络的实时车牌检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CNN多标签分类的林区车牌识别研究;丁键;朱洪前;;现代信息科技(第12期);全文 *

Also Published As

Publication number Publication date
CN111881958A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111881958B (zh) 车牌分类识别方法、装置、设备及存储介质
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
CN103258214B (zh) 基于图像块主动学习的遥感图像分类方法
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
US20210224609A1 (en) Method, system and device for multi-label object detection based on an object detection network
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
US20210182713A1 (en) Explainable artificial intelligence (ai) based image analytic, automatic damage detection and estimation system
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN110222760A (zh) 一种基于winograd算法的快速图像处理方法
CN113312957A (zh) 基于视频图像的脱岗识别方法、装置、设备及存储介质
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN110689440A (zh) 基于图片识别的车险理赔识别方法、装置、计算机设备及存储介质
CN112861970A (zh) 一种基于特征融合的细粒度图像分类方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN110781970A (zh) 分类器的生成方法、装置、设备及存储介质
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别系统及识别方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN106650814A (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN114494441B (zh) 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN115565115A (zh) 一种舾装件智能识别方法、计算机设备
CN112507327B (zh) 一种基于机器学习的晴雨检测与处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant