CN110399800B - 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 - Google Patents
基于深度学习vgg16框架的车牌检测方法及系统、存储介质 Download PDFInfo
- Publication number
- CN110399800B CN110399800B CN201910577106.0A CN201910577106A CN110399800B CN 110399800 B CN110399800 B CN 110399800B CN 201910577106 A CN201910577106 A CN 201910577106A CN 110399800 B CN110399800 B CN 110399800B
- Authority
- CN
- China
- Prior art keywords
- layer
- license plate
- network model
- behind
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 description 12
- 238000012706 support-vector machine Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习VGG16框架的车牌检测方法、系统及计算机可读取的存储介质。本发明的基于深度学习VGG16框架的车牌检测方法、系统及计算机可读取的存储介质，首先准备输入图片数据集，并且基于深度学习VGG16框架来搭建车牌定位网络模型，再基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型，然后利用训练好的网络模型进行车牌检测和模型评估，在提高车牌定位准确率的同时还提高了车牌检测速度，可以很好地满足车牌检测的实时化需求。
Description
技术领域
本发明涉及车牌检测技术领域，特别地，涉及一种基于深度学习VGG16框架的车牌检测方法及系统、计算机可读取的存储介质。
背景技术
车牌识别技术是当代智能交通系统中的一种重要技术，它至少包含车牌定位和车牌字符识别两个模块。其中，车牌定位是车牌自动识别技术中的一个关键问题，目前许多学者都在研究发展多种车牌定位方法。从根本上讲，目前车牌定位的方法主要有两种，一种是基于传统图像处理的方法，一种是基于机器学习的方法。传统的方法一般利用车牌区域的边缘、纹理、颜色等特征来对车牌进行定位；基于机器学习如支持向量机SVM等方法则是利用网络提取车牌区域的特征来进行车牌定位。
但是，基于边缘、纹理的定位方法，主要利用了车牌区域中的边缘纹理较密集的特征和图像二值化算法，通过区域生长算法或连通域算法来定位车牌，在车牌对比度低、部分边缘损失等复杂环境下，因二值化算法鲁棒性差等使得车牌区域特征被人为消失，造成该种情况下车牌的定位率不高，同时倾斜车牌定位不全现象的概率较高。而基于颜色的车牌定位方法，主要运用了颜色模型和纹理分析来进行车牌定位，其利用了HSI、YIQ或者HSV等颜色模型来定位车牌，但对处于对比度很低环境下的车牌以及污染、颜色严重损失的车牌定位率并不高。而基于支持向量机SVM的定位方法，需要数十万的训练样本来训练数据文件，且其训练样本需尽可能的多样化，且运算量非常大，对1080P图片全图车牌检测耗时有时竟达到上百毫秒级，其实时性不好造成了实用性不强。
因此，目前的车牌识别技术中的车牌定位方法均无法同时满足高定位率和实时化的需求。
发明内容
本发明提供了一种基于深度学习VGG16框架的车牌检测方法及系统、计算机可读取的存储介质，以解决现有的车牌定位方法无法同时满足高定位率和实时化的需求的技术问题。
根据本发明的一个方面，提供一种基于深度学习VGG16框架的车牌检测方法，包括以下步骤：
步骤S1：准备图片数据集；
步骤S2：基于VGG16框架构建车牌定位网络模型，
步骤S3：基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型；
步骤S4：利用训练好的网络模型进行车牌检测和模型评估。
进一步地，所述步骤S2具体为：
在VGG16网络结构的基础上保留前13个卷积层、池化层pool1和池化层pool2不变，删除池化层pool3、pool4、pool5和全连接层fc8；
将全连接层fc6和fc7修改为卷积层且层的名称不变；
在卷积层conv3-3后方新增L2 Normalization层，并在L2 Normalization层后新增分类层和目标坐标位置回归层，在卷积层fc7后新增分类层和坐标位置回归层，同时在卷积层fc7后依次添加卷积层conv8和conv9，然后在卷积层conv9后方新增分类层和目标坐标位置回归层，在卷积层conv9后依次添加卷积层conv10和conv11，在卷积层conv11的后新增分类层和目标坐标位置回归层；
添加一个含有非极大值抑制阈值和置信度阈值的检测层NMS，该层的输入为各个分类层和目标坐标位置回归层，输出为目标的类别、得分以及对应的目标坐标位置。
进一步地，所述卷积层fc6和fc7的卷积核参数为3，卷积核个数为128，激活函数ReLU的步长为2，填充pad为1。
进一步地，所述图片数据集包括车牌的训练集、验证集、测试集和标注文件，训练集和验证集中包括含有车牌的图片且其对应的标注文件中包含有图片的名称、图片中车牌所在的具体位置信息和类别信息，测试集中包括含有车牌但未被标注的图片及仅含测试图片名称的文本文件。
进一步地，所述步骤S3具体为：
步骤S31：利用训练集、训练集的标注文件、验证集和验证集的标注文件生成1mdb或1db格式的数据集；
步骤S32：初始化网络模型中的偏差参数和待训练的权值参数；
步骤S33：向初始化后的网络模型中输入训练集数据进行网络前向传播，得到实际的输出结果后基于理想值和实际值之差，通过损失函数来反向调整网络模型的权值参数；
步骤S34：继续进行迭代训练，直至验证集的准确率曲线收敛或者损失函数的曲线收敛，输出训练后的网络模型。
进一步地，所述步骤S32中具体通过xavier算法初始化网络模型中权值参数，用常数零初始化偏差参数。
进一步地，所述步骤S4具体为：
利用准备好的测试集对训练后的网络模型进行测试和评估，通过设置车牌置信度阈值评估车牌检测的召回率和耗时。
进一步地，所述步骤S4中，若检测结果是车牌的置信度得分大于设置的车牌置信度阈值，则输出车牌的置信度和车牌在检测图片中的坐标位置，否则认为是伪车牌，不输出任何结果。
另外，本发明还提供一种基于深度学习VGG16框架的车牌检测系统，
包括数据输入单元，用于输入准备好的图片数据集；
网络模型搭建单元，用于基于VGG16框架构建车牌定位网络模型；
训练单元，用于基于准备的图片数据集制作训练数据并利用制作的训练数据训练搭建的网络模型；
评估单元，用于利用训练好的网络模型进行车牌检测和模型评估。
另外，本发明还提供一种计算机可读取的存储介质，用于存储基于深度学习VGG16框架进行车牌检测的计算机程序，该计算机程序在计算机上运行时执行以下步骤：
步骤S1：准备图片数据集；
步骤S2：基于VGG16框架构建车牌定位网络模型，
步骤S3：基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型；
步骤S4：利用训练好的网络模型进行车牌检测和模型评估。
本发明具有以下有益效果：
本发明的基于深度学习VGG16框架的车牌检测方法，首先准备输入图片数据集，并且基于深度学习VGG16框架来搭建车牌定位网络模型，再基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型，然后利用训练好的网络模型进行车牌检测和模型评估，在提高车牌定位准确率的同时还提高了车牌检测速度，可以很好地满足车牌检测的实时化需求。
另外，在现有的VGG16网络结构的基础上删除了部分池化层，并且调整了卷积核等参数，使得车牌定位网络模型中的权值参数个数大大减少，权值参数个数的大大减少直接导致了车牌定位检测中的待检测图片的卷积运算量、池化层求极值运算大幅度下降，实现了网络模型内存小、检测速度快的优点，可以很好地满足车牌检测的实时性要求。并且，通过新增了卷积层conv4-4、卷积层fc6、卷积层fc7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11，可以对待检测图片中的高阶特征进行进一步提取，大幅度提高了检测结果的准确率。
另外，本发明的基于深度学习VGG16框架的车牌检测系统同样具有上述优点。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的基于深度学习VGG16框架的车牌检测方法的流程示意图。
图2是现有的VGG16框架的网络结构示意图。
图3是本发明优选实施例的图1中的步骤S2中基于VGG16框架搭建的车牌定位网络模型的网络结构示意图。
图4是本发明优选实施例的图1中的步骤S3的子流程示意图。
图5是本发明第二实施例的基于深度学习VGG16框架的车牌检测系统的模块结构示意图。
附图标号说明
100、数据输入单元；200、网络模型搭建单元；300、训练单元；400、评估单元。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由下述所限定和覆盖的多种不同方式实施。
如图1所示，本发明的优选实施例提供一种基于深度学习VGG16框架的车牌检测方法，其基于VGG16框架来搭建车牌定位网络模型，在提高了车牌定位准确率的同时还提高了车牌检测速度，可以满足车牌检测的实时化需求。所述基于深度学习VGG16框架的车牌检测方法包括以下步骤：
步骤S1：准备图片数据集；
步骤S2：基于VGG16框架构建车牌定位网络模型；
步骤S3：基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型；
步骤S4：利用训练好的网络模型进行车牌检测和模型评估。
可以理解，在所述步骤S1中，准备的图片数据集包括车牌的训练集、验证集、测试集和标注文件，其中，训练集和验证集中均包括含有车牌的图片，且其对应的标注文件中包含有图片的名称、图片中车牌所在的具体位置信息和类别信息，而测试集中仅包括含有车牌但未被标注的图片，且其标注文件中仅含测试图片名称的文本文件。
如图2和图3所示，可以理解，在所述步骤S2中，本发明在VGG16网络结构的基础上通过修改、删除原VGG16网络结构中的部分层，并且新增加了一些网络层来搭建车牌定位网络模型，利用该搭建的网络模型可以检测出较小的车牌，且检测准确率高。具体地，所述步骤S2在VGG16网络结构的基础上保留了前13个卷积层、池化层pool1和池化层pool2不变，即卷积层conv1-1、卷积层conv1-2、卷积层conv2-1、卷积层conv2-2、卷积层conv3-1、卷积层conv3-2、卷积层conv3-3、卷积层conv4-1、卷积层conv4-2、卷积层conv4-3、卷积层conv5-1、卷积层conv5-2、卷积层conv5-3，以及卷积层conv1-2后的池化层pool1和卷积层conv2-2后的pool2层均保持不变，然后删除了卷积层conv3-3后面的池化层pool3、卷积层conv4-3后面的池化层pool4、卷积层conv5-3后面的池化层pool5以及全连接层fc8，池化层的减少可以减少网络模型中权值参数的个数，从而减少了后续的运算量。并将全连接层fc6和fc7修改为了卷积层，但是保持层的名称不变，并且将卷积核的参数设置为3，卷积核的个数设置为128，设置激活函数ReLU的步长stride为2，填充pad为1，通过将全连接层fc6和fc7的卷积核、激活函数ReLU等参数进行上述设置，也可以减少网络模型中权值参数的个数，从而减少了后续的运算量。并且在卷积层conv3-3后方新增L2 Normalization(L2范数)层，可以有效防止过拟合，并在L2 Normalization层后新增分类层和目标坐标位置回归层，在卷积层conv4-3后面新增卷积层conv4-4，在卷积层fc7后新增分类层和坐标位置回归层，同时在卷积层fc7后依次添加卷积层conv8和conv9，然后在卷积层conv9后方新增分类层和目标坐标位置回归层，在卷积层conv9后依次添加卷积层conv10和conv11，在卷积层conv11的后新增分类层和目标坐标位置回归层。最后，添加了一个含有非极大值抑制阈值和置信度阈值的检测层NMS(Non-Maximun Suppression非极大值抑制)，非极大值抑制阈值可以起到合并且选择目标位置的作用，该层的输入为各个分类层和目标坐标位置回归层，输出为目标的类别、得分以及对应的目标坐标位置。可以理解，在本实施例中，将各个分类层和目标坐标位置回归层均通过一个Extra feature from layers(额外特征层)后输入至检测层NMS中，各个分类层和目标坐标位置回归层可以从对应的特征提取层中抽取出特征向量，额外特征层可以从各个分类层和目标坐标位置回归层中抽取特征以组成新的特征，然后通过额外特征层统一输入至检测层NMS中。在本发明的别的实施例中，也可以每个分类层和目标坐标位置回归层单独输入至检测层NMS中，在此不做具体限定，多种输入方式均落在本发明的范围内。深度学习中的网络模型一般由多层神经网络组成，模型中的网络层在训练和实用过程中会自动提取目标的特征，低的网络层提取图像的低阶特征，随着模型中层数的加深，提取的特征也就越高阶。本发明构建的车牌定位网络模型中，卷积层conv3-3、卷积层conv5-3、卷积层fc7、卷积层conv9和卷积层conv11作为特征提取层，可以分别从图片中提取出低阶特征和高阶特征，确保了检测结果的准确性，提高了车牌检测的准确度。
本发明通过在现有的VGG16网络结构的基础上删除了部分池化层，并且调整了卷积核等参数，使得车牌定位网络模型中的权值参数个数大大减少，权值参数个数的大大减少直接导致了车牌定位检测中的待检测图片的卷积运算量、池化层求极值运算大幅度下降，实现了网络模型内存小、检测速度快的优点，可以很好地满足车牌检测的实时性要求。并且，通过新增了卷积层conv4-4、卷积层fc6、卷积层fc7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11，可以对待检测图片中的高阶特征进行进一步提取，大幅度提高了检测结果的准确率。
如图4所示，可以理解，所述步骤S3具体包括以下步骤：
步骤S31：利用训练集、训练集的标注文件、验证集和验证集的标注文件生成1mdb或1db格式的数据集；
步骤S32：初始化网络模型中的偏差参数和待训练的权值参数；
步骤S33：向初始化后的网络模型中输入训练集数据进行网络前向传播，得到实际的输出结果后基于理想值和实际值之差，通过损失函数来反向调整网络模型的权值参数；
步骤S34：继续进行迭代训练，直至验证集的准确率缺陷或者损失函数的曲线收敛，输出训练后的网络模型。
可以理解，在所述步骤S31中，利用步骤S1中输入的训练集、训练集对应的标注文件、验证集和验证集对应的标注文件生成1mdb或1db格式的数据集，作为训练数据。
可以理解，在所述步骤S32中，通过xavier算法初始化网络模型中的权值矩阵系数w，即权值参数，用常数零来初始化网络模型中神经元的偏差矩阵系数b，即偏差参数，可以大幅度提升分类性能和训练速度。
可以理解，在所述步骤S33中，向初始化后的网络模型中输入训练集数据进行网络前向传播，在得到实际的输出结果后基于理想值和实际值之差，通过损失函数来反向调整网络模型的权值参数。
可以理解，在所述步骤S34中，继续进行迭代训练，利用损失函数的反向传播来不断调整权值参数和偏差参数，直至损失函数的曲线趋于收敛或者验证集的准确率曲线趋于收敛，从而得到训练好的网络模型。
可以理解，所述步骤S4具体为：利用准备好的测试集对训练后的网络模型进行测试和评估，通过设置车牌置信度阈值评估车牌检测的召回率和耗时。若检测结果是车牌的置信度得分大于设置的车牌置信度阈值，则输出车牌的置信度和车牌在检测图片中的坐标位置，否则认为是伪车牌，不输出任何结果。
本发明的申请人还分别尝试过采用faster-rcnn算法、支持向量机SVM算法、基于深度学习SSD框架来进行车牌定位，但结果均不尽人意。下表是本发明的申请人在分别基于faster-rcnn算法、支持向量机SVM算法、基于深度学习SSD框架和本发明的VGG16框架进行车牌检测的结果对比，测试环境为：电脑PC端，CPU主频为3.2GHz，测试集图片分辨率为512*512。
| 网络结构 | 所占内存大小 | 召回率(％) | 准确率(％) | 耗时(毫秒/帧) |
| 本发明 | 44.9M | 99.788 | 99.566 | 38.5 |
| SSD-512 | 99.9M | 99.345 | 98.912 | 99 |
| Faster RCNN | 120M | 99.134 | 98.613 | 115 |
| SVM | 0.0148 | 96.756 | 93.236 | 87 |
其中，表格中SSD-512表示的是SSD模型输入图片数据的分辨率为512*512。
从上述比对结果可以明显看出，本发明的基于VGG16的车牌定位网络模型，无论在所占内存大小方面、召回率方面、准确率方面还是耗时方面都比深度模型SSD-512和FasterRCNN算法更加具有优势。本发明的申请人通过比对分析，发现在采用Faster RCNN算法时，首先要利用K-means算法得到初始候选框，然后再利用训练样本训练Faster RCNN卷积神经网络，网络结构较大从而导致所占内存较大，且运算中涉及的模型参数数量较多，得到的参数模型仍然很大，从而导致耗时较长；而深度模型SSD是以ResNet残差网络作为基础网络的，其需要添加额外辅助的网络结构来作为SSD框架的特征提取层和分类层，网络结构比较大从而导致所占内存较大，并且检测速度较低，虽然可以保证一定的检测准确率，但是耗时还是很长，无法满足车牌检测的实时性需求。而相对于SVM算法而言，本发明的网络模型虽然内存要大一些，但是准确率和召回率要高很多，且耗时也更短，这是因为SVM算法是需要数十万的训练样本来训练模型的，且其训练样本需要尽可能的多样化，运算量非常大，实时性较差。本发明的基于VGG16的车牌定位网络模型，通过在现有的VGG16网络结构的基础上删除了部分池化层，并且调整了卷积核等参数，使得车牌定位网络模型中的权值参数个数大大减少，权值参数个数的大大减少直接导致了车牌定位检测中的待检测图片的卷积运算量、池化层求极值运算大幅度下降，实现了网络模型内存小、检测速度快的优点，可以很好地满足车牌检测的实时性要求。并且，通过新增了卷积层fc6、卷积层fc7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11，可以提取出待检测图片中更高阶的特征，大幅度提高了检测结果的准确率和召回率。
可以理解，如图5所示，本发明的第二实施例还提供一种基于深度学习VGG16框架的车牌检测系统，其优选采用如上所述的车牌检测方法，包括数据输入单元100、网络模型搭建单元200、训练单元300和评估单元400，所述数据输入单元100、网络模型搭建单元200均与训练单元300连接，所述评估单元400分别与训练单元300和数据输入单元100连接。所述数据输入单元100用于输入准备好的图片数据集，准备的图片数据集包括车牌的训练集、验证集、测试集和标注文件，其中，训练集和验证集中均包括含有车牌的图片，且其对应的标注文件中包含有图片的名称、图片中车牌所在的具体位置信息和类别信息，而测试集中仅包括含有车牌但未被标注的图片，且其标注文件中仅含测试图片名称的文本文件。所述模型搭建单元200用于基于VGG16框架构建车牌定位网络模型，具体的模型搭建过程在上述方法实施例中已经详细阐述，故在此不再赘述。所述训练单元300从数据输入单元100中读取准备好的图片数据集并制作训练数据，然后从模型搭建单元200中读取已经构建的网络模型，并利用制作的训练数据训练搭建的网络模型并输出训练好的网络模型，所述评估单元400从训练单元300中读取已经训练好的网络模型，并利用训练好的网络模型进行车牌检测和模型评估。本实施例中各个单元的执行过程与上述方法实施例中的各个步骤相对应，故在此不再赘述。
本发明的基于深度学习VGG16框架的车牌检测系统，通过基于VGG16框架来搭建车牌定位网络模型，在提高了车牌定位准确率的同时还提高了车牌检测速度，可以满足车牌检测的实时化需求。网络模型的优化具体体现在：在现有的VGG16网络结构的基础上删除了部分池化层，并且调整了卷积核等参数，使得车牌定位网络模型中的权值参数个数大大减少，权值参数个数的大大减少直接导致了车牌定位检测中的待检测图片的卷积运算量、池化层求极值运算大幅度下降，实现了网络模型内存小、检测速度快的优点，可以很好地满足车牌检测的实时性要求。并且，通过新增了卷积层fc6、卷积层fc7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11，可以对待检测图片中的高阶特征进行进一步提取，大幅度提高了检测结果的准确率。
可以理解，本发明的第三实施例还提供一种计算机可读取的存储介质，用于存储基于深度学习VGG16框架进行车牌检测的计算机程序，该计算机程序在计算机上运行时执行以下步骤：
步骤S1：准备图片数据集；
步骤S2：基于VGG16框架构建车牌定位网络模型，
步骤S3：基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型；
步骤S4：利用训练好的网络模型进行车牌检测和模型评估。
可以理解，作为优选的，所述计算机程序在计算机上运行时还执行以下步骤：
步骤S31：利用训练集、训练集的标注文件、验证集和验证集的标注文件生成1mdb或1db格式的数据集；
步骤S32：初始化网络模型中的偏差参数和待训练的权值参数；
步骤S33：向初始化后的网络模型中输入训练集数据进行网络前向传播，得到实际的输出结果后基于理想值和实际值之差，通过损失函数来反向调整网络模型的权值参数；
步骤S34：继续进行迭代训练，直至验证集的准确率缺陷或者损失函数的曲线收敛，输出训练后的网络模型。
一般计算机可读取介质的形式包括：软盘(floppy disk)、可挠性盘片(flexibledisk)、硬盘、磁带、任何其与的磁性介质、CD-ROM、任何其余的光学介质、打孔卡片(punchcards)、纸带(paper tape)、任何其余的带有洞的图案的物理介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、可抹除可编程只读存储器(EPROM)、快闪可抹除可编程只读存储器(FLASH-EPROM)、其余任何存储器芯片或卡匣、或任何其余可让计算机读取的介质。指令可进一步被一传输介质所传送或接收。传输介质这一术语可包含任何有形或无形的介质，其可用来存储、编码或承载用来给机器执行的指令，并且包含数字或模拟通信信号或其与促进上述指令的通信的无形介质。传输介质包含同轴电缆、铜线以及光纤，其包含了用来传输一计算机数据信号的总线的导线。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习VGG16框架的车牌检测方法，其特征在于，
包括以下步骤：
步骤S1：准备图片数据集；
步骤S2：基于VGG16框架构建车牌定位网络模型，
步骤S3：基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型；
步骤S4：利用训练好的网络模型进行车牌检测和模型评估；
所述步骤S2具体为：
在VGG16网络结构的基础上保留前13个卷积层、池化层pool1和池化层pool2不变，删除池化层pool3、pool4、pool5和全连接层fc8；
将全连接层fc6和fc7修改为卷积层且层的名称不变；
在卷积层conv3-3后方新增L2 Normalization层，并在L2 Normalization层后新增分类层和目标坐标位置回归层，在卷积层conv4-3后新增卷积层conv4-4，在卷积层fc7后新增分类层和坐标位置回归层，同时在卷积层fc7后依次添加卷积层conv8和conv9，然后在卷积层conv9后方新增分类层和目标坐标位置回归层，在卷积层conv9后依次添加卷积层conv10和conv11，在卷积层conv11的后新增分类层和目标坐标位置回归层；
添加一个含有非极大值抑制阈值和置信度阈值的检测层NMS，该层的输入为各个分类层和目标坐标位置回归层，输出为目标的类别、得分以及对应的目标坐标位置。
2.如权利要求1所述的车牌检测方法，其特征在于，
所述卷积层fc6和fc7的卷积核参数为3，卷积核个数为128，激活函数ReLU的步长为2，填充pad为1。
3.如权利要求1所述的车牌检测方法，其特征在于，
所述图片数据集包括车牌的训练集、验证集、测试集和标注文件，训练集和验证集中包括含有车牌的图片且其对应的标注文件中包含有图片的名称、图片中车牌所在的具体位置信息和类别信息，测试集中包括含有车牌但未被标注的图片及仅含测试图片名称的文本文件。
4.如权利要求3所述的车牌检测方法，其特征在于，
所述步骤S3具体为：
步骤S31：利用训练集、训练集的标注文件、验证集和验证集的标注文件生成1mdb或1db格式的数据集；
步骤S32：初始化网络模型中的偏差参数和待训练的权值参数；
步骤S33：向初始化后的网络模型中输入训练集数据进行网络前向传播，得到实际的输出结果后基于理想值和实际值之差，通过损失函数来反向调整网络模型的权值参数；
步骤S34：继续进行迭代训练，直至验证集的准确率曲线收敛或者损失函数的曲线收敛，输出训练后的网络模型。
5.如权利要求4所述的车牌检测方法，其特征在于，
所述步骤S32中具体通过xavier算法初始化网络模型中权值参数，用常数零初始化偏差参数。
6.如权利要求3所述的车牌检测方法，其特征在于，
所述步骤S4具体为：
利用准备好的测试集对训练后的网络模型进行测试和评估，通过设置车牌置信度阈值评估车牌检测的召回率和耗时。
7.如权利要求6所述的车牌检测方法，其特征在于，
所述步骤S4中，若检测结果是车牌的置信度得分大于设置的车牌置信度阈值，则输出车牌的置信度和车牌在检测图片中的坐标位置，否则认为是伪车牌，不输出任何结果。
8.一种基于深度学习VGG16框架的车牌检测系统，其特征在于，
包括数据输入单元(100)，用于输入准备好的图片数据集；
网络模型搭建单元(200)，用于基于VGG16框架构建车牌定位网络模型；
训练单元(300)，用于基于准备的图片数据集制作训练数据并利用制作的训练数据训练搭建的网络模型；
评估单元(400)，用于利用训练好的网络模型进行车牌检测和模型评估；
所述网络模型搭建单元(200)基于VGG16框架构建车牌定位网络模型的过程具体为：
在VGG16网络结构的基础上保留前13个卷积层、池化层pool1和池化层pool2不变，删除池化层pool3、pool4、pool5和全连接层fc8；
将全连接层fc6和fc7修改为卷积层且层的名称不变；
在卷积层conv3-3后方新增L2 Normalization层，并在L2 Normalization层后新增分类层和目标坐标位置回归层，在卷积层conv4-3后新增卷积层conv4-4，在卷积层fc7后新增分类层和坐标位置回归层，同时在卷积层fc7后依次添加卷积层conv8和conv9，然后在卷积层conv9后方新增分类层和目标坐标位置回归层，在卷积层conv9后依次添加卷积层conv10和conv11，在卷积层conv11的后新增分类层和目标坐标位置回归层；
添加一个含有非极大值抑制阈值和置信度阈值的检测层NMS，该层的输入为各个分类层和目标坐标位置回归层，输出为目标的类别、得分以及对应的目标坐标位置。
9.一种计算机可读取的存储介质，用于存储基于深度学习VGG16框架进行车牌检测的计算机程序，其特征在于，该计算机程序在计算机上运行时执行以下步骤：
步骤S1：准备图片数据集；
步骤S2：基于VGG16框架构建车牌定位网络模型，
步骤S3：基于准备的图片数据集制作训练数据，并利用制作的训练数据训练搭建的网络模型；
步骤S4：利用训练好的网络模型进行车牌检测和模型评估；
所述步骤S2具体为：
在VGG16网络结构的基础上保留前13个卷积层、池化层pool1和池化层pool2不变，删除池化层pool3、pool4、pool5和全连接层fc8；
将全连接层fc6和fc7修改为卷积层且层的名称不变；
在卷积层conv3-3后方新增L2 Normalization层，并在L2 Normalization层后新增分类层和目标坐标位置回归层，在卷积层conv4-3后新增卷积层conv4-4，在卷积层fc7后新增分类层和坐标位置回归层，同时在卷积层fc7后依次添加卷积层conv8和conv9，然后在卷积层conv9后方新增分类层和目标坐标位置回归层，在卷积层conv9后依次添加卷积层conv10和conv11，在卷积层conv11的后新增分类层和目标坐标位置回归层；
添加一个含有非极大值抑制阈值和置信度阈值的检测层NMS，该层的输入为各个分类层和目标坐标位置回归层，输出为目标的类别、得分以及对应的目标坐标位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910577106.0A CN110399800B (zh) | 2019-06-28 | 2019-06-28 | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910577106.0A CN110399800B (zh) | 2019-06-28 | 2019-06-28 | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110399800A CN110399800A (zh) | 2019-11-01 |
| CN110399800B true CN110399800B (zh) | 2021-05-07 |
Family
ID=68322606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910577106.0A Active CN110399800B (zh) | 2019-06-28 | 2019-06-28 | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399800B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991223B (zh) * | 2019-10-18 | 2023-07-28 | 武汉虹识技术有限公司 | 一种基于迁移学习的美瞳识别方法及系统 |
| CN110991448A (zh) * | 2019-11-27 | 2020-04-10 | 云南电网有限责任公司电力科学研究院 | 电力设备铭牌图像的文本检测方法及装置 |
| CN111209858B (zh) * | 2020-01-06 | 2023-06-20 | 电子科技大学 | 一种基于深度卷积神经网络的实时车牌检测方法 |
| CN111291806A (zh) * | 2020-02-02 | 2020-06-16 | 西南交通大学 | 一种基于卷积神经网络工业产品标签号的识别方法 |
| CN111369555A (zh) * | 2020-03-19 | 2020-07-03 | 昆明理工大学 | 一种基于深度学习的视频质量诊断方法 |
| CN111310862B (zh) * | 2020-03-27 | 2024-02-09 | 西安电子科技大学 | 复杂环境下基于图像增强的深度神经网络车牌定位方法 |
| CN111881958B (zh) * | 2020-07-17 | 2024-01-19 | 上海东普信息科技有限公司 | 车牌分类识别方法、装置、设备及存储介质 |
| CN112132222B (zh) * | 2020-09-27 | 2023-02-10 | 上海高德威智能交通系统有限公司 | 车牌的类别识别方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3182334A1 (en) * | 2015-12-17 | 2017-06-21 | Xerox Corporation | License plate recognition using coarse-to-fine cascade adaptations of convolutional neural networks |
| CN108830213A (zh) * | 2018-06-12 | 2018-11-16 | 北京理工大学 | 基于深度学习的车牌检测与识别方法和装置 |
| CN109214349A (zh) * | 2018-09-20 | 2019-01-15 | 天津大学 | 一种基于语义分割增强的物体检测方法 |
| CN109558898A (zh) * | 2018-11-09 | 2019-04-02 | 复旦大学 | 一种基于深度神经网络的高置信度的多选择学习方法 |
| CN109670450A (zh) * | 2018-12-20 | 2019-04-23 | 天津天地伟业信息系统集成有限公司 | 一种基于视频的人车物检测方法 |
-
2019
- 2019-06-28 CN CN201910577106.0A patent/CN110399800B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3182334A1 (en) * | 2015-12-17 | 2017-06-21 | Xerox Corporation | License plate recognition using coarse-to-fine cascade adaptations of convolutional neural networks |
| CN108830213A (zh) * | 2018-06-12 | 2018-11-16 | 北京理工大学 | 基于深度学习的车牌检测与识别方法和装置 |
| CN109214349A (zh) * | 2018-09-20 | 2019-01-15 | 天津大学 | 一种基于语义分割增强的物体检测方法 |
| CN109558898A (zh) * | 2018-11-09 | 2019-04-02 | 复旦大学 | 一种基于深度神经网络的高置信度的多选择学习方法 |
| CN109670450A (zh) * | 2018-12-20 | 2019-04-23 | 天津天地伟业信息系统集成有限公司 | 一种基于视频的人车物检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110399800A (zh) | 2019-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399800B (zh) | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 | |
| CN109492099B (zh) | 一种基于领域对抗自适应的跨领域文本情感分类方法 | |
| Wang et al. | A unified convolutional neural network integrated with conditional random field for pipe defect segmentation | |
| CN112560432B (zh) | 基于图注意力网络的文本情感分析方法 | |
| CN110909820A (zh) | 基于自监督学习的图像分类方法及系统 | |
| CN110705489B (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
| CN112528845B (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
| CN113051914A (zh) | 一种基于多特征动态画像的企业隐藏标签抽取方法及装置 | |
| CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| CN110751191A (zh) | 一种图像的分类方法及系统 | |
| CN117131348B (zh) | 基于差分卷积特征的数据质量分析方法及系统 | |
| CN112668633B (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
| CN117272646A (zh) | 一种基于孪生神经网络的仿真软件自动操作优化方法 | |
| KR102026280B1 (ko) | 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템 | |
| CN115936003A (zh) | 基于神经网络的软件功能点查重方法、装置、设备及介质 | |
| CN112507940B (zh) | 一种基于差分指导表示学习网络的骨骼动作识别方法 | |
| CN111091198B (zh) | 一种数据处理方法及装置 | |
| CN113239034A (zh) | 一种基于人工智能的大数据资源整合方法、系统及云平台 | |
| CN112528938A (zh) | 车辆检测模型训练及其检测方法、装置及计算机存储介质 | |
| CN115881265B (zh) | 电子病历智能病案质控方法、系统、设备及存储介质 | |
| CN117132218B (zh) | 工作流管理系统 | |
| CN114119969B (zh) | 基于双注意力流的少样本细粒度图像识别方法 | |
| KR20230154601A (ko) | 표의 픽셀 정보를 획득하는 방법 및 장치 | |
| CN118298242A (zh) | 一种基于图扩散卷积的多任务检测方法 | |
| CN117710763A (zh) | 图像噪声识别模型训练方法、图像噪声识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: License plate detection method, system and storage medium based on deep learning VGG16 framework Effective date of registration: 20221205 Granted publication date: 20210507 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231220 Granted publication date: 20210507 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Country or region after: China Address before: 410205 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, Changsha high tech Development Zone, Yuelu District, Changsha City, Hunan Province Patentee before: Wisdom Eye Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |