CN110020651B - 基于深度学习网络的车牌检测定位方法 - Google Patents

基于深度学习网络的车牌检测定位方法 Download PDF

Info

Publication number
CN110020651B
CN110020651B CN201910316301.8A CN201910316301A CN110020651B CN 110020651 B CN110020651 B CN 110020651B CN 201910316301 A CN201910316301 A CN 201910316301A CN 110020651 B CN110020651 B CN 110020651B
Authority
CN
China
Prior art keywords
license plate
layer
convolution
neural network
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910316301.8A
Other languages
English (en)
Other versions
CN110020651A (zh
Inventor
郭文忠
丁宁
柯逍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910316301.8A priority Critical patent/CN110020651B/zh
Publication of CN110020651A publication Critical patent/CN110020651A/zh
Application granted granted Critical
Publication of CN110020651B publication Critical patent/CN110020651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于深度学习网络的车牌检测定位方法。针对传统的车牌检测方法可扩展性差，复杂场景检测率低，泛化能力差，车牌检测效果不佳造成的车牌识别率下降等问题提出了一种基于深度学习网络的车牌检测定位方法。为了获得复杂图像中车牌精确定位，该方法首先收集并标记已标注的车辆样本数据集和车牌样本数据集；其次分别构建两个卷积神经网络，第一卷积神经网络用于训练车牌检测粗定位模型，第二卷积神经网络用于训练车牌检测角点回归模型；再次将待检测图片通过车牌检测粗定位模型获得候选存在车牌图片；最后将候选图片通过车牌检测角点回归模型进行检测，获取精确存在车牌的图片并且标记出车牌的角点信息。本发明简单灵活，具有较强的实际应用性。

Description

基于深度学习网络的车牌检测定位方法
技术领域
本发明涉及模式识别与计算机视觉领域，具体涉及一种基于深度学习网络的车牌检测定位方法。
背景技术
随着我国社会的快速推进，车辆作为代步出行的交通工具逐渐得到普及。但另一方面，车辆数目的激增给我国城市交通带来了巨大的压力。为了缓解城市交通的压力，我国很多城市采取了尾号限行等办法。但大多数该类方法都属于短期措施。由于道路硬件设施的限制，汽车保有量的增加带来的各类交通安全、堵塞问题成为了社会矛盾的焦点。综上所述，加强交通管理的重要性不言而喻。
不论是当今各种交通场合，还是公共安全管理系统，抑或未来无人汽车、无人驾驶领域，车牌检测系统都是一个不可或缺的过程，给城市健康有序管理带来了诸多便捷。虽然车牌检测系统已得到广泛应用，但是，目前车牌检测技术仍然存在诸多难点，各方面性能还有很大的改进空间。特别地，相比国外的车辆牌照，我国的车牌又具有其独特性：我国车牌除了阿拉伯数字和英文字母外，还含有中文字符，而且存在车牌前景、背景颜色不一，单双车牌，各种特殊用途车牌如使馆、警用车牌和军用车牌等。因此，我国的车牌识别系统不能简单移植国外的技术，只能自主研发创新。另外在复杂背景、光照影响、车牌脏污或者缺失的情况下，现有的车牌检测系统检测效果并不理想。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习网络的车牌检测定位方法，解决针对基于复杂场景下全球眼视频监控道路中车牌检测定位的问题。
为实现上述目的，本发明采用如下技术方案：
一种基于深度学习网络的车牌检测定位方法，包括以下步骤：
步骤S1:采集车辆和车牌样本图片数据；
步骤S2:构建第一卷积神经网络，并将车辆样本图片数据作为训练数据训练第一卷积神经网络，得到车牌检测粗定位模型；
步骤S3:构建第二卷积神经网络，并将车牌样本图片数据作为训练数据训练第二卷积神经网络，得到车牌检测角点回归模型；
步骤S4：对输入的监控视频按照静止帧提取待检测的视频图片序列；
步骤S5:将待检测的视频图片序列输入车牌检测粗定位模型，得到候选车牌图片；
步骤S6:将候选车牌图片输入车牌检测角点回归模型，并标记并反馈出车牌角点信息，得到待检测的视频图片序列的车牌检测结果。
进一步的，所述步骤S1采集的车辆和车牌样本图片数据包括带有车牌外接矩形信息的车辆正样本数据、不存在车牌信息的车辆负样本数据、标注过的车牌顶点坐标信息、车牌正样本图片数据、存在部分车牌信息的车牌部分样本图片数据和不存在车牌信息的车牌负样本图片数据
进一步的，所述步骤S2具体为：
步骤S21:构建第一卷积神经网络,包括19个卷积层、6个次采样层和1个softmax回归层，所述卷积层作为特征提取层，对输入的部分图像进行高级特征提取；所述次采样层包括1个平均池化层和5个最大池化层，作为对应卷积层的下采样运算；所述softmax回归层作为分类算法，得到该输入部分图片对应区域是否存在车牌；
步骤S22:对第一卷积神经网络中卷积层的参数进行初始化，将标注过的带有车牌外接矩形信息的车辆正样本数据和不存在车牌信息的车辆负样本数据作为训练样本；
步骤S23:使用训练样本训练初始化后的第一卷积神经网络结构，每经过预设批次训练，将会微调卷积神经网络，随机选择新的图片尺度进行输入，使得该卷积神经网络具有对不同尺寸图片的鲁棒性；
步骤S23:使用随机梯度下降算法对第一卷积神经网络进行参数的动态更新，得到车牌检测粗定位模型。
进一步的，所述步骤S3具体为：
步骤S31:构建第二卷积神经网络包括4个卷积层、3个次采样层、2个全连接层1个softmax回归层，所述卷积层作为特征提取层，对输入的部分图像进行高级特征提取；所述次采样层包括3个最大池化层，作为对应卷积层的下采样运算；所述全连接层作为检测层，对输出的部分图像对应的相应图；所述softmax回归层作为分类算法，得到该输入部分图片对应区域是否存在车牌，以及如果存在车牌时标记出车牌的四个角点的坐标信息；
步骤S32:对第二卷积神经网络中卷积层的参数进行初始化，将标注过的车牌顶点坐标信息的车牌正样本数据、存在部分车牌信息的车牌部分样本数据和不存在车牌信息的车牌负样本作为训练样本；
步骤S33:使用训练样本训练初始化后的第二卷积神经网络结构训练使用的损失函数由二部分构成，包括车牌分类损失函数:
Figure BDA0002033209220000031
其中车牌分类损失函数
Figure BDA0002033209220000032
为交叉熵损失函数，pi为是车牌的概率，
Figure BDA0002033209220000033
为非车牌的背景标签；
角点定位损失函数:
Figure BDA0002033209220000034
其中角点定位损失函数
Figure BDA0002033209220000035
是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，
Figure BDA0002033209220000036
为通过卷积神经网络预测得到的角点坐标，y为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故y属于八元组；
步骤S34:使用训练样本训练初始化后的第二卷积神经网络结构，使用随机梯度下降算法对第二卷积神经网络进行参数的动态更新，最后得到车牌检测角点回归模型。
进一步的，所述步骤S5具体为:
步骤S51:对待检测的视频图片序列进行预处理操作，去除影像设备对图像造成噪声影响，将处理后的图像作为输入图像。
步骤S52：通过滑动窗口的方式，让输入图片分辨率以416*416的大小输入第一卷积神经网络中；
步骤S53：选取3*3的卷积核进行前向卷积运算，进行卷积特征提取，得到卷积特征图；
步骤S54：对卷积特征图执行下采样运算，得到高低分辨率的特征图；
步骤S55：在高低分辨率的特征图之间通过转移层做一次连接，连接方式是叠加特征到不同的通道上，将不同分辨率的特征图进行连接，使得卷积神经网络检测器拥有更好的细粒度特征；
步骤S56：使用全局平均池化层，将1*1的卷积核置于3*3卷积核之间，用来进行特征压缩；
步骤S57：在最后一层softmax层中，设置该层神经元个数为2，用于分类，按照以下式子进行车牌目标判别:
Figure BDA0002033209220000041
其中C(I,k)表示图像I属于第Ck类、C1表示车牌类，C2表示非车牌类；所述Scorek为经过softmax层计算得出的第k类的得分，取Scorek高于阈值，其中大于0.7为车牌类，否则为非车牌类为车牌类，以此进行车牌检测粗定位，得到候选车牌图片。
进一步的，所述步骤S6具体为:
步骤S51：对输入的候选车牌图片进行归一化处理，使得图像满足其第二卷积神经网络输入图像的要求，图像I‘为图像缩放后图像I；
步骤S52：选取3*3的卷积核进行前向卷积运算，进行卷积特征提取，得到卷积特征图；
步骤S53：对卷积特征图执行下采样运算；
步骤S54：执行全连接运算，第l层为全连接层，第l层的输出为:
F＝f(Wl·I’(l)+b(l))
其中Wl为第l层的全连接层的权重值；所述I’(l)为第l层全连接层的输入；所述b(l)为第l层全连接层的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0,x),所述x为该函数的自变量；
步骤S55：输出层由两部分构成：在softmax层中，设置该层神经元个数为2，用于分类，按照以下式子进行车牌目标判别:
Figure BDA0002033209220000042
其中，C(I,k)表示图像I属于第Ck类，C1表示车牌类，C2表示非车牌类；所述Scorek为经过softmax层计算得出的第k类的得分，取Scorek高于阈值，大于0.8为车牌类，否则为非车牌类为车牌类；以此进行车牌类别检测；
步骤S56:当分类出为车牌类后，全连接层将回归出该车牌的四个角点坐标信息，并且在图像中标记出4个角点位置。
本发明与现有技术相比具有以下有益效果：
本发明采用深度学习技术，对车牌检测拥有很强的错误兼容性，能够自己调整学习过程，可以省去大量的人工数学建模和数据分析工作。
附图说明
图1为本发明的方法流程图；
图2为本发明一实施例中车牌粗定位卷积神经网络结构图；
图3为本发明一实施例中车牌角点回归卷积神经网络结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于深度学习网络的车牌检测定位方法，包括以下步骤：
步骤S1:采集车辆和车牌样本图片数据；包括带有车牌外接矩形信息的车辆正样本数据、不存在车牌信息的车辆负样本数据、标注过的车牌顶点坐标信息、车牌正样本图片数据、存在部分车牌信息的车牌部分样本图片数据和不存在车牌信息的车牌负样本图片数据；
步骤S2:构建第一卷积神经网络，并将车辆样本图片数据作为训练数据训练第一卷积神经网络，得到车牌检测粗定位模型；
步骤S3:构建第二卷积神经网络，并将车牌样本图片数据作为训练数据训练第二卷积神经网络，得到车牌检测角点回归模型；
步骤S4：对输入的监控视频按照静止帧提取待检测的视频图片序列；
步骤S5:将待检测的视频图片序列输入车牌检测粗定位模型，得到候选车牌图片；
步骤S6:将候选车牌图片输入车牌检测角点回归模型，并标记并反馈出车牌角点信息，得到待检测的视频图片序列的车牌检测结果。
本实施例中，所述步骤S2具体为：
步骤S21:构建第一卷积神经网络,包括19个卷积层、6个次采样层和1个softmax回归层，所述卷积层作为特征提取层，对输入的部分图像进行高级特征提取；所述次采样层包括1个平均池化层和5个最大池化层，作为对应卷积层的下采样运算；所述softmax回归层作为分类算法，得到该输入部分图片对应区域是否存在车牌；
步骤S22:对第一卷积神经网络中卷积层的参数进行初始化，将标注过的带有车牌外接矩形信息的车辆正样本数据和不存在车牌信息的车辆负样本数据作为训练样本；其中正样本和负样本的数量比例为3:1；
步骤S23:使用训练样本训练初始化后的第一卷积神经网络结构，每经过10批次训练，将会微调卷积神经网络，随机选择新的图片尺度进行输入，使得该卷积神经网络具有对不同尺寸图片的鲁棒性；
步骤S23:使用随机梯度下降算法对第一卷积神经网络进行参数的动态更新，得到车牌检测粗定位模型。
在本实施例中，所述步骤S3具体为：
步骤S31:构建第二卷积神经网络包括4个卷积层、3个次采样层、2个全连接层1个softmax回归层，所述卷积层作为特征提取层，对输入的部分图像进行高级特征提取；所述次采样层包括3个最大池化层，作为对应卷积层的下采样运算；所述全连接层作为检测层，对输出的部分图像对应的相应图；所述softmax回归层作为分类算法，得到该输入部分图片对应区域是否存在车牌，以及如果存在车牌时标记出车牌的四个角点的坐标信息；
步骤S32:对第二卷积神经网络中卷积层的参数进行初始化，将标注过的车牌顶点坐标信息的车牌正样本数据、存在部分车牌信息的车牌部分样本数据和不存在车牌信息的车牌负样本作为训练样本；其中正样本、部分样本和负样本的数量比例为1:1:3；
步骤S33:使用训练样本训练初始化后的第二卷积神经网络结构训练使用的损失函数由二部分构成，包括车牌分类损失函数:
Figure BDA0002033209220000061
其中车牌分类损失函数
Figure BDA0002033209220000071
为交叉熵损失函数，pi为是车牌的概率，
Figure BDA0002033209220000072
为非车牌的背景标签；
角点定位损失函数:
Figure BDA0002033209220000073
其中角点定位损失函数
Figure BDA0002033209220000074
是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，
Figure BDA0002033209220000075
为通过卷积神经网络预测得到的角点坐标，y为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故y属于八元组；
步骤S34:使用训练样本训练初始化后的第二卷积神经网络结构，使用随机梯度下降算法对第二卷积神经网络进行参数的动态更新，最后得到车牌检测角点回归模型。
在本实施例中，所述步骤S5具体为:
步骤S51:对待检测的视频图片序列进行预处理操作，去除影像设备对图像造成噪声影响，将处理后的图像作为输入图像。
步骤S52：通过滑动窗口的方式，让输入图片分辨率以416*416的大小输入第一卷积神经网络中；所述分辨率为416*416大小，这样容易产生一个中心，对每个中心预测k个建议框(这里k表示建议框个数，这里取k的值为5个)，提高检测车牌的概率。所述的建议框为先验框，使用了K-means聚类方法训练合适的先验框宽高维度。该聚类方法采用的距离函数为:d(box,centroid)＝1-IOU(box,centroid)。其中box为可能的候选框，centroid为该候选框的中心点，IOU(-)为对该候选框的评分。
步骤S53：选取3*3的卷积核进行前向卷积运算，进行卷积特征提取，得到卷积特征图；设第i层神经元的输入为I’(i)，则第i+1层神经元输入即第i层的输出为:
Figure BDA0002033209220000076
所述K(i+1)为第i层与第i+1层神经元之间的卷积核；所述
Figure BDA0002033209220000077
为卷积运算符，b(i)为第i层与第i+1层神经元之间的偏置值；所述f(-)为leaky-ReLu激活函数，公式为：
Figure BDA0002033209220000078
所述xi为该函数的自变量，ai是(1,+∞)区间内的固定参数。
步骤S54：对卷积特征图执行下采样运算，得到高低分辨率的特征图；将次采样层I’(i)的输入划分为区域Ak，k∈(1，n)。所述下采样运算按照以下公式进行采样:
Figure BDA0002033209220000081
所述fi为该层输入划分区域的像素值。
步骤S55：在高低分辨率的特征图之间通过转移层做一次连接，连接方式是叠加特征到不同的通道上，将不同分辨率的特征图进行连接，使得卷积神经网络检测器拥有更好的细粒度特征；
步骤S56：使用全局平均池化层，将1*1的卷积核置于3*3卷积核之间，用来进行特征压缩；使用的采样运算按照以下公式进行采样：pool(Ak)＝avgi∈kfi。所述Ak为全局平均池化层的输入的区域划分；所述fi为该层输入划分区域的像素值。
步骤S57：在最后一层softmax层中，设置该层神经元个数为2，用于分类，按照以下式子进行车牌目标判别:
Figure BDA0002033209220000082
其中C(I,k)表示图像I属于第Ck类、C1表示车牌类，C2表示非车牌类；所述Scorek为经过softmax层计算得出的第k类的得分，取Scorek高于阈值，其中大于0.7为车牌类，否则为非车牌类为车牌类，以此进行车牌检测粗定位，得到候选车牌图片。
在本实施例中，所述步骤S6具体为:
步骤S51：对输入的候选车牌图片进行归一化处理，使得图像满足其第二卷积神经网络输入图像的要求，图像I‘为图像缩放后图像I；
步骤S52：选取3*3的卷积核进行前向卷积运算，进行卷积特征提取，得到卷积特征图；设第i层神经元的输入为I’(i)，则第i+1层神经元输入即第i层的输出为
Figure BDA0002033209220000083
所述K(i+1)为第i层与第i+1层神经元之间的卷积核；所述
Figure BDA0002033209220000084
为卷积运算符，b(i)为第i层与第i+1层神经元之间的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0,x),所述x为该函数的自变量。
步骤S53：对卷积特征图执行下采样运算；将次采样层I’(i)的输入划分为区域Ak，k∈(1，n)。所述下采样运算按照以下公式进行采样:
Figure BDA0002033209220000091
所述fi为该层输入划分区域的像素值。
步骤S54：执行全连接运算，第l层为全连接层，第l层的输出为:
F＝f(Wl·I’(l)+b(l))
其中Wl为第l层的全连接层的权重值；所述I’(l)为第l层全连接层的输入；所述b(l)为第l层全连接层的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0,x),所述x为该函数的自变量；
步骤S55：输出层由两部分构成：在softmax层中，设置该层神经元个数为2，用于分类，按照以下式子进行车牌目标判别:
Figure BDA0002033209220000092
其中，C(I,k)表示图像I属于第Ck类，C1表示车牌类，C2表示非车牌类；所述Scorek为经过softmax层计算得出的第k类的得分，取Scorek高于阈值，大于0.8为车牌类，否则为非车牌类为车牌类；以此进行车牌类别检测；
步骤S56:当分类出为车牌类后，全连接层将回归出该车牌的四个角点坐标信息，并且在图像中标记出4个角点位置。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于深度学习网络的车牌检测定位方法,其特征在于，包括以下步骤：
步骤S1:采集车辆和车牌样本图片数据；
步骤S2:构建第一卷积神经网络，并将车辆样本图片数据作为训练数据训练第一卷积神经网络，得到车牌检测粗定位模型；
步骤S3:构建第二卷积神经网络，并将车牌样本图片数据作为训练数据训练第二卷积神经网络，得到车牌检测角点回归模型；
步骤S4：对输入的监控视频按照静止帧提取待检测的视频图片序列；
步骤S5:将待检测的视频图片序列输入车牌检测粗定位模型，得到候选车牌图片；
步骤S6:将候选车牌图片输入车牌检测角点回归模型，标记并反馈出车牌角点信息，得到待检测的视频图片序列的车牌检测结果；
所述步骤S2具体为：
步骤S21:构建第一卷积神经网络,包括19个卷积层、6个次采样层和1个softmax回归层，所述卷积层作为特征提取层，对输入的部分图片进行高级特征提取；所述次采样层包括1个平均池化层和5个最大池化层，作为对应卷积层的下采样运算；所述softmax回归层作为分类算法，得到该输入的 部分图片对应区域是否存在车牌；
步骤S22:对第一卷积神经网络中卷积层的参数进行初始化，将标注过的带有车牌外接矩形信息的车辆正样本数据和不存在车牌信息的车辆负样本数据作为训练样本；
步骤S23:使用训练样本训练初始化后的第一卷积神经网络结构，每经过预设批次训练，将会微调卷积神经网络，随机选择新的图片尺度进行输入，使得该卷积神经网络具有对不同尺寸图片的鲁棒性；
步骤S23:使用随机梯度下降算法对第一卷积神经网络进行参数的动态更新，得到车牌检测粗定位模型；
所述步骤S3具体为：
步骤S31:构建第二卷积神经网络包括4个卷积层、3个次采样层、2个全连接层和 1个softmax回归层，所述卷积层作为特征提取层，对输入的部分图片进行高级特征提取；所述次采样层包括3个最大池化层，作为对应卷积层的下采样运算；所述全连接层作为检测层，对输出的部分图片检测到 对应的相应图；所述softmax回归层作为分类算法，得到该输入的 部分图片对应区域是否存在车牌，以及如果存在车牌时标记出车牌的四个角点的坐标信息；
步骤S32:对第二卷积神经网络中卷积层的参数进行初始化，将标注过的车牌顶点坐标信息的车牌正样本数据、存在部分车牌信息的车牌部分样本数据和不存在车牌信息的车牌负样本作为训练样本；
步骤S33:使用训练样本训练初始化后的第二卷积神经网络结构训练使用的损失函数由二部分构成，包括车牌分类损失函数:
Figure FDA0003634496620000021
其中车牌分类损失函数
Figure FDA0003634496620000022
为交叉熵损失函数，pi为是车牌的概率，
Figure FDA0003634496620000023
为非车牌的背景标签；
角点定位损失函数:
Figure FDA0003634496620000024
其中角点定位损失函数
Figure FDA0003634496620000025
是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，
Figure FDA0003634496620000026
为通过卷积神经网络预测得到的角点坐标，
Figure FDA0003634496620000027
为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故
Figure FDA0003634496620000028
属于八元组；
步骤S34:使用训练样本训练初始化后的第二卷积神经网络结构，使用随机梯度下降算法对第二卷积神经网络进行参数的动态更新，最后得到车牌检测角点回归模型。
2.根据权利要求1所述的基于深度学习网络的车牌检测定位方法,其特征在于：所述步骤S1采集的车辆和车牌样本图片数据包括带有车牌外接矩形信息的车辆正样本数据、不存在车牌信息的车辆负样本数据、标注过的车牌顶点坐标信息、车牌正样本图片数据、存在部分车牌信息的车牌部分样本图片数据和不存在车牌信息的车牌负样本图片数据。
3.根据权利要求1所述的基于深度学习网络的车牌检测定位方法,其特征在于：所述步骤S5具体为:
步骤S51:对待检测的视频图片序列进行预处理操作，去除影像设备对图片造成噪声影响，将处理后的图片作为输入图片；
步骤S52：通过滑动窗口的方式，让输入图片分辨率以416*416的大小输入第一卷积神经网络中；
步骤S53：选取3*3的卷积核进行前向卷积运算，进行卷积特征提取，得到卷积特征图；
步骤S54：对卷积特征图执行下采样运算，得到高低分辨率的特征图；
步骤S55：在高低分辨率的特征图之间通过转移层做一次连接，连接方式是叠加特征到不同的通道上，将不同分辨率的特征图进行连接；
步骤S56：使用全局平均池化层，将1*1的卷积核置于3*3卷积核之间，用来进行特征压缩；
步骤S57：在最后一层softmax层中，设置该层神经元个数为2，用于分类，按照以下式子进行车牌目标判别:
Figure FDA0003634496620000031
其中C(I,k)表示图片I属于第Ck类、C1表示车牌类，C2表示非车牌类；所述Scorek为经过softmax层计算得出的第k类的得分，取Scorek高于阈值，其中大于0.7为车牌类，否则为非车牌类为车牌类，以此进行车牌检测粗定位，得到候选车牌图片。
4.根据权利要求1所述的基于深度学习网络的车牌检测定位方法,其特征在于：所述步骤S6具体为:
步骤S6 1：对输入的候选车牌图片进行归一化处理，使得图片满足其第二卷积神经网络输入图片的要求，图片I′ 为图片缩放后图片I；
步骤S6 2：选取3*3的卷积核进行前向卷积运算，进行卷积特征提取，得到卷积特征图；
步骤S6 3：对卷积特征图执行下采样运算；
步骤S6 4：执行全连接运算，第l层为全连接层，第l层的输出为:
F＝f(Wl·I′(l)+b(l))
其中Wl为第l层的全连接层的权重值；所述I′ (l)为第l层全连接层的输入；所述b(l)为第l层全连接层的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0，x)，所述x为该函数的自变量；
步骤S6 5：输出层由两部分构成：在softmax层中，设置该层神经元个数为2，用于分类，按照以下式子进行车牌目标判别：
Figure FDA0003634496620000041
其中，C(I，k)表示图片I属于第Ck类，C1表示车牌类，C2表示非车牌类；所述Scorek为经过softmax层计算得出的第k类的得分，取Scorek高于阈值，大于0.8为车牌类，否则为非车牌类为车牌类；以此进行车牌类别检测；
步骤S6 6：当分类出为车牌类后，全连接层将回归出该车牌的四个角点坐标信息，并且在图片中标记出4个角点位置。
CN201910316301.8A 2019-04-19 2019-04-19 基于深度学习网络的车牌检测定位方法 Active CN110020651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316301.8A CN110020651B (zh) 2019-04-19 2019-04-19 基于深度学习网络的车牌检测定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316301.8A CN110020651B (zh) 2019-04-19 2019-04-19 基于深度学习网络的车牌检测定位方法

Publications (2)

Publication Number Publication Date
CN110020651A CN110020651A (zh) 2019-07-16
CN110020651B true CN110020651B (zh) 2022-07-08

Family

ID=67191956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316301.8A Active CN110020651B (zh) 2019-04-19 2019-04-19 基于深度学习网络的车牌检测定位方法

Country Status (1)

Country Link
CN (1) CN110020651B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
CN110516665A (zh) * 2019-08-23 2019-11-29 上海眼控科技股份有限公司 识别图像叠加文字区域的神经网络模型构建方法与系统
CN110705548A (zh) * 2019-09-09 2020-01-17 创新奇智(南京)科技有限公司 一种由粗到精的车牌检测算法及其系统
CN110598650A (zh) * 2019-09-17 2019-12-20 中控智慧科技股份有限公司 车牌虚警过滤方法、装置及电子设备和存储介质
CN110595459B (zh) * 2019-09-18 2021-08-17 百度在线网络技术（北京）有限公司 车辆定位方法、装置、设备和介质
CN110866524A (zh) * 2019-11-15 2020-03-06 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN110969160B (zh) * 2019-11-21 2023-04-14 合肥工业大学 一种基于深度学习的车牌图像校正、识别方法及系统
CN111079744B (zh) * 2019-12-06 2020-09-01 鲁东大学 适用于复杂光照环境的车辆车牌智能识别方法及装置
CN111310861B (zh) * 2020-03-27 2023-05-23 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法
CN113591835A (zh) * 2020-04-30 2021-11-02 成都鼎桥通信技术有限公司 车牌关键信息的检测方法和装置
CN111709416B (zh) * 2020-05-15 2024-02-02 珠海亿智电子科技有限公司 车牌定位方法、装置、系统及存储介质
CN111680689B (zh) * 2020-08-11 2021-03-23 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
CN112633313B (zh) * 2020-10-13 2021-12-03 北京匠数科技有限公司 一种网络终端的不良信息识别方法及局域网终端设备
CN112464750B (zh) * 2020-11-11 2023-11-14 南京邮电大学 一种基于深度学习的车牌特征点检测方法
CN112491468B (zh) * 2020-11-20 2022-04-01 福州大学 基于孪生节点辅助传感的fbg传感网络节点故障定位方法
CN112906699B (zh) * 2020-12-23 2024-06-14 深圳市信义科技有限公司 一种车牌放大号的检测识别方法
CN112651395A (zh) * 2021-01-11 2021-04-13 上海优扬新媒信息技术有限公司 图像的处理方法以及装置
CN112749701B (zh) * 2021-01-22 2024-02-09 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法
CN113420597A (zh) * 2021-05-24 2021-09-21 北京三快在线科技有限公司 环形交叉口识别方法及装置，电子设备及存储介质
CN113435370B (zh) * 2021-06-30 2024-02-23 北京英泰智科技股份有限公司 一种基于图像特征融合获取车辆排队长度的方法及装置
CN113435446B (zh) * 2021-07-07 2023-10-31 南京云创大数据科技股份有限公司 一种基于深度学习的倾斜车牌矫正方法
CN113743218B (zh) * 2021-08-03 2024-05-31 科大讯飞股份有限公司 一种车牌识别方法、车牌识别装置和计算机可读存储介质
CN113781790B (zh) * 2021-08-31 2022-08-12 深圳市捷顺科技实业股份有限公司 一种识别车牌的方法及停车场终端
CN113807231B (zh) * 2021-09-14 2024-02-13 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN114818909B (zh) * 2022-04-22 2023-09-15 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
CN114882492B (zh) * 2022-07-11 2022-11-22 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971185A (zh) * 2017-03-27 2017-07-21 深圳市丰巨泰科电子有限公司 一种基于全卷积网络的车牌定位方法及装置
CN107273832A (zh) * 2017-06-06 2017-10-20 青海省交通科学研究院 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN107506763A (zh) * 2017-09-05 2017-12-22 武汉大学 一种基于卷积神经网络的多尺度车牌精准定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911055B2 (en) * 2016-03-08 2018-03-06 Conduent Business Services, Llc Method and system for detection and classification of license plates

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971185A (zh) * 2017-03-27 2017-07-21 深圳市丰巨泰科电子有限公司 一种基于全卷积网络的车牌定位方法及装置
CN107273832A (zh) * 2017-06-06 2017-10-20 青海省交通科学研究院 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN107506763A (zh) * 2017-09-05 2017-12-22 武汉大学 一种基于卷积神经网络的多尺度车牌精准定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Geometric Alignment by Deep Learning for Recognition of Challenging License Plates;Jakub Špaňhel et al.;《2018 21st International Conference on Intelligent Transportation Systems (ITSC)》;20181210;第3524-3529页 *
基于深度学习的车牌检测;田媛美 等;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20180415(第04期);第1-74页 *

Also Published As

Publication number Publication date
CN110020651A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110020651B (zh) 基于深度学习网络的车牌检测定位方法
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN110889398B (zh) 一种基于相似度网络的多模态图像能见度检测方法
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN110717387A (zh) 一种基于无人机平台的实时车辆检测方法
CN110197152A (zh) 一种用于自动驾驶系统的道路目标识别方法
Ostankovich et al. Illegal buildings detection from satellite images using googlenet and cadastral map
CN111046789A (zh) 一种行人重识别方法
CN112329776A (zh) 基于改进CenterNet网络的车牌检测方法及装置
Zang et al. Traffic lane detection using fully convolutional neural network
CN109117723B (zh) 基于颜色模式分析与语义分割的盲道检测方法
Liu et al. Extended faster R-CNN for long distance human detection: Finding pedestrians in UAV images
CN112560717A (zh) 一种基于深度学习的车道线检测方法
KR20180116588A (ko) 고화질 항공 이미지에서의 물체 검출 방법
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
Wu et al. Vehicle detection based on adaptive multi-modal feature fusion and cross-modal vehicle index using RGB-T images
CN113259883B (zh) 一种面向手机用户的多源信息融合的室内定位方法
CN114743126A (zh) 一种基于图注意力机制网络的车道线标志分割方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN117315578A (zh) 一种结合分类网络的锈斑面积扩大的监测方法与系统
CN112071075A (zh) 逃逸车辆重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant