CN113159158A - 一种基于生成对抗网络的车牌矫正与重构方法及系统 - Google Patents

一种基于生成对抗网络的车牌矫正与重构方法及系统 Download PDF

Info

Publication number
CN113159158A
CN113159158A CN202110409486.4A CN202110409486A CN113159158A CN 113159158 A CN113159158 A CN 113159158A CN 202110409486 A CN202110409486 A CN 202110409486A CN 113159158 A CN113159158 A CN 113159158A
Authority
CN
China
Prior art keywords
license plate
network
convolution
reconstruction
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110409486.4A
Other languages
English (en)
Inventor
徐胜军
邓博文
史亚
孟月波
刘光辉
史小辉
占华
詹博涵
王菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202110409486.4A priority Critical patent/CN113159158A/zh
Publication of CN113159158A publication Critical patent/CN113159158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明公开了一种基于生成对抗网络的车牌矫正与重构方法及系统。本发明所涉及包括(1)基于VGG16结构的特征提取网络、坐标点预测模块组成的车牌矫正网络(2)由卷积‑反卷积组成的车牌生成器网络、多层卷积块组成的判别器网络构成的生成对抗性车牌重构网络(3)提出一种将车牌矫正网络与车牌重构网络堆叠组合的生成对抗式的车牌网络超分辨率重构网络，大大降低了车牌重构网络的训练难度，从而更有效的对车牌图像进行矫正与高清重构。

Description

一种基于生成对抗网络的车牌矫正与重构方法及系统
技术领域
本发明属于设计图像处理技术领域，特别是涉及一种基于生成对抗网络的车牌矫正与重构方法及系统。
背景技术
车牌识别技术作为智能交通系统的重要组成部分，其主要任务是对采集的车辆图像进行检测分析，提取车牌相关特征信息，并有效识别与判别车辆的关键信息。因此，准确的车牌识别技术在智慧停车场管理系统中显得尤为重要。
由于车牌获取的距离不同、拍摄角度不同，造成车牌在图片中的呈现姿态和外观也大大不同，尤其是获取的车牌图像常存在较大的倾斜和模糊现象，这显著影响了车牌识别准确率的提升。如何对车牌的歪曲进行矫正，模糊进行高清重构已经成为车牌识别领域发展的热门方向，涌现了很多车牌矫正与去模糊方法，但是这些方法在复杂场景中的表现不佳，且鲁棒性较差，只能针对特定的场景进行矫正或重构，有着结果差且输出不直观等等许多缺点。
为了增强倾斜车牌在实际应用的鲁棒性，一般传统方法采取霍夫直线检测与水平投影旋转法，基于深度学习Max提出空间变换网络(STN)来获取投影变换矩阵的六个主要参数，本质为线性的变换，将投影矩阵坐标系中表示的点的位置坐标，映射到原图确定的基的空间，最终得到投影矩阵。从而做到对倾斜、扭曲图像进行矫正；Shi B等提出的预测薄板样条(TPS)，利用TPS插值方法，需要指定对应的控制点坐标，然后根据TPS函数对图像所有像素点进行插值，求得插值之后的位置，从而完成对歪曲图像进行矫正。Silva等通过全局像素特征学习车牌区域的投影变换矩阵的参数,，达到较好的车牌矫正效果。目前，车牌识别与车牌矫正主要存在的两个问题：(1)由于机拍摄角度导致车牌图像在水平与垂直方向存在较大倾斜；(2)由于相机成像或者车牌污损等问题导致车牌图像存在成像模糊、污损、扭曲、遮挡。此类倾斜程度较大且模糊的车牌与正常角度的车牌相比提取特征差距较大，因此为后续车牌识别带来很大的困难。
发明内容
本发明的目的在于提供一种基于生成对抗网络的车牌矫正与重构方法及系统，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于生成对抗网络的车牌矫正与重构方法，包括以下步骤：
S1，收集监控设备的车牌图像数据，构建车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练集与测试集；
S2，构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；
S3，网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；
S4，构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：
S5，将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；
S6，将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；
S7，将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；
S8，将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。
进一步的，S1中具体为：
首先收集车牌图像数据集，采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签；车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。
进一步的，S2中具体为：基于VGG16的特征提取网络包括六个卷积块Conv1、Conv2、Conv3、Conv4、Conv5、Conv6与分类器loc；六个卷积块皆包含卷积核为3的两个卷积层，分类器由loc由卷积核为1的卷积层组成；其中所有卷积层后都有批归一化层BN、非线性激活层ReLU组成卷积块。
进一步的，S3中具体为：
对网络设计平滑平均绝对误差损失SmoothL1Loss用于评价高维特征向量与真实值的差距；将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。
进一步的，具体地，对于真实值yi与网络预测结果f(xi)，f表示x与y的映射关系，得优化目标为以下的损失函数：
Figure BDA0003023593460000031
进一步的，S4中具体为：
构建卷积-反卷积的车牌生成器网络，基于ResNet的生成器特征提取网络由一个卷积层Conv_P1组成；第一个卷积块Conv_P1由卷积核为3的卷积层构成；残差块皆由两个卷积层，其中包括两个卷积核为3的卷积层，其中第一个残差块ResBlock1的输入输出通道设置为64，第二个残差块ResBlock2的输入输出通道设置为128，第三个残差块ResBlock3的输入输出通道设置为256，第二个残差块ResBlock2的输入输出通道设置为512；基于多层反卷积结构的车牌分辨率恢复网络由四个反卷积层组Deconv1、Deconv2、Deconv3、Deconv4组成；四个反卷积层皆由卷积核为3的转置卷积组成；每个反卷积层后都有非线性激活层ReLU组成；通过特征提取网络得到车牌的文字、纹理特征并输入至车牌分辨率恢复网络对车牌分辨率进行恢复，得到重构结果；
构建车牌判别网络，车牌判别网络主要包含两阶段层卷积块与一阶段卷积核为1x7的卷积层分类器；第一层卷积块ConvBlock1由卷积核为3的卷积层与带泄露修正线性单元Leaky ReLU组成；第二层卷积块由四个卷积核为3的卷积层组成，每个卷积层后跟有带泄露修正线性单元Leaky ReLU、批归一化层BN和核大小为2的平均池化层；第三层卷积块由卷积核为1*7的卷积层与Sigmoid激活函数组成，通过判别网络输出生成图片的判别信息。
进一步的，S5中具体为：
生成对抗性车牌重构网络的优化目标函数V为：
Figure BDA0003023593460000041
其中D为上述的判别器网络，G为上述的生成器网络，x为高清车牌图像，z为输入矫正后车牌图像；训练流程应满足
Figure BDA0003023593460000042
即训练合适的D网络使得目标函数V最小化，之后选取合适的G网络使得目标函数V最大化。设计判别器网络D的损失函数为lossd，生成器网络G的损失函数为lossg。
进一步的，具体地，对于真实值yi与网络预测结果f(xi)(f表示x与y的映射关系)，可得提出的损失函数为：
Figure BDA0003023593460000043
Figure BDA0003023593460000044
将建立的矫正车牌图像数据集与高清车牌图像数据集输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。
进一步的，一种基于生成对抗网络的车牌矫正与重构系统，包括
车牌图像数据采集模块用于收集监控设备的车牌图像数据，构建车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练集与测试集；
特征提取网络构建模块用于构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；
预测结果与标签的距离评估模块用于网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；
车牌生成器网络构建模块用于构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：
网络模型参数矫正模块用于将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；
车牌矫正结果模块用于将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；
车牌重构网络模型参数模块用于将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；
车牌重构结果模块用于将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。
与现有技术相比，本发明有以下技术效果：
本发明提出了一种基于生成对抗网络的车牌矫正与重构方法，首先利用基于VGG16结构的特征提取网络提取车牌的关键点特征，减少了背景信息的干扰，增强了有效的车牌关键点特征，然后建立了一种生成对抗性车牌重构网络，由卷积-反卷积组成车牌生成器网络与多层卷积块组成判别器网络构成，生成器网络通过卷积-反卷积的架构强化了车牌文字、纹理特征的提取、并有效减弱了噪声的干扰，同时利用生成对抗性网络结构组成车牌重构网络得到更好的图片样本，增加了进一步识别的准确率，最后利用将车牌矫正网络与车牌重构网络堆叠的方式，得到了生成对抗式的车牌网络超分辨率重构网络，大大降低了车牌重构网络的训练难度，并有效的对车牌图像进行矫正与高清重构；
进一步的，加入预训练的重构字符识别网络，并建立判别网络与字符识别网络的双监督策略，有效提升生成网络学习中辨别特征和语义信息的能力；
综上所述，本发明方法不仅能有效定位辨别性特征区域、提取全局结构信息和局部语义信息，能更有效地对车牌进行矫正与重构，具有较好的鲁棒性。
附图说明
图1基于生成对抗网络的车牌矫正与重构网络结构；
图2本发明流程图；
图3测试车牌示意图；
图4为车牌矫正结果图；
图5a和5b为车牌重构结果图。
具体实施方式
以下结合附图对本发明进一步说明：
请参阅图1，本发明提出一种基于生成对抗网络的车牌矫正与重构方法，包括以下步骤：
1.本发明所涉及包括(1)基于VGG16结构的特征提取网络、坐标点预测模块组成的车牌矫正网络(2)由卷积-反卷积组成的车牌生成器网络、多层卷积块组成的判别器网络构成的生成对抗车牌重构网络(3)提出一种将车牌矫正网络与车牌重构网络堆叠组合的生成对抗式的车牌超分辨率重构网络，
2.构建车牌数据集，主要步骤为：
首先收集车牌图像数据集，本发明采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后按照一定比例划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签，测试时只需要输入单张车牌图像即可。车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。
3.构建基于VGG16结构的特征提取网络，利用卷积核为1的卷积层代替全连接层，作为分类器，主要步骤为：
基于VGG16结构的特征提取网络共有13个卷积层，共7个部分，各部分的卷积数目为2,2,2,2,2,2,1层，卷积层中的卷积核大小均为3x3，除了最后分类器卷积层，其余卷积层后都跟有BN归一化层和ReLU激活层，分类器层后跟有Sigmoid激活层。网络前六层对车牌的关键点特征进行提取，得到特征X，通道数为512，再将其输入分类器得到分类结果通道数为4的结果R。基于VGG16特征提取网络参数表如表1所示。
表1基于VGG16特征提取网络参数表
Figure BDA0003023593460000071
表中M代表64，N代表128。
4.车牌矫正网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离，具体步骤包括：
对网络设计平滑平均绝对误差损失(SmoothL1Loss)Lossk用于评价高维特征向量与真实值的差距。将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习；
具体地，对于真实值yi与网络预测结果f(xi)(f表示x与y的映射关系)，可得优化目标为以下的损失函数：
Figure BDA0003023593460000081
5.构建由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络，利用生成对抗性网络的方式增强重构效果，减小背景噪声的影响。具体步骤包括：
将矫正后的车牌图像作为车辆生成器网络的输入，车辆生成器网络由基于ResNet的特征提取网络与反卷积块组成的分辨率恢复网络组成。特征提取网络的残差块数目为2，2，2，2层，残差块中卷积层数为2，卷积核大小为3x3。反卷积块的反卷积层数目为1，1，1，1，前三层反卷积层的卷积核为3x3，且后跟有ReLU激活层，最后一层反卷积层的卷积核为2x2，后跟有Tanh激活层。车牌生成器特征提取网络参数表如表2所示，车牌生成器反卷积分辨率恢复网络参数表如表3所示
表2车牌生成器特征提取网络参数表
Figure BDA0003023593460000082
表中M代表30，N代表118。
车牌生成器反卷积分辨率恢复网络参数表
Figure BDA0003023593460000091
表中M代表30，N代表118。
车牌判别网络主要包含两阶段层卷积块与一阶段卷积核为1x7的卷积层分类器。卷积层共有6层，分为三个部分，其卷积层数目为：1，4，1，前五层卷积层的卷积核都为3，第一层后跟有带泄露修正线性单元(Leaky ReLU)，中四层后跟有批归一化层(BN)和核大小为2的平均池化层，最后一层卷积层的卷积核大小为1x7,后跟有Sigmoid激活函数。车牌判别器网络参数表如表4所示
表4车牌判别器网络参数表
Figure BDA0003023593460000092
表中M代表30，N代表118。
6.对车牌重构网络进行训练，具体步骤包括：
基于生成对抗的车牌重构网络的优化目标函数V为：
Figure BDA0003023593460000101
其中D为上述的判别器网络，G为上述的生成器网络，x为高清车牌图像，z为输入矫正后车牌图像。训练流程应满足
Figure BDA0003023593460000102
即训练合适的D网络使得目标函数V最小化，之后选取合适的G网络使得目标函数V最大化。设计判别器网络D的损失函数为lossd，生成器网络G的损失函数为lossg。
具体地，对于真实值yi与网络预测结果f(xi)(f表示x与y的映射关系)，可得提出的损失函数为：
Figure BDA0003023593460000103
Figure BDA0003023593460000104
将建立的矫正车牌图像数据集与高清车牌图像数据集输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图3与图4，图3车牌矫正效果图，图4为车牌重构效果图。
从矫正结果可以发现，车牌矫正网络在CCPD与停车场车牌图像数据集上的矫正会造成一定的车牌分辨率下降，由于CCPD数据集中有较多模糊、变色等车牌图片，导致经过矫正后的车牌分辨率进一步下降，这说明原始车牌图像数据源对矫正后的分辨率有着显著的影响，经过投影变换后的图像如何保持原有的分辨率情况，这在现实中也是一个巨大的挑战；所以本发明提出了车牌重构网络，用于对模糊、变色、遮挡等车牌进行重构，重构结果如图4所示，对于复杂场景下的污损车牌图像，本发明所提的车牌重构网络有着较好的重构能力。同时，本发明将车牌关键点回归网络与车牌重构网络相结合，利用矫正后图像的同分布性质，大大降低了车牌重构网络的训练难度，从而更有效的对车牌图像进行矫正与高清重构。本发明提出的车牌矫正与重构模型对复杂场景下具有较强的鲁棒性，显著提高了车牌识别的精度。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，包括以下步骤：
S1，收集监控设备的车牌图像数据，构建普通车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练数据集与测试数据集；其中普通车牌数据集用于训练车牌矫正网络，并对车牌矫正网络进行评估；高清车牌数据集用于训练车牌重构网络，并对车牌重构网络进行评估；
S2，构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；
S3，网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；
S4，构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：
S5，将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；
S6，将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；
S7，将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；
S8，将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。
2.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S1中具体为：
首先收集车牌图像数据集，采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签；车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。
3.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S2中具体为：基于深层卷积网络VGG16结构的特征提取网络包括六个卷积块Conv1、Conv2、Conv3、Conv4、Conv5、Conv6与分类器loc；六个卷积块皆包含卷积核为3的两个卷积层，分类器由loc由卷积核为1的卷积层组成；其中所有卷积层后都有批归一化层BN、非线性激活层ReLU组成卷积块。
4.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S3中具体为：
对网络设计平滑平均绝对误差损失SmoothL1Loss用于评价高维特征向量与真实值的差距；将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。
5.根据权利要求4所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，具体地，对于真实值yi与网络预测结果f(xi)，f表示x与y的映射关系，得优化目标为以下的损失函数：
Figure FDA0003023593450000021
6.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S4中具体为：
构建卷积-反卷积的车牌生成器网络，基于ResNet的生成器特征提取网络由一个卷积层Conv_P1组成；第一个卷积块Conv_P1由卷积核为3的卷积层构成；残差块皆由两个卷积层，其中包括两个卷积核为3的卷积层，其中第一个残差块ResBlock1的输入输出通道设置为64，第二个残差块ResBlock2的输入输出通道设置为128，第三个残差块ResBlock3的输入输出通道设置为256，第二个残差块ResBlock2的输入输出通道设置为512；基于多层反卷积结构的车牌分辨率恢复网络由四个反卷积层组Deconv1、Deconv2、Deconv3、Deconv4组成；四个反卷积层皆由卷积核为3的转置卷积组成；每个反卷积层后都有非线性激活层ReLU组成；通过特征提取网络得到车牌的文字、纹理特征并输入至车牌分辨率恢复网络对车牌分辨率进行恢复，得到重构结果；
构建车牌判别网络，车牌判别网络主要包含两阶段层卷积块与一阶段卷积核为1x7的卷积层分类器；第一层卷积块ConvBlock1由卷积核为3的卷积层与带泄露修正线性单元Leaky ReLU组成；第二层卷积块由四个卷积核为3的卷积层组成，每个卷积层后跟有带泄露修正线性单元Leaky ReLU、批归一化层BN和核大小为2的平均池化层；第三层卷积块由卷积核为1*7的卷积层与Sigmoid激活函数组成，通过判别网络输出生成图片的判别信息。
7.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S5中具体为：
生成对抗性车牌重构网络的优化目标函数V为：
Figure FDA0003023593450000031
其中D为上述的判别器网络，G为上述的生成器网络，x为高清车牌图像，z为输入矫正后车牌图像；训练流程应满足
Figure FDA0003023593450000032
即训练合适的D网络使得目标函数V最小化，之后选取合适的G网络使得目标函数V最大化；设计判别器网络D的损失函数为lossd，生成器网络G的损失函数为lossg。
8.根据权利要求7所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，具体地，对于真实值yi与网络预测结果f(xi)(f表示x与y的映射关系)，可得提出的损失函数为：
Figure FDA0003023593450000033
Figure FDA0003023593450000034
将建立的矫正车牌图像数据集与高清车牌图像数据集输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。
9.一种基于生成对抗网络的车牌矫正与重构系统，其特征在于，包括
车牌图像数据采集模块用于收集监控设备的车牌图像数据，构建车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练集与测试集；
特征提取网络构建模块用于构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；
预测结果与标签的距离评估模块用于网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；
车牌生成器网络构建模块用于构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：
网络模型参数矫正模块用于将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；
车牌矫正结果模块用于将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；
车牌重构网络模型参数模块用于将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；
车牌重构结果模块用于将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。
CN202110409486.4A 2021-04-16 2021-04-16 一种基于生成对抗网络的车牌矫正与重构方法及系统 Pending CN113159158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110409486.4A CN113159158A (zh) 2021-04-16 2021-04-16 一种基于生成对抗网络的车牌矫正与重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110409486.4A CN113159158A (zh) 2021-04-16 2021-04-16 一种基于生成对抗网络的车牌矫正与重构方法及系统

Publications (1)

Publication Number Publication Date
CN113159158A true CN113159158A (zh) 2021-07-23

Family

ID=76868535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110409486.4A Pending CN113159158A (zh) 2021-04-16 2021-04-16 一种基于生成对抗网络的车牌矫正与重构方法及系统

Country Status (1)

Country Link
CN (1) CN113159158A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850027A (zh) * 2021-11-30 2021-12-28 山东华尚电气有限公司 一种基于设计图纸智能识别的干式变压器制造方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778745A (zh) * 2016-12-23 2017-05-31 深圳先进技术研究院 一种车牌识别方法及装置、用户设备
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
CN111914838A (zh) * 2020-07-28 2020-11-10 同济大学 一种基于文本行识别的车牌识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778745A (zh) * 2016-12-23 2017-05-31 深圳先进技术研究院 一种车牌识别方法及装置、用户设备
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN111914838A (zh) * 2020-07-28 2020-11-10 同济大学 一种基于文本行识别的车牌识别方法
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMIR HOSSEIN ASHTARI ET AL.: "An Iranian License Plate Recognition System Based on Color Features", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. 15, no. 4, 31 August 2014 (2014-08-31), pages 1690 - 1705, XP011555209, DOI: 10.1109/TITS.2014.2304515 *
刘进博等: "基于神经网络和支持矢量机的多机动车车牌在线检测方法", 自动化学报, vol. 47, no. 2, 28 February 2021 (2021-02-28), pages 316 - 326 *
段宾;符祥;江毅;曾接贤;: "结合GAN的轻量级模糊车牌识别算法", 中国图象图形学报, no. 09, 30 September 2020 (2020-09-30), pages 1813 - 1824 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850027A (zh) * 2021-11-30 2021-12-28 山东华尚电气有限公司 一种基于设计图纸智能识别的干式变压器制造方法及系统
CN113850027B (zh) * 2021-11-30 2022-03-01 山东华尚电气有限公司 一种基于设计图纸智能识别的干式变压器制造方法及系统

Similar Documents

Publication Publication Date Title
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN111310862A (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN112418074A (zh) 一种基于自注意力的耦合姿态人脸识别方法
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN110490924B (zh) 一种基于多尺度Harris的光场图像特征点检测方法
CN114529593A (zh) 红外与可见光图像配准方法、系统、设备、图像处理终端
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN103353941A (zh) 基于视角分类的自然标志物注册方法
CN116030498A (zh) 面向虚拟服装走秀的三维人体姿态估计方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN110910497B (zh) 实现增强现实地图的方法和系统
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN116342519A (zh) 一种基于机器学习的图像处理方法
CN116563306A (zh) 自适应火灾痕迹光谱图像分割方法及系统
CN110728296A (zh) 一种加速特征点匹配的两步随机抽样一致性方法及系统
CN115205155A (zh) 一种畸变图像的矫正方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination