CN113743317A - 基于生成对抗网络的车牌图片生成方法、介质和设备 - Google Patents
基于生成对抗网络的车牌图片生成方法、介质和设备 Download PDFInfo
- Publication number
- CN113743317A CN113743317A CN202111042570.3A CN202111042570A CN113743317A CN 113743317 A CN113743317 A CN 113743317A CN 202111042570 A CN202111042570 A CN 202111042570A CN 113743317 A CN113743317 A CN 113743317A
- Authority
- CN
- China
- Prior art keywords
- license plate
- network
- generation
- picture
- plate picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于生成对抗网络的车牌图片生成方法、介质和设备，方法包括构建生成对抗网络模型，包括生成网络和判别网络；对生成对抗网络模型进行训练；输入目标车牌字符，目标车牌字符与随机噪声被传送到生成网络，得到目标车牌图片。本发明采用了卷积生成对抗网络模型，基于少量的样本，自主生成车牌图片，解决了车牌样本较少的问题。经过对生成对抗网络模型的训练，能够生成无限多的车牌图片，也能生成想要的车牌字符图片。
Description
技术领域
本发明涉及计算机深度学习技术领域，尤其涉及一种基于生成对抗网络的车牌图片生成方法、介质和设备。
背景技术
随着深度学习的发展以及我国国内汽车日益增多，快速的检测出车辆的身份在人工智能领域具有重要的作用。目前发展比较成熟的快速定位车辆身份的如车牌检测以及车牌识别，都需要将大量车牌作为训练集进行深度学习，从而进一步应用到车牌检测或车牌识别计数中去。但从一些渠道收集车牌号会导致用户信息泄露，存在法律风险，从公开渠道获取则非常困难，因此急需一种理论上能够自动生成无限数量的车牌号作为训练集的技术。
发明内容
为了解决这一问题，本发明提供一种基于生成对抗网络的车牌图片生成方法、介质和设备，不但能够生成类似真实的车牌图片，还能够控制生成的车牌图片上具体的字符。
本发明一方面，提供一种基于生成对抗网络的车牌图片生成方法，包括以下步骤，
S1、构建生成对抗网络模型，包括生成网络和判别网络；
S2、对所述生成对抗网络模型进行训练，包括：
S21、通过将样本车牌的字符输入语义器，提取字符特征，再将所述字符特征和随机噪声作为生成网络的输入，生成车牌图片作为训练集；
S22、将真实的车牌图片与生成的车牌图片发送至判别网络，判断图片真假以及字符识别结果；
S23、更新生成网络和判别网络的参数；
S24、重复步骤S21～S23，直到判别网络的损失不收敛；
S3、输入目标车牌字符，所述目标车牌字符与随机噪声被传送到生成网络，得到目标车牌图片。
进一步的，所述语义器为一文字识别模型，通过卷积网络实现。
进一步的，所述生成网络依次包括全连接层、上采样层、激活层和卷积层，还包括基于词向量的空间调整层，对所述全连接层、所述上采样层的输出进行监督。
进一步的，所述将所述字符特征和随机噪声作为生成网络的输入，生成车牌图片具体为，将字符特征向量作为监督量，随机噪声经过生成网络中的全连接层得到二维空间向量，接着经过多次上采样得到与字符特征尺寸相同的车牌图片。
进一步的，步骤S22之后还包括S22'、对图片真假的结果采用第一损失函数进行训练，对字符识别结果采用第二损失函数进行训练，图片真假和字符识别的损失之和为所述判别网络的损失。
进一步的，所述第一损失函数为softmax损失函数，所述第二损失函数为CTC损失函数。
本发明另一方面，提供一种计算机可读的存储介质，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述技术方案任一项中所述的方法。
本发明第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述技术方案任一项中所述的方法。
本发明具有以下有益效果：采用了卷积生成对抗网络模型，基于少量的样本，自主生成车牌图片，解决了车牌样本较少的问题。经过对生成对抗网络模型的训练，能够生成无限多的车牌图片，也能生成想要的车牌字符图片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于生成对抗网络的车牌图片生成方法的流程图；
图2为图1实施例中生成对抗网络模型示意图；
图3为图1实施例中生成网络上采样过程；
图4为图1实施例中判别网络示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本实施例描述了一种基于生成对抗网络的车牌图片生成方法，包括以下步骤，如图1，
S1、构建生成对抗网络模型，包括生成网络和判别网络。
图2展示了生成对抗网络模型的结构以及生成车牌图片的整体流程，其中G为生成网络，D为判别网络。本实施例中的生成网络包括全连接层、上采样层、基于词向量的空间调整层、激活层和卷积层。在下一步骤中将结合生成网络的训练过程介绍各层的联系和作用。
S2、对生成对抗网络模型进行训练，主要是对生成网络G的训练，使得其有能力生成出需要的车牌图片。包括：
S21、通过将样本车牌的字符输入语义器，提取字符特征，再将所述字符特征和随机噪声作为生成网络的输入，生成车牌图片作为训练集；
S22、将真实的车牌图片与生成的车牌图片发送至判别网络，判断图片真假以及字符识别结果；
S23、更新生成网络和判别网络的参数；
S24、重复步骤S21～S23，直到判别网络的损失不收敛。
具体的，首先网络生成随机的车牌号，将其送入语义器中得到相应的字符特征向量，该向量作为生成网络的监督量。同时随机噪声作为生成网络的另一个输入，通过全连接层得到了二维空间向量，接着经过多次上采样得到与字符特征尺寸相同的车牌图片，其中上采样使用词向量进行监督。最后在卷积层操作得到与字符特征尺寸相同的图片特征，并进行卷积得到生成的RGB通道的车牌图片。
其中在上采样过程中，首先二维空间向量通过2倍的上采样得到原来两倍分辨率的特征图，将其送入基于词向量的空间调整层中，并结合词向量调整其特征，然后再经过激活层对其进行非线形激活。如图3所示。对基于词向量的空间调整层的设计如下，假设1x256是通过语义器提取得到的词向量，x是模块的输入，ax+b是模块的输出。首先词向量通过两次全连接层分别得到了1×256以及1×特征树的特征，然后沿着输入特征的宽以及高对特征图进行拷贝，得到了维度为H×W×的权重a，利用相同的方式得到了偏置b，最终将输入特征与a相乘并与b相加得到了最终调整后的特征。因此，基于词向量的空间调整层是利用了词向量来对特征进行监督调整的。
在一些具体实施方式中，判别网络包括多个特征提取层和多个池化层，两者间隔排列，如图4所示。特征提取层包括卷积层和激活层，假设输入的特征图为H×W×C1，设置的输出通道为C2，首先特征经过3×3的卷积层得到了H×W×C1的特征图，然后经过reluji激活层，然后经过两次3×3的卷积层，其中最后一次卷积层的卷积核为C2，因此得到的特征图维度为H×W×C2。
池化层则不会改变通道维度，仅仅将特征图宽度以及高度降低两倍，最终得到维度为4×20×c的图片特征，然后分别将其经过全局平均池化层得到图片真假的预测结果，另外图片特征经过卷积核为4×1×n的卷积层得到了维度为1×20×n的图片字符的预测结果。图片真假的预测结果通过第一损失函数训练，字符预测结果则采用第二损失函数训练，图片真假和字符识别的损失之和为所述判别网络的损失。作为优选，第一损失函数为softmax损失函数，所述第二损失函数为CTC损失函数。
S3、输入目标车牌字符，所述目标车牌字符与随机噪声被传送到生成网络，得到目标车牌图片。
在一些具体实施方式中，语义器为一文字识别模型，通过卷积网络实现，优选的，采用LSTM(Long Short-Term Memory，长短期记忆)网络。由于通过LSTM网络进行语义特征提取属于现有技术，而本发明的创新之处不在于此，故不再进行详细描述。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.基于生成对抗网络的车牌图片生成方法，其特征在于，包括以下步骤，
S1、构建生成对抗网络模型，包括生成网络和判别网络；
S2、对所述生成对抗网络模型进行训练，包括：
S21、通过将样本车牌的字符输入语义器，提取字符特征，再将所述字符特征和随机噪声作为生成网络的输入，生成车牌图片作为训练集；
S22、将真实的车牌图片与生成的车牌图片发送至判别网络，判断图片真假以及字符识别结果；
S23、更新生成网络和判别网络的参数；
S24、重复步骤S21～S23，直到判别网络的损失不收敛；
S3、输入目标车牌字符，所述目标车牌字符与随机噪声被传送到生成网络，得到目标车牌图片。
2.根据权利要求1所述的基于生成对抗网络的车牌图片生成方法，其特征在于，所述语义器为一文字识别模型，通过卷积网络实现。
3.根据权利要求1所述的基于生成对抗网络的车牌图片生成方法，其特征在于，所述生成网络依次包括全连接层、上采样层、激活层和卷积层，还包括基于词向量的空间调整层，对所述全连接层、所述上采样层的输出进行监督。
4.根据权利要求1所述的基于生成对抗网络的车牌图片生成方法，其特征在于，所述将所述字符特征和随机噪声作为生成网络的输入，生成车牌图片具体为，将字符特征向量作为监督量，随机噪声经过生成网络中的全连接层得到二维空间向量，接着经过多次上采样得到与字符特征尺寸相同的车牌图片。
5.根据权利要求1所述的基于生成对抗网络的车牌图片生成方法，其特征在于，步骤S22之后还包括S22'、对图片真假的结果采用第一损失函数进行训练，对字符识别结果采用第二损失函数进行训练，图片真假和字符识别的损失之和为所述判别网络的损失。
6.根据权利要求5所述的基于生成对抗网络的车牌图片生成方法，其特征在于，所述第一损失函数为softmax损失函数，所述第二损失函数为CTC损失函数。
7.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111042570.3A CN113743317A (zh) | 2021-09-07 | 2021-09-07 | 基于生成对抗网络的车牌图片生成方法、介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111042570.3A CN113743317A (zh) | 2021-09-07 | 2021-09-07 | 基于生成对抗网络的车牌图片生成方法、介质和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113743317A true CN113743317A (zh) | 2021-12-03 |
Family
ID=78736504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111042570.3A Withdrawn CN113743317A (zh) | 2021-09-07 | 2021-09-07 | 基于生成对抗网络的车牌图片生成方法、介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743317A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114267036A (zh) * | 2021-12-25 | 2022-04-01 | 福州大学 | 基于生成对抗网络的车牌生成方法 |
| CN114529897A (zh) * | 2022-04-24 | 2022-05-24 | 浙江大华技术股份有限公司 | 牌照生成方法、电子设备及存储介质 |
-
2021
- 2021-09-07 CN CN202111042570.3A patent/CN113743317A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114267036A (zh) * | 2021-12-25 | 2022-04-01 | 福州大学 | 基于生成对抗网络的车牌生成方法 |
| CN114529897A (zh) * | 2022-04-24 | 2022-05-24 | 浙江大华技术股份有限公司 | 牌照生成方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112052886A (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN113743317A (zh) | 基于生成对抗网络的车牌图片生成方法、介质和设备 | |
| CN113435509B (zh) | 基于元学习的小样本场景分类识别方法及系统 | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN113254927B (zh) | 一种基于网络防御的模型处理方法、装置及存储介质 | |
| US10832180B2 (en) | Artificial intelligence system that employs windowed cellular automata to create plausible alternatives | |
| CN114019467A (zh) | 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法 | |
| CN113837942A (zh) | 基于srgan的超分辨率图像生成方法、装置、设备及存储介质 | |
| CN111357051A (zh) | 语音情感识别方法、智能装置和计算机可读存储介质 | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN115830387A (zh) | 一种模型训练方法、训练装置、分类方法及分类装置 | |
| CN112613356A (zh) | 一种基于深度注意力融合网络的动作检测方法及装置 | |
| CN113608881B (zh) | 内存分配方法、装置、设备、可读存储介质及程序产品 | |
| CN111091102B (zh) | 一种视频分析装置、服务器、系统及保护身份隐私的方法 | |
| CN110866609A (zh) | 解释信息获取方法、装置、服务器和存储介质 | |
| KR102393761B1 (ko) | 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템 | |
| CN114724245A (zh) | 基于csi的增量学习人体动作识别方法 | |
| CN115019102A (zh) | 一种对抗样本生成模型的构建方法及应用 | |
| CN113343924A (zh) | 一种基于多尺度循环谱特征和自注意力生成对抗网络的调制信号识别方法 | |
| CN113012072A (zh) | 一种基于注意力网络的图像运动去模糊方法 | |
| CN117079058B (zh) | 图像处理方法和装置、存储介质及电子设备 | |
| Zacher | Temporal Convolutional Neural Networks for Device Discrimination | |
| KR20230002041A (ko) | 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템 | |
| CN116881122A (zh) | 测试案例生成方法、装置、设备、存储介质和程序产品 | |
| CN115131200A (zh) | 一种图像处理方法、系统及存储介质和终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211203 |
|
| WW01 | Invention patent application withdrawn after publication |