CN108122209B - 一种基于对抗生成网络的车牌去模糊方法 - Google Patents

一种基于对抗生成网络的车牌去模糊方法 Download PDF

Info

Publication number
CN108122209B
CN108122209B CN201711337768.8A CN201711337768A CN108122209B CN 108122209 B CN108122209 B CN 108122209B CN 201711337768 A CN201711337768 A CN 201711337768A CN 108122209 B CN108122209 B CN 108122209B
Authority
CN
China
Prior art keywords
network
license plate
loss
picture
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711337768.8A
Other languages
English (en)
Other versions
CN108122209A (zh
Inventor
尚凌辉
顾亚风
林国锡
王弘玥
张兆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jiehuixin Digital Technology Co.,Ltd.
Original Assignee
Zhejiang Icare Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Icare Vision Technology Co ltd filed Critical Zhejiang Icare Vision Technology Co ltd
Priority to CN201711337768.8A priority Critical patent/CN108122209B/zh
Publication of CN108122209A publication Critical patent/CN108122209A/zh
Application granted granted Critical
Publication of CN108122209B publication Critical patent/CN108122209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于对抗生成网络的车牌去模糊方法。本发明改变了BEGAN网络中生成网络的结构，使该网络能够以图片作为输入，并且输出同样大小的图片。同时在BEGAN网络结构中新增加一个车牌识别网络，将生成网络恢复出的图片输入该网络得到识别损失值，用于生成网络的训练。通过对BEGAN网络的网络结构进行改进，并经过训练，使网络可以实现在一定尺度范围内直接输入模糊车牌，得到其清晰车牌，并且视觉效果和真实车牌十分接近。另外，对BEGAN网络结构进行改进，加入车牌号码识别网络，使生成的清晰车牌号码识别率高。

Description

一种基于对抗生成网络的车牌去模糊方法
技术领域
本发明属于视频监控技术领域，涉及一种基于对抗生成网络的车牌去模糊方法。
背景技术
在现实世界中，图像采集设备和目标物之间如果存在相对运动，采集到的图像会有运动模糊现象。这种运动模糊会给交通管理带来诸多不便，例如车牌的定位和识别，当违章车辆的速度较快，采集到的车牌图像一般是模糊的，无法准确判断车辆信息，为交通执法提供依据。为了能够看清楚车牌图像，从而便于识别超速、闯红灯等违法行为，对模糊车牌进行去运动模糊处理、同时提高车牌图像质量具有十分重要的现实意义。
目前常用方法为通过估计模糊核尺寸进行估计，再通过逆卷积实现去模糊：
1.例如专利CN201710316939.2：一种应用于车牌检测的图像去模糊方法及系统，其通过点传输函数对模糊核进行估计，然后实现对车牌的去模糊。
2.例如专利CN201611194120.5：模糊核获取以及图像去模糊方法及装置，通过将模糊图像映射到倒谱域，根据倒谱图像估计模糊类别，在对模糊核进行估计。
3.例如专利CN201710159744.1基于L0正则化和模糊核后处理的图像盲去模糊的方法，在图像复原的最优化模型中引入关于图像梯度、模糊核像素以及模糊核梯度稀疏性的先验信息，对最优化计算得到的模糊核进行后处理，提高图像复原质量。
以上方法都通过估计模糊核对图像进行复原，如果应用于视频中的运动模糊车牌，图像另外还有噪声及图像编解码的影响，恢复出的车牌会产生振铃效应，视觉效果差，并且在噪声很大等极端情况下，难以恢复出可辨的号码。
发明内容
本发明针对现有技术的不足，提供了一种基于对抗生成网络的车牌去模糊方法。
本发明解决技术问题所采取的技术方案为：
一种基于对抗生成网络的车牌去模糊方法，所述的对抗生成网络包括：
生成网络，即G网络，其输入为模糊车牌图片，输出去模糊后同样大小的图片；
判别网络，即D网络，其输入分别来自于生成网络G的输出和清晰车牌图片；
车牌识别网络，即R网络, 其输入分别来自于生成网络G的输出,输出损失函数值R-loss；
该方法包括如下步骤：
先对上述对抗生成网络进行训练，包括：
（1）将运动模糊的车牌图片X输入G网络，输出G(x)，然后将G(x)和其相对应的清晰车牌图片X_real分别输入D网络，由对抗生成网络的损失函数计算方法得到损失函数值G-loss和D-loss，分别用于更新G网络和D网络。
（2）将G(x)输入车牌识别网络进行车牌识别，得到损失函数值R-loss；然后将损失函数值G-loss和R-loss相加，一起去更新G网络，用损失函数值D-loss更新D网络。
（3）通过不断输入(X,X_real)图片对，更新G网络和D网络，使得G网络收敛。
依据上述训练好的抗生成网络，将模糊车牌从视频中截取出来，缩放到规定尺寸，然后输入G网络，便可直接得到清晰的车牌G(x)。
本发明的有益效果：
1.可以实现一定范围内的车牌自动去模糊：输入模糊车牌，输出清晰车牌。
2.恢复出来的车牌号码识别率高。
3.恢复出的车牌图像视觉效果好，和真实车牌视觉效果十分接近。
4.无需指定模糊长度和角度，直接将模糊车牌图片输入网络，即可输出恢复后的车牌图片。
附图说明
图1为BEGAN网络结构图；
图2a为原始图；
图2b为利用传统方法对图2a去模糊处理后的图；
图2c为利用本发明方法对图2a去模糊处理后的图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
如图1所示，先对本发明所改进的BEGAN网络结构图作出说明：本发明改变了BEGAN网络中生成网络的结构，使该网络能够以图片作为输入，并且输出同样大小的图片。同时在BEGAN网络结构中新增加一个车牌识别网络，将生成网络恢复出的图片输入该网络得到识别损失值，用于生成网络的训练。具体是：
X为输入的模糊车牌图片；G为BEGAN网络中的生成网络，D为BEGAN网络中的判别网络；G(x)为G网络的输出，即去模糊后的车牌图片；X_real为与X对应的清晰车牌，用于训练；R为对G(x)进行车牌识别的网络；R-loss为对车牌进行识别得到损失函数值。
本发明需要先对上述网络模型进行训练，具体为：
（1）将运动模糊的车牌图片x输入G网络，输出G(x)，然后将G(x)和其相对应的清晰车牌图片X_real分别输入D网络由BEGAN网络的损失函数计算方法得到损失函数值G-loss和D-loss分别用于更新G和D。
（2）将G(x)输入车牌识别网络进行车牌识别，得到损失函数值：R-loss。然后将G-loss和R-loss相加，一起去更新G网络，用D-loss更新D网络。
其中利用R网络计算R-loss的具体做法为：根据X中每个字符的坐标信息(左上角和右下角坐标)，将每个字符分别输入R网络计算各字符的loss，然后将车牌上的所有字符的loss相加做为R-loss。R网络结构采用Lenet5网络。
（3）通过不断输入(X,X_real)图片对，更新G网络和D网络，使得最终收敛好的G网络不仅在视觉上和真实车牌相似，而且恢复出的车牌号码十分准确。
本实施例中网络训练集中的车牌大小为88*40，模糊范围为1-35像素长度，20-160角度。
训练完成之后就可以进行正常的去模糊操作了，在使用时，将模糊车牌从视频中截取出来，缩放到88*40尺寸，然后输入G网络，便直接得到清晰的车牌G(x)。
为了验证本实施例的效果，将传统方法与本发明作对比，见图2a的原始图，及利用传统方法去模糊处理后的图2b及本发明方法去模糊处理后的图2c。
传统方法：人工给定模糊长度和方向，通过维纳滤波去模糊；
本发明方法：无需人工给定长度和方向，直接将模糊车牌输入G网络，得到清晰的车牌G(x)。
综上，通过对BEGAN网络的网络结构进行改进，通过训练，使网络可以实现在一定尺度范围内直接输入模糊车牌，得到其清晰车牌，并且视觉效果和真实车牌十分接近。另外，对BEGAN网络结构进行改进，加入车牌号码识别网络，使生成的清晰车牌号码识别率高。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (3)

1.一种基于对抗生成网络的车牌去模糊方法，其特征在于：所述的对抗生成网络包括：
生成网络，即G网络，其输入为模糊车牌图片，输出去模糊后同样大小的图片；
判别网络，即D网络，其输入分别来自于生成网络G的输出和清晰车牌图片；
车牌识别网络，即R网络，其输入分别来自于生成网络G的输出，输出损失函数值R-loss；
该方法包括如下步骤：
先对上述对抗生成网络进行训练，包括：
（1）将运动模糊的车牌图片X输入G网络，输出G(x)，然后将G(x)和其相对应的清晰车牌图片X_real分别输入D网络，由对抗生成网络的损失函数计算方法得到损失函数值G-loss和D-loss；
（2）将G(x)输入车牌识别网络进行车牌识别，得到损失函数值R-loss；然后将损失函数值G-loss和R-loss相加，一起去更新G网络，用损失函数值D-loss更新D网络；
（3）通过不断输入车牌图片X和其相对应的清晰车牌图片X_real图片对，更新G网络和D网络，使得G网络收敛；
依据上述训练好的对抗生成网络，将模糊车牌从视频中截取出来，缩放到规定尺寸，然后输入G网络，便可直接得到清晰的车牌G(x)。
2.根据权利要求1所述的一种基于对抗生成网络的车牌去模糊方法，其特征在于：利用R网络计算损失函数值R-loss具体是：确定运动模糊的车牌图片X中每个字符的坐标信息，将每个字符分别输入R网络计算各字符的loss，然后将车牌上的所有字符的loss相加做为损失函数值R-loss。
3.根据权利要求2所述的一种基于对抗生成网络的车牌去模糊方法，其特征在于：所述的R网络结构采用Lenet5网络。
CN201711337768.8A 2017-12-14 2017-12-14 一种基于对抗生成网络的车牌去模糊方法 Active CN108122209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711337768.8A CN108122209B (zh) 2017-12-14 2017-12-14 一种基于对抗生成网络的车牌去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711337768.8A CN108122209B (zh) 2017-12-14 2017-12-14 一种基于对抗生成网络的车牌去模糊方法

Publications (2)

Publication Number Publication Date
CN108122209A CN108122209A (zh) 2018-06-05
CN108122209B true CN108122209B (zh) 2020-05-15

Family

ID=62229975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711337768.8A Active CN108122209B (zh) 2017-12-14 2017-12-14 一种基于对抗生成网络的车牌去模糊方法

Country Status (1)

Country Link
CN (1) CN108122209B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027555B (zh) * 2018-10-09 2023-09-26 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN109934134A (zh) * 2019-02-28 2019-06-25 中山安信通机器人制造有限公司 识别车辆的方法、计算机装置以及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355191A (zh) * 2016-08-12 2017-01-25 清华大学 一种深度生成网络随机训练算法及装置
CN106683048A (zh) * 2016-11-30 2017-05-17 浙江宇视科技有限公司 一种图像超分辨率方法及设备
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107274358A (zh) * 2017-05-23 2017-10-20 广东工业大学 基于cGAN算法的图像超分辨恢复技术
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN106355191A (zh) * 2016-08-12 2017-01-25 清华大学 一种深度生成网络随机训练算法及装置
CN106683048A (zh) * 2016-11-30 2017-05-17 浙江宇视科技有限公司 一种图像超分辨率方法及设备
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107274358A (zh) * 2017-05-23 2017-10-20 广东工业大学 基于cGAN算法的图像超分辨恢复技术
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BEGAN: Boundary Equilibrium Generative Adversarial Networks;David Berthelot,et.al;《https://arxiv.gg363.site/pdf/1703.10717.pdf》;20170531;第1-10页 *

Also Published As

Publication number Publication date
CN108122209A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
Li et al. Single image rain streak decomposition using layer priors
CN110120024B (zh) 图像处理的方法、装置、设备和存储介质
CN107220988B (zh) 基于改进canny算子的零部件图像边缘提取方法
CN102768760B (zh) 一种基于图像纹理的图像快速去雾方法
CN108122209B (zh) 一种基于对抗生成网络的车牌去模糊方法
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN104050637A (zh) 基于两次引导滤波的快速图像去雾方法
CN103020914A (zh) 基于空间连续性原理的快速图像去雾方法
CN104282003A (zh) 一种基于梯度筛选的数字模糊图像盲复原方法
CN113592776A (zh) 图像处理方法及装置、电子设备、存储介质
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN112991374A (zh) 基于Canny算法的边缘增强方法、装置、设备及存储介质
Malik et al. Llrnet: A multiscale subband learning approach for low light image restoration
CN114663352A (zh) 一种输电线路缺陷高精度检测方法、系统及存储介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Ding et al. Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN115841632A (zh) 输电线路提取方法、装置以及双目测距方法
CN115115546A (zh) 一种图像处理方法、系统、电子设备及可读存储介质
Wang et al. Fast visibility restoration using a single degradation image in scattering media
Abinaya et al. Rectify the blurred license plate image from fast moving vehicles using morphological process
CN110188601B (zh) 一种基于学习的机场遥感图像检测方法
CN113011293A (zh) 一种行道线参数实时提取方法
Kamanga An Adaptive Approach to Improve Canny Method for Edge Detection
CN110717873A (zh) 一种基于多尺度残差的交通标识去模糊检测识别算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231029

Address after: Room 319-2, 3rd Floor, Building 2, No. 262 Wantang Road, Xihu District, Hangzhou City, Zhejiang Province, 310012

Patentee after: Zhejiang Jiehuixin Digital Technology Co.,Ltd.

Address before: 311121 East Building, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right