CN110188752B - 监控视频下模糊车牌的去模糊识别系统及去模糊识别方法 - Google Patents

Abstract

本发明公开了一种监控视频下模糊车牌的去模糊识别系统及去模糊识别方法，系统包括：去模糊处理模块和图像识别模块，所述去模糊处理模块基于神经网络对模糊图像进行去模糊处理，并输出复原图像；所述图像识别模块通过调用API识别接口，对复原图像进行识别，输出车牌文本信息。方法包括如下步骤：1、构建图像去模糊模型；2、针对城市道路监控视频中由于车辆高速行驶造成的车牌模糊进行去模糊处理；3、对图像去模糊模型输出的复原图像进行批量识别，输出文本识别结果。本发明克服了现有深度学习中图片去模糊与识别系统的不足，训练时间少，识别率高，通过本系统处理车牌图片后应用于道路交通管理。

Description

监控视频下模糊车牌的去模糊识别系统及去模糊识别方法

技术领域

本发明涉及城市道路监控系统及监控方法，尤其涉及一种监控视频下模糊车牌的去模糊识别系统及去模糊识别方法。

背景技术

车牌去模糊与识别是图像处理的重要研究方向。随着近几年神经网络的技术推进，车牌识别技术已经趋于成熟，但是在车辆高速行驶的情况下仍存在识别率较低的情况，这将直接增加道路违章管理的难度，这就是车牌去模糊的来由。虽然目前图像去模糊的网络模型逐年增加，但仍然存在识别率低、训练复杂且耗时、输出结果不直观的缺点。

1989年LeCun等人提出第一个真正意义上的卷积神经网络LeNet，使这一技术正式走进研究人员视野。2012年Krizhevsky,Alex等人提出AlexNet网络之后，卷积神经网络更是得到急速发展。随后由Christian Szegedy等人在2014年提出的GoogLeNet致力于解决追求更优模型而增大网络规模将面临的两个问题：一是更容易出现过拟合，二是计算量的增加。

发明内容

发明目的：针对现有技术的问题，本发明的目的是提供一种将深度学习中卷积神经网络去模糊与API识别结合的监控视频下模糊车牌的去模糊识别系统，本发明的另一目的是基于去模糊识别系统，提供一种训练时间少、识别效率高的模糊车牌去模糊识别方法。

技术方案：一种监控视频下模糊车牌的去模糊识别系统，包括：

去模糊处理模块，基于神经网络对模糊图像进行去模糊处理，并输出复原图像；

图像识别模块，通过调用API识别接口，对复原图像进行识别，输出车牌文本信息。

所述去模糊处理模块包括卷积层与Residual Block模块，所述Residual Block模块包括两层卷积、ReLu激活和Mult系数，Residual Block模块在输出和输入之间引入一个shortcut connection。

一种采用如所述去模糊识别系统的模糊车牌去模糊识别方法，包括如下步骤：

步骤(1)、构建图像去模糊模型；

步骤(2)、针对城市道路监控视频中由于车辆高速行驶造成的车牌模糊进行去模糊处理；

步骤(3)、对图像去模糊模型输出的复原图像进行批量识别，输出文本识别结果。

所述步骤(1)具体包括如下内容：

(1.1)搭建Residual Block模块与卷积层构成的网络模型；

(1.2)对样本车牌图像进行训练，得到网络模型中权重与偏置；

(1.3)根据已训练Residual Block模块与卷积层构成的网络模型对模糊图像进行处理，输出同等大小的去模糊图像。

所述步骤(1.2)具体包括如下内容：

获取原始清晰车牌图像，叠加运动模糊与高斯模糊得到一组对应的模糊图像，一一对应连接清晰与模糊图像，并设置相关参数得到样本图像集；利用所述样本图像集训练网络进行训练。

所述步骤(3)中，基于API识别机制，编写其接口调用代码，识别复原图像，输出包括去模糊车牌中的文字内容及颜色信息的文本识别结果；当无法识别时，输出“未识别”。

有益效果

和现有技术相比，本发明克服了现有深度学习中图片去模糊与识别系统的不足，在保证识别率的前提下，显著减少了训练时间。

附图说明

图1是本发明提出的网络模型；

图2是本发明网络模型中的Residual Block模块；

图3(a)、图3(b)是数据集图像对，其中，3(a)为模糊图像，3(b)为原始清晰图像；

图4(a)为模糊测试图集部分样例，图4(b)、图4(c)为图4(a)图片对应的去模糊后所得测试结果；

图5为API识别结果；

图6为本方法模型训练过程中损失变化曲线；

图7(a)是模糊图像，图7(b)是DeblurGAN模型结果，图7(c)是本方法模型结果。

具体实施方式

本方法基于去模糊卷积神经网络和API识别接口调用，通过搭建卷积神经网络保留图片底层信息、特征提取完成图片的去模糊，用于解决城市道路监控视频中由于车辆高速行驶造成车牌模糊难以辨认影响交通管制的问题，运用图像去模糊模型输出的复原后的图像，运行API接口调用代码实现批量识别，以文本的形式输出去模糊车牌中的文字内容及颜色信息。目前，尚未发现如本发明所提出的将卷积神经网络去模糊与API识别结合的方法。

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程进行充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

一、去模糊部分

根据Residual Block模块与卷积层组成的网络模型实现城市道路监控视频中车牌去模糊，实现算法与具体操作叙述如下：

1、实现算法：

EDSR网络是NTIRE2017超分辨率挑战赛上获得冠军的方案。EDSR模型去除了SRResNet多余的模块批规范化处理(batch normalization,BN)操作，且跟SRResnet网络一样去除相加之后的Relu层激活。

图1是本发明提出的网络模型，图2是本发明网络模型中的Residual Block模块；本方法的网络模型由EDSR网络模型受启发构建。图像先经过步长为2，padding为2及64通道的卷积层计算，再经32层Residual Block特征提取后在下一个卷积层整合为3通道输出。

算法在ResBlock模块在输出与输入之间引入一个shortcut connection，这样既能预防由于过拟合而发生的准确率下降又能灵活调整不同情况下的网络深度。

对于每个Residual Block模块，设计为每一层256个特征通道，Conv1和Conv2卷积步长都为2，相应地设padding为1。为了预防训练过程引起数值的不稳定性，本算法采用Redisual Scaling的方式进行处理：在残差模块的最后一个卷积层的输出上乘以一个系数Mult＝0.1。利用激活函数ReLu一定程度上解决梯度消失问题，获得较快收敛速度；使网络稀疏性增加，从而增强网络泛化能力，在一定程度上缓解过拟合。

ReLu(x)＝max(o，x)

上式中，当x>0时，导数恒为1；当x≤0时，该层的输出为0。

2、具体操作：

(1)预处理实验数据

将所有车牌图像对预处理为大小是244*76且jpg.格式的样本，较小的图像用白色边框补足。其中，模糊车牌由MATLAB代码随机叠加运动模糊和高斯模糊得到。图3(a)、图3(b)展示了部分车牌图像对，其中图3(a)为处理后的模糊车牌，图3(b)为原始清晰图像。为改善文章视觉效果，本文在所选图像对外围增设浅色边框。

(2)模型训练

用数据集中97.3％的车牌图像对训练模型。采用向前传播的方法，由Restored模块保存每一次迭代后的模型参数做后一次的输入。考虑到本算法各车牌图像对之间字符组合各不相同，所以取batchsize＝1进行训练。图6为本方法模型训练过程中损失变化曲线，G-resnet是训练时本网络的名称，观察该曲线可以发现，经10个epoch后输入输出间的差值明显下降且随后大致保持在0-40。

(3)去模糊测试

模糊车牌图像去模糊实验使用的车牌图像训练和测试数据集来源于预处理后的车牌图像集，训练集1460对，测试集40张，输入的图像大小为244*76像素输出的是同等大小的去模糊图片和车牌内容文本。测试batchsize取1，最终的模型共训练60个epoch。训练后的模型同DeblurGAN模型进行比较，下面将对这一过程进行详细的介绍。

i.图4(a)—图4(c)是模糊车牌图像使用两种模型实验的测试结果图，其中，图4(a)是模糊图像，图4(b)是DeblurGAN模型结果，图4(c)是本方法模型结果。观察图中对应的结果发现利用本方法所提的模型复原的车牌图像与DeblurGAN模型复原效果各有优劣，总的来说我们模型复原的车牌图像在去除噪声，图像边缘清晰等方面总体优于DeblurGAN。

ii.复原车牌图像文字部分细节如图7(a)—图7(c)所示，其中，图7(a)是模糊图像，图7(b)是DeblurGAN模型结果，图7(c)是本方法模型结果。观察图中对应的结果发现利用本方法模型复原的车牌图像文字处理部分更清晰，DeblurGAN模型去模糊图片放大后有明显噪声影响视觉效果，本方法在复原复杂字符方面准确度较高，具有很高实用价值。

iii.为进行准确的客观评估，计算出本文模型PSNR为20.65dB，SSIM为0.76，效果较好。

二、API识别部分

依据一个API识别机制，编写其接口调用代码，输出文本识别结果算法具体叙述如下：

该识别算法没有像以往算法中对直接拍摄到的图片进行识别，我们运行API识别接口调用代码实现上述网络模型去模糊后的图片识别。

基于API接口调用源编写API调用代码，实现图片批量识别。API识别如图5所示，两个数据集分别为一张图片去模糊前后的识别结果对比。(a)为图片名称及类别，其中，real代表原始模糊图片，fake代表去模糊处理后输出的复原图像；(b)为文本识别内容，按车牌文字顺序横排输出，并设不能检测到图片中的文本信息时输出“未识别”，使代码结果返回更加清晰直观；第三项信息是车牌底色，通过底色可以初步判断大、小型汽车，普通、特殊类汽车，为交通管理提供便利。表1给出了不同模型在40张模糊测试车牌图像上去模糊后识别结果统计：

表1

本方法模型比模糊测试图片在识别正确率上提升了50％，比DeblurGAN模型提升了17.5％。综上，在处理模糊车牌图像问题时，本方法模型得到更优结果。

Claims (5)

1.一种监控视频下模糊车牌的去模糊识别系统，其特征在于，包括：

去模糊处理模块，基于卷积神经网络对模糊图像进行去模糊处理，并输出复原图像；

所述去模糊处理模块包括卷积层与Residual Block模块，所述Residual Block模块包括两层卷积、ReLu激活和Mult系数；

在去模糊处理模块图像先经过步长为2，padding为2的64通道的卷积层计算，再经32层Residual Block特征提取后在下一个卷积层整合为3通道输出；

对于每个Residual Block模块，设计为每一层256个特征通道，Conv1和Conv2卷积步长都为2，相应地设padding为1，在残差模块的最后一个卷积层的输出上乘以一个系数Mult，利用激活函数ReLu获得较快收敛速度；

ReLu(x)＝max(o，x)

上式中，当x>0时，导数恒为1；当x≤0时，该层的输出为0；

图像识别模块，通过调用API识别接口，对复原图像进行识别，输出车牌文本信息；基于API接口调用源编写API调用代码，实现图片批量识别。

2.根据权利要求1所述的监控视频下模糊车牌的去模糊识别系统，其特征在于：所述Residual Block模块在输出和输入之间引入一个shortcut connection。

3.一种采用如权利要求1-2任一所述去模糊识别系统的模糊车牌去模糊识别方法，其特征在于，包括如下步骤：

步骤(1)、构建图像去模糊模型；

所述步骤(1)具体包括如下内容：

(1.1)搭建Residual Block模块与卷积层构成的网络模型；

图像先经过步长为2，padding为2的64通道的卷积层计算，再经32层Residual Block特征提取后在下一个卷积层整合为3通道输出；

对于每个Residual Block模块，设计为每一层256个特征通道，Conv1和Conv2卷积步长都为2，相应地设padding为1，在残差模块的最后一个卷积层的输出上乘以一个系数Mult，利用激活函数ReLu获得较快收敛速度；

ReLu(x)＝max(o，x)

上式中，当x>0时，导数恒为1；当x≤0时，该层的输出为0；

(1.2)对样本车牌图像进行训练，得到网络模型中权重与偏置；

(1.3)根据已训练Residual Block模块与卷积层构成的网络模型对模糊图像进行处理，输出同等大小的去模糊图像；

步骤(2)、针对城市道路监控视频中由于车辆高速行驶造成的车牌模糊进行去模糊处理；

步骤(3)、对图像去模糊模型输出的复原图像进行批量识别，输出文本识别结果；

图像识别模块，通过调用API识别接口，对复原图像进行识别，输出车牌文本信息。

4.根据权利要求3所述的模糊车牌去模糊识别方法，其特征在于：所述步骤(1.2)具体包括如下内容：

获取原始清晰车牌图像，叠加运动模糊与高斯模糊得到一组对应的模糊图像，一一对应连接清晰与模糊图像，并设置相关参数得到样本图像集；

利用所述样本图像集训练网络进行训练。

5.根据权利要求3所述的模糊车牌去模糊识别方法，其特征在于，所述步骤(3)中，基于API识别机制，编写其接口调用代码，识别复原图像，输出包括去模糊车牌中的文字内容及颜色信息的文本识别结果；当无法识别时，输出“未识别”。