CN107480772B - 一种基于深度学习的车牌超分辨率处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的车牌超分辨率处理方法及系统，包括从原始压缩监控视频获取一系列包含车牌信息的图像；然后对其中的兴趣目标进行跟踪；选取若干个兴趣点并以截取图像，对这些图像进行配准；利用深度学习训练库，获取相应的深度网络权重，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。本发明使用超分辨率深度网络模型和梯度引导网络模型进行共同优化的策略学习出高压缩监控视频中降质字符和清晰字符间的内在关系，通过一个共同深度网络实现超分辨率和去块效应的效果，提升了降质字符的分辨率并去除块效应，解决了高压缩监控视频中车牌字符无法看清的问题。

Description

一种基于深度学习的车牌超分辨率处理方法及系统

技术领域

本发明涉及一种数字视频图像处理方法，尤其涉及一种基于深度学习的车牌超分辨率处理方法及系统。

背景技术

近年来，我国己经进入了社会高速发展期，国内安全形势严峻。为了维护社会稳定，保障人民生命财产安全，国家投入3000个亿的资金在全国多个城市实施平安城市视频监控工程，建立了较为完善的视频监控体系。监控摄像头拍摄并记录下了所在监控区域过去、现在所发生的各种情景。一方面为日后的各种刑事侦查留下线索、民事纠纷留下证据，另一方面震慑了各种犯罪分子，防止进行各项犯罪活动。车牌是监控视频当中，最有价值的观察目标，是很多视频监控应用中较为注重的部分。但是实际情况中，很多压缩监控视频中的车牌往往模糊不清，而造成车牌信息无法通过肉眼看清的主要原因有：一、摄像头和目标车辆的距离太远，导致车牌的有效分辨率不足；二、往往对监控视频进行一定的压缩以减少存储空间并方便存储，导致监控视频质量下降。因成像条件和压缩所引起的车牌画质低，无法通过肉眼直接观察得到信息的问题亟待解决，从监控视频当中提取清晰、高质量的车牌图像，不但能够为人们提供有价值的线索也能为日后的司法审判提供直接、间接的证据。由此可见，压缩监控视频中车牌超分辨率算法研究将在刑事侦查、交通肇事、车辆监测等领域拥有广阔的前景。

已有的压缩视频超分辨率算法基本上是首先分析压缩视频的降质过程、建立相应的降质模型并采用基于重构的方法进行超分辨率重建。对于这类方法而言，在压缩率较低的情况下，还能取得较好的处理效果，但随着压缩率进一步增大，效果变差甚至远低于原始视频。这些算法将量化噪声转换为随机噪声进行建模，而在压缩率较低的情况压缩图像和损失信息的相关性不明显，可以用随机噪声进行描述；当压缩率较高时，压缩图像和损失信息相关性较强，即量化噪声的分布和图像内容的分布具有直接相关的关系，再用随机噪声去建模便变的不适用。

近两年随着人工智能的飞速发展，深度学习已经从高层识别、分类等计算机视觉向低层的去噪、去模糊、超分辨率等图像处理领域发展。基于深度学习的超分辨率技术开始于2014年，由香港中文大学董超首次使用了四层卷积神经网络进行图像的超分辨率研究。但是已有的基于深度学习的超分辨率技术皆知考虑了理想图像、视频的超分辨率，对于高压缩图像、视频的研究还很少。学术界更多的是将超分辨率和去块效应问题分为两个问题解决，也涌现一些优秀的基于深度学习的超分辨率算法和基于深度学习的去块效应算法。但是从已有的研究上看，其实超分辨率问题和去块效应问题可以统一到一个网络模型中并加以解决，也是本发明的创新点。一方面董超在自己的四层超分辨率模型SRCNN上增加了一层，提出了ARCNN模型以解决图像的去块效应问题。另一方面，张凯提出了DnCNN去噪模型，为了证明该模型的普适性，作者将之用于超分辨率和去块效应的问题的处理，也取得较好的重建效果。由以上两点可知，完全有可能将超分辨率和去块效应应用到同个深度网络。所以研究如何使用深度学习的方式对压缩视频进行超分辨率处理并同时解决超分辨率和去块效应问题就变得非常有意义。

发明内容

本发明的目的在于提供一种基于深度学习的车牌超分辨率处理方法及系统，能够适用于高压缩率监控视频中车牌的复原。

本发明提供的技术方案为：一种基于深度学习的车牌超分辨率处理方法，包括：

(1)从原始压缩监控视频中获取n帧包含车牌信息的图像{J_i}；获取的方式随输入视频的具体格式而定，可按各种视频格式的标准进行，经过处理的视频各帧内容信息{J_i}均可独立进行超分辨率处理：

针对压缩后的视频，如wmv,avi,mp4等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧{J_i}，则直接对其进行超分辨率处理；

针对以RGB格式存在的目标视频帧{J_i}，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧{J_i}，则同样将其划分为相应的各个通道分别进行超分辨率处理；

在获得一系列各帧视频内容信息{J_i}后，可以选择只包含目标车牌的最后N帧序列，又可以是整个视频序列的所有帧数。

(2)对各帧图像J_i进行目标检测，分别获得各帧图像的目标区域；

选择需要提取的兴趣目标，该兴趣目标可以是车牌附近区域、也可以是车脸区域、也可以是包含整辆车的区域；

目标检测的方法可以是寻找符合车牌颜色的区域、也可以寻找符合车牌长宽比的矩形区域、甚至是寻找符合车牌颜色区域又符合车牌长宽比的矩形区域；

目标检测的方法也可以是使用R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO等基于深度学习的目标检测算法去检测兴趣目标。

(3)在各个目标区域中选取兴趣点，获得兴趣点轨迹；

首先，对检测出的兴趣目标选取兴趣点；兴趣点的选取可选取兴趣目标的中心点，可选取车牌的角点也可使用特征点提取算法提取出兴趣目标的特征点作为兴趣点；

其次，对特定兴趣目标提取相应的兴趣点集合并进行轨迹拟合，最后计算相应的运动方程作为后续的初始值；其中兴趣点集合的提取可采用聚类的方法，也可以采用前后帧中兴趣点的距离在一定阈值范围内的方法来判断兴趣点是否属于同一个目标；其中距离可以采用欧式距离、棋盘距离等；其中阈值的选取根据实际情况而定，一般设置在0～30像素；轨迹拟合可以选用n次拟合；n代表拟合次数，根据目标具体运动特性而定，n可取值为0～100；

最后，对同一兴趣点集合内的兴趣点进行目标跟踪；跟踪算法可选用Kalman滤波算法，可选用粒子滤波算法也可以选用贝叶斯滤波算法；

(4)选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准；

首先，选取精细化后的轨迹上的若干兴趣点；这些兴趣点即可以位于轨迹的起始几帧、可以位于中间几帧也可以位于几帧；兴趣点个数即可以是奇数也可以是偶数，通常取1～20；

其次，选取若干兴趣点后截取其一定区域内的图像；该区域即可以是人为规定的M*N大小区域，其中M一般取15～50像素，N一般取30～100像素；也可以通过颜色信息判断出的符合车牌颜色的区域；区域的形状即可以是矩形的也可以是圆形甚至可以是三角形；

最后，对截取的多帧图像进行配准；先通过运动估计求取各帧参考帧相对于待超分辨率帧的运动矢量，运动估计可通过光流法运动估计方法、块匹配运动估计、基于特征的运动估计方法等运动估计方法实现；再利用得到的运动矢量通过插值重建的方法将各参考帧和待超分辨率帧相配准，插值重建可以使用最近邻插值、双线性二次插值、双线性三次插值、Lanczos插值算法等；

(5)使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。

所述深度网络权重通过以下方法训练得到：

(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得。具体如下：

首先，收集清晰监控视频，对其进行不同压缩比压缩和不同分辨率下采样得到降质视频。其中压缩比QP在0～51之间任意取值，下采样倍率随原始视频中车牌的分辨率而定，一般降为原始视频分辨率的二分之一、三分之一、四分之一、五分之一等；

其次，提取原始清晰视频中的车牌，可以采用基于颜色定位的车牌定位方法也可以采用基于边缘比例的车牌定位方法，也可以采用两者结合的车牌定位方法；

最后，对定位出的车牌提取相应的字符，通过坐标映射的方式得到不同分辨率、压缩比的低质和清晰字符训练集合；其中抠取的字符个数可以是奇数也可以是偶数，通常取值为1～7个；

(5.2)使用超分辨率网络模型和梯度引导网络模型对步骤5.1的训练库进行优化训练，获取相应的深度网络权重；其中，模型可以采用LSTM、卷积神经网络；采取卷积神经网络时，可以采用生成对抗网络，也可以使用残差网络；采用残差网络时，使用n组并行的输入输出串联残差网络提取字符特征，一般取1～16；该模型可以采用卷积神经网络；有关梯度图可以使用Canny、Sobel、Roberts、Lapacian等算子提取清晰字符梯度，但不限定这些算子进行梯度提取；

超分辨率网络模型的损失函数为:

其中W_s表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本。{I_l}ⁱ为第i批样本中的低质样本集合，

表示第i批样本中的的高分辨率样本，F({I_l}ⁱ,W_s)为重建出的高分辨率字符。

梯度引导网络模型的损失函数为：

其中G_i为训练出的权重引导图，W_g表示梯度引导网络模型的权重，

为第i批样本中的任一低质样本，

为重建出的权重引导图；最终的损失函数为：

L(W)＝L₁(W_s)+λL₂(W_g)

其中λ为相应的平衡因子。选取使得损失函数最小的深度网络权重W，W＝W_s+W_g。

本发明还公开了一种压缩监控视频中车牌的超分辨率处理系统，其特征在于：包括：

用于对原始压缩监控视频进行处理，获取一系列各帧视频内容信息{J_i}的输入视频处理模块；包括：视频处理单元，读取待处理视频，识别视频格式并进行相应的处理；视频帧缓存单元，将分离获得的视频内容信息{J_i}进行缓存；目标视频帧提取单元，获取一些列待处理的目标视频帧；

用于对各帧视频内容信息J_i中的兴趣目标进行目标检测的目标检测模块；包括：目标选择单元，用于选取兴趣目标以方便后续进行检测；目标检测单元，对提取的目标进行目标检测；

用于对兴趣目标进行跟踪获得兴趣点轨迹的目标跟踪模块；包括：兴趣点提取单元，用于提取兴趣目标上的兴趣点；兴趣点集合提取单元，用于提取同个目标在不同时间的兴趣点；轨迹拟合单元，用于对兴趣点集合进行轨迹拟合并计算相应的初始参数值；目标跟踪单元，对兴趣点集合内的兴趣点进行跟踪以便对轨迹进一步精细化；

用于选取轨迹中的若干个兴趣点并以该兴趣点为中心图像，对这些图像进行配准的配准模块；包括：兴趣点抽取单元，用于抽取精细化后轨迹上的兴趣点；区域图像截取单元，用于截取兴趣点一定范围内的图像；运动估计单元，用于求取待超分辨率帧和参考帧之间的运动矢量；插值重建单元，用于使用求取得到的运动矢量对参考帧进行插值重建和待超分辨率帧相配准；

用于使用相应的深度网络对训练库进行优化训练，获取相应的深度网络权重的训练模块；包括：压缩、下采样单元，用于对原始视频进行压缩、下采样得到降质视频；车牌提取单元，用于提取原始和降质视频上的车牌；字符分割单元，用于分割原始、降质视频内车牌的字符；超分辨率单元，用于训练降质字符和清晰字符之间的内在关系；梯度引导单元，用于训练降质字符和清晰字符的梯度图将的内在关系；共同优化单元，用于共同优化超分辨率单元和梯度引导单元；

用于使用训练得到的深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I的图像重建模块。权重选取单元，用于选取令损失函数最小的模型权重；结果输出单元，用于根据模型权重处理并输出超分辨率视频。

与现有技术相比，本发明具有以下有益效果：本发明采用一种由粗到到精的逐步精细化配准方法，主要涉及检测、跟踪、配准等步骤；最终使得高压缩情况下的车牌也能达到理想的配准精度完全达到了超分辨率技术的配准要求；本发明还采用了一种基于深度学习技术的超分辨率学习框架，能够较为有效地学习出低质字符和清晰字符之间的有效映射关系，该框架不仅适用于低压缩的监控视频也适用于高压缩的监控视频，具有一定的鲁棒性。

附图说明

图1为本发明一种实施例的基于深度学习的压缩监控视频中车牌超分辨率方法流程图；

图2为本发明实施例的基于深度学习的压缩监控视频中车牌超分辨率方法的具体流程图；

图3为本发明的基于深度学习的压缩监控视频中车牌超分辨率装置的结构框图；

图4为本发明的基于深度学习的压缩监控视频中车牌超分辨率装置的具体结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

首先，对本发明实施例所提供的车牌超分辨率方法进行一个简单介绍：先从原始压缩监控视频中获取n帧包含车牌信息的图像{J_i}，再对各帧图像J_i进行目标检测，分别获得各帧图像的目标区域，再在各个目标区域中选取兴趣点，获得兴趣点轨迹，然后选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准，最终使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。其中深度网络权重先通过提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得；然后使用超分辨率网络模型和梯度引导网络模型对训练库进行优化训练，获取相应的深度网络权重

如图1所示，该处理方法主要包括以下步骤(步骤S102—S114)：

步骤S102，从原始压缩监控视频中获取n帧包含车牌信息的图像{J_i}。

步骤S104，对各帧图像J_i进行目标检测，分别获得各帧图像的目标区域。

步骤S106，在各个目标区域中选取兴趣点，获得兴趣点轨迹。

步骤S108，选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准。

步骤S1010，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。

步骤S1010中的深度网络权重通过步骤S1012和步骤S1014得到。

步骤S1012，提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得。

步骤S1014，使用超分辨率网络模型和梯度引导网络模型对训练库进行优化训练，获取相应的深度网络权重。

在本实施例中，从原始压缩监控视频中获取n帧包含车牌信息的图像{J_i}；获取的方式随输入视频的具体格式而定，可按各种视频格式的标准进行，经过处理的视频各帧内容信息{J_i}均可独立进行超分辨率处理，具体方法为：

针对压缩后的视频，如wmv,avi,mp4等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧{J_i}，则直接对其进行超分辨率处理；

针对以RGB格式存在的目标视频帧{J_i}，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧{J_i}，则同样将其划分为相应的各个通道分别进行超分辨率处理；

在获得一系列各帧视频内容信息{J_i}后，可以选择只包含目标车牌的最后N帧序列，又可以是整个视频序列的所有帧数。

在本实施例中，对各帧图像J_i进行目标检测，分别获得各帧图像的目标区域，其具体方法为：

选择需要提取的兴趣目标，该兴趣目标可以是车牌附近区域、也可以是车脸区域、也可以是包含整辆车的区域；

选择需要提取的兴趣目标，该兴趣目标可以是车牌附近区域、也可以是车脸区域、也可以是包含整辆车的区域；

目标检测的方法可以是寻找符合车牌颜色的区域、也可以寻找符合车牌长宽比的矩形区域、甚至是寻找符合车牌颜色区域又符合车牌长宽比的矩形区域；

目标检测的方法也可以是使用R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO等基于深度学习的目标检测算法去检测兴趣目标。

在实施例中，在各个目标区域中选取兴趣点，获得兴趣点轨迹，其具体方法为：

首先，对检测出的兴趣目标选取兴趣点；兴趣点的选取可选取兴趣目标的中心点，可选取车牌的角点也可使用特征点提取算法提取出兴趣目标的特征点作为兴趣点；

其次，对特定兴趣目标提取相应的兴趣点集合并进行轨迹拟合，最后计算相应的运动方程作为后续的初始值；其中兴趣点集合的提取可采用聚类的方法，也可以采用前后帧中兴趣点的距离在一定阈值范围内的方法来判断兴趣点是否属于同一个目标；其中距离可以采用欧式距离、棋盘距离等；其中阈值的选取根据实际情况而定，一般设置在0～30像素；轨迹拟合可以选用n次拟合；n代表拟合次数，根据目标具体运动特性而定，n可取值为0～100；

最后，对同一兴趣点集合内的兴趣点进行目标跟踪；跟踪算法可选用Kalman滤波算法，可选用粒子滤波算法也可以选用贝叶斯滤波算法；

在本实施例中，选选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准，其具体方法为：

首先，选取精细化后的轨迹上的若干兴趣点；这些兴趣点即可以位于轨迹的起始几帧、可以位于中间几帧也可以位于几帧；兴趣点个数即可以是奇数也可以是偶数，通常取1～20；

其次，选取若干兴趣点后截取其一定区域内的图像；该区域即可以是人为规定的M*N大小区域，其中M一般取15～50像素，N一般取30～100像素；也可以通过颜色信息判断出的符合车牌颜色的区域；区域的形状即可以是矩形的也可以是圆形甚至可以是三角形；

最后，对截取的多帧图像进行配准；先通过运动估计求取各帧参考帧相对于待超分辨率帧的运动矢量，运动估计可通过光流法运动估计方法、块匹配运动估计、基于特征的运动估计方法等运动估计方法实现；再利用得到的运动矢量通过插值重建的方法将各参考帧和待超分辨率帧相配准，插值重建可以使用最近邻插值、双线性二次插值、双线性三次插值、Lanczos插值算法等；

在本实施例中，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I，具体为：

其中深度网络权重通过以下方法训练得到：

(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得。具体如下：

首先，收集清晰监控视频，对其进行不同压缩比压缩和不同分辨率下采样得到降质视频。其中压缩比QP在0～51之间任意取值，下采样倍率随原始视频中车牌的分辨率而定，一般降为原始视频分辨率的二分之一、三分之一、四分之一、五分之一等；

其次，提取原始清晰视频中的车牌，可以采用基于颜色定位的车牌定位方法也可以采用基于边缘比例的车牌定位方法，也可以采用两者结合的车牌定位方法；

最后，对定位出的车牌提取相应的字符，通过坐标映射的方式得到不同分辨率、压缩比的低质和清晰字符训练集合；其中抠取的字符个数可以是奇数也可以是偶数，通常取值为1～7个；

(5.2)使用超分辨率网络模型和梯度引导网络模型对步骤5.1的训练库进行优化训练，获取相应的深度网络权重；其中，模型可以采用LSTM、卷积神经网络；采取卷积神经网络时，可以采用生成对抗网络，也可以使用残差网络；采用残差网络时，使用n组并行的输入输出串联残差网络提取字符特征，一般取1～16；该模型可以采用卷积神经网络；有关梯度图可以使用Canny、Sobel、Roberts、Lapacian等算子提取清晰字符梯度，但不限定这些算子进行梯度提取；

超分辨率网络模型的损失函数为:

其中W_s表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本。{I_l}ⁱ为第i批样本中的低质样本集合，

表示第i批样本中的的高分辨率样本，F({I_l}ⁱ,W_s)为重建出的高分辨率字符。

梯度引导网络模型的损失函数为：

其中G_i为训练出的权重引导图，W_g表示梯度引导网络模型的权重，

为第i批样本中的任一低质样本，

为重建出的权重引导图；最终的损失函数为：

L(W)＝L₁(W_s)+λL₂(W_g)

其中λ为相应的平衡因子。选取使得损失函数最小的深度网络权重W，W＝W_s+W_g。

结合图2(图1是根据本发明实施例的基于深度学习的压缩监控视频中车牌超分辨率方法流程图)以及优选实施例对上述实施例提供的基于深度学习的压缩监控视频中车牌超分辨率方法进行更加详细的说明。如图2所示，该流程包括以下步骤(步骤S202—步骤S2016)：

步骤S202，读入原始视频；

步骤S204，从原始压缩监控视频中获取n帧包含车牌信息的图像{J_i}；获取的方式随输入视频的具体格式而定，可按各种视频格式的标准进行，经过处理的视频各帧内容信息{J_i}均可独立进行超分辨率处理：

针对压缩后的视频，如wmv,avi,mp4等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧{J_i}，则直接对其进行超分辨率处理；

针对以RGB格式存在的目标视频帧{J_i}，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧{J_i}，则同样将其划分为相应的各个通道分别进行超分辨率处理；

在获得一系列各帧视频内容信息{J_i}后，可以选择只包含目标车牌的最后N帧序列，又可以是整个视频序列的所有帧数。

步骤S206，使用步骤S204得到的各帧图像J_i，分别获得各帧图像的目标区域：

选择需要提取的兴趣目标，该兴趣目标可以是车牌附近区域、也可以是车脸区域、也可以是包含整辆车的区域；

目标检测的方法可以是寻找符合车牌颜色的区域、也可以寻找符合车牌长宽比的矩形区域、甚至是寻找符合车牌颜色区域又符合车牌长宽比的矩形区域；

目标检测的方法也可以是使用R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO等基于深度学习的目标检测算法去检测兴趣目标。

步骤S208，使用步骤S206检测出的目标，在各个目标区域中选取兴趣点，获得兴趣点轨迹：

首先，对检测出的兴趣目标选取兴趣点；兴趣点的选取可选取兴趣目标的中心点，可选取车牌的角点也可使用特征点提取算法提取出兴趣目标的特征点作为兴趣点；

其次，对特定兴趣目标提取相应的兴趣点集合并进行轨迹拟合，最后计算相应的运动方程作为后续的初始值；其中兴趣点集合的提取可采用聚类的方法，也可以采用前后帧中兴趣点的距离在一定阈值范围内的方法来判断兴趣点是否属于同一个目标；其中距离可以采用欧式距离、棋盘距离等；其中阈值的选取根据实际情况而定，一般设置在0～30像素；轨迹拟合可以选用n次拟合；n代表拟合次数，根据目标具体运动特性而定，n可取值为0～100；

最后，对同一兴趣点集合内的兴趣点进行目标跟踪；跟踪算法可选用Kalman滤波算法，可选用粒子滤波算法也可以选用贝叶斯滤波算法；

步骤S2010，使用步骤S208得到的轨迹，选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准，具体为：

首先，选取精细化后的轨迹上的若干兴趣点；这些兴趣点即可以位于轨迹的起始几帧、可以位于中间几帧也可以位于几帧；兴趣点个数即可以是奇数也可以是偶数，通常取1～20；

其次，选取若干兴趣点后截取其一定区域内的图像；该区域即可以是人为规定的M*N大小区域，其中M一般取15～50像素，N一般取30～100像素；也可以通过颜色信息判断出的符合车牌颜色的区域；区域的形状即可以是矩形的也可以是圆形甚至可以是三角形；

最后，对截取的多帧图像进行配准；先通过运动估计求取各帧参考帧相对于待超分辨率帧的运动矢量，运动估计可通过光流法运动估计方法、块匹配运动估计、基于特征的运动估计方法等运动估计方法实现；再利用得到的运动矢量通过插值重建的方法将各参考帧和待超分辨率帧相配准，插值重建可以使用最近邻插值、双线性二次插值、双线性三次插值、Lanczos插值算法等；

步骤S2012，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。

其中深度网络权重通过以下步骤训练得到：

步骤S2014，收集清晰监控视频，对其进行不同压缩比压缩和不同分辨率下采样得到降质视频。其中压缩比QP在0～51之间任意取值，下采样倍率随原始视频中车牌的分辨率而定，一般降为原始视频分辨率的二分之一、三分之一、四分之一、五分之一等；

其次，提取原始清晰视频中的车牌，可以采用基于颜色定位的车牌定位方法也可以采用基于边缘比例的车牌定位方法，也可以采用两者结合的车牌定位方法；

最后，对定位出的车牌提取相应的字符，通过坐标映射的方式得到不同分辨率、压缩比的低质和清晰字符训练集合；其中抠取的字符个数可以是奇数也可以是偶数，通常取值为1～7个；

步骤S2016，对步骤S2014所获得的训练库进行优化训练，具体为：

获取相应的深度网络权重；其中，模型可以采用LSTM、卷积神经网络；采取卷积神经网络时，可以采用生成对抗网络，也可以使用残差网络；采用残差网络时，使用P组并行的输入输出串联残差网络提取字符特征，P的数值和输入的参考帧数有关，一般取1～16；该模型可以采用卷积神经网络；有关梯度图可以使用Canny、Sobel、Roberts、Lapacian等算子提取清晰字符梯度，但不限定这些算子进行梯度提取；

超分辨率网络模型的损失函数为:

其中W_s表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本。{I_l}ⁱ为第i批样本中的低质样本集合，

表示第i批样本中的的高分辨率样本，F({I_l}ⁱ,W_s)为重建出的高分辨率字符。

梯度引导网络模型的损失函数为：

其中G_i为训练出的权重引导图，W_g表示梯度引导网络模型的权重，

为第i批样本中的任一低质样本，

为重建出的权重引导图；最终的损失函数为：

L(W)＝L₁(W_s)+λL₂(W_g)

其中λ为相应的平衡因子。选取使得损失函数最小的深度网络权重W，W＝W_s+W_g。

图3是根据本发明实施例的基于深度学习的压缩监控视频中车牌超分辨率装置的结构框图，该装置用于实现上述实施例提供的一种基于深度学习的压缩监控视频中车牌超分辨率方法，如图3所示，该装置主要包括：输入视频处理模块10，目标检测模块20，目标跟踪模块30，配准模块40，训练模块50以及图像重建模块60。

其中，输入视频处理模块10，对原始压缩监控视频进行处理，获取一系列各帧视频内容信息{J_i}；目标检测模块20，连接至输入视频处理模块10，用于对各帧视频内容信息J_i中的兴趣目标进行目标检测；目标跟踪模块30，连接至目标检测模块20，用于对兴趣目标进行跟踪获得兴趣点轨迹；配准模块40，连接至目标跟踪模块30，用于选取轨迹中的若干个兴趣点并以该兴趣点为中心图像，对这些图像进行配准；训练模块50，用于使用相应的深度网络对训练库进行优化训练，获取相应的深度网络权重；配准模块40和训练模块50连接至图像重建模块60，用于使用训练得到的深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。

图4是根据本发明优选实施例的一种基于深度学习的压缩监控视频中车牌超分辨率装置的具体结构框图，如图4所示，该优选实施例提供的一种基于深度学习的压缩监控视频中车牌超分辨率装置中。

优选地，输入视频处理模块10还可以进一步包括：视频处理单元12，根据输入视频的格式决定相应的处理方法，具体为：

针对压缩后的视频，如wmv,avi,mp4等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧{J_i}，则直接对其进行超分辨率处理；

针对以RGB格式存在的目标视频帧{J_i}，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧{J_i}，则同样将其划分为相应的各个通道分别进行超分辨率处理；

视频帧缓存单元14，连接至视频处理单元12，将视频处理单元12处理得到的一系列各帧视频内容信息{J_i}进行缓存；

目标帧提取单元16，连接至视频帧缓存单元14，对一系列各帧视频内容信息{J_i}进行提取，可以选择只包含目标车牌的最后N帧序列，又可以是整个视频序列的所有帧数，但不限于此。

优选地，目标检测模块20还可以进一步包括：目标选择单元22，选择需要提取的兴趣目标，该兴趣目标可以是车牌附近区域、也可以是车脸区域、也可以是包含整辆车的区域；

目标检测单元24，连接至目标选择单元22，对提取的目标进行目标检测；目标检测的方法可以是寻找符合车牌颜色的区域、也可以寻找符合车牌长宽比的矩形区域、甚至是寻找符合车牌颜色区域又符合车牌长宽比的矩形区域，但不限于此；

目标检测的方法也可以是使用R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO等基于深度学习的目标检测算法去检测兴趣目标，但不限于此。

优选地，目标跟踪模块30还可以进一步包括兴趣点提取单元32，对检测出的兴趣目标选取兴趣点；兴趣点的选取可选取兴趣目标的中心点，可选取车牌的角点也可使用特征点提取算法提取出兴趣目标的特征点作为兴趣点；

兴趣点集合提取单元34，连接至兴趣点提取单元32，提取同个目标在不同时间中的兴趣点集合；兴趣点集合的提取可采用聚类的方法，也可以采用前后帧中兴趣点的距离在一定阈值范围内的方法来判断兴趣点是否属于同一个目标；其中距离可以采用欧式距离、棋盘距离等；其中阈值的选取根据实际情况而定，一般设置在0～30像素；

轨迹拟合单元34，连接至兴趣点集合提取单元36，对兴趣点集合进行轨迹拟合并计算相应的运动方程作为后续的初始值；轨迹拟合可以选用n次拟合；n代表拟合次数，根据目标具体运动特性而定，n可取值为0～100；

目标跟踪单元38，连接至轨迹拟合单元34，对同一兴趣点集合内的兴趣点进行目标跟踪；跟踪算法可选用Kalman滤波算法，可选用粒子滤波算法也可以选用贝叶斯滤波算法，但不限于此；

优选地，配准模块40还可以进一步包括兴趣点抽取单元42，选取精细化后的轨迹上的若干兴趣点；这些兴趣点即可以位于轨迹的起始几帧、可以位于中间几帧也可以位于几帧；

区域图像裁剪单元44，连接至兴趣点抽取单元42，截取若干兴趣点后截取其一定范围内的图像；该区域即可以是人为规定的M*N大小区域，其中M一般取15～50像素，N一般取30～100像素；也可以通过颜色信息判断出的符合车牌颜色的区域；区域的形状即可以是矩形的也可以是圆形甚至可以是三角形；

运动估计单元46，连接至区域图像裁剪单元44，通过运动估计求取待超分辨率帧和参考帧之间的运动矢量，运动估计可通过光流法运动估计方法、块匹配运动估计、基于特征的运动估计方法等运动估计方法实现，但不限于此；

插值重建单元48，连接至运动估计单元46，,使用求取得到的运动矢量对参考帧进行插值重建和待超分辨率帧相配准，插值重建可以使用最近邻插值、双线性二次插值、双线性三次插值、Lanczos插值算法等，但不限于此；

优选地，训练模块50还可以进一步包括压缩、下采样单元52，对原始视频进行压缩、下采样得到降质视频。其中压缩比QP在0～51之间任意取值，下采样倍率随原始视频中车牌的分辨率而定，一般降为原始视频分辨率的二分之一、三分之一、四分之一、五分之一等；

车牌提取单元54，连接至压缩、下采样单元52，用于提取原始和降质视频上的车牌，可以采用基于颜色定位的车牌定位方法也可以采用基于边缘比例的车牌定位方法，也可以采用两者结合的车牌定位方法；

字符分割单元56，连接至车牌提取单元54，对定位出的车牌提取相应的字符，通过坐标映射的方式得到不同分辨率、压缩比的低质和清晰字符训练集合；其中抠取的字符个数可以是奇数也可以是偶数，通常取值为1～7个；

超分辨率单元58，用于训练降质字符和清晰字符之间的内在关系，模型可以采用LSTM、卷积神经网络；采取卷积神经网络时，可以采用生成对抗网络，也可以使用残差网络；采用残差网络时，使用P组并行的输入输出串联残差网络提取字符特征，P的数值和输入的参考帧数有关，一般取1～16；使用Q各级联的递归残差网络对字符特征进一步精细化，Q的数值常取1～10；

梯度引导单元64，用于训练降质字符和清晰字符的梯度图将的内在关系，该模型可以采用卷积神经网络；有关梯度图可以使用Canny、Sobel、Roberts、Lapacian等算子提取清晰字符梯度，但不限定这些算子进行梯度提取；对提取出的字符梯度使用引导滤波、双边滤波等边缘保持的滤波器进一步精细化；

共同优化单元66，连接至超分辨率单元62和梯度引导单元64，用于共同优化超分辨率单元和梯度引导单元；

超分辨率网络的损失函数为:

其中W_s表示待学习的模型权重，N为训练样本的批数量。{I_l}ⁱ为第i组输入低分辨率字符序列，

表示第i个样本的高分辨率字符，F({I_l}ⁱ,W_s)为重建出的高分辨率字符；

梯度引导网络的损失函数为：

其中G_i为训练出的权重引导图，W_g表示待学习的模型权重，最终的损失函数为：

L(W)＝L₁(W_s)+λL₂(W_g)

其中λ为相应的平衡因子，常取值为0～1内任意小数，但不限定于此；

优选地，视频重建模块60还可以进一步包括权重选择单元62，选取使得损失函数最小的深度网络权重；

结果输出单元64，连接至权重选择单元62，用配准后的多帧图像为输入，使用选取的深度网络权重和深度网络进行前向传播；

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的车牌超分辨率处理方法，其特征在于，包括：

(1)从原始压缩监控视频中获取n帧包含车牌信息的图像{J_a}；

(2)对各帧图像J_a进行目标检测，分别获得各帧图像的目标区域；

(3)在各个目标区域中选取兴趣点，获得兴趣点轨迹；

(4)选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以截取图像中任一图像为待超分辨率帧，将该待超分辨率帧与剩余的截取图像进行配准；

(5)使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I；

所述深度网络权重通过以下方法训练得到：

(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得；

(5.2)使用超分辨率网络模型和梯度引导网络模型对步骤(5.1)的训练库进行优化训练，获取相应的深度网络权重；

其中，超分辨率网络模型的损失函数为:

其中W_s表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本， {I_l}ⁱ为第i批样本中的低质样本集合，

表示第i批样本中的高分辨率样本，F({I_l}ⁱ,W_s)为重建出的高分辨率字符；

梯度引导网络模型的损失函数为：

其中G_i为训练出的权重引导图，W_g表示梯度引导网络模型的权重，

为第i批样本中的任一低质样本，

为重建出的权重引导图；最终的损失函数为：

L(W)＝L₁(W_s)+λL₂(W_g)

其中λ为相应的平衡因子，选取使得最终损失函数最小的深度网络权重W，W包括W_s和W_g。

2.根据权利要求1所述的车牌超分辨率处理方法，其特征在于，所述步骤(5.1)中，压缩比QP在0～51之间任意取值，下采样倍率降为原始视频分辨率的0.2～0.5倍。

3.根据权利要求1所述的车牌超分辨率处理方法，其特征在于，所述超分辨率网络模型采用LSTM或卷积神经网络；其中卷积神经网络具体为卷积生成对抗网络或残差网络；当采用残差网络时，使用n组并行的输入输出串联残差网络提取字符特征。

4.根据权利要求1所述的车牌超分辨率处理方法，其特征在于，采用卷积神经网络构造梯度引导网络模型；使用Canny、Sobel、Roberts或Lapacian算子提取高分辨字符梯度，获得相应的梯度图。

Images