CN104794698B - 基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法 - Google Patents

Abstract

本发明涉及图像信息处理领域，具体公开了一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法，首先采用目标跟踪算法，对低照度视频中车牌进行跟踪，并将车牌图像从视频帧图像中分离出来，获得车牌图像序列；然后对车牌图像进行帧累积操作，并利用遗传算法优化车牌图像的参数，进一步提高帧累积图像的恢复效果。与传统的低照度车牌图像恢复算法相比，本方法能够有效抑制低照度车牌图像的噪声，提高车牌图像信噪比，获得更加准确的车牌数字边缘，为车牌信息提取与智能分析提供更高质量的车牌源图像。

Description

基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法

技术领域

本发明属于图像信息处理领域，涉及一种低照度车牌图像恢复方法。

背景技术

车牌图像信息在安防监控、智能交通和社会治安领域具有重要意义，在车辆超速监管、汽车防盗、公路与停车场收费、交通肇事监控等方面发挥着非常重要的作用。但低照度条件下采集到的车牌图像往往具有信噪比低、噪声大、噪声成分复杂的特点，对车牌信息提取和分析造成了很大影响，造成车牌识别与跟踪准确率下降。因此对低照度环境下含噪声车牌图像进行有效去噪，提高车牌图像质量，具有重要的现实意义和实际应用价值。

目前国内外对低照度环境下车牌图像去噪研究仍较少。低照度拍摄条件下，车牌图像信噪比低，噪声强度大且成分复杂。目前应用于低照度车牌图像去噪的算法，虽然能够在一定程度上改善低照度图像的信噪比和视觉效果，但面对低照度图像低信噪比、噪声的随机性和多样性，难以取得令人满意的效果。

帧累积技术能够通过对多幅低对比度、大噪声的视频帧图像进行累加和平均，在低照度图像与视频处理领域发挥着重要作用。但常规的帧累积技术只适用于静态图像的去噪和恢复处理，无法满足运动序列图像增强的要求。本发明提出一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法，首先通过车牌跟踪，对低照度视频中运动车辆的车牌图像进行分离，然后采用帧累积算法进行去噪和恢复，并在此基础上对多幅车牌图像的参数进行优化，进一步提升低照度车牌图像恢复效果。与传统方法相比，本方法能够有效抑制低照度噪声，避免了运动车牌图像直接帧累积出现的模糊问题，最终达到更好的低照度车牌图像恢复效果。

发明内容

本发明为解决低照度车牌图像恢复问题，提供一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法。本发明提供了如下技术方案：

一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法，包括如下步骤：

S1：采用车牌跟踪算法，对低照度视频中运动车辆的车牌图像进行分离，得到车牌图像序列；

S2：设置帧累积优化变量，设定优化目标；

S3：对于步骤S1中获得的车牌图像序列，采用遗传算法对优化变量组合进行寻优，获得车牌图像序列的帧累积恢复最优解，即车牌恢复图像。

进一步地，所述步骤S1中的车牌跟踪算法为基于稀疏表示的跟踪算法。

进一步地，所述步骤S2的具体过程为：

将调整前后车牌图像宽度变化量Δw_lp和高度变化量Δh_lp设置为优化变量，设定优化目标为恢复图像的锐度S_lp。

进一步地，所述步骤S3的具体过程为：

优化变量组合V表示为：

V＝{V⁽¹⁾,V⁽²⁾,…,V^(L)}＝[Δw_lp ⁽¹⁾,Δh_lp ⁽¹⁾,Δw_lp ⁽²⁾,Δh_lp ⁽²⁾,…,Δw_lp ^(L),Δh_lp ^(L)]

其中，V^(t)＝[Δw_lp ^(t),Δh_lp ^(t)]，t＝1,2,…,L；L表示视频序列中帧总数；Δw_lp ^(t)、Δh_lp ^(t)分别表示第t帧车牌图像调整前后的宽度变化量和高度变化量；

根据遗传算法，将遗传算法中的优化变量的适应度设置为恢复图像的锐度S_lp，对优化变量组合V进行寻优，获得车牌图像序列的帧累积恢复最优解。

综上所述，本发明所述方法首先采用车牌跟踪算法，对低照度视频中运动车辆的车牌图像进行分离。然后采用帧累积算法进行恢复，并在此基础上对多幅车牌图像的参数进行优化，进一步提升低照度车牌图像恢复效果。与传统的低照度车牌图像恢复方法相比，能够有效抑制低照度噪声，避免了运动车牌图像直接帧累积出现的模糊问题，最终达到更好的低照度车牌图像恢复效果，为车牌信息提取与分析提供更高质量的车牌源图像。

附图说明

图1是本发明所述方法的流程图；

图2是低照度噪声车牌图像；

图3是直接采用帧累积方法获得的车牌恢复图像；

图4是采用本方法获得的车牌恢复图像。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明提供了一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法，方法流程如图1所示，包括如下步骤：

步骤一：采用车牌跟踪算法，对低照度视频中运动车辆的车牌图像进行分离。

在具体实施过程中，首先获取低照度视频，对视频中的运动车辆的车牌图像，采用基于稀疏表示的跟踪方法，分离出每一帧中的车牌图像。监控视频中采集到的车牌图像观测向量y为：

y＝Ua+e＝a₁u₁+a₂u₂+…+a_nu_n+e

其中，U＝[u₁,u₂,…,u_n]为用来表示车牌图像的一组基，a＝[a₁,a₂,…,a_n]^T为目标表示系数，T表示转置运算。e表示y中无法由U表示的那部分残差向量。

由于U中的基向量两两之间正交不相关，导致目标表示系数a本身就是弱稀疏的，针对a的这一特性，利用求解L2范数最小化来获取目标表示系数a：

$a=\underset{a}{min}\left|\right|y-Ua|{|}_2^2+\mathrm{\λ}|\left|a\right|{|}_2^2$

其中，λ为系数，用以调整和的相对重要度。上述优化问题可以通过岭回归分析求解(具体参考文献：RigamontiR.，BrownM.A.,LepetitV.Aresparserepresentationsreallyrelevantforimageclassification？ProceedingsoftheIEEE12thInternationalConferenceonComputerVisionandPatternRecognition,2011,1545-1552.)，解得系数a为：

a＝(U^TU+λI)^-1U^Ty

残差向量为：

e＝y-Ua

其中，(·)^-1表示矩阵求逆。

在采集的视频图像每一帧中，将所有的观测向量组成一个候选目标向量集Y，则所有候选目标的表示系数向量集A和残差向量集E可一次性求得：

$\left\{\begin{array}{c}A={(U^{T}U+\mathrm{\λ}I)}^{-1}{U}^{T}Y\\ E=Y-UA\end{array}\right.$

在跟踪过程中，在以前一帧车牌所在位置为中心的矩形像素区域内搜索当前帧车牌图像。假设M_c为矩形搜索区域的像素行数，N_c为矩形搜索区域的像素列数，在搜索区域中寻找所有与车牌尺寸相同的像素块，作为候选目标。在候选目标中选择残差最小的车牌图像，作为当前帧的车牌图像跟踪结果。

设视频序列中帧数为L，按照上述方法从视频序列{I₁,I₂,…,I_L}中获得车牌图像序列{I_lp ⁽¹⁾,I_lp ⁽²⁾,…,I_lp ^(L)}，其中I_lp ^(t)的宽和高分别为w_lp ^(t)和h_lp ^(t)，t表示帧序号，取值为1,…L。

步骤二：设置帧累积优化变量，设定优化目标。

对于步骤一获得的车牌图像，本方法通过调整其宽和高，获得更好的帧累积恢复效果。将调整前后车牌图像宽度变化量Δw_lp和高度变化量Δh_lp设置为优化变量，具体含义为：对于步骤一中获得的每一幅车牌图像I_lp ^(t)(t＝1,2,…,L)的宽度、高度进行调整，将调整前后的车牌图像宽、高变化量设置为优化变量向量V^(t)，V^(t)＝[Δw_lp ^(t),Δh_lp ^(t)]。设调整后的车牌图像为I_lpm ^(t)(t＝1,2,…,L)，I_lpm ^(t)的宽和高分别为w_lpm ^(t)和h_lpm ^(t)，则满足：

w_lpm ^(t)＝w_lp ^(t)+Δw_lp ^(t)

h_lpm ^(t)＝h_lp ^(t)+Δh_lp ^(t)

将优化目标设定为恢复图像的锐度S_lp。车牌图像像素数量为m×n，1≤i≤m-1,1≤j≤n-1,i,j取值为正整数。得到帧累积恢复图像为：

$I_{lpr}=\frac{\underset{t=1}{\overset{L}{\Σ}}{I_{lpm}}^{\left(t\right)}}{L}$

帧累积恢复图像的锐度S_lp为：

$S_{lp}=\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}\[{\left(I_{lpr}\right(j+1,i)-I_{lp}(j,i\left)\right)}^2+{\left(I_{lpr}\right(j,i+1)-I_{lp}(j,i\left)\right)}^2\]$

步骤三：对于步骤一中获得的车牌图像序列，采用遗传算法对优化变量组合进行寻优，获得车牌图像序列的帧累积恢复最优解。

根据步骤二，优化变量组合为：

V＝{V⁽¹⁾,V⁽²⁾,…,V^(L)}＝[Δw_lp ⁽¹⁾,Δh_lp ⁽¹⁾,Δw_lp ⁽²⁾,Δh_lp ⁽²⁾,…,Δw_lp ^(L),Δh_lp ^(L)]

采用遗传算法进行求解(具体参考文献：周明，孙树栋，遗传算法原理及应用，北京：国防工业出版社，1999)，对优化变量组合进行寻优，获得车牌图像序列的帧累积恢复最优解，即车牌恢复图像。遗传算法中优化变量的适应度为其对环境的适应程度，本方法中将优化变量的适应度设置为恢复图像的锐度S_lp。

针对图2所示的低照度车牌图像，直接采用帧累积方法获得的车牌恢复图像如图3所示，车牌数字无法辨识。采用本发明方法得到帧累积车牌恢复图像为图4所示，能够辨识车牌数字“京AF0236”。

以上实施例的说明只是用于帮助和理解本发明的方法及其核心思想，应当指出，对于所述技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰和改进，这些修饰和改进也落入本发明权利要求的保护范围内。

Claims (2)

1.一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法，其特征在于包括如下步骤：

S1：采用车牌跟踪算法，对低照度视频中运动车辆的车牌图像进行分离，得到车牌图像序列；

S2：设置帧累积优化变量，设定优化目标；具体过程为：

将调整前后车牌图像宽度变化量Δw_lp和高度变化量Δh_lp设置为优化变量，设定优化目标为恢复图像的锐度S_lp；

S3：对于步骤S1中获得的车牌图像序列，采用遗传算法对优化变量组合进行寻优，获得车牌图像序列的帧累积恢复最优解，即车牌恢复图像；具体过程为：

优化变量组合V表示为：

V＝{V⁽¹⁾,V⁽²⁾,…,V^(L)}＝[Δw_lp ⁽¹⁾,Δh_lp ⁽¹⁾,Δw_lp ⁽²⁾,Δh_lp ⁽²⁾,…,Δw_lp ^(L),Δh_lp ^(L)]

其中，V^(t)＝[Δw_lp ^(t),Δh_lp ^(t)]，t＝1,2,…,L；L表示视频序列中帧总数；Δw_lp ^(t)、Δh_lp ^(t)分别表示第t帧车牌图像调整前后的宽度变化量和高度变化量；

根据遗传算法，将遗传算法中的优化变量的适应度设置为恢复图像的锐度S_lp，对优化变量组合V进行寻优，获得车牌图像序列的帧累积恢复最优解。

2.如权利要求1所述的一种基于车牌跟踪与帧累积优化的低照度车牌图像恢复方法，其特征在于，所述步骤S1中的车牌跟踪算法为基于稀疏表示的跟踪算法。