CN105957036B - 一种加强字符先验的视频去运动模糊方法 - Google Patents

Abstract

本发明公开了一种加强字符先验的视频去运动模糊方法，首先采用目标跟踪算法得到目标连续运动帧，对相邻两帧图像进行运动估计，利用曝光时间和帧间时间的关系，通过相邻两帧运动矢量估计点扩散函数初始值；然后根据图像和初始点扩散函数通过本发明提出的正则化公式求解得到点扩散函数，利用求得的点扩散函数对图像进行非盲去运动模糊，得到对应的清晰图像。本发明针对摄像机固定时采集运动目标所造成的模糊，提出加强字符先验的去运动模糊方法，提高对运动模糊视频的复原能力。

Description

一种加强字符先验的视频去运动模糊方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种加强字符先验的视频去运动模糊方法。

背景技术

用户采集视频是为了观赏或者分析，无论是哪一种目的，目标因为运动而造成的模糊都会给用户造成困扰，尤其是分析视频中目标因为运动而带来的模糊，为后期的检测和识别带来了困难。

对于视频复原问题，现阶段一般存在两种解决方式：从硬件辅助角度出发，设计能够预防目标运动模糊的摄像机或相机；从算法角度出发，一般有两种常见的做法：一种是先估计模糊函数类型和参数，把盲去模糊问题转化为非盲去模糊问题，再用非盲去模糊算法反卷积复原目标，另一种是循环迭代的求取点扩散函数和清晰目标。

对于视频复原的硬件辅助解决方面，各大相机、摄像机生产厂商对此都有相应的研究，如佳能、三星等。Ben-Ezra和Nayar使用两个相机促进点扩散函数的估计，一种相机为低分辨率视频相机，另一种为静止的高分辨相机；Tai介绍了一个混合成像系统估计点扩散函数，其原理是利用了两台不同帧率、不同分辨率的摄像机分别对同一个运动目标进行采集，利用低分辨率高帧率摄像机采集的图像信息去除高分辨率低帧率的模糊图像，并采用光流法估计点扩散函数。Raskar根据运动模糊与曝光时间的关系，在其论文中介绍了一种“律动快门”的图像采集设备，该设备可以在曝光时间内频繁的打开、关闭快门，该设备可以此保留目标的高频信息，但在实际应用中需要指定目标的运动轨迹。硬件辅助的方案可从根本上避免模糊，或者更精确的求解点扩散函数，但硬件一般造价高，设计过程复杂，对于不同的模糊目标类型不能通用使用。

在算法解决方案方面，J Jiaya提出基于透明度的最大后验概率法(Maximum aposteriori，MAP)，指出透明度图的模糊边缘、清晰边缘和点扩散函数参数之间的关系，通过这个关系求出匀速直线运动点扩散函数的相关参数，但该算法对于模糊图像的透明度过于依赖，且计算量大。也有一些研究利用附加的信息处理图像盲去模糊这样的“病态问题”，其中Yi Xu等人利用不同曝光时间的n幅图像作为辅助信息复原模糊图像，通过对视频进行曝光时间变化，得到联合可逆点扩散函数实现自动去模糊。该方法需要一些硬件设备的支持，造成成本的增加和便利性的相对较低。Yuan使用一副无运动模糊但有噪声的图像作为辅助信息，此算法对于雾化、光线等环境造成的模糊有较好的效果，但很多情况下无法得到仅含噪声的图像，所以该算法实用性有限。

发明内容

本发明的目的在于克服现有技术的不足，提供一种加强字符先验的视频去运动模糊方法，针对摄像机固定时采集运动目标所造成的模糊，提出加强字符先验的去运动模糊方法，提高对运动模糊视频的复原能力。

为实现上述发明目的，本发明加强字符先验的视频去运动模糊方法包括以下步骤：

S1：在视频图像中选择跟踪目标，采用目标跟踪算法对视频中每帧图像的目标前景进行跟踪，得到每帧图像中的目标前景矩形框，从而得到目标运动帧，记帧数为N；

S2：令帧序号n＝1；

S3：如果n＝N，以第N-1帧图像的点扩散函数k_N-1作为第N帧图像的初始点扩散函数否则按照以下方法估计初始点扩散函数

对第n帧和第n+1帧目标前景图像进行匹配，估计得到目标在相邻两帧间的运动矢量s_f，然后计算目标在曝光时间内的运动矢量s_e＝ds_f，根据运动矢量s_e的长度L和角度θ对第n帧图像点扩散函数k_n进行初始化，得到初始点扩散函数

S4：根据第n帧图像g_n及初始点扩散函数求取以下正则化公式得到点扩散函数k_n：

其中，y_n表示图像g_n的高频信息，x_n表示未知清晰图像f_n的高频信息；

S5：根据步骤S4求得的点扩散函数k_n对第n帧图像g_n进行非盲去运动模糊，得到第n帧图像g_n的清晰图像；

S6：如果n<N，令n＝n+1，返回步骤S3，否则视频去运动模糊处理结束。

本发明加强字符先验的视频去运动模糊方法，首先采用目标跟踪算法得到目标连续运动帧，对相邻两帧图像进行运动估计，利用曝光时间和帧间时间的关系，通过相邻两帧运动矢量估计点扩散函数初始值；然后根据图像和初始点扩散函数通过本发明提出的正则化公式求解得到点扩散函数，利用求得的点扩散函数对图像进行非盲去运动模糊，得到对应的清晰图像。

本发明具有以下技术效果：

1)采用帧间运动矢量估计曝光时间内运动矢量的方式来对点扩散函数进行初始化，可以有效提高点扩散函数的求解效率；

2)对正则化公式进行了改进，增添了加强字符先验的清晰图像的正则项，使求解得到的点扩散函数更加接近真实，非盲复原效果更佳。

附图说明

图1是L1、L2和L1/L2相对代价随点扩散函数长度变化趋势图；

图2是清晰和运动模糊下车牌的水平和垂直梯度直方图投影图像；

图3是本发明加强字符先验的视频去运动模糊方法的流程图；

图4是加入SURF特征检测前后算法的跟踪效果对比图像；

图5是标准摄像机曝光时间和帧间时间关系示意图；

图6是基于图像金字塔的正则化公式求解算法流程图；

图7是本发明与原始去运动模糊方法效果对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了更好地说明本发明的技术方案，先对本发明中所使用的正则化进行简要说明。

本发明采用点扩散函数来对视频中存在的运动模糊进行复原，采用了正则化的思想解决点扩散函数和清晰图像均未知的“病态”反问题。正则化主要需要清晰目标正则项和点扩散函数正则项的确定。

●清晰图像正则项确定

本发明采用清晰图像梯度的L1/L2范数作为清晰图像f的约束，也可称为标准化稀疏先验的正则项，即：

其中x表示清晰图像f的高频信息，||||₁，||||₂分别表示求取1范数和2范数。

图1是L1、L2和L1/L2相对代价随点扩散函数长度变化趋势图。相对代价定义为不同的正则项对应的不同的ψ(f)。如图1所示，随着目标越来越模糊，其L1/L2范数相对代价越来越大，与去运动模糊长度过程相反。在对模糊目标去运动模糊的过程中，L1/L2的代价函数越来越小，最小化L1/L2范数，可使目标越来越清晰。这样的曲线走势，直接证明了本发明采用L1/L2范数作为去运动模糊清晰图像的正则项的正确性。

本发明主要针对视频中运动物体的复原。以较常用的运动目标——车辆为例，经实验发现在仅用L1/L2范数作为正则项约束清晰图像时，发现对于车辆的车牌中文字的复原效果不理想。图2是清晰和运动模糊下车牌的水平和垂直梯度直方图投影图像。如图2所示，清晰车牌的水平和垂直梯度直方图投影的梯度大多集中在零左右，可理解为清晰车牌的梯度是稀疏的，而运动模糊车牌的水平和垂直梯度直方图投影没有清晰车牌的梯度直方图投影在零附近密集，非零区间个数明显增多。针对该情况，本发明在对清晰图像先验考虑过程中加入了用于加强字符先验的图像梯度L1范数：

●点扩散函数正则项确定

点扩散函数可认为是相机拍摄过程中，曝光时间内运动目标的运动轨迹，是一个稀疏矩阵，其仅在运动轨迹上的点为非零点，其他大部分位置都为零点。可以选择L0范数作为其稀疏的约束，然而考虑到L0范数缺少梯度信息很难优化，因此一般用一个凸操作替代，常见的使用L1范数。L1范数是指向量中各个元素绝对值之和，也叫“稀疏规则算子”。因为L1范数是L0范数最小的凸近似，并是一种规则化算子，这种算子可用来作为稀疏约束。本发明清晰图像的正则项选择了图像高频的L1/L2范数，故对于点扩散函数k的正则项也选取L1范数：

点扩散函数k满足条件k>0且点扩散函数k所有元素的和为1。

根据以上清晰图像正则项和点扩散函数正则项，可以得到对于整个图像去运动模糊的正则化公式如下：

其中x为清晰图像f的高频信息，y为模糊图像g的高频信息，k为点扩散函数，λ,ψ为根据实际需要设置的正则因子。令那么x和y可以分别表示为

根据以上正则化设定，本发明选取L1/L2范数作为清晰图像先验，并在此基础上加强了字符先验约束。图3是本发明加强字符先验的视频去运动模糊方法的流程图。如图3所示，本发明加强字符先验的视频去运动模糊方法包括以下步骤：

S301：跟踪目标前景：

在视频图像中选择跟踪目标，采用目标跟踪算法对视频中每帧图像的目标前景进行跟踪，得到每帧图像中的目标前景矩形框，从而得到目标运动帧，记总帧数为N，第N帧即为目标前景的最后一帧。

在本发明中，视频帧中不同的目标存在不同的运动矢量、不同的点扩散函数，需要不同的处理，本发明需要人机交互的选择需要复原的目标对其进行跟踪。一般是在目标出现的第一帧进行人工标定目标前景矩形框，然后对于选定的目标跟踪其后运动帧。目前业内的目标跟踪算法有很多，可以根据需要进行选择，本实施例中采用多示例跟踪算法。在整个视频处理过程中对目标边缘的精度要求不高，多示例跟踪算法的矩形框可以满足本发明的要求，而且其算法较为简便，不仅提高的这个处理的时间，还减少人机交互的难度。多示例跟踪算法的具体原理和操作过程可以参见文献“G T Dietterich,H R Lathrop,TLozano-Pérez.Solving the multiple instance problem with axis-parallelrectangles Artificial Intelligence,1997,Vol.89(1).31-71”。

在目标跟踪过程中，有可能会出现目标的跟丢现象，而在跟丢之后，一般不能再正确跟踪目标。为了解决该问题，在目标跟踪算法在人工标定目标前景矩形框后，提取出目标的SURF(Speed-up robust features,加速健壮特征)特征并保存。每当跟踪超过A帧，对当前帧的目标前景矩形框区域以β为半径采样，提取所有样本的SURF特征，与首帧手动选定目标的SURF特征进行匹配，得到匹配度最高的样本作为当前帧的最终目标前景矩形框。其中周期A和半径β都可以根据需要进行设置，本实施例中A＝10，β＝30。以上算法可以理解为在遇到跟丢问题时，加入检测算法，检测到目标，再继续跟踪。图4是加入SURF特征检测前后算法的跟踪效果对比图像。如图4所示，在加入SURF检测后，其跟踪结果更加准确。

S302：令帧序号n＝1。

S303：判断是否n＝N，如果是，进入步骤S304，否则进入步骤S305。

S304：设置初始点扩散函数

以第N-1帧图像的点扩散函数k_N-1作为第N帧图像的初始点扩散函数

S305：估计初始点扩散函数

运动模糊是在曝光时间内被拍摄的运动目标存在运动矢量而造成模糊的现象。估计出曝光时间内目标的运动矢量，就估计出了点扩散函数。对于一个已知的视频，视频对应的曝光时间难以估计，因此本发明利用曝光时间和帧间时间的关系来对曝光时间内目标的运动矢量进行估计。图5是标准摄像机曝光时间和帧间时间关系示意图。如图5所示，曝光时间τ_e通常是帧间时间τ_f的一半或者更小，可以表示为：τ_e＝dτ_f，其中0<d≤0.5。因此对点扩散函数初始值进行估计的具体方法为：首先对相邻两帧进行运动估计，得到目标在帧间的运动矢量s_f，然后计算目标在曝光时间内的运动矢量s_e＝ds_f，将运动矢量s_e的长度L和角度θ对第n帧图像点扩散函数k_n进行初始化，得到初始点扩散函数d表示曝光时间与帧间时间的比值，可以根据实际摄像机的参数得到，也可以根据经验值来设置，本实施例中设置d＝0.5。

在现有技术中，点扩散函数的初始值通常是根据经验设置的，对点扩散函数精确迭代的效率具有较大影响。而本实施例中通过帧间运动矢量来估计点扩散函数初始值，可以使初始值的设定更加符合目标的运动情况，提高点扩散函数精确迭代的效率。

S306：求得点扩散函数k_n：

根据第n帧图像g_n及初始点扩散函数求取以下正则化公式得到点扩散函数k_n：

其中，y_n表示图像g_n的高频信息，x_n表示未知清晰图像f_n的高频信息，即k_n为点扩散函数，λ,ψ为正则因子。

以上正则化公式的求解方式有很多，可以根据实际情况来选择。本实施例中采用基于图像金字塔的正则化公式求解算法，可以利用图像金字塔的尺度不变性，使得到的点扩散函数更准确。图6是基于图像金字塔的正则化公式求解算法流程图。如图6所示，本实施例中基于图像金字塔的正则化公式求解算法包括以下步骤：

S601：初始化参数：

将尺度为L×L的初始点扩散函数缩放至尺度L₁×L₁，得到点扩散函数k_n(1)，设置点扩散函数尺度因子ΔL。本实施例中L₁＝3，

S602：生成图像金字塔：

求取第n帧图像g_n的图像金字塔，按分辨率从小到大对图像金字塔中的图像进行排序，图像层数M＝(L-L₁)/ΔL。

S603：令图像层序号m＝1，即从粗到细进行循环迭代；

S604：更新清晰图像高频信息：

求解以下公式，得到第m层图像g_n(m)所对应清晰图像f_n(m)的高频信息x_n(m)：

其中，y_n(m)表示第m层图像g_n(m)的高频信息，k_n(m)表示第m层图像对应的点扩散函数。

本实施例中采用迭代收缩阈值算法(ISTA)来求角得到清晰图像的高频信息。为了简化计算过程，可以令||x_n(m)||₂≈||x_n(m-1)||₂。

S605：更新点扩散函数：

求解以下公式，得到更新后的点扩散函数k′_n(m)：

本实施例中采用无约束的迭代加权最小二乘法(IRLS)来更新点扩散函数的值。显然在求取过程中，仍然需要满足点扩散函数的约束条件。

S606：判断是否m<M，如果是，进入步骤S607，否则进入步骤S608。

S607：点扩散函数上采样：

对点扩散函数k′_n(m)进行上采样，得到尺度为L_m+1×L_m+1的点扩散函数k_n(m+1)，L_m+1＝L_m+ΔL，令m＝m+1，返回步骤S4604。

S608：得到点扩散函数求解结果：

将当前更新得到的点扩散函数作为点扩散函数k_n的求解结果，即令k_n＝k′_n(M)。

S307：非盲去运动模糊：

根据步骤S306求得的点扩散函数k_n对第n帧图像g_n进行非盲去运动模糊，得到第n帧图像g_n的清晰图像。

非盲去运动模糊算法有很多，可以根据需要进行选择，本实施例中采用R-L算法进行非盲去运动模糊。R-L算法假设图像符合泊松噪声统计，对模糊图像和扩散函数k进行反卷积，迭代进行使解的似然提高，最终得到的清晰图像要求收敛到泊松分布的最大似然解。R-L算法的清晰图像迭代方程如下：

其中，为k_n的转置矩阵，为卷积操作，×为点乘操作，t为迭代次数。表示第t次迭代得到的清晰图像，表示第t+1次迭代得到的清晰图像，当迭代次数达到预设的最大值T，则将当前的清晰图像作为图像g_n所对应的清晰图像。

为了更好的理解上式中的分母部分，可以认为是根据当前估计的清晰图像和给定的点扩散函数k_n预测模糊图像的过程。假设那么可以认为是真实的模糊图像与预测的模糊图像之间的差。经证明，当忽略噪声影响时，随着迭代次数的增加，会以概率收敛到清晰图像。

S308：判断是否n<N，如果是，进入步骤S309，否则视频去运动模糊处理结束。

S309：令n＝n+1，返回步骤S303。

图7是本发明与原始盲去运动模糊方法效果对比图。原始盲去运动模糊方法与本发明的区别在于，点扩散函数初始值未采用本发明的估计方法，而是根据经验设置，且未引入加强字符先验的正则项。如图7所示，采用本发明加强字符先验的视频去运动模糊方法，其去模糊效果，尤其是对字符的去模糊效果，得到了较大的提升。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种加强字符先验的视频去运动模糊方法，其特征在于，包括以下步骤：

S1：在视频图像中选择跟踪目标，采用目标跟踪算法对视频中每帧图像的目标前景进行跟踪，得到每帧图像中的目标前景矩形框，从而得到目标运动帧，记帧数为N；

S2：令帧序号n＝1；

S3：如果n＝N，以第N-1帧图像的点扩散函数k_N-1作为第N帧图像的初始点扩散函数否则按照以下方法估计初始点扩散函数

对第n帧和第n+1帧目标前景图像进行匹配，估计得到目标在相邻两帧间的运动矢量s_f，然后计算目标在曝光时间内的运动矢量s_e＝d×s_f，d表示曝光时间与帧间时间的比值，根据运动矢量s_e的长度L和角度θ对第n帧图像点扩散函数k_n进行初始化，得到初始点扩散函数

S4：根据第n帧图像g_n及初始点扩散函数求取以下正则化公式得到点扩散函数k_n：

其中，y_n表示图像g_n的高频信息，x_n表示未知清晰图像f_n的高频信息，|| ||₁、|| ||₂分别表示求取1范数和2范数，λ,ψ为根据实际需要设置的正则因子；

正则化公式采用基于图像金字塔的求解算法，其具体方法包括以下步骤：

S4.1：将尺度为L×L的初始点扩散函数缩放至尺度L₁×L₁，得到第1层图像对应的点扩散函数k_n(1)，设置点扩散函数尺度因子ΔL；

S4.2：求取第n帧图像g_n的图像金字塔，按分辨率从小到大对图像金字塔中的图像进行排序，图像层数M＝(L-L₁)/ΔL；

S4.3：令图像层序号m＝1；

S4.4：求解以下公式，得到第m层图像g_n(m)所对应清晰图像f_n(m)的高频信息x_n(m)：

其中，y_n(m)表示第m层图像g_n(m)的高频信息，k_n(m)表示第m层图像对应的点扩散函数；

S4.5：求解以下公式，得到更新后的点扩散函数k_n′(m)：

S4.6：如果m＜M，对点扩散函数k_n′(m)进行上采样，得到尺度为L_m+1×L_m+1的点扩散函数k_n(m+1)，令m＝m+1，返回步骤S4.4，否则令点扩散函数k_n＝k_n′(M)；

S5：根据步骤S4求得的点扩散函数k_n对第n帧图像g_n进行非盲去运动模糊，得到第n帧图像g_n的清晰图像；

S6：如果n＜N，令n＝n+1，返回步骤S3，否则视频去运动模糊处理结束。

2.根据权利要求1所述的加强字符先验的视频去运动模糊方法，其特征在于，所述步骤S1中的目标跟踪算法采用多示例跟踪算法。

3.根据权利要求1所述的加强字符先验的视频去运动模糊方法，其特征在于，所述步骤S1中的目标跟踪过程中，每当跟踪超过A帧，对当前帧的目标前景矩形框区域以β为半径采样，提取所有样本的SURF特征，与首帧手动选定目标的SURF特征进行匹配，得到匹配度最高的样本作为当前帧的最终目标前景矩形框。

4.根据权利要求1所述的加强字符先验的视频去运动模糊方法，其特征在于，所述步骤S5中非盲去运动模糊采用R-L算法，其具体方法为：根据以下公式迭代计算清晰图像：

其中，为k_n的转置矩阵，为卷积操作，×为点乘操作，t为迭代次数；表示第t次迭代得到的清晰图像，表示第t+1次迭代得到的清晰图像，

当迭代次数达到预设的最大值，则将当前的清晰图像作为图像g_n所对应的清晰图像。