CN104103050A

CN104103050A - 一种基于局部策略的真实视频复原方法

Info

Publication number: CN104103050A
Application number: CN201410386374.1A
Authority: CN
Inventors: 龚卫国; 杨文琳; 李伟红; 陈魏然
Original assignee: Chongqing University
Current assignee: Shanghai Lisha Technology Co ltd
Priority date: 2014-08-07
Filing date: 2014-08-07
Publication date: 2014-10-15
Anticipated expiration: 2034-08-07
Also published as: CN104103050B

Abstract

本发明是一种基于局部策略的真实视频复原方法，属于图像处理、模式识别领域。其核心在于首先提取出真实视频中相邻两帧的运动前景，并匹配其特征点，从而利用特征点的运动向量估计前景中每个像素点的模糊核；其次，为去除视频中的空间变化的物体运动模糊，提出一种基于局部块的ADM算法，即复原出每个重叠的局部块，并把它们融合成清晰的视频帧。实验表明本发明方法能克服传统方法中放大噪声，引入振铃效应的缺点，对视频帧的边缘和细节有较好的复原效果。

Description

一种基于局部策略的真实视频复原方法

技术领域

本发明属于图像处理、模式识别领域，具体涉及一种真实视频复原技术。

背景技术

近年来，随着多媒体技术的发展和视频采集设备的不断优化，视频图像被广泛应用于视频监控、医学检测、放射性测量、天文观测及远程传感等各个领域。然而在视频的获取、传输、存储和显示过程中，由于气流扰动、散焦、传感器噪声、摄像机与拍摄物体存在相对运动等因素，会造成视频的降质和退化，主要表现为视频模糊、失真、出现附加噪声等，使视频的可辨别能力和可用性降低。为得到高质量的视频，我们通常需要对模糊视频进行复原。

在造成视频退化的众多原因中，如果是因为在摄像机曝光时间内，摄像机和被摄物体间存在相对运动而造成的模糊则称为运动模糊。相对运动可分为两种：相机抖动和物体运动。许多现存的优秀去模糊算法都是假设模糊核是空间不变的，如，“M.Tao,J.Yang,B.He,Alternating direction algorithms for total variation deconvolution in imagereconstruction,Department of Mathematics,Univ.Nanjing,Nanjing,Rep.TR0918,2009.”中为有效且稳定地求解全变差模型而提出的交替方向算法(Alternating DirectionMethod,ADM)，”W.H.Li,Q.L.Li,W.G.Gong,S.Tang,Total variation blinddeconvolution employing split Bregman iteration,J.Vis.Commun.Image R.23(3)(2012)409-417.”中引入分裂布雷格曼迭代而提出的全变差正则化图像盲复原算法等。然而，这种假设只适用于解决某些由相机抖动造成的模糊。而对于运动物体造成的模糊而言，其前景和背景甚至是前景中每个像素点的运动向量都是不同的，因此，基于该假设而提出的算法并不能有效解决此类模糊。

正是由于模糊核空间不变的假设已经不能满足现实需求，近年来，学者们在空间不变的运动模糊复原方法的基础上，提出了一些空间变化的运动模糊视频复原方法。根据对象的不同，这些方法可主要分为两类：一类是针对视频帧中前景与背景的模糊核不同，但前景的模糊核是空间不变的情况。如“A.Agrawal,Y.Xu,R.Raskar,Invertible motion blur in video,ACM Trans.Graph.28(3)(2009)95.”中通过对同一视频设置不同的曝光时间以确保PSF参数是可逆的，然后分离出运动模糊前景，并通过在频域进行零点填充来实现前景的去模糊。又如，“Y.N.Zhang,J.He,J.Yuan,A Video Deblurring Optimization Algorithm Basedon Motion Detection,International Conference on Multimedia Technology(2013)1069-1076.”，通过运动检测分离出视频帧中的运动前景和背景，再用基于维纳滤波的方法复原前景；另一类是针对前景与背景的模糊核不同，且前景中每个像素点的模糊核都不同的情况。这类方法的基本思想是：首先提取出运动前景，然后根据前后帧的关联性估计出前景中空间变化的模糊核，最后采用图像非盲复原算法对前景进行去模糊，再将去模糊后的前景与背景组成清晰视频帧。其中，如何精确估计空间变化的模糊核及如何有效复原这种空间变化的模糊是关键。如，“X.C.He,T.Luo,S.C.Yuk,K.P.Chow,K.-Y.K.Wong,R.H.Y.Chung,Motionestimation method for blurred videos and application of deblurring with spatiallyvarying blur kernels,Proc.IEEE Conf.Computer Sciences and Convergence InformationTechnology(2010)355-359.”中采用了基于角点检测和分层块匹配的方法求得空间变化的模糊核，并用空间变化的RL(Richardson-Lucy)算法复原前景；“X.Y.Deng,Y.Shen,M.L.Song,D.C.Tao,J.J.Bu,C.Chen,Video-based non-uniform object motion blur estimationand deblurring,Neurocomputing 86(1)(2012)170-178.”中采用了KLT(Kanade-Lucas-Tomasi)算法估计模糊核，也采用了空间变化的RL算法复原前景。

在日常生活中，第二类情况是更为常见的。但空间变化的RL算法存在放大噪声，引入振铃效应的缺陷，对前景边缘的复原效果并不理想。

发明内容

本发明的目的在于提出一种基于局部策略的真实视频复原方法，力求从真实的退化视频中恢复出原本面貌，使模糊的视频变得清晰，旨在改善视频的质量。该方法能克服传统方法中放大噪声，引入振铃效应的缺点，对视频帧的边缘和细节有较好的复原效果。

为实现这一目的，本发明首先提取出相邻两帧图像的运动前景，并匹配其特征点，从而利用特征点的运动向量估计前景中每个像素点的模糊核；其次，为去除视频中的空间变化的物体运动模糊，本发明提出一种基于局部块的ADM算法，即复原出每个重叠的局部块，并把它们融合成清晰的视频帧。

该复原方法的实现步骤如下：

(1)任取真实视频中的相邻两帧图像f_k-1和f_k，分别提取出运动前景F_k-1和F_k；

(2)分别提取步骤(1)中得到的运动前景的特征点，然后进行特征点匹配并根据匹配点对的坐标、视频的帧率和曝光时间计算出每个特征点的运动向量；

(3)根据特征点的运动向量，在提取出的运动前景F_k-1中采用内插策略，计算前景中每一个像素点的运动向量，并估计前景中空间变化的模糊核；

(4)以F_k-1中每个像素点为中心，取大小相同且重叠的局部块。根据(3)中计算得到的模糊核，对局部块进行去模糊处理，再将去模糊后的局部块拼接成清晰的前景图像，并与背景组成完整的视频帧。

与现有技术相比，本发明的优点是：

(1)充分利用视频中的帧间信息，提出基于特征的空间变化的模糊核估计算法，估计出真实视频帧中每个像素点的模糊核，能精确估计出运动物体的局部运动和模糊核。

(2)提出基于局部块的ADM算法复原前景，能有效去除空间变化的运动模糊，复原出前景的细节和边缘。

(3)本发明方法能够针对包含一个或多个刚性运动物体的真实视频进行有效复原。

通过与上述W.H.Li和X.Y.Deng等提出的两种方法的实验对比，证明本发明能更好地抑制振铃效应，更有效地复原出前景中的边缘。

附图说明

图1：本发明方法的流程图；

图2-1至图2-7：针对七幅真实视频帧中的运动物体，本发明计算得到的运动向量；其(a)图像为前景中每个像素点的运动向量，(b)和(c)图像为局部放大图；

图3-1至图3-7：针对七幅真实视频帧，不同方法的复原效果对比图；其中对于每一组对比图，(a)图像为原始视频帧，(b)和(c)图像分别为两种对比算法的复原结果，(d)图像为本发明方法的复原结果。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

在图像复原中，图像退化模型可以用下式表达：

f (x, y) = k (x, y) &CircleTimes; g (x, y) + n (x, y)

其中，g(x,y)为原始图像，是卷积操作，k(x,y)代表使图像模糊的模糊核，也叫点扩散函数，n(x,y)为加性噪声，f(x,y)为已知的退化图像。

视频序列是由若干帧图像组成的，每一帧都可以看作是从视频中抽取出的一幅相对独立的图像。因此，该图像退化模型同样可以描述视频帧的退化过程。而视频帧复原的任务就是根据已知的退化视频帧f(x,y)得到清晰视频帧g(x,y)。在真实视频的复原中，模糊核通常是未知的，且对于运动前景中的每个像素点，其模糊核是有差异的。因此，本发明首先充分利用帧间信息估计出每个像素点的模糊核，再将模糊前景分割成重叠的局部块进行复原，并最终将复原后的局部块融合成清晰的视频图像。

按照以上思路，本发明方法的流程图如图1所示，该方法主要由以下四个步骤构成：

步骤1：任取真实视频中的相邻两帧图像f_k-1和f_k，分别提取出运动前景F_k-1和F_k

本发明针对的对象是静态场景中物体运动造成的空间变化的运动模糊，即背景不存在运动模糊。因此，为保证模糊核估计的准确性，首先需要提取出运动前景。

K最近邻掩膜算法是一种优秀的抠图算法，本发明采用该算法进行前景的提取，其思想是将一幅图像看成前景层和背景层的加权和：

f＝αF+(1-α)B

其中f是一幅图像的给定像素值，F是未知前景层，B是未知背景层，α是未知掩膜。K最近邻掩膜算法利用非局部准则求取α，即可得到相邻两帧图像的前景F_k-1和F_k。

步骤2：分别提取步骤1中得到的运动前景的特征点，然后进行特征点匹配并根据匹配点对的坐标、视频的帧率和曝光时间计算出每个特征点的运动向量

该步骤包含以下两部分：

①采用ORB(Oriented Fast and Rotated BRIEF)算法提取并匹配特征点

首先在F_k-1和F_k中分别利用FAST算法和Harris测量提取出N个特征点。对于每个以特征点为中心的a×a的图像块(根据实验，本发明中a＝31)，利用图像块的强度质心计算该块的方向θ。然后，在每个图像块中用学习的方法找出P个b×b的子窗测试对(根据实验，本发明中P＝256，b＝5)，并将这些测试对的坐标旋转θ取得新的测试对，以计算该图像块中心的特征点的BRIEF(Binary Robust Independent Elementary Features)描述子。接着，采用汉明距离匹配F_k-1和F_k中的特征点，并采用随机抽样一致性算法(Random Sample Consensus,RANSAC)筛选出最优的匹配点对。

②计算特征点的运动向量

在①之后，可以得到匹配的特征点对及其坐标。为估计模糊核，还需通过匹配特征点对的坐标、视频的帧率和曝光时间计算特征点的运动向量，如下式所示：

\{\begin{matrix} Δx = x_{2} - x_{1} \\ Δy = y_{2} - y_{1} \end{matrix}

其中，(x₁,y₁)和(x₂,y₂)分别是匹配特征点对在F_k-1和F_k中的坐标，Δx和Δy分别为特征点在x方向和y方向的坐标偏移量，Fr为视频的帧率，Te为每帧图像的曝光时间，为该点的运动向量。

步骤3：根据特征点的运动向量，在提取出的运动前景F_k-1中采用内插策略，计算前景中每一个像素点的运动向量，并估计前景中空间变化的模糊核

本发明通过邻近的特征点的插值计算其他像素点的运动向量。首先根据F_k-1中特征点的坐标对F_k-1进行德劳内三角剖分，得到以特征点为三角形顶点的三角网；然后根据内插策略，按下式计算每个三角形内任一点的运动向量

w_{1} = \frac{(x_{2} - x) (y_{3} - y) - (x_{3} - x) (y_{2} - y)}{(x_{2} - x_{1}) (y_{3} - y_{1}) - (x_{3} - x_{1}) (y_{2} - y_{1})}

w_{2} = \frac{(x_{3} - x) (y_{1} - y) - (x_{1} - x) (y_{3} - y)}{(x_{2} - x_{1}) (y_{3} - y_{1}) - (x_{3} - x_{1}) (y_{2} - y_{1})}

w_{3} = \frac{(x_{1} - x) (y_{2} - y) - (x_{2} - x) (y_{1} - y)}{(x_{2} - x_{1}) (y_{3} - y_{1}) - (x_{3} - x_{1}) (y_{2} - y_{1})} = 1 - w_{1} - w_{2}

其中，是三角形顶点的运动向量，w_i是每个所占的权重，(x₁,y₁)，(x₂,y₂)和(x₃,y₃)是该三角形顶点坐标，(x,y)是所求点的坐标。采用MATLAB中的fspecial函数，即可根据每个像素点的运动向量得到前景中的空间变化的模糊核。

按照上述方法，本发明针对七幅真实视频帧中的运动物体计算得到了其运动向量，如图2-1至图2-7所示。我们可以看出，因为物体的运动平面和相机的成像平面不平行，同一运动物体中不同像素点的运动向量存在差异。

步骤4：以F_k-1中每个像素点为中心，取大小相同且重叠的局部块。根据步骤3中计算得到的模糊核，对局部块进行去模糊处理，再将去模糊后的局部块拼接成清晰的前景图像，并与背景组成完整的视频帧

对于刚性体而言，前景中每个像素点的运动是逐渐变化的，即对于前景中一个小的局部块而言，每点的运动是近似的，其模糊核可看作是空间不变的，则可以用有效的空间不变的模糊图像复原方法对该局部块进行去模糊处理。

基于以上思想，本发明首先要将模糊前景分割成局部块并以该像素点的模糊核K_i作为该块的去卷积核。为抑制块效应，本发明采用重叠取块的方法，即以F_k-1中每个像素点为中心取一个尺寸为m×m的矩形局部块F_i(m的值根据实验确定，不同视频的m值可能不同)。接着，考虑到ADM算法作为一种针对空间不变的模糊的非盲图像复原算法，能够有效且稳定地求解全变差模型，很好地保护图像边缘，因此本发明采用该算法对局部块进行去模糊处理，即求解下式：

\begin{matrix} \min_{g_{i}} Σ_{j = 1}^{m^{2}} {| | D_{j} g_{i} | |}_{2} + \frac{μ}{2} {| | K_{i} g_{i} - F_{i} | |}_{2}^{2} \\ = \min_{g_{i}, y} Σ_{j = 1}^{m^{2}} ({| | y_{j} | |}_{2} + \frac{β}{2} {| | y_{j} - D_{j} g_{i} | |}_{2}) + \frac{μ}{2} {| | K_{i} g_{i} - F_{i} | |}_{2}^{2} \end{matrix}

其中y_j＝D_jg_i，g_i表示第i个清晰局部块，D_jg_i表示g_i的一阶全局差分，F_i表示第i个模糊的局部块，K_i是F_i中心像素点的模糊核，μ和β均为正参数。以g_i＝F_i,λ＝λ⁰作为开始，采用迭代最小化方式求解该式，求解框架如下：

\{\begin{matrix} y^{k + 1} = \arg \min_{y} L_{A} (g_{i}^{k}, y, λ^{k}) \\ g_{i}^{k + 1} = \arg \min_{g_{i}} L_{A} (g_{i}, y^{k + 1}, λ^{k}) \\ λ^{k + 1} = λ^{k} - β (y^{k + 1} - {Dg}_{i}^{k + 1}) \end{matrix}

L_{A} (g_{i}, y, λ) : = \underset{j}{Σ} (| | y_{j} | | - λ_{j}^{T} (y_{j} - D_{j} g_{i}) + \frac{β}{2} {| | y_{j} - D_{j} g_{i} | |}^{2}) + \frac{μ}{2} {| | {Kg}_{i} - f_{i} | |}^{2}

其中，L_A(g_i,y,λ)是扩展的拉格朗日函数，λ为其引入的参数。

用复原过程中相邻的两次迭代所估计得的局部块的相对差异(ε为较小的正数)或最大迭代次数作为迭代终止条件。如此，便可得到所有清晰局部块。然后，将所有清晰局部块相加，并在重叠区域求其均值，得到清晰的前景图像。如下式所示：

{\hat{F}}_{k - 1} = {(\underset{i}{Σ} R_{i}^{T} R_{i})}^{- 1} (\underset{i}{Σ} R_{i}^{T} g_{i})

其中，R_i表示矩形窗操作，是复原后的前景。最后，利用步骤(1)中求得的α，可将与其对应的背景组成完整的清晰视频帧

针对七幅真实视频帧，图3-1至图3-7展示了本发明方法与其他两种优秀方法的复原效果对比图。我们可以看出，本发明方法能较好地恢复视频帧的边缘和细节，抑制振铃效应。

Claims

1.一种基于局部策略的真实视频复原方法，该方法包括以下步骤：

(4)以F_k-1中每个像素点为中心，取大小相同且重叠的局部块；根据(3)中计算得到的模糊核，对局部块进行去模糊处理，再将去模糊后的局部块拼接成清晰的前景图像，并与背景组成完整的视频帧。

2.根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于步骤(1)中，提取出运动前景F_k-1和F_k的方法是：

将一幅图像看成前景层和背景层的加权和：

f＝αF+(1-α)B

其中f是一幅图像的给定像素值，F是未知前景层，B是未知背景层，α是未知掩膜，采用K最近邻掩膜算法求取α，得到相邻两帧图像的前景F_k-1和F_k。

3.根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于，所述步骤(2)的具体方法为：首先在F_k-1和F_k中分别利用FAST算法和Harris测量提取出N个特征点；对于每个以特征点为中心的a×a的图像块，利用图像块的强度质心计算该块的方向θ；然后，在每个图像块中用学习的方法找出P个b×b的子窗测试对，并将这些测试对的坐标旋转θ取得新的测试对，以计算该图像块中心的特征点的BRIEF描述子；接着，采用汉明距离匹配F_k-1和F_k中的特征点，并采用RANSAC算法筛选出最优的匹配点对；最后，通过匹配特征点对的坐标、视频的帧率和曝光时间计算特征点的运动向量：

\{\begin{matrix} Δx = x_{2} - x_{1} \\ Δy = y_{2} - y_{1} \end{matrix}

4.根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于，所述步骤(3)的具体方法为：首先根据F_k-1中特征点的坐标对F_k-1进行德劳内三角剖分，得到以特征点为三角形顶点的三角网；然后根据内插策略，按如下公式计算每个三角形内任一点的运动向量

w_{1} = \frac{(x_{2} - x) (y_{3} - y) - (x_{3} - x) (y_{2} - y)}{(x_{2} - x_{1}) (y_{3} - y_{1}) - (x_{3} - x_{1}) (y_{2} - y_{1})}

w_{2} = \frac{(x_{3} - x) (y_{1} - y) - (x_{1} - x) (y_{3} - y)}{(x_{2} - x_{1}) (y_{3} - y_{1}) - (x_{3} - x_{1}) (y_{2} - y_{1})}

w_{3} = \frac{(x_{1} - x) (y_{2} - y) - (x_{2} - x) (y_{1} - y)}{(x_{2} - x_{1}) (y_{3} - y_{1}) - (x_{3} - x_{1}) (y_{2} - y_{1})} = 1 - w_{1} - w_{2}

5.根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于步骤(4)中，以F_k-1中每个像素点为中心取一个尺寸为m×m的矩形局部块F_i，并选取该像素点的模糊核K_i作为该块的去卷积核，采用ADM算法对局部块进行去模糊处理，即求解下式：

\begin{matrix} \min_{g_{i}} Σ_{j = 1}^{m^{2}} {| | D_{j} g_{i} | |}_{2} + \frac{μ}{2} {| | K_{i} g_{i} - F_{i} | |}_{2}^{2} \\ = \min_{g_{i}, y} Σ_{j = 1}^{m^{2}} ({| | y_{j} | |}_{2} + \frac{β}{2} {| | y_{j} - D_{j} g_{i} | |}_{2}) + \frac{μ}{2} {| | K_{i} g_{i} - F_{i} | |}_{2}^{2} \end{matrix}

其中y_j＝D_jg_i，g_i表示第i个清晰局部块，D_jg_i表示g_i的一阶全局差分，F_i表示第i个模糊的局部块，K_i是F_i中心像素点的模糊核，μ和β均为正参数，以g_i＝F_i,λ＝λ⁰作为开始，采用迭代最小化方式求解该式，求解框架如下：

\{\begin{matrix} y^{k + 1} = \arg \min_{y} L_{A} (g_{i}^{k}, y, λ^{k}) \\ g_{i}^{k + 1} = \arg \min_{g_{i}} L_{A} (g_{i}, y^{k + 1}, λ^{k}) \\ λ^{k + 1} = λ^{k} - β (y^{k + 1} - {Dg}_{i}^{k + 1}) \end{matrix}

L_{A} (g_{i}, y, λ) : = \underset{j}{Σ} (| | y_{j} | | - λ_{j}^{T} (y_{j} - D_{j} g_{i}) + \frac{β}{2} {| | y_{j} - D_{j} g_{i} | |}^{2}) + \frac{μ}{2} {| | {Kg}_{i} - f_{i} | |}^{2}

用复原过程中相邻的两次迭代所估计得的局部块的相对差异(ε为较小的正数)或最大迭代次数作为迭代终止条件，如此，便可得到所有清晰局部块；接下来，将所有清晰局部块相加，并在重叠区域求其均值，得到清晰的前景图像，如下式所示：

{\hat{F}}_{k - 1} = {(\underset{i}{Σ} R_{i}^{T} R_{i})}^{- 1} (\underset{i}{Σ} R_{i}^{T} g_{i})

其中，R_i表示矩形窗操作，是复原后的前景；

利用步骤(1)中求得的α，可将与其对应的背景组成完整的清晰视频帧