CN106791273A - 一种结合帧间信息的视频盲复原方法 - Google Patents

Abstract

本发明是一种结合帧间信息的视频复原方法，属于视频图像处理技术领域。其核心是从视频编码中相邻帧之间的关联性出发，在模糊核估计和视频帧的非盲复原过程中均对该关联性加以利用和约束。首先对相邻两视频帧进行运动估计和补偿得到运动补偿帧；由于该帧具有清晰的边缘信息，对它进行预处理后结合到正则化模型中以实现视频帧模糊核的精确估计；最后对运动补偿帧和当前清晰帧之间的关系进行时域正则化约束，并用提出的时空正则化复原方法复原出清晰视频帧。实验表明本发明方法克服了传统单幅图像复原方法时域不连续的问题及时空体方法速度慢的问题，能够快速、有效地复原人为模糊和真实模糊视频序列，且对时间变化的模糊核具有较好的复原效果。

Description

一种结合帧间信息的视频盲复原方法

技术领域

本发明属于视频图像处理技术领域，尤其涉及一种结合帧间信息的视频盲复原方法。

背景技术

随着3G/4G网络技术及各类视频采集设备的不断发展，视频图像在天文观测、空间探索、航空测绘及日常生活中发挥着愈来愈重要的作用。然而，通常情况下视频在拍摄过程中摄像机与被摄物体之间的相对运动会使获取到的视频存在一定程度的运动模糊，大大降低视频的视觉效果和实用价值，为了提高视频质量，需要采用视频复原技术对采集到的视频进行处理。

视频运动模糊可以分为两大类：在曝光时间内由相机抖动引起的全局运动模糊和由拍摄场景中的物体运动引起的局部运动模糊。由于局部运动模糊仅限于对运动物体的拍摄，如运动的汽车或行走中的人，一般来说，拍摄这类场景的情况较少，且局部模糊很多时候是刻意追求的一种效果；而全局运动模糊在绝大部分情况下都是不期望的效果，且广泛存在于导轨式摄像机及手持设备拍摄过程中，因此近年来成为了学者们的研究热点，本发明方法主要解决该类运动模糊问题。

针对视频全局运动模糊的复原方法主要可分为基于单幅图像的方法、基于时空体的方法和基于多帧图像的方法。基于单幅图像的方法是将视频转化为一系列的单幅图像，采用单幅图像复原技术对视频进行逐帧复原，如“H.C.Zhang,J.C.Yang,Y.N.Zhang,T.S.Huang,Image and video restorations via nonlocal kernel regression,IEEETransactions on Cybernetics 43(3)(2013)1035-1046.”。这类方法依托于当前较为成熟的图像复原技术，能够有效利用图像自身的先验信息(如稀疏特性、自相似性等)并进行约束，但未考虑到视频与图像之间的差异，没有利用视频特有的帧间信息，因此采用这类方法得到的复原视频可能存在时域连续性问题。基于时空体的方法是将视频视为三维时空体，将二维图像的复原方法增加时间维度引入到三维视频复原中，如“S.H.Chan,R.Khoshabeh,K.B.Gibson,P.E.Gill,T.Q.Nguyen,An augmented Lagrangian method for totalvariation video restoration,IEEE Transactions on Image Processing 20(11)(2011)3097-3111.”。这类方法的优点是：能有效保证复原视频的时域连续性；缺点是：三维数据结构较为复杂，计算过程中存在运算量大、运算时间长的问题，且该方法假设视频的模糊核已知，无法用来复原实际模糊视频。由于视频序列是由一帧一帧相互关联的图像在时间轴上依次排列而成的，相邻视频帧中的内容非常相似，只存在小部分由相机或前景运动引起的差异，因此在复原过程中，除了考虑视频帧的空间先验信息外，还可结合视频帧与帧之间的时域关联性即帧间先验信息，通过同时利用视频的空间和时间信息来得到更精确的模糊核结果及效果更好的复原视频。目前已有不少研究采用这种基于多帧图像的复原方法，如“D.B.Lee,S.C.Jeong,Y.G.Lee,B.C.Song,Video Deblurring Algorithm UsingAccurate Blur Kernel Estimation and Residual Deconvolution Based on aBlurred-Unblurred Frame Pair,IEEE Transactions on Image Processing,22(3)(2013)926-940.”中对相邻两视频帧进行运动估计和补偿，随后同时用当前模糊帧及得到的预测帧来估计模糊核，该方法能得到较为精确的模糊核估计结果，但它假设模糊帧在视频中稀疏存在，不具有普适性；“W.G.Gong,W.Z.Wang,W.H.Li,S.Tang,TemporalConsistency Based Method for Blind Video Deblurring,International Conferenceon Pattern Recognition(2014)861-864.”则在非盲复原部分对视频的帧间信息加以利用，以保证复原视频的时域连续性。但该方法在时域正则项中对当前帧及其相邻的两模糊帧之间的关系进行了约束，两相邻帧自身的模糊和噪声会导致算法解趋于模糊值。

发明内容

本发明的目的在于提出一种结合帧间信息的视频复原方法，以快速有效地从无清晰帧存在的模糊视频中复原出原清晰视频。该方法能显著减小传统方法存在的振铃效应，并有效保证复原视频的时域连续性。

为了实现这一目的，本发明的具体技术方案如下：

一种结合帧间信息的视频盲复原方法，包括以下步骤：

步骤一、采用分组策略，将待复原视频序列分为M组，每组N帧模糊帧，当前模糊帧B_n为第m组第n帧，初始时m＝1，n＝1。

步骤二、利用图像复原方法对当前模糊帧B_n，n＝1进行复原，得到第一帧清晰图像L₁，并令n＝n+1。

步骤三、估计当前模糊帧B_n与前一模糊帧B_n-1之间的运动向量，并利用该运动向量对前一复原清晰帧L_n-1进行运动补偿，得到运动补偿帧I_n。

步骤四、对步骤三所得运动补偿帧I_n进行预处理得到I_P，由I_P和当前模糊帧B_n构造最小化正则化模型，然后对该最小化正则化模型进行求解得到模糊核K。

步骤五、利用步骤三得到的运动补偿帧I_n和步骤四得到的模糊核K，采用时空正则化非盲复原方法对当前模糊帧B_n进行复原，得到当前复原帧L_n。

步骤六、令n＝n+1；当n≤N时，重复步骤三到步骤五；当n＞N时，进入步骤七。

步骤七、令m＝m+1；当m≤M时，并重复步骤二到步骤六；当m＞M时，循环结束。

步骤八、对所有复原帧进行整合，得到清晰的视频图像。

进一步，运动补偿帧的具体计算为：采用Oriented Fast and Rotated BRIEF方法提取相邻两模糊帧B_n-1和B_n的所有特征点并对它们进行匹配。将前一复原清晰帧L_n-1进行分块处理，每一块大小为p×p；令其中一块为b，则块b的运动向量为：

其中(x_1i,y_1i)和(x_2i,y_2i)分别为前一模糊帧B_n-1和当前模糊帧B_n中的特征点的位置，且(x_1i,y_1i)∈b，(x_2i,y_2i)∈b。i表示块b中相匹配的第i对特征点。num为块b中所有特征点的个数。和分别为块b中所有特征点对之间的运动向量在x方向和y方向上的分量。

为了得到运动补偿帧I_n，对前一复原清晰帧L_n-1的各个块进行运动补偿得：

其中和分别为前一复原清晰帧L_n-1和运动补偿帧I_n中块b的任意像素点。

进一步，所述运动补偿帧I_n进行预处理具体是采用type-2型各向异性扩散和shock滤波器对运动补偿帧I_n进行处理。

进一步，所述的最小化正则化模型如下：

其中||·||₂为L2-范数，B代表当前模糊帧；K为当前模糊视频帧B的模糊核；I_P是运动补偿帧I_n的预处理结果；α为正则化参数；采用FFT求解得到当前模糊视频帧B的模糊核K：

其中和分别表示傅里叶变换和傅立叶反变换；为的复共轭；ο表示按像素点相乘。

进一步，采用时空正则化非盲复原方法对当前模糊帧B_n进行复原的具体过程为：最小化非盲复原模型如下：

其中为多阶混合算子集；为不同微分算子下的权重；为一阶差分算子；||·||₁为L1-范数；B和L分别为当前模糊帧和当前复原帧L_n；I为运动补偿帧；λ_S和λ_T分别为空间和时间方向上的正则化权重，采用变量替代法求解该式，首先引入分裂变量w，使则上述问题可转化为：

其中γ为惩罚项参数,进而利用分裂技术可将该问题转化为w-子问题和L-子问题的求解:

w-子问题：固定L，采用收缩公式对w-子问题进行求解：

L-子问题：固定w，采用FFT对L-子问题进行求解：

其中

将相邻两次迭代所估计的视频帧的相对差异||Lⁱ⁺¹-Lⁱ||/||Lⁱ⁺¹||＜ε，ε为10^-3作为迭代终止条件，通过交替迭代u-子问题和L-子问题，最终得到当前复原帧L_n。

进一步，所述的N帧，具体值为8或9或10或11。

本发明的有效增益效果在于：

(1)采用分组策略对模糊视频序列进行复原，有效避免了循环过程中的累积误差。

(2)在非盲复原部分充分利用视频的帧间信息并采用H1-范数对视频的时域信息进行约束，在抑制时域噪声的同时有效保证了复原视频的时域连续性。

(3)能够对真实视频中广泛存在的随时间变化的运动模糊进行有效复原。

本发明方法在模糊核估计和视频帧非盲复原过程中同时对相邻视频帧之间的关联性加以利用和约束，以减小时域噪声并保证模糊核估计的精确度和复原视频序列的时域连续性。

附图说明

图1：本发明方法的流程图；

图2a：本发明方法效果验证实验中所用到的模糊核；

图2b：本发明方法效果验证实验中所用到的测试视频序列City；

图2c：本发明方法效果验证实验中所用到的真实模糊视频序列Bridge；

图2d：本发明方法效果验证实验中所用到的测试视频序列Tu Berlin；

图3-1：本发明方法针对人为模糊视频City与经典的图像和视频复原方法的效果对比图；

图3-2：本发明方法针对真实模糊视频Bridge和视频复原方法的效果对比图；

图4：本发明方法对由不同模糊核造成的连续模糊视频帧复原的效果图；其中：(a)为叠加不同模糊核的连续三帧视频图像；(b)为本发明方法对模糊帧(a)的复原效果图；

具体实施方式

下面结合附图对本发明作进一步的详细说明。

视频序列是一帧帧图像在时间方向上的组合，因此视频序列的退化模型可表示为：

B(x,y,t)＝K(x,y,t)*L(x,y,t)+N(x,y,t)

其中，B(x,y,t)为已知的模糊视频帧；L(x,y,t)为待求的清晰视频帧；N(x,y,t)为随机噪声；K(x,y,t)为随时间变化的模糊核，即视频序列的每帧图像可能具有不同的模糊核；*为卷积运算符。

本发明的任务是根据已知的模糊视频帧B复原出清晰视频帧L，图1给出了本发明方法的流程图，该方法主要包括以下步骤：

步骤一、采用分组策略，将待复原视频序列分为M组，每组N帧模糊帧，当前模糊帧B_n为第m组第n帧；初始时m＝1，n＝1。

步骤二、利用图像复原方法对当前模糊帧B_n，n＝1进行复原，得到第一帧清晰图像L₁；并令n＝n+1。

由于本发明针对的是视频序列中不存在清晰帧的问题，因此需要首先采用图像复原方法复原出每组视频序列的第一帧清晰图像。该步骤包含第一帧模糊图像的模糊核估计和非盲复原两个部分：

(1)第一帧模糊图像的模糊核估计具体为：

由于Gong等提出的模糊核估计算法具有较强的鲁棒性，因此本发明采用该方法来估计第一帧模糊图像的模糊核K₁。其主要思想是先利用type-2型各向异性扩散和shock滤波器对模糊图像B₁进行处理得到预处理后的图像B_P。然后利用金字塔方法对模糊核进行求解，其中模糊核估计的最小化模型为：

其中||·||₂为L2-范数；α₁为正则化参数(根据实验，本发明中α₁＝0.1)。采用FFT(fast Fourier transform,FFT)求解得：

其中和分别表示傅里叶变换和傅立叶反变换；为的复共轭；ο表示按像素点相乘。

(2)非盲复原

在(1)中求得图像模糊核之后，需采用非盲复原方法对第一帧模糊图像进行复原。Cho等提出的快速运动去模糊方法中的非盲复原算法具有快速有效的优点，但该算法采用的Tikhonov正则项不能很好地保留图像的边缘信息。为保留复原图像的细节信息，本发明采用TV(Total Variation)正则项代替Tikhonov正则项，得到以下改进的非盲复原最小化问题：

其中为多阶混合算子集，下标分别表示不同方向及不同阶数的偏导数；为不同微分算子下的权重；为一阶差分算子；||·||₁为L1-范数；β为正则化参数(根据实验，本发明中β＝0.01)。采用算子分裂技术进行求解，首先引入分裂变量u，使则上述问题可转化为

其中γ₁为惩罚项参数(根据实验，本发明中γ₁＝1)。上式可进一步转化为两个子问题u-子问题和L₁-子问题的求解：固定L₁,利用收缩公式(Shrinkage formula)对u-子问题进行求解得：

固定u，利用FFT(Fast Fourier Transform)对L₁-子问题进行求解得：

其中

对u-子问题和L₁-子问题交替迭代求解可得第一帧清晰图像L₁，进而可利用帧间关联性对后续视频帧进行复原。

步骤三、估计当前模糊帧B_n与前一模糊帧B_n-1之间的运动向量，并利用该运动向量对前一复原清晰帧L_n-1进行运动补偿，得到运动补偿帧I_n。

本发明采用ORB(Oriented Fast and Rotated BRIEF)算法提取当前模糊帧B_n及前一模糊帧B_n-1中的所有特征点并对两帧图像的特征点进行匹配。

对于由相机抖动引起的全局运动模糊，当拍摄场景中不存在运动物体时，每一帧图像中的所有像素点具有相同的运动向量。当拍摄场景中存在运动物体时，图像中的运动物体具有不同的运动向量。因此，为了得到运动补偿帧I_n，本发明采用分块策略对前一清晰帧L_n-1进行运动补偿。该策略对视频帧进行分块处理，每块大小为p×p(根据实验，本发明取p＝16)，相对整幅图像而言，可认为每一小块中的所有像素点具有相同的运动向量，且每一块的运动向量为该块中所有特征点对运动向量的平均值。根据下式计算每一小块b的运动向量：

其中(x_1i,y_1i)和(x_2i,y_2i)分别为前一模糊帧B_n-1和当前模糊帧B_n中的特征点，且(x_1i,y_1i)∈b，(x_2i,y_2i)∈b。num块b中所有特征点的个数。和分别为块b在x方向和y方向上的运动向量。

进一步利用每一块的运动向量对前一清晰帧L_n-1的各个块进行运动补偿可得到运动补偿帧I_n：

其中和分别为前一清晰帧L_n-1和运动补偿帧I_n中块b的任意像素点。

步骤四、对步骤三所得运动补偿帧I_n进行预处理得到I_P，由I_P和当前模糊帧B_n构造最小化正则化模型，然后对该最小化正则化模型进行求解得到模糊核K。

运动补偿帧I_n是当前清晰帧的初始预测值，因此它包含有清晰的边缘及较少的噪声。考虑到图像的突出边缘信息有利于模糊核的估计，因此本发明首先采用type-2型各向异性扩散和shock滤波器对运动补偿帧I_n进行预处理，得到I_P。然后通过最小化以下正则化模型来估计当前帧的模糊核K：

其中α为正则化参数(根据实验，本发明中α＝1)。采用FFT求解得：

步骤五、利用步骤三得到的运动补偿帧I_n和步骤四得到的模糊核K，采用时空正则化非盲复原方法对当前模糊帧B_n进行复原，得到当前复原帧L_n。

视频与图像的主要差异在于视频有丰富的帧间信息，即视频相邻两帧间存在一定的关联性。步骤2的运动补偿帧I_n是通过对前一清晰帧L_n-1进行运动补偿得到的，因此也可将I_n视为当前复原帧L_n的初始估计值，即理想情况下，I_n与L_n应无限接近。

基于上述思想，本发明引入时域约束项以约束运动补偿帧I_n和当前复原帧L_n之间的关系。由于Tikhonov正则项能够很好地保证复原结果的平滑性，因此为抑制时域方向上的噪声同时保证复原视频的时域流畅性，本发明采用Tikhonov正则项作为时域约束项，即对以下时空正则化非盲复原模型进行最小化求解：

其中B、L和I分别为当前模糊帧、当前复原帧和运动补偿帧，即B＝B_n，L＝L_n，I＝I_n；λ_S和λ_T分别为空间和时间方向上的正则化权重(根据实验，本发明中λ_S＝0.01,λ_T＝0.05/(n-1)，其中n为每组中的第n帧图像)。求解过程类似于步骤1中的非盲复原求解，首先引入分裂变量w，使则上述问题可转化为：

其中γ为惩罚项参数(根据实验，本发明中γ＝1)。进而转化为w-子问题和L-子问题的求解。固定L，采用收缩公式对w-子问题进行求解：

固定w，采用FFT对L-子问题进行求解：

其中

本发明采用复原过程中相邻两次迭代所估计的视频帧的相对差异||Lⁱ⁺¹-Lⁱ||/||Lⁱ⁺¹||＜ε(ε为较小的正数，可取10^-3)作为迭代终止条件，也可通过设定最大迭代次数来终止迭代。通过交替迭代u-子问题和L-子问题，最终得到当前复原帧L_n。

步骤六、令n＝n+1；当n≤N时，重复步骤三到步骤五；当n＞N时，进入步骤七。

步骤七、令m＝m+1；当m≤M时，并重复步骤二到步骤六；当m＞M时，循环结束。

步骤八、对所有复原帧进行整合，得到清晰的视频图像。

本发明方法在模糊核估计和视频帧非盲复原过程中均充分利用了视频序列丰富的帧间信息，能够对视频运动模糊进行有效复原，克服了传统方法存在的耗时长及复原视频序列时域不连续的问题。

本发明方法的计算机仿真分析

用MATLAB软件在Windows7 32位系统，配置为3.20GHz Intel Core Xeon CPU及3.48GB内存的PC机上对本发明方法进行仿真实验。

本发明方法效果验证实验中所用到的模糊核及视频序列。其中：图2a为三种不同的模糊核；图2b为测试视频序列City；图2c为真实模糊视频序列Bridge；图2d为测试视频序列Tu Berlin。

图3-1和图3-2分别为本发明方法针对人为模糊视频City和真实模糊视频Bridge与经典的图像和视频复原方法的效果对比图。在图3-1中：(a)为模糊视频帧；(b)(c)为单幅图像复原方法复原效果；(d)为时空体复原方法复原效果；(e)为时域掩膜方法复原效果；(f)为本发明方法复原效果。在图3-2中：(a)为模糊视频帧；(b)(c)为单幅图像复原方法复原效果；(d)为时空体复原方法复原效果；(e)为时域掩膜方法复原效果；(f)(g)真实运动模糊视频复原方法复原效果。我们可以看出在复原结果中，本发明方法复原出的视频帧图3-1中(f)和图3-2(h)具有更清晰的边缘及更多的细节信息，明显优于传统的单幅图像复原方法图3-1中(b)-(c)，图3-2中(b)-(c)、时空体复原方法图3-1中(d)，图3-2中(d)及时域掩膜方法图3-1中(e)，图3-2中(e)，且与真实运动模糊视频复原方法图3-2中(f)-(g)相比，本发明方法复原出的视频帧具有更好的主观效果。另外在复原质量的客观评价方面，本发明方法复原出的视频帧具有最高的改善信噪比(ISNR＝9.96dB)。无论在主观效果还是客观评价方面，本发明方法都具有明显的优势。

表1 采用不同方法得到的复原视频帧的ISNR

图4为本发明方法对连续模糊视频帧的复原结果，其中：(a)为相邻的连续三帧模糊图像，右下角表示各自的模糊核；(b)为使用本发明方法下的此相邻连续三帧的模糊图像的复原效果。从该实验结果可以看出，针对时间变化的模糊核，本发明方法能很好地复原出清晰视频帧，说明该发明方法适用的广泛性。该实验中得到的复原视频帧的ISNR及所用时间如表2所示，由该表可以看出相邻三帧模糊图像的信噪比都得到了很大改善，且每帧图像的复原时间均在2秒内，证实了该发明方法的高效性。

表2 相邻连续复原视频帧的ISNR值及复原时间

Claims (6)

1.一种结合帧间信息的视频盲复原方法，其特征在于，该方法包括以下步骤：

步骤一、采用分组策略，将待复原视频序列分为M组，每组N帧模糊帧，当前模糊帧B_n为第m组第n帧；初始时m＝1，n＝1；

步骤二、利用图像复原方法对当前模糊帧B_n，n＝1进行复原，得到第一帧清晰图像L₁；并令n＝n+1；

步骤三、估计当前模糊帧B_n与前一模糊帧B_n-1之间的运动向量，并利用该运动向量对前一复原清晰帧L_n-1进行运动补偿，得到运动补偿帧I_n；

步骤四、对步骤三所得运动补偿帧I_n进行预处理得到I_P，由I_P和当前模糊帧B_n构造最小化正则化模型，然后对该最小化正则化模型进行求解得到模糊核K；

步骤五、利用步骤三得到的运动补偿帧I_n和步骤四得到的模糊核K，采用时空正则化非盲复原方法对当前模糊帧B_n进行复原，得到当前复原帧L_n；

步骤六、令n＝n+1；当n≤N时，重复步骤三到步骤五；当n＞N时，进入步骤七；

步骤七、令m＝m+1；当m≤M时，并重复步骤二到步骤六；当m＞M时，循环结束；

步骤八、对所有复原帧进行整合，得到清晰的视频图像。

2.根据权利要求1所述的一种结合帧间信息的视频盲复原方法，其特征在于，运动补偿帧的具体计算为：采用Oriented Fast and Rotated BRIEF方法提取相邻两模糊帧B_n-1和B_n的所有特征点并对它们进行匹配；将前一复原清晰帧L_n-1进行分块处理，每一块大小为p×p；令其中一块为b，则块b的运动向量为：

$\mathrm{\Δ}{\stackrel{\‾}{x}}_b=\frac{1}{num}\underset{i=1}{\overset{num}{\Σ}}(x_{2i}-x_{1i})$

$\mathrm{\Δ}{\stackrel{\‾}{y}}_b=\frac{1}{num}\underset{i=1}{\overset{num}{\Σ}}(y_{2i}-y_{1i})$

其中(x_1i,y_1i)和(x_2i,y_2i)分别为前一模糊帧B_n-1和当前模糊帧B_n中的特征点的位置，且(x_1i,y_1i)∈b，(x_2i,y_2i)∈b；i表示块b中相匹配的第i对特征点；num为块b中所有特征点的个数；和分别为块b中所有特征点对之间的运动向量在x方向和y方向上的分量；

为了得到运动补偿帧I_n，对前一复原清晰帧L_n-1的各个块进行运动补偿得：

$x_{I_b}=x_{L_b}+\mathrm{\Δ}{\stackrel{\‾}{x}}_b$

$y_{I_b}=y_{L_b}+\mathrm{\Δ}{\stackrel{\‾}{y}}_b$

其中和分别为前一复原清晰帧L_n-1和运动补偿帧I_n中块b的任意像素点。

3.根据权利要求1所述的结合帧间信息的视频盲复原方法，其特征在于：所述运动补偿帧I_n进行预处理具体是采用type-2型各向异性扩散和shock滤波器对运动补偿帧I_n进行处理。

4.根据权利要求1所述的结合帧间信息的视频盲复原方法，其特征在于：所述的最小化正则化模型如下：

$\underset{K}{\min }\left|\right|K*I_P-B|{|}_2^2+\mathrm{\α}|\left|K\right|{|}_2$

其中||·||₂为L2-范数；B代表当前模糊帧；K为当前模糊视频帧B的模糊核；I_P是运动补偿帧I_n的预处理结果；α为正则化参数；采用FFT求解得到当前模糊视频帧B的模糊核K：

其中和分别表示傅里叶变换和傅立叶反变换；为的复共轭；表示按像素点相乘。

5.根据权利要求1所述的结合帧间信息的视频盲复原方法，其特征在于，采用时空正则化非盲复原方法对当前模糊帧B_n进行复原的具体过程为：最小化非盲复原模型如下：

$\underset{L}{\min }\left(\underset{{\∂}^{*}}{\Σ}{\mathrm{\ω}}_{K\left({\∂}^{*}\right)}\right||K*{\∂}^{*}L-{\∂}^{*}B|{|}_2^2)+{\mathrm{\λ}}_S\left|\right|\▿L|{|}_1+{\mathrm{\λ}}_T||\▿L-\▿I|{|}_2$

其中为多阶混合算子集,下标分别表示不同方向及不同阶数的偏导数；为不同微分算子下的权重；为一阶差分算子；||·||₁为L1-范数；B和L分别为当前模糊帧和当前复原帧L_n；I为运动补偿帧；λ_S和λ_T分别为空间和时间方向上的正则化权重，采用变量替代法求解该式，首先引入分裂变量w，使则上述问题可转化为：

$\underset{w,L}{\min }\left(\underset{{\∂}^{*}}{\Σ}{\mathrm{\ω}}_{K\left({\∂}^{*}\right)}\right||K*{\∂}^{*}L-{\∂}^{*}B|{|}_2^2)+{\mathrm{\λ}}_S\left|\right|w|{|}_1+{\mathrm{\λ}}_T||\▿L-\▿I_P|{|}_2+\mathrm{\γ}\left|\right|w-\▿L|{|}_1$

其中γ为惩罚项参数,进而利用分裂技术可将该问题转化为w-子问题和L-子问题的求解:

w-子问题：固定L，采用收缩公式对w-子问题进行求解：

$w_x=max\left(\right|{\∂}_{x}L|-\frac{{\mathrm{\λ}}_s}{\mathrm{\γ}},0)\·sign\left({\∂}_{x}L\right)$

$w_y=max\left(\right|{\∂}_{y}L|-\frac{{\mathrm{\λ}}_s}{\mathrm{\γ}},0)\·sign\left({\∂}_{y}L\right)$

L-子问题：固定w，采用FFT对L-子问题进行求解：

$L=F^{-1}\left(\frac{\stackrel{\‾}{F\left(K\right)}oF\left(B\right){\mathrm{o\Δ}}_1+\mathrm{\γ}\left(\stackrel{\‾}{F\left({\∂}_x\right)}oF\right(w_x)+\stackrel{\‾}{F\left({\∂}_y\right)}oF\left(w_y\right))+{\mathrm{\λ}}_{T}F\left(I_P\right){\mathrm{o\Δ}}_2}{\stackrel{\‾}{F\left(K\right)}oF\left(K\right){\mathrm{o\Δ}}_1+(\mathrm{\γ}+{\mathrm{\λ}}_T){\mathrm{o\Δ}}_2}\right)$

其中

将相邻两次迭代所估计的视频帧的相对差异||Lⁱ⁺¹-Lⁱ||/||Lⁱ⁺¹||＜ε，ε为10^-3作为迭代终止条件，通过交替迭代u-子问题和L-子问题，最终得到当前复原帧L_n。

6.根据权利要求1所述的结合帧间信息的视频盲复原方法，其特征在于：所述的N帧，具体值为8或9或10或11。