CN104867111A - 一种基于分块模糊核集的非均匀视频盲去模糊方法 - Google Patents

Abstract

本发明涉及一种基于分块模糊核集的非均匀视频盲去模糊方法，属于视频处理技术领域；包括以下步骤：根据视频帧图像梯度大小检测模糊帧；使用清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；将清晰的分块拼接得到清晰的帧图像，从而去除模糊帧。与已有方法相比，本发明方法采用多个模糊核描述视频帧的模糊运动，计算时不需设定初始值，增加了鲁棒性，对于非均匀的视频模糊处理更加高效；对视频中的清晰区域要求不高，增加了适用范围。

Description

一种基于分块模糊核集的非均匀视频盲去模糊方法

技术领域：

本发明涉及一种视频盲去模糊方法，具体涉及一种基于分块模糊核集的非均匀视频盲去模糊方法，属于视频处理技术领域。

背景技术：

随着数码摄像机的普及，视频拍摄成为人们日常生活中重要的活动，在家庭娱乐、影视制作、生产安防等方面有着重要的应用。但是，由于视频拍摄时环境和使用人员的限制，拍摄的视频不可避免的存在画面模糊等问题，影响人眼的观看感受和后期的进一步处理。

对于视频去模糊这一具有较高应用价值问题，国内外的学者已经做了大量的基础研究。常用的视频去模糊方法主要包括两类：基于模糊核优化求解的方法和基于图像合成的方法。基于模糊核优化求解的方法以D.Lee等人在IEEETransactions on Image Processing上的工作Video deblurring algorithm usingaccurate blur kernel estimation and residual deconvolution based on ablurred-unblurred frame pair为代表，使用视频帧之间的运动获取模糊帧潜在的清晰图像，然后迭代优化求解模糊核。但是该方法使用单一的模糊核描述整个帧图像的模糊运动，对于具有较大景深的视频场景去模糊效果较差。基于图像合成的方法以S.Cho等人在ACM Transactions on Graphics上的工作Videodeblurring for hand-held cameras using patch-based synthesis为代表，通过清晰帧上的清晰区域对模糊帧上的模糊区域进行合成。但是该方法对视频中的清晰区域的分布要求较高，即如果模糊帧上的相关区域没有对应的其他帧上的清晰区域，该方法将无法进行去模糊处理，从而影响最终的视频质量。

发明内容：

本发明的目的是针对视频序列中出现的模糊帧，为了使用户获得更清晰的视觉感受，提出了一种基于分块模糊核集的非均匀视频盲去模糊方法。

本发明的思想是根据视频帧图像梯度大小检测视频序列中的模糊帧；使用清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；通过将清晰的分块拼接得到清晰的帧图像，从而去除视频中的模糊。

本发明的的目的是通过以下技术方案实现的：

一种基于分块模糊核集的非均匀视频盲去模糊方法，包括以下步骤：

步骤一、检测模糊帧

对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则，继续检测，直到没有模糊帧；

步骤二、视频帧网格化

将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为

$\{X_{i,j}^t=(x_{i,j}^t,y_{i,j}^t)\∈R^2\},$

其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标,R表示实数集，

将网格中每个矩形表示为

$Q_{i,j}^t=\{X_{i,j}^t,X_{i+1,j}^t,X_{i+1,j+1}^t,X_{i,j+1}^t\};$

步骤三、分别计算前后两个清晰帧与模糊帧之间的特征点匹配

对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前后清晰帧图像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(p_t1,p_s1)}和{(p_s2,p_t2)}。其中p_t1和p_t2分别是前后清晰帧上的特征点，p_s1和p_s2分别是模糊帧上与p_t1和p_t2匹配的特征点；

步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换

对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换H_i，j，t-1：

$E\left(H_{i,j,t-1}\right)=\underset{p_{t1}\∈Q_{i,j}^{t-1}}{\mathrm{\Σ}}{\left|\right|p_{s1}-H_{i,j,t-1}\·p_{t1}\left|\right|}^2;$

根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换H_i，j，t：

$E\left(H_{i,j,t}\right)=\underset{p_{s2}\∈Q_{i,j}^t}{\mathrm{\Σ}}{\left|\right|p_{t2}-H_{i,j,t}\·p_{s2}\left|\right|}^2;$

其中，t-1表示前清晰帧到模糊帧的单应变换，H_i，j，t-1是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示前清晰帧左上角角点索引为(i,j)的分块到模糊帧对应分块的单应变换，t表示模糊帧到后清晰帧的单应变换，H_i，j，t是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左上角角点索引为(i,j)的分块到后清晰帧对应分块的单应变换，p_t1，p_s1，p_t2，p_s2是三维列向量，前二维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；

步骤五、计算模糊帧对应的模糊运动的速度

5.1 首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过H_i，j，t-1对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块

5.2 利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下能量函数计算模糊运动的速度参数 $w_{i,j}^t=\{w_{i,j,t-1}^1,w_{i,j,t-1}^3,...,w_{i,j,t-1}^{T-1},w_{i,j}^0,w_{i,j,t}^1,w_{i,j,t}^2,...,w_{i,j,t}^{T-1}\}:$

$E\left(w_{i,j}^t\right)={\left|\right|w_{i,j}^0{L}_{i,j}^t+\underset{l=1}{\overset{T-1}{\mathrm{\Σ}}}(w_{i,j,t-1}^l{H}_{i,j,t-1}^l\left(L_{i,j}^t\right)+w_{i,j,t}^l{H}_{i,j,t}^l\left(L_{i,j}^t\right))-b_{i,j}^t\left|\right|}^2+\mathrm{\λ}{\left|\right|a\left|\right|}^2;$

其中是模糊帧上的一个分块，是通过步骤5.1得到的与该分块对应的清晰分块，表示用单应变换对进行图像变换，同理表示用单应变换对进行图像变换,λ是预先设定的权值，a是一个大小为2T-2的向量，其中第k个分量为中第k+1个分量与第k个分量的差；是分别对单应变换H_i，j，t-1的逆和H_i，j，t进行T-1次离散采样得到的变换，即

$\begin{array}{c}{H}_{i,j,t-1}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t-1}^{-1},\\ H_{i,j,t}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t}\end{array};$

其中T是预设的参数，l是离散采样的索引数，I是3阶单位矩阵；

步骤六、计算分块的模糊核图像

根据预设的模糊核图像的大小，将中心位置是白色像素的核图像按照计算得到的运动速度和离散采样的变换进行图像变换，得到中心白色像素的运动轨迹，并且将轨迹上的像素灰度设为相应的中的值，从而得到每一个分块的模糊核图像

步骤七、反卷积计算清晰帧

对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块

$b_{i,j}^t=L_{i,j}^t\⊗K_{i,j}^t;$

其中是卷积符号。在得到每个分块对应的清晰图像后，将清晰的分块拼接，最终生成模糊帧对应的清晰帧。

有益效果：

对比传统视频去模糊方法，本发明方法具有以下优势：

(1)传统的基于模糊核的视频去模糊方法采用单一核函数进行反卷积求解，无法有效处理非均匀的视频模糊，而且依赖于初始模糊核的估计，算法鲁棒性较差。本方法采用多个模糊核描述视频模糊运动，能够有效处理非均匀的视频模糊，而且计算时不需要设定模糊核的初始值，增加了鲁棒性。

(2)传统的基于图像合成的视频去模糊方法对视频中出现的清晰区域要求比较高，限制了能够进行去模糊的视频的范围。本方法不需要对模糊帧上每个模糊区域都有对应的清晰区域，因此适用的范围更加广泛。

综上所述，本发明方法可以更加高效地处理视频序列中的模糊帧，得到清晰的视频帧图像。

附图说明：

图1是本发明实施例一种基于分块模糊核集的非均匀视频盲去模糊方法流程示意图。

图2是本发明方法与其他方法是对人工模糊图像的去模糊实验结果对比图。

图3是本发明方法与其他方法对自然的均匀运动模糊图像的去模糊实验结果对比图。

图4是本发明方法与其他方法对自然的非均匀运动模糊图像的去模糊实验结果对比图。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

实施例

一种基于分块模糊核集的非均匀视频盲去模糊方法，具体实现步骤如下：

步骤一、检测模糊帧

模糊帧检测方法有很多，例如Niranjan等人提出的基于累计概率的非参考图像模糊检测方法(Niranjan D.Narvekar and Lina J.Karam,Senior Member,IEEE,‖A No-Reference Image Blur Metric Based on the Cumulative Probability of BlurDetection(CPBD)‖,IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.20,NO.9,SEPTEMBER 2011.)，还有基于小波变换的模糊检测方法(Tong H.,Mingjing L.,Hongjiang Z.,Changshui Z.:，，Blur detection for digital images usingwavelet transform.IEEE Int.Conf.on Multimedia and Expo(ICME),2004,pp.17–20.)等。

本实施例采用的模糊帧检测方法如下：对于视频的每一帧，统计帧图像的像素的梯度，计算整幅帧图像的梯度大小的平均值。如果该帧平均梯度值小于预定阈值T，则该帧是模糊帧。

本实施例中阈值T为该视频所有帧的平均梯度值中最大值的二分之一。

步骤二、视频帧网格化

将视频的每一帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为

$\{X_{i,j}^t=(x_{i,j}^t,y_{i,j}^t)\∈R^2\},$

其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标，R表示实数集。

将网格中每个矩形表示为

$Q_{i,j}^t=\{X_{i,j}^t,X_{i+1,j}^t,X_{i+1,j+1}^t,X_{i,j+1}^t\}.$

步骤三、分别计算前后两个清晰帧与模糊帧之间的特征点匹配

对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧。特征点检测方法很多，例如SIFT方法(D.G.Lowe.Object recognition from local scale-invariant features.In Proc.ICCV,pages 1150–1157,1999.)，SURF方法(Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[M]//Computer Vision–ECCV 2006.Springer BerlinHeidelberg,2006:404-417.)，还有ORB方法(RUBLEE E，RABAUD V，KONOLIGE K,et al.ORB:an efficient alternative to SIFT or SURF[C].IEEEInternational Conference on Computer Vision,2011:2564-2571.)等,本实施例采用SIFT方法分别检测模糊帧图像和前后清晰帧图像上的特征点，并使用匈牙利匹配算法进行特征点匹配，得到彼此匹配的特征点对的集合{(p_t1,p_s1)}和{(p_s2,p_t2)}。其中p_t1和p_t2分别是前后清晰帧上的特征点，p_s1和p_s2分别是模糊帧上与p_t1和p_t2匹配的特征点。

步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换

为了估计模糊帧形成时的模糊运动，对于每个矩形分块，计算前清晰帧到模糊帧以及模糊帧到后清晰帧之间的单应变换。首先计算前清晰帧到模糊帧的单应变换，根据前清晰帧和模糊帧匹配的特征点，优化以下能量函数计算每个分块对应的单应变换H_i，j，t-1，不失一般性，本实施例中采用最小二乘优化算法最小化以下能量函数求解：

$E\left(H_{i,j,t-1}\right)=\underset{p_{t1}\∈Q_{i,j}^{t-1}}{\mathrm{\Σ}}{\left|\right|p_{s1}-H_{i,j,t-1}\·p_{t1}\left|\right|}^2$

其中，t-1并不是视频帧索引数，而是表示这是前清晰帧到模糊帧的单应变换，H_i，j，t-1是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示前清晰帧左上角角点索引为(i,j)的分块到模糊帧对应分块的单应变换，p_t1，p_s1是三维列向量，前二维分别是特征点的XY坐标，第三维设为1。双竖线符号表示二范数。

接着，计算模糊帧到后清晰帧的单应变换，根据模糊帧和后清晰帧匹配的特征点，优化以下能量函数计算每个分块对应的单应变换H_i，j，t，不失一般性，本实施例中采用最小二乘优化算法最小化以下能量函数求解:

$E\left(H_{i,j,t}\right)=\underset{p_{s2}\∈Q_{i,j}^t}{\mathrm{\Σ}}{\left|\right|p_{t2}-H_{i,j,t}\·p_{s2}\left|\right|}^2$

其中，t并不是视频帧索引数，而是表示这是模糊帧到后清晰帧的单应变换，H_i，j，t同样是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左上角角点索引为(i,j)的分块到后清晰帧对应分块的单应变换，p_t2，p_s2是三维列向量，前二维分别是特征点的XY坐标，第三维设为1。

步骤五、计算模糊帧对应的模糊运动的速度

首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过H_i，j，t-1对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块

利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下能量函数计算模糊运动的速度参数 $w_{i,j}^t=\{w_{i,j,t-1}^1,w_{i,j,t-1}^3,...,w_{i,j,t-1}^{T-1},w_{i,j}^0,w_{i,j,t}^1,w_{i,j,t}^2,...,w_{i,j,t}^{T-1}\},$ 其中的分量表示权重：

$E\left(w_{i,j}^t\right)={\left|\right|w_{i,j}^0{L}_{i,j}^t+\underset{l=1}{\overset{T-1}{\mathrm{\Σ}}}(w_{i,j,t-1}^l{H}_{i,j,t-1}^l\left(L_{i,j}^t\right)+w_{i,j,t}^l{H}_{i,j,t}^l\left(L_{i,j}^t\right))-b_{i,j}^t\left|\right|}^2+\mathrm{\λ}{\left|\right|a\left|\right|}^2$

其中是模糊帧上的一个分块，是前面得到的与该分块对应的清晰分块，表示用单应变换对进行图像变换，同理表示用单应变换对进行图像变换,λ是预先设定的权值。本方法设定λ＝5。a是一个大小为2T-2的向量，其中第k个分量为中第k+1个分量与第k个分量的差。是分别对单应变换H_i，j，t-1的逆和H_i，j，t进行T-1次离散采样得到的变换，即

$\begin{array}{c}{H}_{i,j,t-1}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t-1}^{-1},\\ H_{i,j,t}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t}\end{array}$

其中T是预设的参数。本方法设定T＝20。l是离散采样的索引数。I是3阶单位矩阵。本实施例中采用严格凸规划方法对能量函数优化求解，得到模糊运动的速度参数。

步骤六、计算分块的模糊核图像

本实施例中预先设定模糊核图像的长、宽各为40个像素，中心位置像素灰度值设为然后将模糊核图像的中心像素按照离散采样得到的一系列单应变换进行变换，即每一个单应变换都分别乘上中心像素的坐标，以此跟踪中心像素的位置，最终得到一系列坐标的集合，即是中心像素的运动轨迹，之后根据坐标集合，将模糊核图像上对应像素点的灰度值设为相应的中的值，即对于变换灰度值设为对于变换灰度值设为模糊核图像其他像素点的灰度值设为0，从而得到每一个分块的模糊核图像

步骤七、反卷积计算清晰帧

对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块

$b_{i,j}^t=L_{i,j}^t\⊗K_{i,j}^t$

其中是卷积符号。在得到每个分块对应的清晰图像后，将清晰的分块拼接，生成模糊帧对应的清晰帧，最终得到清晰的视频。

实验结果：

如图2所示是采用不同方法在分别使用单一模糊核和多模糊核人工合成的模糊图像上的去模糊效果对比图。(a)的顶部和底部分别是用来合成模糊图像的模糊核与原始的清晰图像；(b)用单一模糊核人工合成的模糊图像以及不同方法的去模糊结果(正方形框内)；(c)用多模糊核人工合成的模糊图像以及不同方法的去模糊结果(正方形框内)；对于(b)和(c)，顶部从左到右依次为模糊图像，high-quality image deblurring方法结果(Q.Shan,J.Jia,and A.Agarwala,“High-quality motion deblurring from a single image,”ACM Trans.Graph.,vol.27,no.3,pp.73–82,Aug.2008.)，L₀-sparse image deblurring方法结果(L.Xu,S.Zheng,and J.Jia,“Unnatural l0 sparse representation for natural image deblurring,”CVPR,pp.1107–1114,2013.)，底部从左到右依次为bilinear image deblurring方法结果(O.Whyte,J.Sivic,A.Zisserman,and J.Ponce,“Non-uniform deblurring for shakenimages,”Int.J.Comput.Vision,vol.98,no.2,pp.168–186,Jun.2012.)，patch-synthesis based video deblurring方法结果(S.Cho,J.Wang,and S.Lee,“Video deblurring for hand-held cameras using patch-based synthesis,”ACM Trans.Graph.,vol.31,no.4,pp.64–72,Jul.2012.)，以及本发明实验结果。通过对比可以看出，总体上大部分的方法在处理人工合成的均匀模糊图像的时候都能够得到不错的去模糊效果，但是我们的方法在边缘部分能够得到更清晰的结果；而对于人工合成的非均匀模糊图像，以前的方法只在图像的一些局部区域有去模糊效果，或者会引起过平滑的现象，然而我们的方法却能够在整张图像上得到很好的去模糊效果。

如图3所示是采用不同方法对自然图像中均匀运动模糊图像的去模糊效果对比图。图像中用黑线分割出了六个区域，顶部从左至右依次为输入的模糊图像，high-quality image deblurring方法结果，L₀-sparse image deblurring方法结果，底部从左至右依次为bilinear image deblurring方法结果，patch-synthesis basedvideo deblurring方法结果，以及本发明方法实验结果。

如图4所示是采用不同方法对自然图像中非均匀运动模糊图像的去模糊效果对比图。图像中用黑线分割出了六个区域，顶部从左至右依次为输入的模糊图像，high-quality image deblurring方法结果，L₀-sparse image deblurring方法结果，底部从左至右依次为bilinear image deblurring方法结果，patch-synthesis basedvideo deblurring方法结果，以及本发明方法实验结果。通过图3和图4可以看出，high-quality image deblurring方法和L₀-sparse image deblurring方法由于不精确的模糊核估计而导致许多振铃效应的产生。另外，bilinear image deblurring方法的实验结果中依然存在明显的模糊。patch-synthesis based video deblurring方法可以得到不错的结果，但去模糊后图像有些过平滑。而本发明的实验结果因为采用更精确的分块模糊核集估计所以能够得到更好的去模糊效果。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于，该方法包括如下步骤：

步骤一、检测模糊帧

对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则，继续检测，直到没有模糊帧；

步骤二、视频帧网格化

将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为

$\{X_{i,j}^t=(x_{i,j}^t,y_{i,j}^t)\∈R^2\},$

其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标,R表示实数集，

将网格中每个矩形表示为

$Q_{i,j}^t=\{X_{i,j}^t,X_{i+1,j}^t,X_{i+1,j+1}^t,X_{i,j+1}^t\};$

步骤三、分别计算前后两个清晰帧与模糊帧之间的特征点匹配

对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前、后清晰帧图像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(p_t1,p_s1)}和{(p_s2,p_t2)}；其中p_t1和p_t2分别是前、后清晰帧上的特征点，p_s1和p_s2分别是模糊帧上与p_t1和p_t2匹配的特征点；

步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换

对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换H_i，j，t-1：

$E\left(H_{i,j,t-1}\right)=\underset{p_{t1}\∈Q_{i,j}^{t-1}}{\mathrm{\Σ}}{\left|\right|p_{s1}-H_{i,j,t-1}\·p_{t1}\left|\right|}^2;$

根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换H_i，j，t:

$E\left(H_{i,j,t}\right)=\underset{p_{s2}\∈Q_{i,j}^t}{\mathrm{\Σ}}{\left|\right|p_{t2}-H_{i,j,t}\·p_{s2}\left|\right|}^2;$

其中，t-1表示前清晰帧到模糊帧的单应变换，H_i，j，t-1是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示前清晰帧左上角角点索引为(i,j)的分块到模糊帧对应分块的单应变换，t表示模糊帧到后清晰帧的单应变换，H_i，j，t是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左上角角点索引为(i,j)的分块到后清晰帧对应分块的单应变换，p_t1，p_s1，p_t2，p_s2是三维列向量，前二维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；

步骤五、计算模糊帧对应的模糊运动的速度

5.1首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过H_i，j，t-1对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块

5.2利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下能量函数计算模糊运动的速度参数 $w_{i,j}^t=\{w_{i,j,t-1}^1,w_{i,j,t-1}^2,...,w_{i,j,t-1}^{T-1},w_{i,j}^0,w_{i,j,t}^1,w_{i,j,t}^2,...,w_{i,j,t}^{T-1}\}:$

$E\left(w_{i,j}^t\right)={\left|\right|w_{i,j}^0{L}_{i,j}^t+\underset{l=1}{\overset{T-1}{\mathrm{\Σ}}}(w_{i,j,t-1}^l{H}_{i,j,t-1}^l\left(L_{i,j}^t\right)+w_{i,j,t}^l{H}_{i,j,t}^l\left(L_{i,j}^t\right))-b_{i,j}^t\left|\right|}^2+\mathrm{\λ}{\left|\right|a\left|\right|}^2;$

其中是模糊帧上的一个分块，是通过步骤5.1得到的与该分块对应的清晰分块，表示用单应变换对进行图像变换，同理表示用单应变换对进行图像变换,λ是预先设定的权值，a是一个大小为2T-2的向量，其中第k个分量为中第k+1个分量与第k个分量的差；是分别对单应变换H_i，j，t-1的逆和H_i，j，t进行T-1次离散采样得到的变换，即

$H_{i,j,t-1}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t-1}^{-1},$ ；

$H_{i,j,t}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t}$

其中T是预设的参数，l是离散采样的索引数，I是3阶单位矩阵；

步骤六、计算分块的模糊核图像

根据预设的模糊核图像的大小，将中心位置是白色像素的核图像按照计算得到的运动速度和离散采样的变换进行图像变换，得到中心白色像素的运动轨迹，并且将轨迹上的像素灰度设为相应的中的值，从而得到每一个分块的模糊核图像

步骤七、反卷积计算清晰帧

对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块

$b_{i,j}^t=L_{i,j}^t\⊗K_{i,j}^t;$

其中是卷积符号；在得到每个分块对应的清晰图像后，将清晰的分块拼接，最终生成模糊帧对应的清晰帧。

2.根据权利要求1所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：所述步骤一中模糊帧的检测方法为：统计帧图像的像素的梯度，计算整幅帧图像的梯度大小的平均值；如果该帧平均梯度值小于预定阈值T，则该帧是模糊帧。

3.根据权利要求2所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：所述T为该视频所有帧的平均梯度值中最大值的二分之一。

4.根据权利要求1所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：所述步骤三中采用SIFT方法分别检测模糊帧图像和前后清晰帧图像上的特征点，并使用匈牙利匹配算法进行特征点匹配。

5.根据权利要求1所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：采用最小二乘优化算法对所述步骤四中能量函数进行优化求解。

6.根据权利要求1所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：采用严格凸规划方法对所述步骤五中能量函数进行优化求解。

7.根据权利要求1所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：λ＝5。

8.根据权利要求1所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：T＝20。

9.根据权利要求1-7任一所述的一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于：所述模糊核图像的长、宽各为40个像素。