CN103049891A - 基于自适应窗口选择的视频图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于自适应窗口选择的视频图像去模糊方法，主要解决RobFergus去模糊方法在选择用于估计运动模糊核的窗口时存在的多重复性和不确定性问题。其实现过程是：输入一帧视频图像，对该视频图像用遗传算法自适应选择用于估计运动模糊核的初始窗口；对初始窗口进行灰度转化和逆γ修正；在修正后的窗口内依次用可变贝叶斯方法和多尺度迭代法，估计出合适的运动模糊核；利用已估计出的运动模糊核，通过Richardson-Lucy去卷积算法对视频图像进行去卷积运算，得到清晰的视频图像。本发明具有自适应选择用于估计运动模糊核的窗口的优点，避免了手动选择的繁琐性和盲目性，提高了窗口选择的有效性和处理结果的准确性。

Description

基于自适应窗口选择的视频图像去模糊方法

技术领域

本发明属于图像处理技术领域，特别是涉及视频图像处理，可用于快速选择目标区域对图像去模糊和分割。

背景技术

运动模糊是成像过程中一种普遍存在的现象，它是由在曝光时间内相机和目标产生相对运动造成的。它的存在严重影响了获取图像的质量，运动模糊图像复原由此成为了一个重要的研究课题，被广泛运用于天文研究、军事探测、交通监测、医学检测等重要领域。

运动模糊图像可以建模为一个可以描述在曝光时间内相机运动轨迹的模糊核与图像强度的卷积。移除相机抖动模糊实际上是图像盲去卷积的一种形式，这个问题在图像和信号处理领域已经有了很长的历史。图像盲去卷积问题中由于原始清晰图像和模糊核均未知，因此所有的实际解决方案都必须事先对模糊核或要恢复的清晰图像做出假设。纵观这个领域的大量文献，已有的盲去卷积方法均以一个简单的参数模型假设模糊核，但由相机抖动形成的模糊核不是单一的参数就可以表示的，它往往包含尖锐的边缘，这些假设削弱了图像重建后的高频成分。Caron假设图像频率服从幂律分布，幂律是自然图像数据的一种简单形式，它不会保留图像的局部结构，之后Jalobeanu以及Neelamani把幂律和小波域约束结合起来取得了一定的效果但对模糊核复杂的图像仍不适用。由此可见，传统的信号处理解决方案往往只做一般的频域幂律假设，这些算法仅可处理简单模糊但对由相机抖动引起的复杂模糊效果不尽人意。

Rob Fergus的方法是去除图像未知抖动模糊的一项新技术。近几年的自然图像研究表明：自然场景的图像服从特殊的梯度分布。Fergus等人在Miskin和MacKay工作的基础上，利用贝叶斯方法把不定因素考虑在内，结合图像的分布估计出对应的模糊核。再用标准去卷积算法对图像进行重建。大量实验表明，Rob Fergus的去模糊算法具有很强的鲁棒性。但Fergus的算法操作起来不太方便，人工选择处理窗口增加了选择的盲目性，一旦选择出现偏差，去模糊的结果将会非常差，此时必须进行新一次的尝试，如此循环往复，直到选出合理的估计模糊核的窗口得到满意的结果。尽管Fergus等人也提出了怎样选择有效的处理窗口，仅凭借视觉效果选择边缘结构丰富的区域准确性难以保证，而且手动选择的窗口一般工作量比较大，计算耗时较长，如果将该方法使用在视频上，可想而知，该方法将会带来巨大的计算瓶颈问题。

发明内容

本发明的目的在于针对上述Fergus处理方法的不足，提出了一种基于自适应窗口选择的视频图像去模糊方法，以提高窗口选择的有效性和去模糊结果的准确性。

为实现上述目的，本发明包括如下步骤：

(1)输入视频序列X中的任意一帧视频图像I，视频图像I的大小为N×M，用遗传算法在视频图像I上自适应选择用于估计运动模糊核的窗口的位置坐标(i,j)，得到选择的窗口为[i,i+50,j,j+50]；

(2)依据步骤(1)选择的窗口位置在视频图像I上划线标出初始窗口P₀，然后将初始窗口P₀进行灰度转化，并按公式P(i,j)＝P₀(i,j)^1/γ进行逆γ修正，得到修正后的窗口P，其中P₀(i,j)为初始窗口P₀的灰度图像在(i,j)处的像素值，P(i,j)为修正后的窗口P在(i,j)处的像素值；

(3)设定初始的模糊核K₀和迭代次数scale，在每一个尺度用可变贝叶斯方法对修正后的窗口P估计相关后验概率的收敛值，并进行多尺度迭代计算，迭代终止，得到合适的运动模糊核K；

(4)利用运动模糊核K，对视频图像I用Richardson-Lucy算法进行去卷积运算，得到清晰图像L。

本发明与Fergus的处理方法相比具有以下优点：

1、本发明采用遗传算法对估计模糊核的窗口进行自适应选择，避免了手动选择时需要进行的多次尝试，提高了窗口选择的有效性；

2、本发明选择大小为50×50的窗口，很大程度上减小了估计模糊核的运算量，从而减少了运行时间；

3、本发明选择的窗口具有很好的适应性，通过视频序列中任意一帧图像选择出的窗口能较好地推广到其它帧图像中。

附图说明

图1是本发明的流程图；

图2是本发明所使用的视频basketball序列中的第39帧图像；

图3是用本发明对图2进行自适应选窗后得到的窗口；

图4是用本发明对图2自适应选窗后进行去模糊的结果图；

图5是视频basketball序列中的第40帧图像；

图6是将图2所选的窗口位置应用于图5后对图5进行去模糊的结果图。

具体实施方式

参照图1，本发明基于自适应窗口选择的视频图像去模糊方法，包括如下步骤：

步骤1：输入视频序列X中的任意一帧视频图像I，用遗传算法在视频图像I上自适应选择用于估计运动模糊核的窗口的位置坐标(i，j)，选择的窗口为[i,i+50,j,j+50]。这里我们取视频basketball中的第39帧，大小为352×288，如图2所示。用遗传算法对图像I自适应选择用于估计运动模糊核的窗口的位置坐标，按如下步骤来进行：

1a)随机产生种群规模为50的初始种群S＝{S₁,...S_i,...,S₅₀}；

1b)确定目标函数为其中g(i,j)＝I(i，j)-I(i,j′),I(i,j)为视频图像I在点(i,j)处的像素值，(i',j')为以点(i,j)为圆心，微元长度Δr为半径的圆弧上的任意一点，I(i',j')为视频图像I在点(i',j')处的像素值，若方向微分的方向角为α，α∈[-90°,90°]，则

i'＝ceil(i+Δrsinα),

j'＝ceil(j+Δrcosα).

在[-90°,90°]范围内，取α的步长为10°，求出该范围内使

为最小的(i,j)；

1c)采用轮盘赌方法从种群S中选出50个个体，种群S中的每个个体可重复选取，算法实现时采用随机数方法，将每个个体的适应度值进行归一化并依次累加，适应度值大的个体所占区域较大，然后生成一个0-1之间的随机数，随机数落到哪个区域，对应的个体就被选中，重复操作，得到适应度值较大的50个个体；

1d)设定交叉概率Pc为0.8，对满足交叉条件的个体采用单点交叉的方式进行交叉，是指依次对满足交叉条件的每两个个体生成一个1-8之间的随机整数In，交换两个个体中第In个基因位后的那部分基因串，不满足交叉条件的个体按照步骤1e)进行操作，所述的交叉条件，是指对种群S中的每个个体都随机生成一个0-1之间的随机数，若该随机数小于交叉概率，则对应的个体满足交叉条件，否则不满足交叉条件；

1e)设定变异概率Pm=0.01，对满足变异条件的个体按位点变异的方式进行变异，是指对满足变异条件的每个个体生成一个1-8之间的随机数Im，然后对每个个体的第Im个基因位进行变异，不满足变异条件的个体保持不变，所述的变异条件，是指对种群S中的每个个体都随机生成一个0-1之间的随机数，如果该随机数小于变异概率，则对应的个体满足变异条件，否则不满足变异条件；

1f)设定终止进化代数T为30，重复步骤1c)-1e)，迭代终止后得到窗口的位置坐标(i,j)；

步骤2：依据步骤1f)选择的窗口坐标位置在视频图像I上划线标出初始窗口P₀，如图3所示，将初始窗口P₀转化为灰度图像，对该灰度图像按公式P(i,j)＝P₀(i,j)^1/γ进行逆γ修正，取γ＝2.2，得到修正后的窗口P，其中，P₀(i,j)为初始窗口的灰度图像在点(i,j)处的像素值，P(i,j)为修正后的窗口P在点(i,j)处的像素值；

步骤3：设定初始的模糊核K₀和迭代次数scale，在每一个尺度用可变贝叶斯方法对修正后的窗口P估计相关后验概率的收敛值，并进行多尺度迭代计算，得到合适的运动模糊核K；

3a)初始化K₀为一个3×3的水平线模糊核；

3b)用可变贝叶斯方法按照以下公式计算得到运动模糊核K和梯度的收敛值，公式表示如下：

$p(K,\▿L_p|\▿P)\∝p(\▿P|K,{\▿L}_p)p\left({\▿L}_p\right)p\left(K\right)$

$=\underset{i}{\mathrm{\Π}}N(\▿P\left(i\right)|(K\⊗\▿L_p\left(i\right)),{\mathrm{\σ}}^2)\underset{i}{\mathrm{\Π}}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{\mathrm{\π}}_{c}N(\▿L_p\left(i\right)|0{,v}_c)\underset{j}{\mathrm{\Π}}{\mathrm{\π}}_{d}E\left(K_j\right|{\mathrm{\λ}}_d)$

其中，

和

分别是L_p和P的梯度，L_p是修正后的窗口P内隐藏的清晰图像，

的先验概率

服从零均值高斯分布，其方差为v_c，权重为π_c，运动模糊核K的先验概率p(K)服从指数分布，其比例系数为λ_d，权重为π_d，i指修正后的窗口P中的单个像素，j指运动模糊核K中的单个像素，N和E分别表示高斯分布和指数分布；

3c)对步骤3b)得到的运动模糊核K和梯度的收敛值进行

倍上采样，作为下一个尺度级计算的运动模糊核和梯度值；

3d)设定迭代次数scale的值为11，重复步骤3b)-3c)，迭代终止后得到运动模糊核K；

步骤4：利用运动模糊核K，对视频图像I用Richardson-Lucy算法进行去卷积运算，得到清晰图像L，如图4所示。

本发明的效果可通过以下仿真实验进一步说明：

实验内容：

为了说明本发明的有效性和适应性，实验所使用的输入图像为视频basketball中第40帧图像，如图5所示。将本发明选择的窗口位置坐标应用于图5，利用本发明所述方法对图5进行去模糊，结果如图6所示。从图6可以看出，用本发明选择的窗口位置坐标可以推广到同一视频序列的其它帧中，同时可以看出，用本发明自适应选窗，对视频图像去模糊能够达到令人满意的效果。

Claims (3)

1.一种基于自适应窗口选择的视频图像去模糊方法，包括如下步骤：

(1)输入视频序列X中的任意一帧视频图像I，视频图像I的大小为N×M，用遗传算法在视频图像I上自适应选择用于估计运动模糊核的窗口的位置坐标(i,j)，得到选择的窗口为[i,i+50,j,j+50]；

(2)依据步骤(1)选择的窗口位置在视频图像I上划线标出初始窗口P₀，然后将初始窗口P₀进行灰度转化，并按公式P(i,j)＝P₀(i,j)^1/γ进行逆γ修正，得到修正后的窗口P，其中P₀(i,j)为初始窗口P₀的灰度图像在(i,j)处的像素值，P(i,j)为修正后的窗口P在(i,j)处的像素值；

(3)设定初始的模糊核K₀和迭代次数scale，在每一个尺度用可变贝叶斯方法对修正后的窗口P估计相关后验概率的收敛值，并进行多尺度迭代计算，迭代终止，得到合适的运动模糊核K；

(4)利用运动模糊核K，对视频图像I用Richardson-Lucy算法进行去卷积运算，得到清晰图像L。

2.根据权利要求1所述的方法，其中步骤(1)所述的用遗传算法对视频图像I自适应选择用于估计运动模糊核的窗口的位置坐标(i，j)，按如下步骤进行：

1a)随机产生种群规模为50的初始种群S；

1b)确定目标函数为：

其中g(i,j)＝I(i,j)-I(i',j'),I(i,j)为视频图像I在点(i,j)处的像素值，(i',j')为以点(i,j)为圆心，微元长度Δr为半径的圆弧上的任意一点，I(i',j')为视频图像I在点(i',j')处的像素值，若方向微分的方向角为α，α∈[-90°,90°]，则

i'＝ceil(i+Δrsinα),

j'＝ceil(j+Δrcosα).

在[-90°,90°]范围内，α取步长为10°，求出该范围内使

为最小的(i,j)；

1c)采用轮盘赌方法从种群S中选出50个个体，种群S中的每个个体可重复选取；

1d)设定交叉概率Pc，对满足交叉条件的个体采用单点交叉的方式进行交叉，不满足交叉条件的个体按照步骤1e）进行操作，所述的交叉条件，是指对种群S中的每个个体都随机生成一个0-1之间的随机数，若该随机数小于交叉概率，则对应的个体满足交叉条件，否则不满足交叉条件；

1e)设定变异概率Pm，对满足变异条件的个体按位点变异的方式进行变异，不满足变异条件的个体保持不变，所述的变异条件，是指对种群S中的每个个体都随机生成一个0-1之间的随机数，如果该随机数小于变异概率，则对应的个体满足变异条件，否则不满足变异条件；

1f)设定终止进化代数T，重复步骤1c)-1e)，迭代终止后得到窗口的位置坐标(i,j)。

3.根据权利要求1所述的方法，其中步骤(3)所述的设定初始的模糊核K₀和迭代尺度scale，在每一个尺度用可变贝叶斯方法对修正后的窗口P估计相关后验概率的收敛值，并进行多尺度迭代计算，迭代终止，得到合适的运动模糊核K，按如下步骤进行：

3a)初始化K₀为一个3×3的水平线模糊核；

3b)用可变贝叶斯方法按照以下公式计算得到运动模糊核K和梯度的收敛值，公式表示如下：

$p(K,{\▿L}_p|\▿P)\∝p(\▿P|K,{\▿L}_p)p\left({\▿L}_p\right)p\left(K\right)$

$=\underset{i}{\mathrm{\Π}}N(\▿P\left(i\right)|(K\⊗{\▿L}_p\left(i\right)),{\mathrm{\σ}}^2)\underset{i}{\mathrm{\Π}}\underset{c=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\π}}_{c}N\left({\▿L}_p\left(i\right)\right|0,v_c)\underset{j}{\mathrm{\Π}}{\mathrm{\π}}_{d}E\left(K_j\right|{\mathrm{\λ}}_d)$

其中，

和

分别是L_p和P的梯度，L_p是修正后的窗口P内隐藏的清晰图像，

的先验概率

服从零均值高斯分布，其方差为v_c，权重为π_c，运动模糊核K的先验概率p(K)服从指数分布，其比例系数为λ_d，权重为π_d，i指修正后的窗口P中的单个像素，j指运动模糊核K中的单个像素，N和E分别表示高斯分布和指数分布；

3c)对步骤3b)得到的运动模糊核K和梯度

的收敛值进行

倍上采样，作为下一个尺度级计算的运动模糊核和梯度值；

3d)设定迭代次数scale的值，重复步骤3b)-3c)，迭代终止后得到运动模糊核K。

Images