CN101639938A - 一种基于双边滤波器和余量去卷积的图像复原方法 - Google Patents

Abstract

本发明公开了一种基于双边滤波器和余量去卷积的图像复原算法，(1)根据待复原图像及其已知模糊核，采用标准RL算法做高次迭代，得到含有振铃的复原图像；(2)采用双边滤波器对含有振铃的复原图像实施滤波操作，得到消除振铃后的复原图像；(3)用已知模糊核对消除振铃后的复原图像进行卷积处理，得到重模糊图像；(4)利用步骤(3)所得的重模糊图像及待复原图像采用余量去卷积得到复原图像细节，并与消除振铃后的复原图像相加得到新的含有振铃的复原图像；(5)多次重复步骤(2)～步骤(4)得到最终复原图像。本发明方法能够有效抑制迭代算法复原图像中产生的中、高频振铃，保持丰富的图像细节，得到高质量的复原图像。

Description

一种基于双边滤波器和余量去卷积的图像复原方法

技术领域

本发明涉及计算机图像处理技术，尤其涉及一种图像去模糊的方法。

背景技术

在拍照过程中，由于拍照者手抖动或拍摄物体高速运动等原因，造成图像模糊，为了避免产生模糊，通常的方法是缩短曝光时间或采用三脚架拍摄，然而前者在弱光照条件下会产生严重的噪声，后者则太笨重，于是如何利用软件复原模糊图像就显得尤为重要，是现代图像处理领域的热点。图像模糊的逆过程称为图像去卷积，其目的就是从模糊图像逆向得到清晰图像，它在天文拍摄、医学成像等领域具有重要意义。

图像去卷积起源于天文观测，较早的算法包括标准RL算法、维纳滤波等，后来又出现了总体变分正则化算法以及小波域的图像复原算法等，然而即使模糊核已知，由于吉布斯现象的存在将导致振铃效应，影响复原效果，如RL算法随着迭代次数的增加图像细节逐步得到恢复，振铃效应也会越来越明显，总体变分正则算法虽然在一定程度上压制了振铃，但损失了图像细节，因此如何在保持图像细节的同时压制振铃是图像复原的关键。

模糊核对图像复原至关重要，在某些情况下模糊核是可求的，如在天文拍摄时，可将星体视为点光源，其像即为模糊核，又如有些学者提出了基于自然图像梯度分布求模糊核、采用两幅图像求模糊核以及利用图像序列求模糊核的方法，这些方法为图像复原奠定了基础。

根据算法所需信息可将图像去卷积算法分为三类，即盲复原算法、已知模糊核的复原算法和基于多幅图像的复原算法。

盲复原是在模糊核未知的情况下仅从单幅图像复原出原图像的方法，由于已知信息不足，现有的盲复原算法通常假设待求图像和模糊核的分布服从某种规律，然后在贝叶斯框架下得到复原结果，所以如何对图像和模糊核的分布做出合理假设就成为图像复原的关键。近年来这方面的研究取得了一定进展，如先假设待求图像服从自然图像梯度分布规律，并在尺度空间上求得模糊核，然后用标准RL算法得到复原结果，该方法较传统算法的优势在于能够处理模糊核较复杂的情况；又如在最大后验框架下采用对图像噪声建模和引入局部约束压制振铃的方法可得到高质量的复原图像，优于传统的盲复原算法。

已知模糊核的复原算法又称为非盲复原算法，由于模糊核已知，求解相对简单，所以涌现出了众多算法，其中一些经典算法一直沿用至今，如RL、维纳滤波算法等，它们在运行效率，图像恢复质量上都有很好的表现，然而吉布斯现象导致的振铃效应一直成为困扰这些经典算法的难题，为了降低振铃效应的影响，科研工作者提出了许多新算法，如总体变分正则化算法，将稀疏自然图像约束与共轭梯度法相结合的算法，根据联合双边/双边滤波器的思想对标准RL算法进行改进，并在尺度空间上复原图像的算法等。此外，随着小波技术的发展，还出现了许多基于小波域的图像复原技术。

由于在实际工作中单幅图像包含的信息有限，所以要获得准确的模糊核并非易事，于是又出现了基于多幅图像的复原算法，如基于欠曝图像和模糊图像的复原算法；基于两幅模糊图像的复原算法以及基于序列图像的复原算法。

发明内容

本发明提出了一种基于双边滤波器和余量去卷积的图像复原算法，结合了标准RL算法、双边滤波器和余量去卷积算法的特点，通过多次滤波、重模糊和细节复原得到清晰图像，该算法能有效抑制迭代过程中产生的中、高频振铃，保持丰富的图像细节，步骤如下：

(1)根据待复原图像及其已知模糊核，采用标准RL算法做高次迭代，得到含有振铃的复原图像；

(2)采用双边滤波器对含有振铃的复原图像实施滤波操作，得到消除振铃后的复原图像；

(3)用步骤(1)所述的已知模糊核对消除振铃后的复原图像进行卷积处理，得到重模糊图像；

(4)利用步骤(3)所得的重模糊图像及待复原图像采用余量去卷积得到复原图像细节，将复原图像细节与步骤(2)的消除振铃后的复原图像相加得到新的含有振铃的复原图像，并将其作为步骤(2)中双边滤波器的输入图像；

(5)多次重复步骤(2)～步骤(4)得到最终复原图像。

图像模糊过程可用如下的数学模型表述：

$B=I\⊗h+n$

其中，B表示待复原图像，I表示原图像，h表示模糊核，

表示卷积运算，n表示噪声。

在已知模糊核的图像复原算法中B和h是已知的，I是待求项，解决该问题的方法有很多种，例如共轭梯度法、标准RL算法和维纳滤波等，然而由于吉布斯现象的存在，所有这些算法都会在复原结果中引入振铃现象，振铃的频率不仅取决于模糊核和图像的相对大小，而且与模糊核的强度分布有重要关系，低频振铃会在图像背景中引入较宽的波纹，但不会对图像细节辨识造成太大影响，而中、高频的振铃将影响到图像细节，产生伪信息，如何在保持图像细节的情况下压制振铃是一个难点。

本发明是一种已知模糊核的图像复原算法，模糊核的获得有多种方法，如可根据镜头的成像特性推导出模糊核、根据序列图像求得模糊核等等，在此认为模糊核是已知的。模糊核已知后就可以利用本发明方法复原图像。

本发明方法由如下三部分核心步骤构成：

标准RL算法。

标准RL算法是一种经典的图像去卷积算法，它假设图像噪声服从泊淞分布规律，由此推导出图像概率表达式，然后再求出该表达式的最大值，即为复原结果，迭代过程如下：

$I_{t+1}=I_t[h^{*}\⊗\frac{B}{(I_t\⊗h)}]$

其中，h^*(i，j)＝h(-j，-i)，i，j表示以模糊核中心为坐标原点，模糊核中各像素的坐标值，t表示迭代次数，I_t表示图像复原过程中经过t次迭代后得到的复原图像。标准RL算法的特点在于它具有较强的细节复原能力，迭代次数越高，细节越丰富，同时振铃的影响也越来越严重，特别是当迭代次数高于某一阈值时，图像细节将基本保持不变，而振铃效应将愈加显著。

双边滤波器。

双边滤波器是一种非线性滤波器，具有很强的细节提取能力，它首先为含有振铃的复原图像中的每个像素规定一个邻域，滤波操作被限定在该邻域中，滤波结果不仅取决于邻域中心像素与相邻像素间的相对距离，还取决于它们的相对强度，其表达式如下：

$A_p^f=\frac{1}{M\left(p\right)}\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}})A_{p^{\′}}$

其中，A_p ^f表示对含有振铃的复原图像实施滤波后所得图像中某点的像素值，利用上式得到图像中所有点的像素值后即得到了消除振铃后的复原图像； $M\left(p\right)=\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}})$ 为归一化系数；W表示含有振铃的复原图像中某个待处理像素的邻域，p表示该邻域中心坐标，p′表示邻域中其他像素的坐标，A_p表示该邻域中心像素值，A_p′表示邻域中其他像素的像素值，G_d和G_r都为高斯函数，其标准差分别为σ_d和σ_r，σ_d同时还限定了邻域的大小。从上式可以看出，双边滤波器首先为邻域W中的每个像素A_p′乘以一个权重G_d(p′-p)G_r(A_p-A_p′)，然后求得加权和 $\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}})A_{p^{\′}},$ 再做归一化处理即乘以

得到待处理像素滤波后的值，高斯函数G_d使得距离中心像素越远的像素对滤波结果的影响越小，同理G_r则使得邻域中与中心像素强度相差越大的点对结果的影响越小。双边滤波器具有很强的细节提取能力，只要调整σ_d和σ_r的值，便可以得到各种程度不同的滤波效果。

由于本发明方法中需要多次重复步骤(2)～步骤(4)，随着重复次数的增加，复原图像中的振铃效应将越来越小，而双边滤波器的作用在于为下面所述的余量去卷积提供平滑图像，所以双边滤波器参数应随步骤(2)～步骤(4)重复次数的增加做适当减小，以减少细节提取量，只需保证每次滤波恰好除去输入图像中的振铃即可。

余量去卷积。

研究表明，由吉布斯现象产生的振铃效应的幅度正比于图像中的像素突变值，因此，在图像边缘振铃效应较明显，为了削弱振铃，首先在步骤(2)中用双边滤波器对步骤(1)或(4)中所得的含有振铃的复原图像进行滤波操作得到消除振铃后的复原图像N_F，则剩余模糊图像 $\mathrm{\ΔB}=B-N_F\⊗h,$ 其中即为步骤(3)所述的重模糊图像。

由于ΔB中可能含有负值，应先为其加上偏置1，再使用标准RL算法进行迭代得到复原图像细节如下：

${\mathrm{\ΔI}}_{t+1}=(h^{*}\⊗\frac{\mathrm{\ΔB}+1}{(\mathrm{\Δ}{I}_t+1)\⊗h})\·({\mathrm{\ΔI}}_t+1)-1$

其中t表示迭代次数，ΔI_t表示复原图像细节，由于该算法是在剩余模糊图上实施标准RL算法，所以突变点处的像素值已被削弱，因此它能够有效抑制振铃效应。

由于本发明方法中需要多次重复步骤(2)～步骤(4)才得到振铃较少、细节丰富的最终复原图像。在此过程中，步骤(4)中余量去卷积迭代次数将随步骤(2)～步骤(4)重复操作次数的增加做适当减少，但应高于某一阈值，这有利于抑制振铃效应。

本发明方法步骤(1)中利用了所述的标准RL算法的特点，通过高次迭代，获得了细节丰富的复原图像，同时结果中的振铃效应也较明显。

本发明方法步骤(2)～(4)中则利用了双边滤波器在提取细节方面的优势，通过参数调整，刚好去掉输入图像中的振铃，得到平滑图像N_F，然后再将N_F与模糊核h做卷积得到重模糊图像它与原模糊图的差值图像 $\mathrm{\ΔB}=B-N_F\⊗h$ 即为剩余模糊图像，再采用余量去卷积进行高次迭代即可得到复原图像细节ΔI_t，则通过步骤(2)～(4)的操作得到新的复原图像I＝N_F+ΔI_t，此时余量去卷积算法已对振铃实施了明显压制，且图像细节得到了保留，为了进一步消除残余振铃，只需多次重复步骤(2)～(4)的操作即可。

本发明方法能够有效抑制迭代算法复原图像中产生的中、高频振铃，保持丰富的图像细节，得到高质量的复原图像。适用于卫星遥感、飞机航拍和医学图像处理等领域。

附图说明

图1(a)为处理前的模糊图像；

图1(b)为模糊核；

图2为图1(a)经过本发明步骤(1)处理后的效果示意图；

图3为图2经过本发明步骤(2)处理后的效果示意图；

图4为图3经过本发明步骤(3)处理后的效果示意图；

图5为图4经过本发明步骤(4)处理后的效果示意图；

图6为图5再经过4次本发明步骤(2)～步骤(4)的重复处理后的效果示意图；

图7为本发明方法流程图。

具体实施方式

如图1所示，本发明方法的已知信息为待复原模糊图像B和模糊核h，其中模糊图像B大小为512×512，模糊核h为高斯型，大小为10×10；首先根据模糊图像B和模糊核采用标准RL算法做高次迭代，得到含有振铃的复原图像。

迭代的过程如下：

$I_{t+1}=I_t[h^{*}\⊗\frac{B}{(I_t\⊗h)}]$

其中：

h^*(i，j)＝h(-j，-i)，i，j表示以模糊核中心为坐标原点，模糊核中各像素的坐标值；

t表示迭代次数；

I_t表示图像复原过程中经过t次迭代后得到的复原图像；

B表示待复原图像；

h表示待复原图像的模糊核；

表示卷积运算。

鉴于标准RL算法的特点，该步骤中的迭代次数t应高于某一阈值(本实验为150次)，这样做的目的是使复原结果中含有尽可能多的图像细节，当然该复原图像将受到振铃现象的影响，为了便于叙述，将该步骤称为“预操作”，图2为“预操作”结果。

然后采用双边滤波器对含有振铃的复原图像进行细节提取，双边滤波器有很强的细节提取能力，只要调节其参数就能得到不同程度的平滑图像N_F，这里只需保证“预操作”结果中的振铃被刚好去掉即可，方法如下式：

$A_p^f=\frac{1}{M\left(p\right)}\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}})A_{p^{\′}}$

其中：

A_p ^f表示对含有振铃的复原图像实施滤波后所得图像中某点的像素值；

$M\left(p\right)=\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}}),$ 为归一化系数；

W表示含有振铃的复原图像中某个待处理像素的邻域，p表示该邻域中心坐标，p′表示邻域中其他像素的坐标，A_p表示该邻域中心像素值，A_p′表示邻域中其他像素的像素值；

G_d和G_r都为高斯函数，其标准差分别为σ_d和σ_r，(σ_d＝3，σ_r＝0.3)。

结果如图3所示。

图4是对图3进行重模糊的结果，即用模糊核h与平滑图像N_F进行卷积操作即可，然后求出剩余模糊图像 $\mathrm{\ΔB}=B-N_F\⊗h,$ 接着采用余量去卷积算法进行迭代得到图像细节ΔI_t，

${\mathrm{\ΔI}}_{t+1}=(h^{*}\⊗\frac{\mathrm{\ΔB}+1}{(\mathrm{\Δ}{I}_t+1)\⊗h})\·({\mathrm{\ΔI}}_t+1)-1$

其中：

t表示迭代次数；

ΔI_t表示复原图像细节；

$\mathrm{\ΔB}=B-N_F\⊗h,$ N_F为步骤(2)得到的消除振铃后的复原图像；

B表示待复原图像；

h表示待复原图像的模糊核；

表示卷积运算。

在余量去卷积过程中，同样应保证迭代次数t高于某一阈值(本实验t为50次)以便得到丰富的细节，则得到新的复原图像为I＝N_F+ΔI_t，此时该复原图像中的振铃已得到明显抑制，如图5所示。

由于在标准RL算法中，由吉布斯现象产生的振铃效应的幅度正比于图像中的像素突变值，因此在图像的边缘点处将产生明显的振铃现象，而余量去卷积是在剩余图像上实施标准RL算法，原图中的像素突变值已被削弱，所以结果中的振铃被明显抑制，又因为迭代次数较高，所以图像细节得以保留。为了便于叙述，将上述双边滤波、平滑图像重模糊和余量去卷积合称为“操作”。

为了进一步削弱复原图像中的残余振铃，应对新的复原图像做多次“操作”，在多次“操作”过程中，应使双边滤波器的参数逐次减小，只要保证在每次操作中振铃被刚好消除即可，同时余量去卷积的次数也应逐次降低，但应高于某一阈值(本实验为50次)，这样既有利于抑制振铃同时又能保持复原图像中的细节，图6是经过共五次“操作”所得的结果，明显优于图2。

本发明方法能够有效抑制迭代算法复原图像中产生的中、高频振铃，保持丰富的图像细节，得到高质量的复原图像。

Claims (4)

1、一种基于双边滤波器和余量去卷积的图像复原方法，其特征在于，包括如下步骤：

(1)根据待复原图像及其已知模糊核，采用标准RL算法做高次迭代，得到含有振铃的复原图像；

(2)采用双边滤波器对含有振铃的复原图像实施滤波操作，得到消除振铃后的复原图像；

(3)用步骤(1)所述的已知模糊核对消除振铃后的复原图像进行卷积处理，得到重模糊图像；

(4)利用步骤(3)所得的重模糊图像及待复原图像采用余量去卷积得到复原图像细节，将复原图像细节与步骤(2)的消除振铃后的复原图像相加得到新的含有振铃的复原图像，并将其作为步骤(2)中双边滤波器的输入图像；

(5)多次重复步骤(2)～步骤(4)得到最终复原图像。

2、如权利要求1所述的图像复原方法，其特征在于，步骤(1)中采用标准RL算法做高次迭代的过程如下：

$I_{t+1}=I_t[h^{*}\⊗\frac{B}{(I_t\⊗h)}]$

其中：

h^*(i，j)＝h(-j，-i)，i，j表示以模糊核中心为坐标原点，模糊核中各像素的坐标值；

t表示迭代次数；

I_t表示图像复原过程中经过t次迭代后得到的复原图像；

B表示待复原图像；

h表示待复原图像的模糊核；

表示卷积运算。

3、如权利要求1所述的图像复原方法，其特征在于，步骤(2)中双边滤波器对含有振铃的复原图像实施滤波操作，得到消除振铃后的复原图像的方法如下式：

$A_p^f=\frac{1}{M\left(p\right)}\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}})A_{p^{\′}}$

其中：

A_p ^f表示对含有振铃的复原图像实施滤波后所得图像中某点的像素值；

$M\left(p\right)=\underset{p^{\′}\∈W}{\mathrm{\Σ}}{G}_d(p^{\′}-p)G_r(A_p-A_{p^{\′}}),$ 为归一化系数；

W表示含有振铃的复原图像中某个待处理像素的邻域，p表示该邻域中心坐标，p′表示邻域中其他像素的坐标，A_p表示该邻域中心像素值，A_p′表示邻域中其他像素的像素值；

G_d和G_r都为高斯函数，其标准差分别为σ_d和σ_r。

4、如权利要求1所述的图像复原方法，其特征在于，步骤(4)中利用步骤(3)所得的重模糊图像及待复原图像采用余量去卷积得到复原图像细节的方法如下式：

${\mathrm{\ΔI}}_{t+1}=(h^{*}\⊗\frac{\mathrm{\ΔB}+1}{(\mathrm{\Δ}{I}_t+1)\⊗h})\·({\mathrm{\ΔI}}_t+1)-1$

其中：

t表示迭代次数；

ΔI_t表示复原图像细节；

$\mathrm{\ΔB}=B-N_F\⊗h,$ NF为步骤(2)得到的消除振铃后的复原图像；

B表示待复原图像；

h表示待复原图像的模糊核；

表示卷积运算。

Images