CN104933693A - 一种用于有饱和像素场景的多幅图像复原方法 - Google Patents

Abstract

本发明公布了一种用于有饱和像素场景的多幅图像复原方法。现有的考虑饱和像素复原图像方法，都是基于单幅图像，复原效果并不稳定。而基于同一场景拍摄多张图，这些存在饱和像素的模糊图像，在复原时能够利用更多的图像信息。多帧图像复原在一定程度上已经能够比单幅图更好抑制饱和像素带来的振铃效应，同时本算法再结合考虑饱和像素，可以得到更好的复原效果。本发明可以应用在连拍的夜景图像去模糊或者在拍摄过程中图像有重叠区域的高动态范围全景图像去模糊中。与现有方法相比，本发明方法的优势在于更好的复原效果。

Description

一种用于有饱和像素场景的多幅图像复原方法

技术领域

本发明设计计算机成像技术领域，尤其主要涉及对同一场景进行多次拍摄后的多幅模糊图像复原一幅清晰图像的图像处理问题。

背景技术

图像复原领域一直是图像处理领域中的研究热点。在日常摄影中，经常会遇到照明不足的情况，此时为了使成像器件达到正常曝光，需要增加曝光时间或增加感光度。随之而来的负面效应是由于增加曝光时间而使手持相机抖动造成图像模糊，或者由于感光度增加而使图像噪声变多，像质变差。除此之外，还可以用三脚架起到稳定相机的作用，但三脚架携带不方便，日常拍摄并不适合。

相机的成像过程可以描述为理想清晰图像与其他外部影响而造成的模糊核的卷积，同时由于电子器件的影响会引入噪声。图像复原时二维卷积运算的逆过程，是一个病态问题。从复原方法上，分为已知模糊核的非盲复原算法和不知道模糊核的盲复原算法。无论盲复原或非盲复原，都是已知模糊核或者从估计出的模糊核中解卷积模糊图像。其中比较有代表性的是两类方法，一类是基于泊松噪声模型而提出的Richardson-Lucy算法，另外一类是基于高斯噪声模型以及附加约束而提出的正则化框架。两类复原手段各有优缺点，在实际使用时根据需要采用。

照明不良的场景通常都具有场景动态范围比较大的特性。比如，在夜景图像中，经常会有路灯或霓虹灯的非常亮的区域以及其他相对照明不足的暗区域。因此，即使在合理的曝光时间内，拍摄出的照片也会出现某些区比较亮而某些区域比较暗。对于一般的数码照片而言，单个颜色通道的灰度级范围是0-255，也即能够表示的亮度差可以有256种。对于动态范围大的场景中，非常明亮的区域会因为超出传感器灰度级而被截止到传感器能够输出的最大值(例如对于一幅8位图像，此值为255)。这些超过传感器灰度级而被截止的像素称为“饱和像素”。这些饱和像素，因为他们的像素值被截止到最大灰度级，因此他们不满足一般图像复原所基于的线性卷积模型。如果由于运动等原因，照片模糊，饱和像素周围的临近像素同样也不全部满足卷积模型。用通常的复原算法，在这些图像的边缘会出现较为明显的振铃现象。

对于存在饱和像素的复原场景，Oliver在Richardson-Lucy复原算法框架下提出了“前向模型”对于传感器模型进行了修正，并提出了抑制振铃的方法。Sunghyun在MAP正则化框架下考虑了饱和像素的影响。对于饱和像素的概率分布进行了考虑并作为权重融合到最优化问题中，也取得了较好的方法。这些方法主要基于单幅图像进行考虑，对于饱和像素有一定抑制，但在实际应用中，经常是模糊核不已知的情况下需要复原图像。而单幅图像有饱和像素下采用盲复原时，由于饱和像素的存在，也会使模糊核估计不准确，而导致复原效果欠佳。

发明内容

本发明公布了一种用于有饱和像素场景的多幅图像复原方法，其特征在于：采用多幅图像复原框架，采用轮转迭代的方法，复原出清晰图像。同时，将模糊图像分为饱和像素和非饱和像素两类，在复原过程中非饱和像素采用常规复原方法，饱和像素采用均一化概率分布加权纳入复原算法，具体采用以下步骤对多幅有饱和像素场景的图像进行复原：

(1)输入同一场景的n幅模糊图像b₁，b₂…b_i…b_n，i＝1,2,…n。

(2)采用高斯模糊作为初始的当前模糊核，各幅图像初始的当前模糊核分别为k₁，k₂…k_i…k_n，n幅模糊图像中任意一幅作为复原迭代的初始的当前估计清晰图l，对当前估计清晰图进行更新，具体为：

(2.1)对于步骤1输入的第i幅模糊图像，采用下述概率框架针对饱和像素与非饱和像素进行像素值加权，得到第i幅模糊图像的权重图；

其中，u(m_ix)为第i幅模糊图像饱和像素与非饱和像素进行像素值加权后的权值，x表示图像的任意一个像素位置，b_ix为第i幅模糊图像中像素位置x的像素值；l_x为当前估计的清晰图像中像素位置x的像素值，σ表示高斯标准差系数。N表示变量服从高斯概率分布。P_in表示未达到饱和像素值的像素中满足线性模糊模型的概率，P_out＝1-P_in则表示相反的概率。DR表示图像的动态范围。C是一个常系数。

(2.2)根据步骤2.1获得的权值，更新当前估计清晰图，得到新的估计清晰图；

其中，l表示当前估计清晰图，λ为正则化系数，为超Laplacian先验分布，表示当前估计清晰图中像素位置x的水平梯度值，表示当前估计清晰图中像素位置x的竖直梯度值。公式2的求解采用重加权最小二乘法和共轭梯度法。

(3)利用步骤2获得的新的估计清晰图更新当前模糊核，第i幅模糊图像的当前模糊核的估计优化问题为：

其中，diag表示生成对角阵，K_i表示以k_i的每一个像素值作为对角元素值生成的对角矩阵，ξ为正则化系数。公式3的求解采用L1范数优化。

(4)重复步骤2和3，不断更新当前估计清晰图和当前模糊核，经过10～15次的轮转迭代后，利用最后一次轮转迭代得到的模糊核，再执行步骤(2.2)，调整正则化系数λ，得到最终的复原结果。

本发明的有益效果：本发明采用多幅图像复原框架，结合轮转迭代的计算手段，同时将模糊图像分为饱和像素和非饱和像素两类，对饱和像素采用均一化概率分布加权进行单独考虑，使得图像复原结果清晰准确，细节丰富。现有的方法在多幅图像的复原问题中并没有针对饱和像素进行考虑，同时本发明所提出的方法的复原效果也优于针对单幅有饱和像素场景的复原效果。本发明可以应用在连拍的夜景图像去模糊或者在拍摄过程中图像有重叠区域的高动态范围全景图像去模糊中。与现有方法相比，本发明方法的优势在于更好的复原效果。

附图说明

图1为本发明的算法流程示意图。

图2为仿真实验中所用清晰图。

图3为仿真实验中对清晰图分别用不同模糊核模糊后的三幅模糊图与其模糊核。

图4为仿真实验中采用单幅图像考虑饱和像素复原图。

图5为仿真实验中采用多幅图像不考虑饱和像素复原图。

图6为仿真实验中采用本发明算法得到的结果图；

图7为图3a～c的真实模糊核

具体实施方式

以下结合附图并以一个具体实例对本发明做进一步说明。需要说明的是仿真流程中的模糊核如图7a～c虽然已知，只是为了结果比对时有清晰图像作为比较，在使用发明的仿真算法时并不需要已知模糊核。

参照图1，本发明的算法流程步骤如下：

步骤1：输入模糊图像

如图2所示，选定一幅清晰的有饱和像素的夜景图。为了检测算法结果，对清晰图像用三种不同的模糊核进行模拟。模糊核如图7a～c分别对应图3a～c的模糊图像的模糊核。因为仿真清晰图的灰度级为0-255，相当于饱和像素已经被截掉了，因此直接用仿真卷积模糊核后的模糊图像是基本没有饱和像素的，而且显然也满足线性卷积的解卷积规律。因此，先将原清晰图像像素值超过230的像素全部在原有像素值基础上增加50。然后再进行模糊处理，之后将大于255的像素值截止到255。这样，保证了饱和像素的出现，也保证了模糊像素中也有饱和像素的影响，非常接近真正场景情况。仿真模糊后的三幅模糊图如图3a～c所示。三幅模糊图像记为b₁，b₂，b₃。并记各幅图像初始的当前模糊核分别为k₁，k₂，k₃。

步骤2：初始化参数

k₁，k₂，k₃采用高斯模糊作为初始模糊核，仿真实验中采用仿真图大小为400*400，初始高斯模糊核尺寸估计为39*39。设置轮转迭代次数为15次。初始迭代需要一幅估计清晰图像，算法将第一幅模糊图像作为当前估计清晰图像的迭代初值。

步骤3：更新当前估计复原清晰图像l

对于三幅模糊图像，采用下述概率框架针对饱和像素与非饱和像素进行像素值加权，得到第i幅模糊图像的权重图；

其中，u(m_ix)为第i幅模糊图像饱和像素与非饱和像素进行像素值加权后的权值，x表示图像的任意一个像素位置，b_ix为第i幅模糊图像中像素位置x的像素值；l_x为当前估计的清晰图像中像素位置x的像素值，σ表示高斯标准差系数，本次仿真实验设为3/255。N表示变量服从高斯概率分布。P_in表示未达到饱和像素值的像素中满足线性模糊模型的概率，仿真实验中设为0.9，P_out＝1-P_in则表示相反的概率。DR表示图像的动态范围。C是一个常系数，设为1。

然后根据下式求解复原所需要求解的优化问题，更新当前估计清晰图，得到新的估计清晰图

其中，为超Laplacian先验分布。求解上述问题采用重加权最小二乘法和共轭梯度法。λ正则化系数设为0.001。α设为2/3。约束的超Laplacian梯度算子选取一阶导数和二阶导数。本仿真实验中，共轭梯度法迭代次数设为25次，重加权最小二乘法迭代次数为1次。

步骤4：更新当前模糊核k₁，k₂，k₃

利用步骤3获得的新的估计清晰图更新当前模糊核，第i幅模糊图像的当前模糊核的估计优化问题为：

其中k_i表示所需估计的第i幅图像的模糊核。Diag表示生成以k_i为对角元素值得对角矩阵，K_i表示以k_i的每一个像素值作为对角元素值生成的对角矩阵。该问题同样是一个可以转化为重加权最小二乘法求解的问题。经过试验，重加权迭代次数只要1次就可以达到较好的效果。复原的模糊核也需要阈值化，去掉过多细节，保留主干形状，程序中阈值设为0.05。

步骤5：轮转迭代得到复原清晰图像

重复步骤2和3，不断更新当前估计清晰图和当前模糊核，经过15次的轮转迭代后，利用最后一次轮转迭代得到的模糊核，再执行公式2，调整正则化系数λ为0.003，得到最终的复原结果。

从图4中可以看到，基于单幅图像考虑饱和像素的盲复原图像结果有较大振铃效应，同时因为有饱和像素很多清晰边缘被破坏，单凭一幅图也较为难准确估计模糊核。图5的多幅图的复原结果虽然有较大提升，然而在灯光等饱和区域会有饱和像素的“蔓延”而导致复原结果欠佳。本发明的算法兼顾了多幅图像的多信息以及考虑了饱和像素，取得了很好的效果，既能准确估计出模糊核，又能在复原过程中对饱和像素进行单独处理而使细节准确。

Claims (1)

1.一种用于有饱和像素场景的多幅图像复原方法，具体采用以下步骤对多幅有饱和像素场景的图像进行复原：

（1）输入同一场景的n幅模糊图像b₁，b₂…b_i…b_n，i=1,2,…n。

（2）采用高斯模糊作为初始的当前模糊核，各幅图像初始的当前模糊核分别为k₁，k₂…k_i…k_n，n幅模糊图像中任意一幅作为复原迭代的初始的当前估计清晰图l，对当前估计清晰图进行更新，具体为：

（2.1）对于步骤1输入的第i幅模糊图像，采用下述概率框架针对饱和像素与非饱和像素进行像素值加权，得到第i幅模糊图像的权重图；

其中，u(m_ix)为第i幅模糊图像饱和像素与非饱和像素进行像素值加权后的权值，x表示图像的任意一个像素位置，b_ix为第i幅模糊图像中像素位置x的像素值；l_x为当前估计的清晰图像中像素位置x的像素值，σ表示高斯标准差系数。N表示变量服从高斯概率分布。P_in表示未达到饱和像素值的像素中满足线性模糊模型的概率，P_out=1-P_in则表示相反的概率。DR表示图像的动态范围。C是一个常系数。

（2.2）根据步骤2.1获得的权值，更新当前估计清晰图，得到新的估计清晰图；

$\underset{l}{\arg \min }=\underset{i}{\Σ}\underset{x}{\Σ}{w}_{ix}^m|b_{ix}-{(k_i*l)}_x{|}^2+\mathrm{\λ}\mathrm{\ψ}\left(l\right)---\left(2\right)$

其中，l表示当前估计清晰图，λ为正则化系数，为超Laplacian先验分布，表示当前估计清晰图中像素位置x的水平梯度值，表示当前估计清晰图中像素位置x的竖直梯度值。公式2的求解采用重加权最小二乘法和共轭梯度法。

（3）利用步骤2获得的新的估计清晰图更新当前模糊核，第i幅模糊图像的当前模糊核的估计优化问题为：

$\underset{k_i}{\arg min}=\left|\right|k_i*l-b_i|{|}_2^2+\frac{\mathrm{\ξ}}{2}{k_i}^T{K_i}^{-1}{k}_i---\left(3\right)$

K_i=diag(|k_i|)

其中，diag表示生成对角阵，K_i表示以k_i的每一个像素值作为对角元素值生成的对角矩阵，ξ为正则化系数。公式3的求解采用L1范数优化。

（4）重复步骤2和3，不断更新当前估计清晰图和当前模糊核，经过10～15次的轮转迭代后，利用最后一次轮转迭代得到的模糊核，再执行步骤（2.2），调整正则化系数λ，得到最终的复原结果。