CN105913394A - 一种基于退化图像序列的图像盲复原方法 - Google Patents

Abstract

本发明提供一种基于退化图像序列的图像盲复原方法，该方法基于退化图像序列同时对大气干扰和成像系统颤振造成的图像雾化和模糊进行复原，在此过程中需要对大气光值和透过率的值进行参数估计，并对噪声序列、复原图像、复原模糊核序列发生的概率进行建模。大气光值和透过率初始值根据暗原色先验模型从序列图像中估计得到。大气干扰和平台颤振都造成了图像的模糊，利用序列图像包含的丰富图像信息，采用图像盲复原的方法，从退化图像序列中估计出模糊核序列并进行去卷积复原。并将去卷积结果与大气参数的估计值相结合进行处理得到最终的复原效果。

Description

一种基于退化图像序列的图像盲复原方法

技术领域

本发明涉及一种图像处理技术，特别是一种基于退化图像序列的图像盲复原方法。

背景技术

光学成像系统在成像时会受到诸多外界因素的影响，主要包括大气散射、吸收等造成的图像雾化，由于成像系统颤振造成的图像模糊等，若不能很好的消除这些负面因素，将严重影响成像系统的成像质量，损伤所得图像的细节信息，降低其应用价值。

光学成像系统在成像时必须使成像器件获得足够的能量，因此光照条件成为其首要关注的因素。在光照条件不良的情况下，成像系统必须采用提高感光度或者延长曝光时间的手段以使成像器件获得足够的曝光量。然而前者会导致所得的图像含有大量噪声；后者则易于使成像系统受到外界因素的影响而发生颤振并造成图像模糊。为缓解成像系统的不稳定性，可考虑为成像系统增加稳像设备，然而系统的制造成本将迅速增长，经济性欠佳。因此，将所得的退化图像进行后期复原就成为一个经济而有效的选择。

影响光学系统成像的另一个因素是大气环境，光子从地面景物发出后，要与大气分子或气溶胶粒子进行无数次碰撞，经吸收、反射和散射才能到达成像系统，这些因素会造成成像器件表面上光强分布的显著变化，这种变化首先表现为光能量衰减，可用Beer定律描述；其次表现为由于多次散射造成的光能量重新分布，可用Rayleigh散射和Mie散射理论进行分析，通过Monte-Carlo模拟方法可知其将在成像器件表面形成弥散斑，造成图像模糊。上述两种效应经叠加综合，将使所得的图像在视觉效果上产生对比度及分辨率下降，可称其为图像雾化。

在成像条件不良的情况下，上述两种影响因素通常同时存在并产生作用，所得图像的退化是大气雾化与成像系统颤振共同作用的结果。然而，目前国内外对图像复原方面的研究仅局限于雾化或模糊单个影响因素，因此在模型建立、求解方法和处理效果上都存在局限性。

在问题求解方面，带雾模糊遥感图像的复原将同时涉及去雾和盲去卷积，而盲去卷积又包含了点扩散函数估计和非盲去卷积两个层面的问题，具有非常典型的病态特征，即所得图像中轻微的测量误差也会在复原图像中得到放大，形成明显的噪声及振铃等负面效应，在基于单幅图像的去卷积问题中，由于已知信息量不足，这些负面效应将更加明显。正则化是缓解盲去卷积问题病态性的一种典型方法，它通过在原问题中引入约束条件，使所得的新问题趋于良性，达到限制负面效应的作用。此外，对于现代光学成像系统而言，实现连续成像模式并非难事，在面对成像系统不稳定及大气环境不佳的成像情况时，为了避免获取较暗且带有明显噪声的图像，可不提高成像器件感光度，而是选择延长曝光时间在连续成像模式下获取同一场景的带雾模糊图像序列，凭借其包含的丰富图像信息，采用合适的联合优化估计算法，将有望获得高质量的复原效果。

发明内容

本发明的目的在于提供一种基于退化图像序列的图像盲复原方法。本发明能够在仅已知带雾模糊退化图像序列的情况下，去除图像雾化和模糊，提高图像对比度和清晰度，同时增加图像细节，复原效果好。

本发明的过程包括以下步骤：

步骤1，截取配准后的每一幅退化序列图像中的重叠区域获得待复原图像序列；

步骤2，获取待复原图像序列中每幅图像的透过率和大气光值，基于该透过率和大气光值分别获取平均透过率和平均大气光值；

步骤3，所获取的待复原图像序列中的每一幅图像中减去平均大气光干扰项，获得初步去雾结果的模糊图像序列；

步骤4，用高斯概率模型对噪声序列发生的概率进行建模、用自然图像梯度先验概率模型对复原图像发生的概率进行建模、用基于l₁范数的稀疏概率模型对模糊核序列发生的概率进行建模，对三个子模型相乘得到基于模糊图像序列的盲复原贝叶斯后验概率模型，并取负自然对数；

步骤5，通过轮换迭代方法，获得复原模糊核序列；所述每次迭代中，先固定上次迭代所得的复原模糊核序列，对复原图像进行优化，然后固定优化所得的复原图像，对所有复原模糊核序列中的每一个模糊核依次进行优化；其中，模糊图像序列任意一幅图像和高斯型模糊核分别为初始化的复原图像和复原模糊核序列；

步骤6，对所获得的最终复原模糊核序列和模糊图像序列进行去卷积后除以平均透过率得到最终复原图像。

本发明与现有技术相比，具有以下优点：(1)本发明优点在于利用带雾模糊退化图像序列，在贝叶斯后验概率框架下，采用高斯概率模型、自然图像梯度先验概率模型和基于l₁范数的稀疏概率模型分别对噪声序列、复原图像和复原模糊核序列发生的概率进行建模，经综合形成图像复原模型，具有很高的准确度；(2)为了对所得的模型进行求解，采用了一种轮换迭代优化方法，能够获得清晰度高、细节丰富的图像复原效果。

下面结合说明书附图对本发明做进一步描述。

附图说明

图1为本发明实施例的流程示意图。

图2～图4为本发明实施例的原始退化图像序列。

图5～图7为本发明实施例将图2～图4经过配准后得到的重叠区域图像序列。

图8～图10为本发明实施例将图5～图7减去大气干扰项后得到的图像序列。

图11～图13为本发明实施例所得的退化序列图像的最终复原模糊核。

图14为本发明实施例的最终复原图像。

具体实施方式

结合图1，本实施例基于退化图像序列的图像盲复原方法的实施步骤如下：

步骤1，对退化序列图像进行配准，截取每一幅图像中的重叠区域得到待复原图像序列；

步骤2，用暗原色先验方法，计算待复原图像序列中每幅图像的透过率以及大气光值，并分别计算所得透过率的平均值和所得大气光值的平均值，分别定义为平均透过率和平均大气光值；

步骤3，将步骤1所得的待复原图像序列中的每一幅图像中减去平均大气光干扰项，得到序列图像的初步去雾结果，即为模糊图像序列；所述大气光干扰项用平均大气光值和平均透过率计算获得；

步骤4，用高斯概率模型对噪声序列发生的概率进行建模、用自然图像梯度先验概率模型对复原图像发生的概率进行建模、用基于l₁范数的稀疏概率模型对模糊核序列发生的概率进行建模；

步骤5，将步骤4得到的三个子模型相乘得到基于模糊图像序列的盲复原贝叶斯后验概率模型，并取负自然对数得到待优化问题；

步骤6，用步骤3得到的模糊图像序列中的任意一幅图像和高斯型模糊核分别对复原图像和复原模糊核序列进行初始化，并设置最大迭代次数；

步骤7，在每次迭代中，固定上次迭代所得的复原模糊核序列，对复原图像进行优化；

步骤8固定优化所得的复原图像，对所有复原模糊核序列中的每一个模糊核依次进行优化；

步骤9，判断迭代次数是否小于最大迭代次数，若小于最大迭代次数，则重复执行步骤7和步骤8，否则判定得到最终复原模糊核序列；

步骤10，利用步骤9所得的最终复原模糊核序列对步骤3所得的模糊图像序列进行去卷积操作；

步骤11，对步骤10得到的结果除以步骤2得到的平均透过率，得到最终复原结果。

如图2～图4所示，退化图像序列中每一幅图像的退化程度均不一样，且成像视场存在一定的位移。首先需要对序列图像进行配准，配准后截取每一幅图像中的重叠区域，如图5～图7所示。

序列图像的成像时间间隔非常短，在序列图像的成像时间内，可以认为大气状态没有发生改变，即序列图像中的透过率和大气光值不变。因此在估计得到每幅图像的透过率值和大气光值后，用取平均的方法可以减小误差。本实施例采用暗原色先验的方法，估计图像的透过率值和大气光值。

图像的退化，一方面是大气的干扰造成的，另一方面是由于成像平台颤振引起的。整个像质退化过程可以用公式表示为：

$y_i=h_i\⊗\left(t_{i}f\right)+A_i(1-t_i)$

式中，y、t、h和A分别表示待复原图像序列、大气透过率序列、颤振模糊核序列和大气光值序列，i表示图像索引，I表示清晰图像。

上式中每一幅图像透过率的计算步骤为：

步骤2.1，根据计算原始退化图像的暗原色y_i ^dark，其中，y表示待复原图像序列，i表示序列图像的索引，x表示图像的像素索引，min操作符表示取最小值，c表示图像的r、g、b颜色通道，y_i ^c表示原始退化图像的c通道颜色分量，Ω(x)表示以像素点x为中心的方形区域，z为Ω(x)区域内的像素索引；

步骤2.2，从所述暗原色y_i ^dark的所有点中找出最亮的1％个点，记这些像素点的位置集合为Q_i。在原始退化图像y_i中，找出集合Q_i对应位置的像素中的最亮点，以该点的像素值作为大气光值A_i；

步骤2.3，用暗原色先验的方法计算透过率的表达式为：

${\left(t_i\right)}_x=1-\mathrm{\ω}\underset{c\∈\{r,g,b\}}{min}\{\underset{z\∈\mathrm{\Ω}\left(x\right)}{min}\[{\left(\frac{y_i\left(z\right)}{A_i}\right)}^c\]\},$

其中，ω表示取值范围为[0,1]的系数。取(t_i)_x的平均值作为每一幅图像的透过率值t_i；

步骤2中的平均透过率等于所有t_i的平均值，平均大气光值等于所有A_i的平均值；

步骤3中得到模糊图像序列的表达式为：

$g_i=y_i-\tilde{A}(1-\tilde{t})=h_i\⊗\left(f\tilde{t}\right)+n_i=h_i\⊗o+n_i,$

其中，g表示模糊图像序列，h、f和n分别表示复原模糊核序列、复原图像和噪声序列， 表示卷积运算符。并且g_i、h_i和n_i一一对应。如图8～图10所示，分别为对图5～图7处理后所得的结果，即模糊图像序列。

步骤4中用高斯概率模型对噪声序列发生的概率进行建模，其表达式为：

$P\left(g\right|o,h)\∝\exp (-\underset{i}{\overset{m}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{\left(g_i\right)}_x-{(h_i\⊗o)}_x\]}^2),$

其中，P(g|o,h)表示噪声序列发生的概率，m表示序列中图像的总数，s表示模糊图像序列g中任一图像的像素总数，并且所有g_i中的像素总数相同。

步骤4中用自然图像梯度先验概率模型对复原图像发生的概率进行建模，其表达式为：

$P\left(o\right)\∝\exp (-\mathrm{\α}\underset{j=1}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{(d_j\⊗o)}_x^p),$

其中，P(o)表示复原图像发生的概率；d_j表示梯度算子，j表示梯度算子的索引，n表示滤波器的个数，在本发明中n的值为2，当j＝1时，d₁＝[-1,1]为水平梯度算子，当j＝2时，d₂＝[-1,1]^T为垂直梯度算子；系数α＞0、p＞0为常数。

步骤4中用基于l₁范数的稀疏概率模型对复原模糊核序列发生的概率进行建模，其表达式为：

$P\left(h\right)\∝\exp (-\mathrm{\τ}\underset{i}{\overset{m}{\Σ}}\underset{k}{\overset{r}{\Σ}}|h_i{|}_k),$

其中，P(h_i)表示复原模糊核序列中每一个模糊核发生的概率，系数τ＞0为常数，k表示h_i的元素索引，r表示h_i的元素总数，并且所有h_i中的元素总数相同。

步骤5中基于模糊图像序列盲复原的贝叶斯后验概率模型的表达式为：

$P(o,h|g)\∝\underset{i=1}{\overset{m}{\Π}}P\left(g_i\right|o,h_i)P\left(o\right)P\left(h_i\right),$

其中，P(o,h_i|g_i)表示在g_i发生的情况下，o和h_i同时发生的概率。

步骤5中待优化问题的表达式为：

其中，λ和ξ为正则化系数。

步骤6中最大迭代次数的取值范围为5～15。

步骤7中对复原图像进行优化的表达式为：

$o={\mathrm{argmin}}_o\[\frac{\mathrm{\λ}}{2}\underset{i}{\overset{m}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{\left(g_i\right)}_x-{(h_i\⊗o)}_x\]}^2+\underset{j}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{(d_j\⊗o)}_x^p\].$

步骤7中对复原图像进行优化的具体步骤为：

步骤7.1，引入与梯度滤波器相同数量并且一一对应的辅助变量w_j和一个惩罚系数β，β初始化值为1，得到：

$\begin{array}{c}(o,w_1,\mathrm{...},w_n)=\\ {\mathrm{argmin}}_{o,w_1,\mathrm{...},w_n}\[\frac{\mathrm{\λ}}{2}\underset{i}{\overset{m}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{\left(g_i\right)}_x-{(h_i\⊗o)}_x\]}^2+\frac{\mathrm{\β}}{2}\underset{j}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{(d_j\⊗o)}_x-{\left(w_j\right)}_x\]}^2+\underset{j}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\left(w_j\right)}_x\]\end{array}$

步骤7.2，固定o，采用牛顿—拉弗森迭代方法对所有辅助变量w_j进行优化求解；

步骤7.3，得到所有的w_j估计值后，求解o，采用在频域中得到o的解析解，经过傅里叶逆变换得到o，然后为β乘以放大因子R，R＞1；

步骤7.4，判断β是否小于β_max，2¹⁶＜β_max＜2³²，若β＜β_max，则循环执行步骤7.2～步骤7.3；若β≥β_max，则输出o。

步骤8中对复原模糊核进行优化的计算公式为：

其中，d＝d₁+d₂，T为阈值。在本发明中采用加权最小二乘法对上述公式求解，依次得到所有h_i的值，图11～图13所示为优化所得点扩散函数。

步骤10中的图像去卷积方法与步骤7采用的方法相同，不同之处仅在于扩大正则系数λ的值。

图14为根据步骤11最终所得的复原效果，可见图像的清晰度和分辨率得到了显著提高。

Claims (8)

1.一种基于退化图像序列的图像盲复原方法，其特征在于，包括：

步骤1，截取配准后的每一幅退化序列图像中的重叠区域获得待复原图像序列；

步骤2，获取待复原图像序列中每幅图像的透过率和大气光值，基于该透过率和大气光值分别获取平均透过率和平均大气光值；

步骤3，所获取的待复原图像序列中的每一幅图像中减去平均大气光干扰项，获得初步去雾结果的模糊图像序列；

步骤4，用高斯概率模型对噪声序列发生的概率进行建模、用自然图像梯度先验概率模型对复原图像发生的概率进行建模、用基于l₁范数的稀疏概率模型对模糊核序列发生的概率进行建模，对三个子模型相乘得到基于模糊图像序列的盲复原贝叶斯后验概率模型，并取负自然对数；

步骤5，通过轮换迭代方法，获得复原模糊核序列；所述每次迭代中，先固定上次迭代所得的复原模糊核序列，对复原图像进行优化，然后固定优化所得的复原图像，对所有复原模糊核序列中的每一个模糊核依次进行优化；其中，模糊图像序列任意一幅图像和高斯型模糊核分别为初始化的复原图像和复原模糊核序列；

步骤6，对所获得的最终复原模糊核序列和模糊图像序列进行去卷积后除以平均透过率得到最终复原图像。

2.根据权利要求1所述的方法，其特征在于，步骤2中采用暗原色先验方法获取平均透过率和平均大气光值，其具体过程在于：

步骤2.1，根据获取原始退化图像的暗原色y_i ^dark，其中，y表示待复原图像序列，i表示序列图像的索引，x表示图像的像素索引，min操作符表示取最小值，c表示图像的r、g、b颜色通道，y_i ^c表示原始退化图像的c通道颜色分量，Ω(x)表示以像素点x为中心的方形区域，z为Ω(x)区域内的像素索引；

步骤2.2，从所述暗原色y_i ^dark的所有点中找出最亮的α个点，记这些像素点的位置集合为Q_i；

步骤2.3，在待复原图像y_i中，获取集合Q_i对应位置的像素中的最亮点，以该点的像素值作为大气光值A_i；

步骤2.4，根据获取透过率，其中t_i(x)的平均值作为每一幅图像的透过率值t_i，ω表示取值范围为[0,1]的系数；

步骤2.5，获取平均透过率为所有t_i的平均值，获取平均大气光值为所有A_i的平均值。

3.根据权利要求2所述的方法，其特征在于α取值范围为0.5～1％。

4.根据权利要求1所述的方法，其特征在于，所述步骤3中的模糊图像序列g_i，

$g_i=y_i-\tilde{A}(1-\tilde{t})=h_i\⊗\left(f\tilde{t}\right)+n_i=h_i\⊗o+n_i$

其中，h、f和n分别表示复原模糊核序列、复原图像和噪声序列， 表示卷积运算符，为平均透过率，为平均大气光值。

5.根据权利要求1所述的方法，其特征在于，步骤4中所述的模型具体为：

(1)用高斯概率模型对噪声序列发生的概率进行建模的表达式为：

$P\left(g\right|o,h)\∝\exp (-\underset{i}{\overset{m}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{\left(g_i\right)}_x-{(h_i\⊗o)}_x\]}^2),$

其中，P(g|o,h)表示噪声序列发生的概率，h、f分别表示复原模糊核序列、复原图像，为平均透过率，m表示序列中图像的总数，s表示模糊图像序列g中任一图像的像素总数，并且所有g_i中的像素总数相同。

(2)用自然图像梯度先验概率模型对复原图像发生的概率进行建模的表达式为：

$P\left(o\right)\∝\exp (-\mathrm{\α}\underset{j=1}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\left(d_j\⊗o\right)}_x^p)$

其中，P(o)表示复原图像发生的概率，d_j表示梯度算子，j表示梯度算子的索引，n表示滤波器的个数，当j＝1时d₁＝[-1,1]为水平梯度算子，当j＝2时d₂＝[-1,1]^T为垂直梯度算子，系数α＞0、p＞0为常数。

(3)基于l₁范数的稀疏概率模型对复原模糊核序列发生的概率进行建模的表达式为：

$P\left(h\right)\∝\exp (-\mathrm{\τ}\underset{i}{\overset{m}{\Σ}}\underset{k}{\overset{r}{\Σ}}|h_i{|}_k)$

其中，P(h_i)表示复原模糊核序列中每一个模糊核发生的概率，系数τ＞0为常数，h表示复原模糊核序列，k表示h_i的元素索引，r表示h_i的元素总数，并且所有h_i中的元素总数相同。

6.根据权利要求5所述的方法，其特征在于，所述步骤4中基于模糊图像序列盲复原的贝叶斯后验概率模型的表达式为：

$P(o,h|g)\∝\underset{i=1}{\overset{m}{\Π}}P\left(g_i\right|o,h_i)P\left(o\right)P\left(h_i\right),$

其中，P(o,h_i|g_i)表示在g_i发生的情况下，o和h_i同时发生的概率。

7.根据权利要求6所述的方法，其特征在于，步骤4中对基于模糊图像序列的盲复原贝叶斯后验概率模型取负自然对数得：

其中，λ和ξ为正则化系数。

8.根据权利要求7所述的方法，其特征在于，所述步骤5基于下式对复原图像通过轮换迭代方式进行优化

$o=\arg {\min }_o\[\frac{\mathrm{\λ}}{2}\underset{i}{\overset{m}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{\left(g_i\right)}_x-{\left(h_i\⊗o\right)}_x\]}^2+\underset{j}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{(d_j\⊗o)}_x^p\]---\left(1\right)$

其中，g_i为模糊图像序列；

基于上式，所述步骤5的具体过程为：

步骤5.1，选取模糊图像序列中的任意一幅图像和高斯型模糊核分别对复原图像和复原模糊核序列进行初始化，并设置最大迭代次数；

步骤5.2，对式(1)，引入与梯度滤波器相同数量且一一对应的辅助变量w_j和一惩罚系数β，β初始化值为1，得：

$\begin{array}{c}(o,w_1,\mathrm{...},w_n)=\\ \arg {\min }_{o,w_1,\mathrm{...},w_n}\[\frac{\mathrm{\λ}}{2}\underset{i}{\overset{m}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{\left(g_i\right)}_x-{\left(h_i\⊗o\right)}_x\]}^2+\frac{\mathrm{\β}}{2}\underset{j}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}{\[{(d_j\⊗o)}_x-{\left(w_j\right)}_x\]}^2+\underset{j}{\overset{n}{\Σ}}\underset{x}{\overset{s}{\Σ}}\left(w_j\right)x\]\end{array}$

步骤5.3，固定o，采用牛顿—拉弗森迭代方法对所有辅助变量w_j进行优化求解；

步骤5.4，得到所有的w_j估计值后，求解o，采用在频域中得到o的解析解，经过傅里叶逆变换得到o，然后为β乘以放大因子R，R＞1；

步骤5.5，判断β是否小于β_max，2¹⁶＜β_max＜2³²，若β＜β_max，则循环执行步骤5.3～步骤5.4；若β≥β_max，则输出o；

步骤5.6，采用加权最小二乘法对下式求解进行复原模糊核的优化，依次得到所有h_i的值

其中，d＝d₁+d₂，T为阈值；

步骤5.7，转步骤5.2，直至迭代次数达到最大值，输出最终复原模糊核序列。