CN110473153A - 基于模糊核估计迭代结构保持的图像盲复原方法 - Google Patents

Abstract

本发明公开了一种基于模糊核估计迭代结构保持图像盲复原方法，该方法首先提取核估计迭代中潜在图像序列的变化特征，对相邻两次迭代的潜在图像结果进行差值计算，得到图像序列的差值结果图；根据差值结果进行阈值选择，通过对差值图像分块筛选出每个图像块内的有利结构；针对当前潜在图像的梯度图，根据筛选的结果提取图像有利结构的梯度，得到图像梯度子集；然后基于提取出的图像梯度，进行模糊核的估计，得到更准确的估计结果。本发明能很好的恢复出具有较多细节的清晰图像，实验表明，本发明所复原的图像相比原始模糊图像PSNR提升15％、SSIM提升37.3％。

Description

基于模糊核估计迭代结构保持的图像盲复原方法

技术领域

本发明属于图像处理领域，涉及一种图像盲复原方法，特别是一种基于模糊核估计迭代结构保持的图像盲复原方法。

背景技术

图像盲复原的质量取决于所估计的模糊核质量，为了更加准确地估计模糊核，需要在图像中寻找对于核估计有用的结构信息。现有的图像复原方法主要是基于图像先验和基于图像显著边缘提取的方法，来寻找图像中的有利结构。

文献“胡伏原，王振华，吕凡等.一种基于显著性边缘的运动模糊图像复原方法[J].苏州科技学院学报(自然科学版)，2017,34(1):77-82.”提出了一种基于显著性边缘的运动模糊复原方法，联合图像梯度和像素值，基于图像结构和纹理构建显著性边缘提取算子，根据纹理强弱的不同，计算局部区域内梯度增强的幅值，提取显著性图像边缘进行模糊核的估计。该方法利用单帧图像内梯度的变化强度进行边缘检测，对于核估计迭代中的潜在图像，无法有效地区分出图像的真实边缘和模糊以及振铃导致的虚假边缘，影响模糊核的准确估计，复原图像中边缘和纹理细节不清晰。

发明内容

本发明解决的技术问题是：现有的单幅图像盲复原方法在模糊核估计过程中振铃显著，无法与有效边缘结构区分，造成纹理细节恢复不清晰、鲁棒性较差以及收敛慢的问题。针对此技术问题，本发明提供了一种基于模糊核估计迭代结构保持的图像盲复原方法，基于核估计迭代中潜在图像内边缘结构能够稳定保持，与振铃结构有明显区别的特性，根据中间潜在图像序列提取图像中对于核估计有利的结构信息，保留相应结构位置的图像梯度，使用潜在图像梯度的子集进行更准确的模糊核估计，最终反卷积得到清晰的复原结果。本方法联合迭代中的中间图像序列，能够有效地提取出图像中的有利结构，估计的模糊核更加准确，复原图像中细节更加清晰，算法鲁棒性更高。

本发明的技术方案是：基于模糊核估计迭代结构保持的图像盲复原方法，包括以下步骤：

步骤一：建立图像退化模型

y＝x*k+n

其中，y为观测到的模糊图像，x为需要估计的潜在图像，k为模糊核，n为加性噪声，*代表卷积操作；

采用稀疏约束的方法对图像退化模型中的潜在图像x的梯度和模糊核k进行范数约束；

其中，是指求解使得函数取得最小值的x和k的集合，表示添加L₁范数正则化约束，表示添加L₂范数正则化约束，来避免x＝y的平凡解，λ和γ为权重系数；

步骤二：估计潜在清晰图像，包括以下子步骤：

子步骤一：在初次迭代时，首先给定一个初始化的模糊核k，k中元素的值为1/p，p为模糊核像素个数，通过下式求解潜在图像x：

其中u为引入的变量，表示取梯度，χ为权重系数；子步骤二：通过交替求解法分别求解x和u；

(1)求解潜在图像x：初次迭代时，给定u一个初始化的值在已知u的情况下，通过将对x求导，得到下面公式，并令其等于0：

对上式进行傅里叶变换，得到：

其中，F(·)表示傅里叶变换结果，基于上式，得到:

其中，表示F(k)的共轭，和分别表示F(dx)和F(dy)的共轭；

最后对F(x)进行反傅里叶变换，得到复原的潜在图像x；

(2)求解变量u：使用迭代重加权最小二乘法(IRLS)求解u，在已知x、y和k的情况下，求解公式最终得到：

在初次迭代时，给定初始X为全1矩阵，根据上式得到u：

然后更新X：

其中，ε表示极小值，本发明中选ε＝10^-26，保证X非零，|·|表示取绝对值；

重复上述公式至的步骤，直到达到最大迭代次数；

步骤三：选择结构保持梯度子集，包括以下子步骤:

子步骤一：定义选择只使用潜在图像中对于核估计有利的图像结构梯度，同时引入二进制向量τ∈{0,1}ⁿ表明潜在图像中有利结构的梯度位置；

子步骤二：通过公式建立中间潜在图像序列的关联，表示每次迭代后相邻的中间潜在图像序列像素值的变化情况；其中x^t和x^t-1分别为核估计迭代过程中t与t-1时刻复原的潜在图像，|·|表示取绝对值，表示t时刻的像素差绝对值；t＝1时，x⁰为模糊图像y；

子步骤三：对差值图像分块，在每块内提取有效结构，对于一张大小为w*h的图像，进行分块操作，w、h分别表示图像的宽、高，设置参数s表示所划分块的大小；

e_w＝mod(w,s)

e_h＝mod(h,s)

其中mod(w,s)和mod(h,s)表示取模运算，计算w除以s的余数e_w和h除以s的余数e_h，e_w、e_h分别表示对图像宽、高的扩展量；

子步骤四：根据e_w、e_h对图像右边界和下边界补零，使得图像的宽高对于块尺寸s满足整除条件，将边界扩展后的图像划分为m个大小为s*s的图像块，块间不重叠；

τ^t＝{τ_i，i＝1,2,…,m}

其中表示t时刻的潜在图像内第i个图像块，m为块数目；同时初始化与图像块同等大小的τ_i＝0，τ^t表示t时刻的潜在图像有利结构梯度子集掩模向量；

子步骤五：定义阈值T用于筛选差值图中的有效结构，β为阈值参数；

T_i表示第i个图像块的阈值，‖·‖_∞表示无穷范数

选择差值图像块内像素值满足条件的像素点，将其所在行列位置记录在集合ξ_i中作为图像中有效结构的位置集合，根据ξ_i更新二进制向量τ_i，将τ_i中相应位置的值置1；根据公式τ^t＝τ^t∪τ_i更新有效梯度子集掩模向量τ^t，去除其中属于扩展边界的像素位置，得到原始图像大小的梯度子集掩模向量，∪表示取并集操作；

采用公式更新t时刻潜在图像的梯度子集⊙表示点乘操作；步骤四、估计模糊核：在已知模糊图像y和复原图像x时，对下式进行k的求解，估计模糊核k：

并对k、进行傅里叶变换，得到:

其中，表示的共轭；最后对F(k)进行反傅里叶变换，得到估计的模糊核k；

得到的模糊核k将再次用于步骤二的清晰图像估计，重复上述二、三、四步骤，直到达到最大迭代次数，迭代收敛后的潜在图像x即为最终的复原结果。

发明效果

本发明的技术效果在于：本发明公开了一种基于模糊核估计迭代结构保持图像盲复原方法，用于解决现有方法在模糊核估计过程中振铃显著，无法与有效边缘结构区分，造成纹理细节恢复不清晰、鲁棒性较差以及收敛慢的技术问题。该方法首先提取核估计迭代中潜在图像序列的变化特征，对相邻两次迭代的潜在图像结果进行差值计算，得到图像序列的差值结果图；根据差值结果进行阈值选择，通过对差值图像分块筛选出每个图像块内的有利结构；针对当前潜在图像的梯度图，根据筛选的结果提取图像有利结构的梯度，得到图像梯度子集；然后基于提取出的图像梯度，进行模糊核的估计，得到更准确的估计结果。本发明利用核估计迭代中边缘结构能够稳定保持而振铃结构变化的可区分特性，对潜在图像序列进行联合，提取图像中的稳定结构用于模糊核的估计，本发明能很好的恢复出具有较多细节的清晰图像，实验表明，本发明所复原的图像相比原始模糊图像PSNR提升15％、SSIM提升37.3％。

具体实施方式

本发明的技术方法包括以下部分：建立图像退化模型，估计潜在清晰图像，选择结构保持梯度子集，估计模糊核。具体如下：

1)建立图像退化模型

对输入的模糊图像建立退化模型，并对潜在图像梯度和模糊核同时进行约束，通过交替迭代的方式同时求解模糊核和潜在清晰图像。

2)估计潜在清晰图像

根据图像的退化模型，在迭代求解的每一步，固定模糊核，对潜在图像梯度添加L₁正则化约束，并引入变量使用迭代重加权最小二乘法(IRLS)对潜在图像进行求解，得到某次迭代模糊核固定时的中间潜在图像结果序列。

3)选择结构保持梯度子集

建立中间潜在图像结果序列的关联，利用差值计算提取潜在图像序列的变化点，然后根据潜在图像差值图选择稳定保持的局部结构，作为对模糊核估计的有利结构信息，并针对当前潜在图像提取图像中有利结构的梯度，得到潜在图像的梯度子集。

4)估计模糊核

根据图像退化模型，对模糊核添加L₂正则化约束，根据模糊图像和反卷积得到的潜在图像求解模糊核。根据潜在图像梯度子集的选择结果，利用更新后的潜在图像梯度进行模糊核的估计，得到的模糊核用于复原清晰图像。

下面对每一个步骤进行具体解释说明：

步骤一、建立图像退化模型

y＝x*k+n (1)

其中，y为观测到的模糊图像，x为需要估计的潜在清晰图像，k为模糊核，n为加性噪声，*代表卷积操作。

在假定图像和噪声是随机过程的基础上，找到清晰图像的一个估计，使得他们之间的均方差最小，可以在噪声影响下，清晰化模糊图像。为优化求解均方差的最小值，采用稀疏约束的方法对潜在图像梯度和模糊核k进行范数约束。

其中，对添加L₁范数正则化约束，对k添加L₂范数正则化约束，来避免x＝y的平凡解。λ和γ为权重系数，我们通过交替迭代的方式同时求解模糊核k和潜在清晰图像x。

本发明实例中取系数λ＝1/255，γ＝0.1。

步骤二、估计潜在清晰图像，在初次迭代时，首先给定一个初始化的模糊核k，k中元素的值为1/p，p为模糊核像素个数。

在已知模糊图像y和模糊核k时，可通过公式(3)求解潜在图像x：

由于梯度图像更易于求解，所以我们使用梯度域替代图像域，将x,y用和来替代。

梯度算子利用竖直方向算子dy＝[1；-1]和水平方向算子dx＝[1,-1]与原图进行卷积运算实现。为方便求解，我们引入变量u，将(3)式变形为：

下面将通过交替求解的方式分别求解x和u：

1)求解潜在图像x：初次迭代时，我们给定u一个初始化的值在已知u的情况下，通过将对x求导，得到公式(5)并令其等于0：

为提高卷积操作的计算效率，将上式中的各变量通过傅里叶变换从空间域转换到频域进行求解。

傅里叶变换后公式(5)变为：

其中，F(·)表示傅里叶变换结果，基于上式，推导得到:

其中，表示F(k)的共轭，和分别表示F(dx)和F(dy)的共轭。

最后对F(x)进行反傅里叶变换，得到复原的潜在图像x。

2)求解变量u：使用迭代重加权最小二乘法(IRLS)求解u，在已知x、y和k的情况下，求解公式(4)，相当于求解下式：

令则有式(8)变形为：

其中，表示的转置，X^-1表示X的逆。将上式对u求导并令其等于0，变形后得到：

在初次迭代时，给定初始X为全1矩阵，根据式(10)推导得到u：

然后更新X：

其中，ε表示极小值，本发明中选ε＝10^-26，保证X非零，|·|表示取绝对值。重复上述公式(11)至(12)的步骤，直到达到最大迭代次数。本发明实例中迭代次数为20次，得到u的值，再用于x的求解。

本发明实例中，λ取值1/255，χ取值0.1，最大迭代次数为20次，得到t时刻的潜在图像x^t。

步骤三、选择结构保持梯度子集

核估计时中间潜在图像中产生的振铃信息不利于模糊核的准确估计，而无论图像稀疏与否，都可以通过图像梯度的子集进行模糊核的估计，所以我们选择只使用潜在图像中对于核估计有利的图像结构梯度而不是整个图像的梯度。我们引入一个二进制向量τ∈{0,1}ⁿ表明潜在图像中有利结构的梯度位置。

我们通过公式(13)建立中间潜在图像序列的关联，表示每次迭代后相邻的中间潜在图像序列像素值的变化情况。

其中x^t和x^t-1分别为核估计迭代过程中t与t-1时刻复原的潜在图像，|·|表示取绝对值，表示t时刻的像素差绝对值。t＝1时，x⁰为模糊图像y。

根据振铃的变化特点，我们在像素差值图中筛选符合振铃变化特点的像素并丢弃该位置的梯度信息，保留对于核估计更为有利的真实图像结构的梯度信息。

为了保证图像细节，我们将差值图像分块，在每块内提取有效结构，对于一张大小为w*h的图像，进行分块操作，w、h分别表示图像的宽、高，设置参数s表示所划分块的大小。

e_w＝mod(w,s) (14)

e_h＝mod(h,s) (15)

其中mod(w,s)和mod(h,s)表示取模运算，计算w除以s的余数e_w和h除以s的余数e_h，e_w、e_h分别表示对图像宽、高的扩展量。根据e_w、e_h对图像右边界和下边界补零，使得图像的宽高对于块尺寸s满足整除条件，将边界扩展后的图像划分为m个大小为s*s的图像块，块间不重叠。

τ^t＝{τ_i，i＝1,2,…,m} (17)

其中表示t时刻的潜在图像内第i个图像块，m为块数目。同时初始化与图像块同等大小的τ_i＝0，τ^t表示t时刻的潜在图像有利结构梯度子集掩模向量。振铃的变化强度通常高于图像中的真实结构，我们定义阈值T用于筛选差值图中的有效结构，β为阈值参数。

T_i表示第i个图像块的阈值，‖·‖_∞表示无穷范数。

我们选择差值图像块内像素值满足条件的像素点，将其所在行列位置记录在集合ξ_i中作为图像中有效结构的位置集合，根据ξ_i更新二进制向量τ_i，将τ_i中相应位置的值置1。根据公式(20)更新有效梯度子集掩模向量τ^t，去除其中属于扩展边界的像素位置，得到原始图像大小的梯度子集掩模向量。

τ^t＝τ^t∪τ_i (20)

其中，∪表示取并集操作，采用公式(21)更新t时刻潜在图像的梯度子集

其中，⊙表示点乘操作。

本发明实例中取图像块大小s＝15，β取值为0.5，得到潜在图像的梯度子集

步骤四、估计模糊核，在已知模糊图像y和潜在图像x时，式(2)变形为(22)进行k的求解，估计模糊核k：

由于梯度图像更易于求解，所以我们使用梯度域替代图像域，并利用步骤三求解的潜在图像梯度子集求解模糊核。

将式(22)对k求导并令其等于0，得到：

将k、进行傅里叶变换，傅里叶变换后公式(23)为：

基于上式，推导得到:

其中，表示的共轭。

最后对F(k)进行反傅里叶变换，得到估计的模糊核k。

得到的模糊核k将再次用于步骤二的清晰图像估计，重复上述二、三、四步骤，直到达到最大迭代次数，迭代收敛后的潜在图像x即为最终的复原结果。

本发明实例中设置最大迭代次数为50次。

Claims (1)

1.基于模糊核估计迭代结构保持的图像盲复原方法，其特征在于，包括以下步骤：

步骤一：建立图像退化模型

y＝x*k+n

其中，y为观测到的模糊图像，x为需要估计的潜在图像，k为模糊核，n为加性噪声，*代表卷积操作；

采用稀疏约束的方法对图像退化模型中的潜在图像x的梯度和模糊核k进行范数约束；

其中，是指求解使得函数取得最小值的x和k的集合，表示添加L₁范数正则化约束，表示添加L₂范数正则化约束，来避免x＝y的平凡解，λ和γ为权重系数；

步骤二：估计潜在清晰图像，包括以下子步骤：

子步骤一：在初次迭代时，首先给定一个初始化的模糊核k，k中元素的值为1/p，p为模糊核像素个数，通过下式求解潜在图像x：

其中u为引入的变量，表示取梯度，χ为权重系数；

子步骤二：通过交替求解法分别求解x和u；

(1)求解潜在图像x：初次迭代时，给定u一个初始化的值在已知u的情况下，通过将对x求导，得到下面公式，并令其等于0：

对上式进行傅里叶变换，得到：

其中，F(·)表示傅里叶变换结果，基于上式，得到:

其中，表示F(k)的共轭，和分别表示F(dx)和F(dy)的共轭；

最后对F(x)进行反傅里叶变换，得到复原的潜在图像x；

(2)求解变量u：使用迭代重加权最小二乘法(IRLS)求解u，在已知x、y和k的情况下，求解公式最终得到：

在初次迭代时，给定初始X为全1矩阵，根据上式得到u：

然后更新X：

其中，ε表示极小值，保证X非零，|·|表示取绝对值；

重复上述公式至的步骤，直到达到最大迭代次数；

步骤三：选择结构保持梯度子集，包括以下子步骤:

子步骤一：定义选择只使用潜在图像中对于核估计有利的图像结构梯度，同时引入二进制向量τ∈{0,1}ⁿ表明潜在图像中有利结构的梯度位置；

子步骤二：通过公式建立中间潜在图像序列的关联，表示每次迭代后相邻的中间潜在图像序列像素值的变化情况；其中x^t和x^t-1分别为核估计迭代过程中t与t-1时刻复原的潜在图像，|·|表示取绝对值，表示t时刻的像素差绝对值；t＝1时，x⁰为模糊图像y；

子步骤三：对差值图像分块，在每块内提取有效结构，对于一张大小为w*h的图像，进行分块操作，w、h分别表示图像的宽、高，设置参数s表示所划分块的大小；

e_w＝mod(w,s)

e_h＝mod(h,s)

其中mod(w,s)和mod(h,s)表示取模运算，计算w除以s的余数e_w和h除以s的余数e_h，e_w、e_h分别表示对图像宽、高的扩展量；

子步骤四：根据e_w、e_h对图像右边界和下边界补零，使得图像的宽高对于块尺寸s满足整除条件，将边界扩展后的图像划分为m个大小为s*s的图像块，块间不重叠；

τ^t＝{τ_i，i＝1,2,…,m}

其中表示t时刻的潜在图像内第i个图像块，m为块数目；同时初始化与图像块同等大小的τ_i＝0，τ^t表示t时刻的潜在图像有利结构梯度子集掩模向量；

子步骤五：定义阈值T用于筛选差值图中的有效结构，β为阈值参数；

T_i表示第i个图像块的阈值，‖·‖_∞表示无穷范数

选择差值图像块内像素值满足条件的像素点，将其所在行列位置记录在集合ξ_i中作为图像中有效结构的位置集合，根据ξ_i更新二进制向量τ_i，将τ_i中相应位置的值置1；根据公式τ^t＝τ^t∪τ_i更新有效梯度子集掩模向量τ^t，去除其中属于扩展边界的像素位置，得到原始图像大小的梯度子集掩模向量，∪表示取并集操作；

采用公式更新t时刻潜在图像的梯度子集⊙表示点乘操作；

步骤四、估计模糊核：在已知模糊图像y和复原图像x时，对下式进行k的求解，估计模糊核k：

并对k、进行傅里叶变换，得到:

其中，表示的共轭；最后对F(k)进行反傅里叶变换，得到估计的模糊核k；

得到的模糊核k将再次用于步骤二的清晰图像估计，重复上述二、三、四步骤，直到达到最大迭代次数，迭代收敛后的潜在图像x即为最终的复原结果。