CN108230276B - 一种融合无参图像质量评价的自然场景图像去模糊方法 - Google Patents

Abstract

本发明涉及图像处理技术，尤其是涉及一种融合无参图像质量评价的自然场景图像去模糊方法。本发明在分析图像模糊成因的基础上，建立图像模糊过程的数学模型。根据邻域渐变性，将模型线性化。针对模型逆运算的非定解特性，构建基于线性扩展的自变量映射，以减小问题求解的计算规模。图像去模糊效果引入无参考图像质量评价，对求解得到的图像进行评价，根据自变量与评价质量指标的关系建立递归算法，最终实现图像去模糊。本发明能够在一定程度上克服寻找清晰样本困难和方法适应能力差的缺点，提高现有图像去模糊的质量。

Description

一种融合无参图像质量评价的自然场景图像去模糊方法

技术领域

本发明涉及图像处理技术，尤其是涉及一种融合无参考图像质量评价的图像去模糊方法。

背景技术

在获取数字图像过程中由于各种复杂因素的影响使得图像质量下降(退化)，这些退化包括由光学系统、大气湍流效应、运动等造成的图像模糊，畸变，失真以及源自电路和光学因素的噪声。

由于自然清晰图像具有一定的统计特性，而图像模糊则会改变这种特性。Fergus等人[Fergus,Rob,et al.Removing camera shake from a single photograph.ACMTransactions on Graphics(TOG)[J],25(3),2006.]通过大量实验发现，自然图像的梯度服从重尾分布，并采用高斯模型来逼近重尾分布，以此作为图像复原中的正则项，然后最大化后验概率估计模糊核。文献[Krishnan D,Fergus R.Fast image deconvolution usinghyper-Laplacian priors.Advances in Neural Information Processing Systems[C].2009:1033-1041.]对此又进一步的改进，假设图像梯度服从超拉普拉斯分布。上述先验知识的方法在频域或变换域上和噪声有一定的重叠，造成模糊去除后的图像较为平滑，丢失了纹理细节信息。最大化后验概率的方法通过最大后验概率寻求最接近真实的解，导致收敛问题的不稳定性。基于贝叶斯的变分法遍历可能的解而不是所有解理论上更具鲁棒性，但这些方法比较费时。

图像运动去模糊的研究针对不同的应用场合及适用范围在处理时间和效果上有很多不同的方法，目前这些引用量较高的算法大多数没有考虑图像反卷积后图像复原质量，也就是没有进一步客观评价图像复原后质量，有些算法也只是通过有参考图像的评价指标，如峰值信噪比(Peak Signal to Noise Ratio,PSNR),均方误差(Mean SquareError,MSE)和结构相似度(Structural Similarity,SSIM)等进行去模糊质量评价，而实际很多图像的处理是没有原始清晰图像的[张淑芳,张聪,张涛,等.通用型无参考图像质量评价算法综述[J].计算机工程与应用,2015(19):13-23.]。针对无参图像质量的评价问题，目前取得效果较好的有基于自然场景统计方法(Natural Scene Statistic,NSS)的无参考图像质量评价方法[Gong Y,Sbalzarini I F.Image enhancement by gradientdistribution specification.Asian Conference on Computer Vision[C],Springer,Cham,2014:47-62.]。评价指标BRISQUE(Blind/Referenceless Image Spatial QualityEvaluator)[Mittal A,Moorthy A K,Bovik A C.No-reference image qualityassessment in the spatial domain.IEEE Transactions on Image Processing[J],21(12),2012:4695-4708.]也是这样一种无参考图像质量评价指标，通过在空域内提取其自然统计特征因而计算量相对较小。

发明内容

本发明的目的是提供一种融合无参图像质量评价的自然场景图像去模糊方法，从一定程度上克服了寻找清晰样本困难和方法适应能力差的缺点，提高现有图像去模糊质量。

本发明的技术方案：

一种融合无参图像质量评价的自然场景图像去模糊方法，包括以下步骤：

步骤1，基于空间变换的变量映射建模；

步骤1.1，分析图像模糊成因，构建模糊过程的数学抽象模型：

其中G(·)为目标场景的像素值，B(·)为模糊图像的像素值，n(·)为白噪声，(x,y)为图像像素空间位置,D(·)为t时刻(x,y)位置的某一邻域，(u,w)为D(·)中的一点；

步骤1.2，引入合适条件，将公式(1)在D(·)邻域内线性化；

A·G＝B (2)

其中矩阵A为系数矩阵，矩阵G为未知的清晰图像，矩阵B为采集到的模糊图像；

步骤1.3，根据图像特性扩展方程组，使得扩展后的线性方程组满足唯一解条件，即扩展后的方程组系数矩阵为满秩方阵，扩展后的方程为：

A₁·G＝B₁ (3)

其中A₁为矩阵A经过扩展后的系数矩阵，B₁为矩阵B经过扩展后的模糊矩阵；

步骤1.4，由于公式(3)唯一解性质，求解出未知的清晰图像：

G＝A₁ ^-1·B₁ (4)

通过上述步骤，建立图像去模糊过程的映射方法，即将公式(2)中变量为G的问题，映射成为公式(4)中变量为矩阵B扩展到B₁时增加部分的问题；

步骤2，无参考图像质量评价：

步骤2.1，对公式(4)求解的图像G的像素进行归一化亮度处理：

其中ω＝{ω_k,j|k＝-K,…,K,j＝-J,…J}为二维圆形对称的高斯权重函数；

步骤2.2，将归一化处理后的图像

计算其统计特征，使用无参考图像的评价指标，得到评价图像质量的指标值；

步骤3，图像去模糊：

根据公式(4)和步骤2.2构建图像映射模型和无参考质量评价方法，通过改变自变量的值得到不同参数下的去模糊图像质量指标，通过迭代法寻找到图像质量指标最佳时的自变量值，具体迭代算法如下：

步骤3.1，自变量初始化；

步骤3.2，根据公式(4)计算清晰化图像G；

步骤3.3，根据公式(5)计算归一化后的图像

步骤3.4，计算图像

的统计特征，得到无参考图像的评价指标；

步骤3.5，判断其评价指标是否最优，否则改变自变量值，转到步骤3.2，是则转到步骤3.6；

步骤3.6，判断所有自变量是否都达到最优，否则转步骤3.2，是则转到第步骤3.7；

步骤3.7，将步骤3.2的图像G作为整个算法的输出，一种融合无参考图像质量评价的图像去模糊方法构建完成。

本发明在分析图像模糊成因的基础上，建立图像模糊过程的数学模型。根据邻域渐变性，将模型线性化。针对模型逆运算的非定解特性，构建基于线性扩展的自变量映射，以减小问题求解的计算规模。图像去模糊效果引入无参考图像质量评价，对求解得到的图像进行评价，根据自变量与评价质量指标的关系建立递归算法，最终实现图像去模糊。本发明能够在一定程度上克服寻找清晰样本困难和方法适应能力差的缺点，提高现有图像去模糊的质量。

具体实施方式

本发明主要针对动态监控的视频及图像中产生的运动模糊，如车载相机安装在固定的平台，模糊也主要由相机运动与场景的相对运动产生。

本发明通过改进现有的去模糊过程，引入无参图像质量评价，增加反卷积后图像质量评价和优化过程，使得单幅模糊图像在没有清晰参考图像的情况下复原出最优图像质量。

下面结合实例对本发明进行详细说明。

1、基于空间变换的变量映射建模；

1.1分析图像模糊成因，根据前向运动模糊的特性，构建前向运动模糊过程的数学抽象模型：

其中v为机车运动速度，T为相机曝光时间，d为图像相邻两像素的距离。

1.2根据公式(6)，建立其线性方程组：

A·G＝B (7)

其中

其中

1.3根据公式(7)引入自变量矩阵S_(l-1)*n，将模糊图像扩展为：

根据扩展后方程组唯一解性质及计算简易性，构建矩阵A的扩展矩阵：

得到扩展线性方程组：

A₁·G＝B₁ (8)

1.4根据公式(8)的唯一解性质，求解出位置的清晰图像：

G＝A₁ ^-1·B₁ (9)

通过上述四个步骤，建立图像去模糊过程的影射方法，即将公式(7)中变量为G的问题，映射成为了公式(9)中变量为矩阵B扩展到B₁时增加部分的问题。

2、无参考图像质量评价：

2.1对公式(9)求解的图像G的像素进行归一化亮度处理：

其中ω＝{ω_k,j|k＝-K,…,K,j＝-J,…J}为二维圆形对称的高斯权重函数，取K＝3，J＝3。

2.2将归一化处理后的图像

计算其统计特征，代入BRISQUE评价模型，得到无参考图像的评价指标。

3、图像去模糊：

根据公式(9)和步骤2.2构建图像映射模型和无参考质量评价方法，通过改变自变量的值得到不同参数下的去模糊图像质量指标，通过迭代法寻找到图像质量指标最佳时的自变量值，具体迭代算法如下：

步骤3.1，自变量初始化；

步骤3.2，根据公式(9)计算清晰化图像G；

步骤3.3，根据公式(10)计算归一化后的图像

步骤3.4，计算图像

的统计特征，得到无参考图像的评价指标；

步骤3.5，判断其评价指标是否最优，否则改变自变量值，转到步骤3.2；是则转到步骤3.6；

步骤3.6，判断所有自变量是否都达到最优，否则转步骤3.1；是则转到步骤3.7；

步骤3.7，将步骤3.2的图像G作为整个算法的输出，一种融合无参考图像质量评价的图像去模糊方法构建完成。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种融合无参考图像质量评价的自然场景图像去模糊方法，其特征是，包括以下步骤：

步骤1，基于空间变换的变量映射建模；

步骤1.1，分析图像模糊成因，构建模糊过程的数学抽象模型：

其中G(·)为目标场景的像素值,B(·)为模糊图像的像素值，n(·)为白噪声，(x,y)为图像像素空间位置,D(·)为t时刻(x,y)位置的某一邻域，(u,w)为D(·)中的一点；

步骤1.2，引入合适条件，将公式(1)在D(·)邻域内线性化；

A·G＝B (2)

其中矩阵A为系数矩阵，矩阵G为未知的清晰图像，矩阵B为采集到的模糊图像；

步骤1.3，根据图像特性扩展方程组，使得扩展后的线性方程组满足唯一解条件，即扩展后的方程组系数矩阵为满秩方阵，扩展后的方程为：

A₁·G＝B₁ (3)

其中A₁为矩阵A经过扩展后的系数矩阵，B₁为矩阵B经过扩展后的模糊矩阵；

步骤1.4，由于公式(3)唯一解性质，求解出未知的清晰图像：

G＝A₁ ^-1·B₁ (4)

通过上述步骤，建立图像去模糊过程的映射方法，即将公式(2)中变量为G的问题，映射成为公式(4)中变量为矩阵B扩展到B₁时增加部分的问题；

步骤2，无参考图像质量评价：

步骤2.1，对公式(4)求解的图像G的像素进行归一化亮度处理：

其中ω＝{ω_k,j|k＝-K,…,K,j＝-J,…J}为二维圆形对称的高斯权重函数；

步骤2.2，将归一化处理后的图像

计算其统计特征，使用无参考图像的评价指标，得到评价图像质量的指标值；

步骤3，图像去模糊：

根据公式(4)和步骤2.2构建图像映射模型和无参考质量评价方法，通过改变自变量的值得到不同参数下的去模糊图像质量指标，通过迭代法寻找到图像质量指标最佳时的自变量值，具体迭代算法如下：

步骤3.1，自变量初始化；

步骤3.2，根据公式(4)计算清晰化图像G；

步骤3.3，根据公式(5)计算归一化后的图像

步骤3.4，计算图像

的统计特征，得到无参考图像的评价指标；

步骤3.5，判断其评价指标是否最优，否则改变自变量值，转到步骤3.2，是则转到步骤3.6；

步骤3.6，判断所有自变量是否都达到最优，否则转步骤3.2，是则转到第步骤3.7；

步骤3.7，将步骤3.2的图像G作为整个算法的输出。