CN107292844B - 全变差正则化变分随机共振自适应暗图像滤波增强方法 - Google Patents

Abstract

本发明公开了一种全变差正则化变分随机共振自适应暗图像滤波增强方法。该方法在变分框架下将全变差正则化滤波与随机共振增强进行耦合，通过全变差正则化图像去噪和随机共振图像增强两个步骤的交替迭代实现含噪声的低对比度暗图像的滤波去噪和对比度增强。本发明提出的模型自适应计算方法，一方面使本发明可以适用于不同的图像，提高算法适用性，另一方面也可以自适应保持图像亮度阈值在正常范围内。本发明可以在增强图像对比度的同时，有效地抑制噪声并保持图像的细节成分，增强之后的图像具有良好视觉效果，在医学成像、夜视安全监控等领域具有广泛的应用前景。

Description

全变差正则化变分随机共振自适应暗图像滤波增强方法

技术领域

本发明属于图像增强的技术，具体涉及一种全变差正则化变分随机共振自适应暗图像滤波增强方法，

背景技术

低对比度暗图像的增强在医学成像、夜视监测、遥感等领域具有广泛的应用前景。目前，国际上关于暗图像增强问题已有许多研究，如直方图均衡化(HE)(Q.Wang,L.Chenand D.Shen,Fast Histogram Equalization for Medical Image Enhancement,30thAnnual International IEEE EMBS Conference Vancouver,2008)，单尺度Retinex(SSR)(Choi D H,Jang I H,Mi H K,et al.Color image enhancement using single-scaleretinex based on an improved image formation model.Signal ProcessingConference,2008,European.IEEE,2008:1-5)，多尺度Retinex(MSR)(Rahman Z U,JobsonD J,Woodell G A.Multi-scale retinex for color image enhancement.InternationalConference on Image Processing,1996.Proceedings.IEEE,1996:1003-1006vol.3)，动态随机共振(Dynamic Stochastic Resonance,DSR)等，其中DSR方法近年来吸引了越来越多的关注，出现了多种基于DSR的低对比度暗图像增强方法，例如空间域暗图像增强(Chouhan R,Jha R K,Biswas P K.Enhancement of dark and low-contrast imagesusing dynamic stochastic resonance[J].Iet Image Processing,2013,7(7):174-184)，小波变换域(Chouhan R,Kumar C P,Kumar R,et al.Contrast Enhancement ofDark Images using Stochastic Resonance in Wavelet Domain.InternationalJournal of Machine Learning and Computing,vol.2,pp.711-715,2012.)等等。传统上，在图像处理中噪声是不受欢迎的。而在基于DSR的随机共振图像增强中，非线性系统中噪声的存在是取得最佳性能必不可少的因素。然而，这些噪声在图像对比度增强的同时也得到增强，导致基于传统DSR图像增强的方法得到的增强图像中有大量的噪声，严重影响图像的质量，并给后续的图像分割等带来很大的困难。

发明内容

本发明目的是提供一种全变差正则化变分随机共振自适应暗图像滤波增强方法。该方法利用全变差正则化与随机共振图像增强变分模型耦合，以达到增强暗图像的同时抑制噪声的目的。

实现本发明目的的技术解决方案为：一种全变差正则化变分随机共振自适应暗图像滤波增强方法，通过下面两个阶段共四个步骤来实现低对比度暗图像的亮度增强和噪声抑制：

阶段一：图像预处理阶段

加噪声步骤:依据当前给定的待处理的低对比度暗图像u_o的方差，随机生成高斯白噪声，并加入到待处理的大小为M×N的低对比度暗图像u_o中，生成实际处理的大小为M×N的含噪声低对比度暗图像f；

阶段二：图像自适应增强滤波阶段

通过下面三个步骤的交替迭代实现图像的自适应增强滤波：

步骤一:对第n步迭代计算得到的大小为M×N的增强滤波后的图像u⁽ⁿ⁾，通过求解下面的优化问题实现图像的梯度滤波：

公式(1)中各符号含义为：

u⁽ⁿ⁾：第n步迭代计算得到的大小为M＝N的增强滤波后的图像；

图像u⁽ⁿ⁾在像素点(i,j)处的沿垂直方向的一阶差分；

图像u⁽ⁿ⁾在像素点(i,j)处的沿水平方向的一阶差分；

d_x:对于图像u⁽ⁿ⁾沿垂直方向的一阶差分

的近似；

d_y:对于图像u⁽ⁿ⁾沿水平方向的一阶差分

的近似；

通过对公式(1)求解，得到的对图像u⁽ⁿ⁾沿垂直方向的一阶差分

的最优近似；

通过对公式(1)求解，得到的对图像u⁽ⁿ⁾沿水平方向的一阶差分

的最优近似；

λ₂:用于控制d_x和d_y对于图像u⁽ⁿ⁾沿垂直方向和水平方向的一阶差分的近似程度，取为充分大的正数；

步骤二：在步骤一求解得到

和

后，通过求解下面的随机共振优化问题，更新得到新的增强滤波图像u⁽ⁿ⁺¹⁾

公式(2)中各符号含义为：

f：在预处理阶段中得到的大小为N×M的实际处理的含噪声低亮度图像；

u：大小为N×M的待求近似真实图像；

f_ij:图像f在像素点(i,j)处的灰度值；

u_ij:图像u在像素点(i,j)处的灰度值；

图像u在像素点(i,j)处的沿垂直方向的一阶差分；

图像u在像素点(i,j)处的沿水平方向的一阶差分；

λ₁：用于调节控制正则化滤波项的滤波强度的参数；

a：用于调节控制随机共振增强项的增强强度的参数；

像素点(i,j)处的凸优化控制参数；

步骤三：判断增强滤波后的图像u⁽ⁿ⁺¹⁾是否满足给定的迭代终止条件，如果满足，则迭代终止，输出最终的增强滤波后的图像u⁽ⁿ⁺¹⁾；否则，则依据u⁽ⁿ⁺¹⁾来自适应更新模型参数，然后转回到阶段二的步骤一继续迭代计算，直到满足迭代终止条件为止。

阶段一加噪声步骤中所述的实际处理的含噪声低对比度暗图像f按照下面公式得到

f＝u_o+n (3)

其中u_o是实际给定的大小为N×M的待处理低对比度暗图像，n是均值为零，方差为

的高斯白噪声，

为待处理的低对比度暗图像u_o的方差。

优化公式(1)的解按照下面的计算公式计算:

其中i＝1,2,…,N；j＝1,2,…,M，max{x,y}表示取x,y中的最大值，ε＞0为一个很小的正数，主要保证(4)式中的分母不等于零。

优化公式(2)的解按照下面的迭代方式进行计算:

对k＝0,1,…,K，按照下面的格式迭代计算

其中Δt为迭代步长，K为一个正整数，div(·)为散度算子，

为两个二维向量值矩阵，即矩阵的每个元素为一个二维向量。

优化公式(2)中的凸优化控制参数

满足下面的约束条件：

优化公式(2)中的凸优化控制参数

的计算方式为

阶段二的步骤三中所采用的迭代终止条件为：

|mean(u⁽ⁿ⁺¹⁾)-T_B|＜δ (8)

其中mean(·)为平均值算子，T_B∈(0,255)为设定的增强后图像的灰度平均值，δ＞0为一个很小的数。

本发明与现有技术相比，其显著优点为：本发明方法能够自适应地实现低对比度暗图像增强，在有效增强图像亮度和对比度的同时，也可以有效地抑制图像噪声，得到的增强图像具有良好的视觉效果，本发明方法在医学成像、夜视监测、遥感等领域都有广泛的应用前景。

附图说明

图1为本发明方法整体算法结构及数据流程图。

图2为随机噪声加噪单元算法及数据流程图。

图3为梯度滤波计算单元算法及数据流程图。

图4为随机共振增强计算单元算法及数据流程图。

图5为参数自适应更新计算单元算法及数据流程图。

图6为本发明的实验测试图像，(a)原始Barbara图像，(b)待增强Barbara图像，(c)原始MR图像，(d)待增强MR图像。

图7为本发明方法与现有算法对低亮度含噪声Barbara增强图像的比较：(a)HE,(b)SSR,(c)MSR,(d)DSR,(e)DSR+DWT,(f)VSR+TV。

图8为本发明方法与现有算法对MR图像处理后得到图像的比较：(a)HE,(b)SSR,(c)MSR,(d)DSR,(e)DSR+DWT,(f)VSR+TV。

具体实施方式

下面结合附图对本发明作进一步说明。

附图1至图5给出了本发明方法的整体算法结构以及具体计算单元的算法及数据流程图。附图6为实验的测试图像。

本发明一种全变差正则化变分随机共振自适应暗图像滤波增强方法，记f是大小为N×M的待处理的低亮度含噪声图像，u是大小为N×M的待求近似真实图像，则耦合之后的全变差正则化变分随机共振自适应暗图像滤波增强变分模型可表示为：

其中

称为全变差滤波正则项，

称为随机共振增强正则项，

称为数据保真项。在公式(1)中，

和

分别表示图像u在像素点(i,j)处的沿垂直方向和水平方向的一阶差分；λ₁＞0是用于调节控制正则化滤波项的滤波强度的参数，a＞0是用于调节控制随机共振增强项的增强强度的参数，ρ_ij则是图像像素点(i,j)处的凸优化控制参数，为保证优化问题1为凸优化问题，给出ρ_ij的取值范围为：

在公式(1)中，待处理的低对比度含噪声图像f并不是实际中真正的观测图像u_o，待处理图像f是在观测图像g上再加上一个加性的高斯白噪声之后得到的，在得到待处理的低对比度含噪声图像f后，用公式(1)进行同步滤波增强得到最后的图像。

最优化问题1的求解等价于下面的约束优化问题：

用拉格朗日乘子法，可将约束优化问题3转化为下面的非约束优化问题：

其中λ₂＞0为拉格朗日乘子。显然，当λ₂→+∞时，公式(4)和公式(1)是完全等价的，在实际中通常取充分大的参数λ₂，然后通过求解无约束优化问题4来进行求解。而利用交替迭代法，极小化问题4的解可通过下面的迭代格式来近似求解：

给定初值u⁽⁰⁾＝f,对n＝1,2,…交替计算下面两式：

其中公式(5)实际上是在全变差正则化基础上利用变量替换得到的，这里起到的作用是通过对图像梯度场的平滑来实现图像去噪滤波，公式(5)则是由随机共振正则化导出的，这里起到的作用就是图像亮度和对比度的增强。通过对(5)-(6)式的交替迭代，就可以实现同步实现图像去噪和滤波，从而得到高质量的增强图像。

本发明所提供的全变差正则化变分随机共振自适应暗图像滤波增强方法由四个处理单元构成，分别是：随机噪声加噪单元、梯度滤波计算单元、随机共振增强计算单元和参数自适应更新计算单元。

1.1随机噪声加噪单元

由于噪声的存在是随机共振图像增强的必要条件，而在实际中给出的低对比度观测图像u⁽⁰⁾中不含噪声或者含噪声非常少，无法起到利用噪声来实现共振增强的作用。因此为保证足够噪声的存在，在给定实际给定的大小为N×M的观测图像u⁽⁰⁾之后，在其中加入一个随机高斯白噪声之后得到真正的待处理低对比度含噪声图像f，因此这个计算单元称为随机噪声加噪单元。

所述随机噪声加噪单元，由下列计算步骤构成：

步骤1.输入一幅大小为N×M的低对比度观测图像u_o；

步骤2.生成均值为零，方差为

高斯白噪声(记为n)，其中

为图像u_o的像素灰度方差；

步骤3.生成待处理的低对比度含噪声图像f＝u_o+n；

1.2梯度滤波计算单元

该计算单元的主要任务实现公式(5)所表示的极小化问题的求解，该极小化问题实际上实现了梯度场的滤波，因此成为梯度滤波计算单元。

事实上，该极小化问题是有解析解的，其解析解可表示为

其中i＝1,2,…,N；j＝1,2,…,M，max{x,y}表示取x,y中的最大值，ε＞0为一个很小的正数，主要保证(6)式中的分母不等于零。

所述梯度滤波计算单元，由下列计算步骤构成：

步骤1.输入当前增强图像u⁽ⁿ⁾，计算每个像素点(i,j)处沿垂直方向的一阶差分

沿水平方向的一阶差分

i＝1,2,…,N；j＝1,2,…,M；

步骤2.计算u⁽ⁿ⁾的每个像素点(i,j)处的梯度模

i＝1,2,…,N；j＝1,2,…,M；

步骤3.计算大小为N×M的软阈值收缩系数矩阵S，其中

这里max{x,y}表示取x,y中的最大值。

步骤4.计算并输出

1.3随机共振增强计算单元

该计算单元的主要任务实现公式(6)所表示的极小化问题的求解，该极小化问题实际上实现了图像对比度增强，因此成为随机共振增强计算单元。在本计算单元中，利用梯度下降算法求解极小化问题6。

所述随机共振增强计算单元，由下列计算步骤构成：

步骤1.输入已得到的增强图像u⁽ⁿ⁾、由梯度滤波计算单元计算得到的导数近似图像

和

内循环迭代次数K以及参数矩阵ρ⁽ⁿ⁾；

步骤2.设定内迭代循环的初值u^(n+1,0)＝u⁽ⁿ⁾，对k＝0,1,2,…,K,循环计算步骤3～步骤4

步骤3.计算

步骤4.计算

在本发明中，迭代步长默认为Δt＝0.1；

步骤5.输出更新增强图像u⁽ⁿ⁺¹⁾＝u^(n+1,K+1)

1.4参数自适应更新计算单元

在本发明提出的由公式(1)所表述的图像滤波增强模型中，参数ρ_ij的取值非常关键。一方面，该参数影响随机共振增强的效果，另一方面，该参数也控制公式(1)所表示的最优化问题是否为凸优化问题，从而影响问题解的存在唯一性。在本发明中，从保持图像亮度持续增强和保持问题为凸优化问题这两方面，得到参数ρ_ij的取值范围(i＝1,2,…,N；j＝1,2,…,M)为(2)式，显然ρ_ij的选择和u_ij有关。在迭代格式(5)—(6)中，将对该参数进行自适应更新。

所述参数自适应更新计算单元，由下列计算步骤构成：

步骤1.输入当前得到的增强图像u⁽ⁿ⁺¹⁾、待处理的低对比度含噪声图像f，设定的参数a,δ以及目标增强图像的平均亮度T_B；

步骤2.若|mean(u⁽ⁿ⁺¹⁾)-T_B|＜δ，迭代终止并输出最终的增强图像u⁽ⁿ⁺¹⁾，否则转到步骤3进行参数的更新；

步骤3.输出新增强参数矩阵ρ⁽ⁿ⁺¹⁾，其在每个像素点(i,j)处的计算公式为

下面结合实例及附图对本发明作进一步说明。

1)实验条件：

实验所用的计算环境为Intel Core i5-5200U@2.2GHz双核CPU，内存为4GB，编程平台为Matlab R2012a。实验所用的测试图像为大小为256×256的国际标准测试图像Barbara图像和大小为220×222的MR图像。

2)实验内容：

首先将原始Barbara图像和MR图像的最大灰度值调节至0.2和0.4得到低对比度按图像，然后利用本发明提出的方法来进行处理和现有的一些常用方法进行比较，这些方法主要包括：

(1)HE:Q.Wang,L.Chen and D.Shen,Fast Histogram Equalization forMedical Image Enhancement,30th Annual International IEEE EMBS ConferenceVancouver,2008

(2)SSR:Choi D H,Jang I H,Mi H K,et al.Color image enhancement usingsingle-scale retinex based on an improved image formation model.SignalProcessing Conference,2008,European.IEEE,2008:1-5

(3)MSR:Rahman Z U,Jobson D J,Woodell G A.Multi-scale retinex forcolor image enhancemen.International Conference on Image Processing,1996.Proceedings.IEEE,1996,3:1003-1006

(4)DSR:Chouhan R,Jha R K,Biswas P K.Enhancement of dark and low-contrast images using dynamic stochastic resonance.Iet Image Processing,2013,7(7):174-184

(5)DSR+DWT:Chouhan R,Kumar C P,Kumar R,et al.Contrast Enhancement ofDark Images using Stochastic Resonance in Wavelet Domain.InternationalJournal of Machine Learning and Computing,2012,vol.2:711-715,

本实验中从四个指标对算法进行比较：

(1)PSNR，即峰值信噪比，该指标主要用于衡量算法的去噪性能；

(2)RCEF，即相对对比度增强因子，该指标主要用于衡量算法的对比度增强性能；

(3)IF-SNR，即信噪比改善因子，该指标主要用于衡量算法的复原性能；

(4)DSM，即分部分离测度，该指标主要用于衡量输出图像与原始图像增强的差异。

在本实验中，调节参数T_B使得该算法满足迭代终止条件时，能够得到最高的相对对比度增强因子(RCEF)且在正常范围(0～10)。

表1中给出了利用几种方法的性能指标比较。实验结果表明：当输入图像为有原图像的Barbara时，在正常的增强情况下，相较于其它方法，本发明所提出的方法峰值信噪比和信噪比恢复因子都远优于它们，虽然直方图均衡化和MSR的相对对比度增强因子和分部分离测度的值较高，但却使得图像产生了失真的视觉效果。当输入图像为MR图像时，本发明的方法得到的相对对比度增强因子优于其它方法。由于原始MR图像是带有噪声的，因此不计算其增强后的峰值信噪比和信噪比改善因子。

表1本发明方法与其它算法在PSNR、IF-SNR、RCEF和DSM的比较

图7-图8给出了六种方法对于实验图像的处理后图像的比较。实验结果表明，其它方法在增强图像之后噪声也较为明显，本发明的方法在增强图像的同时可以有效抑制噪声保持图像较好的视觉效果。

本发明提出将现有的全变差图像去噪和随机共振图像增强方法进行耦合，将原有的基于偏微分方程形式的随机共振方程改写为变分形式，并将现有最常用的针对图像去噪的全变差正则化方法引入到变分形式的随机共振增强中，提出一种新的全变差正则化变分随机共振自适应暗图像滤波增强模型，通过对模型的求解，在增强图像对比度的同时，也抑制噪声的增强甚至起到对噪声抑制作用。同时，通过对模型参数的控制，可以保证所提出的模型在数学上属于凸优化问题，这也保证模型解的存在性和唯一性，同时也可以有效防止图像亮度的“过增强”现象，从而大大提高增强后的图像的视觉质量。

Claims (5)

1.一种全变差正则化变分随机共振自适应暗图像滤波增强方法，其特征在于：通过下面两个阶段共四个步骤来实现低对比度暗图像的亮度增强和噪声抑制：

阶段一：图像预处理阶段

加噪声步骤:依据当前给定的待处理的低对比度暗图像u_o的方差，随机生成高斯白噪声，并加入到待处理的大小为M×N的低对比度暗图像u_o中，生成实际处理的大小为M×N的含噪声低对比度暗图像f；

阶段二：图像自适应增强滤波阶段

通过下面三个步骤的交替迭代实现图像的自适应增强滤波：

步骤一:对第n步迭代计算得到的大小为M×N的增强滤波后的图像u⁽ⁿ⁾，通过求解下面的优化问题实现图像的梯度滤波：

公式(1)中各符号含义为：

u⁽ⁿ⁾：第n步迭代计算得到的大小为M×N的增强滤波后的图像；

图像u⁽ⁿ⁾在像素点(i,j)处的沿垂直方向的一阶差分；

图像u⁽ⁿ⁾在像素点(i,j)处的沿水平方向的一阶差分；

d_x:对于图像u⁽ⁿ⁾沿垂直方向的一阶差分

的近似；

d_y:对于图像u⁽ⁿ⁾沿水平方向的一阶差分

的近似；

通过对公式(1)求解，得到的对图像u⁽ⁿ⁾沿垂直方向的一阶差分

的最优近似；

通过对公式(1)求解，得到的对图像u⁽ⁿ⁾沿水平方向的一阶差分

的最优近似；

λ₂:用于控制d_x和d_y对于图像u⁽ⁿ⁾沿垂直方向和水平方向的一阶差分的近似程度，取为充分大的正数；

步骤二：在步骤一求解得到

和

后，通过求解下面的随机共振优化问题，更新得到新的增强滤波图像u⁽ⁿ⁺¹⁾

公式(2)中各符号含义为：

f：在预处理阶段中得到的大小为N×M的实际处理的含噪声低亮度图像；

u：大小为N×M的待求近似真实图像；

f_ij:图像f在像素点(i,j)处的灰度值；

u_ij:图像u在像素点(i,j)处的灰度值；

图像u在像素点(i,j)处的沿垂直方向的一阶差分；

图像u在像素点(i,j)处的沿水平方向的一阶差分；

λ₁：用于调节控制正则化滤波项的滤波强度的参数；

a：用于调节控制随机共振增强项的增强强度的参数；

像素点(i,j)处的凸优化控制参数；

步骤三：判断增强滤波后的图像u⁽ⁿ⁺¹⁾是否满足给定的迭代终止条件，如果满足，则迭代终止，输出最终的增强滤波后的图像u⁽ⁿ⁺¹⁾；否则，则依据u⁽ⁿ⁺¹⁾来自适应更新模型参数，然后转回到阶段二的步骤一继续迭代计算，直到满足迭代终止条件为止；

优化公式(2)中的凸优化控制参数

M满足下面的约束条件：

优化公式(2)中的凸优化控制参数

的计算方式为

2.根据权利要求1所述的全变差正则化变分随机共振自适应暗图像滤波增强方法，其特征在于：阶段一加噪声步骤中所述的实际处理的含噪声低对比度暗图像f按照下面公式得到

f＝u_o+n (3)

其中u_o是实际给定的大小为N×M的待处理低对比度暗图像，n是均值为零，方差为

的高斯白噪声，

为待处理的低对比度暗图像u_o的方差。

3.根据权利要求1所述的全变差正则化变分随机共振自适应暗图像滤波增强方法，其特征在于：优化公式(1)的解按照下面的计算公式计算:

其中i＝1,2,…,N；j＝1,2,…,M，max{x,y}表示取x,y中的最大值，ε＞0为一个很小的正数，主要保证(4)式中的分母不等于零。

4.根据权利要求1所述的全变差正则化变分随机共振自适应暗图像滤波增强方法，其特征在于：优化公式(2)的解按照下面的迭代方式进行计算:

对k＝0,1,…,K，按照下面的格式迭代计算

其中Δt为迭代步长，K为一个正整数，div(·)为散度算子，

为两个二维向量值矩阵，即矩阵的每个元素为一个二维向量。

5.根据权利要求1所述的全变差正则化变分随机共振自适应暗图像滤波增强方法，其特征在于：阶段二的步骤三中所采用的迭代终止条件为：

|mean(u⁽ⁿ⁺¹⁾)-T_B|＜δ (8)

其中mean(·)为平均值算子，T_B∈(0,255)为设定的增强后图像的灰度平均值，δ＞0为一个很小的数。

Images