CN102708545A - 一种非局部变换域图像增强方法 - Google Patents

Abstract

本发明公开了一种非局部变换域图像增强方法，该方法可在有效弱化图像增强后的光晕现象同时提高图像增强的效果。可广泛应用于计算机、医学、数码相机、手机等图像处理。实验结果表明，本申请的方法基本不会引入光晕假信号，并能在增强图像细节的同时有效抑制噪声。

Description

一种非局部变换域图像增强方法

技术领域

本发明属于计算机图像处理领域，特别是一种用于图像增强的方法。

背景技术

图像增强方法分为空域法与变换域法两种，由于小波变换具有较好的时频分域分析信号的能力，所以小波变换一经提出就在图像处理研究领域得到了广泛的应用。鉴于小波变换只能较好表征点状奇异性，能较好表征线状奇异性的一系列超小波被提出，如曲波，轮廓波等。基于变换的图像增强方法中最好的是基于非下采样轮廓波变换(NSCT)的图像增强算法[Cunha A L，Zhou J，Do M N.The nonsubsampledcontourlet transform：theory，design，and applications.IEEETransactions on Image Processing，2006，15(10)：3089-3101].基于变换的图像增强方法都是先通过某种变换将图像的细节表示出来，然后对弱细节系数适当放大，逆变换后就得到了增强后的图像。由于NSCT具有一些良好的性能，如多方向性、平移不变换性等，所以将NSCT应用到图像增强获得了当前最好的图像增强结果。

无论是小波变换还是超小波变换，在表征图像中的奇异性时都是利用一个卷积核与图像进行卷积运算，在对表征出来的线状奇异性进行非线性增强后再逆变换的过程中，增强的细节系数会对图像细节周围的平滑部分系数造成影响，从而形成光晕现象，这不仅极大影响了增强后图像的视觉效果，也使其在大部分实际应用中的能力大打折扣。

发明内容

本发明的目的就在于针对上述现有技术的缺陷而提供一种非局部变换域图像增强方法，该方法可在有效弱化图像增强后的光晕现象同时提高图像增强的效果。可广泛应用于计算机、医学、数码相机、手机等图像处理。实验结果表明，本申请的方法基本不会引入光晕假信号，并能在增强图像细节的同时有效抑制噪声。

其技术解决方案如下：一种非局部变换域图像增强方法，其包括如下步骤：

1)估计输入图像的噪声标准偏差σ；

2)通过K-近邻块抽取方法抽取K个图像块；

使抽取的所有图像块都有相似的平滑背景，但各图像块中的图像细节位置都存在一些差异，本申请称之为K-近邻块抽取；首先按照一定的滑动步长n_step，在图像中选取一个大小为n×n的参考图像块B_R，然后以B_R的左上角坐标为中心抽取K个大小也为n×n的图像块，使抽取的这些图像块的左上角坐标为B_R的左上角坐标的K-近邻。因为本申请要执行这K个图像块间的一个Haar矩阵变换，所以K应该为2的整数次幂，如8，16，32等。把抽取的图像块组成一个以块为元素的列向量B_E＝{B₁，B₂，B₃，...，B_K}^T；

3)对这些块构成的图像块组执行块间的Haar变换；

本申请给出一种基于所提出的块抽取特性的快速的块间的Haar变换；因为所抽取的图像块都是等大的，所以很容易用Haar变换矩阵的规则结构构造快速算法；

K＝2^j，(j＝3，4，...)个图像块表示为B_i，(i＝1，2，3，...，K)，比如，K＝8，用下面的公式实现完全的Haar变换，即3层变换：

${\hat{B}}_E=\mathrm{\Ψ}{B}_E---\left(1\right)$

其中Ψ是Haar变换矩阵，B_E＝(B₁，B₂，...，B_K)^T是抽取的块构成的一个向量，

是变换后各个子带构成的一个列向量。

通过计算式(1)中两个矩阵的乘积，B_E被分解成8个子带，其中是低频子带，其余的7个子带都为高频子带。

4)通过下面的非线性函数放大弱细节系数并同时抑制噪声：

$C_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\σ}\\ \mathrm{\γ}\·C_t,& \mathrm{if}& \left|C_t\right|\≤K_1\mathrm{\σ}\end{array}\right.---\left(2\right)$

其中C_t是Haar变换系数，γ是一个增益因子用来放大弱细节系数，K₁和K₂两个常值参数，C_en是增强的系数；

对每一个变换子带先分别求出所有符号为正的系数值的和sum_P与符号为负的系数值的和sum_N，然后比较sum_P与-sum_N的大小，若sum_P＞-sum_N，则只放大符号为正的细节系数，反之则只放大符号为负的细节系数；

${\mathrm{sum}}_P\left(i\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}({\hat{B}}_i(j,k)>0)---\left(3\right)$

根据这种方法，对每一个高频子带中的系数将式(2)修改为：

if sum_P＞-sum_N， ${\mathrm{thenC}}_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& 0<C_t\&le;K_1\mathrm{\&sigma;}\\ C_t,& \mathrm{if}& -K_1\mathrm{\&sigma;}<C_t\&le;0\end{array}\right.---\left(5\right)$

或

if sum_P≤-sum_N， ${\mathrm{thenC}}_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ C_t,& \mathrm{if}& 0<C_t\&le;K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& -K_1\mathrm{\&sigma;}<C_t\&le;0\end{array}\right.---\left(6\right)$

5)执行块间的逆Haar变换；

由于Haar变换矩阵是一个可逆矩阵，因此能够通过下面的逆变换公式重构所有的图像块：

${\stackrel{\widehat{^}}{B}}_E={\mathrm{\&Psi;}}^{-1}{\hat{B}}_E---\left(7\right)$

其中Ψ^-1表示变换矩阵Ψ的逆矩阵，

为重构后的各图像块构成的列向量。

当完成一组图像块的上述操作后，将这组图像块四周补零得到与原始图像同样大小的图像，使得这个实际图像块的左上角在补零后的图像中的位置与在原始图像中的位置相同。对每一个像素位置计算像素个数，把这个位置的所有像素值求平均。完成所有参考块操作后用下面聚合公式得到输出图像

$\hat{I}\left(x\right)=\frac{\underset{{\stackrel{\widehat{^}}{B}}_E\&Element;I}{\mathrm{\&Sigma;}}\underset{x_m\&Element;{\stackrel{\widehat{^}}{B}}_E}{\mathrm{\&Sigma;}}{\stackrel{\widehat{^}}{B}}_E\left(x\right)}{\underset{{\stackrel{\widehat{^}}{B}}_E\&Element;I}{\mathrm{\&Sigma;}}\underset{x_m\&Element;{\stackrel{\widehat{^}}{B}}_E}{\mathrm{\&Sigma;}}{\mathrm{\&chi;}}_E\left(x\right)},x\&Element;I---\left(8\right)$

其中x_m是一个像素，χ_E是一个特征函数，它的作用是计算每个位置的像素个数。因为Haar变换是完全重构的，另外在聚合过程中总是计算每一个位置的像素的平均值，即在每一个位置的像素值都返回其原始值，所以最后的输出图像也是完全重构的；

6)聚合所有图像块得到增强的图像。

与现有技术相比，本申请提出了一种非局部变换域线状奇异性表示方法，本申请方法的最大好处是基本不引入光晕假信号。目前通用的图像增强的客观评价为增强后图像的背景方差(BV)与细节方差(DV)与原始图像的BV、DV的比较，好的图像增强结果是同时具有比原始图像低的BV值但有高的DV值。本申请图像增强的结果的BV值一致低于NSCT增强的BV值，而本申请的DV值一致高于NSCT的结果。

以下结合附图对本发明做进一步的说明。

附图说明

图1为图像块抽取方法示例。

图2为块抽取与Haar变换结果示例。

图3为本发明流程框图。

图4BEH与NSCT对House图像增强结果比较。(a)原始图像；(b)和(c)是BEH的图像增强结果，γ取值分别为3和5；(d)和(e)是NSCT图像增强结果。

图5图像增强结果比较。(a)为原始图像；(b)为BEH方法增强的图像；(c)为BEH-BM3D方法增强的图像。

图6为本申请图像增强结果。(a)为原始图像；(b)为本申请方法增强结果。

具体实施方式

K-近邻块抽取

本申请给出一种行之有效的图像块抽取方法，使抽取的所有图像块都有相似的平滑背景，但各图像块中的图像细节位置都存在一些差异，本申请称之为K-近邻块抽取。首先按照一定的滑动步长n_step，在图像中选取一个大小为n×n的参考图像块B_R，然后以B_R的左上角坐标为中心抽取K个大小也为n×n的图像块，使抽取的这些图像块的左上角坐标为B_R的左上角坐标的K-近邻。因为本申请要执行这K个图像块间的一个Haar矩阵变换，所以K应该为2的整数次幂，如8，16，32等。把抽取的图像块组成一个以块为元素的列向量B_E＝{B₁，B₂，B₃，...，B_K}^T

为了更有效地表征多个方向的信息，一般最少抽取8个图像块，具体的图像块抽取方案如图1所示。其中中心的实心圆为参考块的左上角坐标，其外围的六个实心圆为要抽取的8个图像块的左上角坐标，当然也可以抽取再外层的16个块，但如果抽取的图像块的左上角坐标距参考块的左上角坐标太远，有时会造成平滑的背景不再满足相似条件，从而导致变换后的细节系数幅值不显著，这就不利于在图像增强中的应用。

Haar变换

本申请给出一种基于所提出的块抽取特性的快速的块间的Haar变换。因为所抽取的图像块都是等大的，所以很容易用Haar变换矩阵的规则结构构造快速算法。

正变换：K＝2^j，(j＝3，4，...)个图像块表示为B_i，(i＝1，2，3，...，K)，比如，K＝8，用下面的公式实现完全的Haar变换，即3层变换：

${\hat{B}}_E=\mathrm{\&Psi;}{B}_E---\left(1\right)$

其中Ψ是Haar变换矩阵，B_E＝(B₁，B₂，...，B_K)^T是抽取的块构成的一个向量，

是变换后各个子带构成的一个列向量。

通过计算式(1)中两个矩阵的乘积，B_E被分解成8个子带，其中是低频子带，

其余的7个子带都为高频子带。图2给出了一个实际的块抽取Haar变换的例子，从图中可以看出，图像块中的细节在高频子带中得到了很好的表征。

逆变换：由于Haar变换矩阵是一个可逆矩阵，因此能够通过下面的逆变换公式重构所有的图像块：

${\stackrel{\widehat{^}}{B}}_E={\mathrm{\&Psi;}}^{-1}{\hat{B}}_E---\left(2\right)$

其中Ψ^-1表示变换矩阵Ψ的逆矩阵，

为重构后的各图像块构成的列向量。

当完成一组图像块的上述操作后，将这组图像块四周补零得到与原始图像同样大小的图像，使得这个实际图像块的左上角在补零后的图像中的位置与在原始图像中的位置相同。对每一个像素位置计算像素个数，把这个位置的所有像素值求平均。完成所有参考块操作后用下面聚合公式得到输出图像

$\hat{I}\left(x\right)=\frac{\underset{{\stackrel{\widehat{^}}{B}}_E\&Element;I}{\mathrm{\&Sigma;}}\underset{x_m\&Element;{\stackrel{\widehat{^}}{B}}_E}{\mathrm{\&Sigma;}}{\stackrel{\widehat{^}}{B}}_E\left(x\right)}{\underset{{\stackrel{\widehat{^}}{B}}_E\&Element;I}{\mathrm{\&Sigma;}}\underset{x_m\&Element;{\stackrel{\widehat{^}}{B}}_E}{\mathrm{\&Sigma;}}{\mathrm{\&chi;}}_E\left(x\right)},x\&Element;I---\left(3\right)$

其中x_m是一个像素，χ_E是一个特征函数，它的作用是计算每个位置的像素个数。因为Haar变换是完全重构的，另外在聚合过程中总是计算每一个位置的像素的平均值，即在每一个位置的像素值都返回其原始值，所以最后的输出图像也是完全重构的。

图像增强能够通过放大变换后的弱细节系数来实现，但在增强弱细节系数时一般要同步抑制图像中的噪声。由于所提出的线状奇异性表示的有效性，将其应用于图像增强既能有效增强图像中的弱细节同时也能有效地抑制图像中的噪声。由于本申请能在高频中有效表征图像细节，所以本申请采用相似于NSCT的图像增强方法。为了抵制噪声，首先用鲁棒中值算子来估计图像噪声，具体的图像增强算法如下：

1)估计输入图像的噪声标准偏差σ；

2)通过K-近邻块抽取方法抽取K个图像块；

3)对这些块构成的图像块组执行块间的Haar变换；

4)通过下面的非线性函数放大弱细节系数并同时抑制噪声：

$C_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& K_2\mathrm{\&sigma;}\&le;\left|C_t\right|\&le;K_1\mathrm{\&sigma;}\\ 0,& \mathrm{if}& \left|C_t\right|<K_2\mathrm{\&sigma;}\end{array}\right.---\left(4\right)$

其中C_t是Haar变换系数，γ是一个增益因子用来放大弱细节系数，K₁和K₂两个常值参数，C_en是增强的系数；

5)执行块间的逆Haar变换；

6)聚合所有图像块得到增强的图像。

因为BM3D方法[Dabov K，Foi A，Katkovnik V，et al.Image denoising by sparse 3D transformdomaincollaborative filtering.IEEE Transactions on Image Processing，2007，16(8)：2080-2095]有强有力的去噪性能，本申请也提出了一个替代的图像增强算法，简单地把公式(4)修改得到下式：

$C_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& \left|C_t\right|\&le;K_1\mathrm{\&sigma;}\end{array}\right.---\left(5\right)$

在式(5)中，抵制噪声的功能被略去，即在放大弱边缘信息时，图像噪声也被放大。在得到增强图像后，用BM3D去除增强后图像中的噪声将会得到具有更好视觉效果的增强图像，即充分结合了本申请提出的块抽取Haar变换与BM3D各自的优势，本申请称这种方法为BEH-BM3D.

需要注意的是块间的Haar变换在图像增强后也会产生一定的光晕现象，为了克服这个问题，本申请提出了一种缓解光晕假信号的策略。这种改进方法是：对每一个变换子带先分别求出所有符号为正的系数值的和sum_P与符号为负的系数值的和sum_N，然后比较sum_P与-sum_N的大小，若sum_P＞-sum_N，则只放大符号为正的细节系数，反之则只放大符号为负的细节系数。

${\mathrm{sum}}_P\left(i\right)=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{B}}_i(j,k)>0)---\left(6\right)$

${\mathrm{sum}}_N\left(i\right)=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{B}}_i(j,k)<0)---\left(7\right)$

根据这种方法，对每一个高频子带中的系数将式(5)修改为：

if sum_P＞-sum_N， ${\mathrm{thenC}}_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& 0<C_t\&le;K_1\mathrm{\&sigma;}\\ C_t,& \mathrm{if}& -K_1\mathrm{\&sigma;}<C_t\&le;0\end{array}\right.---\left(8\right)$

或

if sum_P≤-sum^N， ${\mathrm{thenC}}_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ C_t,& \mathrm{if}& 0<C_t\&le;K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& -K_1\mathrm{\&sigma;}<C_t\&le;0\end{array}\right.---\left(9\right)$

通过以上修改，增强后的光晕现像基本消除了。

本申请通过观察一般自然图像中存在的一个事实，即在图像中的一个局部邻域内的图像块都会有相似的平滑背景，按一定的方式从一个较小的局部邻域内抽取一定数量的图像块后对抽取的图像块执行块间的Haar变换，图像块中具有线状奇异性的图像边缘信息就能够有效地在变换后的高频子带中得到表征。将这种非局部线状奇异性表示方法应用到图像增强得到了比较理想图像增强结果。从实验结果看出，所提出的图像增强算法无论是从客观评价标准还是主观的视觉质量都明显优于传统的局部变换方法(NSCT)与近年来发展起来的非局部方法(BM3D)的图像增强效果。由于本申请提出的方法能够较好地表征线状奇异性又避免了易于引入假信号的具有大支撑的滤波器的卷积运算，若将本申请所提出的方法应用于图像处理研究的其它方面，也有望获得较好的结果。

Claims (1)

1.一种非局部变换域图像增强方法，其包括如下步骤：

1)估计输入图像的噪声标准偏差σ；

2)通过K-近邻块抽取方法抽取K个图像块；

使抽取的所有图像块都有相似的平滑背景，但各图像块中的图像细节位置都存在一些差异，本申请称之为K-近邻块抽取；首先按照一定的滑动步长n_step，在图像中选取一个大小为n×n的参考图像块B_R，然后以B_R的左上角坐标为中心抽取K个大小也为n×n的图像块，使抽取的这些图像块的左上角坐标为B_R的左上角坐标的K-近邻。因为本申请要执行这K个图像块间的一个Haar矩阵变换，所以K应该为2的整数次幂，如8，16，32等。把抽取的图像块组成一个以块为元素的列向量B_E＝{B₁，B₂，B₃，...，B_K}^T；

3)对这些块构成的图像块组执行块间的Haar变换；

本申请给出一种基于所提出的块抽取特性的快速的块间的Haar变换；因为所抽取的图像块都是等大的，所以很容易用Haar变换矩阵的规则结构构造快速算法；

K＝2^j，(j＝3，4，...)个图像块表示为B_i，(i＝1，2，3，...，K)，比如，K＝8，用下面的公式实现完全的Haar变换，即3层变换：

${\hat{B}}_E=\mathrm{\&Psi;}{B}_E---\left(1\right)$

其中Ψ是Haar变换矩阵，B_E＝(B₁，B₂，...，B_K)^T是抽取的块构成的一个向量，

是变换后各个子带构成的一个列向量。

通过计算式(1)中两个矩阵的乘积，B_E被分解成8个子带，其中是低频子带，其余的7个子带都为高频子带。

4)通过下面的非线性函数放大弱细节系数并同时抑制噪声：

$C_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& \left|C_t\right|\&le;K_1\mathrm{\&sigma;}\end{array}\right.---\left(2\right)$

其中C_t是Haar变换系数，γ是一个增益因子用来放大弱细节系数，K₁和K₂两个常值参数，C_en是增强的系数；

对每一个变换子带先分别求出所有符号为正的系数值的和sum_P与符号为负的系数值的和sum_N，然后比较sum_P与-sum_N的大小，若sum_P＞-sum_N，则只放大符号为正的细节系数，反之则只放大符号为负的细节系数；

${\mathrm{sum}}_P\left(i\right)=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{B}}_i(j,k)>0)---\left(3\right)$

${\mathrm{sum}}_N\left(i\right)=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{B}}_i(j,k)<0)---\left(4\right)$

根据这种方法，对每一个高频子带中的系数将式(2)修改为：

if sum_P＞-sum_N， ${\mathrm{thenC}}_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& 0<C_t\&le;K_1\mathrm{\&sigma;}\\ C_t,& \mathrm{if}& -K_1\mathrm{\&sigma;}<C_t\&le;0\end{array}\right.---\left(5\right)$

或

if sum_P≤-sum_N， ${\mathrm{thenC}}_{\mathrm{en}}=\left\{\begin{array}{ccc}{C}_t,& \mathrm{if}& \left|C_t\right|>K_1\mathrm{\&sigma;}\\ C_t,& \mathrm{if}& 0<C_t\&le;K_1\mathrm{\&sigma;}\\ \mathrm{\&gamma;}\&CenterDot;C_t,& \mathrm{if}& -K_1\mathrm{\&sigma;}<C_t\&le;0\end{array}\right.---\left(6\right)$

5)执行块间的逆Haar变换；

由于Haar变换矩阵是一个可逆矩阵，因此能够通过下面的逆变换公式重构所有的图像块：

${\stackrel{\widehat{^}}{B}}_E={\mathrm{\&Psi;}}^{-1}{\hat{B}}_E---\left(7\right)$

其中Ψ^-1表示变换矩阵Ψ的逆矩阵，

为重构后的各图像块构成的列向量。

当完成一组图像块的上述操作后，将这组图像块四周补零得到与原始图像同样大小的图像，使得这个实际图像块的左上角在补零后的图像中的位置与在原始图像中的位置相同。对每一个像素位置计算像素个数，把这个位置的所有像素值求平均。完成所有参考块操作后用下面聚合公式得到输出图像

$\hat{I}\left(x\right)=\frac{\underset{{\stackrel{\widehat{^}}{B}}_E\&Element;I}{\mathrm{\&Sigma;}}\underset{x_m\&Element;{\stackrel{\widehat{^}}{B}}_E}{\mathrm{\&Sigma;}}{\stackrel{\widehat{^}}{B}}_E\left(x\right)}{\underset{{\stackrel{\widehat{^}}{B}}_E\&Element;I}{\mathrm{\&Sigma;}}\underset{x_m\&Element;{\stackrel{\widehat{^}}{B}}_E}{\mathrm{\&Sigma;}}{\mathrm{\&chi;}}_E\left(x\right)},x\&Element;I---\left(8\right)$

其中x_m是一个像素，χ_E是一个特征函数，它的作用是计算每个位置的像素个数。因为Haar变换是完全重构的，另外在聚合过程中总是计算每一个位置的像素的平均值，即在每一个位置的像素值都返回其原始值，所以最后的输出图像也是完全重构的；

6)聚合所有图像块得到增强的图像。

Images