CN101159062A - 一种基于相关系数的自适应图像增强方法 - Google Patents

Abstract

本发明公开了一种基于相关系数的自适应图像增强方法。在该方法中，首先对原始图像进行三次低通滤波，分别获得三层低频图像，由相邻层的低频图像进行向量减法运算，获得三层高频图像；其次，利用相邻层高频图像各点的除法操作，计算各层相关系数，由相关系数区分噪声和细节并对其进行增强或抑制处理，将处理后的各层高频图像与第3层低频图像进行向量加法运算，获得边缘等细节锐化后的图像；最后，将视觉表现最优理论应用到该方法中，对锐化后的图像进行对比度自适应增强处理，获得增强后的理想图像。本发明能够更好地区分噪声和细节，且能够自适应地处理各种天候下的图像，增强后的图像具有较好的纹理、边缘细节及理想的对比度。

Description

一种基于相关系数的自适应图像增强方法

技术领域

本发明涉及一种自适应图像增强方法，尤其涉及一种利用各层图像之间的相关系数来锐化图像，并应用视觉表现最优理论自适应调节锐化后图像对比度的方法，属于数字图像处理技术领域。

背景技术

图像增强是指根据人眼观察和/或机器进一步分析处理的特定需要，采用相应的技术手段强调图像中的某些特征而抑制其它信息，以便提高对比度、锐化边缘细节。现有的图像增强方法有很多种，例如反锐化掩膜法、直方图均衡化法、Lee图像增强算法、遗传算法等等。但是这些现有方法大多数都面临着两个基本问题：1.增强后图像的灰度值超过灰度级范围时，重新规格化图像时会造成对比度下降和信息丢失，例如空域中的反锐化掩膜法等；2.细节和噪声难以区分，导致增强细节和抑制噪声相互矛盾，例如空域中的直方图均衡化法等。

针对现有图像增强算法的不足，有人提出在小波域中增强图像的技术思路，利用小波多层分解后细节衰减慢、噪声衰减快的分布特点，实现对噪声和细节分别进行不同程度地增强处理，但是该方法对图像的对比度改善不明显，且计算复杂。最近，有人提出了一种基于闭运算的多层图像增强方法(参考《对数图像处理模型的研究及其在图像增强中的应用(A study of the logarithmic image processing model and itsapplication to image enhancement)》，《IEEE Transaction on ImageProcessing》1995年4月刊，第506～512页；《面向生物医学应用的对数图像处理技巧综述(An Overview of Logarithm-Based ImageProcessing Techniques for Biomedical Applications)》，《Digitalsignal Processing and Proceedings》，1997年1月刊，第93～96页)。该方法通过同态映射函数定义了图像空间的向量加法运算及标量与向量的乘法运算，利用向量运算的封闭性可以保证图像的灰度值在增强过程中保持在0～255(8-bit图像)，避免引入规格化处理造成的对比度下降和细节丢失。另外，该方法将原始图像看作是第0层低频或高频图像，利用多层图像分解的思路，分别获得第1层、第2层，……第n层的高频图像，应用边缘特征在各层都有分布而噪声主要分布在低层(第1层等)的观察分析结果，对高层的信息和低层的信息分别进行增强和抑制处理，在一定程度上解决了增强细节时噪声放大的问题。

但是，上述方法仍然不能准确区分细节和噪声。这是因为在低层的高频图像中同时存在大量的边缘、纹理和噪声信息，上述方法将低层的所有信息都作为噪声进行抑制处理，会造成分布在低层的边缘和纹理信息丢失。且该方法需要使用者根据所处理图像的曝光情况，输入参数来实现对比度调节，这样通常需要经过多次实验才能得到视觉效果好的增强图像，对使用者的个人经验要求很高，因此也存在使用不方便的问题。在此背景下，研究一种能够更好地区分噪声和细节，并能根据图像曝光情况自适应调节对比度的方法显得尤为重要。

发明内容

本发明所要解决的技术问题在于提供一种新型的基于相关系数的自适应图像增强方法。该方法通过构造各层图像之间的相关系数来区分噪声和细节，可以更好地锐化图像；该方法应用视觉表现最优理论，能够自适应地调节图像对比度，使增强后图像的视觉效果达到最佳。

为实现上述的发明目的，本发明采用下述的技术方案：

一种基于相关系数的自适应图像增强方法，其特征在于包括如下步骤：

首先对图像进行多次低通滤波处理，获取多层高频图像；

然后对所述多层高频图像依次进行锐化图像和调节对比度的处理，获得增强后的图像；

其中，所述锐化图像步骤中，根据各层高频图像之间的噪声相关系数进行处理，得到锐化后的图像；

所述调节对比度步骤中，根据视觉表现最优理论对所述锐化后的图像进行自适应对比度调节处理。

所述获取多层高频图像的步骤中，首先对原始图像进行三次低通滤波，获得各层低频图像，再将相邻层的低频图像进行向量减法运算获得多层高频图像。

所述锐化图像步骤具体包括如下子步骤：

(1)计算各层高频图像的相关系数。

(2)根据相关系数计算各点的噪声可能性大小，并根据该值的大小对各点进行相应的处理。

(3)将处理后的高频图像与第3层低频图像进行向量加法运算，得到锐化后的图像。

所述步骤(1)中，通过利用相邻层相应位置处灰度值的比值计算各点的相关系数。

所述步骤(2)中，首先确定各层相关系数矩阵的最大值和最小值；然后将相关系数最大的点判为细节，设置其噪声可能性为0，将相关系数最小的点判为噪声，设置其噪声可能性为1，而相关系数处于两者之间的点，根据该相关系数与最小值和最大值的距离线性递减变化其噪声可能性的大小；最后根据各点的噪声可能性大小确定其处理方法。

对噪声可能性大小值为1的点进行完全抑制，对噪声可能性大小值为0的点进行最大程度地增强，对噪声可能性大小值处于0～1之间的点则根据该值与两个阈值的比较来确定，小于较低阈值的点进行最大程度地增强，大于较高阈值的点进行完全抑制，处于两个阈值之间的点做线性递减增强处理。

所述调节对比度步骤分为3个子步骤：

(1’)利用图形建立图像空间和实数空间平均值近似相等的关系。

(2’)利用上述步骤建立的关系，根据图像的灰度均值为灰度级动态范围的一半时视觉效果最佳的理论，用最佳视觉效果的图像在实数空间的灰度均值与所述锐化后的图像在图像空间中的灰度均值进行向量减法运算，得到用于调节图像对比度的参数值。

(3’)用上述步骤得到的参数值与所述锐化后的图像进行向量的加法运算，得到增强后的图像。

上述各步骤的实现过程中，使用同态映射函数将向量运算转换成实数空间的普通运算，最后再使用逆映射将实数空间的值映射到图像空间。

本发明所提供的自适应图像增强方法可以区分每层图像的细节和噪声，能够在抑制低层噪声的同时保留边缘和纹理信息，在增强高层细节的同时抑制噪声，经过自适应锐化后的图像具有较好的边缘。另外，本发明能够自适应地调整对比度，使增强后的图像灰度均值保持在视觉效果最优图像的灰度均值附近。有关效果图表明，该方法比现有基于闭运算的方法、直方图均衡化方法及多层小波分解处理方法的图像增强效果更好。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为本发明所述的基于相关系数的自适应图像增强方法的流程简图；

图2为图1所示的自适应图像增强方法的实现流程详图；

图3为噪声可能性大小设置图。

图4为增益系数设置图。

图5为图像中两点在图像空间和实数空间中的平均值示意图，其中data1：0.5×(64+F)，data2：0.5(64F)，data3：0.5×(128+F)，data4：0.5(128F)，data5：0.5×(194+F)，data6：0.5(194F)。

具体实施方式

参见图1所示的自适应图像增强方法的实现流程简图，该图像增强方法基于相关系数算法和视觉表现最优理论实现，包括如下的步骤：首先对图像进行低通滤波处理，然后获取高频的图像。对高频图像依次进行自适应锐化图像和自适应调节对比度，从而获得增强后的图像。其中，参见图2所示的方法实现过程详图，在对原始图像进行低通滤波处理时，得到第一层低频图像A₁，用原始图像与A₁进行向量减法运算得到第1层高频图像E₁，与此类似，得到第2层低频、高频图像A₂、E₂及第3层低频、高频图像A₃、E₃；其次，计算各层高频图像之间的噪声相关系数，确定各点的噪声可能性大小T，并根据T的大小对各层高频系数进行相应的处理，并将处理后的E₁、E₂、E₃以及A₃进行向量加法运算，得到锐化后的图像；最后，将视觉表现最优理论应用到该方法中，对锐化后的图像进行自适应对比度调节处理，从而得到视觉效果更好的增强图像。

上述获得多层高频图像所进行的向量减法运算是从现有的向量加法运算中推导出来的。现有基于闭运算的多层图像增强方法通过定义同态映射函数Ψ(F)＝log((M-F)/F)，将图像空间[0，M)^m×k映射到实数空间R^m×k，其中m×k表示图像的大小，然后定义了图像空间向量的加法运算及标量与向量的乘法运算如下：

FG＝Ψ^-1(Ψ(F)+Ψ(G))    (1)

aF＝Ψ^-1(aΨ(F))                     (2)

从同态映射函数及式(1)、(2)可以推导出向量加法及标量与向量的乘法运算的显式表达式如下：

$F\⊕G=\frac{M}{\frac{M-F}{F}\frac{M-G}{G}+1}---\left(3\right)$

$a\⊗F=\frac{M}{{\left(\frac{M-F}{F}\right)}^a+1}---\left(4\right)$

从式(3)可以推导出向量的减法运算的显示表达式如下：

$\mathrm{F\ΘG}=\frac{M}{\frac{M-F}{F}/\frac{M-G}{G}+1}---\left(5\right)$

其中，对于8-bit图像，M的值为256。

下面进一步介绍获得锐化图像的各个子步骤。与现有基于闭运算的方法中区分噪声和细节方式不同的是，在本发明中，并不是将低层的高频图像全部认为是噪声、将高层的高频图像全部认为是细节，而是对每层的噪声和细节都进行了区分，在抑制噪声的同时能够避免细节削弱，也能解决增强细节时噪声放大的问题。该步骤具体包括如下的3个子步骤：首先，计算各层高频图像的相关系数；其次，根据相关系数确定噪声可能性大小T，根据T的大小进行相应的处理；最后，将处理后的各层高频图像及第3层的低频图像进行向量的加法运算，得到边缘锐化的图像。

具体计算步骤如下：

(1)相关系数的计算

根据噪声弱相关、细节强相关的理论，可以得知：相邻高频图像相应位置处细节点的灰度值改变与噪声点灰度值改变相比要小得多。于是，本发明建立相邻层的相关系数计算关系式如下：

${\mathrm{Corr}}_n=\left\{\begin{array}{cc}{E}_n/E_{n+1}& \mathrm{if}(E_n<=E_{n+1})\\ E_{n+1}/E_n& \mathrm{else}\end{array}\right.---\left(6\right)$

其中，E_n表示第n层高频图像。

(2)细节和噪声的标识及其处理

参见图3所示的噪声可能性大小设置关系，在上述子步骤(1)获得的每层高频图像的相关系数矩阵中，本发明将相关系数最大的点判为细节，其噪声可能性大小设为0；将相关系数最小的点判为噪声，其噪声可能性大小设为1；相关系数位于两者之间的点可能是噪声，也可能是细节，其噪声可能性大小设为最大相关系数与该相关系数的差除以最大相关系数与最小相关系数的差。其噪声可能性大小T的设置如下：

$\left[\begin{array}{cc}T=1& \mathrm{if}({\mathrm{Corr}}_n={\mathrm{Corr}}_{\min })\\ T=0& \mathrm{if}({\mathrm{Corr}}_n={\mathrm{Corr}}_{\max })\\ T=({\mathrm{Corr}}_{\max }-{\mathrm{Corr}}_n)/({\mathrm{Corr}}_{\max }-{\mathrm{Corr}}_{\min })& \mathrm{else}\end{array}---\left(7\right)\right]$

根据各点的噪声可能性大小确定相应的处理方法。参见图4所示，如该值为0，则增益系数设为a_max；如该值为1，则增益系数设为0；如果该值位于0和1之间时，则根据该值与阈值T_lower、T_upper的大小关系确定其处理方法，即小于阈值T_lower时，增益系数设为a_max，大于阈值T_upper时，增益系数设为0，位于T_lower与T_upper之间时，增益系数线性递减，设为a＝a_max×(T-T_upper)/(T_lower-T_upper)，其增益系数的设置如式(8)所示。然后使用增益系数与各层高频图像进行标量与向量的乘法运算，完成细节的增强及噪声的抑制处理。

$\left\{\begin{array}{cc}a=0& \mathrm{if}(T>T_{\mathrm{upper}})\\ a=a_{\max }& \mathrm{if}(T<T_{\mathrm{lower}})\\ 0<a<a_{\max }& \mathrm{else}\end{array}\right.---\left(8\right)$

其中T_lower、T_upper是经验阈值，通常取为0.25，0.75。

(3)边缘锐化图像的获取

将步骤(2)获得的处理后的各层高频图像E₁、E₂、E₃以及第3层低频图像A₃进行向量的加法运算，获得边缘锐化的图像。其计算公式如下：

A′＝E₁′E₂′E₃′A₃                               (9)

其中E₁′、E₂′、E₃′分别表示处理后的E₁、E₂、E₃，A′表示锐化后的图像。

在通过上述步骤获得锐化图像之后，下面将进一步应用视觉表现最优理论实现自适应调节对比度。视觉表现最优理论可以参考论文《视觉表现的统计(The Statistics of Visual Representation)》(作者是Daniel J.Jobson，Ziaur Rahman和Glenn A.Woodell，载于《SPIEInternational Symposium on AeroSense Visual InformationProcessing XI Proceedings》，vol.4736，pp.25-35，2002.)，在此就不详细说明了。

前已述及，在现有的图像增强方法、特别是基于闭运算的多层图像增强方法中一般都需要进行人工交互，这样会给没有相关经验的使用者带来不便，且通过人工交互获取的参数不一定能够使图像的增强效果达到最佳状态。本发明通过应用视觉表现最优理论的研究成果，自适应调节锐化后图像的对比度，能够使图像的增强效果最佳。该步骤分为如下3个子步骤，其具体实施步骤如下：

(1)图像空间和实数空间平均值的比较

本发明首先通过比较两个空间中两点的平均值关系，然后推导出两个空间中任意点的平均值关系。

设F(x_m，y_k)、F(x_m′，y_k′)分别表示图像中任意两点的灰度值，显然这两点在实数空间和图像空间的定义域内，它们在两个空间的平均值的计算表达式如下：

$\mathrm{avgreal}2=\frac{1}{2}\&times;(F(x_m,y_k)+F(x_{m^{\&prime;}},y_{k^{\&prime;}}))---\left(10\right)$

$\mathrm{avgimage}2=\frac{1}{2}\&CircleTimes;(F(x_m,y_k)\&CirclePlus;F(x_{m^{\&prime;}},y_{k^{\&prime;}}))---\left(11\right)$

其中，avgreal2、avgimage2分别表示两点在实数空间和图像空间的平均值。由于直接从表达式中推导两者的关系非常复杂，且该方法是根据建立在图像的统计信息基础上的视觉表现最优理论来调节对比度的，所以本发明根据图形来近似判断两者的关系。

从图5可以看出，固定一个象素灰度值，当另一个象素灰度值在50～200时，两个空间的平均值近似相等。当该固定值为128、另一个象素值在0～50或200～250时，两个空间的平均值在高端的差值与两者在低端的差值几乎相等；当该值大于128、另一个象素值在0～50或200～250时，两者在高端的差值小于其在低端的差值；当该值小于128、另一个象素值在0～50或200～250时，两者在高端的差值大于其在低端的差值，其中的差量与前一种情况几乎相等。由于图像象素灰度值在0～255之间取任意值，从统计意义上说，可以认为两个空间的两点的平均值近似相等。

求n点的平均值时，可以假设前面的n-1点的平均值已经求出，从而n点的平均值可以转换成两个点的平均值，因为两个空间中两点的平均值近似相等，所以可以认为两个空间中多点的平均值近似相等。

(2)用于调节对比度的参数的计算

在本发明中，采用了基于闭运算的多层图像增强方法的模型式，该式表示如下：

F′(x，y)＝a₁E₁(x，y)a₂E₂(x，y)a₃E₃(x，y)A₃(x，y)b  (12)

其中增益系数a₁、a₂、a₃用于锐化图像，本发明已经在自适应调节对比度的步骤中对它们的实现做了详细地说明；参数b是用来调节对比度的，基于闭运算的多层图像增强方法需要使用者根据图像的曝光程度输入适当的参数来调节对比度，而本发明根据图像的灰度均值为灰度级动态范围的一半时视觉效果最佳的视觉表现理论及子步骤(1)中基于图像空间和实数空间平均值的比较而建立的关系式，能够计算出用于调节对比度的参数b。

对于采用模型式(12)增强后的8-bit图像F′(x，y)，其各点在实数空间和图像向量空间的平均值的表达式如下：

$\mathrm{avgreal}\left(F^{\&prime;}(x,y)\right)=\frac{1}{m\&times;k}\&times;(F^{\&prime;}(x_1,y_1)+F^{\&prime;}(x_1,y_2)+...{+F}^{\&prime;}(x_m,y_k))---\left(13\right)$

$\mathrm{avgimage}\left(F^{\&prime;}(x,y)\right)=\frac{1}{m\&times;k}\&CircleTimes;(F^{\&prime;}(x_1,y_1)\&CirclePlus;F^{\&prime;}(x_1,y_2)\&CirclePlus;...\&CirclePlus;F^{\&prime;}(x_m,y_k))---\left(14\right)$

图像F′(x，y)各点在图像空间中的含未知参数b的均值可以从表达式(12)得到，表达式如下：

$\mathrm{avgimage}\left(F^{\&prime;}(x,y)\right)=(\frac{1}{m\&times;k}\&CircleTimes;{\mathrm{\&Sigma;}}_{i=l}^{i=m}{\mathrm{\&Sigma;}}_{j=l}^{j=k}{E}^{\&prime;}(x_i,y_j))\&CirclePlus;b---\left(15\right)$

现假设该图为视觉效果最佳图像，则根据本发明所引用的视觉表现最优理论，得到该图在实数空间的灰度均值为128。由上述子步骤(1)所提供的图像空间和实数空间平均值的比较可以得到图像中各点在图像空间和实数空间的平均值近似相等，即avgimage(F′(x，y))为128时，该图视觉效果最佳。于是参数b的计算公式表达如下：

$b=128\mathrm{\&Theta;}\frac{1}{m\&times;k}\&CircleTimes;\left({\mathrm{\&Sigma;}}_{i=l}^{i=m}{\mathrm{\&Sigma;}}_{j=l}^{j=k}{E}^{\&prime;}(x_i,y_j)\right)---\left(16\right)$

其中 $\frac{1}{m\&times;k}\&CircleTimes;\left({\mathrm{\&Sigma;}}_{i=l}^{i=m}{\mathrm{\&Sigma;}}_{j=l}^{j=k}{E}^{\&prime;}(x_i,y_j)\right)$ 表示锐化后的图像各点在图像空间的平均值。

(3)获取最终图像

将上述步骤(2)计算出的参数b与锐化后的图像进行向量加法运算，就可以得到边缘锐化且具有最佳视觉效果的增强后的图像。

在以上所有步骤中，由于求解向量运算过于复杂，所以通常使用同态映射函数Ψ将向量运算转换成实数空间的普通运算，最后再使用逆映射Ψ^-1将实数空间的值映射到图像空间。计算公式如下所示：

F′(x，y)＝Ψ^-1Ψ(F′(x，y))

＝Ψ^-1(a₁×(Ψ(A₀)-Ψ(A₁))+a₂×(Ψ(A₁)-Ψ(A₂))+   (17)

a₃×(Ψ(A₂)-Ψ(A₃))+Ψ(A₃)+Ψ(b))

本发明提供的图像增强方法利用各层图像之间的相关系数，更好地区分了噪声和细节，能够在增强细节时更大程度地抑制噪声。该方法适用性强，可以自适应地调节各种天候(阴天、雨雾天、低照度等)下的对比度，从而可以应用于各种场景图像中，使用该方法增强后的图像具有较好的锐化边缘及理想的对比度。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (9)

1.一种基于相关系数的自适应图像增强方法，其特征在于包括如下步骤：

首先对图像进行多次低通滤波处理，获取多层高频图像；

然后对所述多层高频图像依次进行锐化图像和调节对比度的处理，获得增强后的图像；

其中，所述锐化图像步骤中，根据各层高频图像之间的噪声相关系数进行处理，得到锐化后的图像；

所述调节对比度步骤中，根据视觉表现最优理论对所述锐化后的图像进行自适应对比度调节处现。

2.如权利要求1所述的基于相关系数的自适应图像增强方法，其特征在于：

所述获取多层高频图像的步骤中，首先对原始图像进行三次低通滤波处理，获得各层低频图像，将相邻层的低频图像进行向量减法运算获得多层高频图像。

3.如权利要求1所述的基于相关系数的自适应图像增强方法，其特征在于：

所述锐化图像步骤具体包括如下子步骤：

(1)计算各层高频图像的相关系数。

(2)根据相关系数计算各点的噪声可能性大小，并根据该值的大小对各点进行相应的处理。

(3)将处理后的高频图像与第3层低频图像进行向量加法运算，得到锐化后的图像。

4.如权利要求3所述的基于相关系数的自适应图像增强方法，其特征在于：

所述步骤(1)中，通过利用相邻层相应位置处灰度值的比值计算各点的相关系数。

5.如权利要求3所述的基于相关系数的自适应图像增强方法，其特征在于：

所述步骤(2)中，首先确定各层相关系数矩阵的最大值和最小值；然后将相关系数最大的点判为细节，设置其噪声可能性为0，将相关系数最小的点判为噪声，设置其噪声可能性为1，而相关系数处于两者之间的点，根据该相关系数与最小值和最大值的距离线性递减变化其噪声可能性的大小；最后根据各点的噪声可能性大小确定其处理方法。

6.如权利要求5所述的基于相关系数的自适应图像增强方法，其特征在于：

对噪声可能性大小值为1的点进行完全抑制，对噪声可能性大小值为0的点进行最大程度地增强，对噪声可能性大小值处于0～1之间的点则根据该值与两个阈值的比较来确定，小于较低阈值的点进行最大程度地增强，大于较高阈值的点进行完全抑制，处于两个阈值之间的点做线性递减增强处理。

7.如权利要求6所述的基于相关系数的自适应图像增强方法，其特征在于：

所述较低阈值为0.25，所述较高阈值为0.75。

8.如权利要求1所述的基于相关系数的自适应图像增强方法，其特征在于：

所述调节对比度步骤分为3个子步骤：

(1’)利用图形建立图像空间和实数空间平均值近似相等的关系。

(2’)利用上述步骤建立的关系，根据图像的灰度均值为灰度级动态范围的一半时视觉效果最佳的理论，用最佳视觉效果的图像在实数空间的灰度均值与所述锐化后的图像在图像空间中的灰度均值进行向量减法运算，得到用于调节图像对比度的参数值。

(3’)用上述步骤得到的参数值与所述锐化后的图像进行向量的加法运算，得到增强后的图像。

9.如权利要求1～8中任意一项所述的基于相关系数的自适应图像增强方法，其特征在于：

所述自适应图像增强方法实现过程中，使用同态映射函数将向量运算转换成实数空间的普通运算，最后再使用逆映射将实数空间的值映射到图像空间。

Images