CN103295191B - 多尺度视觉自适应图像增强方法及评价方法 - Google Patents

Abstract

本发明提供一种多尺度视觉自适应图像增强方法及评价方法，其中一种多尺度视觉自适应图像增强方法包括如下四个步骤：（1）将原始图像分区，并转化到对数域进行处理。（2）将图像通过不同模板滤波，对不同的图像分量分别进行处理。（3）对图像在不同滤波模板下的分量进行局部对比度增强。（4）将图像不同尺度下的分量进行合成并校正。同时，提出了一种如上所述图像增强方法的评价方法，该评价方法包括四个步骤：（1）通过多人实验来确定图像的临界可见偏差。（2）定义二值函数DP(i,j)用以寻找视觉可分辨点。（3）定义增强图像的视觉可分辨差VDD。（4）视觉可分辨差模型评价方法的评价标准。本发明属于数字图像处理领域，具有广阔的应用前景。

Description

多尺度视觉自适应图像增强方法及评价方法

一、技术领域：

本发明以视觉特性为基础，设计了一种多尺度视觉自适应图像增强方法及其评价方法，属于数字图像处理领域，主要涉及图像增强技术，在各种类型的图像处理应用系统中具有广泛的应用前景。

二、背景技术：

在图像的生成、传输和变换过程中，由于多种因素的影响，总会造成图像质量的下降，由此，产生了图像增强技术。早期的改变图像质量的方法主要是改善图像的明暗清晰程度，也就是改善图像的对比度，通过修整给定图像的灰度来实现，一个重要的特例就是直方图的变形。直方图均衡是使用最多的一种灰度变换方法。Sherrier等人首先提出了局部直方图均衡方法(参见文献：JohnsonGA,SherrierRH.Regionallyadaptivehistogramequalizationofthechest[J].IEEETransonMedImage.1987,6:1-7)，将直方图均衡化运算压缩到图像的局部区域，然后遍历所有的局部区域，这种方法要遍历图像的所有像素，所以它的时间复杂度很高，不利于实时处理。Lee提出的图像增强方法(参见文献：LeeJ.S..Digitalimageenhancementandnoisefilteringbyuseoflocalstatistics.[J]IEEETrans.PatternAnalMachineIntell,1980,PAMI-2(3)：165-168)选择了将图像变换到对数域进行处理，处理后的图像比较清晰，对比度高，但实验参数较多，而且实验结果强烈地依赖于参数的选取，不便于操作。Deng等人(参见文献：DengG,CahilL.W.,TobinG.R..IEEETransonImageProcessing.1995,4:506-512)提出了一种基于LIP(LogarithmicImageProcessingModel)模型的Lee图像增强的新方法，减弱了对参数的过分依赖性。Lu首次考虑了人眼的局部适应能力，利用小波分析来增强图像细节(参考文献：JohnBtWeaver,LuJian,HealyD.M..ContrastEnhancementofMedicalimagesUsingMultiscaleEdgeRepresentations[J].IEEETransonMedicalImaging,1994,13(4):725-740)，Brown对尺度间的映射函数做了自适应的调整，不过主要是从抑制噪声方面考虑(参考文献：BrownT.J..Anadaptivestrategyforwaveletbasedimageenhancement[C].ProceedingsofConferenceonMachineVisionandImageProcessingConference,Irish.2000:67-81)。人类视觉系统(HumanVisualSystem,HVS)可以看做一种特殊的图像增强处理系统，模拟人类视觉系统主要通过模拟这些人眼视觉特性来实现。因此，若在图像增强技术中考虑人眼视觉特性的影响，将有助于生成更符合人类观察需求或直观感受的高质量的图像。为了提高图像增强效果，本发明提出了一种多尺度视觉自适应的图像增强方法。

图像质量评价是一个经典的研究课题，在许多图像应用领域中，图像质量评价都具有重要的意义。目前主要的图像质量评价方法可分为两大类：主观评价和客观评价。目前，客观的图像质量评价吸引了大量学者的研究，是图像质量评价的热点，现已经有大量的客观图像质量评价方法，主要有三类：一类是全参考的质量评价，另一类是半参考的图像质量评价，第三类是在实际中经常需要使用的无参考的图像质量评价。

在评价图像增强方法的时候，主观评价更加符合我们的直观感受，但操作困难且不易实现，客观评价虽易于实现但不能保证与人的视觉感知相一致。由此，为提高图像质量评价效果，本发明提出了一种多尺度视觉自适应图像增强方法的评价方法。

三、发明内容：

1.目的：为了弥补传统图像增强方法的不足，提高图像增强的效果，本发明提出了一种基于人眼视觉特性的图像增强方法——多尺度的视觉自适应图像增强方法，以LIP(LogarithmicImageProcessing)为基础，在对数域对图像进行高低频分离，分别结合人眼视觉特性进行局部增强处理和全局灰度动态调整，最后将增强后的分量合成并进行整体灰度拉伸，得到较好的增强图像输出。同时，在分析了传统主客观评价模型的缺点的基础上，结合人眼视觉的刚好感知特性提出一种图像增强方法的评价方法，定义为视觉可分辨差模型。

2.技术方案：

本发明多尺度视觉自适应图像增强方法及其评价方法由两个部分构成，分别是：基于人眼视觉特性的图像增强方法——多尺度的视觉自适应图像增强方法、图像增强方法的评价方法——视觉可分辨差模型。

1)多尺度视觉自适应图像增强方法

本发明第一部分为基于人眼视觉特性的图像增强方法——多尺度视觉自适应图像增强方法，其步骤如下：

⑴将原始图像分区，并将拓展后的图像转化到对数域进行处理。

⑵将图像通过不同模板滤波，对不同的图像分量分别进行处理。

⑶对图像在不同滤波模板下的分量进行局部对比度增强。

⑷将图像不同尺度下的分量进行合成并校正。

下面，对每一个步骤分别进行详细说明：

⑴将原始图像O(i,j)分区得到图像O’(i,j)，并图像O’(i,j)转化到对数域进行处理。

设原始图像O(i,j)长为h，宽为w，过渡带宽度为100，则扩展后的图像O'(i,j)长宽分别为h+200，w+200(上下左右拓宽100像素)。为此，将图像分为A，B，C，D四个区域，其中D为原始图像区域，A，B和C为过渡带，构造方法如图1所示。

A区： $\left\{\begin{array}{c}{O}^{\′}\left(i,100+j\right)=O\left(101-i,j\right)\\ O^{\′}(100+w+i,100+j)=O\left(w+1-i,j\right)\end{array}\right.,i=1,\mathrm{...},100;j=1,\mathrm{...},h---\left(3.1\right)$

B区： $\left\{\begin{array}{c}{O}^{\′}\left(100+i,j\right)=O\left(i,101-j\right)\\ O^{\′}(100+i,100+h+j)=O\left(i,h+1-j\right)\end{array}\right.,i=1,\mathrm{...},w;j=1,\mathrm{...},100---\left(3.2\right)$

C区： $\left\{\begin{array}{c}{O}^{\′}\left(i,j\right)=O\left(101-i,101-j\right)\\ O^{\′}\left(100+w+i,j\right)=O\left(w+1-i,101-j\right)\\ O^{\′}\left(i,100+h+j\right)=O\left(101-i,h+1-j\right)\\ O^{\′}\left(100+w+i,100+h+j\right)=O\left(w+1-i,h+1-j\right)\end{array}\right.,i=1,\mathrm{...},100;j=1,\mathrm{...},100---\left(3.3\right)$

D区：O'(100+i,100+j)＝O(i,j),i＝1,...,w；j＝1,...,h(3.4)

处理过程如图2所示，由于LIP的处理过程很好的符合了人眼视觉的非线性特性，为了得到较好的处理结果，我们将拓展后的图像O'(i,j)转化到对数域：

O_log(i,j)＝log[d(O'(i,j))+1](3.5)

其中，d(O'(i,j))表示对原始图像中点(i,j)处的灰度值扩展为浮点型以提高计算精度。O_log(i,j)表示对数域图像。

⑵图像通过不同模板滤波，对不同的图像分量分别进行处理。

根据视觉的多通道特性，即将图像分解为一组有方向性的带通滤波器，每个滤波器只对其中心频率附近区域内的空间频率和方向做出响应，体现了人眼视觉感知的一个子频带。由此我们将扩展后的原始图像分别通过大、中、小不同尺寸的窗口进行高低频分离，使原图中的结构和细节显现在不同尺度下，分离方式如图3所示。

其中，L_S,L_M和L_L分别表示窗口大小依次递增的平滑滤波器，O_log-S(i,j)，O_log-M(i,j)和O_log-L(i,j)为经过滤波器处理后的平滑低频分量，我们称之为平滑区域，而图像的纹理和细节信息主要集中在O_hS(i,j)，O_hM(i,j)和O_hL(i,j)三个分量中，我们称其为细节区。计算公式如下所示：

O_hS(i,j)＝O_log(i,j)-O_log-S(i,j)(3.6)

O_hM(i,j)＝O_log(i,j)-O_log-M(i,j)(3.7)

O_hL(i,j)＝O_log(i,j)-O_log-L(i,j)(3.8)

⑶图像在不同滤波模板下的分量进行局部对比度增强。

视觉对比度敏感度特性指出，人眼对图像中某点亮度的感知不是取决于该点的绝对亮度(灰度值)，而是和它的背景亮度(平均灰度值)有关，人眼的主观亮度感觉与客观亮度的对数之间可用如下公式(3.9)表示。

V＝Blnk+B₀(3.9)

B,B₀为常数,k为客观亮度,对k求导，有

$\frac{dV}{dk}=\frac{B}{k}---\left(3.10\right)$

即 $dV=\frac{dk}{k}B---\left(3.11\right)$

它表明人眼分辨亮度变化dV的能力并不取决于图像灰度的差值，而是由图像灰度相对变化决定的。根据以上的原理，可以使图像的局部对比度在细节部分增加得大一些，在平缓的部分小一些。此外，视皮层细胞对刺激表现出方向性，对水平方向和竖直方的刺激最敏感，对对角方向最不敏感。因此，在3×3的模板中，我们定义点(i,j)的平均亮度值为式(3.12)：

$\stackrel{\‾}{L}(i,j)=\frac{1}{12}\underset{m=-1}{\overset{1}{\Σ}}\underset{m=-1}{\overset{1}{\Σ}}L(i+m,j+n)\×B(i,j)---\left(3.12\right)$

其中L(i,j)表示点(i,j)处的亮度值,表示在3×3模板下计算出的亮度均值，加权模板B如图4所示。

同时结合幂次变换进行对比度增强，我们定义细节区的局部对比度增强公式为：

En＝α×(L(i，j))^β+k×L(i,j)(3.13)

其中L(i,j)表示在细节区图像中点(i,j)处的亮度值，令β取实验经验值β＝0.8，因此，点(i,j)的局部增强公式为式(3.14)：

$E(i,j)=\frac{L(i,j)}{\stackrel{\‾}{L(i,j)}}\×\[L{(i,j)}^{0.8}+L(i,j)\]---\left(3.14\right)$

由此得出三个不同尺度下的局部增强公式如下，式中表示对图像的各个细节分量O_hS(i,j)O_hM(i,j)O_hL(i,j)分别取平均值：

$E_S\left(i,j\right)=\frac{O_{hs}\left(i,j\right)}{\stackrel{\‾}{O_{hs}\left(i,j\right)}}\×\[O_{hs}{\left(i,j\right)}^{0.8}+O_{hs}\left(i,j\right)\]---\left(3.15\right)$

$E_M\left(i,j\right)=\frac{O_{hM}\left(i,j\right)}{\stackrel{\‾}{O_{hM}\left(i,j\right)}}\×\[O_{hM}{\left(i,j\right)}^{0.8}+O_{hM}\left(i,j\right)\]---\left(3.16\right)$

$E_L(i,j)=\frac{O_{hL}(i,j)}{\stackrel{\‾}{O_{hL}(i,j)}}\×\[O_{hL}{(i,j)}^{0.8}+O_{hL}(i,j)\]---\left(3.17\right)$

对平滑区O_log-s(i,j)，O_log-M(i,j)和O_log-L(i,j)采用幂次变换进行灰度修正。如图5所示。其中，细节区幂次变换的参数β＝0.8(红线所示)；平滑区参数为β＝1.2(绿线所示)用于适当削弱低频分量以达到突出高频信息的作用。

由于图像的照明分量一般分布在图像的低频部分，且具有缓慢变化的特性，因此，我们将最大尺寸滤波后的O_log-L(i,j)看成是原图像的照明分量，对其进行直方图均衡，得到较为均匀的灰度分布O_log-EQ(i,j)。

⑷图像不同尺度下的分量进行合成并校正。

将处理后的图像分量相加取平均，经过指数变换有：

$F=\exp \left(\frac{1}{3}\right(E_S+E_M+E_L+{O^{\′}}_{log-S}+{O^{\′}}_{log-M}+O_{log-EQ}))---\left(3.18\right)$

其中E_S，E_M和E_L表示增强后的细节区，O'_log-S，O'_log-M和O_log-EQ表示经过处理的低频分量。最后，对输出图像进行全局非线性灰度校正并裁去过渡带后为图像的最终输出f(x)，灰度校正公式如下，式中x表示图像某个像素点的灰度值：

f(x)＝x+x×(255-x)/255(3.19)

①多尺度视觉自适应图像增强方法的适用性说明

多尺度视觉自适应图像增强方法的研究，主要针对图像细节部分进行调整，使其能获得主观感受上的优化，通过对50幅图像的增强实验，本方法适用的增强图像主要包括以下几类：

a)低平均亮度图像。对于一幅整体较暗，平均亮度值较低的图像，通过该方法进行处理，能够适当的提高平均亮度且不会出现过增强现象，视觉效果得到进一步的改善。

b)普通图像。这里提到的普通图像，可以通过该方法的增强处理对图像中的细节做进一步的增强，通过实验表明，该方法在对图像细节处的增强的同时，不会体现“人工加工”的痕迹。

c)有雾图像。针对专门的有雾图像，通过对10幅有雾图像的增强实验，本方法体现了在细节上的增强，但是并不能完全去除雾成分，具有一定的适用性。

二、图像增强方法的评价方法

本发明的第二部分为图像增强方法的评价方法——视觉可分辨差模型，其步骤如下：

⑴通过多人实验来确定图像的临界可见偏差(JustNoticeableDistortion，JND)。

⑵定义二值函数DP(i,j)用以寻找视觉可分辨点。

⑶定义增强图像的视觉可分辨差VDD。

⑷视觉可分辨差模型评价方法的评价标准。

下面，对每一步骤进行详细说明：

⑴通过多人实验来确定图像的临界可见偏差(JustNoticeableDistortion，JND)。

已有的视觉研究成果表明，人眼所能感觉到的最小亮度差与观察对象的背景有关，即视觉对亮度偏差的敏感程度随背景亮度变化呈非线性变化，总的来说在高亮度背景区人眼对亮度偏差的辨别力比在低亮度区要强。

通过实验我们确定了人眼刚刚能够感知图像失真的门限，把它们作为掩盖门限，当图像中的失真在这些门限以下的时候我们是无法察觉到它们的，一旦超过了门限，失真就变成为可见的了。

上述分析中我们提到的门限，称作临界可见偏差(JustNoticeableDistortion，JND)。临界可见偏差是现已提出的能反映人眼视觉辨别力的重要参数，它揭示了人眼在不同亮度背景下对亮度偏差的感知规律。临界可见偏差这一概念最早是由Jayant提出，在图像压缩编码设计和评估中被普遍采用。在图像增强领域，JND与图像增强方法也有着密切的关系，它反映了人眼在不同亮度背景条件下能分辨的最小亮度偏差，这也是细节信息被有效增强的最低门限要求。

由于视觉机理太复杂，且和视觉心理有关，因此目前还没有建立一个精确的数学模型。比较实用的方法是通过多人实验来确定JND值：

$J(x,y)=\left\{\begin{array}{c}21(1-\sqrt{\frac{\stackrel{\‾}{I}(x,y)}{127}})+4,if\stackrel{\‾}{I}(x,y)\≤127\\ \frac{3}{128}\left(\stackrel{\‾}{I}\right(x,y)-128)+4,otherwise\end{array}\right.---\left(3.20\right)$

是图像n×n模板中平均亮度值。通过该式我们可以计算图像中某一点(i,j)的JND值，如图6所示。

⑵定义二值函数DP(i,j)用以寻找视觉可分辨点。

通过对刚好感知准则的分析可知，视觉对图像信息的敏感度，有一定的门限，即JND值。背景亮度不同，对应的视觉可分辨的JND值也不相同。具体来说，图像中相同的亮度值，当背景亮度不同时，该点的临界可见偏差JND值不同，由此提出了我们的视觉可分辨差模型。

若当前图像中一点的灰度值大于该点的JND值，即img(i,j)>J(i,j)时，我们称其为视觉可分辨点(DistinguishedPoint，DP)，通过对增强前后图像的视觉可分辨点的数量比较分析，得出其评价指标值，称为视觉可分辨差(VisualDistinguishableDifference：VDD)。我们认为一幅图像在增强前后其视觉可分辨点应该和原始图像数目相当，增强后的图像没有损失视觉可分辨点并且也没有过多伪视觉可分辨点的产生，即增强图像在改善视觉效果的同时，尽可能的忠实于原始图像。由此我们定义二值函数DP(i,j)如公式(3.21)所示：

$DP(i,j)=\left\{\begin{array}{c}1,img(i,j)\≥JND(i,j)\\ 0,otherwise\end{array}\right.---\left(3.21\right)$

DP(i,j)＝1表示点(i,j)为视觉可分辨点，否则为不可分辨点。

⑶定义增强图像的视觉可分辨差VDD。

在视觉可分辨点的基础上，定义增强图像的视觉可分辨差VDD定义如下式：

$\underset{\[m,n\]}{VDD}=\frac{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\mathrm{DP}}^{\′}(i,j)}{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}DP(i,j)}-1---\left(3.22\right)$

表示大小为m×n图像的视觉可分辨差,DP'(i,j)为增强后图像点(i,j)处的DP值，DP(i,j)为原始图像点(i,j)处的DP值。

⑷给出视觉可分辨差模型评价方法的评价标准。

由视觉可分辨差的定义式中可以得出：

a)VDD＜0表明增强后的图像损失了视觉可分辨点，且|VDD|越大说明损失越多；

b)VDD＝0表明增强前后图像视觉可分辨点一致，即增强图像完全忠实于原始图像，这是一种理想情况；

c)VDD＞0表明增强后的图像出现伪视觉可分辨点，且|VDD|越大说明伪视觉可分辨点越多，图像失真越多。

综上所述，若一个增强方法的VDD＞0且|VDD|越小，说明增强图像的视觉效果越好。

从上述过程我们可以看出，这种图像评价方法仅仅用于采用某种图像增强方法对一幅图像进行图像增强处理后对图像处理前后效果改善的评价，由于在计算VDD值时需要处理前和处理后图像的相关数据，单独一幅图像无法计算其VDD值，因此它不能用来单独的评价某一幅图像的好坏，而是用于衡量一种图像增强方法处理效果的好坏。

三、本发明的主要优点

本发明多尺度视觉自适应图像增强方法及评价方法，其优点主要体现在以下几个方面：

⑴发明提出的多尺度视觉自适应图像增强方法将图像增强引入一个全新的领域，它很好的反映了人眼的一个重要特性：人类的感觉强度与外部刺激大小并不是线性的关系。

⑵基于LIP的图像增强方法以图像的对数域变换为切入点，用以模拟人眼视觉系统的非线性特性，同时充分考虑局部对比度敏感度特性，因此，本方法的处理效果更好。

⑶本发明之多尺度视觉自适应图像增强方法在充分模拟人类视觉系统的基础上提出，使方法具有更强的适用性和鲁棒性。

⑷发明提出的视觉可分辨差模型的评价方法解决了主、客观评价方法的缺点，详尽分析人眼视觉特性中恰好可感知特性，相比于其他评价标准，视觉可分辨差模型的评价效果更好。

4.附图说明：

图1所示为过渡带

图2所示为过渡带处理示意图

图3所示为对数图像的三次滤波过程

图4所示为背景平均亮度的权值模板

图5所示为归一化幂次变换函数图像

图6所示为JND曲线

图7所示为方法评价图像样本集

图8所示为主观评价样本示意

图9所示为原始图像3

图10(a)所示为有雾图像的增强方法结果比较之保持亮度的局部直方图均衡

图10(b)所示为有雾图像的增强方法结果比较之多尺度Deng增强

图10(c)所示为有雾图像的增强方法结果比较之多尺度Retinex增强

图10(d)所示为有雾图像的增强方法结果比较之多尺度的视觉自适应图像增强

图11所示为原始图像4

图12(a)所示为无雾图像1的增强方法结果比较之保持亮度的局部直方图均衡

图12(b)所示为无雾图像1的增强方法结果比较之多尺度Deng增强

图12(c)所示为无雾图像1的增强方法结果比较之多尺度Retinex增强

图12(d)所示为无雾图像1的增强方法结果比较之多尺度的视觉自适应图像增强

图13所示为原始图像5

图14(a)所示为无雾图像2的增强方法结果比较之保持亮度的局部直方图均衡

图14(b)所示为无雾图像2的增强方法结果比较之多尺度Deng增强

图14(c)所示为无雾图像2的增强方法结果比较之多尺度Retinex增强

图14(d)所示为无雾图像2的增强方法结果比较之多尺度的视觉自适应图像增强

图15所示为灰度映射变换

图16所示为灰度非线性变换曲线

图17所示为高斯高通滤波器

图18所示为平均分、MSE和VDD

图19所示为方法处理效果及直方图

图20所示为原始图像及其直方图

图21所示为图像增强结果

图22所示为增强结果对应直方图

图23所示为多尺度的视觉自适应图像增强处理的MSE、VDD和主观得分

5.具体实施方式：

⑴多尺度的视觉自适应图像增强方法的实施方式

对本发明之多尺度视觉自适应图像增强方法进行实验分析，实验采取传统的客观评价方法和主观评价方法相结合的方式。

用50幅不同的图像对将所提出的多尺度视觉自适应图像增强方法与直方图均衡、多尺度的Retinex方法、保持亮度的局部直方图均衡和多尺度的Deng方法进行实验比较。结果表明本发明在人眼的主观视觉感受上较好的效果。图像部分样本集如图7所示。

对图7的样本集中的图像进行处理，统计其处理结果图像中的均方误差MSE(MeanSquareError)和亮度标准差。通过实验不难发现，对于不同的图像，其对应的MSE和亮度标准差的差别较大，为了便于观察不同方法间MSE和亮度标准差的相互关系，有必要在统计过程中对两者做归一化处理。具体归一化过程介绍如下。

假设用于比较的增强方法一共有K种，i表示方法编号。用增强方法i处理N幅图像，图像顺序编号，x为图像编号,x＝1,...,N。则图像x用方法i处理后的MSE和亮度标准差值设为M(x,i)和σ(x,i)，表示图像x经过不同增强方法处理后的平均MSE；同理有表示图像x的在不同方法下平均标准差值，计算公式如下：

$\left\{\begin{array}{c}\stackrel{\‾}{M}\left(x\right)=\underset{i=1}{\overset{K}{\Σ}}M\left(x,i\right)/K\\ \stackrel{\‾}{\mathrm{\σ}}\left(x\right)=\underset{i=1}{\overset{K}{\Σ}}P\left(x,i\right)/K\end{array}\right.,i=1,\mathrm{...},K;x=1,\mathrm{...},M---\left(5.1\right)$

设表示图像x在增强方法i下的归一化MSE，表示图像x在增强方法i下的归一化标准差，则有：

公式满足设方法i的归一化平均MSE为归一化平均标准差为即：

在上面公式中，同样有在本发明中，对50幅图像处理后的归一化MSE和归一化标准差值进行统计如下表1所示。

从表1中可以看出，归一化的MSE和标准差的值显示保持亮度的局部直方图均衡具有最小的MSE和最大的标准差值，表示其有最好的处理效果，其次是本发明设计的多尺度视觉自适应图像增强方法和多尺度Deng图像增强，Retinex方法效果类似。但是很多情况下，对应的MSE和标准差与图像处理效果的直观视觉感受并不一致，也就是说，最好的图像，它所对应的MSE和标准差并不一定是最优。因此，仅仅用MSE和标准差的值来判断方法的优劣并不合适，我们需要一种更加符合人眼视觉直观感受的可计算值的评价模型。

通过主观的方式对后四种方法进行评价。根据图像的适用范围说明，我们选择了对图8的样本集进行主观评价。

表1对应不同方法下的归一化MSE、归一化标准差

	归一化MSE	归一化标准差
			直方图均衡	1.693845	0.795896
保持亮度的局部直方图均衡	0.113572	1.46509
			多尺度Deng图像增强	0.98079	0.930981
多尺度Retinex方法	1.275101	0.89052
			多尺度的视觉自适应图像增强	0.936692	0.917512

对图8的样本集中的图像，我们随机选取样本集中10幅图像分别采用保持亮度的局部直方图均衡、多尺度的Deng增强方法、多尺度的Retinex方法和本发明提出的多尺度视觉自适应图像方法(MEVA)进行处理，同时由5个人对这些图像的处理效果进行主观评价，我们将处理结果分为五类，依次为效果好、效果较好、效果中、效果较差和效果差，对5个人的统计结果做累计平均，采用累计方式如下所示：

$f\left(i\right)=\frac{\underset{j=1}{\overset{5}{\Σ}}{n}_i\left(j\right)}{5\×N},i=1,2,...,5;j=1,2,...,5---\left(5.4\right)$

其中f(i)表示方法在某一等级的评价得分，有0＜f(i)＜1；i表示五类效果，1为差，5为好；n_i(j)表示编号为j的人评判的处理效果图中落入等级i的图像的个数；N为样本集个数。对四种方法的处理效果用上述方法进行评判，得到的评价得分表如下表所示。

由表中数据可见，本发明所用的多尺度视觉自适应图像增强方法的主观视觉效果较好。下面以样本集中的图像为例做详细分析。

表2方法评价得分表

评价得分	效果差	效果较差	效果中	效果较好	效果好
						保持亮度的局部直方图均衡	0.16	0.18	0.30	0.24	0.12
多尺度Deng增强	0.21	0.18	0.32	0.20	0.06
						多尺度Retinex方法	0.06	0.26	0.44	0.18	0.06
多尺度视觉自适应图像增强	0.12	0.08	0.28	0.32	0.20

如图9所示，图9是样本集中一幅有雾的低对比度图像，尺寸为512×384，将此图用保持亮度的局部直方图均衡方法做处理，子块大小为100×80，子块的水平和垂直移动步长为10和8，递归深度根据实验选取1，得到处理效果如图10(a)所示；将图9用多尺度Deng图像增强方法，参数通过实验选择为k＝3，γ＝1，η₁＝3.5，η₂＝2，η₃＝3，所得增强效果如图10(b)所示，图10(c)为加了过渡带后的多尺度Retinex方法的增强效果，本发明增强效果如图10(d)所示。

通过比较可以看出，保持亮度的局部直方图均衡方法对图中地面部分细节所有增强，但是天空中出现了过饱和的白色光斑区，视觉效果较差。Deng图像增强方法的参数过多且不同参数选择对图像增强效果影响较大，制约了方法的适用范围，同时虽然图像细节得到增强，但是视觉效果并不理想。多尺度Retinex方法和多尺度Deng图像增强方法相比，山上的纹理细节增强效果较好，且视觉效果优于Deng图像增强方法，缺点是图像整体变“灰”。本发明方法和上述两种方法相比，山脉处和地面的细节得到增强，同时天空没有明显变灰，视觉效果优于上述两种方法。

对于一般的图像，如图11为原始图像，尺寸为720×576。图12为用四种增强方法进行处理的效果图，其中图12(a)为保持亮度的局部直方图均衡方法，步长和子块大小不变，递归深度依旧选取1。图12(b)为利用多尺度Deng图像增强方法，沿用处理图9中的参数对图11进行增强处理，效果并不理想；通过反复实验，选择参数k＝3，γ＝1，η₁＝2，η₂＝1，η₃＝2，得到图12(b)的增强效果，同图中可以看出屋顶处细节有所增强但图像左侧暗区图像增强效果并不理想，图12(c)为多尺度Retinex方法的处理效果，从图中可以看出左侧暗区细节得到显著增强，原本视觉无法分辨的细节变得视觉可见，但是图像整体变“灰”，虽然增强效果较好，但是视觉效果略差与原图。图12(d)为本发明多尺度的视觉自适应图像增强方法，图中房屋、地面和左侧暗区细节都有不同程度的增强，在增强细节的同时，本发明方法的视觉效果要明显优于前两种方法。

最后，我们选择低平均亮度图像对方法进行进一步的验证。图13为原始图像，尺寸为500×500。将图13经过保持亮度的局部直方图均衡、多尺度Deng图像增强方法、多尺度Retinex方法和本发明的多尺度的视觉自适应图像增强方法处理，得到图14。

如图14所示，可以看出由于原始图像整体亮度偏低，图像灰度值比较集中，在进行保持亮度的局部直方图均衡时，出现了局部区域过增强现象，而多尺度的Deng增强视觉效果相对于原始图像有所改善，多尺度的Retinex方法有效的增强了图像的细节，但是图像视觉效果并不理想，整体图像变灰，本发明方法在增强图像细节的同时，很好的保持了图像的灰度分布，其视觉直观感受最自然。

⑵评价方法—视觉可分辨差模型的实施方式

①普适性实验所选增强方法

在普适性实验中，我们选择四种最基础的增强方法，它们分别是灰度映射变换、在直方图均衡方法、灰度非线性变换增强方法和高斯高通滤波器增强方法。

a)灰度映射变换

为了突出中间部分的亮度信息，我们采用灰度映射变换。设原始图像I的亮度信息分布在[a,b]区间之间，我们将亮度值从[c,d]区间映射到[a,b]区间，其中满足a≤c且b≤d。灰度映射变换示意图如图15所示。灰度映射方法舍弃了亮度值中较高和较低部分的值，有助于突出图像的平均亮度信息，达到一定的增强效果。

b)直方图均衡方法

直方图均衡化是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，可以看做对图像进行非线性拉伸，重新分配图像像素值，增加了象素灰度值的动态范围从而可达到增强图像整体对比度的效果。

c)灰度非线性变换

我们通过灰度非线性变换可以达到增强图像对比度的作用，非线性变换函数的选取对增前后图像的处理效果影响较大，常用的灰度非线性变换如对数函数、指数函数等。在本发明实验中，我们选择如下公式对图像灰度进行非线性拉伸。对应的非线性曲线如图16所示。

f(x)＝x+x□(255-x)/255(5.5)

d)高通滤波器增强方法

我们认为图像的细节和边缘分布在图像的高频部分，则通过高通滤波器可以获取图像的细节和边缘信息，也就是常说的高频分量，通过将原始图像和高频分量进行叠加，可以获得较好的图像输出结果，在本实验中，我们选择传统高斯高通滤波器进行图像处理，滤波器波形如图17所示。

增强过程简述：设原始图像为f,L_g为高斯滤波，则增强图像f'可以表示为：f'＝f+L_g(f)，输出图像的细节得到进一步的突出，同时平滑部分的信息得到了保持。

②实验结果与分析

采用上述的四种传统图像增强方法，本发明通过实验进一步对视觉可分辨差模型进行分析和说明。选择样本集中15幅图像对视觉可分辨差模型做进一步的实验，考虑到PSNR的值可以通过MSE计算出来，因此在下面的实验中，重点观察MSE、VDD和主观感受之间的关系。对15幅图像进行直方图均衡实验，对处理结果分别计算其MSE值和VDD值，同时由5个人对15幅图像的处理效果进行打分，标准按照上文给出的绝对尺度，每幅图像处理效果的得分取这5个人打分的平均分。所得统计结果如表3所示。

为了便于观察，比较MSE、VDD与人们主观视觉感受之间的相互关系，我们将三类值做一定处理后显示如图18所示。可以看出，当VDD曲线越靠近坐标轴时，即VDD值越接近0时，对应的主观得分越高，反之主观得分越低，对应VDD值远离坐标轴，由此可知，图像处理效果的主观感受与VDD值的表示的含义基本一致，而从图18中无法看出MSE与人眼的直观感受之间的关系。

为了进一步说明VDD与人眼视觉直观感受之间的关系，选取样本集中的一幅图像进行说明如下：图19为一样本图像经过四种增强方法处理所得效果图和对应直方图。

图19(a)～(e)分别为原始图像和经过四种方法增强后的效果图，图(f)～(j)为其对应的直方图，计算图(b)～(e)的VDD值分别为：VDD₁＝-0.294，VDD₂＝0.033，VDD₃＝0.014，VDD₄＝0.005。通过对效果图的比较，可以看出图(b)的处理效果最差，图(d)和图(e)视觉效果最好，同时直方图分布信息也与直观感受相一致，这与VDD的计算值保持一致。

表3实验图像的平均分，MSE和VDD值

图像序号	平均分/10	MSE/1000	VDD
				1	0.14	2.155164	-0.31527
2	0.36	1.54327	0.095665
				3	0.5	2.595608	0.058337
4	0.42	1.097745	0.027745
				5	0.12	2.576441	-0.29458
6	0.3	1.262936	0.033142
				7	0.4	2.910971	0.014442
8	0.48	1.305212	0.004258
				9	0.44	1.674335	0.054823

10	0.48	2.092355	0.002395
				11	0.16	1.123452	-0.23456
12	0.32	0.543212	-0.01342
				13	0.4	0.99234	0.013549
14	0.38	1.742432	0.534131
				15	0.48	2.304853	0.008475

从样本集中另选一幅图像统计其MSE，标准差和VDD值，图20为原始图像及其直方图，图21为四种增强方法增强的效果展示，图22为其对应的直方图显示。对上述四种增强方法统计其MSE，标准差和VDD值如下表所示：

表4增强结果的MSE,标准差和VDD统计

	MSE	标准差	VDD
				灰度映射增强	2155	80.41	-0.315
直方图均衡	1543	73.99	0.095
				灰度非线性变换	2595	78.28	0.058
高斯高通滤波增强	1097	76.08	0.027

在表4中我们可以看出，灰度非线性变换的MSE和标准差说明该方法处理后的图像差别最大，同时对比度增强仅次于灰度映射变换，我们可以看到灰度映射变换的对比度差别最大，但是从图像处理效果可以看出灰度映射变换的处理效果最差，这和效果的直观感受不相符合，通过观察图21的处理效果可以看出，灰度映射增强损失了较多的灰度信息，而直方图均衡方法虽然突出了左下角的细节，但是视觉感受并不好，在灰度非线性变换中我们可以看出，左下角的细节被增强了而同时视觉效果要优于直方图均衡方法，VDD值也显示了这一点，对于高斯高通滤波增强，可以看出左下角细节并没有明显增强，而VDD值为最优，根据人眼的“刚好感知”特性，通过观察原始图像，可以发现原图中左下角的细节人眼很难分辨，高斯高通滤波增强凸显了原图中视觉可见的细节信息，而对视觉几乎不可见的信息并没有明显增强，最大限度的与原始图像相一致，同时与原图相比，视觉效果得到改善。

通过上述实验，说明VDD模型的值可以体现人眼的视觉直观感受。从样本集中选取20幅图像对本发明提出的多尺度的视觉自适应图像增强方法进行评价统计，为了便于图像显示，我们取MSE'＝MSE/1000，由5个人对处理结果进行主观评价打分，评分标准选择上文所给的绝对尺度，5分表示最好效果，1分表示最差效果。设第i个人对图像j打分分数为g(i,j)，其中i＝1,...,5；j＝1,...,20，则第j幅图像的平均得分为则由实验数据可得经过本发明方法增强处理后的MSE、标准差，VDD和主观得分如图23所示。

从图23可以看出，在对多尺度的视觉自适应图像增强处理结果进行评价时，主观得分越高的处理效果图，其对应的VDD值越靠近坐标轴，说明VDD模型基本与人的主观感受相一致，同时可以看到，对于个别图，存在主观得分较低而VDD值较好的情况。上图表明，经过本发明方法处理后的大多数的视觉效果好的图，对应的VDD值越接近0，主观得分也越高，表示增强后效果图与原始图像所含信息的一致度越高，视觉效果越好。

综上所述，视觉可分辨差模型在评价图像增强效果的时候，VDD值越好，说明图像视觉改善效果越好，同时与原图的一致性也越好。通过对不同图像增强方法的评价实验，VDD模型具有两点显著的优势：首先，VDD值与图像增强的视觉效果大致相一致；其次，VDD值的大小，可以体现增强图像是否与原始图像的视觉信息相一致。

Claims (2)

1.一种多尺度的视觉自适应图像增强方法，其特征在于：其步骤如下：

⑴将原始图像O(i,j)分区后，得到图像O’(i,j)，并将图像O’(i,j)转化到对数域进行处理，公式如下，其中d(O'(i,j))表示对O’(i,j)的(i,j)点处的灰度值扩展为浮点型以提高计算精度，O_log(i,j)表示对数域图像：

O_log(i,j)＝log[d(O'(i,j))+1]

⑵将O_log(i,j)按通过三个尺寸依次递增的窗口进行高低频分离，得到平滑低频分量O_log-S(i,j)、O_log-M(i,j)、O_log-L(i,j)，并按照下式得到细节分量O_hS(i,j)、O_hM(i,j)、O_hL(i,j)：

O_hS(i,j)＝O_log(i,j)-O_log-S(i,j)

O_hM(i,j)＝O_log(i,j)-O_log-M(i,j)

O_hL(i,j)＝O_log(i,j)-O_log-L(i,j)

⑶将图像的细节分量按下式进行局部对比度增强，式中表示对图像的各个细节分量O_hS(i,j)、O_hM(i,j)、O_hL(i,j)分别取平均值：

$E_S(i,j)=\frac{O_{hs}(i,j)}{\stackrel{\‾}{O_{hs}(i,j)}}\×\[O_{hs}{(i,j)}^{0.8}+O_{hs}(i,j)\]$

$E_M(i,j)=\frac{O_{hM}(i,j)}{\stackrel{\‾}{O_{hM}(i,j)}}\×\[O_{hM}{(i,j)}^{0.8}+O_{hM}(i,j)\]$

$E_L(i,j)=\frac{O_{hL}(i,j)}{\stackrel{\‾}{O_{hL}(i,j)}}\×\[O_{hL}{(i,j)}^{0.8}+O_{hL}(i,j)\]$

⑷对平滑低频分量O_log-S(i,j)、O_log-M(i,j)、O_log-L(i,j)进行幂次变换得到O′_log-S(i,j)、O′_log-M(i,j)、O′_log-L(i,j)，并对O′_log-L(i,j)进行直方图均衡得到O_log-EQ(i,j)，将各图像分量按下式相加取平均，经过指数变换得到F，式中E_S，E_M，E_L分别表示增强后的图像细节分量：

$F=\exp \left(\frac{1}{3}\right(E_S+E_M+E_L+O_{\log -S}^{\′}+O_{log-M}^{\′}+O_{log-EQ}\left)\right)$

将图像不同尺度下的分量按下式进行灰度校正：

f(x)＝x+x×(255-x)/255

式中x表示图像某个像素点的灰度值，f(x)表示灰度校正后图像该像素点的灰度值，并裁去过渡带得到图像的最终输出。

2.一种如权利要求1所述的图像增强方法的评价方法，其特征在于：其步骤如下：

⑴通过多人实验来确定图像的临界可见偏差J(x,y)，是图像n×n模板中平均亮度值：

$J(x,y)=\left\{\begin{array}{c}21(1-\sqrt{\frac{\stackrel{\‾}{I}(x,y)}{127}})+4,if\stackrel{\‾}{I}(x,y)\≤127\\ \frac{3}{128}\left(\stackrel{\‾}{I}\right(x,y)-128)+4,otherwise\end{array}\right.$

⑵定义二值函数DP(i,j)用以寻找视觉可分辨点，DP(i,j)＝1表示点(i,j)为视觉可分辨点，否则为不可分辨点，式中img(i,j)表示图像中一点的灰度值，JND(i,j)表示该点的临界可偏差值：

$DP(i,j)=\left\{\begin{array}{c}1,img(i,j)\≥JND(i,j)\\ 0,otherwise\end{array}\right.$

⑶定义增强图像的视觉可分辨差，表示大小为m×n图像的视觉可分辨差,DP'(i,j)为增强后图像点(i,j)处的DP值，DP(i,j)为原始图像点(i,j)处的DP值：

$\underset{\[m,n\]}{VDD}=\sqrt{\frac{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\mathrm{DP}}^{\′}\left(i,j\right)}{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}DP\left(i,j\right)}}-1$

⑷给出视觉可分辨差模型评价方法的评价标准：若一个增强方法的且的绝对值越小，说明增强图像的视觉效果越好。