CN104504664B - 基于人眼视觉特性的nsct域水下图像自动增强系统及其方法 - Google Patents

Abstract

本发明提供一种基于人眼视觉特性的NSCT域水下图像自动增强系统及其方法，综合利用NSCT的多尺度、多方向边缘表达优势和噪声去除优势，同时借鉴了人眼视觉系统的感知特性，在NSCT域去噪的同时，引入Retinex算法去除水下光照不均，并引入亮度掩膜和对比度掩膜特性生成基于人眼视觉特性的NSCT对比度掩膜系数，通过设计两个非线性映射函数分别自动调节NSCT对比度掩膜系数和NSCT低频子带系数来实现对比度增强，无需手工调节参数。因此，本发明可以在有效去噪的同时，自动实现水下图像的对比度增强、边缘锐化并去除光照不均。

Description

基于人眼视觉特性的NSCT域水下图像自动增强系统及其方法

技术领域

本发明属于图像处理技术领域，涉及图像自动增强方法，具体而言是一种基于人眼视觉特性的NSCT域水下图像自动增强系统及其方法。

背景技术

近年来，随着水下环境感知需求的增加，水下成像技术得到了迅猛发展，主要被用于水下勘测、水下机器人、海洋生物监测及军事等方面。然而水下成像与空中成像有很大的不同，受水下光的散射和衰减作用的影响，采集得到的水下光学图像具有对比度低、噪声强、光照不均和目标边缘模糊等特点，给图像的人工判读和自动解译带来了极大的困难。因此，研究水下光学图像增强技术，提高水下图像的视觉质量，对水下目标探测与识别、海上资源勘探与管道敷设、水库清淤与航道疏浚等国防民生领域的应用具有重要意义。

图像增强方法通常分为空间域和变换域两大类。空间域方法直接对图像像素的灰度进行处理，主要包括灰度拉伸、直方图修正、反锐化掩模、Retinex增强等。变换域方法是在图像的某个变换域中对变换系数进行处理，然后通过逆变换获得增强图像，主要包括傅里叶变换、DCT变换、小波变换和基于多尺度几何变换的增强法。

直方图均衡化方法能够很好地提升图像整体对比度，但仅考虑全局灰度信息不仅会扩散图像中的噪声，也会出现局部增强不足或过增强的现象，反而破坏了部分边缘细节。Retinex算法利用人眼感知亮度和彩色的恒常性，来实现不同照度下图像细节的增强，与人眼视觉系统的心理视觉规律相一致，有利于去除光照不均，但由于采用高斯核函数进行卷积求解，图像灰度呈现中心正态分布，灰化效应明显，对比度增强不足，对噪声较为敏感。随着小波技术的发展，小波变换也被应用到图像增强领域中。较之空域增强方法，小波变换等变换域增强方法将图像分解成高频分量和低频分量，通过抑制高频分量中的噪声、拉伸低频分量可以同时兼顾增强和去噪。但是，小波变换只能反映信号的点奇异性(零维)，而对二维图像中的边缘等线、面奇异性(一维或更高维)，则难以稀疏表示，因此在表征二维图像中的边缘、纹理等高维奇异性或本质几何结构特征时存在缺陷，导致图像细节部分的纹理增强效果不理想。同时，这种对变换系数的增强处理通常是含多个参数的增强函数，普遍需要根据经验手工调节最优参数，无法实现计算机的自动处理，给实际应用带来了极大的不便。

多尺度几何分析发展的目的和动力正是要致力于发展一种新的高维函数的最优表示方法。NSCT作为一种新的非下采样的、具有平移不变性的多尺度几何变换，比较而言，各向异性的Contourlet基使得NSCT具有刻画图像的线奇异优势，这一点要优于采用小波基的非降采样小波变换；同时NSCT具有平移不变性，在这一点上又优于Contourlet、Curvelet等多尺度几何分析方法。因此，NSCT可以提供更为丰富的时域信息和精确的频率局部化信息，采用NSCT进行增强处理可以在有效抑制噪声的同时更好地突出图像边缘细节特征。

目前，许多变换域增强算法在进行对比度增强时，把对比度定义为光照强度的绝对变化，往往没有考虑人眼的视觉特性。由于人眼视觉系统能够最优地感知图像信息，自然地消除图像表示与其心理物理学属性之间的差距，实现图像的最优表示与处理。因此，一个有效的增强算法采用的对比度测度应该与人眼视觉系统的心理视觉规律相一致。而人眼视觉信息处理具有多层次性、稀疏性和复杂性，国内外研究表明，人眼视觉系统具有亮度掩膜特性，人眼对亮度的相对变化而不是绝对变化敏感。人眼辨别亮度差的能力与周围环境及其照度本身的大小有关系，即视觉随着图像背景亮度的变化，对亮度偏差的敏感度呈非线性变化。同时，人眼视觉系统还具有对比度掩膜特性，人眼对对比度的相对变化敏感，当一个目标周围存在其他的亮度刺激，该目标被人眼感知的对比度会下降。西安电子科技大学杨付正等人将人眼视觉特性引入到图像的边缘检测中，取得了较好的检测效果，具有很好的借鉴意义。

基于NSCT的多尺度、多方向边缘表达和去噪优势，同时借鉴人眼视觉系统的感知机理，提出了一种基于人眼视觉特性的NSCT域水下图像自动增强系统及其方法。专利检索及对国内外各种科技文献的最新检索表明，尚未有将NSCT与人眼视觉特性相结合的水下图像自动增强方法见诸文献。

发明内容

本发明为了解决现有技术中存在的上述缺陷和不足，提供了一种基于人眼视觉特性的NSCT域水下图像自动增强系统及其方法，自动实现水下图像的对比度增强、噪声抑制、边缘锐化和去除光照不均等功能

为解决上述技术问题，本发明一种基于人眼视觉特性的NSCT域水下图像自动增强系统，包括水下图像采集模块、NSCT分解模块、去噪模块、不均匀光照纠正模块、基于人眼视觉特性的自动增强模块、NSCT重构模块以及输出显示模块；

所述水下图像采集模块，利用水下成像设备采集水下图像；

所述NSCT分解模块，对所述水下图像进行NSCT分解，得到NSCT的低频子带系数和高频方向子带系数；

所述去噪模块，利用自适应阈值法滤除所述NSCT的高频方向子带系数噪声；

所述不均匀光照纠正模块，对所述NSCT的低频子带系数采用Retinex算法去除图像中的光照不均，消除阴影；

所述基于人眼视觉特性的自动增强模块，利用人眼视觉的亮度掩膜和对比度掩膜特性，对所述NSCT的低频子带系数和高频方向子带系数进行亮度掩膜和对比度掩膜，生成基于人眼视觉特性的NSCT对比度系数，再通过非线性映射函数自动修正NSCT对比度系数，增强图像的细节边缘，通过非线性增益函数对NSCT低频子带系数进行自动调整，提高图像整体对比度，实现了对比度的自动调节和边缘锐化；

所述NSCT重构模块，利用增强处理后的NSCT低频子带系数和高频方向子带系数进行NSCT重构，得到增强图像；

所述输出显示模块，将所述增强结果输出显示。

基于人眼视觉特性的NSCT域水下图像自动增强方法，包括以下步骤：

(1)对输入的水下图像进行NSCT分解，得到低频子带系数和高频方向子带系数；

(2)对低频子带系数采用Retinex算法去除图像中的光照不均，对高频方向子带系数采用自适应阈值法滤除噪声；

(3)对步骤(2)中处理后低频子带系数和高频方向子带系数依次进行亮度掩膜和对比度掩膜，得到基于人眼视觉特性的NSCT亮度掩膜系数和NSCT对比度掩膜系数；

(4)对所述步骤(3)得到的NSCT对比度掩膜系数采用非线性映射函数进行自动处理，增强图像的细节边缘；

(5)采用非线性增益函数对NSCT低频子带系数进行自动调整，提高图像整体对比度；

(6)对步骤(4)中经非线性映射函数处理后的NSCT对比度掩膜系数依次进行反对比度掩膜和反亮度掩膜，得到增强处理后的NSCT高频方向子带系数；

(7)对步骤(5)和(6)中增强处理后的NSCT低频子带系数和高频方向子带系数进行NSCT重构，得到增强结果图像。

其中，所述步骤(3)中，亮度掩膜后得到的NSCT亮度掩膜系数为：

对比度掩膜后得到的NSCT对比度掩膜系数为：

上述亮度掩膜和对比度掩膜公式中，x_(s,0)为NSCT的第s层次上的低频子带系数，x_(s,d)为NSCT的第s层次、第d方向上的高频方向子带系数，s为层次，d为子带方向，当d＝0时，为低频子带。

所述步骤(4)中，经非线性映射函数处理后得到的NSCT对比度掩膜系数为：

其中，C_LCM(s,d)表示非线性映射函数处理前的NSCT对比度掩膜系数。

所述步骤(5)中，经非线性增益函数处理后的NSCT低频子带系数为：

其中，x_(1,0)为非线性增益函数处理前的NSCT第1层低频子带系数。

所述步骤(6)中，经反对比度掩膜处理得到的NSCT亮度掩膜系数为

经反亮度掩膜得到的NSCT高频方向子带系数为

上述反亮度掩膜公式中，x_(s,0)为NSCT的第s层次上的低频子带系数。

优选地，所述步骤(1)中，对水下图像进行NSCT分解，分解层次为2～5层，每层分解的方向数相同，为2的幂次。

优选地，对水下图像进行NSCT分解，分解层次为3层。

本发明所达到的有益技术效果：

通过采用上述技术方案，本发明的优点是，综合利用NSCT的多尺度、多方向边缘表达优势和噪声去除优势，同时借鉴了人眼视觉系统的感知特性，在NSCT域去噪的同时，引入Retinex算法去除水下光照不均，并引入亮度掩膜和对比度掩膜特性生成基于人眼视觉特性的NSCT对比度掩膜系数，通过设计两个非线性映射函数分别自动调节NSCT对比度掩膜系数和NSCT低频子带系数来实现对比度增强，无需手工调节参数。因此，本发明可以在有效去噪的同时，自动实现水下图像的对比度增强、边缘锐化并去除光照不均。

附图说明

图1基于人眼视觉特性的NSCT域水下图像自动增强系统的配置及各个配置间的连接关系示意图；

图2基于人眼视觉特性的NSCT域水下图像自动增强方法的流程示意图；

图3基于人眼视觉特性的自动增强模块处理流程示意图。

具体实施方式

为了审查员能更好地了解本发明的技术特征、技术内容及其达到的技术效果，现将本发明的附图结合实施例进行更详细的说明。然而，所示附图，只是为了更好地说明本发明的技术方案，所以，请审查员不要就附图限制本发明的权利要求保护范围。

下面结合附图和实施例对本发明专利进一步说明。

如图1所示，本发明提供一种基于人眼视觉特性的NSCT域水下图像自动增强系统，包括水下图像采集模块、NSCT分解模块、去噪模块、不均匀光照纠正模块、基于人眼视觉特性的自动增强模块、NSCT重构模块以及输出显示模块；

所述水下图像采集模块，利用水下成像设备采集水下图像；

所述NSCT分解模块，对所述水下图像进行NSCT分解，得到NSCT的低频子带系数和高频方向子带系数；

所述去噪模块，利用自适应阈值法滤除所述NSCT的高频方向子带系数噪声；

所述不均匀光照纠正模块，对所述NSCT的低频子带系数采用Retinex算法去除图像中的光照不均，消除阴影；

所述基于人眼视觉特性的自动增强模块，利用人眼视觉的亮度掩膜和对比度掩膜特性，对所述NSCT的低频子带系数和高频方向子带系数进行亮度掩膜和对比度掩膜，生成基于人眼视觉特性的NSCT对比度系数，再通过非线性映射函数自动修正NSCT对比度系数，增强图像的细节边缘，通过非线性增益函数对NSCT低频子带系数进行自动调整，提高图像整体对比度，实现了对比度的自动调节和边缘锐化，如图3所示；

所述NSCT重构模块，利用增强处理后的NSCT低频子带系数和高频方向子带系数进行NSCT重构，得到增强图像；

所述输出显示模块，将所述增强结果输出显示。

如图2所示，基于人眼视觉特性的NSCT域水下图像自动增强系统的自动增强方法，包括以下步骤：

(1)对输入的水下图像I进行NSCT分解，得到低频子带系数x_(s,0)和高频方向子带系数x_(s,d)，其中，x_(s,0)为NSCT的第s层次上的低频子带系数，x_(s,d)为NSCT的第s层次、第d方向上的高频方向子带系数，s为层次，d为子带方向，当d＝0时，为低频子带；

(2)对低频子带系数采用Retinex算法去除图像中的光照不均，对高频方向子带系数采用自适应阈值法滤除噪声；

(3)对步骤(2)中处理后的低频子带系数和高频方向子带系数依次进行亮度掩膜和对比度掩膜，得到基于人眼视觉特性的NSCT亮度掩膜系数和NSCT对比度掩膜系数，

其中，NSCT亮度掩膜系数为：

NSCT对比度掩膜系数为：

(4)对所述步骤(3)得到的NSCT对比度掩膜系数C_LCM(s,d)，设计一个非线性映射函数对其进行自动处理，以增强图像的细节边缘，处理后的NSCT对比度掩膜系数为：

其中，

(5)采用非线性增益函数对NSCT低频子带系数进行自动调整，提高图像整体对比度。经非线性增益函数处理的NSCT低频子带系数为：

其中，x_(1,0)为非线性增益函数处理前的NSCT第1层低频子带系数。

(6)对步骤(4)中经非线性映射函数处理后的NSCT对比度掩膜系数依次进行反对比度掩膜和反亮度掩膜，得到增强处理后的NSCT高频方向子带系数

其中经反对比度掩膜处理得到的NSCT亮度掩膜系数为

经反亮度掩膜得到的NSCT高频方向子带系数为

(7)对步骤(5)和(6)中增强处理后的NSCT低频子带系数和高频方向子带系数进行NSCT重构，得到增强结果图像

本发明在具体实施过程中，NSCT变换的多尺度分解层数及每层分解的方向数的选取有较大的灵活性，但各层分解的方向数相同，均为2的幂次，但是每层的幂次取值范围可选，约在2～5之间，不同的分解参数选取产生的增强效果不同，多尺度分解层数可选取的范围为2～5层。作为在本发明的具体实施例，选取分解层数为3层，每层选取的幂次均为2，这样各层分解的方向数均为4。尺度分解的非下采样塔形滤波器组一般采用maxflat滤波器，非下采样的方向滤波器组一般采用dmaxflat7滤波器。

采用本发明的技术方案对水下灰度图像进行仿真实验，计算机硬件配置为Pentium(R)4，主频3GHz，软件平台为Matlab R2011b。对分辨率分别为549×335、400×300的两幅水下图样A和B采用直方图均衡化方法和本发明提供的方法进行增强对比实验。

为了定量评价图像增强方法的效果，选用基于局部结构张量的无参考型图像质量评价指标Q作为评价准则分别对以上实验图像进行定量评价。评价指标Q能同时度量因噪声和模糊造成失真后的图像质量，能很好地反映图像质量的视觉感知效果，它的计算公式如下：

其中，c₁＝(s₁-s₂)²，c₁值表征图像模糊程度，图像越模糊c₁值越小，c₂值表征图像噪声程度，图像中噪声越强c₂越小，s₁和s₂为图像的局部结构张量特征值。当Q值越大时，图像的清晰度越高，图像的视觉质量越好。表1给出了对水下图像A和B按各种方案进行增强时的定量评价指标Q值。表1采用直方图均衡化方法和本发明技术方案处理图像的定量评价结果对比

对于水下图像，直方图均衡化增强的同时也将噪声放大，严重影响图像的增强效果，同时直方图均衡化会导致图像局部过增强的现象。而采用本发明提供的技术方案增强后图像Q值明显提高，明显优于直方图均衡化方法，在有效抑制噪声的同时突出了图像的细节边缘，并且可以消除光照不均、去除阴影。本发明提供的方法有效地克服了其他方法对噪声增强过度和对图像细节增强不足等缺点，并且可由计算机自动完成，无需人工参与调节参数。

本发明充分利用了NSCT在去除噪声和边缘等线奇异表示方面的优势，同时借鉴人眼视觉系统的感知机理，在NSCT域设计出一种与人眼视觉感知相符的水下图像自动增强系统及其方法。采用本发明提供的方法可以有效地去除噪声，改善光照不均，并突出图像的边缘细节特征，提高图像的对比度，且具有自动处理的优点。实验结果进一步说明了本发明的优势。

以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (3)

1.一种基于人眼视觉特性的NSCT域水下图像自动增强方法，采用基于人眼视觉特性的NSCT域水下图像自动增强系统对NSCT域水下图像进行自动增强，其中，自动增强系统包括水下图像采集模块、NSCT分解模块、去噪模块、不均匀光照纠正模块、基于人眼视觉特性的自动增强模块、NSCT重构模块以及输出显示模块；所述水下图像采集模块，利用水下成像设备采集水下图像；所述NSCT分解模块，对所述水下图像进行NSCT分解，得到NSCT的低频子带系数和高频方向子带系数；所述去噪模块，利用自适应阈值法滤除所述NSCT的高频方向子带系数噪声；所述不均匀光照纠正模块，对所述NSCT的低频子带系数采用Retinex算法去除图像中的光照不均，消除阴影；所述基于人眼视觉特性的自动增强模块，利用人眼视觉的亮度掩膜和对比度掩膜特性，对所述NSCT的低频子带系数和高频方向子带系数进行亮度掩膜和对比度掩膜，生成基于人眼视觉特性的NSCT对比度系数，再通过非线性映射函数自动修正NSCT对比度系数，增强图像的细节边缘，通过非线性增益函数对NSCT低频子带系数进行自动调整，提高图像整体对比度，实现了对比度的自动调节和边缘锐化；所述NSCT重构模块，利用增强处理后的NSCT低频子带系数和高频方向子带系数进行NSCT重构，得到增强图像；所述输出显示模块，将所述增强结果输出显示，其特征在于：包括以下步骤：

(1)对输入的水下图像进行NSCT分解，得到低频子带系数和高频方向子带系数；

(2)对低频子带系数采用Retinex算法去除图像中的光照不均，对高频方向子带系数采用自适应阈值法滤除噪声；

(3)对步骤(2)中处理后的低频子带系数和高频方向子带系数依次进行亮度掩膜和对比度掩膜，得到基于人眼视觉特性的NSCT亮度掩膜系数和NSCT对比度掩膜系数；

亮度掩膜后得到的NSCT亮度掩膜系数为：

$C_{LM(s,d)}=\frac{x_{(s,d)}}{\left|x_{(s,0)}\right|+0.0001}$

对比度掩膜后得到的NSCT对比度掩膜系数为：

$C_{LCM(s,d)}=\frac{C_{LM(s,d)}}{{\left|C_{LM(s-1,d)}\right|}^{0.62}+0.0001}$

上述亮度掩膜和对比度掩膜公式中，x_(s,0)为NSCT的第s层次上的低频子带系数，x_(s,d)为NSCT的第s层次、第d方向上的高频方向子带系数，s为层次，d为子带方向，当d＝0时，为低频子带；

(4)对所述步骤(3)得到的NSCT对比度掩膜系数采用非线性映射函数进行自动处理，增强图像的细节边缘；

经非线性映射函数处理后得到的NSCT对比度掩膜系数为：

${\hat{C}}_{LCM(s,d)}=s\·\max \left(\right|C_{LCM(s,d)}\left|\right)\·sign\left(C_{LCM(s,d)}\right)\·{\[\sin (\frac{\mathrm{\π}}{2}\·\frac{\left|C_{LCM(s,d)}\right|}{\max \left|C_{LCM(s,d)}\right|})\]}^{\sqrt{p}}$

其中，C_LCM(s,d)表示非线性映射函数处理前的NSCT对比度掩膜系数；

(5)采用非线性增益函数对NSCT低频子带系数进行自动调整，提高图像整体对比度；

经非线性增益函数处理后的NSCT低频子带系数为：

${\hat{x}}_{(1,0)}=\max \left(\right|x_{(1,0)}\left|\right)\·sign\left(x_{(1,0)}\right)\·{\[sin(\frac{\mathrm{\π}}{2}\·\frac{\left|x_{(1,0)}\right|}{max\left(\right|x_{(1,0)}\left|\right)})\]}^q$

其中，x_(1,0)为非线性增益函数处理前的NSCT第1层低频子带系数；

(6)对步骤(4)中经非线性映射函数处理后的NSCT对比度掩膜系数依次进行反对比度掩膜和反亮度掩膜，得到增强处理后的NSCT高频方向子带系数；

经反对比度掩膜处理得到的NSCT亮度掩膜系数为

${\hat{C}}_{LM(s,d)}={\hat{C}}_{LCM(s,d)}\×({\left|{\hat{C}}_{LM(s-1,d)}\right|}^{0.62}+0.0001)$

经反亮度掩膜得到的NSCT高频方向子带系数为

${\hat{x}}_{(s,d)}={\hat{C}}_{LM(s,d)}\×\left(\right|x_{(s,0)}|+0.0001)$

上述反亮度掩膜公式中，x_(s,0)为NSCT的第s层次上的低频子带系数；

(7)对步骤(5)和(6)中增强处理后的NSCT低频子带系数和高频方向子带系数进行NSCT重构，得到增强图像。

2.根据权利要求1所述的基于人眼视觉特性的NSCT域水下图像自动增强方法，其特征在于：所述步骤(1)中，对水下图像进行NSCT分解，分解层次为2～5层，每层分解的方向数相同，为2的幂次。

3.根据权利要求2所述的基于人眼视觉特性的NSCT域水下图像自动增强方法，其特征在于：对水下图像进行NSCT分解，分解层次为3层。