CN114529475A - 基于二维伽马校正和色调映射的图像增强方法及系统 - Google Patents

Abstract

本发明公开了基于二维伽马校正和色调映射的图像增强方法及系统，涉及图像处理技术领域，对获取的原始图像进行亮度增强、亮度和色调增强、对比度增强处理，得到增强后的图像。本发明能够很好提升内窥镜图像的亮度和色度，使原来看不见的暗区变得清晰可见并且不会过度增强，图像保真度高。

Description

基于二维伽马校正和色调映射的图像增强方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于二维伽马校正和色调映射的图像增强方法及系统。

背景技术

随着现代外科手术向着微创化发展，高清电子医用内窥镜已经成为治愈人体疾病必需的医疗器械，但内窥镜成像过程中，由于摄像装置和腹腔环境的复杂性、电子噪声、干扰等因素的影响，获取的内窥镜图像不可避免的出现降质和退化，为了改善图像的视觉效果，抑制噪声，增强图像色彩和细节，在内窥镜图像处理器中加入图像增强算法，对色彩、亮度以及细节进行增强以改善内窥镜图像成像质量，使之更适合医生观察和做出诊断。

目前内窥镜图像血管增强的算法主要有：基于直方图均衡的方法；基于多光谱成像的方法；基于Retinex理论的方法。基于直方图的方法会使增强后的图像灰度级减少，导致图像细节的丢失并且会增加噪声。基于多光谱成像的方法会导致图像的颜色失真并且算法的复杂度很高。基于Retinex理论的方法有效改善图像亮度和对比度，但通常会出现饱和度失真而且会因为照度不均而出现光晕伪影现象。

1.基于直方图均衡化的方法

由于其简单易行，是很多图像处理系统中都有应用。直方图均衡化方法的主要思想是将原始图像的灰度变成均匀分布在全部灰度范围内，使得暗区域的灰度值拉伸，提高暗区域像素对比度，因此暗区域的细节信息更加清晰突出。Kim等人提出一种分段直方图均衡化方法，分段即将直方图区间进行分段，分段的中间值为整幅图像的像素均值，然后分别对这两段直方图中的灰度值重新均匀分布到区间内，从而防止图像的整体亮度过度增强。Stark提出一种基于全局直方图均衡化,通过使用不同形式的累计分布函数来自适应地改善低照度图像的对比度。Wang提出在直方图均衡化之前通过权重和阈值来修正图像直方图，但是直方图均衡化可能会导致过度增强和伪影的出现。

2.基于多光谱成像的方法

目前内窥镜图像多光谱成像方法主要有NBI、FICE和I-Scan三种技术。其中NBI是一种利用窄带光照明的硬件图像增强技术，在光源方面，需要一片NBI滤光片放在氙灯和一片红绿蓝旋转滤光片之间。通过移动NBI滤光片，光源穿过NBI滤光片光轴，和RGB旋转滤光片，照明光源从红绿蓝宽光谱转换成窄带光谱。因此需要专业的硬件设备，获取较为困难。对于FICE和I-Scan技术都是软件增强方法。其中FICE技术是由日本富士能公司开发的一种智能分光比色技术。通过计算选择若干个特定波长处的反射强度来重构彩色图像，以增强感兴趣目标，它通过选择性处理对临床意义大的光波信息，以改善病杜与周围组织结构、细微血管与周围组织间的对比度，增加了浅表病灶的检出率。但是此技术在使用前需对内窥镜系统进行严格定标，条件严格，且增强图像的颜色存在严重失真。I-Scan技术：它主要通过三个步骤来增强所获取的内窥镜图像。首先是表层亮度增强，即增强图像中表层黏膜血管组织的亮区和暗区的强度；其次是对比度增强，即通过比较邻域的强度来增强图像中不平滑区域附近的强度；最后是色调增强，即把彩色图像分解成三个分量的图像，将各分量图像釆用特定算法进行色调增强以后再重新合成彩色图像，从而可以更清晰地显示较多细节。但是，算法较为复杂，用于图像实时显示时会导致图像更新速度较慢，而且算法单一，对不同部位病变及不同程度的病变处理效果不一致，适用范围具有一定的局限性。

此外，动态光谱成像技术对图像的处理是光学处理的过程，主要着眼于消化道黏膜表面的微细腺管形态及微血管形态，使传统内窥镜成像技术条件下不能识别的异常组织变得清晰可辨，提高诊断种瘤性病变的精度与效率十分有利。但是存在处理图像的颜色失真、需要的硬件条件支持、适用范围的局限性等一些不足。

3.基于Retinex理论的方法

Retinex的基本思想是人眼观察到的像素强度由该像素点的光照和物体的反射性质相互作用得到的，基本原理是将图像表示成光照图像与反射图像相互作用的结果，根据其原理可知只需从原图像去除光照图像造成的影响，就可得到物体本来的样子即反射图像。Jobson等人提出了单尺度Retinex算法，该方法根据人类视觉系统的特性，将原图像的亮度变成对数形式，这样光照分量与反射分量就是相加关系，运算更加简单易行，然后将人眼观察的图像通过高斯环绕函数估计得到光照分量，根据光照分量得到对数形式的增强图像，然后取反对数得到最终的增强图像。在单尺度Retinex的基础上，Jobson提出了多尺度Retinex算法,该算法考虑了不同大小的高斯滤波对图像的增强效果，一般使用三个尺度，分别得到大中小三个尺度下的增强图像，再将这三幅图像通过不同的权重线性加权，得到最终的增强结果，该方法吸取了SSR算法在不同尺度下所表现出的优点，很好地恢复了图像细节和颜色。Lee等人在多尺度Retinex的基础上提出了一种自适应的图像增强方法，根据输入图像来决定每个尺度下图像的权重，然后对图像进行颜色校正得到最终的增强图像。虽然基于Retinex理论的算法可以有效地增强图像，但是计算量相当的大。

因此，鉴于现有算法增强内窥镜图像存在的颜色失真、增强不够、局部亮度区域过度增强导致图像细节的丢失、增强图像对比度的同时导致图像背景噪声增加的问题，提出一种基于二维伽马校正和色调映射的图像增强方法及系统，解决现有技术中存在的问题，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于二维伽马校正和色调映射的图像增强方法及系统，该方法提升了内窥镜图像的亮度和色度，使原来看不见的暗区变得清晰可见并且不会过度增强，图像保真度高。

为了实现上述目的，本发明采用如下技术方案：

基于二维伽马校正和色调映射的图像增强方法，包括以下步骤：

S101：获取需要进行图像增强处理的原始图像；

S102：将原始图像从RGB色域空间转换为HSV色域空间，对V通道进行二维伽马校正处理得到亮度增强后的V分量后，合并HSV通道并转换到RGB色域空间，得到亮度增强的第一图像；

S103：在第一图像的RGB通道上进行全局自适应的色调映射，得到图像亮度和色调增强的第二图像；

S104：将第二图像从RGB色域空间转换为YCrCb色域空间，通过离散小波变换将Y通道分为高频分量和低频分量，对高频分量进行去噪处理，对低频分量进行限制对比度自适应直方图均衡化处理，将处理后的高频分量和处理后的低频分量通过逆离散小波变换进行合并，得到处理后的Y通道；

S105：合并YCrCb通道并转换到RGB色域空间，得到亮度、色调和对比度均增强的最终增强图像。

可选的，S102中的二维伽马校正处理的具体内容为：

通过多尺度高斯函数卷积得到原始图像的光照分量，把得到的光照分量输入二维伽马函数中得到亮度增强后的V分量。

可选的，S102中，二维伽马函数的公式如下：

其中，I(x,y)表示输入图像的像素强度，O(x,y)为输出图像像素强度，(x,y)表示像素点的坐标，γ为用于亮度增强的自适应伽马参数，定义为：

其中，L(x,y)表示从输入图像中估计出的光照分量，定义为：

其中，G_i(x,y)为高斯函数，N为正整数且大于零，ω_i＝1/N,i＝1,2,...,N；高斯函数定义为：

其中，ρ为归一化参数，c为尺度因子。

可选的，S103中，根据韦伯-费希纳定律，将亮度变成相应对数形式，全局自适应色调映射的定义如下：

其中，L_w(x,y)为输入图像的亮度值，L_g(x,y)为全局自适应色调映射输出，L_wmax为输入图像的最大亮度值，

为对数平均亮度值且定义为：

其中，M为图像中的总像素数，δ是避免图像中存在黑色像素时出现奇异性的较小值。

可选的，S104中的对低频分量进行限制对比度自适应直方图均衡化处理包括以下内容：

1)将第二图像分解成大小相等的矩形块；

2)对每个矩形块进行方图创建、剪裁和重新分配的直方图调整；

3)通过剪裁直方图的累积分布函数得到映射函数；

4)在矩形块之间进行双线性插值去除块伪影。

可选的，S104中采用改进后的混合中值滤波对高频分量进行去噪处理。

可选的，S101中的原始图像为内窥镜图像。

基于二维伽马校正和色调映射的图像增强系统，应用上述的基于二维伽马校正和色调映射的图像增强方法，包括依次连接的图像获取模块、亮度增强模块、亮度和色调增强模块、对比度增强模块；

图像获取模块，用于获取需要进行图像增强处理的原始图像；

亮度增强模块，将原始图像从RGB色域空间转换为HSV色域空间，对V通道进行二维伽马校正处理得到亮度增强后的V分量后，合并HSV通道并转换到RGB色域空间，得到亮度增强的第一图像；

亮度和色调增强模块，在第一图像的RGB通道上进行全局自适应的色调映射，得到图像亮度和色调增强的第二图像；

对比度增强模块，将第二图像从RGB色域空间转换为YCrCb色域空间，通过离散小波变换将Y通道分为高频分量和低频分量，对高频分量进行去噪处理，对低频分量进行限制对比度自适应直方图均衡化处理，将处理后的高频分量和处理后的低频分量通过逆离散小波变换进行合并，得到处理后的Y通道；合并YCrCb通道并转换到RGB色域空间，得到亮度、色调和对比度均增强的第三图像。

可选的，还包括增强图像输出模块，与对比度增强模块的输出端连接，用于输出增强后的图像。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于二维伽马校正和色调映射的图像增强方法及系统：使用二维伽马校正克服了普通伽马校正只能简单地提升图像亮度而不能纠正内窥镜图像的光照不均匀；在整体亮度提升后进行全局自适应色调映射来有效地提升图像的亮度和色度；亮度和色调得到提升后，图像的对比度也需要被提高来进一步增强图像质量；能够很好提升内窥镜图像的亮度和色度，使原来看不见的暗区变得清晰可见并且不会过度增强，图像保真度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的基于二维伽马校正和色调映射的图像增强方法流程图；

图2为本发明提供的基于二维伽马校正和色调映射的图像增强算法流程图；

图3为本发明提供的不同光照条件下二维伽马函数校正后图像亮度值；

图4为本发明提供的混合中值滤波器考虑滑动窗口中的单元结构示意图；

图5为本发明提供的基于二维伽马校正和色调映射的图像增强系统结构框图；

图6为本发明提供的不同算法处理后的图像，其中，6a为原图，6b为直方图均衡化算法处理后的图像，6c为加权分布自适应伽马校正算法处理后的图像，6d为基于二维伽马校正和色调映射的图像增强算法处理后的图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明公开了基于二维伽马校正和色调映射的图像增强方法，包括以下步骤：

S101：获取需要进行图像增强处理的原始图像；

S102：将原始图像从RGB色域空间转换为HSV色域空间，对V通道进行二维伽马校正处理得到亮度增强后的V分量后，合并HSV通道并转换到RGB色域空间，得到亮度增强的第一图像；

S103：在第一图像的RGB通道上进行全局自适应的色调映射，得到图像亮度和色调增强的第二图像；

S104：将第二图像从RGB色域空间转换为YCrCb色域空间，通过离散小波变换将Y通道分为高频分量和低频分量，对高频分量进行去噪处理，对低频分量进行限制对比度自适应直方图均衡化处理，将处理后的高频分量和处理后的低频分量通过逆离散小波变换进行合并，得到处理后的Y通道；

S105：合并YCrCb通道并转换到RGB色域空间，得到亮度、色调和对比度均增强的最终增强图像。

在一个具体实施例中，S102中的二维伽马校正处理的具体内容为：

通过多尺度高斯函数卷积得到原始图像的光照分量，把得到的光照分量输入二维伽马函数中得到亮度增强后的V分量。

在一个具体实施例中，S102中，二维伽马函数的公式如下：

其中，I(x,y)表示输入图像的像素强度，O(x,y)为输出图像像素强度，(x,y)表示像素点的坐标，γ为用于亮度增强的自适应伽马参数，定义为：

其中，L(x,y)表示从输入图像中估计出的光照分量，定义为：

其中，G_i(x,y)为高斯函数，N为正整数且大于零，ω_i＝1/N,i＝1,2,...,N；具体的，N取3，ω_i＝1/3,i＝1,2,3，

高斯函数定义为：

其中，ρ为归一化参数，c为尺度因子。具体的c一般取15，80，250。

参照图3所示，为不同光照条件下二维伽马函数校正后图像亮度值。

在一个具体实施例中，S103中，根据韦伯-费希纳定律，将亮度变成相应对数形式，全局自适应色调映射的定义如下：

其中，L_w(x,y)为输入图像的亮度值，L_g(x,y)为全局自适应色调映射输出，L_wmax为输入图像的最大亮度值，

为对数平均亮度值且定义为：

其中，M为图像中的总像素数，δ是避免图像中存在黑色像素时出现奇异性的较小值。

在一个具体实施例中，S104中的对低频分量进行限制对比度自适应直方图均衡化处理包括以下内容：

1)将第二图像分解成大小相等的矩形块；

2)对每个矩形块进行方图创建、剪裁和重新分配的直方图调整；

3)通过剪裁直方图的累积分布函数得到映射函数；

4)在矩形块之间进行双线性插值去除块伪影。

限制对比度自适应直方图均衡化(CLAHE)通过一个剪切点来限制对比度，将每个块的直方图中的峰值截断，剪辑的像素被重新分配到每个灰度级别，剪切点的计算方式如下：

其中，P为每个块的像素数，Q为该块的动态范围，S_max为最大斜率，α为剪辑因子。

剪辑点是调整对比度增强的关键因素，根据内窥镜图像的特点，在这一部分我们将该方法的参数ClipLimit设置为0.8，图块的大小Size为(8,8)。

根据CDF，得到一个映射函数来重新映射图像块的灰度级别，如下式所示：

T(l)＝cdf(l)*l_max (9)

其中，T(l)为重映射函数，l为像素灰度，l_max为块内最大像素值。基于重分布直方图在每个块中的CDF，得到不同的重映射函数。

为了防止阻塞伪影，将每个像素值从周围块的映射函数中插值,即通过双线性插值得到映射的新像素值。

在一个具体实施例中，S104中采用改进后的混合中值滤波对高频分量进行去噪处理。

高频分量存在大量噪声，于是提出在Y分量中分解出的高频分量中进行去噪，得到更高质量的图像。数字图像中的每个像素被视为该点周围相邻像素的中心。中值滤波器使用滑动窗口机制将邻域值从小到大排序，用排序的邻域窗口的中值替换原始像素值。对图像中包含的所有像素重复此过程，生成中值滤波后的新图像。但由于中值滤波器对窗口中的所有元素都进行排序耗时较多，尤其是需要进行大量的数据比较工作，不利于图像快速实时的处理，于是提出一种改进的混合中值滤波器，该滤波器只考虑某些像素作为新值，而不是对邻域像素进行排序并用中值替换目标像素，具体为：

见图4混合中值滤波器考虑滑动窗口中的单元，在3×3像素邻域中，滑动窗口考虑9个总像素中的5个，包括目标像素，其在滑动窗口上形成“X”，如图4所示。然后将5个像素值分离为3个中值元素，将这些中值元素相互比较，以找到替换目标像素的最佳值。

3×3矩阵表示带有9个元素作为过滤像素的滑动窗口，元素E表示滑动窗口所瞄准的中心像素。然后通过式(14)从3个元素中确定替换目标像素的新像素值。该方法使混合中值滤波器比标准中值滤波器具有更好的角点保持特性且缩短了处理时间。

h₁＝median(A,E,I) (11)

h₂＝median(C,E,G) (12)

h₃＝E (13)

New pixel value＝median(h₁,h₂,h₃) (14)

上述中，A、B、C、D、E、F、G、H、I为3×3矩阵带有的9个元素，median()为中值函数。

在一个具体实施例中，S101中的原始图像为内窥镜图像。

参照图2所示，本发明公开了基于二维伽马校正和色调映射的图像增强的具体算法流程。

参照图5所示，本发明公开了基于二维伽马校正和色调映射的图像增强系统，应用上述的基于二维伽马校正和色调映射的图像增强方法，包括依次连接的图像获取模块、亮度增强模块、亮度和色调增强模块、对比度增强模块；

图像获取模块，用于获取需要进行图像增强处理的原始图像；

亮度增强模块，将原始图像从RGB色域空间转换为HSV色域空间，对V通道进行二维伽马校正处理得到亮度增强后的V分量后，合并HSV通道并转换到RGB色域空间，得到亮度增强的第一图像；

亮度和色调增强模块，在第一图像的RGB通道上进行全局自适应的色调映射，得到图像亮度和色调增强的第二图像；

对比度增强模块，将第二图像从RGB色域空间转换为YCrCb色域空间，通过离散小波变换将Y通道分为高频分量和低频分量，对高频分量进行去噪处理，对低频分量进行限制对比度自适应直方图均衡化处理，将处理后的高频分量和处理后的低频分量通过逆离散小波变换进行合并，得到处理后的Y通道；合并YCrCb通道并转换到RGB色域空间，得到亮度、色调和对比度均增强的第三图像。

在一个具体实施例中，还包括增强图像输出模块，与对比度增强模块的输出端连接，用于输出增强后的图像。

参照图6所示，公开了不同算法处理后的图像，其中，6a为原图，6b为直方图均衡化算法处理后的图像，6c为加权分布自适应伽马校正算法处理后的图像，6d为基于二维伽马校正和色调映射的图像增强算法处理后的图像；从上述图像可以看出，本发明提供的增强方法：使用二维伽马校正克服了普通伽马校正只能简单地提升图像亮度而不能纠正内窥镜图像的光照不均匀；在整体亮度提升后进行全局自适应色调映射来有效地提升图像的亮度和色度；亮度和色调得到提升后，图像的对比度也需要被提高来进一步增强图像质量；能够很好提升内窥镜图像的亮度和色度，使原来看不见的暗区变得清晰可见并且不会过度增强，图像保真度高。

对所公开的实施例的上述说明，按照递进的方式进行，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.基于二维伽马校正和色调映射的图像增强方法，其特征在于，包括以下步骤：

S101：获取需要进行图像增强处理的原始图像；

S102：将原始图像从RGB色域空间转换为HSV色域空间，对V通道进行二维伽马校正处理得到亮度增强后的V分量后，合并HSV通道并转换到RGB色域空间，得到亮度增强的第一图像；

S103：在第一图像的RGB通道上进行全局自适应的色调映射，得到图像亮度和色调增强的第二图像；

S104：将第二图像从RGB色域空间转换为YCrCb色域空间，通过离散小波变换将Y通道分为高频分量和低频分量，对高频分量进行去噪处理，对低频分量进行限制对比度自适应直方图均衡化处理，将处理后的高频分量和处理后的低频分量通过逆离散小波变换进行合并，得到处理后的Y通道；

S105：合并YCrCb通道并转换到RGB色域空间，得到亮度、色调和对比度均增强的最终增强图像。

2.根据权利要求1所述的基于二维伽马校正和色调映射的图像增强方法，其特征在于，

S102中的二维伽马校正处理的具体内容为：

通过多尺度高斯函数卷积得到原始图像的光照分量，把得到的光照分量输入二维伽马函数中得到亮度增强后的V分量。

3.根据权利要求2所述的基于二维伽马校正和色调映射的图像增强方法，其特征在于，

S102中，二维伽马函数的公式如下：

其中，I(x，y)表示输入图像的像素强度，O(x，y)为输出图像像素强度，(x，y)表示像素点的坐标，γ为用于亮度增强的自适应伽马参数，定义为：

其中，L(x，y)表示从输入图像中估计出的光照分量，定义为：

其中，G_i(x，y)为高斯函数，N为正整数且大于零，ω_i＝1/N，i＝1，2，...，N；高斯函数定义为：

其中，ρ为归一化参数，c为尺度因子。

4.根据权利要求1所述的基于二维伽马校正和色调映射的图像增强方法，其特征在于，

S103中，根据韦伯-费希纳定律，将亮度变成相应对数形式，全局自适应色调映射的定义如下：

其中，L_w(x，y)为输入图像的亮度值，L_g(x，y)为全局自适应色调映射输出，L_wmax为输入图像的最大亮度值，

为对数平均亮度值且定义为：

其中，M为图像中的总像素数，δ是避免图像中存在黑色像素时出现奇异性的较小值。

5.根据权利要求1所述的基于二维伽马校正和色调映射的图像增强方法，其特征在于，

S104中的对低频分量进行限制对比度自适应直方图均衡化处理包括以下内容：

1)将第二图像分解成大小相等的矩形块；

2)对每个矩形块进行方图创建、剪裁和重新分配的直方图调整；

3)通过剪裁直方图的累积分布函数得到映射函数；

4)在矩形块之间进行双线性插值去除块伪影。

6.根据权利要求1所述的基于二维伽马校正和色调映射的图像增强方法，其特征在于，

S104中采用改进后的混合中值滤波对高频分量进行去噪处理。

7.根据权利要求1所述的基于二维伽马校正和色调映射的图像增强方法，其特征在于，

S101中的原始图像为内窥镜图像。

8.基于二维伽马校正和色调映射的图像增强系统，其特征在于，应用权利要求1-7任一项所述的基于二维伽马校正和色调映射的图像增强方法，包括依次连接的图像获取模块、亮度增强模块、亮度和色调增强模块、对比度增强模块；

图像获取模块，用于获取需要进行图像增强处理的原始图像；

亮度增强模块，将原始图像从RGB色域空间转换为HSV色域空间，对V通道进行二维伽马校正处理得到亮度增强后的V分量后，合并HSV通道并转换到RGB色域空间，得到亮度增强的第一图像；

亮度和色调增强模块，在第一图像的RGB通道上进行全局自适应的色调映射，得到图像亮度和色调增强的第二图像；

对比度增强模块，将第二图像从RGB色域空间转换为YCrCb色域空间，通过离散小波变换将Y通道分为高频分量和低频分量，对高频分量进行去噪处理，对低频分量进行限制对比度自适应直方图均衡化处理，将处理后的高频分量和处理后的低频分量通过逆离散小波变换进行合并，得到处理后的Y通道；合并YCrCb通道并转换到RGB色域空间，得到亮度、色调和对比度均增强的第三图像。

9.根据权利要求8所述的基于二维伽马校正和色调映射的图像增强系统，其特征在于，

还包括增强图像输出模块，与对比度增强模块的输出端连接，用于输出增强后的图像。

Images