CN113989147A - 基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法 - Google Patents

Abstract

本发明公开了一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，涉及图像增强技术领域，包括：获取内窥镜图像；采用HSV色彩模型，对内窥镜图像进行局部亮度调整及饱和度校正；将图像转换到YCbCr空间，对Y分量采用限制对比度的自适应直方图均衡方法进行低频背景增强；进行canny纹理检测，利用改进的非线性反锐化掩模进行高频细节增强，得到改进后的内窥镜增强图像。本发明的图像增强方法，通过将直方图均衡方法、canny边缘检测和改进的非线性反锐化掩模进行创新性的结合，有效平衡了背景强度的低频分量，增强了轮廓细节，在自然的增强图像对比度、揭示血管等细节信息的同时，保留了图像原有颜色，减弱了噪声。

Description

基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法

技术领域

本发明涉及图像增强技术领域，更具体的说是涉及一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法。

背景技术

由于光照条件的限制和手术环境的复杂性，内窥镜采集到的图像往往不够清晰，对比度低，影响医生的诊断。因此，有必要增强内窥镜图像的对比度，以提供直观、清晰的信息，帮助医生更容易地解读图像。

现代图像增强技术可分为三类，即基于Retinex的方法、基于反锐化掩模(UM)的方法和基于非线性强度变换(NIT)的方法。基于Retinex的方法通常会产生光晕效应，并且算法相对复杂和耗时；基于UM的细节增强方法分别处理高频部分和低频部分，噪声也属于高频，因此对噪声敏感；伽马校正是一种典型的NIT，但一般只针对改善图像亮度；HE均衡也是NIT，其映射函数是根据直方图得到的，但在增强图像中容易引入伪影。

1.基于Retinex的方法

Retinex理论的基础理论是物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即retinex是以色感一致性(颜色恒常性)为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，Retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。目前有单尺度Retinex和多尺度Retinex等方法，但这些方法都存在一定的缺陷：1)在强光阴影过渡区容易出现光晕现象，主要是由于高斯算子不能在过渡区很好的估计光照所致。2)对比较亮的图像处理欠佳，主要原因是对数化处理压缩了亮区域的显示范围，导致其细节弱化。

2.基于非线性强度变换(NIT)的方法

基于NIT的方法包括直方图均衡、伽马校正以及S型函数等，其中限制对比度的自适应直方图均衡通过限制直方图的高度低于剪辑限制来减轻传统HE的过度增强效果。但是，剪辑限制不能总是适用于具有不同照明的所有区域，因此需要一种自适应的剪切阈值计算方法。伽马校正主要对低照度图像效果良好，但无法揭示更多细节信息，且当参数不可调和自适应时，处理图像的质量就不那么理想了。

3.基于反锐化掩模(UM)的方法

传统的线性反锐化掩模是一种常用的图像增强算法，它是通过滤波算法得到图像的低频模糊蒙版，将图像减去所得的低频得到图像高频，对高频进行增强。由于噪声也属于图像高频，因此它在增强图像的同时会放大图像噪声或使边缘部分产生过冲现象，导致图像质量下降。

因此，针对现有技术中对于内窥镜图像存在的噪声放大、伪影以及局部颜色失真问题，如何增强内窥镜图像的对比度，帮助医生更容易的解读图像是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，直方图均衡方法有效平衡了背景强度的低频分量，而创新性的结合canny边缘检测和改进的非线性反锐化掩模增强了轮廓细节，在自然的增强图像对比度、揭示血管等细节信息的同时，保留了图像原有颜色，减弱了噪声。

为了实现上述目的，本发明提供如下技术方案：

一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，包括以下步骤：

获取内窥镜图像；

将所述内窥镜图像的颜色空间由RGB空间转换到HSV空间，对所述内窥镜图像进行局部亮度调整及饱和度校正，合并HSV并转换回RGB；

将颜色空间由RGB空间转换到YCbCr空间，对Y分量采用限制对比度的自适应直方图均衡方法进行低频背景增强；

进行canny纹理检测，利用改进的非线性反锐化掩模进行高频细节增强，合并YCbCr并转换回RGB，得到内窥镜增强图像。

上述的技术方案公开了本发明的内窥镜图像增强方法的具体步骤，直方图均衡方法可以有效平衡背景强度的低频分量，而改进的非线性反锐化掩模技术可以有效避免噪声，增强图像的对比度并调整局部亮度，解决现有技术中存在的问题。

优选的，对所述内窥镜图像进行局部亮度调整，包括：

提取亮度分量V，进行局部亮度调整，得到调整后的亮度分量V'为：

其中，参数z的取值范围划分如下：

L表示亮度值。

优选的，对所述内窥镜图像进行饱和度校正，包括：

提取饱和度分量S，采用自适应线性拉伸方法进行饱和度校正，得到校正之后的饱和度分量S'为：

其中：max(R,G,B)、min(R,G,B)、mean(R,G,B)分别是RGB色彩空间中相应像素的R、G和B颜色分量的最大值、最小值和平均值。

上述的技术方案中公开了对内窥镜图像进行局部亮度调整及饱和度校正的具体过程，解决了内窥镜图像存在的亮度不适应的问题，对饱和度分量进行校正，拉伸到合适的水平，校正颜色失真，使图像看起来更自然，从而将彩色内窥镜图像增强为人类视觉可接受的图像。

优选的，进行低频背景增强，包括：

对亮度分量Y进行小波变换，得到背景强度的低频分量和高频分量；

采用限制对比度的自适应直方图均衡方法，平衡背景强度的低频分量；

通过小波反变换，将图像转换为空间域，得到反变换后的Y分量。

上述的技术方案公开了进行低频背景增强的具体过程，对内窥镜图像进行局部亮度调整及饱和度校正后，图像的对比度会相应的降低，采用小波变换帮助处理背景强度，采用限制对比度的自适应直方图均衡方法可以增强背景细节，扩展动态范围。

优选的，进行高频细节增强，包括以下步骤：

对所述反变换后的Y分量进行均值滤波，得到模糊的低频分量M，利用差分方程作差得到所述反变换后的Y分量的高频部分F(x,y)：

其中：I(x,y)是内窥镜图像的Y分量，M(x,y)是反变换后的Y分量的低频部分，c表示差分方程控制系数，0.5＜c＜1；

将得到的F(x,y)与非线性增强因子G相乘再加回到反变换后的Y分量中，得到高频细节增强后的Y分量I'为：

I'＝I(x,y)+G·F(x,y) (5)；

其中：

呈S型曲线；I_max表示最大灰度值，b是增益因子的系数，通过canny算子检测纹理判断其取值；

α是截止值，

β是增益值，

γ是归一化像素均值，

其中：n表示像素数，x_i表示第i个位置的像素值，x_max是最大像素值；

合并YCbCr色彩空间，转换回RGB空间显示内窥镜增强图像。

上述的技术方案公开了进行高频细节增强的具体过程，进行canny边缘检测，在抑制噪声的同时增强更多纹理信息，通过使用提出的S型函数自适应地控制不同像素的权重，使图像平坦区域和边缘部分进行不同程度的增强。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，具有以下有益技术效果：

(1)本发明的内窥镜图像增强方法，创新性的结合了直方图均衡和改进的非线性反锐化掩模技术，直方图均衡可以有效平衡背景强度的低频分量，增强背景细节，扩展动态范围；改进的非线性反锐化掩模技术可以有效避免噪声的产生，并有效增强图像的对比度和调整局部亮度；

(2)本发明的内窥镜图像增强方法中，低频背景和高频细节得到不同的增强，在小波域未对高频处理，避免高频噪声的产生；同时在空间域对canny算子检测到的细节进行非线性反锐化掩模，创新性的提出了非线性S型传递函数，考虑了不同像素的权重问题，自适应的增强了血管组织等细节信息，相比传统的反锐化掩模方法有效的减弱了噪声的产生；

(3)采用本发明的内窥镜图像增强方法，可以使血管更加清晰突出，在自然的增强图像对比度、揭示血管等细节信息的同时不改变血管和组织的颜色，保证了图像的真实度而且图像增强效果自然。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明的内窥镜图像增强方法的流程图；

图2是纹理检测和改进的非线性反锐化掩模结合进行图像增强的流程图；

图3是一实施例中获取的内窥镜图像的原图；

图4是对内窥镜图像的原图进行图像增强后的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，如图1所示，包括以下步骤：

获取内窥镜图像，如图3所示；

将内窥镜图像的颜色空间由RGB空间转换到HSV空间，对内窥镜图像进行局部亮度调整及饱和度校正，合并HSV并转换回RGB；

将颜色空间由RGB空间转换到YCbCr空间，对Y分量采用限制对比度的自适应直方图均衡方法进行低频背景增强；

进行canny纹理检测，利用改进的非线性反锐化掩模进行高频细节增强，合并YCbCr并转换回RGB，得到内窥镜增强图像。

本发明的内窥镜图像增强方法包含三个部分：局部亮度调整及饱和度校正、低频背景增强以及高频细节增强。

1.局部亮度调整及饱和度校正

内窥镜图像存在亮度不适应的问题，因此需要调整图像亮度达到合适的水平。使用HSV色彩模型，可以将彩色内窥镜图像增强为人类视觉可接受的图像。

首先，将图像颜色空间由RGB转换为HSV，提取亮度分量V，利用式(1)非线性传递函数进行局部亮度调整，得到调整后的亮度分量V'为：

非线性传递函数取决于参数z，该参数取决于图像并通过使用图像直方图进行计算，不同的z值对应不同的变换曲线，经过实际的实验分析，阈值取值范围划分如下：

L表示亮度值。

由于亮度调整之后会对饱和度产生一定的影响，因此需要对饱和度分量S进行校正，以拉伸到合适的水平，校正颜色失真，使图像看起来更自然。

提取饱和度分量S，采用自适应线性拉伸方法进行饱和度校正，得到校正之后的饱和度分量S'为：

其中：max(R,G,B)、min(R,G,B)、mean(R,G,B)分别是RGB色彩空间中相应像素的R、G和B颜色分量的最大值、最小值和平均值。

对图像进行上述处理后，图像的对比度会相应降低。故下面从背景层和细节层进行对比度增强，CLAHE可以有效平衡背景强度的低频分量，而反锐化掩膜(UM)可以很好的增强细节信息，本发明提出的内窥镜图像增强方法利用了CLAHE和UM的优势，以增强细节并同时避免伪像。

2.低频背景增强

为了保留内窥镜图像的颜色信息，将图像转换到YCbCr空间。对亮度分量Y进行小波变换，得到背景强度的低频分量和高频分量；采用限制对比度的自适应直方图均衡方法，平衡背景强度的低频分量，增强背景细节，扩展动态范围；之后，通过小波反变换，将图像转换为空间域，得到反变换后的Y分量。

3.高频细节增强

低频部分包含的是图像的背景，而内窥镜图像的血管等纹理细节属于高频成分，因此提出改进的非线性反锐化掩模进行轮廓细节增强，并且在这之前进行canny边缘检测，在抑制噪声的同时增强更多纹理信息。Canny边缘检测算法可以分为以下5个步骤：应用高斯滤波来平滑图像，目的是去除噪声；找寻图像的强度梯度；应用非最大抑制技术来消除边误检；应用双阈值的方法来决定可能的边界；利用滞后技术来跟踪边界。该算法通过使用提出的S型函数来自适应地控制不同像素的权重，使图像平坦区域和边缘部分进行不同程度的增强，具体流程如图2所示。

对反变换后的Y分量进行均值滤波，得到模糊的低频分量M，利用差分方程作差得到反变换后的Y分量的高频部分F(x,y)：

其中：I(x,y)是内窥镜图像的Y分量，M(x,y)是反变换后的Y分量的低频部分，c表示差分方程控制系数，0.5＜c＜1；差分方程可以有效控制原始图像和模糊图像的相对权重，参数可控。

将得到的F(x,y)与非线性增强因子G相乘再加回到反变换后的Y分量中，得到高频细节增强后的Y分量I'为：

I'＝I(x,y)+G·F(x,y) (5)；

其中：

呈S型曲线，自适应控制增强幅度，该非线性转换函数实现了对比度增强效果；I_max表示最大灰度值，b是增益因子的系数，通过canny算子检测纹理判断其取值；

α是截止值，确定输入曲线的中点，

β是增益值，控制曲线的弯曲程度，β越大曲线越弯曲，

γ是归一化像素均值，γ在保证增益值和截止值的同时能适当使曲线上升地更加平缓，更加符合低对比度内窥镜的需求，

其中：n表示像素数，x_i表示第i个位置的像素值，x_max是最大像素值；

合并YCbCr色彩空间，并转换回RGB空间，得到如图4所示的内窥镜增强图像。

本发明提出的内窥镜图像增强方法中，低频背景和高频细节得到了不同的增强，在小波域未对高频处理，避免了高频噪声的产生；同时在空间域对canny算子检测到的细节进行非线性反锐化掩模，创新性的提出了非线性S型传递函数，考虑了不同像素的权重问题，自适应的增强了血管组织等细节信息，并且相比传统的反锐化掩模方法有效的减弱了噪声的产生。如图4所示，对原始内窥镜图像进行图像增强后，本方法可以使血管更加清晰突出，而且不改变血管和组织的颜色，保证了图像的真实度，图像增强效果更加自然。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，其特征在于，包括以下步骤：

获取内窥镜图像；

将所述内窥镜图像的颜色空间由RGB空间转换到HSV空间，对所述内窥镜图像进行局部亮度调整及饱和度校正，合并HSV并转换回RGB；

将颜色空间由RGB空间转换到YCbCr空间，对Y分量采用限制对比度的自适应直方图均衡方法进行低频背景增强；

进行canny纹理检测，利用改进的非线性反锐化掩模进行高频细节增强，合并YCbCr并转换回RGB，得到内窥镜增强图像。

2.根据权利要求1所述的一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，其特征在于，对所述内窥镜图像进行局部亮度调整，包括：

提取亮度分量V，进行局部亮度调整，得到调整后的亮度分量V'为：

其中，参数z的取值范围划分如下：

L表示亮度值。

3.根据权利要求1所述的一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，其特征在于，对所述内窥镜图像进行饱和度校正，包括：

提取饱和度分量S，采用自适应线性拉伸方法进行饱和度校正，得到校正之后的饱和度分量S'为：

其中：max(R,G,B)、min(R,G,B)、mean(R,G,B)分别是RGB色彩空间中相应像素的R、G和B颜色分量的最大值、最小值和平均值。

4.根据权利要求1所述的一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，其特征在于，进行低频背景增强，包括：

对亮度分量Y进行小波变换，得到背景强度的低频分量和高频分量；

采用限制对比度的自适应直方图均衡方法，平衡背景强度的低频分量；

通过小波反变换，将图像转换为空间域，得到反变换后的Y分量。

5.根据权利要求4所述的一种基于直方图均衡和改进反锐化掩模的内窥镜图像增强方法，其特征在于，进行高频细节增强，包括以下步骤：

对所述反变换后的Y分量进行均值滤波，得到模糊的低频分量M，利用差分方程作差得到所述反变换后的Y分量的高频部分F(x,y)：

其中：I(x,y)是内窥镜图像的Y分量，M(x,y)是反变换后的Y分量的低频部分，c表示差分方程控制系数，0.5＜c＜1；

将得到的F(x,y)与非线性增强因子G相乘再加回到反变换后的Y分量中，得到高频细节增强后的Y分量I'为：

I'＝I(x,y)+G·F(x,y) (5)；

其中：

呈S型曲线；I_max表示最大灰度值，b是增益因子的系数，通过canny算子检测纹理判断b的取值；

α是截止值，

β是增益值，

γ是归一化像素均值，

其中：n表示像素数，x_i表示第i个位置的像素值，x_max是最大像素值；

合并YCbCr色彩空间，转换回RGB空间显示内窥镜增强图像。

Images