CN114331896A - 一种基于图像分解和光谱变换的图像增强方法、系统 - Google Patents

Abstract

本发明公开了一种基于图像分解和光谱变换的图像增强方法、系统，涉及图像处理技术领域，包括：对原图进行路径分离，分为噪声层图像和基础层图像；对基础层图像进行细节提取，分为结构层图像和细节层图像；对结构层图像进行截断的自适应亮度拉伸；对细节层图像进行去高亮处理以及细节颜色处理；对细节颜色处理后的细节层图像进行细节增强；将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；将处理后的基础层图像和所述噪声层图像进行等比例融合，输出结果图像。本发明尤其适用于医学中的内窥镜图像，能够自适应放大内窥镜图像中的细节，消除噪声影响，解决局部模块过亮或过暗问题。

Description

一种基于图像分解和光谱变换的图像增强方法、系统

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于图像分解和光谱变换的图像增强方法、系统。

背景技术

目前内窥镜图像增强的算法主要有：基于机器学习的方法，基于retinex理论的方法，基于同态滤波的方法。

基于多光谱成像方法，在内窥镜图像增强技术上目前主要有NBI、FICE和I-Scan三种技术，它们均以增强血管特征来达到实时处理。NBI是一种利用窄带光照明的硬件图像增强技术，是通过特定波长的光学滤镜，将蓝、绿、红三个波段范围变窄，其中蓝为(415±15)nm，绿为(540±10)nm，红为(600±10)nm。三种波段穿透黏膜的深度各不相同，因此NBI技术使得血管得到清晰的显示。但是其波段较为单一，而且硬件复杂。而FICE和I-Scan均为软件增强技术。FICE通过计算选择若干个特定波长处的反射强度来重构彩色图像，以增强感兴趣目标。它在使用前需对内窥镜系统进行严格定标，且增强图像的颜色与真实颜色差别很大；而I-Scan技术不仅可以选择不同波长组合来显示图像，还引入了表面增强和对比度增强两种方式，但算法较为复杂。

基于retinex理论的方法，Retinex算法由美国物理学家提出Retinex理论的基础是人类视觉系统的色彩恒常性，人类视觉感知系统的色知觉存在“先入为主”的特性，即光源条件发生改变，视网膜接收到的彩色信息也会被人们的大脑驳回。Retinex理论的依据就是原始图像可以分解为照射图像和反射图像。人们根据对数域进行操作可以把乘法运算变成简单的加法运算，进而出现了单尺度retinex算法、多尺度retinex算法以及待色彩恢复的多尺度retinex算法等。但这些方法都存在一定的缺陷：在强光阴影过渡区容易出现光晕现象，主要是由于高斯算子不能在过渡区很好的估计光照所致。对比较亮的图像处理欠佳，主要原因是对数化处理压缩了亮区域的显示范围，导致其细节弱化。

基于深度学习的方法，近几年随着人工智能的兴起，采用神经网络对图像增强的算法也越来越多，适用深度学习对图像进行增强也渐渐成为主流，网络灵活而且强大，训练效果也明显，增强的效率高。但在对于内窥镜图像中，前期准备会比较麻烦，很难找到足够的含有特殊病灶和血管轮廓以及对应的无特殊病灶和血管轮廓的图像来满足深度学习的训练要求，而且计算量会很大。

因此，如何对图像进行图像增强，尤其是对医学中内窥镜图像进行细节放大，噪声消除等，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中对于内窥镜图像存在的噪声伴随对比度一起放大、细节丢失以及局部模块过亮或过暗问题，创新性的提出了基于图像分解和光谱变换的图像增强方法，尤其适用于对内窥镜血管图像进行图像增强。

为了实现上述目的，本发明提供如下技术方案：

一种基于图像分解和光谱变换的图像增强方法，包括以下步骤：

步骤1、对输入的原图进行路径分离，将原图分为噪声层图像和基础层图像；

步骤2、对所述基础层图像进行细节提取，将基础层图像分为结构层图像和细节层图像；

步骤3、对所述结构层图像进行截断的自适应亮度拉伸；

步骤4、对所述细节层图像进行去高亮处理以及细节颜色处理；

步骤5、获取比例因子α，对细节颜色处理后的细节层图像进行细节增强；

步骤6、将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；

步骤7、将所述处理后的基础层图像和所述噪声层图像进行等比例融合，输出结果图像。

可选的，所述对输入的原图进行路径分离的方法为：

步骤1.1、对原图进行全局噪声估计，获取全局噪声参数；

步骤1.2、将所述全局噪声参数用于全变分的结构纹理分解方法中，得到噪声层图像和基础层图像。

可选的，使用加权最小二乘法对所述基础层图像进行细节提取。

可选的，在对所述结构层图像进行截断的自适应亮度拉伸时，将图像转换为HSI空间，在I通道进行截断的自适应亮度拉伸。

可选的，对所述细节层图像进行去高亮处理的方法为：

对原图进行预处理增强；

将预处理增强后的图像从RGB转换到CIE-XYZ空间，得到亮度Y；

依据亮度Y得到彩色亮度y；

提取亮度Y大于彩色亮度y的区域，即为高亮点区域；

基于所述高亮点区域和细节层图像，得到去高亮的细节层图像。

可选的，所述细节颜色处理的方法为：

针对去高亮的细节层图像，将R通道红色成分通过直方图修改技术进行抑制，将G通道绿色成分和B通道蓝色成分通过S形曲线进行增强处理。

可选的，所述比例因子α是基于结构层图像和截断的自适应亮度拉伸后的结构层图像所得到的，具体公式为：

其中，std表示图像的标准差，I′_structure表示截断的自适应亮度拉伸后的结构层图像，I_structure表示结构层图像。

可选的，将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合的公式为：I′_base＝I′_structure+α·I′_detail，其中，I′_base表示处理后的基础层图像，I′_structure表示截断的自适应亮度拉伸后的结构层图像，I′_detail表示细节颜色处理后的细节层图像。

可选的，将所述处理后的基础层图像和所述噪声层图像进行等比例融合的公式为：I′＝I′_base+I_noise，其中I表示等比例融合后的输出结果图像，I′_base表示处理后的基础层图像，I_noise表示噪声层图像。

本发明还提供一种基于图像分解和光谱变换的图像增强系统，包括：

路径分离模块，用于对输入的原图进行路径分离，将原图分为噪声层图像和基础层图像；

细节提取模块，用于对所述基础层图像进行细节提取，将基础层图像分为结构层图像和细节层图像；

亮度拉伸模块，用于对所述结构层图像进行截断的自适应亮度拉伸；

颜色处理模块，用于对所述细节层图像进行去高亮处理以及细节颜色处理；

细节增强模块，用于获取比例因子α，对细节颜色处理后的细节层图像进行细节增强；

第一图像融合模块，用于将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；

第二图像融合模块，用于将所述处理后的基础层图像和所述噪声层图像进行等比例融合，输出结果图像。

经由上述的技术方案可知，本发明公开提供了一种基于图像分解和光谱变换的图像增强方法、系统，与现有技术相比，具有以下有益效果：

本发明将原图进行设定的全局噪声估计法结合相对总变分法提取出噪声层，保证图像增强是在噪声抑制的情况下进行，有效的防止了噪声放大。采用加权最小二乘法对基础层分解成结构层和细节层，计算量小且分解效果明显，便于后续的细节增强。对结构层采用了截断的自适应亮度拉伸，防止了部分区域高光拉伸过亮或者部分阴暗区域拉伸模糊。对细节层进行在高亮点去除的基础上做三通道分别改善，解决了内窥镜图像中高亮点的干扰，同时增强了血管的特征和信息，最大程度的丰富了细节。进一步的，提出加权融合的细节层增强(比例)因子，保证了自适应放大内窥镜图像的相关细节。采用本发明方法进行图像处理，尤其适用于医学中的内窥镜图像，能够自适应放大内窥镜图像中的细节，消除噪声影响，解决了局部模块过亮或过暗问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法步骤流程图；

图2为本发明的图像结构变化示意图；

图3为本发明的系统结构示意图；

图4为本发明一种实施例原图；

图5为本发明一种实施例处理后的图像；

图6为本发明另一种实施例原图；

图7为本发明另一种实施例处理后的图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于图像分解和光谱变换的图像增强方法，方法步骤参见图1，图像的结构变化过程参见图2。具体方法为：

步骤1、对输入的原图进行路径分离，将原图分为噪声层图像和基础层图像，具体的：

步骤1.1、对原图进行全局噪声估计，获取全局噪声参数。

采用基于算术平均的图像噪声估计算法，因为图像边缘结构有很强的二阶差分特性，所以图像对拉普拉斯mask的噪声统计是敏感的，即通过两个拉普拉斯mask组成的kernel进行卷积操作。设定的全局噪声参数由下式求得：

其中，*代表卷积算子，W、H分别代表图像的宽度和高度，k为内窥镜图像噪声抑制因子，用于控制细节程度，I^c表示输入图像，N_s表示滤波核，

(x，y)表示图像像素点。

步骤1.2、将所述全局噪声参数用于全变分的结构纹理分解方法中，得到噪声层图像和基础层图像。

在全变分的方法中，输入图像被看成一个基础图和一个噪声图的叠加，公式为：

其中I^c(x,y)表示原图，

表示基础层图像，

表示噪声层图像。

再结合TV正则化，最小化以下目标函数得到基层，该目标函数包括两个部分，第一个是适应于纹理成分的差异项，第二个是基于总变化量的正则化项，用于限制图像的细节，▽表示的是梯度算子，此处的λ^c即为通过设定的内窥镜全局噪声估计的求得的参数ε^c。目标函数为：

步骤2、使用加权最小二乘法对所述基础层图像进行细节提取，将基础层图像分为结构层图像和细节层图像，具体的：

将基础层通过加权最小二乘滤波得到结构层，再将基础层减去结构层得到细节层。基于加权最小二乘法提取细节层可以在保持原图架构的基础上提取出很好的细节信息，相比于双边滤波容易出现的伪影和引导滤波引导图像选取的复杂性，采用加权最小二乘法是应用于内窥镜图像增强中，效果会更好。

步骤3、对所述结构层图像进行截断的自适应亮度拉伸；

通过加权最小二乘法得到了结构层和细节层，进一步对结构层进行截断的自适应亮度拉伸，常规的亮度拉伸在内窥镜图像中可能会导致局部过度增强，采用剪切直方图求得累计密度函数可以自适应确定参数α，同时由于一些暗图像的明亮区域边缘会出现细节和边缘丢失的问题，这是由于高强度像素使用过低的伽马值造成，所以加入了一个截断值，保证γ限制在一定的范围内。截断的自适应亮度拉伸函数在基于伽马校正的函数上做了改进，将人工设置的α改为自适应，同时要将图像转换为HSI空间，在I通道进行处理，不影响颜色、饱和度等信息的改变。对图像进行截断的自适应亮度拉伸的变换公式为：

其中，T{I(u,v)}表示截断的自适应亮度拉伸后的图像，round为四舍五入函数，I(u,v)表示输入图像，I_max(u,v)表示输入图像的最大像素坐标，γ表示变换参数，γ的计算公式为：

γ＝max(τ,1-C_W(i))，

其中，τ为设定下限值，保证不会用一个很小的值去算而导致模糊，加权的累积分布函数(CDF)为：

其中，i表示强度级，I_max为最大的强度级，加权概率密度和(PDF)为：

其中的加权分布直方图分布函数为：

其中P_max和P_min为剪切直方图的最大和最小值，α＝c(i)，c(i)定义如下：

利用从输入图像中获取的CDF自动计算伽马值的方法，其中的概率密度为：

h_c(i)为控制增强的程度，设计为：

h(i)为原始直方图，h_c(i)为剪切直方图，T_c作为剪切的极限值，根据强度的平均值计算而来，公式如下：

其中，L表示图像灰度级。

最后将增强后的I通道返回后再转成RGB空间，得到增强的结构层图像。

步骤4、对所述细节层图像进行去高亮处理以及细节颜色处理；

步骤4.1、对细节层图像进行去高亮处理。

为了防止内窥镜图像中高亮点区域在细节层中对比度增强，要在细节层处理前进行高亮点去除。

步骤4.1.1、对原图进行预处理增强，让反光区域更加明显，让非反光区域更不明显，减少相关的干扰因素。预处理的增强采用的设定一种简单的非线性滤波器：

步骤4.1.2、利用反光像素的亮度Y(luminance)大于它的彩色亮度y(chromaticluminance)这一思想，将预处理增强后的图像从RGB转换到CIE-XYZ空间，得到亮度Y；

步骤4.1.3、依据亮度Y得到彩色亮度y；

步骤4.1.4、提取亮度Y大于彩色亮度y的区域，即为高亮点区域；

步骤4.1.5、基于所述高亮点区域和细节层图像，得到去高亮的细节层图像。

步骤4.2、细节颜色处理，针对去高亮的细节层图像，将R通道红色成分通过直方图修改技术进行抑制，将G通道绿色成分和B通道蓝色成分通过S形曲线进行增强处理。

对于内窥镜的图像，分离三通道图像可以看出，R通道的血管特征最不明显，G、B通道的血管特征和细节更丰富。经查验，蓝光最适合增强浅表粘膜结构，并检测微小的粘膜变化。绿光相对于更适合增强粘膜中间层的厚血管。因此，蓝色成分和绿色成分对于内窥镜图像信息的提取由更有优势。红色成分被直方图修改技术抑制，其中红色通道拉伸函数如下所示：

T(i)＝(i_max-s)(i/i_max)^γ，

其中i_max表示输入图像的最大强度，s表示控制抑制程度的抑制因子。

其中，s和γ决定了函数趋向。内窥镜图像的绿色和蓝色成分利用S形曲线增强对比，为了在有限的动态范围内增强感知图像的对比度，对高强度区域和低强度区域进行了压缩，对中等区域进行了拉伸。S形映射函数为：

T(i)＝i_max1/(1+e^a(b-i))，

其中的a和b是选择的最佳性能参数。

步骤5、获取比例因子α，对细节颜色处理后的细节层图像进行细节增强；

比例因子α是基于结构层图像和截断的自适应亮度拉伸后的结构层图像所得到的，具体公式为：

其中，std表示图像的标准差，I′_structure表示截断的自适应亮度拉伸后的结构层图像，I_structure表示结构层图像。

步骤6、将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；

加权融合函数为：

I′_base＝I′_structure+α·I′_detail，

其中，I′_base表示处理后的基础层图像，I′_structure表示截断的自适应亮度拉伸后的结构层图像，I′_detail表示细节颜色处理后的细节层图像。

步骤7、将所述处理后的基础层图像和所述噪声层图像进行等比例融合，保证不丢失细节信息，输出结果图像。

I′＝I′_base+I_noise，

其中，I表示等比例融合后的输出结果图像，I′_base表示处理后的基础层图像，I_noise表示噪声层图像。

本发明实施例还公开一种基于图像分解和光谱变换的图像增强系统，包括：

路径分离模块，用于对输入的原图进行路径分离，将原图分为噪声层图像和基础层图像；

细节提取模块，用于对所述基础层图像进行细节提取，将基础层图像分为结构层图像和细节层图像；

亮度拉伸模块，用于对所述结构层图像进行截断的自适应亮度拉伸；

颜色处理模块，用于对所述细节层图像进行去高亮处理以及细节颜色处理；

细节增强模块，用于获取比例因子α，对细节颜色处理后的细节层图像进行细节增强；

第一图像融合模块，用于将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；

第二图像融合模块，用于将所述处理后的基础层图像和所述噪声层图像进行等比例融合，输出结果图像。

采用上述方法步骤，对医学中的内窥镜图像进行图像增强，结果参见图4-图7，展示出了两组输入图像和其对应的增强结果突显，可见，采用本发明方法对内窥镜图像增强，能够更好地自适应放大图像细节，消除噪声影响，克服了局部过亮或过暗的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于图像分解和光谱变换的图像增强方法，其特征在于，包括以下步骤：

对输入的原图进行路径分离，将原图分为噪声层图像和基础层图像；

对所述基础层图像进行细节提取，将基础层图像分为结构层图像和细节层图像；

对所述结构层图像进行截断的自适应亮度拉伸；

对所述细节层图像进行去高亮处理以及细节颜色处理；

获取比例因子α，对细节颜色处理后的细节层图像进行细节增强；

将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；

将所述处理后的基础层图像和所述噪声层图像进行等比例融合，输出结果图像。

2.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，所述对输入的原图进行路径分离的方法为：

对原图进行全局噪声估计，获取全局噪声参数；

将所述全局噪声参数用于全变分的结构纹理分解方法中，得到噪声层图像和基础层图像。

3.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，使用加权最小二乘法对所述基础层图像进行细节提取。

4.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，在对所述结构层图像进行截断的自适应亮度拉伸时，将图像转换为HSI空间，在I通道进行截断的自适应亮度拉伸。

5.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，对所述细节层图像进行去高亮处理的方法为：

对原图进行预处理增强；

将预处理增强后的图像从RGB转换到CIE-XYZ空间，得到亮度Y；

依据亮度Y得到彩色亮度y；

提取亮度Y大于彩色亮度y的区域，即为高亮点区域；

基于所述高亮点区域和细节层图像，得到去高亮的细节层图像。

6.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，所述细节颜色处理的方法为：

针对去高亮的细节层图像，将R通道红色成分通过直方图修改技术进行抑制，将G通道绿色成分和B通道蓝色成分通过S形曲线进行增强处理。

7.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，所述比例因子α是基于结构层图像和截断的自适应亮度拉伸后的结构层图像所得到的，具体公式为：

其中，std表示图像的标准差，I′_structure表示截断的自适应亮度拉伸后的结构层图像，I_structure表示结构层图像。

8.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合的公式为：I′_base＝I′_structure+α·I′_detail，其中，I′_base表示处理后的基础层图像，I′_structure表示截断的自适应亮度拉伸后的结构层图像，I′_detail表示细节颜色处理后的细节层图像。

9.根据权利要求1所述的一种基于图像分解和光谱变换的图像增强方法，其特征在于，将所述处理后的基础层图像和所述噪声层图像进行等比例融合的公式为：I′＝I′_base+I_noise，其中I表示等比例融合后的输出结果图像，I′_base表示处理后的基础层图像，I_noise表示噪声层图像。

10.一种基于图像分解和光谱变换的图像增强系统，其特征在于，包括：

路径分离模块，用于对输入的原图进行路径分离，将原图分为噪声层图像和基础层图像；

细节提取模块，用于对所述基础层图像进行细节提取，将基础层图像分为结构层图像和细节层图像；

亮度拉伸模块，用于对所述结构层图像进行截断的自适应亮度拉伸；

颜色处理模块，用于对所述细节层图像进行去高亮处理以及细节颜色处理；

细节增强模块，用于获取比例因子α，对细节颜色处理后的细节层图像进行细节增强；

第一图像融合模块，用于将细节增强后的细节层图像和截断的自适应亮度拉伸后的结构层图像进行加权融合，得到处理后的基础层图像；

第二图像融合模块，用于将所述处理后的基础层图像和所述噪声层图像进行等比例融合，输出结果图像。

Images