CN117689762A - 一种内窥镜图像染色方法及系统 - Google Patents

Abstract

本发明涉及图像染色技术领域，尤其涉及一种内窥镜图像染色方法及系统，通过对源图像进行对比度增强，计算色差图像A、色差图像B，计算感兴趣图像C，计算源图像每个像素点的染色权重，再根据染色权重，将源图像与感兴趣图像C融合，得到的染色图像效果能够增强黏膜和血管等感兴趣区域，凸显感兴趣区域与周边组织的区分度，同时保证非感兴趣区域图像基本保持不变，具有很好的图像染色效果。

Description

一种内窥镜图像染色方法及系统

技术领域

本发明涉及图像染色技术领域，尤其涉及一种内窥镜图像染色方法及系统。

背景技术

内窥镜图像染色主要指的是利用图像处理算法处理内窥镜摄像系统采集到的源图像，从而增强黏膜和血管等感兴趣区域，凸显感兴趣区域与周边组织的区分度基于图像处理进行感兴趣区域增强或染色的方法，大多分为预处理（感兴趣区域的提取、基于某些条件的权重获取等）及后处理（融合、染色等）两大部分。在预处理及后处理两方面，文献1（潘立丰,王利生.一种视网膜血管自适应提取方法[J].中国图象图形学报,2006,(03):310-316.）提出视网膜血管自适应提取方法，利用阈值分割的方法得到感兴趣区域，文献2（王强,陶沛,袁波等.多颜色空间的内窥镜图像血管增强方法[J].光电工程,2020,47(01):48-53.）提出多颜色空间的内窥镜图像血管增强方法，通过对源图像在RGB空间及HSV空间进行对比度拉伸，从而提高感兴趣区域与背景区域的区分度，专利CN116051420A将源图像减去导向滤波图像提取边缘区域，经初步增强后与源图像加权融合并染色。

但现有技术方案中包含的基于形态学提取边缘增强的方法，包括但不限于使用源图像减去导向滤波图像等方法，在图像感兴趣区域轮廓较弱时提取效果不佳；基于阈值计算掩膜的提取方法，在不同应用场景、不同拍摄条件下阈值提取效果会有较大波动，且源图像在阈值的临界点处会被直接截断，导致该阈值的临界点处经后处理出现伪边缘等失真现象；对比度拉伸源图像方法，会使得非感兴趣区域色调、亮度、饱和度发生变化，从而影响整体画面质量。

发明内容

有鉴于此，本发明的目的在于提出一种内窥镜图像染色方法及系统，以解决现有技术方案进行图像染色效果不佳的问题。

基于上述目的，本发明提供了一种内窥镜图像染色方法，包括以下步骤：

S1、对内窥镜源图像进行对比度增强，得到初步增强后的图像E；

S2、计算初步增强后的图像每个像素点的色差chromaA，将内窥镜源图像每个像素点的r，g，b值减去色差chromaA，得到色差图像A；

S3、计算色差图像A每个像素点的色差chromaB，将色差图像A每个像素点的r，g，b值减去色差chromaB，得到色差图像B；

S4、计算色差图像B每个像素点的权重系数，再将色差图像B的每个像素点的r，g，b值与权重系数相乘，得到感兴趣图像C；

S5、将感兴趣区域图像C的每个像素点的r，g，b值进行归一化，将归一化后的r，g，b值通过权重因子调整后，得到每个像素点的染色权重；

S6、将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合，得到目标染色图像D。

优选地，S1具体包括：

将内窥镜源图像转换至HSV色彩空间，对每个像素点的S通道分别进行对比度拉伸；

将拉伸后的HSV色彩空间图像转换回RGB色彩空间，得到初步增强后图像E。

优选地，对比度拉伸包括：

将转换至HSV色彩空间的内窥镜源图像归一化到[0,1]内，使用非线性函数对归一化后的图像的S通道像素值/>进行映射，所述非线性函数/>的表达式为：

，

其中a，b，c，d均是非线性函数的调节参数。

优选地，S2中，色差chromaA和色差图像A的计算方法为：

，

，

其中，α₁和β₁分别为控制r-g色差，r-b色差的权重参数，函数意为取/>与的最大值，I表示内窥镜源图像，E_r、E_g、E_b分别表示初步增强后的图像E的r通道值、g通道值和b通道值，I_r,g,b表示内窥镜源图像I的像素点的r，g，b值，A_r,g,b表示色差图像A的像素点的r，g，b值。

优选地，S3中，色差chromaB和色差图像B的计算方法为：

，

，

其中offset表示补偿值，α₂和β₂分别为控制r-g色差，r-b色差的权重参数，A_r、A_g、A_b分别表示色差图像A的r通道值、g通道值和b通道值，B_r,g,b表示色差图像B的像素点的r，g，b值。

优选地，S4中，权重系数和感兴趣图像C的计算方法为：

，

，

其中，coeff表示权重系数，B_r、B_g、B_b分别表示色差图像B的r通道值、g通道值和b通道值，C_r,g,b表示感兴趣图像C的像素点的r，g，b值。

优选地，S5中，染色权重的计算方法为：

，

，

，

其中均为染色强度的调整参数，W_r、W_g、W_b分别表示rgb三个通道的染色权重，/>为感兴趣图像C的像素点的r值，/>为感兴趣图像C的像素点的g值。

优选地，S6中，将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合的计算公式为：

，

，

，

其中，D_r、D_g、D_b分别表示染色图像D的r通道值、g通道值和b通道值。

本发明还提供一种用于执行上述内窥镜图像染色方法的内窥镜图像染色系统，包括：

对比度增强模块，用于对内窥镜源图像进行对比度增强，得到初步增强后的图像；

色差图像计算模块，用于计算初步增强后的图像每个像素点的色差chromaA，将内窥镜源图像每个像素点的r，g，b值减去色差chromaA，得到色差图像A，并计算色差图像A每个像素点的色差chromaB，将色差图像A每个像素点的r，g，b值减去色差chromaB，得到色差图像B；

感兴趣图像计算模块，用于计算色差图像B每个像素点的权重系数，再将色差图像B的每个像素点的r，g，b值与权重系数相乘，得到感兴趣图像C；

染色权重计算模块，用于将感兴趣区域图像C的每个像素点的r，g，b值进行归一化，将归一化后的r，g，b值通过权重因子调整后，得到每个像素点的染色权重；

染色融合模块，用于将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合，得到目标染色图像D。

本发明的有益效果：

（1）本发明使用基于色差的方法获取权重，在图像感兴趣区域没有明显边缘时仍然能提取出感兴趣区域；

（2）本发明不涉及阈值判断，对所有像素点的值都有相对应的权重，因此不存在失真现象，对不同应用场景的泛化性能更好；

（3）本发明采用的对比度拉伸最终仅作用于感兴趣区域，非感兴趣区域画面基本不变。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的内窥镜图像染色方法流程示意图；

图2为本发明实施例示例参数下的函数图像；

图3为本发明实施例的内窥镜图像染色过程图；

图4为本发明实施例的染色后的结果图与原图对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如图1所示，本说明书实施例提供一种内窥镜图像染色方法，包括以下步骤：

S1、对源图像I进行对比度增强，得到初步增强后图像E，具体为：

将源图像转换至HSV色彩空间，随后对每个像素点的S(饱和度)通道分别进行对比度拉伸，拉伸后将增强后的HSV色彩空间图像转换回RGB色彩空间，得到初步增强后图像E。其中，对比度拉伸使用一种非线性函数对HSV色彩空间源图像归一化后的S通道像素值进行映射。不同的HSV色彩空间与RGB色彩空间的转换方式会得到不同的HSV取值范围，但应保证HSV的S通道最终被归一化到[0,1]内，归一化的方式可以选择用每个像素点的值除以其对应的取值范围的最大值。映射之后将像素值恢复对应的取值范围。该非线性函数/>的表达式为：

，

a、b、c、d是非线性函数的调节参数，可以调节对比度拉伸曲线的拐点及拉伸程度。在本示例中，a=5，b=1.7，c=8，d=1.4，如图2为本示例参数下的函数图像。y=x图像可以作为未作增强的参考函数与之对比。此步骤亦可以直接在RGB色彩空间对每个像素点的RGB三通道，或是转换到YUV色彩空间，对Y（亮度）通道做对比度增强。

S2、计算色差图像A。

具体而言，首先计算增强后图像E每个像素点的色差，记为chromaA，然后将源图像I每个像素点的r,g,b值减去色差chromaA。计算方法如下：

，

；

其中，α₁和β₁分别为控制r-g色差，r-b色差的权重参数，函数意为取/>与/>的最大值，I表示内窥镜源图像，E_r、E_g、E_b分别表示初步增强后的图像E的r通道值、g通道值和b通道值，I_r,g,b表示内窥镜源图像I的像素点的r，g，b值，A_r,g,b表示色差图像A的像素点的r，g，b值。在本示例中α₁=0.7，β₁=0.1。

S3、计算色差图像B。

具体而言，首先计算色差图像A每个像素点的色差，记为chromaB，然后将A图像每个像素点的r,g,b值减去色差chromaB。计算方法如下：

，

，

其中，其中offset表示补偿值，α₂和β₂分别为控制r-g色差，r-b色差的权重参数，A_r、A_g、A_b分别表示色差图像A的r通道值、g通道值和b通道值，B_r,g,b表示色差图像B的像素点的r，g，b值，在本示例中α₂=0.5，β₂=0.5，，此步骤亦可以选用与S2相同的/>合并计算。

S4、计算感兴趣图像C。

具体而言，首先计算色差图像B每个像素点的权重系数coeff，再将色差图像B的每个像素点的rgb值与该权重系数相乘。计算方法如下：

，

，

其中，B_r、B_g、B_b分别表示色差图像B的r通道值、g通道值和b通道值，C_r,g,b表示感兴趣图像C的像素点的r，g，b值。在本示例中，coeff被限制在[0,1]范围内。

S5、计算源图像每个像素点的染色权重Wr、Wg、Wb。

具体而言，首先将感兴趣区域图像C的每个像素点r,g,b值进行归一化，对于RGB888格式图像而言，然后将归一化后的r,g,b像素值乘以权重因子后加一。具体计算公式如下：

，

，

，

其中，W_r、W_g、W_b分别表示rgb三个通道的染色权重，为染色强度的调整参数，/>为感兴趣图像C的像素点的r值，/>为感兴趣图像C的像素点的g值，在本示例中，，当/>时，将/>置为0。

S6、将源图像与感兴趣区域图像C染色融合，得到最终染色图像D。

具体而言，对于红色通道（值），染色图像D每个像素点的红色通道等于源图像每个像素点的红色通道与对应像素点的染色权重的乘积；对于绿色通道（值），染色图像D每个像素点的绿色通道等于源图像每个像素点的绿色通道加上感兴趣图像C的绿色通道之后，与对应像素点的染色权重/>的乘积；对于蓝色通道（值），染色图像D每个像素点的蓝色通道等于源图像每个像素点的蓝色通道加上感兴趣图像C的红色通道与绿色通道的差之后，与对应像素点的染色权重/>的乘积；计算公式如下：

，

，

，

其中，D_r、D_g、D_b分别表示染色图像D的r通道值、g通道值和b通道值。

如图3展示了本实施例进行内窥镜图像染色的过程，图4展示了染色后的结果图与原图的对比，可以看出，染色图像效果：增强黏膜和血管等感兴趣区域，凸显感兴趣区域与周边组织的区分度，同时保证非感兴趣区域图像基本保持不变。

本说明书实施例还提供一种用于执行上述内窥镜图像染色方法的内窥镜图像染色系统，包括：

对比度增强模块，用于对内窥镜源图像进行对比度增强，得到初步增强后的图像；

色差图像计算模块，用于计算初步增强后的图像每个像素点的色差chromaA，将内窥镜源图像每个像素点的r，g，b值减去色差chromaA，得到色差图像A，并计算色差图像A每个像素点的色差chromaB，将色差图像A每个像素点的r，g，b值减去色差chromaB，得到色差图像B；

感兴趣图像计算模块，用于计算色差图像B每个像素点的权重系数，再将色差图像B的每个像素点的r，g，b值与权重系数相乘，得到感兴趣图像C；

染色权重计算模块，用于将感兴趣区域图像C的每个像素点的r，g，b值进行归一化，将归一化后的r，g，b值通过权重因子调整后，得到每个像素点的染色权重；

染色融合模块，用于将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合，得到目标染色图像D。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种内窥镜图像染色方法，其特征在于，所述方法包括以下步骤：

S1、对内窥镜源图像进行对比度增强，得到初步增强后的图像E；

S2、计算初步增强后的图像每个像素点的色差chromaA，将内窥镜源图像每个像素点的r，g，b值减去色差chromaA，得到色差图像A；

S3、计算色差图像A每个像素点的色差chromaB，将色差图像A每个像素点的r，g，b值减去色差chromaB，得到色差图像B；

S4、计算色差图像B每个像素点的权重系数，再将色差图像B的每个像素点的r，g，b值与权重系数相乘，得到感兴趣图像C；

S5、将感兴趣区域图像C的每个像素点的r，g，b值进行归一化，将归一化后的r，g，b值通过权重因子调整后，得到每个像素点的染色权重；

S6、将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合，得到目标染色图像D。

2.根据权利要求1所述的内窥镜图像染色方法，其特征在于，S1具体包括：

将内窥镜源图像转换至HSV色彩空间，对每个像素点的S通道分别进行对比度拉伸；

将拉伸后的HSV色彩空间图像转换回RGB色彩空间，得到初步增强后图像E。

3.根据权利要求2所述的内窥镜图像染色方法，其特征在于，所述对比度拉伸包括：

将转换至HSV色彩空间的内窥镜源图像归一化到[0,1]内，使用非线性函数对归一化后的图像的S通道像素值/>进行映射，所述非线性函数/>的表达式为：

，

其中a，b，c，d均是非线性函数的调节参数。

4.根据权利要求1所述的内窥镜图像染色方法，其特征在于，S2中，色差chromaA和色差图像A的计算方法为：

，

其中，α₁和β₁分别为控制r-g色差，r-b色差的权重参数，函数意为取/>与/>的最大值，I表示内窥镜源图像，E_r、E_g、E_b分别表示初步增强后的图像E的r通道值、g通道值和b通道值，I_r,g,b表示内窥镜源图像I的像素点的r，g，b值，A_r,g,b表示色差图像A的像素点的r，g，b值。

5.根据权利要求4所述的内窥镜图像染色方法，其特征在于，S3中，色差chromaB和色差图像B的计算方法为：

，

其中offset表示补偿值，α₂和β₂分别为控制r-g色差，r-b色差的权重参数，A_r、A_g、A_b分别表示色差图像A的r通道值、g通道值和b通道值，B_r,g,b表示色差图像B的像素点的r，g，b值。

6.根据权利要求5所述的内窥镜图像染色方法，其特征在于，S4中，权重系数和感兴趣图像C的计算方法为：

，

其中，coeff表示权重系数，B_r、B_g、B_b分别表示色差图像B的r通道值、g通道值和b通道值，C_r,g,b表示感兴趣图像C的像素点的r，g，b值。

7.根据权利要求6所述的内窥镜图像染色方法，其特征在于，S5中，染色权重的计算方法为：

，

其中均为染色强度的调整参数，W_r、W_g、W_b分别表示rgb三个通道的染色权重，/>为感兴趣图像C的像素点的r值，/>为感兴趣图像C的像素点的g值。

8.根据权利要求7所述的内窥镜图像染色方法，其特征在于，S6中，将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合的计算公式为：

，

其中，D_r、D_g、D_b分别表示染色图像D的r通道值、g通道值和b通道值。

9.一种用于执行权利要求1-8中任意一项所述的内窥镜图像染色方法的内窥镜图像染色系统，其特征在于，所述系统包括：

对比度增强模块，用于对内窥镜源图像进行对比度增强，得到初步增强后的图像；

色差图像计算模块，用于计算初步增强后的图像每个像素点的色差chromaA，将内窥镜源图像每个像素点的r，g，b值减去色差chromaA，得到色差图像A，并计算色差图像A每个像素点的色差chromaB，将色差图像A每个像素点的r，g，b值减去色差chromaB，得到色差图像B；

感兴趣图像计算模块，用于计算色差图像B每个像素点的权重系数，再将色差图像B的每个像素点的r，g，b值与权重系数相乘，得到感兴趣图像C；

染色权重计算模块，用于将感兴趣区域图像C的每个像素点的r，g，b值进行归一化，将归一化后的r，g，b值通过权重因子调整后，得到每个像素点的染色权重；

染色融合模块，用于将内窥镜源图像与感兴趣区域图像C通过染色权重进行染色融合，得到目标染色图像D。