CN114445316A - 一种内窥镜荧光与可见光图像融合方法 - Google Patents

Abstract

本发明涉及内窥镜成像技术领域，且公开一种内窥镜荧光与可见光图像融合方法，包括：S1：获取可见光图像w和荧光图像I；S2：将可见光图像w和荧光图像I进行配准；S3：将可见光图像w转换为HSV格式，以获取图像F(w)；S4：对荧光图像I进行图像增强，以获取图像增强后的荧光图像F（I）；S5：对荧光图像F（I）进行阈值分割，以获取F'（I）：S6：将荧光图像F'（I）进行伪彩转换，以获取转换后的图像F''（I）；S7：将图像F(w)和图像F''（I）进行融合；S8：将融合后图像转换为RGB格式下图像并输出。本发明能够提高成像清晰度，便于医生准确判断病变组织部位。

Description

一种内窥镜荧光与可见光图像融合方法

技术领域

本发明涉及内窥镜成像技术领域，具体涉及一种内窥镜荧光与可见光图像融合方法。

背景技术

现有医学中，通常借助内窥镜进行医学成像。

内窥镜是一种新型的医学成像方法，其能够伸入人体内部腔体实现微创或无创的组织观察，其中如ICG(吲哚菁绿)等的荧光内窥镜系统能够将ICG造影剂提前注射至观察区域，可以实现肿瘤示踪淋巴或血液造影。其优异的荧光能力大大提高了临床诊断和治疗的效果。一般荧光内窥镜输出两种图像，一种荧光区图像，一种为可见光区域图像。

现有的荧光成像在进行检测过程中存在以下技术问题：

1、可见光区域图像解剖场景复杂，内部各器官色彩接近，导致目标物极易丢失或被复杂场景淹没；

2、当病灶灰度特征不明显及场景复杂时，医生无法准确找到关键的解剖区域导致误判情况发生；

3、荧光自激发能量与可见光能量差异大，导致在使用荧光成像不清晰。

发明内容

本发明的目的在于提供一种内窥镜荧光与可见光图像融合方法，能够实现荧光成像准确、在融合图像显示中清晰可见，且荧光图像的深浅变化在融合图像中体现更加明显，便于医生准确判断病变组织部位。

为了解决上述技术问题，本发明提出如下技术方案予以解决：

本申请涉及一种内窥镜荧光与可见光图像融合方法，其特征在于，包括：

S1：获取可见光图像w和荧光图像I，其中图像大小均为M*N，位宽为Z；

S2：以所述可见光图像w或荧光图像I为基准图像，将所述可见光图像w和荧光图像I进行配准；

S3：将可见光图像w转换为HSV格式，以获取图像F(w)=(H1,S1,V1)；

S4：对荧光图像I进行图像增强，以获取图像增强后的荧光图像F（I）=K*I，其中，0＜K＜32且为正数；

S5：根据公式（1），对荧光图像F（I）进行阈值分割，以获取F'（I）：

（1）

其中，i为像素号，A1为预设的静态阈值，

；

S6：根据公式（2），将荧光图像F'（I）进行伪彩转换，以获取转换后的图像F''（I）=(H2,S2,V2)；

（2）

其中，0＜E＜

且为正整数；设定标识荧光的颜色色调范围为（c，d）且0＜c＜d＜360；max表示R、G和B中的最大者，min表示R、G和B中的最小者；

S7：将图像F(w)=(H1,S1,V1)和图像F''（I）=(H2,S2,V2)进行融合；

S8：将融合后图像转换为RGB格式下图像，并输出。

在本申请中，S3具体为：

S1=（max-min）/max；

V1=max;

其中，max表示R、G和B中的最大者，min表示R、G和B中的最小者。

在本申请中，将图像F(w)=(H1,S1,V1)和图像F''（I）=(H2,S2,V2)进行融合，以获取融合后图像F'''（I）=(H3,S3,V3)，具体为：

其中，0＜J＜1。

在本申请中，将融合后的图像F'''（I）=(H3,S3,V3)转换为RGB格式下图像，具体为：

，其中，

，

；

；

；

。

在本申请中，S2具体为：

以所述可见光图像w为基准图像，分别提取可见光图像w和荧光图像I的特征点；

对特征点进行匹配，实现可见光图像w和荧光图像I配准。

在本申请中，对特征点进行匹配采用先粗匹配再细匹配。

本申请提供的内窥镜荧光与可见光图像融合方法，具有如下优点和有益效果：

（1）通过对荧光图像进行增强，实现对有造影剂的人体组织或感兴趣的检查对象进行增强，突出该部分的显著特征，从而提升图像质量；

（2）对荧光图像进行分割，便于提取感兴趣的目标区域，避免非目标区域的干扰，且通过伪彩色转换后，使非目标区域不做伪彩色显示，以便更突出目标区域；且进行伪彩转换之后再与可见光图像进行融合，能够方便以自然的方式呈现荧光颜色着色的物体的部分，使荧光部分的深浅变化在融合图像中体现的更加明显，有利于医生区分病灶部位。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作一简要介绍，显而易见地，下面描述的附图是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明提出的内窥镜荧光与可见光图像融合方法的流程图；

图2示出通过内窥镜成像系统获取的子宫颈的图像，其中（a）示出了可见光图像w的灰度图，（b）示出了荧光图像I的灰度图，（c）示出了阈值分割后图像F'（I）的灰度图；（d）示出了采用本发明提出的内窥镜荧光与可见光图像融合方法获取的融合后图像的局部区域的灰度图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了能够更好地清晰成像，本申请涉及一种内窥镜荧光及可见光图像融合方法。

结合图1和图2，具体说明内窥镜荧光及可见光图像融合方法的过程。

S1：获取可见光图像w和荧光图像I，其中图像大小均为M*N，位宽为Z。

通过内窥镜荧光成像系统获取荧光图像I和可见光图像w已是成熟的技术了。

例如，内窥镜荧光成像系统主要包括荧光光源、摄像头、主机和显示器等部件，特定波段的荧光光源照射到有造影剂的人体组织，摄像头通过光学通路（包含分束镜、光学适配器等部件）采集组织图像，并且通过分光的方式分别把可见光图像和荧光图像分开，继而分别进行处理及显示。

其中，可见光图像w即为普通的RGB图像，而荧光图像I可以认为是灰度图或饱和度极高的彩色图像。

参见图2，其示出通过内窥镜成像系统获取的子宫颈的图像。

图2中（a）示出可将光图像w的灰度图，图2中（b）示出成灰度图的荧光图像I。

可以将所采集到的可见光图像w和荧光图像I存储在缓冲单元中，以备读取使用。

S2：以可见光图像w或荧光图像I为基准图像，将可见光图像w和荧光图像I进行配准。

虽然获取到的可见光图像w和荧光图像I是具有M*N的尺寸大小，但是由于不同摄像头的位置偏差会导致所拍摄的图像具有一定的误差，因此，若实现较高的融合精度，需要事先对可见光图像w和荧光图像I进行配准。

选取可见光图像w和荧光图像I中任一个为基准图像即可。

例如，在本申请中，选择可见光图像w为基准图像，将荧光图像I配准至与可将

此处的配准方式可以选择手动配准方式或自动配准方式。

例如，在配准方式选择自动配准方式时，主要包括如下过程：

（1）以可见光图像w为基准图像，分别提取可见光图像w和荧光图像I的特征点。

例如，可以对可见光图像w和荧光图像I提取SURF特征点、sfit特征点等，并可以依据轮廓相似这一特点生成特征描述符。

（2）对特征点进行匹配，实现可见光图像w和荧光图像I配准。

例如，针对SURF特征点采用FLANN快速最近邻匹配，实现特征点匹配，或者针对sift特征点选择最近邻点比次近邻点进行匹配。

上述匹配能够实现特征点的粗匹配。

为了实现精细配准，再对完成粗匹配的特征点进行精细匹配。

可以采用RANSAC算法对特征点实现精细匹配，由此可以计算出变换参数矩阵。

利用变换参数矩阵，可以实现可将光图像w和荧光图像I之间的配准。

当然，配准方式不局限于如上所述的方式。

S3：将可见光图像w转换为HSV格式，以获取图像F(w)=(H1,S1,V1)。

如S1中所述的，可见光图像w本身为RGB格式，因此，通过RGB格式转HSV格式的转换公式，即可获取图像F(w)=(H1,S1,V1)。

HSV格式中的色调H，取值范围为0°～360°；饱和度S表示颜色接近光谱色的程度，光谱色所占比例越大，颜色接近光谱色的程度就越高，颜色的饱和度也就越高，饱和度高，颜色则深而艳，通常取值范围为0%～100%；明度V表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度油管，通常取值范围为0%（黑）～100%（白）。

在本申请中，通过如下公式（1），将可将光图像w转换为F（w）。

（1）

S1=（max-min）/max；

V1=max;

其中，max表示R、G和B中的最大者，min表示R、G和B中的最小者。

当然，公式（1）只是一种转换方式，也可以采用其他转换公式进行转换。

如此，F(w)表示为(H1,S1,V1)。

S4：对荧光图像I进行图像增强，以获取图像增强后的荧光图像F（I）=K*I，其中，0＜K＜32且为正数。

为了实现对到有造影剂的人体组织或者其他感兴趣的目标进行增强，突出该部分的显著特征，以便提升图像清晰度，有利于增强内窥镜显示效果，需要对荧光图像I进行图像增强。

图像增强是图像处理技术中常用的技术手段。

在本申请中，可以采用反锐化掩模方法用于图像增强。

S5：对荧光图像F（I）进行阈值分割，以获取F'（I）。

为了提取当前感兴趣的目标，为后期针对性进行伪彩色处理做准备，需要对荧光图像F（I）进行分割，以便突出目标，形成有效的目标区域，而不对非目标区域进行处理（例如伪彩色显示）。

参见图2中（c），其示出阈值分割后图像F'（I）的灰度图，可以清楚地看到更加突出目标区域，且更清晰。

在本申请中，根据公式（2），对荧光图像F（I）进行双阈值分割，以获取F'（I）。

（2）

其中，i为像素号且最大为M*N，A1为预设的静态阈值，

。

A1可以根据荧光光源的强度、荧光设定强度和分光系统的区别经过实验确定。

如此，分割后的荧光图像，能够更好地突出目标。

S6：将荧光图像F'（I）进行伪彩转换，以获取转换后的图像F''（I）=(H2,S2,V2)。

伪彩色处理是根据一定准则给灰度值赋予彩色值的处理。宏观来说，主要是把黑白的灰度图像或者多波段图像转换为彩色图像的技术过程。

伪彩色处理能够提高对图像细节的分辨力。

选择采用如下公式（3），对S5中的荧光图像F'（I）进行伪彩转换。

（3）

其中，0＜E＜

且为正整数；设定标识荧光的颜色色调范围为（c，d）且0＜c＜d＜360；max表示R、G和B中的最大者，min表示R、G和B中的最小者。

其中公式（3）中提到的像素完全一致指的是图像每个像素中的R、G、B均相等。

S7：将图像F(w)=(H1,S1,V1)和图像F''（I）=(H2,S2,V2)进行融合。

图像F(w)和图像F''（I）进行融合的目的在于，不是简单地将荧光图像覆盖在可见光图像上，而是以自然的外观的方式将至少一个伪彩色混合到可见光图像F(w)=中，使得以更自然的方式呈现由荧光颜色着色的目标区域，有利于医生辨识目标区域。

在本申请中，采用如下公式（4）对图像F(w)和图像F''（I）进行融合，以获取融合后的图像F'''（I）=(H3,S3,V3)。

（4）

其中，0＜J＜1，为叠加系数。

在HSV图像下，对伪彩色图像F''（I）（即，伪彩转换后的图像）和可见光图像F(w)进行叠加。

根据公式（4）可知，在伪彩色图像下，阈值分割后的伪彩色目标区域，保留伪彩色图像F''（I）的HSV图像数据。

H3的值、S3的值和V3的值可以直接使用伪彩图像F''（I）下的HSV值中的H2、S2和V2。

在本申请中，为了使得图像融合效果和过渡更均匀平滑，则V3的值为可见光图像F(w)的V1值和伪彩色图像F''（I）的V2值的权值叠加。

而在其他区域，则保留可见光图像F(w)中HSV图像数据，即，公式（4）中S2=0的情况下F'''（I）为F(w)，也就是说，在此种情况下，仅保留可见光图像F(w)中的HSV图像数据。

如此，将伪彩色混合到可见光图像F(w)=中，实现图像F(w)和图像F''（I）的融合。

参见图2中（d），其示出融合后图像的局部区域的灰度图，可以显著地看到病变组织部位等目标，且目标的边界范围明显无其他干扰，定位更加准确且高效。

若表现为彩色图，则融合后图像的效果会更加明显。

S8：将融合后图像转换为RGB格式下图像，并输出。

融合后的图像F'''（I）是在HSV格式下的，因此，在S8中，将融合后的图像F'''（I）转换为RGB格式下图像，即实现HSV格式转换为RGB格式。

在本申请中，选用公式（5），实现如上所述转换。

，其中，

，

；

；

；

（5）

其中，i为像素号且最大值为M*N，且0≤V3≤1，0≤S3≤1。

例如，也可以例如选择现有的HSV转RGB的公式完成上述转换，参见如下。

当然，实现上述转换也不局限于如上所述的方式。

通过本发明提供的内窥镜荧光与可见光图像融合方法，具有荧光成像准确、颜色鲜艳、在融合图像显示中清晰可见的效果；并且荧光部分的明暗表现以颜色的变化和原始亮度进行双重融合，使得荧光的深浅变化在融合图像中体现更加明显，有助于医生对病变组织部位的判断更加准确且高效。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种内窥镜荧光与可见光图像融合方法，其特征在于，包括：

S1：获取可见光图像w和荧光图像I，其中图像大小均为M*N，位宽为Z；

S2：以所述可见光图像w或荧光图像I为基准图像，将所述可见光图像w和荧光图像I进行配准；

S3：将可见光图像w转换为HSV格式，以获取图像F(w)=(H1,S1,V1)；

S4：对荧光图像I进行图像增强，以获取图像增强后的荧光图像F(I)=K*I，其中，0＜K＜32且为正数；

S5：根据公式（1），对荧光图像F(I)进行阈值分割，以获取F'(I)：

（1）；

其中，i为像素号，A1为预设的静态阈值，

；

S6：根据公式（2），将荧光图像F'(I)进行伪彩转换，以获取转换后的图像F''(I)=(H2,S2,V2)；

（2）

其中，0＜E＜

且为正整数；设定标识荧光的颜色色调范围为（c,d）且0＜c＜d＜360，max表示R、G和B中的最大者，min表示R、G和B中的最小者；

S7：将图像F(w)=(H1,S1,V1)和图像F''(I)=(H2,S2,V2)进行融合；

S8：将融合后图像转换为RGB格式下图像，并输出。

2.根据权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，S3具体为：

S1=(max-min)/max；

V1=max;

其中，max表示R、G和B中的最大者，min表示R、G和B中的最小者。

3.根据权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，将图像F(w)=(H1,S1,V1)和图像F''(I)=(H2,S2,V2)进行融合，以获取融合后图像F'''(I)=(H3,S3,V3)，具体为：

其中，0＜J＜1。

4.根据权利要求3所述的内窥镜荧光与可见光图像融合方法，其特征在于，将融合后的图像F'''(I)=(H3,S3,V3)转换为RGB格式下图像，具体为：

，其中，

，

；

；

；

。

5.根据权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，S2具体为：

以所述可见光图像w为基准图像，分别提取可见光图像w和荧光图像I的特征点；

对特征点进行匹配，实现可见光图像w和荧光图像I配准。

6.根据权利要求5所述的内窥镜荧光与可见光图像融合方法，其特征在于，对特征点进行匹配采用先粗匹配再细匹配。

Images