CN114298956B - 双荧光内窥镜图像融合方法、电子设备及装置 - Google Patents
双荧光内窥镜图像融合方法、电子设备及装置 Download PDFInfo
- Publication number
- CN114298956B CN114298956B CN202210223358.5A CN202210223358A CN114298956B CN 114298956 B CN114298956 B CN 114298956B CN 202210223358 A CN202210223358 A CN 202210223358A CN 114298956 B CN114298956 B CN 114298956B
- Authority
- CN
- China
- Prior art keywords
- fluorescence
- value
- blue
- image
- pixel position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
Abstract
本发明公开了双荧光内窥镜图像融合方法、电子设备及装置，属于图像处理领域，方法包括：获取白光原始图像和荧光原始图像；调整荧光原始图像，以将荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；叠加白光原始图像和荧光调整图像，输出融合图像，该方法不直接显示荧光染料的荧光颜色，而是将荧光原始图像中蓝色、紫蓝色的区域以及红色、紫红色的区域中的一种区域变为蓝色，另一种变为绿色，人眼更加容易区分两种荧光区域的边界，且有利于医生清晰区分荧光过曝区域与无荧光区域的边界。
Description
技术领域
本发明涉及一种双荧光内窥镜图像融合方法、电子设备及装置，属于图像处理领域。
背景技术
随着微创技术的不断成熟，越来越多的微创手术取代传统手术操作，微创医疗技术已经成为医学发展的新方向。内窥镜微创医疗手术具有创伤小、手术短、术后康复快等特点，受到医患双方的青睐，内窥镜市场规模也得以迅速发展，内窥镜技术已推广至耳鼻喉科、普外科、妇产科、胸外科、泌尿科等。
传统单相机内窥镜只有白光图像，不好辨认病灶的具体位置，对医生的专业水平和临床经验要求非常高。后来出现了白光加荧光的双相机新型医用内窥镜摄像技术，显像效果优于单相机白光内窥镜。白光用来显示基础影像，荧光用来显示病灶位置及病灶清晰的边沿，使医生能够清晰直观地处理病灶，提高医生的手术效率和成功率，大幅降低医生的手术难度。
荧光导航内窥镜系统已在外科手术中广泛应用，为妇科、肝胆手术的术中肿瘤标记、胆管造影等提供了有效的指引。近年来，双荧光导航内窥镜系统问世，配合两种荧光颜色不同的染色剂荧光标记，可以同步对两种目标区域进行两种染色剂的染色标记，进一步丰富了荧光导航的应用。然而，使用两种荧光染料存在一定缺陷，例如，双荧光内窥镜常用ICG（吲哚菁绿）和MB（亚甲基蓝）作为荧光染料，ICG的荧光颜色为紫蓝色、MB的荧光颜色为紫红色，由此产生两个问题：第一，紫蓝色和紫红色之间的区分度不足，在荧光图像与白光图像融合之后，会进一步降低两种荧光区域的区分度，影响边界判断；第二，MB荧光原始信号呈现的紫红色和动物组织自身的红色差异不大，通过普通融合方法与白光图像融合之后更难区分。边界区分度低会较大地影响荧光手术的精确度。
发明内容
为了克服现有技术的不足，本发明提供一种双荧光内窥镜图像融合方法、电子设备及装置，以清晰地区分两种荧光区域的边界、荧光区域与无荧光区域的边界。
第一方面，本申请提供一种双荧光内窥镜图像融合方法，包括以下步骤：
获取白光原始图像和荧光原始图像；
调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；
叠加所述白光原始图像和所述荧光调整图像，得到融合图像；
输出所述融合图像。
本申请提供的双荧光内窥镜图像融合方法使荧光图像中蓝色、紫蓝色的区域以及红色、紫红色的区域中的一种区域变为蓝色，另一种变为绿色，使过曝区域变为青色，有利于清晰地区分两种荧光区域的边界、荧光区域与无荧光区域的边界。
可选地，所述调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像的步骤包括：
遍历所述荧光原始图像获取每一像素位置的第二红色值、第二绿色值和第二蓝色值；
根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置在HSV颜色模型中的色调值；
根据所述第二红色值与所述第二蓝色值的比例、所述色调值计算对应像素位置颜色调节系数；
根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
重组每一像素位置的所述荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到所述荧光调整图像。
可选地，所述调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像的步骤包括：
遍历所述荧光原始图像获取每一像素位置的第二红色值和第二蓝色值；
根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比计算对应像素位置颜色调节系数；
根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
重组每一像素位置的所述荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到所述荧光调整图像。
所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比能够反映某像素中是红色成分更多还是蓝色成分更多，进而能够划分出两类像素并转换颜色。
进一步地，所述遍历所述荧光原始图像获取每一像素位置的第二红色值和第二蓝色值的步骤中还获取所述荧光原始图像中每一像素位置的第二绿色值；
所述根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比计算对应像素位置颜色调节系数之前还包括步骤：
根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置在HSV颜色模型中的色调值；
所述根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比计算对应像素位置颜色调节系数的步骤包括：
根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比、所述色调值计算对应像素位置颜色调节系数。
荧光原始图像的过曝区域泛白，蓝色成分和红色成分一样多，将转换成青色，而实际上一些呈紫色的像素也是蓝色成分和红色成分一样多，需要将紫色区域和过曝区域区分开，因此计算颜色调节系数时增加考虑色调值，泛白和紫色的色调值不同，因此能区分开。
可选地，所述调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像的步骤包括：
遍历所述荧光原始图像获取每一像素位置的第二红色值和第二蓝色值；
以因变量为颜色调节系数构建sigmoid函数，所述sigmoid函数的自变量为对应像素位置的所述第二红色值与所述第二蓝色值的比值；
根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
重组每一像素位置的所述荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到所述荧光调整图像。
可选地，所述颜色调节系数的范围为0到1，所述根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值的步骤包括：
令对应像素位置的荧光调整绿色值和荧光调整蓝色值中的其中一个值调整为所述颜色调节系数乘灰度等级，另一个值调整为1减所述颜色调节系数的差乘所述灰度等级。
可选地，所述叠加所述白光原始图像和所述荧光调整图像，得到融合图像之前还存在步骤：
遍历所述荧光原始图像获取每一像素位置的第二红色值、第二绿色值和第二蓝色值；
根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置的荧光信号强度；
所述叠加所述白光原始图像和所述荧光调整图像，得到融合图像的步骤包括：
根据所述荧光信号强度调整所述荧光调整图像得到融合图像的荧光部分，根据所述荧光信号强度调整所述白光原始图像得到融合图像的白光部分，叠加所述融合图像的白光部分和所述融合图像的荧光部分，得到融合图像。
可选地，所述根据所述荧光信号强度调整所述荧光调整图像得到融合图像的荧光部分，根据所述荧光信号强度调整所述白光原始图像得到融合图像的白光部分，叠加所述融合图像的白光部分和所述融合图像的荧光部分，得到融合图像的步骤包括：
遍历所述白光原始图像获取每一像素位置的第一红色值、第一绿色值和第一蓝色值；
以1减去所述荧光信号强度得到对应像素位置的白光信号强度；
将所述第一红色值、所述第一绿色值、所述第一蓝色值分别与所述白光信号强度相乘得到对应像素位置的白光部分红色值、白光部分绿色值和白光部分蓝色值；
获取所述荧光调整图像每一像素位置的荧光调整绿色值和荧光调整蓝色值；
将所述荧光调整绿色值和荧光调整蓝色值分别与所述荧光信号强度相乘得到对应像素位置的荧光部分绿色值和荧光部分蓝色值；
以所述白光部分红色值作为所述融合图像对应像素位置的第三红色值，叠加所述白光部分绿色值和所述荧光部分绿色值得到所述融合图像对应像素位置的第三绿色值，叠加所述白光部分蓝色值和所述荧光部分蓝色值得到所述融合图像对应像素位置的第三蓝色值；
根据每一像素位置的所述第三红色值、所述第三绿色值和所述第三蓝色值组成所述融合图像。
第二方面，本申请提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如第一方面所述方法中的步骤。
第三方面，本申请提供一种双荧光内窥镜图像融合装置，包括：
获取模块，用于获取白光原始图像和荧光原始图像；
调整模块，用于调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；
叠加模块，用于叠加所述白光原始图像和所述荧光调整图像，得到融合图像；
输出模块，用于输出所述融合图像。
本发明的有益效果是：本发明的双荧光内窥镜图像融合方法不直接显示荧光染料的荧光颜色，而是将荧光原始图像中蓝色、紫蓝色的区域以及红色、紫红色的区域中的一种区域变为蓝色，另一种变为绿色，人眼更加容易区分两种荧光区域的边界，且转换后的颜色十分容易和人体组织自身的红色、粉红色区别开，另外，荧光图像中过曝区域由原本的泛白转换为青色，能够轻易与白光图像区分开，有利于医生清晰区分荧光过曝区域与无荧光区域的边界。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本申请实施例提供的一种双荧光内窥镜图像融合方法的流程图。
图2是本申请实施例提供的一种双荧光内窥镜图像融合装置的结构图。
图3是本申请实施例提供的一种电子设备的结构图。
图4是式8和式10的函数曲线图。
图5是滴加不同浓度ICG和MB的位置分布图。
标号说明：201、获取模块；202、调整模块；203、叠加模块；204、输出模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
现有技术中，双荧光内窥镜所用的两种荧光染料的荧光颜色分别为紫蓝色和紫红色时，两种荧光区域的边界较难区分，在荧光信号较弱时，紫红色的荧光区域与人体组织本身的红色、粉红色难以分辨。另外，不论什么颜色的荧光区域（所有荧光染料都存在该问题），在荧光信号很强时，荧光区域过曝泛白，与白光图像融合后与无荧光区域相似，荧光信号和标记物浓度正相关，即本来标记物浓度极大的区域反而容易错误判断为无荧光区域。基于双荧光内窥镜的这些缺陷，本申请提供一种双荧光内窥镜图像融合方法如下。
参照图1，步骤包括：
S1：获取白光原始图像和荧光原始图像。
S2：调整荧光原始图像，以将荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将荧光原始图像中过曝的像素转换为青色，得到荧光调整图像。
S3：叠加白光原始图像和荧光调整图像，得到融合图像。
S4：输出融合图像。
原本在荧光原始图像中呈现紫蓝色的区域在融合图像中呈现蓝色或绿色中的一种，原本在荧光原始图像中呈现紫红色的区域在融合图像中呈现蓝色或绿色的另一种，人体组织在融合图像中呈红色，对应在色相环上，这三种颜色两两相隔120°，人眼容易分辨，过曝区域呈现蓝色和绿色之间的青色，能清楚地与白光区域区分开，有利于医生清晰区分荧光过曝区域与无荧光区域的边界。
其中步骤S2的具体步骤包括但不限于以下四种计算形式。
第一种：
S211：遍历荧光原始图像获取每一像素位置的第二红色值r2、第二绿色值g2和第二蓝色值b2。
S212：根据第二红色值r2、第二绿色值g2和第二蓝色值b2计算对应像素位置在HSV颜色模型中的色调值H。RGB颜色模型转HSV颜色模型为公知技术，本实施例只用到HSV颜色模型中的H值，不涉及S值（饱和度）和V值（明度），计算方式如下：
式中：R、G、B分别代表某像素RGB值中的R值、G值和B值，计算时对应r2、g2和b2，Cm
x为R值、G值和B值中最大的一个，Cmin为R值、G值和B值中最小的一个。
S213：根据第二红色值r2与第二蓝色值b2的比例、色调值H计算对应像素位置颜色调节系数β。
具体的计算步骤可以为：
Hc=H/360×255；式2
HSV模型中H值的取值范围是0至360，Hc表示转换范围后的色调值，转换范围后，取值范围变为0至255。
Hl=min[m,m
x(n,Hc)]；式3
Hl表示限制范围后的色调值，将转换范围后的色调值Hc限制在[m,n]区间内，其中n为Hc在色相环上蓝色区域附近的人为定值，m为Hc在色相环（经式2转换后，色相环的范围变为0至255）上紫红色区域附近的人为定值，m＞n，在本实施例中，n取170，m取225。
Hs=(Hl-n)/(m-n)；式4
Hs表示拉伸后的色调值，拉伸后的取值范围变为0至1。
其中b2为0时，强制令b2=1，也可以将r2/b2变型为（r2+1）/（b2+1）。
S214：根据颜色调节系数β计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0。
S215：重组每一像素位置的荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到荧光调整图像。即一个像素包括三个子像素，三个子像素的颜色值分别为荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，将每一像素的三个子像素的颜色值都算出来，可按位置阵列成荧光调整图像，该荧光调整图像不用于显示，仅仅为图像处理的中间过程。
第二种：
S221：遍历荧光原始图像获取每一像素位置的第二红色值r2和第二蓝色值b2。
S222：根据第二红色值r2占第二红色值r2与第二蓝色值b2之和的百分比计算对应像素位置颜色调节系数β。
即β=r2/(r2+b2)；式6
S223：根据颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
S224：重组每一像素位置的荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到荧光调整图像。
第三种在第二种的基础上优化：
S231：遍历荧光原始图像获取每一像素位置的第二红色值r2和第二蓝色值b2时，还获取荧光原始图像中每一像素位置的第二绿色值g2。相当于步骤S211。
S232：根据第二红色值r2、第二绿色值g2和第二蓝色值b2计算对应像素位置在HSV颜色模型中的色调值H，计算方式与式1相同。
S233：根据第二红色值r2占第二红色值r2与第二蓝色值b2之和的百分比、色调值H计算对应像素位置颜色调节系数。先式2至式4算出Hc和Hs，其中n可取178，m可取230，然后按式7算出β。
然后执行步骤S214和S215。
第四种：
S211：遍历荧光原始图像获取每一像素位置的第二红色值r2和第二蓝色值b2。
S242：以因变量为颜色调节系数构建sigmoid函数，sigmoid函数的自变量为对应像素位置的第二红色值与第二蓝色值的比值。
sigmoid函数是逻辑函数中的常用公式，其原型如式8所示。
x为自变量，σ(x)为因变量，e为自然常数，式8可以变为式9。
d用于平移曲线，μ用于调节拉伸幅度。结合本方案的应用场景构建sigmoid函数，式9可变为式10。
即μ=9，(-x+d)变为r2/b2, b2为0时，强制令b2=1，也可以将r2/b2变型为（r2+1）/（b2+1）。
S214：根据颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0。
S215：重组每一像素位置的荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到荧光调整图像。
以上四种计算形式算得的颜色调整系数β都能够将荧光原始图像中紫蓝色和紫红色的区域区分开，在色相环中蓝至红的区域内，偏蓝的部分β值小于0.5，且越蓝β值越小；偏红的部分β值大于0.5，且越红β值越大；荧光原始图像的过曝区域泛白，r2=b2=g2，β=0.5，用颜色调节系数变换荧光原始图像的颜色即可区分荧光原始图像中的紫红色区域、紫蓝色区域和白色（过曝）区域。
控制颜色调节系数的范围为0到1，能够简易地实现颜色转换：
令对应像素位置的荧光调整绿色值和荧光调整蓝色值中的其中一个值调整为颜色调节系数乘灰度等级，另一个值调整为1减颜色调节系数的差乘灰度等级。本领域技术人员应当理解，此处所说的“灰度等级”是指亮度最高的一级。以16位色为例，共有65536个灰阶，亮度范围为0至65535，0表示完全不发光，最亮是65535，不可能取值为65536，将荧光原始图像中紫蓝色和蓝色的区域转换为蓝色，将荧光原始图像中紫红色和红色的区域转换为绿色计算如式11。
以8位色为例，共有256个灰阶（0至255），将荧光原始图像中紫蓝色和蓝色的区域转换为绿色，将荧光原始图像中紫红色和红色的区域转换为蓝色计算如式12。
在步骤S2的第一种计算形式中，如果β单纯等于r2/b2-0.5的话，β的范围超出0到1，并且不能区分过曝区域和纯紫色；因此在式5中用拉伸后的色调值校正，使得荧光原始图像颜色在色相环紫蓝色至紫红色的区域内时，β值的范围在0到1，且能区分过曝区域和纯紫色区域。
除了可引入色调值避免r2/b2-0.5超出0到1外，还可使用sigmoid函数限制β值，例如在步骤S2的第四种计算形式。参照图4，sigmoid函数原型的图像为当自变量等于0时，因变量等于0.5；当自变量小于0时，因变量范围在(0,0.5)，且自变量越小，因变量越接近0；当自变量大于0时，因变量范围在（0.5，1），且自变量越小，因变量越接近1。在本方案的应用场景中，应使得r2=b2时，β=0.5，故将sigmoid函数原型的图像向右（相对于平面坐标系而言）平移0.5个单位，即r2/b2-0.5+0.5=r2/b2，此时，当r2=b2时，β=0.5；当r2>b2时，β>0.5，且越红，β越接近1；当r2<b2时，β<0.5，且越蓝，β越接近0。为了更加显著区分荧光原始图像的紫红色和紫蓝色，式9中μ应为正数，使得r2和b2接近时，β值也能远远偏离0.5，代入式11或式12中即体现为蓝色和绿色更加分明。式9中μ大于5就能取得不错的拉伸效果，μ过大会使得同种荧光颜色之间的荧光强度差异不明显，因此μ的取值范围以[5,20]为宜，例如式10中μ=9。
在步骤S2的第二种计算形式中，β值的范围在0-1，但存在不能区分过曝区域和纯紫色区域的问题，因此在步骤S2的第三种计算形式中进一步改进，借助色调值区分过曝区域和纯紫色区域。按照式4进行计算，过曝区域的Hs为0，而纯紫色区域的Hs不为0，因此可在β中体现出是紫色区域还是过曝区域。
利用第二红色值r2、第二绿色值g2和第二蓝色值b2还可计算出荧光信号强度α，如式13。
叠加白光原始图像和荧光调整图像，得到融合图像的步骤包括：
根据荧光信号强度调整荧光调整图像得到融合图像的荧光部分，根据荧光信号强度调整白光原始图像得到融合图像的白光部分，叠加融合图像的白光部分和融合图像的荧光部分，得到融合图像。
具体步骤是，遍历白光原始图像获取每一像素位置的第一红色值r1、第一绿色值g1和第一蓝色值b1。
以1减去荧光信号强度α得到对应像素位置的白光信号强度。
将第一红色值、第一绿色值、第一蓝色值分别与白光信号强度相乘得到对应像素位置的白光部分红色值、白光部分绿色值和白光部分蓝色值，即如式14。
获取荧光调整图像每一像素位置的荧光调整绿色值和荧光调整蓝色值。为方便后续计算，下文以8位色为例，参照式12获取荧光调整绿色值和荧光调整蓝色值。
将荧光调整绿色值和荧光调整蓝色值分别与荧光信号强度相乘得到对应像素位置的荧光部分绿色值和荧光部分蓝色值如式15。
以白光部分红色值作为融合图像对应像素位置的第三红色值r3，叠加白光部分绿色值和荧光部分绿色值得到融合图像对应像素位置的第三绿色值g3，叠加白光部分蓝色值和荧光部分蓝色值得到融合图像对应像素位置的第三蓝色值b3，r3、g3、b3均取整数。
根据每一像素位置的第三红色值、第三绿色值和第三蓝色值组成融合图像如式16或式17。
式16为在有256个灰度等级的前提下，将荧光原始图像中紫蓝色和蓝色的区域转换为绿色，将荧光原始图像中紫红色和红色的区域转换为蓝色。式17为在有256个灰度等级的前提下，将荧光原始图像中紫蓝色和蓝色的区域转换为蓝色，将荧光原始图像中紫红色和红色的区域转换为绿色。
效果验证：
在白板900上按图5的位置滴加不同浓度的荧光染料，其中901、902、903、904、905、906滴加ICG溶液，且浓度从901至906逐渐增大；907、908、909、910、911、912滴加MB溶液，且浓度从907至912逐渐增大。在暗室中用白光照射白板，拍摄得到白光原始图像，获取白光图像中901至912位置以及白板900其中一个像素的颜色如下表1。需要注意的是，同一滴溶液位置在拍摄图像中的颜色不一定高度均匀，偶尔会出现在浓度更大的位置选取的像素的颜色反而比低浓度的位置浅。
表1 白光原始图像中901至912各取一点的颜色
在暗室中用紫外光照射白板，激发荧光染料发出荧光，拍摄得到荧光原始图像，获取荧光原始图像中901至912位置以及白板900其中一个像素的颜色，按步骤S2中第一种方法处理数据如下表2。
表2 荧光原始图像中901至912各取一点的颜色
然后按照式13和式16计算第三红色值、第三绿色值和第三蓝色值如下表3。
表3 融合图像的RGB值
从表3可以看出，从位置901、902、907、908、909拾取的像素点的荧光强度低，融合图像后的颜色和白光原始图像相近；位置903、904、905经融合图像增强后显著偏绿；位置906荧光原始图像过曝泛白，经融合后呈绿光与蓝光等量的青色，能显著区别于白光原始图像的颜色；位置910、911经融合图像增强后显著偏蓝；位置912荧光原始图像呈紫色，与过曝的906都是r2=b2，经融合图像增强后呈现蓝色，能与过曝区域的青色区分开；位置900无滴加任何荧光染料，在荧光原始图像中呈现黑色，在融合图像中呈现的颜色与白光原始图像中的颜色一致。由此可见，本发明的方法能够增强ICG和MB的荧光图像辨析度，使人眼容易区分出两种荧光区域的边界，且能够增强无荧光区域和荧光过曝区域的辨析度，使人眼容易区分出荧光区域和无荧光区域的边界，低荧光区域和无荧光区域的颜色和明度与白光原始图像大致相同，有利于医生看清人体组织，以便顺利进行手术。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取白光原始图像和荧光原始图像；调整荧光原始图像，以将荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；叠加白光原始图像和荧光调整图像，得到融合图像；输出融合图像。以使医生能清晰分辨两种荧光区域的边界和无荧光区域的边界。
请参照图2，图2是本申请一些实施例中的一种双荧光内窥镜图像融合装置，包括：
获取模块201，用于获取白光原始图像和荧光原始图像；
调整模块202，用于调整荧光原始图像，以将荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；
叠加模块203，用于叠加白光原始图像和荧光调整图像，得到融合图像；
输出模块204，用于输出融合图像。
本发明的应用场景不局限于荧光染料为吲哚菁绿和亚甲基蓝，其他荧光颜色在色相环上蓝到紫、紫到红的荧光染料也能应用本发明。对于荧光颜色为橙、黄、绿、青的荧光染料也可以先用色调值运算映射至色相环上的蓝紫区和紫红区，利用本发明解决过曝泛白的问题。
在本说明书的描述中，参考术语“一个实施方式”“某些实施方式”“示意性实施方式”“示例”“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种双荧光内窥镜图像融合方法，其特征在于，包括以下步骤：
获取白光原始图像和荧光原始图像；
调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；
遍历所述荧光原始图像获取每一像素位置的第二红色值、第二绿色值和第二蓝色值；
根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置的荧光信号强度；
根据所述荧光信号强度调整所述荧光调整图像得到融合图像的荧光部分，根据所述荧光信号强度调整所述白光原始图像得到融合图像的白光部分，叠加所述融合图像的白光部分和所述融合图像的荧光部分，得到融合图像；
输出所述融合图像。
2.根据权利要求1所述的双荧光内窥镜图像融合方法，其特征在于，所述调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像的步骤包括：
遍历所述荧光原始图像获取每一像素位置的第二红色值、第二绿色值和第二蓝色值；
根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置在HSV颜色模型中的色调值；
根据所述第二红色值与所述第二蓝色值的比例、所述色调值计算对应像素位置颜色调节系数；
根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
重组每一像素位置的所述荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到所述荧光调整图像。
3.根据权利要求1所述的双荧光内窥镜图像融合方法，其特征在于，所述调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像的步骤包括：
遍历所述荧光原始图像获取每一像素位置的第二红色值和第二蓝色值；
根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比计算对应像素位置颜色调节系数；
根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
重组每一像素位置的所述荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到所述荧光调整图像。
4.根据权利要求3所述的双荧光内窥镜图像融合方法，其特征在于，所述遍历所述荧光原始图像获取每一像素位置的第二红色值和第二蓝色值的步骤中还获取所述荧光原始图像中每一像素位置的第二绿色值；
所述根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比计算对应像素位置颜色调节系数之前还包括步骤：
根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置在HSV颜色模型中的色调值；
所述根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比计算对应像素位置颜色调节系数的步骤包括：
根据所述第二红色值占所述第二红色值与所述第二蓝色值之和的百分比、所述色调值计算对应像素位置颜色调节系数。
5.根据权利要求1所述的双荧光内窥镜图像融合方法，其特征在于，所述调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像的步骤包括：
遍历所述荧光原始图像获取每一像素位置的第二红色值和第二蓝色值；
以因变量为颜色调节系数构建sigmoid函数，所述sigmoid函数的自变量为对应像素位置的所述第二红色值与所述第二蓝色值的比值；
根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值，令对应像素位置的荧光调整红色值为0；
重组每一像素位置的所述荧光调整红色值、荧光调整绿色值和荧光调整蓝色值，得到所述荧光调整图像。
6.根据权利要求2至5任一项所述的双荧光内窥镜图像融合方法，其特征在于，所述颜色调节系数的范围为0到1，所述根据所述颜色调节系数计算对应像素位置的荧光调整绿色值和荧光调整蓝色值的步骤包括：
令对应像素位置的荧光调整绿色值和荧光调整蓝色值中的其中一个值调整为所述颜色调节系数乘灰度等级，另一个值调整为1减所述颜色调节系数的差乘所述灰度等级。
7.根据权利要求1所述的双荧光内窥镜图像融合方法，其特征在于，所述根据所述荧光信号强度调整所述荧光调整图像得到融合图像的荧光部分，根据所述荧光信号强度调整所述白光原始图像得到融合图像的白光部分，叠加所述融合图像的白光部分和所述融合图像的荧光部分，得到融合图像的步骤包括：
遍历所述白光原始图像获取每一像素位置的第一红色值、第一绿色值和第一蓝色值；
以1减去所述荧光信号强度得到对应像素位置的白光信号强度；
将所述第一红色值、所述第一绿色值、所述第一蓝色值分别与所述白光信号强度相乘得到对应像素位置的白光部分红色值、白光部分绿色值和白光部分蓝色值；
获取所述荧光调整图像每一像素位置的荧光调整绿色值和荧光调整蓝色值；
将所述荧光调整绿色值和荧光调整蓝色值分别与所述荧光信号强度相乘得到对应像素位置的荧光部分绿色值和荧光部分蓝色值；
以所述白光部分红色值作为所述融合图像对应像素位置的第三红色值，叠加所述白光部分绿色值和所述荧光部分绿色值得到所述融合图像对应像素位置的第三绿色值，叠加所述白光部分蓝色值和所述荧光部分蓝色值得到所述融合图像对应像素位置的第三蓝色值；
根据每一像素位置的所述第三红色值、所述第三绿色值和所述第三蓝色值组成所述融合图像。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
9.一种双荧光内窥镜图像融合装置，其特征在于，包括：
获取模块，用于获取白光原始图像和荧光原始图像；
调整模块，用于调整所述荧光原始图像，以将所述荧光原始图像中蓝色成分比红色成分多和蓝色成分比红色成分少的两类像素中的一类转换为绿色，另一类转换为蓝色，并将所述荧光原始图像中过曝的像素转换为青色，得到荧光调整图像；
叠加模块，用于遍历所述荧光原始图像获取每一像素位置的第二红色值、第二绿色值和第二蓝色值；根据所述第二红色值、所述第二绿色值和所述第二蓝色值计算对应像素位置的荧光信号强度；根据所述荧光信号强度调整所述荧光调整图像得到融合图像的荧光部分，根据所述荧光信号强度调整所述白光原始图像得到融合图像的白光部分，叠加所述融合图像的白光部分和所述融合图像的荧光部分，得到融合图像；
输出模块，用于输出所述融合图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210223358.5A CN114298956B (zh) | 2022-03-09 | 2022-03-09 | 双荧光内窥镜图像融合方法、电子设备及装置 |
| PCT/CN2022/082126 WO2023168751A1 (zh) | 2022-03-09 | 2022-03-22 | 双荧光内窥镜图像融合方法、电子设备及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210223358.5A CN114298956B (zh) | 2022-03-09 | 2022-03-09 | 双荧光内窥镜图像融合方法、电子设备及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114298956A CN114298956A (zh) | 2022-04-08 |
| CN114298956B true CN114298956B (zh) | 2022-06-28 |
Family
ID=80978646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210223358.5A Active CN114298956B (zh) | 2022-03-09 | 2022-03-09 | 双荧光内窥镜图像融合方法、电子设备及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114298956B (zh) |
| WO (1) | WO2023168751A1 (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299212A (zh) * | 2014-09-28 | 2015-01-21 | 安徽中科医药成像技术科技有限公司 | 白光图像和荧光图像的融合方法和系统 |
| CN107137053A (zh) * | 2016-02-15 | 2017-09-08 | 徕卡仪器（新加坡）有限公司 | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 |
| CN108095701A (zh) * | 2018-04-25 | 2018-06-01 | 上海凯利泰医疗科技股份有限公司 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
| WO2020256940A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Wide dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003159209A (ja) * | 2001-11-29 | 2003-06-03 | Fuji Photo Film Co Ltd | 蛍光診断画像表示方法および表示装置 |
| JP4891990B2 (ja) * | 2006-04-12 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| JP6030035B2 (ja) * | 2013-09-27 | 2016-11-24 | 富士フイルム株式会社 | 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法 |
| CN106296635B (zh) * | 2015-05-29 | 2019-11-22 | 厦门鹭佳生物科技有限公司 | 一种荧光原位杂交(fish)图像并行处理与分析方法 |
| US11172811B2 (en) * | 2019-06-20 | 2021-11-16 | Cilag Gmbh International | Image rotation in an endoscopic fluorescence imaging system |
| CN110505459B (zh) * | 2019-08-16 | 2020-12-11 | 域鑫科技（惠州）有限公司 | 适用于内窥镜的图像颜色校正方法、装置和存储介质 |
| CN110996016A (zh) * | 2019-12-11 | 2020-04-10 | 苏州新光维医疗科技有限公司 | 一种内窥镜图像色彩调整方法 |
| CN110840386A (zh) * | 2019-12-19 | 2020-02-28 | 中国科学院长春光学精密机械与物理研究所 | 基于单探测器的可见光和近红外荧光3d共成像内窥镜系统 |
| CN110811498A (zh) * | 2019-12-19 | 2020-02-21 | 中国科学院长春光学精密机械与物理研究所 | 可见光和近红外荧光3d融合图像内窥镜系统 |
| CN111683234B (zh) * | 2020-06-04 | 2022-05-31 | 深圳开立生物医疗科技股份有限公司 | 一种内窥镜成像方法、装置及相关设备 |
-
2022
- 2022-03-09 CN CN202210223358.5A patent/CN114298956B/zh active Active
- 2022-03-22 WO PCT/CN2022/082126 patent/WO2023168751A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299212A (zh) * | 2014-09-28 | 2015-01-21 | 安徽中科医药成像技术科技有限公司 | 白光图像和荧光图像的融合方法和系统 |
| CN107137053A (zh) * | 2016-02-15 | 2017-09-08 | 徕卡仪器（新加坡）有限公司 | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 |
| CN108095701A (zh) * | 2018-04-25 | 2018-06-01 | 上海凯利泰医疗科技股份有限公司 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
| WO2020256940A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Wide dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping |
Non-Patent Citations (1)
| Title |
|---|
| 具有自适应成像功能的荧光显微内窥术;冯志锋等;《光学学报》;20111210(第12期);第190-195页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023168751A1 (zh) | 2023-09-14 |
| CN114298956A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106068092B (zh) | 图像处理装置 | |
| US8027533B2 (en) | Method of automated image color calibration | |
| CN105705075B (zh) | 图像处理装置及其工作方法 | |
| US8419628B2 (en) | Endoscope system and endoscopic image processing apparatus | |
| US7627189B2 (en) | Sharpness adjustment method and program and electronic endoscope apparatus | |
| CN104470416B (zh) | 图像处理装置和内窥镜装置 | |
| US7613335B2 (en) | Methods and devices useful for analyzing color medical images | |
| CN105101862B (zh) | 图像处理装置和内窥镜系统的工作方法 | |
| US7791651B2 (en) | Brightness adjustment method and image processing apparatus | |
| CN106388756A (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
| CN104939792B (zh) | 医用图像处理装置及其工作方法 | |
| CN114445316B (zh) | 一种内窥镜荧光与可见光图像融合方法 | |
| CN109635871A (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
| CN105212885B (zh) | 医用图像处理装置及其工作方法、以及内窥镜系统 | |
| CN110337259B (zh) | 内窥镜系统、处理器装置及内窥镜系统的工作方法 | |
| CN102641109B (zh) | 内窥镜照度的智能调节方法 | |
| Murai et al. | Improving color appearance of organ in surgery by optimally designed LED illuminant | |
| CN114298956B (zh) | 双荧光内窥镜图像融合方法、电子设备及装置 | |
| JP2006142001A (ja) | 電子内視鏡装置 | |
| CN109310303A (zh) | 电子内窥镜处理器以及电子内窥镜系统 | |
| CN111936031A (zh) | 医疗图像处理装置 | |
| US20220375047A1 (en) | Medical imaging | |
| JP2006142004A (ja) | シャープネス調整方法およびプログラム並びに電子内視鏡装置 | |
| CN113808057A (zh) | 基于无监督学习的内窥镜图像增强方法 | |
| JP2003010113A (ja) | 電子内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration) Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd. Address before: 528251 room 503, floor 5, building a, Jingu Zhichuang industrial community, No. 2, Yong'an North Road, Dawei community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD. |
|
| CP03 | Change of name, title or address |