CN116309042A - 近红外光谱胸内血管显像系统、方法及电子设备 - Google Patents

近红外光谱胸内血管显像系统、方法及电子设备 Download PDF

Info

Publication number
CN116309042A
CN116309042A CN202211666778.7A CN202211666778A CN116309042A CN 116309042 A CN116309042 A CN 116309042A CN 202211666778 A CN202211666778 A CN 202211666778A CN 116309042 A CN116309042 A CN 116309042A
Authority
CN
China
Prior art keywords
image
module
near infrared
features
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211666778.7A
Other languages
English (en)
Other versions
CN116309042B (zh
Inventor
刘昭国
曾铁勇
余昭胜
徐圆
李智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Hospital Southern Medical University
Original Assignee
Southern Hospital Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Hospital Southern Medical University filed Critical Southern Hospital Southern Medical University
Priority to CN202211666778.7A priority Critical patent/CN116309042B/zh
Publication of CN116309042A publication Critical patent/CN116309042A/zh
Application granted granted Critical
Publication of CN116309042B publication Critical patent/CN116309042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种近红外光谱胸内血管显像系统、方法及电子设备，该系统包括术中腔镜以及与术中腔镜连接的显示器；术中腔镜包括图像传感器以及内含多个近红外LED光源的镜头组；图像传感器分别与镜头组和显示器连接；镜头组用于在多个近红外LED光源向术中部位发射近红外光信号时，将近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；图像传感器用于将图像光信号转换成低分辨率图像，并采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将第一高分辨率图像发送给显示器进行第一高分辨率图像的显示。采用本发明可以降低外科医师在术中识别血管的难度。

Description

近红外光谱胸内血管显像系统、方法及电子设备
技术领域
本发明涉及医学成像技术领域，尤其是涉及一种近红外光谱胸内血管显像系统、方法及电子设备。
背景技术
随着全球肿瘤发病率的提高，基于肿瘤治疗的外科手术占据越来越重要的分量，其基本涉及外科主要分支学科，包括普外科、骨科、脑外科、妇产科、泌尿科以及胸外科等。在所有学科的手术过程中，众所周知，术中血管暴露不完整，进而损伤血管是导致手术进程不顺利或者中转改变手术方式乃至手术失败的重要原因。血管暴露始终是肿瘤是否顺利切除的重要基础，尤其是进入现今微创手术时代，充分暴露血管并在避免损伤血管的基础上顺利切除肿瘤是手术治疗的重要目的之一。当前，在整个手术过程中，无论开放手术或者微创手术，术者都是依靠自然光线采集术野信息，术者依靠经验判断术野血管解剖结构，术者只能直接目测术野表面信息，无法直接判断术野组织内局部血管解剖结构。暴露血管都是依靠外科医师对局部解剖的熟悉及熟练的操作经验逐步达成的，而对于局部血管变异较多及医师经验相对较少的情况而言，顺利暴露血管完成手术依然是个较大挑战。
发明内容
有鉴于此，本发明的目的在于提供一种近红外光谱胸内血管显像系统、方法及电子设备，以降低外科医师在术中识别血管的难度。
第一方面，本发明实施例提供了一种近红外光谱胸内血管显像系统，所述系统包括术中腔镜以及与所述术中腔镜连接的显示器；所述术中腔镜包括图像传感器以及内含多个近红外LED光源的镜头组；所述图像传感器分别与所述镜头组和所述显示器连接；所述镜头组用于在所述多个近红外LED光源向术中部位发射近红外光信号时，将所述近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；所述图像传感器用于将所述图像光信号转换成低分辨率图像，并采用预先训练的分类器对所述低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将所述第一高分辨率图像发送给所述显示器进行所述第一高分辨率图像的显示。
第二方面，本发明实施例还提供一种近红外光谱胸内血管显像方法，所述方法应用于上述近红外光谱胸内血管显像系统，所述方法包括：所述镜头组在所述多个近红外LED光源向术中部位发射近红外光信号时，将所述近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；所述图像传感器将所述图像光信号转换成低分辨率图像，并采用预先训练的分类器对所述低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将所述第一高分辨率图像发送给所述显示器进行所述第一高分辨率图像的显示。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述近红外光谱胸内血管显像方法。
本发明实施例提供的一种近红外光谱胸内血管显像系统、方法及电子设备，该系统包括术中腔镜以及与术中腔镜连接的显示器；术中腔镜包括图像传感器以及内含多个近红外LED光源的镜头组；图像传感器分别与镜头组和显示器连接；镜头组用于在多个近红外LED光源向术中部位发射近红外光信号时，将近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；图像传感器用于将图像光信号转换成低分辨率图像，并采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将第一高分辨率图像发送给显示器进行第一高分辨率图像的显示。采用上述技术，能够对近红外光谱图像进行分辨率和辨识度方面的增强，降低血管与背景图像的分离难度；能够有效对近红外光谱图像进行分割，将血管部分精准有效地从手术场景中分离出来，辅助外科医师在术中准确识别血管，从而降低外科医师在术中识别血管的难度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种近红外光谱胸内血管显像系统的结构示意图；
图2为本发明实施例中另一种近红外光谱胸内血管显像系统的结构示意图；
图3为本发明实施例中轻量级可调超分辨率网络的结构示意图；
图4为本发明实施例中轻量级可调超分辨率网络的示例图；
图5为本发明实施例中空间注意力多级结构网络与骨干网络连接的结构示意图；
图6为本发明实施例中空间注意力多级结构网络与骨干网络连接的示例图；
图7为本发明实施例中像素级别特征提取模块的示例图；
图8为本发明实施例中MLN与其它现有深度学习网络在胰腺肿瘤影像数据上肿瘤分割结果对比图；
图9为本发明实施例中CAB U-Net的示例图；
图10为本发明实施例中CAB U-Net与其它现有深度学习网络在心脏医学图像上分割结果对比图；
图11为本发明实施例中一种近红外光谱胸内血管显像方法的流程示意图；
图12为本发明实施例中一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，随着全球肿瘤发病率的提高，基于肿瘤治疗的外科手术占据越来越重要的分量，其基本涉及外科主要分支学科，包括普外科、骨科、脑外科、妇产科、泌尿科以及胸外科等。在所有学科的手术过程中，众所周知，术中血管暴露不完整，进而损伤血管是导致手术进程不顺利或者中转改变手术方式乃至手术失败的重要原因。血管暴露始终是肿瘤是否顺利切除的重要基础，尤其是进入现今微创手术时代，充分暴露血管并在避免损伤血管的基础上顺利切除肿瘤是手术治疗的重要目的之一。当前，在整个手术过程中，无论开放手术或者微创手术，术者都是依靠自然光线采集术野信息，术者依靠经验判断术野血管解剖结构，术者只能直接目测术野表面信息，无法直接判断术野组织内局部血管解剖结构。暴露血管都是依靠外科医师对局部解剖的熟悉及熟练的操作经验逐步达成的，而对于局部血管变异较多及医师经验相对较少的情况而言，顺利暴露血管完成手术依然是个较大挑战。
基于此，本发明实施提供的一种近红外光谱胸内血管显像系统、方法及电子设备，可以降低外科医师在术中识别血管的难度。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种近红外光谱胸内血管显像系统进行详细介绍，参见图1所示，该系统可以包括术中腔镜1以及与术中腔镜连接的显示器2；术中腔镜1包括图像传感器11以及内含多个近红外LED光源121的镜头组12；图像传感器11分别与镜头组12和显示器2连接；镜头组12用于在多个近红外LED光源121向术中部位发射近红外光信号时，将近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；图像传感器11用于将图像光信号转换成低分辨率图像，并采用预先训练的分类器111对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将第一高分辨率图像发送给显示器2进行第一高分辨率图像的显示。
本发明实施例提供的一种近红外光谱胸内血管显像系统，该系统包括术中腔镜以及与术中腔镜连接的显示器；术中腔镜包括图像传感器以及内含多个近红外LED光源的镜头组；图像传感器分别与镜头组和显示器连接；镜头组用于在多个近红外LED光源向术中部位发射近红外光信号时，将近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；图像传感器用于将图像光信号转换成低分辨率图像，并采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将第一高分辨率图像发送给显示器进行第一高分辨率图像的显示。采用上述技术，能够对近红外光谱图像进行分辨率和辨识度方面的增强，降低血管与背景图像的分离难度；能够有效对近红外光谱图像进行分割，将血管部分精准有效地从手术场景中分离出来，辅助外科医师在术中准确识别血管，从而降低外科医师在术中识别血管的难度。
作为一种可能的实施方式，参见图2所示，镜头组12可以包括镜头122、多个近红外LED光源121、第一透镜123、光栅124、聚光镜125、空间调制器126和第二透镜127；多个近红外LED光源121环形阵列于镜头122的外周；空间调制器126包括滤光片和感光片；镜头组12可以用于：通过多个近红外LED光源121向术中部位发射近红外光信号，通过镜头122接收反射光信号，依次通过第一透镜123、光栅124、聚光镜125、空间调制器126和第二透镜127将反射光信号转换成图像光信号。
作为一种可能的实施方式，参见图2所示，图像传感器11可以包括依次连接的检测器112、模数转换器113、预处理器114、信号处理器115和分类器111；分类器111与显示器2连接；图像传感器11可以用于：通过检测器112采集上述图像光信号，通过模数转换器113将上述图像光信号转换成数字信号，通过预处理器114将数字信号预处理成图像信号，通过信号处理器115将图像信号处理成上述低分辨率图像，通过分类器111对上述低分辨率图像进行血管分割以得到上述第一高分辨率图像。
作为一种可能的实施方式，上述信号处理器还可以用于：采用四元数图像增强技术对上述图像信号进行增强处理以抑制上述图像信号的噪声。
示例性地，给定近红外光谱图像f及近红外光谱的先验信息fm(具体是指近红外光谱图像f的初始信息)，通过求解以下变分模型以对近红外光谱图像进行增强处理：
Figure BDA0004014918690000071
最终可以得到对比度增强以后的图像u。采用四元数图像增强技术对近红外光谱图像进行增强处理，可以在抑制噪声的同时对血管部分的像素进行有效增强。
作为一种可能的实施方式，上述分类器可以包括轻量级可调超分辨率网络(ASRN)；参见图3所示，轻量级可调超分辨率网络可以包括依次连接的全连接模块31、多尺度聚合模块32、上采样模块33和重建模块34；全连接模块31可以用于对低分辨率图像进行分类，得到分类后的第一图像；多尺度聚合模块32可以用于对第一图像进行多级血管特征提取，并将后一级血管特征提取得到的特征与前一级血管特征提取得到的特征进行聚合，得到每一级血管特征提取所对应的初始特征图；上采样模块33可以用于分别对每一级血管特征提取所对应的初始特征图进行上采样，得到每一级血管特征提取所对应的第一特征图；重建模块34可以用于分别计算每一级血管特征提取所对应的第一特征图的特征残差，并将计算得到的特征残差相加以得到总残差，之后将总残差叠加到最后一级血管特征提取所对应的第一特征图上，从而得到初始高分辨率图像。
示例性地，参见图4所示，多尺度聚合模块包括n个依次连接的多尺度聚合子模块(即图4中的“MAB”)，上采样模块包括n个上采样子模块(即图4中的“上采样”)，每个MAB均与一个上采样子模块对应连接，第一个MAB的输入端与一个全连接模块(即图4中的“Head”)的输出端连接；可将低分辨率图像LR输入Head，由Head对LR进行分类并输出得到分类后的第一图像；之后由n个MAB对第一图像进行n级血管特征提取，并将后一级血管特征提取得到的特征与前一级血管特征提取得到的特征进行聚合，得到每一级血管特征提取所对应的初始特征图；之后由n个上采样子模块分别对每一级血管特征提取所对应的初始特征图进行上采样以得到每一级血管特征提取所对应的第一特征图(即SR1、SR2、……、SRn-1、SRn)；之后分别计算每一级血管特征提取所对应的第一特征图的特征残差，并将计算得到的特征残差相加以得到总残差，之后将总残差叠加到最后一级血管特征提取所对应的第一特征图上，从而得到初始高分辨率图像HR。
通过上述轻量级可调超分辨率网络可以产生高分辨率图像，补充图像的纹理和细节。
作为一种可能的实施方式，上述分类器还可以包括与一个骨干网络连接的空间注意力多级结构网络(MLN)；参见图5所示，空间注意力多级结构网络51可以包括第一空洞金字塔池化模块511、第二空洞金字塔池化模块512和像素级别特征提取模块513；骨干网络50可以包括依次连接的第一模块501和残差模块502，残差模块502分别与第一空洞金字塔池化模块511、第二空洞金字塔池化模块512和像素级别特征提取模块513连接；第一模块501可以用于对初始高分辨率图像进行卷积和池化操作，得到第一图像；残差模块502可以用于对第一图像进行多级残差计算，并输出得到第一级残差计算所对应的第一残差以及最后一级残差计算所对应的第二残差和第三残差；像素级别特征提取模块513可以用于对第一残差进行像素级别特征提取以得到初始高分辨率图像对应的像素级别特征；第一空洞金字塔池化模块511可以用于对第二残差进行局部特征提取和上采样以得到初始高分辨率图像对应的局部特征；第二空洞金字塔池化模块512可以用于对第三残差进行边缘特征提取和上采样以得到初始高分辨率图像对应的边缘特征；空间注意力多级结构网络51还可以用于将像素级别特征、局部特征和边缘特征进行像素级别相加，并将相加后得到的特征进行全局池化操作以得到第二特征图和第三特征图；空间注意力多级结构网络51还可以用于：采用预设激活函数对第二特征图进行第一激活处理，并将第一激活处理后的结果依次与像素级别特征和局部特征进行像素级别相乘以得到初始高分辨率图像对应的第一融合特征；采用预设激活函数对第三特征图进行第二激活处理，并将第二激活处理后的结果依次与边缘特征和局部特征进行像素级别相乘以得到初始高分辨率图像对应的第二融合特征；将第一融合特征与第二融合特征拼接成初始融合特征，并将初始融合特征进行卷积操作以得到第一高分辨率图像。
示例性地，参见图6所示，空间注意力多级结构网络可以包括两个空洞金字塔池化(ASPP)模块(即图6中的第一ASPP模块和第二ASPP模块)和一个像素级别特征提取模块；骨干网络可以包括依次连接的卷积与池化模块(即图6中的“conv+pool”)和四个残差模块(即图6中的“ResBlock1”、“ResBlock2”、“ResBlock3”和“ResBlock4”)，ResBlock1与像素级别特征提取模块连接，ResBlock4分别与第一ASPP模块和第二ASPP模块连接；可将初始高分辨率图像输入卷积与池化模块，通过卷积与池化模块对初始高分辨率图像进行卷积和池化操作以得到第一图像；通过ResBlock1对第一图像进行第一级残差计算以输出得到第一残差，依次通过ResBlock1、ResBlock2、ResBlock3和ResBlock4对第一图像进行四级残差计算并由ResBlock4进行最后一级残差计算以输出得到第二残差和第三残差；通过像素级别特征提取模块对第一残差进行像素级别特征提取以输出得到像素特征(即上述像素级别特征)，通过第一ASPP模块对第二残差进行局部特征提取和上采样以输出得到局部特征，通过第二ASPP模块对第三残差进行边缘特征提取和上采样以输出得到边缘特征；之后将像素特征、局部特征和边缘特征进行像素级别相加，并将相加后得到的特征进行全局池化操作以得到两个特征图(即上述第二特征图和上述第三特征图)；之后分别对这两个特征图依次进行1×1的卷积处理和激活函数sigmoid的激活处理，并将处理后得到的其中一个特征图依次与像素特征和局部特征进行像素级别相乘以得到第一融合特征，以及将处理后得到的另一个特征图依次与边缘特征和局部特征进行像素级别相乘以得到第二融合特征；之后将第一融合特征与第二融合特征拼接成初始融合特征，并将初始融合特征依次进行两次1×1的卷积操作以得到第一高分辨率图像。
作为一种可能的实施方式，参见图7所示，上述像素级别特征提取模块可以包括多头注意力模块、第一多层感知机(可简称为第一MLP)和第二多层感知机(可简称为第二MLP)；多头注意力模块用于对上述第一残差进行多头空间注意力处理，并将多头空间注意力处理后的结果与上述第一残差进行像素级别相加以得到第一注意力特征；第一MLP用于对第一注意力特征进行第一像素级别特征提取，并将第一像素级别特征提取后的结果与第一注意力特征进行像素级别相加以得到第二注意力特征；第二MLP用于对第二注意力特征进行第二像素级别特征提取，并将第二像素级别特征提取后的结果与第二注意力特征进行像素级别相加以得到像素特征(即上述像素级别特征)。
通过对MLN与其它现有深度学习网络在胰腺肿瘤影像数据上肿瘤分割结果进行对比，参见图8所示，黄色区域是分割正确的区域，绿色区域是被错误分割为前景的区域，红色区域是被错误分割为背景的区域，可知，上述MLN相比于现有深度学习网络有更好的肿瘤分割效果。
作为一种可能的实施方式，上述分类器还可以包括通道注意力U型网络(CAB U-Net)；通道注意力U型网络可以用于：对上述初始高分辨率图像进行通道注意力处理，得到第三注意力特征；按照上述初始高分辨率图像的通道数量将上述初始高分辨率图像掩膜分割成多个单通道图像，并将多个单通道图像与第三注意力特征按照元素级别相乘以得到每个单通道图像对应的分类图像；将得到的分类图像拼接成上述第一高分辨率图像。
示例性地，参见图9所示，初始高分辨率图像采用三通道的RGB图像G，可先将G处理成所需尺寸的图像P，之后通道注意力U型网络的工作过程可以为：对P进行通道注意力处理，得到第三注意力特征F；将上P掩膜分割成三个单通道图像，并将这三个单通道图像与第三注意力特征F按照元素级别相乘以得到每个单通道图像对应的分类图像(即图9中的Class1、Class2和Class3)；将得到的三个分类图像拼接成一个高分辨率图像G’(即上述第一高分辨率图像)。
通过对CAB U-Net与其它现有深度学习网络在心脏医学图像上分割结果进行对比，参见图10所示，图10(a)为原始图像，图10(b)为人工分割真实血池区域的真值图像，图10(c)为通过现有的nnU-Net2D对原始图像进行血池区域分割后得到的图像，图10(d)为通过现有的nnU-Net3D对原始图像进行血池区域分割后得到的图像，图10(e)为通过CAB U-Net对原始图像进行血池区域分割后得到的图像，图10中位于白色框内的区域是血池区域，可知，上述CAB U-Net相比于现有深度学习网络得到的分割结果更接近于真实区域。
在训练分类器之前，还需要建立用于训练分类器的训练图像数据集，示例性地，可通过对巴马公香猪进行手术获取所需的训练图像数据集。训练图像数据集的获得方式可以为：选择大动物(30头成年巴马公香猪，可购自中国科学院动物研究所北方大动物研究基地)；对每头成年巴马公香猪均进行左下肺叶的切除手术，手术方式包括右侧卧位、四肢固定、全麻、双侧气管插管，采用微创手术，于外露侧猪肋间开孔进胸(为方便操作，可开3-4孔)，重复实验2-3次；术中使用基于近红外光谱及自然光进行胸部血管解剖成像，收集原始视频数据，并挑选出指定帧的图像人工进行血管区域分割，从而形成训练图像数据集。在建立训练图像数据集后，可用训练图像数据集训练分类器，训练方式具体可采用现有的常见训练方式，对此不再赘述。
基于上述近红外光谱胸内血管显像系统，本发明实施例还提供一种近红外光谱胸内血管显像方法，该方法可以应用于上述近红外光谱胸内血管显像系统，参见图11所示，该方法可以包括以下步骤：
步骤S1102，镜头组在多个近红外LED光源向术中部位发射近红外光信号时，将近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号。
步骤S1104，图像传感器将图像光信号转换成低分辨率图像，并采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将第一高分辨率图像发送给显示器进行第一高分辨率图像的显示。
本发明实施例提供的一种近红外光谱胸内血管显像方法，能够对近红外光谱图像进行分辨率和辨识度方面的增强，降低血管与背景图像的分离难度；能够有效对近红外光谱图像进行分割，将血管部分精准有效地从手术场景中分离出来，辅助外科医师在术中准确识别血管，从而降低外科医师在术中识别血管的难度。
作为一种可能的实施方式，所述镜头组包括镜头、所述多个近红外LED光源、第一透镜、光栅、聚光镜、空间调制器和第二透镜；所述多个近红外LED光源环形阵列于所述镜头的外周；所述空间调制器包括滤光片和感光片；基于此，上述步骤S1102(即镜头组在多个近红外LED光源向术中部位发射近红外光信号时，将近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号)可以包括：镜头组通过所述多个近红外LED光源向术中部位发射所述近红外光信号，通过所述镜头接收所述反射光信号，依次通过所述第一透镜、所述光栅、所述聚光镜、所述空间调制器和所述第二透镜将所述反射光信号转换成所述图像光信号。
作为一种可能的实施方式，所述图像传感器包括依次连接的检测器、模数转换器、预处理器、信号处理器和分类器；所述分类器与所述显示器连接；基于此，上述图像传感器将图像光信号转换成低分辨率图像，并采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像的步骤可以包括：图像传感器通过检测器采集所述图像光信号，通过所述模数转换器将所述图像光信号转换成数字信号，通过所述预处理器将所述数字信号预处理成图像信号，通过信号处理器将所述图像信号处理成所述低分辨率图像，通过所述分类器对所述低分辨率图像进行血管分割以得到所述第一高分辨率图像。
作为一种可能的实施方式，上述近红外光谱胸内血管显像方法还可以包括：信号处理器采用四元数图像增强技术对所述图像信号进行增强处理以抑制所述图像信号的噪声。
作为一种可能的实施方式，所述分类器包括轻量级可调超分辨率网络；所述轻量级可调超分辨率网络包括依次连接的全连接模块、多尺度聚合模块、上采样模块和重建模块；基于此，上述采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像的步骤可以包括：所述全连接模块对所述低分辨率图像进行分类，得到分类后的第一图像；所述多尺度聚合模块对所述第一图像进行多级血管特征提取，并将后一级血管特征提取得到的特征与前一级血管特征提取得到的特征进行聚合，得到每一级血管特征提取所对应的初始特征图；所述上采样模块分别对每一级血管特征提取所对应的初始特征图进行上采样，得到每一级血管特征提取所对应的第一特征图；所述重建模块分别计算每一级血管特征提取所对应的第一特征图的特征残差，并将计算得到的特征残差相加以得到总残差，之后将所述总残差叠加到最后一级血管特征提取所对应的第一特征图上，从而得到初始高分辨率图像。
作为一种可能的实施方式，所述分类器还包括与一个骨干网络连接的空间注意力多级结构网络；所述空间注意力多级结构网络包括第一空洞金字塔池化模块、第二空洞金字塔池化模块和像素级别特征提取模块；所述骨干网络包括依次连接的第一模块和残差模块，所述残差模块分别与所述第一空洞金字塔池化模块、所述第二空洞金字塔池化模块和所述像素级别特征提取模块连接；基于此，上述采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像的步骤可以包括：所述第一模块对所述初始高分辨率图像进行卷积和池化操作，得到第一图像；所述残差模块对所述第一图像进行多级残差计算，并输出得到第一级残差计算所对应的第一残差以及最后一级残差计算所对应的第二残差和第三残差；所述像素级别特征提取模块对所述第一残差进行像素级别特征提取以得到所述初始高分辨率图像对应的像素级别特征；所述第一空洞金字塔池化模块对所述第二残差进行局部特征提取和上采样以得到所述初始高分辨率图像对应的局部特征；所述第二空洞金字塔池化模块对所述第三残差进行边缘特征提取和上采样以得到所述初始高分辨率图像对应的边缘特征；所述空间注意力多级结构网络将所述像素级别特征、所述局部特征和所述边缘特征进行像素级别相加，并将相加后得到的特征进行全局池化操作以得到第二特征图和第三特征图；所述空间注意力多级结构网络采用预设激活函数对第二特征图进行第一激活处理，并将第一激活处理后的结果依次与所述像素级别特征和所述局部特征进行像素级别相乘以得到所述初始高分辨率图像对应的第一融合特征；所述空间注意力多级结构网络采用预设激活函数对第三特征图进行第二激活处理，并将第二激活处理后的结果依次与所述边缘特征和所述局部特征进行像素级别相乘以得到所述初始高分辨率图像对应的第二融合特征；所述空间注意力多级结构网络将所述第一融合特征与所述第二融合特征拼接成初始融合特征，并将所述初始融合特征进行卷积操作以得到所述第一高分辨率图像。
作为一种可能的实施方式，所述像素级别特征提取模块包括多头注意力模块、第一多层感知机和第二多层感知机；基于此，所述像素级别特征提取模块对所述第一残差进行像素级别特征提取以得到所述初始高分辨率图像对应的像素级别特征的步骤可以包括：所述多头注意力模块对所述第一残差进行多头空间注意力处理，并将多头空间注意力处理后的结果与所述第一残差进行像素级别相加以得到第一注意力特征；所述第一多层感知机对所述第一注意力特征进行第一像素级别特征提取，并将第一像素级别特征提取后的结果与所述第一注意力特征进行像素级别相加以得到第二注意力特征；所述第二多层感知机对所述第二注意力特征进行第二像素级别特征提取，并将第二像素级别特征提取后的结果与所述第二注意力特征进行像素级别相加以得到所述像素级别特征。
作为一种可能的实施方式，所述分类器还包括通道注意力U型网络；基于此，上述采用预先训练的分类器对低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像的步骤可以包括：所述通道注意力U型网络对所述初始高分辨率图像进行通道注意力处理，得到第三注意力特征；所述通道注意力U型网络按照所述初始高分辨率图像的通道数量将所述初始高分辨率图像掩膜分割成多个单通道图像，并将所述多个单通道图像与所述第三注意力特征按照元素级别相乘以得到每个单通道图像对应的分类图像；所述通道注意力U型网络将得到的分类图像拼接成所述第一高分辨率图像。
本发明实施例所提供的近红外光谱胸内血管显像方法，其实现原理及产生的技术效果和前述近红外光谱胸内血管显像系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。
本发明实施例还提供了一种电子设备，如图12所示，为该电子设备的结构示意图，其中，该电子设备包括处理器1201和存储器1200，该存储器1200存储有能够被该处理器1201执行的计算机可执行指令，该处理器1201执行该计算机可执行指令以实现上述近红外光谱胸内血管显像方法。
在图12示出的实施方式中，该电子设备还包括总线1202和通信接口1203，其中，处理器1201、通信接口1203和存储器1200通过总线1202连接。
其中，存储器1200可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口1203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线1202可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线1202可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器1201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1201可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器1201读取存储器中的信息，结合其硬件完成前述实施例的近红外光谱胸内血管显像方法的步骤。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种近红外光谱胸内血管显像系统，其特征在于，所述系统包括术中腔镜以及与所述术中腔镜连接的显示器；所述术中腔镜包括图像传感器以及内含多个近红外LED光源的镜头组；所述图像传感器分别与所述镜头组和所述显示器连接；所述镜头组用于在所述多个近红外LED光源向术中部位发射近红外光信号时，将所述近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；所述图像传感器用于将所述图像光信号转换成低分辨率图像，并采用预先训练的分类器对所述低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将所述第一高分辨率图像发送给所述显示器进行所述第一高分辨率图像的显示。
2.根据权利要求1所述的系统，其特征在于，所述镜头组包括镜头、所述多个近红外LED光源、第一透镜、光栅、聚光镜、空间调制器和第二透镜；所述多个近红外LED光源环形阵列于所述镜头的外周；所述空间调制器包括滤光片和感光片；所述镜头组用于：通过所述多个近红外LED光源向术中部位发射所述近红外光信号，通过所述镜头接收所述反射光信号，依次通过所述第一透镜、所述光栅、所述聚光镜、所述空间调制器和所述第二透镜将所述反射光信号转换成所述图像光信号。
3.根据权利要求1所述的系统，其特征在于，所述图像传感器包括依次连接的检测器、模数转换器、预处理器、信号处理器和分类器；所述分类器与所述显示器连接；所述图像传感器用于：通过检测器采集所述图像光信号，通过所述模数转换器将所述图像光信号转换成数字信号，通过所述预处理器将所述数字信号预处理成图像信号，通过信号处理器将所述图像信号处理成所述低分辨率图像，通过所述分类器对所述低分辨率图像进行血管分割以得到所述第一高分辨率图像。
4.根据权利要求3所述的系统，其特征在于，所述信号处理器还用于：采用四元数图像增强技术对所述图像信号进行增强处理以抑制所述图像信号的噪声。
5.根据权利要求3所述的系统，其特征在于，所述分类器包括轻量级可调超分辨率网络；所述轻量级可调超分辨率网络包括依次连接的全连接模块、多尺度聚合模块、上采样模块和重建模块；所述全连接模块用于对所述低分辨率图像进行分类，得到分类后的第一图像；所述多尺度聚合模块用于对所述第一图像进行多级血管特征提取，并将后一级血管特征提取得到的特征与前一级血管特征提取得到的特征进行聚合，得到每一级血管特征提取所对应的初始特征图；所述上采样模块用于分别对每一级血管特征提取所对应的初始特征图进行上采样，得到每一级血管特征提取所对应的第一特征图；所述重建模块用于分别计算每一级血管特征提取所对应的第一特征图的特征残差，并将计算得到的特征残差相加以得到总残差，之后将所述总残差叠加到最后一级血管特征提取所对应的第一特征图上，从而得到初始高分辨率图像。
6.根据权利要求5所述的系统，其特征在于，所述分类器还包括与一个骨干网络连接的空间注意力多级结构网络；所述空间注意力多级结构网络包括第一空洞金字塔池化模块、第二空洞金字塔池化模块和像素级别特征提取模块；所述骨干网络包括依次连接的第一模块和残差模块，所述残差模块分别与所述第一空洞金字塔池化模块、所述第二空洞金字塔池化模块和所述像素级别特征提取模块连接；
所述第一模块用于对所述初始高分辨率图像进行卷积和池化操作，得到第一图像；所述残差模块用于对所述第一图像进行多级残差计算，并输出得到第一级残差计算所对应的第一残差以及最后一级残差计算所对应的第二残差和第三残差；所述像素级别特征提取模块用于对所述第一残差进行像素级别特征提取以得到所述初始高分辨率图像对应的像素级别特征；所述第一空洞金字塔池化模块用于对所述第二残差进行局部特征提取和上采样以得到所述初始高分辨率图像对应的局部特征；所述第二空洞金字塔池化模块用于对所述第三残差进行边缘特征提取和上采样以得到所述初始高分辨率图像对应的边缘特征；
所述空间注意力多级结构网络还用于将所述像素级别特征、所述局部特征和所述边缘特征进行像素级别相加，并将相加后得到的特征进行全局池化操作以得到第二特征图和第三特征图；
所述空间注意力多级结构网络还用于：采用预设激活函数对第二特征图进行第一激活处理，并将第一激活处理后的结果依次与所述像素级别特征和所述局部特征进行像素级别相乘以得到所述初始高分辨率图像对应的第一融合特征；采用预设激活函数对第三特征图进行第二激活处理，并将第二激活处理后的结果依次与所述边缘特征和所述局部特征进行像素级别相乘以得到所述初始高分辨率图像对应的第二融合特征；将所述第一融合特征与所述第二融合特征拼接成初始融合特征，并将所述初始融合特征进行卷积操作以得到所述第一高分辨率图像。
7.根据权利要求6所述的系统，其特征在于，所述像素级别特征提取模块包括多头注意力模块、第一多层感知机和第二多层感知机；所述多头注意力模块用于对所述第一残差进行多头空间注意力处理，并将多头空间注意力处理后的结果与所述第一残差进行像素级别相加以得到第一注意力特征；所述第一多层感知机用于对所述第一注意力特征进行第一像素级别特征提取，并将第一像素级别特征提取后的结果与所述第一注意力特征进行像素级别相加以得到第二注意力特征；所述第二多层感知机用于对所述第二注意力特征进行第二像素级别特征提取，并将第二像素级别特征提取后的结果与所述第二注意力特征进行像素级别相加以得到所述像素级别特征。
8.根据权利要求5所述的系统，其特征在于，所述分类器还包括通道注意力U型网络；所述通道注意力U型网络用于：对所述初始高分辨率图像进行通道注意力处理，得到第三注意力特征；按照所述初始高分辨率图像的通道数量将所述初始高分辨率图像掩膜分割成多个单通道图像，并将所述多个单通道图像与所述第三注意力特征按照元素级别相乘以得到每个单通道图像对应的分类图像；将得到的分类图像拼接成所述第一高分辨率图像。
9.一种近红外光谱胸内血管显像方法，其特征在于，所述方法应用于权利要求1至8任一项所述的系统，所述方法包括：
所述镜头组在所述多个近红外LED光源向术中部位发射近红外光信号时，将所述近红外光信号经过术中部位反射后得的反射光信号转换成图像光信号；
所述图像传感器将所述图像光信号转换成低分辨率图像，并采用预先训练的分类器对所述低分辨率图像进行血管分割以得到血管分割后的第一高分辨率图像，之后将所述第一高分辨率图像发送给所述显示器进行所述第一高分辨率图像的显示。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求9所述方法。
CN202211666778.7A 2022-12-23 2022-12-23 近红外光谱胸内血管显像系统、方法及电子设备 Active CN116309042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211666778.7A CN116309042B (zh) 2022-12-23 2022-12-23 近红外光谱胸内血管显像系统、方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211666778.7A CN116309042B (zh) 2022-12-23 2022-12-23 近红外光谱胸内血管显像系统、方法及电子设备

Publications (2)

Publication Number Publication Date
CN116309042A true CN116309042A (zh) 2023-06-23
CN116309042B CN116309042B (zh) 2024-03-22

Family

ID=86778574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211666778.7A Active CN116309042B (zh) 2022-12-23 2022-12-23 近红外光谱胸内血管显像系统、方法及电子设备

Country Status (1)

Country Link
CN (1) CN116309042B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295062A1 (en) * 2008-12-11 2011-12-01 Fundacio Clinic Per A La Recerca Biomedica Fcrb Equipment for infrared vision of anatomical structures and signal processing methods thereof
CN103126654A (zh) * 2013-02-05 2013-06-05 杭州柏拉图科技有限公司 一种近红外体表血管检测仪的检测系统
CN106264467A (zh) * 2016-08-10 2017-01-04 河南埃尔森智能科技有限公司 一种多功能双红外血管显像仪及其显像方法
CN106994001A (zh) * 2017-03-30 2017-08-01 展谱光电科技（上海）有限公司 便携式多光谱摄像装置及其使用方法
CN113205538A (zh) * 2021-05-17 2021-08-03 广州大学 基于CRDNet的血管图像分割方法及装置
CN215128362U (zh) * 2021-01-12 2021-12-14 张涛 红外血管成像电子胃镜系统
CN113793348A (zh) * 2021-09-24 2021-12-14 河北大学 一种视网膜血管分割方法和装置
CN114881968A (zh) * 2022-05-07 2022-08-09 中南大学 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN115423819A (zh) * 2022-07-20 2022-12-02 东北大学 肺血管的分割方法及装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295062A1 (en) * 2008-12-11 2011-12-01 Fundacio Clinic Per A La Recerca Biomedica Fcrb Equipment for infrared vision of anatomical structures and signal processing methods thereof
CN103126654A (zh) * 2013-02-05 2013-06-05 杭州柏拉图科技有限公司 一种近红外体表血管检测仪的检测系统
CN106264467A (zh) * 2016-08-10 2017-01-04 河南埃尔森智能科技有限公司 一种多功能双红外血管显像仪及其显像方法
CN106994001A (zh) * 2017-03-30 2017-08-01 展谱光电科技（上海）有限公司 便携式多光谱摄像装置及其使用方法
CN215128362U (zh) * 2021-01-12 2021-12-14 张涛 红外血管成像电子胃镜系统
CN113205538A (zh) * 2021-05-17 2021-08-03 广州大学 基于CRDNet的血管图像分割方法及装置
CN113793348A (zh) * 2021-09-24 2021-12-14 河北大学 一种视网膜血管分割方法和装置
CN114881968A (zh) * 2022-05-07 2022-08-09 中南大学 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN115423819A (zh) * 2022-07-20 2022-12-02 东北大学 肺血管的分割方法及装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUNCHENG LI 等: "Adjustable super-resolution network via deep supervised learning and progressive self-distillation", 《NEUROCOMPUTING》, vol. 500, pages 379 - 393 *
XIAOFENG DING 等: "CAB U-Net: An end-to-end category attention boosting algorithm for segmentation", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》, vol. 84, pages 1 - 8 *
YUEYUN LIU 等: "Learning multi-level structural information for small organ segmentation", 《SIGNAL PROCESSING》, vol. 193, pages 1 - 14 *

Also Published As

Publication number Publication date
CN116309042B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
Abedalla et al. Chest X-ray pneumothorax segmentation using U-Net with EfficientNet and ResNet architectures
JP7118606B2 (ja) 医用画像処理装置及び医用画像処理プログラム
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN110738655B (zh) 影像报告生成方法、装置、终端及存储介质
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
US9269165B2 (en) Rib enhancement in radiographic images
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
US11735314B2 (en) Methods and apparatus for the application of machine learning to radiographic images of animals
WO2022062590A1 (zh) 图像识别方法及装置、设备、存储介质和程序
JP2018175226A (ja) 医用画像分類装置、方法およびプログラム
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
Goyal et al. A refined deep learning architecture for diabetic foot ulcers detection
Lang et al. Localization of craniomaxillofacial landmarks on CBCT images using 3D mask R-CNN and local dependency learning
CN116309042B (zh) 近红外光谱胸内血管显像系统、方法及电子设备
US20080165247A1 (en) Image processing apparatus and method
Öksüz et al. Ensemble-LungMaskNet: Automated lung segmentation using ensembled deep encoders
CN110110750B (zh) 一种原始图片的分类方法及装置
Dikici et al. Constrained generative adversarial network ensembles for sharable synthetic data generation
Sridhar et al. Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
CN111598870A (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
Ghafoor et al. Multiclass Segmentation using Teeth Attention Modules for Dental X-ray Images
JP7300285B2 (ja) 医用画像処理装置、ｘ線診断装置および医用画像処理プログラム
deManizales et al. to deep learninguniversidad appliedsonia tecnológicah. contreras-ortiz debolívar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant