CN114786558A - 医学图像生成装置、医学图像生成方法和医学图像生成程序 - Google Patents

医学图像生成装置、医学图像生成方法和医学图像生成程序 Download PDF

Info

Publication number
CN114786558A
CN114786558A CN202080083458.1A CN202080083458A CN114786558A CN 114786558 A CN114786558 A CN 114786558A CN 202080083458 A CN202080083458 A CN 202080083458A CN 114786558 A CN114786558 A CN 114786558A
Authority
CN
China
Prior art keywords
medical image
degree
fluorescence
scattering
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083458.1A
Other languages
English (en)
Inventor
深沢健太郎
深泽宇纪
山口恭司
和田成司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114786558A publication Critical patent/CN114786558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明在荧光观察中生成可视性高的医学图像。根据本申请的医学图像生成装置(100)设置有获取单元(131)、计算单元(132)和生成单元(134)。获取单元(131)获取用预定波长的荧光捕获的第一医学图像和用与预定波长不同的波长的荧光捕获的第二医学图像。计算单元(132)计算表示包括在由获取单元(131)获取的第一医学图像和第二医学图像中的生物体的相应荧光模糊度的散射度。生成单元(134)基于由计算单元(132)计算的散射度中的至少一个来生成输出图像。

Description

医学图像生成装置、医学图像生成方法和医学图像生成程序
技术领域
本发明涉及医学图像生成装置、医学图像生成方法和医学图像生成程序。
背景技术
在医学领域中,观察通过用具有特定波长频带的特殊光(例如,近红外光)照射生物体而捕获的特殊光图像的医生等可以视觉识别病变等。然而,用波长频带比白色光窄的特殊光捕获的特殊光图像通常比白色光图像暗,并且有时难以视觉识别生物体深部的弱荧光等。
为了促进这种可视性的提高,已知获取波长不同的医学图像并且从该医学图像生成输出图像的技术。具体地,已知根据波长不同的医学图像的亮度比来控制组合比率来生成输出图像的技术。
引用列表
专利文献
专利文献1:日本专利申请公开第2018-175762号。
发明内容
本发明要解决的问题
然而,在通过上述方法生成输出图像的情况下,波长不同的医学图像中的作为较亮的医学图像的短波长的医学图像的组合比率高,生成散射度大的医学图像,并且生物体的深部的可视性可能降低。
已经鉴于上述情况完成本发明,并且本发明提出了一种能够在荧光观察中生成可视性高的医学图像的医学图像生成装置、医学图像生成方法和医学图像生成程序。
问题的解决方案
根据本申请的医学图像生成装置包括:获取单元,获取用预定波长的荧光捕获的第一医学图像和用与预定波长不同的波长的荧光捕获的第二医学图像;计算单元,计算表示包括在由获取单元获取的第一医学图像和第二医学图像中的生物体的荧光的模糊度的散射度;以及生成单元,被配置为基于由计算单元计算的散射度中的至少一个来生成输出图像。
附图说明
图1是示出应用了使用根据实施方式的技术构思的手术室系统的手术的状态的示例的示图。
图2是示出图1所示的摄像机头和CCU的功能配置的示例的框图。
图3是示出根据实施方式的医学图像生成系统1的示图。
图4是示出根据实施方式的成像单元的配置示例(在单板成像的情况下)的示图。
图5是示出根据实施方式的成像单元的配置示例(在双板成像的情况下)的示图。
图6是示出根据实施方式的通过滤波器透射的波长频带的示例的示图。
图7是示出根据实施方式的医学图像生成装置的配置示例的示图。
图8是示出根据实施方式的波长与荧光强度之间的关系的示图。
图9是示出根据实施方式的用波长不同的荧光捕获的医学图像的特性的示图。
图10是示出根据实施方式的用波长不同的荧光捕获的医学图像的示例的示图。
图11是示出根据实施方式的散射度与模糊宽度之间的关系的示图。
图12是示出根据实施方式的散射度与模糊宽度之间的关系的示图。
图13是示出根据实施方式的信息处理的示例的示图。
图14是示出根据实施方式的散射度与滤波器系数之间的关系的示图。
图15是示出根据实施方式的输出图像的示例的示图。
图16是示出根据实施方式的处理过程的流程图。
图17是示出根据实施方式的医学图像生成装置的配置示例的示图。
图18是示出根据实施方式的信息处理的示例的示图。
图19是示出根据实施方式的处理过程的流程图。
图20是示出根据实施方式的医学图像生成装置的配置示例的示图。
图21是示出根据实施方式的信息处理的示例的示图。
图22是示出根据实施方式的散射度的差与组合比率之间的关系的示图。
图23是示出根据实施方式的处理过程的流程图。
图24是示出根据实施方式的医学图像生成装置的配置示例的示图。
图25是示出根据实施方式的散射度与深度之间的关系的示图。
图26是示出根据实施方式的散射度的差与权重之间的关系的示图。
图27是示出根据实施方式的在可视状态下显示散射抑制效果的输出图像的示例(颜色图)的示图。
图28是示出根据实施方式的在可视状态下显示散射抑制效果的输出图像的示例(单色)的示图。
图29是示出根据实施方式的处理过程的流程图。
图30是示出根据实施方式的波长与荧光强度之间的关系(5-Ala)的示图。
图31是示出根据实施方式的波长与荧光强度之间的关系(荧光素)的示图。
图32是示出实现医学图像生成装置的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中,参考附图详细描述用于实现根据本申请的医学图像生成装置、医学图像生成方法和医学图像生成程序的模式(在下文中称为“实施方式”)。注意,根据本申请的医学图像生成装置、医学图像生成方法和医学图像生成程序不受实施方式的限制。此外,在下面的实施方式中,相同的部件由相同的参考标记表示,并且将省略冗余描述。
将根据以下项的顺序描述本公开。
1.应用示例
2.根据实施方式的系统的配置
3.信息处理的示例
3.1.医学图像生成装置
3.2.处理过程
4.修改
4.1.修改1:使散射度接近的情况
4.1.1.医学图像生成装置
4.1.2.使用逆滤波器系数生成输出图像
4.2.修改2:基于散射度的差生成输出图像
4.2.1.医学图像生成装置
4.2.2.处理过程
4.3.修改3:输出图像中散射抑制效果的可视化
4.3.1.医学图像生成装置
4.3.2.处理过程
5.处理的变化
5.1.针对每个区域和每个像素去除模糊
5.2.在模糊宽度小于预定阈值的情况下的信息处理
5.3.使用学习模型计算散射度
5.4.除ICG荧光之外的荧光示例
5.5.分光板的限制
5.6.滤波器强度
6.硬件配置
7.其他
(实施方式)
[1.应用示例]
将描述与本公开的实施方式共同的技术构思的应用示例。图1是示出应用了使用根据本公开的技术构思的手术室系统5100的手术的状态的示例的示图。天花板摄像机5187和手术室摄像机5189设置在手术室的天花板上,并且可以对病床5183上的患者5185的患部进行治疗的操作者(医生)5181的手和整个手术室进行成像。天花板摄像机5187和手术室摄像机5189各自可以包括倍率调节功能、焦距调节功能、成像方向调节功能等。照明5191设置在手术室的天花板上并且至少照射操作者5181的手。照明5191可以能够适当地调节照射光量、照射光的波长(颜色)、光的照射方向等。
内窥镜手术系统5113、病床5183、天花板摄像机5187、手术室摄像机5189以及照明5191经由视听控制器和手术室控制设备(未示出)能够彼此协作地连接在一起。集中操作面板5111设置在手术室中,并且用户可以经由集中操作面板5111适当地操作手术室中的这些设备。
在下文中,将详细描述内窥镜手术系统5113的配置。如图所示,内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支撑内窥镜5115的支撑臂设备5141以及安装有用于内窥镜手术的各种设备的推车5151。
在内窥镜手术中,称为套管针5139a至5139d的多个筒状开孔设备被穿刺到腹壁而不是切割并打开腹壁。然后,将内窥镜5115的透镜镜筒5117和其他手术工具5131从套管针5139a至5139d插入患者5185的体腔中。在所示示例中,作为其他手术工具5131,将管5133、能量治疗工具5135和钳子5137插入患者5185的体腔中。这里,管5133也可以被配置为将体腔中生成的烟排出到体腔外。此外,另一方面,管5133可以具有将气体注入体腔中以使体腔膨胀的功能。此外,能量治疗工具5135是用于通过高频电流或超声波振动进行组织的切开和剥离、血管的密封等的治疗工具。然而,所示手术工具5131仅是示例,并且可以将通常用于内窥镜手术的各种手术工具(诸如镊子和牵引器)用作手术工具5131。
由内窥镜5115捕获的患者5185的体腔中的手术部位的图像显示在显示设备5155上。操作员5181在实时观察显示在显示设备5155上的手术部位的图像的同时使用能量治疗工具5135和钳子5137进行诸如患部的切除的治疗。注意,尽管未示出,但是管5133、能量治疗工具5135、钳子5137在手术时期间被操作员5181、助手等支撑。
(支撑臂设备)
支撑臂设备5141包括从基座单元5143延伸的臂单元5145。在所示示例中,臂单元5145包括关节单元5147a、5147b和5147c以及连杆5149a和5149b,并且在臂控制设备5159的控制下被驱动。内窥镜5115由臂单元5145支撑,并且控制其位置和姿势。因此,可以实现内窥镜5115的位置的稳定固定。
(内窥镜)
内窥镜5115包括透镜镜筒5117和摄像机头5119,透镜镜筒5117的距远端的预定长度的区域插入到患者5185的体腔中,摄像机头5119连接到透镜镜筒5117的近端。在所示示例中,示出被配置为包括刚性透镜镜筒5117的所谓的刚性镜体的内窥镜5115,但是内窥镜5115也可以被配置为包括柔性透镜镜筒5117的所谓的柔性镜体。
在透镜镜筒5117的前端设置嵌入有物镜的开口部。光源设备5157连接至内窥镜5115,并且由光源设备5157生成的光由在透镜镜筒5117内部延伸的光导引导至透镜镜筒的远端,并且经由物镜照射到患者5185的体腔中的观察对象。注意,内窥镜5115也可以是直视内窥镜、斜视内窥镜或侧视内窥镜。
光学系统和成像元件设置在摄像机头5119内部,并且来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。通过成像元件对观察光进行光电转换,并且生成与观察光对应的电信号,即与观察图像对应的图像信号。图像信号作为RAW数据被发送至摄像机控制单元(CCU)5153。注意,摄像机头5119具有通过适当地驱动光学系统来调节倍率和焦距的功能。
注意,例如,为了处理立体视图(3D显示)等,可以在摄像机头5119中设置多个成像元件。在这种情况下,多个中继光学系统设置在透镜镜筒5117内部,以便将观察光引导至多个成像元件中的每一个。
(安装在手推车上的各种设备)
CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等,并且整体控制内窥镜5115和显示设备5155的操作。具体地,例如,CCU 5153对从摄像机头5119接收的图像信号执行用于基于图像信号显示图像的各种类型的图像处理,诸如显影处理(去马赛克处理)。CCU5153将经受图像处理的图像信号提供给显示设备5155。此外,上述视听控制器连接至CCU5153。CCU 5153还将经受图像处理的图像信号提供给视听控制器5107。此外,CCU 5153将控制信号发送至摄像机头5119并且控制其驱动。控制信号可以包括关于成像条件的信息,诸如倍率和焦距。关于成像条件的信息可以经由输入设备5161输入或者可以经由上述集中操作面板5111输入。
显示设备5155在CCU 5153的控制下基于CCU 5153经受图像处理的图像信号来显示图像。在内窥镜5115与高分辨率成像(诸如4K(水平像素的数量3840×垂直像素的数量2160)或8K(水平像素的数量7680×垂直像素的数量4320))兼容的情况下,和/或在内窥镜与3D显示兼容的情况下,例如,能够执行高分辨率显示的显示设备和/或能够执行3D显示的显示设备可以分别用作显示设备5155。在显示设备与诸如4K或8K的高分辨率成像兼容的情况下,通过使用大小为55英寸或更大的显示设备作为显示设备5155可以获得进一步的沉浸感。此外,可以根据应用提供分辨率和尺寸不同的多个显示设备5155。
光源设备5157例如包括诸如发光二极管(LED)的光源,并且将用于对手术部位成像的照射光提供给内窥镜5115。
臂控制设备5159例如包括诸如CPU的处理器,并且根据预定程序操作以根据预定控制方法控制支撑臂设备5141的臂单元5145的驱动。
输入设备5161是用于内窥镜手术系统5113的输入接口。用户可以经由输入设备5161向内窥镜手术系统5113输入各种类型的信息并且输入指令。例如,用户经由输入设备5161输入关于手术的各种类型的信息,诸如患者的身体信息和关于手术的手术过程的信息。此外,例如,用户经由输入设备5161输入用于驱动臂单元5145的指令、用于改变内窥镜5115的成像条件(照射光的类型、倍率、焦距等)的指令、用于驱动能量治疗工具5135的指令等。
输入设备5161的类型不受限制,并且输入设备5161可以是已知的输入设备。输入设备5161的示例可以包括鼠标、键盘、触摸面板、开关、脚踏开关5171、杠杆等。在输入设备5161包括触摸面板的情况下,触摸面板可以设置在显示设备5155的显示面上。
可替代地,输入设备5161是由用户佩戴的设备,例如,眼镜型可佩戴设备、头戴式显示器(HMD)等,并且根据这些设备检测到的用户的手势或视线执行各种输入。此外,输入设备5161包括能够检测用户的移动的摄像机,并且根据从由摄像机捕获的视频检测到的用户的手势或视线来执行各种输入。此外,输入设备5161包括能够收集用户的语音的麦克风,并且经由麦克风通过语音执行各种输入。如上所述,输入设备5161被配置为能够以非接触方式输入各种类型的信息,并且因此,具体地,属于清洁区域的用户(例如,操作者5181)能够以非接触方式操作属于非清洁区域的设备。此外,由于用户可以在不将他/她的手从所拥有的手术工具释放的情况下操作设备,因此提高了用户的便利性。
治疗工具控制设备5163控制能量治疗工具5135的驱动以进行组织的烧灼切开、血管的密封等。排烟设备5165经由管5133将气体馈送到患者5185的体腔中,以便使体腔膨胀,以用于确保内窥镜5115的视野并且确保操作员的工作空间的目的。另外,排烟设备5165为了确保内窥镜5115的视野而具有排出体腔中生成的烟的功能。记录仪5167是能够记录关于手术的各种类型的信息的设备。打印机5169是能够以诸如文本、图像或图表的各种格式打印关于手术的各种类型的信息的设备。
在下文中,将更详细地描述内窥镜手术系统5113的特定特性配置。
(支撑臂设备)
支撑臂设备5141包括作为基座的基座单元5143和从基座单元5143延伸的臂单元5145。在所示示例中,臂单元5145包括多个关节单元5147a、5147b和5147c以及通过关节单元5147b连接的多个连杆5149a和5149b,但是在图1中,为了简单起见,以简化的方式示出臂单元5145的配置。实际上,可以适当地设置关节单元5147a至5147c和连杆5149a和5149b的形状、数量和布置、关节单元5147a至5147c的旋转轴的方向等,使得臂单元5145具有期望的自由度。例如,臂单元5145可以被适当地配置为具有6个自由度或更多。因此,由于内窥镜5115可以在臂单元5145的可移动范围内自由地移动,所以内窥镜5115的透镜镜筒5117可以从期望的方向插入患者5185的体腔中。
关节单元5147a至5147c包括致动器,并且关节单元5147a至5147c被配置为通过致动器的驱动围绕预定旋转轴线可旋转。致动器的驱动由臂控制设备5159控制,由此控制关节单元5147a至5147c中的每一个的旋转角度,并且控制臂单元5145的驱动。因此,可以实现内窥镜5115的位置和姿势的控制。此时,臂控制设备5159可以通过各种已知的控制方法(诸如力控制或位置控制)来控制臂单元5145的驱动。
例如,由于操作者5181经由输入设备5161(包括脚踏开关5171)适当地执行操作输入,因此臂单元5145的驱动可以根据操作输入由臂控制设备5159适当地控制,并且可以控制内窥镜5115的位置和姿势。通过该控制,位于臂单元5145的远端的内窥镜5115可以从任何位置移动到任何位置,并且然后固定地支撑在移动之后的位置处。注意,臂单元5145可以通过所谓的主从方法来操作。在这种情况下,臂单元5145可以由用户经由安装在远离手术室的位置处的输入设备5161远程操作。
此外,在施加力控制的情况下,臂控制设备5159可以执行所谓的动力辅助控制,在所述动力辅助控制中,关节单元5147a至5147c中的每一个的致动器被驱动,使得从用户接收外力并且臂单元5145根据外力平滑地移动。因此,当用户在直接触摸臂单元5145的同时移动臂单元5145时,臂单元5145可以以相对小的力移动。因此,可以用更简单的操作更直观地移动内窥镜5115,并且可以提高用户的便利性。
这里,通常,在内窥镜手术中,内窥镜5115由称为内窥镜检查者(scopist)的医生支撑。另一方面,通过使用支撑臂设备5141,可以在不进行手动操作的情况下更可靠地固定内窥镜5115的位置,从而可以稳定地获得手术部位的图像并平稳地进行手术。
注意,臂控制设备5159不必设置在推车5151上。此外,臂控制设备5159不必是一个设备。例如,臂控制设备5159可以设置在支撑臂设备5141的臂单元5145的关节单元5147a至5147c中的每一个中,并且臂单元5145的驱动控制可以通过彼此协作的多个臂控制设备5159来实现。
(光源设备)
光源设备5157将用于对手术部位成像的照射光提供给内窥镜5115。光源设备5157包括例如LED、激光光源、或包括LED和激光光源的组合的白色光源。此时,在白色光源由RGB激光光源的组合配置的情况下,可以高精度地控制每个颜色(每个波长)的输出强度和输出定时,使得可以在光源设备5157中调节捕获图像的白平衡。此外,在这种情况下,还可以通过以时分方式用来自每个RGB激光光源的激光照射观察目标并且与照射定时同步地控制摄像机头5119的成像元件的驱动来以时分方式捕获与每个RGB对应的图像。根据该方法,可以在成像元件中不设置滤色器的情况下获得彩色图像。
此外,可以控制光源设备5157的驱动,以便每隔预定时间改变要输出的光的强度。通过与光强度的改变的定时同步地控制摄像机头5119的成像元件的驱动以按时分方式获取图像并组合图像,可以生成不具有所谓的欠曝光区域和过曝光区域的具有高动态范围的图像。
此外,光源设备5157可以被配置为能够提供与特殊光观察对应的预定频带的光。在特殊光观察中,例如,使用生物体组织的光吸收的波长依赖性照射,提供照射比通常观察时的照射光(即,白色光)窄的频带的光,以高对比度对诸如粘膜表层的血管的预定组织成像执行所谓的窄带成像。可替代地,在特殊光观察中,可以执行通过照射激发光而生成的荧光用于获得图像的荧光观察。在荧光观察中,例如,可以通过用激发光照射身体组织来观察来自身体组织的荧光(自发荧光观察),或者可以通过将诸如吲哚菁绿(ICG)的试剂局部注射到身体组织中并用与该试剂的荧光波长对应的激发光照射身体组织来获得荧光图像。光源设备5157可以被配置为能够提供与这样的特殊光观察对应的窄带光和/或激发光。
(摄像机头和CCU)
将参考图2更详细地描述内窥镜5115的摄像机头5119和CCU 5153的功能。图2是示出图1所示的摄像机头5119和CCU 5153的功能配置的示例的框图。
参考图2,摄像机头5119根据其功能包括透镜单元5121、成像单元5123、驱动单元5125、通信单元5127以及摄像机头控制单元5129。此外,CCU 5153根据其功能包括通信单元5173、图像处理单元5175和控制单元5177。摄像机头5119和CCU 5153连接成可通过传输电缆5179进行双向通信。
首先,将描述摄像机头5119的功能配置。透镜单元5121是设置在透镜镜筒5117的连接部分处的光学系统。从透镜镜筒5117的远端获取的观察光被引导到摄像机头5119并进入透镜单元5121。通过组合包括变焦透镜和聚焦透镜的多个透镜来配置透镜单元5121。调节透镜单元5121的光学特性,以使观察光会聚到成像单元5123的成像元件的光接收面上。此外,变焦透镜和聚焦透镜被配置为使得其在光轴上的位置是可移动的,以调节捕获图像的倍率和焦点。
成像单元5123包括成像元件并且设置在透镜单元5121的后面。已经通过透镜单元5121的观察光会聚在成像元件的光接收面上,并且通过光电转换生成与观察图像对应的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。
构成成像单元5123的成像元件例如包括具有拜耳阵列并且能够执行彩色成像的互补金属氧化物半导体(CMOS)型图像传感器。注意,成像元件例如可以包括可以处理捕获4K或4K以上的高分辨率图像的成像元件。操作者5181可以通过以高分辨率获得手术部位的图像来更详细地掌握手术部位的状态,并且可以更平稳地进行手术。
此外,构成成像单元5123的成像元件被配置为包括用于获取与3D显示对应的右眼和左眼的相应图像信号的一对成像元件。操作者5181通过进行3D显示可以更准确地掌握手术部位中的生物体组织的深度。注意,在成像单元5123被配置为多板型的情况下,对应于相应成像元件设置多个透镜单元5121。
此外,成像单元5123不必设置在摄像机头5119上。例如,成像单元5123可以紧挨在物镜之后设置在透镜镜筒5117内部。
驱动单元5125包括致动器,并且在摄像机头控制单元5129的控制下沿着光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。因此,可以适当地调节由成像单元5123捕获的图像的倍率和焦点。
通信单元5127包括用于向CCU 5153发送各种类型的信息和从CCU 5153接收各种类型的信息的通信设备。通信单元5127将从成像单元5123获得的图像信号作为RAW数据经由传输电缆5179发送到CCU 5153。此时,优选通过光通信发送图像信号,以便以低延迟显示手术部位的捕获图像。这是因为,在手术时,操作者5181在用捕获图像观察患部的状态的同时进行手术,并且因此,为了更安全且更可靠的手术,需要尽可能实时地显示手术部位的运动图像。在进行光通信的情况下,通信单元5127包括将电信号转换成光信号的光电转换模块。图像信号由光电转换模块转换为光信号,并且然后经由传输电缆5179发送至CCU 5153。
此外,通信单元5127从CCU 5153接收用于控制摄像机头5119的驱动的控制信号。控制信号例如包括关于成像条件的信息,诸如用于指定捕获图像的帧速率的信息、用于指定成像时的曝光值的信息和/或用于指定捕获图像的倍率和焦点的信息。通信单元5127将所接收的控制信号提供给摄像机头控制单元5129。注意,也可以通过光通信发送来自CCU5153的控制信号。在这种情况下,通信单元5127包括将光信号转换成电信号的光电转换模块,并且控制信号由光电转换模块转换成电信号,并且然后提供给摄像机头控制单元5129。
注意,CCU 5153的控制单元5177基于所获取的图像信号自动设置诸如帧速率、曝光值、倍率以及焦点的成像条件。即,内窥镜5115具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能以及自动白平衡(AWB)功能。
摄像机头控制单元5129基于经由通信单元5127从CCU 5153接收的控制信号控制摄像机头5119的驱动。例如,摄像机头控制单元5129基于用于指定捕获图像的帧速率的信息和/或用于指定成像时的曝光的信息来控制成像单元5123的成像元件的驱动。此外,例如,摄像机头控制单元5129基于用于指定捕获图像的倍率和焦点的信息经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。摄像机头控制单元5129可以进一步具有存储用于识别透镜镜筒5117和摄像机头5119的信息的功能。
注意,摄像机头5119可以用设置在具有高气密性和防水性的密封结构中的透镜单元5121、成像单元5123等具有高压灭菌处理的耐性。
接下来,将描述CCU 5153的功能配置。通信单元5173包括用于向摄像机头5119发送各种类型的信息以及从摄像机头5119接收各种类型的信息的通信设备。通信单元5173经由传输电缆5179接收从摄像机头5119发送的图像信号。此时,如上所述,可以通过光通信适当地发送图像信号。在这种情况下,针对光通信,通信单元5173包括将光信号转换成电信号的光电转换模块。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。
此外,通信单元5173将用于控制摄像机头5119的驱动的控制信号发送到摄像机头5119。也可以通过光通信发送控制信号。
图像处理单元5175对作为从摄像机头5119发送的RAW数据的图像信号执行各种类型的图像处理。图像处理的示例包括各种已知的信号处理,诸如显影处理、高图像质量处理(频带增强处理、超分辨率处理、降噪(NR)处理、相机抖动校正处理等)和/或放大处理(电子变焦处理)。此外,图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。
图像处理单元5175包括诸如CPU或GPU的处理器,并且处理器根据预定程序操作,由此可以执行上述图像处理和检测处理。注意,在图像处理单元5175包括多个GPU的情况下,图像处理单元5175适当地划分与图像信号有关的信息,并且通过多个GPU并行执行图像处理。
控制单元5177通过内窥镜5115执行与手术部位的成像和捕获图像的显示有关的各种类型的控制。例如,控制单元5177生成用于控制摄像机头5119的驱动的控制信号。此时,在由用户输入成像条件的情况下,控制单元5177基于用户的输入生成控制信号。可替代地,在内窥镜5115具有AE功能、AF功能和AWB功能的情况下,控制单元5177根据图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡以生成控制信号。
此外,控制单元5177基于通过图像处理单元5175经受图像处理的图像信号,使显示设备5155显示手术部位的图像。此时,控制单元5177使用各种图像识别技术来识别手术部位图像中的各种对象。例如,控制单元5177通过检测包括在手术部位图像中的对象的边缘的形状、颜色等可以识别诸如钳子的手术工具、特定生物体部位、出血、使用能量治疗工具5135时的雾等。当在显示设备5155上显示手术部位的图像时,控制单元5177使用识别结果将各种类型的手术支持信息叠加并显示在手术部位的图像上。手术支持信息重叠并显示,并且被呈现给操作者5181,使得可以更安全且可靠地进行手术。
连接摄像机头5119和CCU 5153的传输电缆5179是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。
这里,在所示示例中,通过使用传输电缆5179的电线执行通信,但是可以无线地执行摄像机头5119与CCU 5153之间的通信。在无线地执行摄像机头5119和CCU 5153两者之间的通信的情况下,不需要在手术室内铺设传输电缆5179,因此可以消除传输电缆5179妨碍手术室中的医疗工作人员的移动的状况。
上面描述了可以应用根据本公开的技术的手术室系统5100的示例。注意,这里,应用手术室系统5100的医疗系统是内窥镜手术系统5113的情况被描述为示例,但是手术室系统5100的结构配置并不限于这样的示例。例如,手术室系统5100可以应用于用于检查的软性内窥镜系统或显微手术系统而不是内窥镜手术系统5113。
如上所述,在描述为医学光源设备连接至内窥镜的示例的内窥镜手术系统中,医学光源设备(图1中的光源设备5157)安装在推车上。通过安装本技术的小型化的医学光源设备,可以使其上安装有包括医学光源设备的各种设备的整个推车小型化。此外,通过实现医学光源设备的小型化来提高医学光源设备的安装范围的自由度,并且可以将医学光源设备安装在例如推车上,消除手术部位的杂乱,并且手术环境更好。
[2.根据实施方式的系统的配置]
将参考图3描述根据实施方式的医学图像生成系统1。图3是示出根据实施方式的医学图像生成系统1的示图。如图3所示,医学图像生成系统1包括摄像机头5119、显示设备5155和医学图像生成装置100。
摄像机头5119将所捕获的医学图像提供给医学图像生成装置100。摄像机头5119的其他描述与图1中的摄像机头5119的描述相似。
成像单元5123是摄像机头型相机,并且例如用于对医院或实验室中的身体内部进行成像。例如,成像单元5123使用近红外线染色诸如流入血管中的ICG的染料。然后,成像单元5123通过对显影的荧光进行成像获取医学图像。如图3所示,成像单元5123包括光源11、滤波器12和成像元件13。
光源11是发出用于使诸如ICG的染料的荧光显影的光的光源。光源11例如是发射近红外线的光源。
滤波器12是仅透射特定波长的荧光的滤波器。例如,滤波器12是透射长波长侧的波长并且阻挡短波长侧的波长的滤波器。滤波器12用于仅透射由光源11显影的荧光中的特定波长的荧光。作为光学特性,由于荧光在较长波长侧更多地抑制散射,并且因此,可设想不仅透射荧光波长的整个区域而且仅透射荧光波长的较长波长侧的荧光并且执行成像的技术。然而,在仅在长波长侧用荧光执行成像的情况下,荧光强度降低,并且因此医学图像的图像质量可能劣化。此外,医学图像是暗的。因此,在仅用长波长侧的荧光执行成像的技术中存在改进空间,以便促进可视性的提高。
成像元件13是对身体中的观察目标进行成像并且获取医学图像(例如,病理图像)的成像设备。观察目标例如是血管、组织、细胞等。成像元件13用于用由滤波器12透射的特定波长的荧光来捕获图像。此外,成像元件13将所获取的医学图像发送到医学图像生成装置100。
显示设备5155从医学图像生成装置100接收输出图像,并显示所接收的输出图像。显示设备5155的其他描述与图1中的显示设备5155的描述相似。
医学图像生成装置100是诸如PC或工作站(WS)的信息处理装置。医学图像生成装置100获取由成像单元5123捕获的医学图像。具体地,医学图像生成装置100通过成像元件13获取用波长不同的荧光捕获的医学图像。然后,医学图像生成装置100基于用波长不同的荧光捕获的医学图像的散射度生成输出图像。此外,医学图像生成装置100将输出图像发送到显示设备5155。医学图像生成装置100可以例如是如图1中描述的CCU 5153。
这里,将描述成像单元5123的配置的细节。成像单元5123具有两种配置。这两个配置是使用基于称为单板成像的一种类型的成像元件的成像方法的配置和使用基于称为双板成像的两种类型的成像元件的成像方法的配置。成像元件可以是用于捕获可见光图像的成像元件或用于捕获荧光图像的成像元件。通过在用于捕获可见光图像的成像元件上对属于可见光波长频带的光进行成像来生成可见光图像。此外,通过在用于捕获荧光图像的成像元件上对属于荧光频带的光进行成像来生成荧光图像。具体地,在成像元件是用于捕获可见光图像的成像元件的情况下,已经通过滤波器的可见光波长频带中的光耦合到用于捕获可见光图像的成像元件,从而生成作为可见光图像的医学图像。类似地,在成像元件是用于捕获荧光图像的成像元件的情况下,已经通过滤波器的荧光波长频带的光耦合到用于捕获荧光图像的成像元件,从而生成作为荧光图像的医学图像。在下文中,将参考图4和图5描述成像单元5123使用单板成像的配置和成像单元使用双板成像的配置。在本实施方式中,成像单元5123的成像方法包括单板成像和双板成像。
图4示出使用单板成像的成像单元5123的配置。在图4中,两个滤波器12(滤波器A和滤波器B)用于一个成像元件13。在滤波器A和滤波器B中,由每个滤波器透射的荧光根据波长而不同。通过周期性地(例如,每隔预定时间间隔)切换滤波器A和滤波器B将波长不同的荧光输入至成像元件13。这里,滤波器A是透射短波长的滤波器,并且滤波器B是透射长波长的滤波器。在这种情况下,将短波长的荧光和长波长的荧光分别输入到成像元件13。因此,成像单元5123可以获取用波长不同的荧光捕获的医学图像。然后,成像单元5123将所获取的医学图像提供给外部信息处理装置(例如,医学图像生成装置100)。
另外,在单板成像的情况下,由于通过周期性地(例如,每隔预定时间间隔)切换滤波器A和滤波器B将波长不同的荧光输入到成像元件13,因此在波长不同的荧光的输入时产生由于切换滤波器A和滤波器B而引起的时间差。因此,成像单元5123难以同时获取用波长不同的荧光捕获的医学图像。为了消除由于时间差引起的限制,成像单元5123临时存储用一个波长的荧光捕获的医学图像,使得两个医学图像可以与获取用另一个波长的荧光捕获的医学图像同时地提供给外部信息处理装置。即,成像单元5123可以将由滤波器A捕获的医学图像和由滤波器B捕获的医学图像同时提供给外部信息处理装置。
图5示出了使用双板成像的成像单元5123的配置。注意,将适当地省略与单板成像的描述类似的描述。在图5中,与单板成像的情况不同,两个成像元件13(成像元件A和成像元件B)用于两个滤波器12(滤波器A和滤波器B)。注意,假设两个成像元件13相同。在双板成像的情况下,成像单元5123包括分光板14。分光板14用于反射包括在荧光中的特定波长的荧光并且透射除包括在荧光中的特定波长之外的其他波长的荧光。分光板14例如是二向色镜。在成像单元5123中,分光板14用于反射由光源11染色的荧光中的特定波长的荧光并且透射除特定波长之外的其他波长的荧光。在下文中,将描述分光板14反射短波长的荧光并且透射长波长的荧光的情况。
在这种情况下,由分光板14反射的短波长荧光透射通过滤波器A。注意,假设滤波器A为透射短波长的滤波器。分光板14可能不能仅完全反射特定波长的荧光。因此,在由分光板14反射的短波长荧光在波长上可能存在误差。滤波器A用于校正由分光板14引起的反射的误差。然后,通过滤波器A透射的短波长荧光被输入到成像元件13。在这种情况下,成像元件13获取以短波长捕获的医学图像。同时,由分光板14透射的长波长荧光由滤波器B透射。注意,假设滤波器B为透射长波长的滤波器。如在反射中,在由分光板14透射的长波长荧光在波长上可能存在误差。滤波器B用于校正由分光板14引起的透射的误差。然后,通过滤波器B透射的长波长荧光被输入至成像元件13。在这种情况下,成像元件13获取用长波长捕获的医学图像。
注意,在双板成像的情况下,由于通过分光板14散射的荧光被分别输入至每个成像元件13,所以可以调节到每个成像元件13的荧光的输入使得不引起时间差。例如,通过使从分光板14到相应成像元件13的距离相同,可以调节到每个成像元件13的荧光的输入使得不引起时间差。因此,成像单元5123可以同时获取用波长不同的荧光捕获的医学图像。因此,成像单元5123可以将由不同的成像元件13获取的医学图像同时提供给外部信息处理装置。
这里,将参考图6描述由滤波器A和滤波器B透射的波长。在图6中,纵轴表示荧光强度,横轴表示波长。在图6中,绘制了通过用每个滤波器透射的荧光的光谱强度乘以每个滤波器的特性而获得的值。由滤波器A透射的短波长是用于波长不同的荧光中的较宽波长的频带的波长,包括长波长的频带。另一方面,通过滤波器B透射的长波长是用于波长不同的荧光中的较长波长的频带的波长。在图6的FA1中,波长为约800nm至1000nm的荧光进入滤波器A和滤波器B。该波长应在约850nm处荧光强度最大。其中,要由滤波器A透射的波长是大于808nm的波长。该波长的频带是入射荧光的整个波长。因此,要由滤波器A透射的波长与表示整个区域的波长FA11相同。要由滤波器B透射的波长比875nm长。如上所述,期望滤波器A是在比滤波器B更短的波长侧具有灵敏度的滤波器。滤波器A可以是透射任何频带中的波长的滤波器,只要滤波器A在比滤波器B更短的波长侧具有灵敏度即可。这同样适用于图6中的FA2和FA3的情况,并且因此,适当地省略其描述。这里,在图6的FA3中,要由滤波器A透射的波长是大于875nm的波长,并且与表示整个区域的波长FA11不相同。因此,图6的FA3中示出了三个曲线图。这三个曲线图是表示整个区域的波长FA11、要由滤波器A透射的波长以及要由滤波器B透射的波长。在图6的FA3中,由于要由滤波器A透射的波长比875nm长,所以荧光强度最大化的850nm的波长不包括在要由滤波器A透射的波长和要由滤波器B透射的波长中的任一个中。
在下文中,将描述医学图像生成装置100基于由波长不同的荧光捕获的医学图像的散射度来生成具有低散射和低噪音的输出图像的处理。
[3.信息处理的示例]
[3-1.医学图像生成装置]
接下来,将参考图7描述根据实施方式的医学图像生成装置100。图7是示出根据实施方式的医学图像生成装置100的示例的示图。如图7所示,医学图像生成装置100是包括通信单元110、存储单元120和控制单元130的计算机。
通信单元110通过例如网络接口卡(NIC)等实现。通信单元110以有线或无线方式连接到网络N(未示出),以经由网络N将信息发送到摄像机头5119等和从摄像机头5119等接收信息。稍后描述的控制单元130经由通信单元110将信息发送到这些装置设备和从这些设备接收信息。
存储单元120通过例如半导体存储元件(诸如随机存取存储器(RAM)或闪存)或存储设备(诸如硬盘或光盘)实现。存储单元120存储从成像单元5123发送的医学图像。此外,存储单元120存储由控制单元130生成的输出图像。稍后将描述输出图像的细节。
控制单元130通过例如使用RAM等作为工作区域执行存储在医学图像生成装置100内部的程序(医学图像生成程序的示例)的中央处理单元(CPU)或微处理单元(MPU)来实现。此外,控制单元130可以通过例如诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。
如图7所示,控制单元130包括获取单元131、计算单元132、设置单元133、生成单元134以及提供单元135,并且实现或执行下面描述的信息处理的功能和动作。注意,控制单元130的内部配置不限于在图7所示的配置,并且可以是另一配置,只要执行稍后描述的信息处理即可。
获取单元131经由通信单元110获取从成像单元5123发送的医学图像。具体地,获取单元131获取用波长不同的荧光捕获的多个医学图像。这里,将描述用波长不同的荧光捕获的医学图像的特性。为了描述用波长不同的荧光捕获的医学图像的特性,将参考图8描述波长与荧光强度之间的关系。
图8示出了波长与荧光强度之间的关系。在图8中,纵轴表示荧光强度,横轴表示波长。在图8中,绘制荧光强度和波长之间的关系。如图8所示,荧光强度在波长HA1处最大化。具体地,荧光强度在800nm与900nm之间的波长HA1处最大化。然后,在等于或大于荧光强度最大化的波长的波长处,荧光强度随着波长增加而减小。在本实施方式中,获取单元131获取用长波长捕获的医学图像和用短波长捕获的医学图像作为用波长不同的荧光捕获的医学图像。在图8中,与长波长相比,短波长用于荧光强度较高的波长的频带。在这种情况下,用短波长荧光捕获的医学图像比用长波长荧光捕获的医学图像亮。即,用短波长捕获的医学图像的散射度较大。注意,如后面描述的,通过计算单元132执行散射度的计算。在这种情况下,获取单元131获取用短波长捕获且散射度大的医学图像、以及用长波长捕获且散射度小的医学图像。
图9示出用长波长荧光捕获的医学图像和用短波长荧光捕获的医学图像的特性。这里,提高医学图像的可视性的特性是优点,而降低医学图像的可视性的特性是缺点。如图9所示,用短波长荧光捕获的医学图像具有降低噪音的优点,但是具有增加散射度的缺点。另一方面,用长波长荧光捕获的医学图像具有降低散射度的优点,但是具有增大噪音的缺点。
图10示出了出现诸如血管的生物体的医学图像。参考图10,将描述用波长不同的荧光捕获的医学图像。图10(a)示出用短波长荧光捕获的医学图像LA1。在图10(a)中,由于医学图像的荧光的散射度大,因此例如在医学图像LA1中出现的生物体LL1、生物体LL2等模糊。这里,将描述根据实施方式的“模糊”。当可以将包括在医学图像中的预定区域的特征量映射到医学图像的一个像素时,假设不模糊。另外,在要求将包括在医学图像中的预定区域的特征量映射到医学图像的多个像素的情况下,由一个像素表示的特征量由多个像素表示,并且因此特征量的图像模糊。这种扩展被称为模糊。用于表示包括在医学图像中的预定区域的特征量的像素的数量越多,医学图像越模糊。因此,为了提高医学图像的可视性,存在进一步改进的空间。另一方面,图10(b)示出用长波长荧光捕获的医学图像LA11。图10(b)所示的医学图像LA11是示出与图10(a)所示的医学图像LA1相同的生物体的区域的医学图像。在图10(b)中,由于医学图像的荧光的散射度小,因此出现在医学图像LA11中的生物体LL1、生物体LL2等不模糊(即,清晰),但是在医学图像中噪音增加。因此,同样在图10(b)中,为了提高医学图像的可视性,存在进一步改进的空间。
计算单元132计算通过对由获取单元131获取的不同波长的荧光进行成像而获得的每个医学图像的散射度。该散射度根据表示在医学图像中出现的生物体的模糊程度的模糊宽度来计算。这里,模糊宽度以生物体不模糊的医学图像为基准表示从基准医学图像开始的模糊程度。模糊宽度由计算单元132基于基准医学图像的特征量与目标医学图像的特征量之间的差来计算。注意,在本实施方式中,医学图像的特征量是用于计算关于模糊宽度的信息的特征量。在下文中,将参考图11和图12描述基于模糊宽度的散射度的计算。
图11示出了模糊宽度与散射度之间的关系。图11所示的模糊宽度是将滤波器应用于医学图像之前和之后的差。在图11中,纵轴表示模糊宽度(滤波器应用之前和之后的差),并且横轴表示散射度。计算单元132通过将用于小散射的弱滤波器到用于大散射的强滤波器作为用于散射的滤波器应用于医学图像来计算模糊宽度。这里,在计算单元132中,即使在将弱滤波器应用于具有大模糊的医学图像的情况下,模糊宽度也不可能改变。如上所述,在计算单元132中,除非较强的滤波器被应用于具有较大模糊的医学图像,否则模糊宽度不改变。计算单元132基于改变的模糊宽度的程度计算散射度。此外,计算单元132可基于将被应用的滤波器的强度的等级与散射度之间的关系计算散射度。例如,在模糊宽度通过具有最弱滤波器强度等级“1”的滤波器而改变的情况下,计算单元132将散射度设置为与滤波器对应的散射度。如图11所示,随着散射度增加,在散射度超过T1的情况下,模糊宽度开始增加。计算单元132基于模糊宽度计算散射度。例如,成像单元5123可通过使用要透射的波长不同的荧光的多个滤波器12生成模糊宽度不同的医学图像。在这种情况下,获取单元131从模糊宽度小的医学图像至模糊宽度大的医学图像获取模糊宽度不同的多个医学图像。然后,计算单元132基于通过使用多个滤波器12生成的医学图像的模糊宽度来计算散射度。另外,稍后描述的生成单元134也可以将模糊宽度等于或大于预定阈值T2的医学图像用作用于生成输出图像的散射度大的医学图像。注意,预定阈值T2由计算单元132基于医学图像的图像质量(诸如噪音)来计算。
图12示出了模糊宽度与散射度之间的关系。图12示出了随着模糊宽度的增大,散射度增大。图12(a)示出了作为用于计算模糊宽度的基准的散射度的宽度AA1。即,在图12(a)中,模糊宽度为0。计算单元132使用AA1计算模糊的医学图像的散射度。在图12(b)中,计算单元132基于由“AA2-AA1”计算的模糊宽度计算目标医学图像的散射度。在图12(c)中,计算单元132基于由“AA3-AA1”计算的模糊宽度计算目标医学图像的散射度。
图13示出基于多个医学图像生成输出图像的情况。在图13中,通过设置滤波器系数,通过将滤波器系数应用于目标医学图像来去除医学图像A的模糊来生成输出图像。下面将描述滤波器系数的设置。
图14示出了医学图像的散射度与滤波器之间的关系。在图14中,纵轴表示医学图像B的散射度,横轴表示医学图像A的散射度。在图14中,基于医学图像A的散射度和医学图像B的散射度的组合来确定要应用于目标医学图像的系数(在下文中,适当地称为“滤波器系数”)。例如,在医学图像A的散射度小并且医学图像B的散射度大的情况下,确定滤波器系数02等。另外,在医学图像A的散射度大并且医学图像B的散射度小的情况下,确定滤波器系数20等。设置单元133基于由计算单元132计算的医学图像的散射度和表示医学图像的散射度与滤波器之间的关系的信息的组合,设置要应用于目标医学图像的滤波器系数。在图14的示例中,例如,在医学图像A的散射度小并且医学图像B的散射度大的情况下,设置单元133设置滤波器系数02。另外,例如,在医学图像A的散射度大并且医学图像B的散射度小的情况下,设置单元133设置滤波器系数20。
设置单元133基于由计算单元132计算的多个医学图像的散射度,通过应用于一个医学图像来设置用于再现与该医学图像的散射度不同的散射度的滤波器系数。然后,生成单元134基于散射度大的医学图像的散射度与散射度小的医学图像的散射度之间的差来生成输出图像。
生成单元134基于由设置单元133设置的滤波器系数以及散射度大的医学图像的特征量来生成输出图像。因此,生成单元134可生成散射度小和噪声少的输出图像。具体地,由于通过减少LA1的模糊而获得LA11并且通过设置单元133设置用于使LA1的模糊为LA11的模糊的滤波器系数,因此生成单元134将滤波器系数应用于LA1,使得可以适当地移除LA1的模糊。因此,生成单元134可以生成具有将LA1的高散射和低噪音的特征之中的低噪音特征以及LA11的低散射和高噪音的特征之中的低散射特征组合的两个优点的输出图像。因此,生成单元134可以生成可视性高的医学图像。
图15示出由生成单元134生成的输出图像的示例。图15所示的输出图像LA2是表示与图10所示的医学图像LA1或医学图像LA11相同的生物体的区域的输出图像。由于输出图像LA2的荧光散射度小,因此例如出现在输出图像LA2中的生物体LL1、生物体LL2等不会模糊。此外,在输出图像LA2中,输出图像的噪音小。因此,生成单元134可以在荧光观察中生成可视性高的医学图像。
提供单元135将由生成单元134生成的输出图像提供给显示设备5155。显示设备5155实时地显示从提供单元135提供的输出图像。因此,用户可以经由显示设备5155实时观察从提供单元135提供的输出图像。
[3-2.处理过程]
接下来,将参考图16描述根据实施方式的处理过程。图16是示出根据实施方式的处理过程的流程图。如图16所示,医学图像生成装置100获取用波长不同的荧光捕获的多个医学图像(步骤S101)。
另外,医学图像生成装置100基于对应医学图像的特征量来计算多个获取医学图像中的每一个的散射度(步骤S102)。接着,医学图像生成装置100基于所计算的散射度来设置用于减小散射度大的医学图像的模糊宽度的最佳滤波器系数(步骤S103)。然后,医学图像生成装置100根据所设置的滤波器系数和散射度大的医学图像的特征量来生成输出图像(步骤S104)。
[4.修改]
除了上述实施方式之外,根据上述实施方式的医学图像生成系统1可以以各种不同的模式实现。因此,下面将描述医学图像生成系统1的其他实施方式。注意,将省略与上述实施方式中相似的点的描述。
[4-1.修改1:使散射度接近的情况]
在上述示例中,描述了设置单元133基于散射度的组合与滤波器系数之间的关系来设置滤波器系数的情况。这里,设置单元133也可以基于多个医学图像的散射度,设置用于减小散射度大的医学图像的模糊宽度的最佳滤波器系数。另外,在修改1中,由于不必获得准确的散射度的值,因此不计算医学图像的散射度。
[4-1-1.医学图像生成装置]
接着,将参考图17描述根据修改1的医学图像生成装置200。图17是示出根据修改1的医学图像生成装置200的示例的示图。如图17所示,医学图像生成装置200是包括通信单元110、存储单元120和控制单元230的计算机。在下文中,将适当地省略与上述实施方式的描述类似的描述。
如图17所示,控制单元230包括获取单元131、导出单元233、设置单元133、生成单元134以及提供单元135,并且实现或执行下面描述的信息处理的功能和动作。注意,控制单元230的内部配置不限于图17所示的配置,并且可以是另一配置,只要执行稍后描述的信息处理即可。
导出单元233基于多个医学图像的散射度,通过应用于具有散射度的一个医学图像来导出用于再现另一医学图像的散射度的滤波器系数。例如,导出单元233导出用于再现散射度大的医学图像中的散射度小的滤波器系数中的用于再现散射度小的医学图像的散射度的最佳滤波器系数。
设置单元133基于由导出单元233导出的滤波器系数,设置用于再现散射度大的医学图像中散射度小的医学图像的散射度的最佳滤波器系数。
生成单元134基于由设置单元133设置的滤波器系数以及散射度大的医学图像的特征量来生成输出图像。
[4-1-2.使用逆滤波器系数生成输出图像]
此外,医学图像生成装置200可以通过导出用于再现散射度小的医学图像中散射度大的医学图像的散射度的最佳滤波器系数来设置用于减小散射度大的医学图像的模糊宽度的最佳滤波器系数。
如图18所示,导出单元233基于多个医学图像的散射度导出用于再现散射度小的医学图像中散射度大的滤波器系数(在下文中,适当地称为“散射滤波器系数”)中用于再现散射度大的医学图像的散射度的最佳滤波器系数(在下文中,适当地称为“差最小滤波器系数”)。即,在图18中,导出单元233导出使散射度大的医学图像的散射度与通过将散射滤波器系数应用于散射度小的医学图像而再现的多个散射度中的散射度之间的差最小化的差最小滤波器系数。
设置单元133基于由导出单元233导出的差最小滤波器系数,设置用于再现散射度大的医学图像中散射度小的医学图像的散射度的最佳滤波器系数。基于差最小滤波器系数的这种滤波器系数被适当地称为“逆滤波器系数”。
生成单元134基于由设置单元133设置的逆滤波器系数和散射度大的医学图像的特征量来生成输出图像。
接下来,将参考图19描述根据修改1的处理过程。图19是示出根据修改1的处理过程的流程图。步骤S201和202与上述实施方式类似,因此省略其描述。
如图19所示,医学图像生成装置100基于所计算出的散射度导出使散射度大的医学图像的散射度与通过将散射滤波器系数应用于散射度小的医学图像而再现的多个散射度中的散射度之间的差最小化的差最小滤波器系数(步骤S203)。此外,医学图像生成装置100基于所导出的差最小滤波器设置逆滤波器系数(步骤S204)。然后,医学图像生成装置100基于所设置的逆滤波器系数和散射度大的医学图像的特征量来生成输出图像(步骤S205)。
[4-2.修改2:基于散射度的差生成输出图像]
在上述示例中,描述了生成单元134基于散射度大的医学图像的特征量和滤波器系数来生成输出图像的情况。如上所述,在上述示例中,生成单元134使用由设置单元133设置的滤波器系数生成输出图像。这里,医学图像生成装置300可以基于作为将散射度大的医学图像与散射度小的医学图像组合的比率的组合比率来生成输出图像。具体地,医学图像生成装置300可以基于根据散射度大的医学图像与散射度小的医学图像之间的散射度的差的组合比率来生成输出图像。
[4-2-1.医学图像生成装置]
接下来,将参考图20描述根据修改2的医学图像生成装置300。图20是示出根据修改2的医学图像生成装置300的示例的示图。如图20所示,医学图像生成装置300是包括通信单元110、存储单元120和控制单元330的计算机。在下文中,将适当地省略与上述实施方式的描述类似的描述。
如图20所示,控制单元330包括获取单元131、计算单元132、生成单元134以及提供单元135,并且实现或执行下面描述的信息处理的功能和动作。注意,医学图像生成装置300可以不包括设置单元133。注意,控制单元330的内部配置不限于图20所示的配置,并且可以是另一配置,只要执行稍后描述的信息处理即可。
图21是用于描述由计算单元132和生成单元134执行的信息处理的示图。计算单元132计算散射度大的医学图像与散射度小的医学图像之间的散射度的差。然后,计算单元132基于散射度的差值以及表示组合比率与散射度的差之间的关系的信息计算组合比率。
图22示出了表示组合比率与散射度的差之间的关系的信息的示例。在图22中,纵轴表示医学图像A的组合比率,横轴表示医学图像A与医学图像B之间的散射度的差。注意,在图22中,医学图像A是散射度大的医学图像的示例,医学图像B是散射度小的医学图像的示例。在图21中,根据医学图像A与医学图像B之间的散射度的差来绘制医学图像A的组合比率。计算单元132将多个目标医学图像之间的散射度的差和表示组合比率与散射度的差之间的关系的信息进行比较来计算多个目标医学图像的组合比率。
此外,计算单元132可以使用通过学习组合比率与散射度的差之间的关系生成的学习模型M2计算组合比率。例如,计算单元132可以通过使用通过学习组合比率作为输出信息并且散射度的差作为输入信息而生成的学习模型M2计算组合比率。计算单元132可以通过将多个目标医学图像之间的散射度的差输入到学习模型M2来计算多个目标医学图像的组合比率。
生成单元134通过基于由计算单元132计算的组合比率对散射度大的医学图像与散射度小的医学图像进行组合来生成输出图像。
[4-2-2.处理过程]
接下来,将参考图23描述根据修改2的处理过程。图23是示出根据修改2的处理过程的流程图。步骤S301和302与上述实施例相同,因此省略其描述。
如图23所示,医学图像生成装置100计算多个医学图像的所计算的散射度的差(步骤S303)。另外,医学图像生成装置100基于所计算的散射度的差和表示组合比率与散射度的差之间的关系的信息计算组合比率(步骤S304)。然后,医学图像生成装置100基于所计算的组合比率生成输出图像(步骤S305)。
[4-3.修改3:输出图像中散射抑制效果的可视化]
上述示例示出了生成单元134生成具有低散射和低噪音的输出图像的情况。因此,生成单元134可以在荧光观察中生成生物体深部的荧光的可视性高的输出图像。然而,在上述示例中,不能否认通过抑制荧光的散射来降低输出图像的深度感的可能性。在下文中,将描述如下信息处理,其中,医学图像生成装置400可以通过添加用于在可视状态下显示荧光的散射被抑制的效果(在下文中,适当地称为“散射抑制效果”)的信息来提高输出图像的深度感。
[4-3-1.医学图像生成装置]
接下来,将参考图24描述根据修改3的医学图像生成装置400。图24是示出根据修改3的医学图像生成装置400的示例的示图。如图24所示,医学图像生成装置400是包括通信单元110、存储单元120和控制单元430的计算机。在下文中,将适当地省略与上述实施方式的描述类似的描述。
如图24所示,控制单元430包括获取单元131、计算单元132、设置单元133、生成单元134、可视化单元435和提供单元135,并且实现或执行下面描述的信息处理的功能和动作。注意,控制单元430的内部配置不限于在图23所示的配置,并且可以是另一配置,只要执行稍后描述的信息处理即可。
计算单元132通过使用以下两个处理中的一个来计算表示散射抑制效果的散射抑制效果值。
计算单元132计算多个医学图像之间的散射度的差作为散射抑制效果值。
图25示出表示医学图像的散射度与捕获医学图像的深度之间的关系的信息的示例。注意,捕获医学图像的深度是距观察目标的表面的深度。在图25中,纵轴表示深度,横轴表示散射度。在图25中,绘制了医学图像的散射度与深度之间的关系。计算单元132通过将目标医学图像的散射度和表示医学图像的散射度与深度之间的关系的信息进行比较来计算目标医学图像的深度。
图26示出了表示散射度的差与用于计算散射抑制效果值的权重之间的关系的信息的示例。在图26中,纵轴表示权重,横轴表示散射度的差。在图26中,根据医学图像之间的散射度的差绘制权重。计算单元132通过将多个目标医学图像之间的散射度的差与表示散射度的差与权重之间的关系的信息进行比较来计算用于计算散射抑制效果值的权重。
计算单元132通过将目标医学图像的深度乘以用于计算散射抑制效果值的权重来计算散射抑制效果值。
可视化单元435基于由计算单元132计算的散射抑制效果值,将用于在可视状态下显示散射抑制效果的信息添加到由生成单元134生成的输出图像中。这里,用于在可视状态下显示散射抑制效果的信息例如是颜色信息。颜色信息可以是用颜色映射着色的颜色信息,或者可以是用单个颜色着色的颜色信息。
图27示出了使用颜色映射在可视状态下显示散射抑制效果的输出图像LA3。在图27中,较小的散射抑制效果值以红色着色,而较大的散射抑制效果值以蓝色着色。在图27中,用虚线包围生物体LL1的区域CC1以表示绿色的CC11着色。另外,用虚线包围生物体LL2的区域CC2以表示蓝色的CC22着色。另外,用虚线包围生物体LL3的区域CC3以表示红色的CC33着色。因此,在出现在输出图像LA3中的生物体中,可以视觉上理解,生物体LL2最不模糊,并且生成LL3最模糊。
图28示出了使用单个颜色在可视状态下显示散射抑制效果的输出图像LA3。在图28中,较小的散射抑制效果值以暗色着色,而较大的散射抑制效果值以明色着色。在图28中,由虚线包围生物体LL1的区域DD1以表示明色与暗色之间的中间颜色DD11着色。用虚线包围生物体LL2的区域DD2以表示明色的DD22着色。用虚线包围生物体LL3的区域DD3以表示暗色的DD33着色。因此,在出现在输出图像LA3中的生物体中,可以视觉上理解,生物体LL2最不模糊,并且生成LL3最模糊。
提供单元135将输出图像提供给显示设备5155,可视化单元435将用于在可视状态下显示散射抑制效果的信息添加到输出图像。
[4-3-2.处理过程]
接下来,将参考图29描述根据修改3的处理过程。图29是示出根据修改3的处理过程的流程图。步骤S401和402与上述实施方式相同,因此省略其描述。
如图29所示,医学图像生成装置100根据所计算的多个医学图像之间的散射度的差来计算散射抑制效果值(步骤S403)。此外,医学图像生成装置100基于所计算的散射抑制效果值添加用于在可视状态下显示散射抑制效果的信息(步骤S404)。然后,医学图像生成装置100提供以可视状态表示散射抑制效果的输出图像(步骤S405)。
[5.处理的变化]
[5-1.针对每个区域和每个像素去除模糊]
在上述实施方式中,描述了设置单元133基于多个医学图像的散射度执行用于去除医学图像的模糊的处理的情况。这里,设置单元133可以基于包括在多个医学图像中的每个区域或每个像素的医学图像的散射度,执行用于去除每个区域或每个像素的医学图像的模糊的处理。在下文中,将描述设置单元133针对每个区域去除模糊的具体处理作为示例,但是同样适用于针对每个像素去除模糊的情况。注意,将适当地省略与上述实施方式相同的描述。
计算单元132计算包括在多个医学图像中的每个区域的医学图像的散射度。具体地,计算单元132计算与包括在每个医学图像中的相同位置信息对应的每个区域的医学图像的散射度。此外,设置单元133基于由计算单元132计算的每个区域的散射度设置每个区域的最佳滤波器系数。因此,设置单元133可以针对每个区域设置用于去除医学图像的模糊的最佳滤波系数,从而可以以更高的精度去除模糊。然后,生成单元134通过将由设置单元133设置的每个区域的滤波系数应用于每个区域的目标医学图像来生成输出图像。
[5-2.在模糊宽度小于预定阈值的情况下的信息处理]
在上述实施方式中,描述了生成单元134将模糊宽度等于或大于预定阈值的医学图像用作散射度大的医学图像以生成输出图像的情况。这里,即使使用由计算单元132计算的散射度最大的滤波器12,在模糊宽度不超过预定阈值的情况下,生成单元134可以将应用了滤波器12的医学图像用作散射度大的医学图像以生成输出图像。
[5-3.使用学习模型计算散射度]
在上述实施例中,描述了计算单元132基于模糊宽度与散射度之间的预定关系计算散射度的情况。这里,计算单元132可以通过使用通过学习模糊宽度与散射度之间的关系所生成的学习模型M1来计算散射度。例如,计算单元132可以通过使用通过学习基于通过使用多个滤波器12生成的多个医学图像的模糊宽度作为输入信息并且学习散射度作为输出信息而生成的学习模型M1来计算散射度。如上所述,可以基于通过使用多个滤波器12生成的多个医学图像来计算模糊宽度。因此,计算单元132可以通过将从包括目标医学图像的多个医学图像计算的模糊宽度输入到学习模型M1来计算目标医学图像的散射度。
[5-4.除ICG荧光之外的荧光示例]
在上述实施方式中,描述了用于通过ICG进行荧光观察的信息处理的示例,但是本发明不限于该示例。即,根据本实施方式的荧光不限于ICG的荧光,并且可以是任何荧光。例如,根据本实施方式的荧光可以是5-Ala(PpIX)、荧光素等的荧光。图30示出了在使用5-Ala(PpIX)的情况下的波长与荧光强度之间的关系。如图30所示,5-Ala(PpIX)的荧光强度在波长为635nm和700nm附近达到峰值。图31示出了在使用荧光素的情况下波长与荧光强度之间的关系。如图30所示,荧光素的荧光强度在波长为520nm附近达到峰值。在图30和图31中,如在ICG的情况下,滤波器A可以是透射任何频带的波长的滤波器,只要滤波器A是对比滤波器B更短的波长侧敏感的滤波器。
[5-5.分光板的限制]
在上述实施例中,描述了分光板14反射包括在荧光中的特定波长的荧光以透射包括在荧光中的除了特定波长之外的另一波长的荧光的情况。这里,分光板14可以不反射特定波长的荧光,但是可以在朝向滤波器A和滤波器B的两个方向上反射入射荧光本身。在这种情况下,相同的荧光进入滤波器A和滤波器B。然后,使用滤波器A和滤波器B,可以选择用于由每个成像元件捕获图像的波长。在这种情况下,滤波器A和滤波器B各自仅透射期望波长的荧光。
[5-6.滤波器强度]
在上述实施方式中,描述了设置单元133设置要应用于目标医学图像的滤波器系数的情况。在这种情况下,生成单元134通过将滤波器系数应用于医学图像的特征量来生成具有较少模糊的输出图像。这里,设置单元133可以设置要应用于目标医学图像的滤波器的强度。在这种情况下,生成单元134通过将具有由设置单元133设置的强度的滤波器应用于目标医学图像来生成输出图像。
[6.硬件配置]
此外,根据上述实施方式的医学图像生成装置100(200、300、400)和摄像机头5119例如通过具有如图32所示的配置的计算机1000实现。图32是示出实现医学图像生成装置100(200、300、400)的功能的计算机的示例的硬件配置图。计算机1000包括CPU 1100、RAM1200、ROM 1300、HDD 1400、通信接口(I/F)1500、输入/输出接口(I/F)1600和介质接口(I/F)1700。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作,并且控制每个单元。ROM 1300存储当计算机1000被激活时由CPU 1100执行的启动程序、取决于计算机1000的硬件的程序等。
HDD 1400存储由CPU 1100执行的程序、由该程序使用的数据等。通信接口1500经由预定通信网络从另一设备接收数据,以将数据发送到CPU 1100,以经由预定通信网络将由CPU 1100生成的数据发送到另一设备。
CPU 1100经由输入/输出接口1600控制诸如显示器和打印机的输出设备以及诸如键盘和鼠标的输入设备。CPU 1100经由输入/输出接口1600从输入设备获取数据。此外,CPU1100经由输入/输出接口1600将所生成的数据输出至输出设备。
介质接口1700读取存储在记录介质1800中的程序或数据并且经由RAM 1200将程序或数据提供给CPU 1100。CPU 1100经由介质接口1700将程序从记录媒质1800加载到RAM1200上,并执行所加载的程序。例如,记录介质1800是光记录介质(诸如数字通用盘(DVD)或相变可重写盘(PD))、磁光记录介质(诸如磁光盘(MO))、磁带介质、磁记录介质、半导体存储器等。
例如,在计算机1000用作根据实施方式的医学图像生成装置100的情况下,计算机1000的CPU 1100执行加载到RAM 1200上的程序,以实现获取单元131、计算单元132、设置单元133、生成单元134、提供单元135等的功能。计算机1000的CPU 1100从记录介质1800读取并执行这些程序,但是作为另一示例,可以经由预定通信网络从另一设备获取这些程序。此外,HDD 1400存储根据本公开的医学图像生成程序和存储单元120中的数据。
[7.其他]
此外,在上述实施方式和修改中描述的处理中,可以手动执行被描述为自动执行的全部或部分处理,或者可以通过已知方法自动执行被描述为手动执行的全部或部分处理。另外,除非另有说明,否则可以任意改变文件和附图中所示的处理过程、具体名称和包括各种数据和参数的信息。例如,每个图所示的各种类型的信息不限于图示的信息。
此外,在附图中所示的每个设备的每个部件在功能上是概念性的,并且不必如在附图中所示的那样物理地配置。即,每个设备的分布和集成的具体形式不限于图示的形式,并且其全部或部分可以根据各种负荷、使用条件等以任意单位在功能上或物理上分布和集成。
此外,在不与处理内容冲突的范围内,可以适当地组合上述实施方式和修改。
尽管已经参考附图详细描述了本申请的一些实施方式,但是这些实施方式仅是示例,并且包括在本发明的公开内容中描述的方面,本发明可以以基于本领域技术人员的知识进行各种修改和改进的其他形式实现。
此外,上述“部、模块、单元”可以被理解为“装置”、“电路”等。例如,获取单元可以被替换为获取装置或获取电路。
注意,本技术还可以具有以下配置。
(1)
一种医学图像生成装置,包括:
获取单元,被配置为获取用预定波长的荧光捕获的第一医学图像和用与预定波长不同的波长的荧光捕获的第二医学图像;
计算单元,被配置为计算表示包括在由获取单元获取的第一医学图像和第二医学图像中的生物体的荧光的模糊度的散射度;以及
生成单元,被配置为基于由计算单元计算的散射度中的至少任一个来生成输出图像。
(2)
根据(1)的医学图像生成装置,其中,
获取单元获取用比预定波长长的波长的荧光捕获的第二医学图像和利用比长波长的荧光的波长短的预定波长的荧光捕获的第一医学图像。
(3)
根据(1)或(2)的医学图像生成装置,其中,
生成单元基于作为第一医学图像的散射度的第一散射度与作为第二医学图像的散射度的第二散射度之间的差来生成输出图像。
(4)
根据(1)至(3)中任一项的医学图像生成装置,进一步包括:
设置单元,被配置为通过应用于第一医学图像和第二医学图像中的一者来设置用于再现作为第一医学图像和第二医学图像中的另一者的第一医学图像的散射度的第一散射度或作为第一医学图像和第二医学图像中的另一者的第二医学图像的散射度的第二散射度的滤波器系数;
生成单元基于由设置单元设置的滤波器系数和第一医学图像生成输出图像。
(5)
根据(4)的医学图像生成装置,其中,
设置单元通过应用于散射度比第二医学图像大的第一医学图像来设置用于在第一医学图像中再现第二散射度的滤波器系数。
(6)
根据(4)的医学图像生成装置,其中,
设置单元通过应用于散射度比第一医学图像小的第二医学图像来设置基于用于在第二医学图像中再现第一散射度的滤波器系数的逆滤波器系数;并且
生成单元基于由设置单元设置的逆滤波器系数和第一医学图像来生成输出图像。
(7)
根据(6)的医学图像生成装置,其中,
设置单元设置基于使第一散射度与通过应用于散射度比第一医学图像小的第二医学图像而再现的多个第二散射度中的第二散射度之间的差最小化的滤波器系数的逆滤波器系数。
(8)
根据(3)的医学图像生成装置,其中,
生成单元基于用于基于第一散射度和第二散射度来组合第一医学图像和第二医学图像的组合比率来生成输出图像。
(9)
根据(8)的医学图像生成装置,其中,
生成单元根据第一散射度与第二散射度之间的差生成输出图像。
(10)
根据(1)至(9)中任一项的医学图像生成装置,其中,
计算单元基于与作为第一医学图像的散射度的第一散射度与作为第二医学图像的散射度的第二散射度之间的差有关的信息来计算表示抑制荧光的散射的效果的散射抑制效果值;并且
医学图像生成装置进一步包括:提供单元,被配置为基于由计算单元计算的散射抑制效果值提供添加了用于在可视状态下显示抑制荧光散射的效果的信息的输出图像。
(11)
根据(1)至(10)中任一项的医学图像生成装置,其中,
计算单元计算与包括在第一医学图像和第二医学图像中的相同位置信息对应的每个区域的医学图像的散射度。
(12)
根据(1)至(11)中任一项的医学图像生成装置,其中,
计算单元计算与包括在第一医学图像和第二医学图像中的相同位置信息对应的每个像素的医学图像的散射度。
(13)
根据(1)至(12)中任一项的医学图像生成装置,其中,
获取单元获取用吲哚菁绿(ICG)、5-Ala(PpIX)或荧光素的荧光捕获的第一医学图像和第二医学图像作为荧光;并且
生成单元生成用于用用ICG、5-Ala(PpIX)或荧光素进行荧光观察的输出图像。
(14)
一种由计算机执行的医学图像生成方法,该方法包括:
获取步骤,获取用预定波长的荧光捕获的第一医学图像和用与预定波长不同的波长的荧光捕获的第二医学图像;
计算步骤,计算表示包括在由获取步骤获取的第一医学图像和第二医学图像中的表示生物体的荧光的模糊度的散射度;以及
生成步骤,基于由计算步骤计算的散射度中的至少任一个来生成输出图像。
(15)
一种医学图像生成程序,使计算机执行:
获取步骤,获取用预定波长的荧光捕获的第一医学图像和用与预定波长不同的波长的荧光捕获的第二医学图像;
计算步骤,计算表示包括在由获取步骤获取的第一医学图像和第二医学图像中的生物体的荧光的模糊度的散射度;以及
生成步骤,基于由计算步骤计算的散射度中的至少任一个来生成输出图像。
参考标记列表
1 医学图像生成系统
10 成像单元
11 光源
12 滤波器
13 成像元件
100 医学图像生成装置(200、300、400)
110 通信单元
120 存储单元
130 控制单元(230、330、430)
131 获取单元
132 计算单元
133 设置单元
134 生成单元
135 提供单元
233 导出单元
435 可视化单元
N 网络。

Claims (15)

1.一种医学图像生成装置,包括:
获取单元,被配置为获取用预定波长的荧光捕获的第一医学图像和用与所述预定波长不同的波长的荧光捕获的第二医学图像;
计算单元,被配置为计算表示包括在由所述获取单元获取的所述第一医学图像和所述第二医学图像中的生物体的荧光的模糊度的散射度;以及
生成单元,被配置为基于由所述计算单元计算的所述散射度中的至少任一个来生成输出图像。
2.根据权利要求1所述的医学图像生成装置,其中,
所述获取单元获取用比所述预定波长长的波长的荧光捕获的所述第二医学图像和用比长波长的荧光的波长短的所述预定波长的荧光捕获的所述第一医学图像。
3.根据权利要求1所述的医学图像生成装置,其中,
所述生成单元基于作为所述第一医学图像的散射度的第一散射度与作为所述第二医学图像的散射度的第二散射度之间的差来生成所述输出图像。
4.根据权利要求1所述的医学图像生成装置,进一步包括:
设置单元,被配置为通过应用于所述第一医学图像和所述第二医学图像中的一者来设置用于再现作为所述第一医学图像和所述第二医学图像中的另一者的所述第一医学图像的散射度的第一散射度或作为所述第一医学图像和所述第二医学图像中的另一者的所述第二医学图像的散射度的第二散射度的滤波器系数;
所述生成单元基于所述第一医学图像和由所述设置单元设置的所述滤波器系数生成所述输出图像。
5.根据权利要求4所述的医学图像生成装置,其中,
所述设置单元通过应用于散射度比所述第二医学图像大的所述第一医学图像来设置用于在所述第一医学图像中再现所述第二散射度的所述滤波器系数。
6.根据权利要求4所述的医学图像生成装置,其中,
所述设置单元通过应用于散射度比所述第一医学图像小的所述第二医学图像来设置基于用于在所述第二医学图像中再现所述第一散射度的所述滤波器系数的逆滤波器系数;并且
所述生成单元基于所述第一医学图像和由所述设置单元设置的所述逆滤波器系数来生成所述输出图像。
7.根据权利要求6所述的医学图像生成装置,其中,
所述设置单元设置基于使所述第一散射度与通过应用于散射度比所述第一医学图像小的所述第二医学图像而再现的多个所述第二散射度中的所述第二散射度之间的差最小化的滤波器系数的所述逆滤波器系数。
8.根据权利要求3所述的医学图像生成装置,其中,
所述生成单元基于用于基于所述第一散射度和所述第二散射度来组合所述第一医学图像和所述第二医学图像的组合比率来生成所述输出图像。
9.根据权利要求8所述的医学图像生成装置,其中,
所述生成单元根据所述第一散射度与所述第二散射度之间的差生成所述输出图像。
10.根据权利要求1所述的医学图像生成装置,其中,
所述计算单元基于与作为所述第一医学图像的散射度的第一散射度与作为所述第二医学图像的散射度的第二散射度之间的差有关的信息来计算表示抑制荧光的散射的效果的散射抑制效果值;并且
所述医学图像生成装置进一步包括:提供单元,被配置为基于由所述计算单元计算的所述散射抑制效果值提供添加了用于在可视状态下显示抑制荧光的散射的效果的信息的所述输出图像。
11.根据权利要求1所述的医学图像生成装置,其中,
所述计算单元计算与包括在所述第一医学图像和所述第二医学图像中的相同位置信息对应的每个区域的医学图像的散射度。
12.根据权利要求1所述的医学图像生成装置,其中,
所述计算单元计算与包括在所述第一医学图像和所述第二医学图像中的相同位置信息对应的每个像素的医学图像的散射度。
13.根据权利要求1所述的医学图像生成装置,其中,
所述获取单元获取用吲哚菁绿(ICG)、5-Ala(PpIX)或荧光素的荧光捕获的所述第一医学图像和所述第二医学图像作为荧光;并且
所述生成单元生成用于用所述ICG、所述5-Ala(PpIX)或所述荧光素进行荧光观察的所述输出图像。
14.一种由计算机执行的医学图像生成方法,所述方法包括:
获取步骤,获取用预定波长的荧光捕获的第一医学图像和用与所述预定波长不同的波长的荧光捕获的第二医学图像;
计算步骤,计算表示包括在由所述获取步骤获取的所述第一医学图像和所述第二医学图像中的生物体的荧光的模糊度的散射度;以及
生成步骤,基于由所述计算步骤计算的所述散射度中的至少任一个来生成输出图像。
15.一种医学图像生成程序,使计算机执行:
获取步骤,获取用预定波长的荧光捕获的第一医学图像和用与所述预定波长不同的波长的荧光捕获的第二医学图像;
计算步骤,计算表示包括在由所述获取步骤获取的所述第一医学图像和所述第二医学图像中的生物体的荧光的模糊度的散射度;以及
生成步骤,基于由所述计算步骤计算的所述散射度中的至少任一个来生成输出图像。
CN202080083458.1A 2020-01-07 2020-12-23 医学图像生成装置、医学图像生成方法和医学图像生成程序 Pending CN114786558A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-001051 2020-01-07
JP2020001051A JP2021108793A (ja) 2020-01-07 2020-01-07 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
PCT/JP2020/048316 WO2021140923A1 (ja) 2020-01-07 2020-12-23 医療画像生成装置、医療画像生成方法および医療画像生成プログラム

Publications (1)

Publication Number Publication Date
CN114786558A true CN114786558A (zh) 2022-07-22

Family

ID=76788628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083458.1A Pending CN114786558A (zh) 2020-01-07 2020-12-23 医学图像生成装置、医学图像生成方法和医学图像生成程序

Country Status (4)

Country Link
US (1) US20230047294A1 (zh)
JP (1) JP2021108793A (zh)
CN (1) CN114786558A (zh)
WO (1) WO2021140923A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023006274A (ja) 2021-06-30 2023-01-18 セイコーエプソン株式会社 圧電素子および圧電デバイス

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803955B2 (en) * 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム

Also Published As

Publication number Publication date
JP2021108793A (ja) 2021-08-02
WO2021140923A1 (ja) 2021-07-15
US20230047294A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US11216941B2 (en) Medical image processing apparatus, medical image processing method, and program
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
US11004197B2 (en) Medical image processing apparatus, medical image processing method, and program
CN110709001B (zh) 医疗系统、医疗设备和控制方法
US20190083180A1 (en) Medical image processing apparatus, medical image processing method, and program
JP7095693B2 (ja) 医療用観察システム
US20210169306A1 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
CN114786558A (zh) 医学图像生成装置、医学图像生成方法和医学图像生成程序
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
EP3598735A1 (en) Imaging device, video signal processing device, and video signal processing method
US20210121046A1 (en) Surgical controlling device, control method, surgical system, and program
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20210235968A1 (en) Medical system, information processing apparatus, and information processing method
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20240016364A1 (en) Surgery system, surgery control device, control method, and program
WO2022239495A1 (ja) 生体組織観察システム、生体組織観察装置及び生体組織観察方法
EP4275585A1 (en) Observation device for medical treatment, observation device, observation method and adapter
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination