CN114126531A - 医疗成像系统、医疗成像处理方法及医疗信息处理设备 - Google Patents

医疗成像系统、医疗成像处理方法及医疗信息处理设备 Download PDF

Info

Publication number
CN114126531A
CN114126531A CN202080043388.7A CN202080043388A CN114126531A CN 114126531 A CN114126531 A CN 114126531A CN 202080043388 A CN202080043388 A CN 202080043388A CN 114126531 A CN114126531 A CN 114126531A
Authority
CN
China
Prior art keywords
image
light
special light
observation
surgical field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043388.7A
Other languages
English (en)
Inventor
高桥康昭
宇山慧佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114126531A publication Critical patent/CN114126531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

一种医疗成像系统，包括：光源，该光源被配置为用第一波段的观察光或与第一波段不同的第二波段的特殊光照射手术区域；图像捕获装置，被配置为基于反射的特殊光生成特殊光图像，反射的特殊光是从手术区域的至少一部分反射并且由图像捕获装置接收的特殊光；以及控制处理电路，被配置为基于特殊光图像生成包括关于手术区域的三维坐标信息的三维信息。

Description

医疗成像系统、医疗成像处理方法及医疗信息处理设备
技术领域
本技术涉及一种医疗观察系统、医疗观察方法及信息处理设备，尤其涉及能够以高可靠性获得三维信息的医疗观察系统、医疗观察方法及信息处理设备。
<相关申请的交叉引用>
本申请要求于2019年6月21日提交的日本优先权专利申请JP2019-115405的权益，其全部内容通过引用并入本文。
背景技术
在使用诸如内窥镜和显微镜的医疗观察设备的手术中，提出了以下技术：基于图像信息或传感器信息生成手术区域的三维信息，并且通过使用生成的三维信息进一步向操作者提供用于手术的有用信息。
例如，专利文献1公开了通过同时定位与图构建(SLAM)获取内窥镜的光轴角度信息并且控制显示图像的图像质量的技术。
引文列表
专利文献
专利文献1：WO 2017/168986
发明内容
技术问题
顺便提及，在使用内窥镜和显微镜的手术中，存在一种技术：基于利用与可见光(白光)的波段不同的波段的诸如红外(IR)的特殊光获得的特殊光图像，来识别在可见光图像中难以看到的深部的血管或损伤部位。
本技术是针对上述情况而提出的，并且其能够提供高可靠性的三维信息。
问题的解决方案
根据本技术的一个实施例，提供了一种医疗成像系统，其包括：光源，该光源被配置为用第一波段的观察光或与第一波段不同的第二波段的特殊光照射手术区域；图像捕获装置，被配置为基于反射的特殊光生成特殊光图像，反射的特殊光是从手术区域的至少一部分反射并由图像捕获装置接收的特殊光；以及控制处理电路，被配置为基于特殊光图像生成包括关于手术区域的三维坐标信息的三维信息。
根据本技术的另一实施例，提供了一种信息处理设备，包括：控制器，该控制器基于特殊光图像生成三维信息，该特殊光图像通过在用来自光源单元的特殊光照射期间捕获手术区域的图像而获得，该光源单元用预定波段的观察光或与预定波段不同的波段的特殊光照射手术区域。
在本技术的实施例中，用预定波段的观察光或与预定波段不同的波段的特殊光照射手术区域，并且基于在用特殊光照射期间捕获的特殊光图像生成三维信息。
在本技术的另一实施例中，基于特殊光图像生成三维信息，该特殊光图像通过在用来自光源单元的特殊光照射期间捕获手术区域的图像而获得，该光源单元用预定波段的观察光或与预定波段不同的波段的特殊光照射手术区域。
附图说明
图1是示出根据本技术实施例的医疗观察系统的配置示例的图。
图2是示出利用特殊光照射的示例的图。
图3是示出相机控制单元(CCU)的功能配置示例的框图。
图4是用于描述手术区域图像显示处理的流程图。
图5是示出利用特殊光和可见光照射的示例的图。
图6是示出CCU的另一功能配置示例的框图。
图7是示出棱镜和二向色镜的配置示例的图。
图8是用于描述手术区域图像显示处理的流程图。
图9是示出组合SLAM的示例的图。
图10是示出CCU的又一功能配置示例的框图。
图11是用于描述手术区域图像显示处理的流程图。
图12是示出用于三维图生成/位置和姿势估计处理的特征点的示例的图。
图13是示出从可见光图像检测到的特征点和从特殊光图像检测到的特征点的示例的图。
图14是示出叠加在特殊光图像上的特征点的图。
图15是用于描述在图11的步骤S56中执行的三维图生成/位置和姿势估计处理的流程图。
图16是用于描述不同三维图生成/位置和姿势估计处理的流程图。
图17是示出根据本技术实施例的手术支持系统的另一配置示例的图。
图18是示出信息处理设备的硬件配置示例的框图。
具体实施方式
在下文中，将描述用于实施本技术的实施例。描述将按以下顺序给出。
1.医疗观察系统
2.特殊光同时定位与图构建(SLAM)
3.组合SLAM
4.变型示例
5.应用示例
<医疗观察系统>>
<系统配置>
图1是示出根据本技术实施例的医疗观察系统的配置示例的图。
图1示出了用于腹部内窥镜手术的内窥镜手术系统的示例，例如在医疗环境中执行该腹部内窥镜手术、而不是现有的剖腹手术。
在图1的医疗观察系统1中，不是像过去那样在腹壁上进行剖腹手术，而是将称为套管针25a和套管针25b的穿孔工具连接到腹壁的多个位置。然后，将作为观察患者身体内部的观察医疗设备的腹腔镜(在下文中也称为内窥镜)11、能量治疗工具22、镊子23等从提供给套管针25a和套管针25b的孔插入身体内。
操作者在实时查看患者体内患部U的图像的同时使用能量治疗工具22等执行治疗，例如移除患部U(肿瘤等)，该图像由内窥镜11捕获。内窥镜11、能量治疗工具22、以及镊子23由操作者、机器人等握持。
需要注意的是，操作者指的是在手术室进行手术的健康专业人员。操作者包括参与手术的成员，例如，除了外科医生、助手、窥镜师(scopist)和护士外，还有从不同于手术室的其他地方监控手术的医生。在图1的示例中，内窥镜11例如由窥镜师握持。内窥镜11包括：相机头，相机头包括：要插入患者体内的镜头和接收由镜头引导的光以执行成像的成像装置。应注意的是，镜头可以是硬类型或软类型。此外，可以集成镜头和成像装置。
在执行这种内窥镜手术的手术室中，安装有用于内窥镜手术的设备的推车31、患者所躺的病床33、脚踏开关35等。例如，诸如相机控制单元(CCU)13、光源设备17(光源)、手术工具用设备21、气腹设备24、显示设备15、记录器26、以及打印机27等设备作为医疗设备被放置在推车31上。
通过内窥镜11的观察光学系统捕获的患部U的图像信号经由作为信号传输电缆的相机电缆传输到CCU 13。CCU 13可以经由相机电缆连接到内窥镜11，并且还可以经由无线通信路径连接到内窥镜11。CCU 13对从内窥镜11输出的图像信号执行信号处理，并且将执行信号处理的图像信号输出到显示设备15。通过这种配置，在显示设备15上显示患部U的手术区域图像。
应当注意，CCU 13将执行信号处理的图像信号输出到记录器26，以使记录器26将患部U的手术区域图像记录为图像数据(例如，运动图像的数据)。此外，CCU 13将执行信号处理的图像信号输出到打印机27，以使打印机27打印患部U的手术区域图像。
光源设备17经由光导电缆连接到内窥镜11，并且在切换时用各种波长的光照射患部U。例如，来自光源设备17的光可以用作辅助光。
手术工具用设备21对应于例如高频输出装置，该高频输出装置向能量处理工具22输出高频电流，该能量处理工具22通过使用电热切割患部U。
气腹设备24包括供气/进气装置，并且向例如患者体内的腹部区域供气。
脚踏开关35以操作者、助手等的脚踏操作作为触发信号来控制CCU13、手术工具用设备21等。
<医疗观察系统中的图像处理>
在具有这种配置的医疗观察系统的CCU 13中，基于通过使用内窥镜11成像手术区域而获得的图像执行SLAM。通过SLAM，生成三维图，即生成指示包括患者体内手术区域的空间的形状的三维信息，并且估计内窥镜11在每个时刻的位置和姿势。三维信息是包括三维坐标信息(例如，三维图)的信息。
例如，当显示通过计算机断层扫描(CT)、磁共振成像(MRI)等分别获得的器官等的图像时，通过SLAM获得的内窥镜11的位置和姿势的估计结果用于控制图像的方向。通过CT等获得的器官图像以与内窥镜11的位置和姿势相对应的方向显示在显示设备15上。
例如，基于特殊光图像来执行CCU 13中的SLAM，该特殊光图像是利用特殊光照射手术区域而捕获的图像。由于SLAM是基于在利用特殊光照射期间捕获的特殊光图像来执行的，因此这种SLAM可以称为特殊光SLAM。应当注意，基于图像的SLAM的算法仅需要是能够基于图像中的特征值在三维图上生成三维图以及自身位置和自身姿势的算法，并且可以采用现有算法。例如，可以采用诸如机器学习SLAM的算法，该算法通过使用并行跟踪和图构建(PTAM)、密集跟踪和图构建(DTAM)、定向快速旋转BREIF(ORB)-SLAM或使用多层神经网络的机器学习来生成三维映射并且估计自身位置。此外，不仅可以组合图像，还可以组合惯性测量单元(IMU)传感器或深度传感器的信息。
图2是示出利用特殊光照射的示例的图。
如图2的箭头所示，作为光源的光源设备17的特殊光从内窥镜11的尖端照射手术区域，并且在此状态下执行成像。
如果使用红外(IR)光作为特殊光，如图2的箭头所示，特殊光不会在手术区域的表面上反射。特殊光到达诸如血管等深部的预定结构，并反射在深部的结构上。通过可见光照射捕获的可见光图像中未出现(难以出现)的深部结构在特殊光图像中突出显示。应当注意，例如，红外光是近红外光并且具有峰值波长为760nm至800nm的波段。
在CCU 13中，基于特殊光图像执行SLAM，并且生成三维图，在三维图中深部结构的边缘等用作特征点。此外，使用由此生成的三维图来估计位置和姿势。
手术区域的表面形状通过诸如在手术期间切除损伤部分之类的治疗而改变，而深部或类似部位等处的血管基本上被保留并且没有改变。当执行基于特殊光照图像的SLAM时，可以根据受手术区域变化影响较小的特征点生成三维图，并且获得高可靠性的SLAM结果。
应当注意，不同于可见光的波段(第二波段)的波段(第一波段)的各种类型的光被用于特殊光。特殊光的细节将在后面描述。
<特殊光SLAM>>
<执行特殊光观察的示例>
CCU的功能配置
图3是示出CCU 13的功能配置示例的框图。
如图3所示，在CCU 13中实现信息处理单元71。例如，当构成CCU13的中央处理单元(CPU)执行存储在存储器中的预定程序时，实现信息处理单元71。换句话说，CCU 13的功能由控制处理电路实现。控制处理电路例如是包括CPU和存储器的电路。
信息处理单元71包括：特殊光显影处理单元81、用于特殊光观察的显影处理单元82、三维图生成单元83、三维图存储单元84、屏幕上位置计算单元85、三维信息存储单元86、以及显示控制器87。
从构成内窥镜11(医疗成像装置)的成像单元51(图像捕获装置)的用于特殊光的图像传感器62输出的图像信号被输入到特殊光显影处理单元81和用于特殊光观察的显影处理单元82。成像单元51包括特殊光照射单元61和用于特殊光的图像传感器62。特殊光照射单元61用特殊光照射手术区域。用于特殊光的图像传感器62在利用特殊光照射期间对手术区域进行成像。
特殊光显影处理单元81基于从用于特殊光的图像传感器62提供的原始信号生成作为特殊光图像的RGB图像，并且将特殊光图像的数据输出到三维图生成单元83。
用于特殊光观察的显影处理单元82基于从用于特殊光的图像传感器62提供的原始信号生成观察图像，该观察图像使手术区域的状态可视化。在观察图像中，手术区域的状态以可视的方式显示。在图3的示例中，特殊光用作观察光。将由用于特殊光观察的显影处理单元82生成的观察图像的数据提供给显示控制器87。
三维图生成单元83执行基于特殊光图像的特殊光SLAM。例如，用特殊光照射的手术区域被重复成像。使用从特殊光显影处理单元81顺序提供的特殊光图像，执行三维图生成单元83进行的特殊光SLAM。
三维图生成单元83分析特殊光图像以将具有预定特征值的点设置为特征点，从而生成包括这些特征点的三维图。三维图生成单元83将生成的三维图输出到三维图存储单元84，并使三维图存储单元84存储该三维图。存储在三维图存储单元84中的三维图根据三维图生成单元83的处理顺序更新。
此外，三维图生成单元83基于存储在三维图存储单元84中的三维图等估计内窥镜11的位置和姿势，并且将位置/姿势信息(该信息指示位置和姿势的估计结果)输出到屏幕上位置计算单元85。
屏幕上位置计算单元85从三维信息存储单元86读取在手术之前通过使用CT、MRI等预先生成的器官的三维图，以获取该三维图。此外，屏幕上位置计算单元85获取与输入到三维信息存储单元86的导航信息相对应的三维位置信息或例如由操作者作为用户在屏幕上指定的三维位置信息。
屏幕上位置计算单元85计算内窥镜11的位置和姿势以及三维图的方向，该内窥镜11的位置和姿势由从三维图生成单元83提供的位置/姿势信息指示，该三维图的方向对应于由三维位置信息指示的位置等。屏幕上位置计算单元85转换三维图以便根据计算的方向来观看，并且将转换后的三维图输出到显示控制器87。计算三维图的方向表示计算三维图的旋转。转换后的三维图是从预定方向观看的三维图的二维图像。
显示控制器87将屏幕上位置计算单元85转换的三维图与从用于特殊光观察的显影处理单元82提供数据的观察图像合成，并且使显示设备15显示合成的观察图像。
特殊光的示例
这里，将描述用于捕获特殊光图像的特殊光。
(1)使用红外光(红外线)的案例
如果使用可以观察到深部的血管结构的诸如红外光之类的光作为特殊光，则可以获得不受表面状态变化影响的三维图。换言之，实现了受手术治疗影响较小的SLAM。与红外光一样，波长比可见光波长长的光可以用作特殊光。在这种情况下，特殊光的波段大于可见光的波段。
(2)使用蓝光的情况
如果使用能够突出浅表血管进行观察的蓝光作为特殊光，则为出现在特殊光图像中的血管等设定SLAM的特征点。由于在手术中基本上保留了血管，因此实现了受手术治疗影响较小的SLAM。
(3)使用高透射率光的情况
如果使用比可见光的透射率更高的高透射率的光作为特殊光，则即使在器官内出现雾气或薄雾，也可以获得其中生动地显示手术区域的特殊光图像。由于可以基于特殊光图像获得特征点，因此可以抑制SLAM的中断。取决于治疗的细节(在器官内出现雾气等)，并且在使用可见光图像的某些情况下SLAM难以继续。这是可以防止发生的。
(4)使用偏振光作为特殊光的情况
如果使用偏振光作为特殊光，则可以从特殊光图像中获得镜面反射区域中的特征点。这允许在包括镜面反射区域的区域执行SLAM。例如，在手术期间，器官具有流体，并且可在手术区域中形成引起镜面反射的区域。如果使用可见光图像，则在某些情况下难以检测镜面反射区域中的特征点。通过利用特殊光图像可以防止这种情况的发生。
作为特殊光的偏振光例如通过使用偏振光滤光片生成。从光源发射的可见光通过偏振滤光片，从而生成偏振光。
(5)使用形成已知空间图案的光作为特殊光的情况
投射已知的空间图案(诸如棋盘格图案或点图案)的光(结构光)可以用作特殊光。在这种情况下，可以更准确地检测到手术区域的三维形状。
(6)使用脉冲调制光作为特殊光的情况
如果使用脉冲调制光作为特殊光，则可以根据反射光与照射光之间的相位差直接测量到手术区域的距离。根据到每个位置的距离测量结果生成三维图。
如上所述，与可见光的波段不同的波段的各种类型的光可以用作特殊光。
应当注意，可见光是白光并且具有这样的波段，例如，从下限落入基本360nm至400nm范围内的预定波长到上限落入基本760nm至830nm范围内的预定波长。可以使用与这种可见光的波段不同的波段的各种类型的光作为特殊光。
也可以不使用不同于可见光的波段的光作为特殊光，而是使用其光源类型(LED、激光器等)与可见光类型不同的光作为特殊光。可替代地，也可以使用其照射强度不同于可见光的光作为特殊光。也可以使用用于发射与使用可见光发射的空间图案不同的空间图案的光作为特殊光。
CCU的操作
这里，将参考图4的流程图来描述CCU 13的手术区域图像显示处理。
在步骤S1中，成像单元51的特殊光照射单元61利用特殊光照射手术区域。
在步骤S2中，用于特殊光的图像传感器62在利用特殊光照射期间对手术区域进行成像。
在步骤S3中，信息处理单元71的特殊光显影处理单元81基于从用于特殊光的图像传感器62提供的原始信号生成特殊光图像。
在步骤S4中，用于特殊光观察的显影处理单元82基于从用于特殊光的图像传感器62提供的原始信号生成观察图像。该观察图像可以与S2的特殊光图像相同，也可以是不同的特殊光图像。
在步骤S5中，三维图生成单元83分析从特殊光显影处理单元81提供的特殊光图像以生成三维图。
在步骤S6中，三维图生成单元83基于三维图估计内窥镜11的位置和姿势。
在步骤S7中，屏幕上位置计算单元85基于三维图生成单元83对位置和姿势的估计结果来转换三维图的方向。
在步骤S8中，显示控制器87将从屏幕上位置计算单元85提供的转换后的三维图与从用于特殊光观察的显影处理单元82提供的观察图像合成。
在步骤S9中，显示控制器87使显示设备15显示合成的观察图像。
通过特殊光SLAM，即基于上述特殊光图像的SLAM，可以获得高度可靠的SLAM结果。
<执行可见光观察的示例>
可以基于通过接收可见光的反射光而获得的图像信号来生成观察图像。在本例中，可见光用作观察光。
图5是示出利用特殊光和可见光照射的示例的图。
如果使用可见光作为观察光(如图5所示)，则利用特殊光和来自内窥镜11尖端的可见光照射手术区域，并且在此状态下执行成像。如上所述，通过接收特殊光的反射光而获得的特殊光图像用于SLAM，并且通过接收可见光的反射光而获得的可见光图像用作观察图像。
CCU的功能配置
图6是示出CCU 13的另一功能配置示例的框图。
在图6所示的配置中，与参考图3描述的配置相同的配置由相同的参考符号表示。重叠的描述将适当省略。
图6所示的信息处理单元71的配置不同于图3所示的配置，因为其提供了可见光显影处理单元91而不是用于特殊光观察的显影处理单元82，并且另外提供了对准处理单元92。
除了特殊光照射单元61和用于特殊光的图像传感器62之外，成像单元51还包括可见光照射单元63和用于可见光的图像传感器64。可见光照射单元63用可见光照射手术区域。用于可见光的图像传感器64在可见光照射期间对手术区域进行成像。例如，同时执行由特殊光照射单元61用特殊光照射和由可见光照射单元63用可见光照射。特殊光照射单元61的特殊光照射和可见光照射单元63的可见光照射可以以时分方式执行。
如图7所示的棱镜102和二向色镜103设置在用于特殊光的图像传感器62和用于可见光的图像传感器64的前面。在穿过设置于内窥镜11的镜头的透镜101的光中，特殊光在二向色镜103上反射并且被引导到用于特殊光的图像传感器62。此外，在穿过透镜101的光中，可见光通过二向色镜103并被引导到用于可见光的图像传感器64。
如图6所示，从用于特殊光的图像传感器62输出的图像信号被输入到特殊光显影处理单元81，并且从用于可见光的图像传感器64输出的图像信号被输入到可见光显影处理单元91。
可见光显影处理单元91基于从用于可见光的图像传感器64提供的原始信号生成可见光图像，并且输出该可见光图像作为指示手术区域的状态的观察图像。将从可见光显影处理单元91输出的可见光图像的数据提供给显示控制器87和对准处理单元92。
对准处理单元92执行对准，在该对准中从特殊光显影处理单元81提供的特殊光图像的每个像素的位置与从可见光显影处理单元91提供的可见光图像的每个像素的位置以电子方式对准。对准处理单元92将对准后获得的特殊光图像输出到三维图生成单元83。
显示控制器87将屏幕上位置计算单元85转换的三维图与可见光图像合成，该可见光图像的数据从可见光显影处理单元91提供，并且使显示设备15显示合成的可见光图像。
CCU的操作
这里，将参考图8的流程图描述具有图6的配置的CCU 13的手术区域图像显示处理。
在步骤S21，成像单元51的特殊光照射单元61用特殊光照射手术区域。此外，可见光照射单元63用可见光照射手术区域。
在步骤S22中，用于特殊光的图像传感器62在利用特殊光照射期间对手术区域进行成像。此外，用于可见光的图像传感器64在用可见光照射期间对手术区域进行成像。
在步骤S23，信息处理单元71的特殊光显影处理单元81基于从用于特殊光的图像传感器62提供的原始信号生成特殊光图像。
在步骤S24中，可见光显影处理单元91基于从用于可见光的图像传感器64提供的原始信号生成观察图像(可见光图像)。
在步骤S25中，对准处理单元92基于从特殊光显影处理单元81提供的特殊光图像和作为观察图像从可见光显影处理单元91提供的可见光图像执行对准。
在步骤S26中，三维图生成单元83分析从对准处理单元92提供的特殊光图像以生成三维图。
在步骤S27中，三维图生成单元83基于三维图估计内窥镜11的位置和姿势。
在步骤S28，屏幕上位置计算单元85基于三维图生成单元83对位置和姿势的估计结果来转换三维图的方向。
在步骤S29，显示控制器87将从屏幕上位置计算单元85提供的转换后的三维图与从可见光显影处理单元91提供的观察图像合成。
在步骤S30，显示控制器87使显示设备15显示合成的观察图像。
如上所述，向成像单元51提供可见光照射单元63和用于可见光的图像传感器64允许使用可见光图像作为观察图像。
<<组合SLAM>>
三维图的生成以及位置和姿势的估计可以通过组合利用特殊光SLAM(利用特殊光图像的SLAM)和可见光SLAM(使用可见光图像的SLAM)来执行。组合利用特殊光SLAM和可见光SLAM的SLAM为组合SLAM。
图9是示出组合SLAM的示例的图。
图9的上排中左侧的图像是可见光图像，上排中右侧的图像是特殊光图像。图9所示的可见光图像和特殊光图像都是通过对相同范围进行成像而获得的图像。此外，图像中显示的菱形中的每个都是通过分析图像检测到的特征点。根据用于每次成像的光的波长，图像中出现的细节是不同的，并且特征点被相应地设定在不同的位置。
在图9的可见光图像中，被虚线包围的区域A1和A2是由发射的可见光引起镜面反射的区域。区域A1和A2在可见光图像中显示为亮点。在此示例中，许多特征点设定在各自亮点的位置。
同时，在图9的特殊光图像中，被虚线包围的区域A11是出现深部血管结构的区域。在本例中，许多特征点设定在血管结构的边缘附近。
如图9的箭头所示，组合SLAM是使用从可见光图像检测到的特征点和从特殊光图像检测到的特征点的SLAM。当捕获可见光图像时内窥镜11的位置和姿势与当捕获特殊光图像时内窥镜11的位置和姿势相同，并且因此从两个或更多图像检测到的特征点可以容易地叠加在同一坐标系上。
从可见光图像检测到的特征点和从特殊光图像检测到的特征点在位置上彼此不同，因此组合SLAM允许生成更稳健的三维图。
在组合SLAM中，不使用从可见光图像检测到的所有特征点和从特殊光图像检测到的特征点，而是使用高可靠性的特征点。
三维图可以基于高可靠性的特征点生成，或者可以基于构成三维图的特征点当中高可靠性的特征点来估计位置和姿势。
在后一种情况下，例如，生成包括可见光图像上的特征点的三维图和包括特殊光图像上的特征点的三维图，并且合成两个三维图，以生成组合SLAM的三维图。在构成组合SLAM的三维图的特征点中，使用可靠性高的特征点来估计位置和姿势。
CCU的功能配置
图10是示出CCU 13的又一功能配置示例的框图。
在图10所示的配置中，与参考图6描述的配置相同的配置由相同的参考符号表示。重叠的描述将适当省略。
三维图生成单元83获取从对准处理单元92提供的对准后获得的特殊光图像和从可见光显影处理单元91提供的可见光图像。三维图生成单元83检测特殊光图像上的特征点和可见光图像上的特征点，并且基于检测到的特征点生成三维图。
例如，三维图生成单元83计算特殊光图像上的特征点的可靠性和可见光图像上的特征点的可靠性，并且生成包括具有高可靠性的特征点的三维图。
可靠性的计算如下所述，例如：计算从某一帧检测到的特征点与从前一帧检测到的对应特征点之间的特征值差；基于该差，当特征值差变小时，为可靠性设定较高的值，并且当特征值差变大时，为可靠性设定较低的值。
例如，在从特殊光图像检测到的特征点和从可见光图像检测到的特征点都包括在预定范围内的情况下(在两个特征点都处于接近位置的情况下)，三维图生成单元83选择具有更高可靠性的特征点作为构成三维图的特征点。对于选择构成三维图的特征点的方法，可以采用将在后面描述的各种方法。
三维图生成单元83基于包括如上所述的选定特征点的三维图估计内窥镜11的位置和姿势，并且将位置/姿势信息输出到屏幕上位置计算单元85。
屏幕上位置计算单元85基于由三维图生成单元83提供的位置/姿势信息所指示的内窥镜11的位置、姿势等来计算三维图的方向。屏幕上位置计算单元85根据计算出的方向转换三维图以使该三维图可见，并且将转换后的三维图输出到显示控制器87。
显示控制器87将由屏幕上位置计算单元85转换的三维图与从可见光显影处理单元91提供数据的可见光图像合成，然后使显示设备15显示合成的可见光图像。
在生成了包括可见光图像的特征点的三维图和包括特殊光图像的特征点的三维图的情况下，显示控制器87可以显示包括可见光图像的特征点的三维图。例如，可以执行这样的显示，该显示将从特殊光图像检测到的血管的信息叠加在包括可见光图像的特征点的三维图上。
CCU的操作
这里，将参考图11的流程图描述具有图10的配置的CCU 13的手术区域图像显示处理。
从步骤S51至步骤S55的处理是与从图8的步骤S21至步骤S25的处理类似的处理。在对准之后获得的特殊光图像和在用可见光照射期间捕获的可见光图像被提供给三维图生成单元83。
在步骤S56中，三维图生成单元83执行三维图生成/位置和姿势估计处理。这里执行的三维图生成/位置和姿势估计处理是用于组合SLAM的处理。三维图生成/位置和姿势估计处理的细节将在后面描述。
从步骤S57至步骤S59的处理是与从图8的步骤S28至步骤S30的处理类似的处理。使用通过三维图生成/位置和姿势估计处理得到的位置和姿势的估计结果来执行三维图的合成，并且显示在合成三维图之后获得的可见光图像。
三维图生成/位置和姿势估计处理
图12是示出用于三维图生成/位置和姿势估计处理的特征点的示例的图。
如图12所示，在三维图生成/位置和姿势估计处理中，生成三维图，使得在特定时间t从可见光图像检测到的特征点Xnt和从特殊光图像检测到的特征点Ymt当中保留具有高可靠性的特征点。三维图包括特征点Z1t、…、Zpt，这些特征点作为具有高可靠性的特征点而保留。
图13是示出从可见光图像检测到的特征点和从特殊光图像检测到的特征点的示例的图。
图13的上排示出了从可见光图像检测到的特征点。图13的下排示出了从特殊光图像检测到的特征点。
如右侧可见光图像所示，在时间t(第t帧的可见光图像)从帧的可见光图像检测到的特征点Xn t的特征值由特征值xn t表示。此外，如左侧可见光图像中所示，在时间t-1(第(t-1)帧的可见光图像)从帧的可见光图像检测到的特征点Xn t-1的特征值由特征值xn t-1表示。
根据特征值xn t和特征值xn t-1计算从可见光图像检测到的每个特征点Xn t的可靠性，特征值xn t-1是一帧之前的帧的对应特征点Xn t-1的特征值，如使用水平线彼此连接所示。
类似地，如右侧的特殊光图像所示，从第t帧的特殊光图像检测到的特征点Ym t的特征值由特征值ym t表示。此外，如左侧的特殊光图像所示，从第(t-1)帧的特殊光图像检测到的特征点Ym t-1的特征值由特征值ym t-1表示。
根据特征值ym t和特征值ym t-1计算从特殊光图像检测到的每个特征点Ym t的可靠性，该特征值ym t-1是前一帧的对应特征点Ym t-1的特征值，如使用水平线彼此连接所示。
图14是示出叠加在特殊光图像上的特征点的图。
当特征点Xn t-1和特征点Ym t-1叠加在第(t-1)帧的特殊光图像上时，该图像如图14的左侧所示。
同时，当特征点Xn t和特征点Ym t叠加在第t帧的特殊光图像上时，该图像如图14的右侧所示。在图14右侧所示的第t帧的特殊光图像上，不仅显示了特征点Xn t和特征点Ym t，而且还显示了特征点Xn t-1和特征点Ym t-1当中的具有高可靠性的特征点。
例如，位置P1处的特征点是具有高可靠性的特征点Ym t-1，位置P2处的特征点是具有高可靠性的特征点Xn t-1。基于图14的右侧的特殊光图像上所示的特征点，生成t时刻的三维图。
将参考图15的流程图描述在图11的步骤S56中执行的三维图生成/位置和姿势估计处理。
如图15所示，例如，并行地执行从步骤S101至S104的针对可见光图像的处理和从步骤S105至S108的针对特殊光图像的处理。
在步骤S101中，图10的三维图生成单元83获取从可见光显影处理单元91提供的可见光图像。
在步骤S102中，三维图生成单元83在第t帧和(t-1)帧的每个图像中提取N个特征点，并且获得各个图像的特征值集{x1 t,…,xN t}、{x1 t-1,…,xN t-1}。
在步骤S103中，三维图生成单元83比较第t帧的特征点Xn t的特征值xn t与第(t-1)帧的提取特征值集{x1 t-1,...,xN t-1}之间的距离，并搜索具有最小距离的对应特征点。对应特征点的特征值为xn t-1。
对于距离dxn t(xn t,xn t-1),dym t(ym t,ym t-1)，欧几里德距离(L2范数)、汉明距离等可以使用。距离dxn t(xn t,xn t-1)是特征值xn t与特征值xn t-1之间的距离。此外，距离dym t(ym t,ym t-1)是特征值ym t与特征值ym t-1之间的距离。
在步骤S104中，三维图生成单元83根据第t帧的特征点Xn t的特征值xn t与第(t-1)帧的对应特征点的特征值xn t-1之间的距离dxn t(xn t,xn t-1)的小度(smallness)来设定特征点Xn t的可靠性。
对于可靠性，可以使用距离的倒数值，或者可以使用通过组合距离和诸如对数之类的函数而获得的值。此外，为了调整正常光和特殊光的影响程度，可以为每个光的可靠性设定预定系数。
对可见光图像的每一帧执行上述处理。
同时，在步骤S105中，三维图生成单元83获取从对准处理单元92提供的对准后获得的特殊光图像。
在步骤S106中，三维图生成单元83在第t帧和(t-1)帧的每个图像中提取M个特征点，并且获得各个图像的特征值集{y1 t,...,yM t},{y1 t-1,...,yM t-1}。
在步骤S107中，三维图生成单元83比较第t帧的特征点Ym t的特征值ym t与第(t-1)帧的提取特征值集{y1 t-1,...,yM t-1}之间的距离，并且搜索具有最小距离的对应特征点。对应特征点的特征值为ym t-1。
在步骤S108中，三维图生成单元83根据第t帧的特征点Ym t的特征值ym t与第(t-1)帧的对应特征点的特征值ym t-1之间的距离dym t(ym t,ym t-1)的小度来设定特征点Ym t的可靠性。
对特殊光图像的每一帧执行上述处理。
在步骤S109中，三维图生成单元83将可见光图像中的特征点Xn t和特殊光图像中的特征点Ym t分别布置在第t帧和第(t-1)帧的相同平面上。
在步骤S110中，三维图生成单元83从所有特征点{X1 t,...,XN t,Y1 t,...,YM t}当中提取特征点集{Z1 t,...,ZP t}，该特征点集是具有较高可靠性的前P个特征点的集合。
在步骤S111中，三维图生成单元83基于包括在特征点集{Z1 t,...,ZP t}和构成三维图的特征点中的第t帧和第(t-1)帧中的对应特征点的位置，估计第t帧和第(t-1)帧成像时内窥镜11的位置和特征点集{Z1 t,...,ZP t}的三维位置。内窥镜11的位置和{Z1 t,...,ZP t}的三维位置的估计在执行束调整时进行。
在这种情况下，通过使用例如随机样本一致性(RANSAC)方法从特征点集{Z1 t,...,ZP t}中移除被视为离群值的值。从中移除了离群值的特征点集成为特征点集{Z1 t,...,ZP ’ t}。
在步骤S112中，在满足预定条件的情况下，三维图生成单元83将特征点集{Z1 t,...,ZP’ t}添加到三维图。例如，基于一个条件添加特征点集，例如，与过去的特征点相比，特征点集{Z1 t,...,ZP’ t}具有足够的可靠性。
重复上述处理，从而执行三维图生成/位置和姿势估计处理。
将参考图16的流程图描述其他三维图生成/位置和姿势估计处理。
在提取特征点集{Z1 t,...,ZP t}的方法中，图16所示的处理不同于参考图15描述的处理。换句话说，从步骤S121到S129的处理是与从图15的步骤S101到S109的处理类似的处理。
在步骤S130中，三维图生成单元83在所有特征点{X1 t,...,XN t,Y1 t,...,YM t}当中选择可靠性较高的前Q个特征点。此外，三维图生成单元83统计包括在Q个特征点中的可见光图像的特征点的数量和特殊光图像的特征点的数量，并且选择包括更多特征点的特征点集{X1 t,...,XN t}或{Y1 t,...,YM t}。三维图生成单元83从所选择的特征点集{X1 t,...,XN t}或{Y1 t,...,YM t}中提取可靠性较高的前P个特征点，并且将其设定为特征点集{Z1 t,...,ZP t}。
如上所述，可以通过各种方法选择特征点，并且在时间t时用作构成三维图的特征点。
如上所述，组合使用可见光SLAM和特殊光SLAM的组合SLAM执行三维图的生成以及位置和姿势的估计，这允许稳健性的改进。与使用通过单个光源进行的SLAM结果的情况相比，使用通过多个光源进行的SLAM结果允许在精度上的改进。
根据情况，可以在由可见光SLAM获得的特征点和由特殊光SLAM获得的特征点之间切换，并且可以使用组合SLAM获得的特征点。
可以基于通过组合SLAM进行的内窥镜11的位置和姿势的估计结果来对准通过可见光SLAM获得的三维图和通过特殊光SLAM获得的三维图，从而生成一个三维图。应该注意，通过可见光SLAM和特殊光SLAM获得的三维图的对准可以使用机器学习来执行。例如，将可见光SLAM的特征值和与可见光SLAM的特征值配对的特殊光SLAM的特征值作为预先标记的学习数据输入到多层神经网络的机器学习模型，以生成参数。随后，可以将通过可见光SLAM获得的特征值和通过特殊光SLAM获得的特征值输入到对准算法，该算法基于机器学习模型和该参数而设定，从而执行对准。
上述一系列处理使得能够在使用深部等处的血管结构的边缘作为特征点的特殊光SLAM中，生成在手术期间执行治疗的情况下几乎没有变化的三维图，并且不断获得高可靠性的SLAM结果。
在使用具有高透射率的特殊光的特殊光SLAM中，即使由于雾气、薄雾等原因难以获得可见光的信息，也可以持续获得使用最新信息的SLAM结果。
在使用偏振光的特殊光SLAM中，可以从特殊光图像中检测到镜面反射区域中的特征点，并且可以获得SLAM结果。
<<变型示例>>
可以使用可见光和多种类型的特殊光来执行组合SLAM。在这种情况下，使用不同波段的多种类型的特殊光，并且在使用每种类型的特殊光的照射期间执行成像，以生成各种类型的特殊光图像。基于从可见光图像检测到的特征点和从每个特殊光图像检测到的特征点执行组合SLAM。
如上所述，组合SLAM中要使用的特殊光的数量可以设定为多个。
<<应用示例>>
<系统配置>
接下来，参考图17，将描述将包括臂的手术用视频显微镜设备用作根据本技术实施例的手术支持系统的应用示例的情况的示例。
图17示出了使用手术用视频显微镜设备作为用于观察患者身体内部的观察医疗设备的显微镜手术系统的示例。
图17示出了作为操作者(用户)的医生520通过使用手术工具21(诸如手术刀、镊子和镊子等)对躺在操作台530上的待操作对象(患者)540执行手术的状态。
应当注意，在以下描述中，操作是诸如手术和检查等各种类型的医疗的通用术语，该操作由作为用户520的医生对作为被操作对象的患者540执行。此外，尽管图17的示例示出了作为操作示例的手术的情况，但是使用用于手术510的视频显微镜设备的操作不限于手术，并且可以是任何其他操作。
在操作台530旁边提供根据本技术实施例的手术用视频显微镜设备510。
手术用视频显微镜设备510包括：作为基座的基座部分511、从基座部分511延伸的臂部分512、以及作为尖端单元连接到臂部分512的尖端的成像单元515。
臂部512包括：多个关节513a、关节513b和关节513c、通过关节513a和关节513b彼此耦接的多个连杆514a和连杆514b、以及设置在臂部512尖端的成像单元515。
为了简单描述，在图17的示例中，臂部512包括：三个关节513a至关节513c以及两个连杆514a和连杆514b。实际上，在考虑臂部512和成像单元515的位置和姿势的自由度的同时，可以适当地设置关节513a至关节513c以及连杆514a和514b的数量和形状、关节513a到关节513c的驱动轴的方向等，以实现期望的自由度。
关节513a至关节513c具有将连杆514a和连杆514b彼此旋转耦接的功能。当旋转地驱动关节513a至关节513c时，臂部512的驱动被控制。
成像单元515作为尖端单元连接到臂部512的尖端。
成像单元515是包括光学系统的单元，该光学系统的单元获取对象的光学图像，并且从而获取要成像的对象的图像，并且例如是被配置为能够捕获运动图像和静止图像的相机。如图17所示，手术用视频显微镜设备510控制臂部512和成像单元515的位置和姿势，使得提供给臂部512的尖端的成像单元515对要操作的对象的操作部位的状态进行成像540。
应当注意，作为尖端单元连接到臂部512的尖端的成像单元515的配置不受特别限制。例如，成像单元515可以配置为内窥镜或显微镜。此外，成像单元515可以被配置为可以与臂部512分离。
例如，这样的配置可以允许对应于使用应用的成像单元515(作为尖端单元)适当地连接到臂部512的尖端。应当注意，这里主要描述将成像单元515应用为尖端单元的情况，但是不用说，要连接到臂部512的尖端的尖端单元不一定限于成像单元515。
此外，诸如监视器或显示器的显示设备550安装在面向用户520的位置。例如，在内置于或外部提供给手术用视频显微镜设备510的图像处理设备对图像执行各种类型的图像处理之后，由成像单元515获取的操作部位的图像作为电图像显示在显示设备550的显示屏上。
这样的配置允许用户520在观看显示在显示设备550的显示屏上的操作部位的电图像的同时执行各种类型的治疗(例如，手术)。
这里，在图17的示例中，成像单元515包括例如参考图3等描述的成像单元51。此外，对由成像单元515获取的操作部位的图像执行各种类型的图像处理的图像处理设备对应于参考图3等描述的信息处理单元71的示例。
<硬件配置>
接下来，将参考图18详细描述构成根据本技术实施例的手术支持系统的信息处理设备的硬件配置的示例。
图18是示出构成根据本技术实施例的手术支持系统的信息处理设备900的硬件配置的示例的框图。
如图18所示，信息处理设备900包括：CPU 901、ROM 903、以及RAM 905。另外，信息处理设备900包括：主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、以及存储装置919。应当注意，信息处理设备900可以包括：驱动器921、连接端口923、以及通信装置925。
CPU 901用作算术处理装置和控制装置，并且根据记录在ROM 903、RAM 905或存储装置919中或可移动记录介质927上的各种程序控制信息处理设备900中的全部或部分操作。
ROM 903存储由CPU 901使用的程序、算术参数等。RAM 905临时存储要由CPU 901使用的程序、在程序执行期间适当改变的参数等。这些组件通过由诸如CPU总线的内部总线配置的主机总线907彼此连接。应当注意，参考图3等描述的信息处理单元71中的配置例如由CPU 901实现。
主机总线907经由桥接器909连接到外部总线911(诸如外围组件互连/接口(PCI)总线)。输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925通过接口913连接到外部总线911。
输入装置915是供用户操作的操作装置(诸如鼠标、键盘、触摸面板、按钮、开关、杆和踏板)。此外，输入装置915例如可以是使用红外线或其他电波的远程控制装置(所谓的远程控制器)。例如，输入装置915可以是与信息处理设备900的操作相对应的外部连接装置929，例如移动电话、智能手机或平板电脑终端。
输入装置915包括例如输入控制电路，该控制电路基于用户使用上述操作装置输入的信息生成输入信号，并且将输入信号输出到CPU 901。
通过操作输入装置915，用户可以输入关于信息处理设备900的各种类型的数据并给出要处理的操作的指令。
输出装置917包括能够视觉地或听觉地通知用户所获取的信息的装置。具体地，输出装置917被配置为诸如阴极射线管(CRT)显示装置、液晶显示装置、等离子体显示装置、电致发光(EL)显示装置或灯的显示装置；诸如扬声器和耳机的声音输出装置；打印机装置等。
输出装置917输出例如从信息处理设备900执行的各种类型的处理中获得的结果。具体地，显示装置以文本或图像的形式显示从信息处理设备900执行的各种类型的处理中获得的结果。同时，声音输出装置将包括再现的声音数据或声学数据的音频信号转换为模拟信号以进行输出。
存储装置919是用于存储数据的装置，并且该存储装置919被配置为信息处理设备900的存储单元的示例。存储装置919包括例如诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置。存储装置919存储要由CPU 901执行的程序、各种类型的数据等。
驱动器921是用于记录介质的读取器/写入器，并且该驱动器921内置于或外部提供给信息处理设备900。驱动器921读取记录在可移动记录介质927(诸如安装的磁盘、光盘、磁光盘或半导体存储器)上的信息并且将该信息输出到RAM 905。此外，驱动器921还能够在可移动记录介质927(诸如安装的磁盘、光盘、磁光盘或半导体存储器)上写入记录。
可移动记录介质927例如是DVD介质、HD-DVD介质或蓝光(注册商标)介质。此外，可移动记录介质927可以是紧凑型闪存(CF)(注册商标)、闪存、安全数字(SD)存储卡等。另外，可移动记录介质927可以是例如包括非接触式IC芯片的集成电路(IC)卡或电子设备。
连接端口923是用于将外部连接装置929直接连接到信息处理设备900的端口。连接端口923的示例包括：通用串行总线(USB)端口、IEEE1394端口、以及小型计算机系统接口(SCSI)端口。连接端口923的其他示例包括：RS-232C端口、光音频终端、高清多媒体接口(注册商标)(HDMI)端口。当外部连接装置929连接到连接端口923时，信息处理设备900直接从外部连接装置929获取各种类型的数据或向外部连接装置929提供各种类型的数据。
通信装置925例如是包括用于连接到通信网络931的通信装置的通信接口。通信装置925例如是用于有线或无线局域网(LAN)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、或用于各种通信的调制解调器。
例如，通信装置925能够根据诸如TCP/IP之类的预定协议向因特网或其他通信装置发送和从因特网或其他通信装置接收信号。此外，连接到通信装置925的通信网络931可以由以有线方式或无线方式连接的网络来配置。通信网络931可以是例如因特网或家庭LAN，或者可以是用于红外通信、无线电通信或卫星通信的通信网络。
图18的信息处理设备900的组成元件可以使用通用部件构成，或者可以由特殊于组成元件的功能的硬件构成。因此，当执行本技术的实施例时，可以根据技术水平适当地改变要使用的硬件配置。
此外，可以生成用于实现构成根据本技术实施例的手术支持系统的信息处理设备900的功能的计算机程序，并且可以在个人计算机等中实现计算机程序。此外，还可以提供计算机可读记录介质，在该介质中存储有这样的计算机程序。记录介质例如是磁盘、光盘、磁光盘或闪存。此外，可以例如经由网络而不使用记录介质来分发计算机程序。
应当注意，要由计算机执行的程序可以是沿着本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行处理的程序，或者是在必要的定时(诸如当执行调用时)处理的程序。
<其他>
在本说明书中，系统是指多个组成元件(设备、装置、模块(部件)等)的集合，而不管所有组成元件是否包括在同一外壳中。因此，容纳在单独外壳中并经由网络彼此连接的多个设备是系统，并且在一个外壳中包括多个模块的一个设备也是系统。
应当注意，本说明书中公开的效果仅仅是示例性的，而不是限制性的，并且可以产生任何其他效果。
本技术的实施例不限于上述实施例，并且可以在不脱离本技术要点的情况下进行各种修改。
例如，本技术可以具有云计算的配置，在该配置中多个设备共享一个功能并通过网络协作执行处理。此外，本技术可以具有经由网络耦接到医疗成像装置的服务器计算的配置。此外，本技术可以具有转换器的配置，该转换器将从医疗成像装置输出的信号转换为IP(互联网协议)信号。换句话说，CCU的部分功能或全部功能可以放在服务器或转换器上。
此外，上述流程图中描述的每个步骤可以由一个设备执行，或者由多个设备共享和执行。
另外，在一个步骤包括多个处理步骤的情况下，一个步骤中的多个处理步骤可以由一个设备执行，也可以由多个设备共享和执行。
<配置的组合示例>
本技术可以具有以下配置。
(1)一种医疗观察系统，包括：
成像单元，该成像单元捕获手术区域的图像；
光源单元，该光源单元利用预定波段的观察光或与预定波段不同的波段的特殊光照射手术区域；以及
控制器，该控制器基于成像单元在用特殊光照射期间捕获的特殊光图像生成三维信息。
(2)根据(1)的医疗观察系统，其中，
控制器：
生成三维信息，该三维信息指示包括手术区域的空间的形状，并且
当捕获了特殊光图像时，基于生成的三维信息估计成像单元的位置和姿势。
(3)根据(1)或(2)的医疗观察系统，还包括：
显影处理单元，该显影处理单元在成像单元在用特殊光照射期间捕获手术区域的图像之后，基于从成像单元提供的信号生成观察图像；以及
显示控制器，该显示控制器使观察图像被显示，该观察图像对应于成像单元的位置和姿势的估计结果。
(4)根据(1)或(2)的医疗观察系统，其中，
成像单元包括：
观察光成像装置，该观察光成像装置是观察光的成像装置，以及
特殊光成像装置，该特殊光成像装置是特殊光的成像装置。
(5)根据(4)的医疗观察系统，还包括：
显影处理单元，该显影处理单元在观察光成像装置在观察光照射期间捕获手术区域的图像之后，基于从成像单元提供的信号生成观察图像；以及
显示控制器，该显示控制器使观察图像被显示，观察图像对应于成像单元的位置和姿势的估计结果。
(6)根据(5)的医疗观察系统，其中，
控制器基于由特殊光成像装置在特殊光照射期间捕获的特殊光图像和由观察光成像装置在观察光照射期间捕获的观察光图像来生成三维信息。
(7)根据(6)的医疗观察系统，其中，
控制器生成三维信息，该三维信息包括特殊光图像中的特征点和观察光图像中的特征点。
(8)根据(7)的医疗观察系统，其中，
控制器：
基于各个特征点的特征值，计算特殊光图像中的特征点的可靠性和观察光图像中的特征点的可靠性，并且
通过使用具有高可靠性的预定数量的特征点作为三维信息的特征点来生成三维信息。
(9)根据(1)至(8)中任一项的医疗观察系统，其中，
特殊光的波段比观察光的预定波段长。
(10)根据(1)至(8)中任一项的医疗观察系统，其中，
观察光包括要在手术区域的表面上反射的光，并且
特殊光包括要在手术区域的深部结构上反射的光。
(11)根据(1)至(8)中任一项的医疗观察系统，其中，
观察光包括要在手术区域的表面上反射的光，以及
特殊光包括要在手术区域的表面的血管上反射的光。
(12)根据(1)至(8)中任一项的医疗观察系统，其中，
特殊光包括通过偏振滤光片获得的光。
(13)根据(1)至(8)中任一项的医疗观察系统，其中，
特殊光包括具有预定图案的光，用该具有预定图案的光照射手术区域。
(14)根据(1)至(8)中任一项的医疗观察系统，其中，
特殊光包括通过脉冲调制预定波长的光而获得的光。
(15)一种用于医疗观察系统的医疗观察方法，该方法包括：
由成像单元捕获手术区域的图像；
由光源单元用预定波段的观察光或与预定波段不同的波段的特殊光照射手术区域；并且
由控制器基于成像单元在特殊光照射期间捕获的特殊光图像来生成三维信息。
(16)一种信息处理设备，包括：
控制器，基于特殊光图像生成三维信息，该特殊光图像通过在用来自光源单元的特殊光照射期间捕获手术区域的图像而获得，该光源单元用预定波段的观察光或与预定波段不同的波段的特殊光照射手术区域。
本技术还可以具有以下配置。
(1)一种医疗成像系统，包括：
光源，被配置为用第一波段的观察光或与第一波段不同的第二波段的特殊光照射手术区域；
图像捕获装置，被配置为基于反射的特殊光生成特殊光图像，反射的特殊光是从手术区域的至少一部分反射并且由图像捕获装置接收的特殊光；以及
控制处理电路，被配置为基于特殊光图像生成包括关于手术区域的三维坐标信息的三维信息。
(2)根据(1)的医疗成像系统，其中：
反射的特殊光包括从位于手术区域的外表面下方的手术区域部分反射的特殊光；
图像捕获装置被配置为基于反射的特殊光生成特殊光图像，反射的特殊光是从位于手术区域的外表面下方的手术区域部分反射的特殊光，特殊光图像包括关于位于手术区域的外表面下方的手术区域部分的信息；并且
控制处理电路还被配置为基于关于位于手术区域的外表面下方的手术区域部分的信息来生成三维信息。
(3)根据(1)的医疗成像系统，其中：
手术区域的外表面沿着由图像捕获装置接收的该反射的特殊光的光轴布置在特殊光图像捕获装置与位于手术区域的外表面下方的手术区域部分之间。
(4)根据(1)的医疗成像系统，其中：
图像捕获装置包括在内窥镜内；并且
控制处理电路还被配置为基于生成的三维信息估计内窥镜的一部分相对于手术区域的位置和姿势。
(5)根据(4)的医疗成像系统，还包括：
存储的图像存储器，被配置为存储在外科手术开始之前获得的手术区域的一部分的第一三维图；以及
显示控制电路，其中，
控制处理电路还被配置为基于第一三维图和内窥镜的该部分的估计位置和姿势生成手术区域的该部分的第二三维图，以及
显示控制电路被配置为基于第二三维图控制二维图像的显示。
(6)根据(1)的医疗成像系统，其中：
第一波段的光是可见光；并且
第二波段的光是红外光。
(7)根据(1)的医疗成像系统，其中：
关于手术区域的三维信息包括关于包括患者体内的手术区域的空间的三维形状的信息。
(8)根据(6)的医疗成像系统，还包括：
图像捕获装置基于反射的可见光生成可见光图像，反射的可见光是从手术区域的至少一部分反射并且由可见光图像捕获装置接收的可见光；并且
控制处理电路还被配置为执行对准处理以调整特殊光图像，使得调整后的特殊光图像与可见光图像对准。
(9)根据(8)的医疗成像系统，其中：
控制处理电路还被配置为确定特殊光图像和可见光图像中的每个中的特征点的可靠性；并且
控制处理电路还被配置为基于所确定的特殊光图像和可见光图像中的每个中的特征点的可靠性来生成三维信息。
(10)根据(9)的医疗成像系统，其中：
控制处理电路还被配置为通过仅保留具有相对高可靠性的特征点来生成三维信息。
(11)根据(10)的医疗成像系统，其中：
控制处理电路还被配置为基于三维信息生成三维图。
(12)根据(1)的医疗成像系统，其中，控制处理电路被配置为：
生成三维信息，该三维信息指示包括手术区域的空间的形状，并且
基于生成的三维信息估计在捕获特殊光图像时的成像捕获装置的位置和姿势。
(13)根据(1)的医疗成像系统，其中，控制处理电路还被配置为：
在图像捕获装置在用特殊光照射期间捕获手术区域的特殊光图像之后，基于从图像捕获装置提供的信号生成观察图像；并且
使观察图像被显示，该观察图像对应于图像捕获装置的位置和姿势的估计结果。
(14)根据(1)的医疗成像系统，其中，控制处理电路还被配置为：
在图像捕获装置在用观察光照射期间捕获手术区域的图像之后，基于从图像捕获装置提供的信号生成观察图像；并且
使观察图像被显示，该观察图像对应于图像捕获装置的位置和姿势的估计结果。
(15)根据(14)的医疗成像系统，其中，控制处理电路还被配置为：
基于在用特殊光照射期间由特殊光成像装置捕获的特殊光图像和在用观察光照射期间由观察光成像装置捕获的观察光图像生成三维信息。
(16)根据(15)的医疗成像系统，其中，控制处理电路还被配置为：
生成包括特殊光图像中的特征点和观察光图像中的特征点的三维信息。
(17)根据(16)的医疗成像系统，其中，控制处理电路还被配置为：
基于各个特征点的特征值，计算特殊光图像中的特征点的可靠性和观察光图像中的特征点的可靠性，并且
通过使用具有高可靠性的预定数量的特征点作为三维信息的特征点来生成三维信息。
(18)根据(1)的医疗成像系统，其中，控制处理电路包括耦接到图像捕获装置的IP转换器。
(19)一种医疗成像处理方法，包括：
获得当照射第一波段的光时捕获的第一图像数据和当照射第二波段的光时捕获的第二图像数据，其中，第一波段不同于第二波段，并且
基于第二图像数据生成包括关于手术区域的三维坐标信息的三维信息。
(20)一种医疗信息处理设备，包括：
控制处理电路，该控制处理电路配置为：
获得当照射第一波段的光时捕获的第一图像数据和当照射第二波段的光时捕获的第二图像数据，其中，第一波段不同于第二波段，并且
基于第二图像数据生成包括关于手术区域的三维坐标信息的三维信息。
本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种变型、组合、子组合和变更，只要它们在所附权利要求或其等效物的范围内。
附图标记列表
1 医疗观察系统(医疗成像系统)
11 内窥镜(医疗成像装置)
13 CCU(医疗处理设备)
15 显示设备
17 光源设备
51 成像单元
61 特殊光照射单元
62 用于特殊光的图像传感器
63 可见光照射单元
64 用于可见光的图像传感器
71 信息处理单元
81 特殊光显影处理单元
82 用于特殊光观察的显影处理单元
83 三维图生成单元
84 三维图存储单元
85 屏幕上位置计算单元
86 三维信息存储单元
87 显示控制器
91 可见光显影处理单元
92 对准处理单元。

Claims (20)

1.一种医疗成像系统，包括：
光源，被配置为用第一波段的观察光或与所述第一波段不同的第二波段的特殊光照射手术区域；
图像捕获装置，被配置为基于反射的特殊光生成特殊光图像，所述反射的特殊光是从所述手术区域的至少一部分反射并且由所述图像捕获装置接收的特殊光；以及
控制处理电路，被配置为基于所述特殊光图像生成包括关于所述手术区域的三维坐标信息的三维信息。
2.根据权利要求1所述的医疗成像系统，其中：
所述反射的特殊光包括从位于所述手术区域的外表面下方的所述手术区域的一部分反射的特殊光；
所述图像捕获装置被配置为基于作为从位于所述手术区域的外表面下方的所述手术区域的一部分反射的特殊光的所述反射的特殊光生成所述特殊光图像，所述特殊光图像包括关于位于所述手术区域的外表面下方的所述手术区域的一部分的信息；并且
所述控制处理电路还被配置为基于关于位于所述手术区域的外表面下方的所述手术区域的一部分的所述信息来生成所述三维信息。
3.根据权利要求1所述的医疗成像系统，其中：
所述手术区域的外表面沿着由所述图像捕获装置接收的所述反射的特殊光的光轴布置在特殊光图像捕获装置与位于所述手术区域的外表面下方的所述手术区域的一部分之间。
4.根据权利要求1所述的医疗成像系统，其中：
所述图像捕获装置包括在内窥镜内；并且
所述控制处理电路还被配置为基于所生成的三维信息估计所述内窥镜的一部分相对于所述手术区域的位置和姿势。
5.根据权利要求4所述的医疗成像系统，还包括：
存储的图像存储器，被配置为存储在外科手术开始之前获得的手术区域的一部分的第一三维图；以及
显示控制电路，其中，
所述控制处理电路还被配置为基于所述第一三维图和所述内窥镜的所述一部分的估计位置和姿势来生成所述手术区域的所述一部分的第二三维图，并且
所述显示控制电路被配置为基于所述第二三维图控制二维图像的显示。
6.根据权利要求1所述的医疗成像系统，其中：
所述第一波段的光是可见光；并且
所述第二波段的光是红外光。
7.根据权利要求1所述的医疗成像系统，其中：
关于所述手术区域的所述三维信息包括关于包含患者体内的所述手术区域的空间的三维形状的信息。
8.根据权利要求6所述的医疗成像系统，还包括：
所述图像捕获装置基于反射的可见光生成可见光图像，所述反射的可见光是从所述手术区域的至少一部分反射并且由可见图像捕获装置接收的可见光；并且
所述控制处理电路还被配置为执行对准处理以调整所述特殊光图像，使得调整后的特殊光图像与所述可见光图像对准。
9.根据权利要求8所述的医疗成像系统，其中：
所述控制处理电路还被配置为确定所述特殊光图像和所述可见光图像中的每一个中的特征点的可靠性；并且
所述控制处理电路还被配置为基于所确定的所述特殊光图像和所述可见光图像中的每一个中的所述特征点的可靠性来生成所述三维信息。
10.根据权利要求9所述的医疗成像系统，其中：
所述控制处理电路还被配置为通过仅保留具有相对高可靠性的特征点来生成所述三维信息。
11.根据权利要求10所述的医疗成像系统，其中：
所述控制处理电路还被配置为基于所述三维信息生成三维图。
12.根据权利要求1所述的医疗成像系统，其中，所述控制处理电路被配置为：
生成指示包括所述手术区域的空间的形状的所述三维信息，并且
基于生成的所述三维信息估计在所述特殊光图像被捕获时的成像捕获装置的位置和姿势。
13.根据权利要求1所述的医疗成像系统，其中，所述控制处理电路还被配置为：
在所述图像捕获装置在用所述特殊光照射期间捕获所述手术区域的所述特殊光图像之后，基于从所述图像捕获装置提供的信号生成观察图像；并且
使所述观察图像被显示，所述观察图像对应于所述图像捕获装置的位置和姿势的估计结果。
14.根据权利要求1所述的医疗成像系统，其中，所述控制处理电路还被配置为：
在所述图像捕获装置在用观察光照射期间捕获所述手术区域的图像之后，基于从所述图像捕获装置提供的信号生成观察图像；并且
使所述观察图像被显示，所述观察图像对应于所述图像捕获装置的位置和姿势的估计结果。
15.根据权利要求14所述的医疗成像系统，其中，所述控制处理电路还被配置为：
基于在用特殊光照射期间由特殊光成像装置捕获的特殊光图像和在用观察光照射期间由观察光成像装置捕获的观察光图像生成所述三维信息。
16.根据权利要求15所述的医疗成像系统，其中，所述控制处理电路还被配置为：
生成包括所述特殊光图像中的特征点和所述观察光图像中的特征点的所述三维信息。
17.根据权利要求16所述的医疗成像系统，其中，所述控制处理电路还被配置为：
基于各个特征点的特征值，计算所述特殊光图像中的特征点的可靠性和所述观察光图像中的特征点的可靠性，并且
通过使用具有高可靠性的预定数量的特征点作为所述三维信息的特征点来生成所述三维信息。
18.根据权利要求1所述的医疗成像系统，其中，所述控制处理电路包括耦接到所述图像捕获装置的IP转换器。
19.一种医疗成像处理方法，包括：
获得当照射第一波段的光时捕获的第一图像数据和当照射第二波段的光时捕获的第二图像数据，其中，所述第一波段不同于所述第二波段，并且
基于所述第二图像数据生成包括关于手术区域的三维坐标信息的三维信息。
20.一种医疗信息处理设备，包括：
控制处理电路，所述控制处理电路被配置为：
获得当照射第一波段的光时捕获的第一图像数据和当照射第二波段的光时捕获的第二图像数据，其中，所述第一波段不同于所述第二波段，并且
基于所述第二图像数据生成包括关于手术区域的三维坐标信息的三维信息。
CN202080043388.7A 2019-06-21 2020-06-19 医疗成像系统、医疗成像处理方法及医疗信息处理设备 Pending CN114126531A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-115405 2019-06-21
JP2019115405A JP7354608B2 (ja) 2019-06-21 2019-06-21 医療用観察システム、医療用観察方法、および情報処理装置
PCT/JP2020/024060 WO2020256089A1 (en) 2019-06-21 2020-06-19 Medical imaging system, medical imaging processing method, and medical information processing apparatus

Publications (1)

Publication Number Publication Date
CN114126531A true CN114126531A (zh) 2022-03-01

Family

ID=71452698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043388.7A Pending CN114126531A (zh) 2019-06-21 2020-06-19 医疗成像系统、医疗成像处理方法及医疗信息处理设备

Country Status (5)

Country Link
US (1) US20220225860A1 (zh)
EP (1) EP3962345A1 (zh)
JP (1) JP7354608B2 (zh)
CN (1) CN114126531A (zh)
WO (1) WO2020256089A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
CN104364606A (zh) * 2012-05-24 2015-02-18 三菱电机工程技术株式会社 摄像装置和摄像方法
US20160007009A1 (en) * 2014-07-07 2016-01-07 Infineon Technologies Dresden Gmbh Imaging device and a method for producing a three-dimensional image of an object
US20160203602A1 (en) * 2013-09-10 2016-07-14 Sony Corporation Image processing device, image processing method, and program
WO2016181454A1 (ja) * 2015-05-11 2016-11-17 オリンパス株式会社 内視鏡装置
US20170172662A1 (en) * 2014-03-28 2017-06-22 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US20170209031A1 (en) * 2014-11-12 2017-07-27 Sony Corporation Image processing apparatus, image processing method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077749A2 (en) * 2002-03-12 2003-09-25 Beth Israel Deaconess Medical Center Medical imaging systems
ATE406850T1 (de) * 2004-06-17 2008-09-15 Cadent Ltd Verfahren und gerät zur farbbildformung einer dreidimensionalen struktur
DK3266367T3 (da) * 2008-07-24 2021-06-07 Massachusetts Inst Technology Systemer og fremgangsmåder til billeddannelse ved anvendelse af absorption
US20140336461A1 (en) * 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
CN107636533A (zh) * 2015-06-03 2018-01-26 奥林巴斯株式会社 摄像装置、内窥镜装置以及摄像方法
US11602265B2 (en) 2016-03-31 2023-03-14 Sony Corporation Control device, endoscopic imaging device, control method, program, and endoscopic system
WO2018008136A1 (ja) * 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
JP6461411B1 (ja) * 2018-07-13 2019-01-30 パナソニック株式会社 内視鏡システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
CN104364606A (zh) * 2012-05-24 2015-02-18 三菱电机工程技术株式会社 摄像装置和摄像方法
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
US20160203602A1 (en) * 2013-09-10 2016-07-14 Sony Corporation Image processing device, image processing method, and program
US20170172662A1 (en) * 2014-03-28 2017-06-22 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US20160007009A1 (en) * 2014-07-07 2016-01-07 Infineon Technologies Dresden Gmbh Imaging device and a method for producing a three-dimensional image of an object
US20170209031A1 (en) * 2014-11-12 2017-07-27 Sony Corporation Image processing apparatus, image processing method, and program
WO2016181454A1 (ja) * 2015-05-11 2016-11-17 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
JP2021000258A (ja) 2021-01-07
JP7354608B2 (ja) 2023-10-03
WO2020256089A1 (en) 2020-12-24
US20220225860A1 (en) 2022-07-21
EP3962345A1 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US11123150B2 (en) Information processing apparatus, assistance system, and information processing method
US10904437B2 (en) Control apparatus and control method
US11004197B2 (en) Medical image processing apparatus, medical image processing method, and program
US11354818B2 (en) Medical imaging system, method and computer program product
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2020196338A1 (en) Medical arm system, control device, and control method
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
US20230172438A1 (en) Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
US20210295980A1 (en) Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium
US20210267435A1 (en) A system, method and computer program for verifying features of a scene
US20200178774A1 (en) System and method for generating a three-dimensional model of a surgical site
US20200085287A1 (en) Medical imaging device and endoscope
CN114126531A (zh) 医疗成像系统、医疗成像处理方法及医疗信息处理设备
WO2020203405A1 (ja) 医療用観察システムおよび方法、並びに医療用観察装置
WO2021095697A1 (ja) 情報処理装置、生成方法及び生成プログラム
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20240164706A1 (en) In-vivo observation system, observation system, in-vivo observation method, and in-vivo observation device
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
CN110446962A (zh) 成像设备、聚焦控制方法以及聚焦判定方法
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
US20240090759A1 (en) Medical observation device, observation device, observation method, and adapter
US20220409010A1 (en) Medical image processing device, operation method therefor, and endoscope system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination