CN111867438A - 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统 - Google Patents

手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统 Download PDF

Info

Publication number
CN111867438A
CN111867438A CN201980018841.6A CN201980018841A CN111867438A CN 111867438 A CN111867438 A CN 111867438A CN 201980018841 A CN201980018841 A CN 201980018841A CN 111867438 A CN111867438 A CN 111867438A
Authority
CN
China
Prior art keywords
surgical
image
region
display
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980018841.6A
Other languages
English (en)
Inventor
宇山慧佑
林恒生
鹿岛浩司
山根真人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111867438A publication Critical patent/CN111867438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)

Abstract

一种手术辅助设备，包括电路，该电路被配置为生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的手术视野中与手术对象的身体区域相对应的预定区域上的第一视觉注释图像。该电路还被配置为生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。

Description

手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅 助系统
技术领域
本公开涉及手术辅助系统和显示方法，并且具体地，涉及能够改善操作员之间的通信的手术辅助系统和显示方法。
相关申请的交叉引用
本申请要求于2018年3月20日提交的日本在先专利申请JP 2018-052776的权益，其全部内容通过引用结合于此。
背景技术
在一些手术部位处，顾问医生(advising doctor)执行手术辅助，诸如呈现要操作的区域，以便辅助经验不足的外科医生。此外，在一些情况下，多个外科医生在彼此咨询的同时进行手术。因此，需要具有将一个操作员的指令明确地发送到另一操作员的功能的医疗设备。
例如，专利文献1公开了能够将注释写入三维手术图像的三维观察设备。
引用列表
专利文献
专利文献1：WO 2013/179905 A
发明内容
技术问题
然而，在常规配置中，经由单个手术视野图像(operative field image)，顾问医生呈现要操作的区域，或者外科医生确认所呈现的要操作的区域。
在这种情况下，存在由第一用户将注释写入手术视野图像的动作通过使手术视野图像模糊来干扰在确认手术视野图像的同时执行手术的操作员(即，第二用户)，并且操作员(即，第一用户和第二用户)无法成功地彼此执行通信的可能性。
鉴于上述情况做出了本公开，并且根据本公开的实施方式，可以改善操作员之间的通信。
问题的解决方案
一种手术辅助设备，包括电路，该电路被配置为生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的手术视野中的与手术对象的身体区域相对应的预定区域上的第一视觉注释图像。该电路还被配置为生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。
一种手术方法，包括：生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的与手术对象的身体区域相对应的预定区域上的第一视觉注释，并且生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。
一种存储有指令的非暂时性计算机可读介质，当由计算机执行时，该指令使计算机执行以下步骤：生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的与手术对象的身体区域相对应的预定区域上的第一视觉注释；并且生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。
一种手术辅助系统，包括：内窥镜，包括捕获手术对象的第二手术视野图像的成像器；电路，被配置为生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的与手术对象的身体区域相对应的预定区域上的第一视觉注释图像，并且生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像；以及手术工具，基于第二图像中的第二视觉注释图像，在医护人员的控制下在手术对象内部移动以对手术对象执行手术治疗。
发明的有益效果
根据本公开的实施方式，可以改善操作员之间的通信。
附图说明
[图1]图1示出了根据本公开的实施方式的手术辅助系统的配置示例。
[图2]图2是说明注释的显示的示图。
[图3]图3是示出手术辅助系统的功能配置示例的框图。
[图4]图4是示出感测单元和图像数据生成器的详细配置示例的框图。
[图5]图5是示出感测单元和图像数据生成器的详细配置示例的框图。
[图6]图6是示出感测单元和图像数据生成器的详细配置示例的框图。
[图7]图7是说明注释写入处理的流程图。
[图8]图8是说明注释写入处理的流程图。
[图9]图9示出了注释写入处理中的手术视野图像的显示示例。
[图10]图10示出了注释写入处理中的手术视野图像的显示示例。
[图11]图11示出了注释写入处理中的手术视野图像的显示示例。
[图12]图12示出了注释写入处理中的手术视野图像的显示示例。
[图13]图13示出了注释写入处理中的手术视野图像的显示示例。
[图14]图14示出了注释写入处理中的手术视野图像的显示示例。
[图15]图15示出了注释写入处理中的手术视野图像的显示示例。
[图16]图16是说明手术视野图像的显示模式的示图。
[图17]图17是说明手术视野图像的显示模式的示图。
[图18]图18是说明手术视野图像的显示模式的示图。
[图19]图19是说明手术视野图像的显示模式的示图。
[图20]图20示出了将注释写入过去的手术视野图像的示例。
[图21]图21示出了掩蔽显示的示例。
[图22]图22示出了三维图像的预览显示的示例。
[图23]图23是说明用于写入注释的方法的示图。
[图24]图24示出了注释的显示示例。
[图25]图25示出了注释的显示示例。
[图26]图26示出了注释的显示示例。
[图27]图27示出了根据实施方式的手术辅助系统的另一配置示例。
[图28]图28是示出信息处理装置的硬件配置示例的框图。
具体实施方式
下面描述本公开的实施方式(在下文中被称为实施方式)。注意，将按照以下描述的顺序进行描述。
1.系统配置
2.注释写入处理的流程
3.手术视野图像的显示模式
4.变型
5.应用
6.硬件配置
7.总结
<1.系统配置>
(手术辅助系统的配置示例)
图1示出了根据本公开的实施方式的手术辅助系统的配置示例。
图1示出内窥镜手术系统的示例，该内窥镜手术系统例如用于在医疗部位处执行的腹部的内窥镜手术而不是现有技术中的剖腹手术。
在图1所示的手术辅助系统1中，在腹部的内窥镜手术中，如在现有技术中，通过腹壁附接有被称为套管针25a和25b的多个穿孔工具而不是切割腹壁并且执行剖腹手术。然后，用作观察患者身体的内部的用于观察的医疗设备的腹腔镜(在下文中也被称为内窥镜或成像器)11、能量治疗工具22、钳子23等通过设置在套管针25a和25b中的孔插入体内。
操作员在实时观察通过使用内窥镜11执行视频成像而捕获到的患部U的图像的同时，通过使用能量治疗工具22等来执行治疗，诸如切除患者身体的内部的患部U(例如，肿瘤)。内窥镜11、能量治疗工具22和钳子23由操作员、机器人等保持。注意，操作员是指参与在手术室中执行的手术的医护人员，并且除了手术的外科医生、助手、内窥镜医生和护士之外，操作员还包括例如在与手术室不同的地方监视手术的医生等。
在执行如上所述的内窥镜手术的手术室中，设置有安装用于内窥镜手术的装置等的手推车31、患者躺在其上的病床33、脚踏开关35等。在手推车31中，放置有例如作为医疗设备的相机控制单元(CCU)13、光源装置17、用于治疗工具的装置21、气腹装置24、显示装置15、记录器26、打印机27等。
通过使用内窥镜11的观察光学系统对患部U进行成像而获得的图像信号经由相机电缆被发送到CCU 13。CCU 13可以经由相机电缆连接到内窥镜11，或者可以经由无线电通信路径连接到内窥镜11。CCU 13对已经从内窥镜11输出的图像信号执行信号处理，并且将信号处理之后的图像信号输出到显示装置15。通过采用上述配置，患部U的内窥镜图像显示在显示装置15上。
注意，CCU 13可以将信号处理之后的图像信号输出到记录器26，以使记录器26将患部U的内窥镜图像记录为图像数据(例如，运动图像数据)。此外，CCU 13可以将信号处理之后的图像信号输出到打印机27，以使打印机27打印患部U的内窥镜图像。
光源装置17经由光导电缆连接到内窥镜11，并且可以在切换光线的同时用各种波长的光线照射患部U。从光源装置17发射的光可以例如用作辅助光。
用于治疗工具的装置21例如与将高频电流输出到通过使用电热切断患部U的能量治疗工具22的高频输出装置相对应。
气腹装置24包括空气供给单元和空气吸入单元，并且例如将空气供给到患者身体(手术对象)内部的腹部区域。
脚踏开关35通过使用操作员、助手等的脚踏操作作为触发信号来控制CCU 13、用于治疗工具的装置21等。
(注释的显示)
根据本实施方式的手术辅助系统实现了将注释写入在已经由内窥镜11捕获的内窥镜图像(在下文中被称为手术视野图像)中拍摄到的器官或体腔的表面。上述注释是指操作员使用的视觉信息，以将诸如手术对象的身体区域等的要操作的区域呈现给另一操作员而不会使手术视野图像的另一操作员的视野模糊。
具体地，当第一用户(操作员)指定第一用户期望将注释写入在图2的左手部所示的手术视野图像中拍摄到的器官的表面上的位置时，线性注释被叠加到已经由第一用户在手术视野图像上指定的位置(指定位置)上，如图2的中央所示。
即使在内窥镜11的位置或姿势改变的情况下，在跟踪手术视野图像上的指定位置的同时显示写入的注释，如图2的右手部所示。
在根据本实施方式的手术辅助系统中，基于在手术视野图像中拍摄到的器官或体腔的表面的视觉和立体纹理以及器官或体腔的表面的位置关系保留注释的位置(指定位置)，并且估计内窥镜11的定向和位置(运动)。然后，基于估计运动的结果来更新显示位置，使得注释保持叠加在器官(第二手术视野图像的与手术对象的身体区域相对应的估计区域)上的相同位置。
注释的位置(指定位置)是固定的，与在其上显示手术视野图像的屏幕上的坐标无关。因此，即使在将注释写入通过停止手术视野图像或已经记录的过去的手术视野图像获得的静止图像的情况下，写入注释的结果也反映在当前显示的手术视野图像中。
(手术辅助系统的功能配置示例)
图3是示出能够实现注释的上述显示的手术辅助系统的功能配置示例的框图。
图3所示的手术辅助系统100由感测单元110、信息处理装置130和显示装置150配置。
感测单元110与图1的内窥镜11相对应，并且将通过执行成像而获得的图像信号提供给信息处理装置130。
信息处理装置130与图1的CCU 13相对应，并且信息处理装置130对从感测单元110获得的图像信号执行信号处理，并且将图像信号提供给显示装置150。
显示装置150与图1的显示装置15相对应，并且基于从信息处理装置130获得的图像信号显示手术视野图像。稍后将描述细节，但是显示装置150设置有两个显示区域(第一显示区域151和第二显示区域152)，并且在两个显示区域中的每一个中显示一个手术视野图像。
信息处理装置130包括图像数据生成器131、显示控制器132、指定位置计算器133和三维表面映射数据存储器134。
图像数据生成器131对从感测单元110获得的图像信号执行显影处理，以将包括多个帧的手术视野图像的图像数据提供给显示控制器132。
此外，图像数据生成器131基于配置手术视野图像的每个帧来估计内窥镜11的运动，以生成指示运动的位置/姿势信息，并且将位置/姿势信息提供给显示控制器132和指定位置计算器133。
此外，图像数据生成器131基于配置手术视野图像的每个帧和所估计的内窥镜11的运动来生成指示在手术视野图像中拍摄到的对象(器官或体腔的内部)的三维结构的三维信息。所生成的三维信息作为三维表面映射数据存储在三维表面映射数据存储器134中。
稍后将描述感测单元110和图像数据生成器131的详细配置。
显示控制器132基于从图像数据生成器131获得的图像数据，执行控制以在显示装置150的两个显示区域(第一显示区域151和第二显示区域152)中的每一个中显示手术视野图像。
显示控制器132包括第一叠加单元141和第二叠加单元142。
第一叠加单元141将注释叠加到在第一显示区域151中显示的手术视野图像上的由用户指定的位置(指定位置)上。具体地，第一叠加单元141基于从图像数据生成器131获得的位置/姿势信息和由指定位置计算器133计算出的指定位置获得在第一显示区域151中显示的手术视野图像上的指定位置，并且第一叠加单元141叠加注释。指定位置与手术对象的身体区域相对应。
另一方面，第二叠加单元142在跟踪在第二显示区域152中显示的手术视野图像上的指定位置的同时叠加注释。具体地，第二叠加单元142基于从图像数据生成器131获得的位置/姿势信息和由指定位置计算器133计算出的指定位置获得在第二显示区域152中显示的手术视野图像上的指定位置，并且第二叠加单元142在与手术对象的身体区域相对应的估计区域上叠加注释。
当指定位置计算器133获得指示将注释写入在第一显示区域151中显示的手术视野图像的信息作为指示用户的操作的操作信息时，指定位置计算器133基于从图像数据生成器131获得的位置/姿势信息和三维表面映射数据存储器134的三维表面映射数据来计算指定位置。
具体地，指定位置计算器133基于由位置/姿势信息指示的内窥镜11的当前位置和当前姿势，获得已经写入注释的位置与三维表面映射数据上的哪个位置相对应。如上所述已经获得的指定位置被保留在指定位置计算器133中，并且被提供给第一叠加单元141和第二叠加单元142。
(感测单元和图像数据生成器的详细配置示例1)
这里，参考图4描述感测单元110和图像数据生成器131的详细配置示例。
感测单元110包括图像传感器211，并且将通过执行成像而获得的图像信号提供给信息处理装置130。
图像数据生成器131由显影处理单元221、初始三维数据生成器222、相机位置/姿势估计单元223和三维表面恢复单元224配置。
显影处理单元221对从图像传感器211获得的图像信号执行显影处理，以生成图像数据。所生成的图像数据被提供给初始三维数据生成器222、相机位置/姿势估计单元223和三维表面恢复单元224中的每一个。
初始三维数据生成器222基于从显影处理单元221以时间序列提供的相应条图像数据(帧数据)中器官的表面的纹理相同的像素位置之间的对应关系，获得指示对象的三维结构的三维信息。作为纹理，使用没有变化的图像数据的像素值，或者使用从图像数据提取的特征量。初始三维数据生成器222通过使用所获得的三维信息来生成初始三维表面映射数据。
相机位置/姿势估计单元223基于从显影处理单元221以时间序列提供的各条图像数据(帧数据)的像素值或特征量与时间上在前的图像数据的像素值或特征量之间的对应关系，估计相机位置/姿势(估计内窥镜11的运动)。相机位置/姿势估计单元223基于估计运动的结果来生成指示内窥镜11的运动的位置/姿势信息。
三维表面恢复单元224基于来自已经由相机位置/姿势估计单元223估计出的内窥镜11的运动的图像数据的像素值或特征量来恢复三维信息，并且更新已经由初始三维数据生成器222生成的三维表面映射数据。更新后的三维表面映射数据被存储在三维表面映射数据存储器134中。此外，三维表面恢复单元224可以读取存储在三维表面映射数据存储器134中的三维表面映射数据作为三维信息，并且可以更新三维表面映射数据。
同时定位和映射(SLAM)技术可以用于生成三维表面映射数据并且估计相机位置/姿势，如上所述。例如在Andrew J.Davison“用单个相机实时同时定位和映射(Real-TimeSimultaneous Localization and Mapping with a Single Camera)”，第9届IEEE计算机视觉国际会议论文集第2卷，2003年，第1403至1410页中描述了使用单目相机的SLAM技术的基本原理。注意，用于通过使用相机图像在视觉上估计位置的SLAM技术也被具体地称为视觉SLAM。
(感测单元和图像数据生成器的详细配置示例2)
感测单元110和图像数据生成器131还可以采用图5所示的配置。
图5的感测单元110除了图像传感器231之外还包括深度传感器232，并且将成像范围的深度数据与通过执行成像而获得的图像信号一起提供给图像数据生成器131。
图5的图像数据生成器131由显影处理单元241、三维表面恢复单元242和相机位置/姿势估计单元243配置。
显影处理单元241对从图像传感器231获得的图像信号执行显影处理，以生成图像数据。
三维表面恢复单元242通过从深度传感器232获得的深度数据获得与对象有关的三维信息来生成三维表面映射数据，或者通过在三维空间中执行对准来更新三维表面映射数据。
相机位置/姿势估计单元243将当前从深度传感器232获得的深度数据与已经由三维表面恢复单元242生成或恢复的三维表面映射数据进行比较，以估计相机位置/姿势(估计内窥镜11的运动)。
在图5的配置中，估计内窥镜11的运动，并且这导致三维表面恢复单元242搜索以在三维空间中执行对准的空间减小。
(感测单元和图像数据生成器的详细配置示例3)
感测单元110和图像数据生成器131还可以采用图6所示的配置。
图6的感测单元110被配置为立体相机，包括一对图像传感器251和252，并且将通过执行成像而获得的图像信号中的每一个提供给图像数据生成器131。
图6的图像数据生成器131由显影处理单元261、三维表面恢复单元262和相机位置/姿势估计单元263配置。
显影处理单元261对从图像传感器251获得的图像信号执行显影处理，以生成图像数据。
此外，显影处理单元261使用从图像传感器251和252获得的图像信号执行基于视差的三角测量，以生成成像范围的深度数据，并且将深度数据提供给三维表面恢复单元262和相机位置/姿势估计单元263。
三维表面恢复单元262通过根据从显影处理单元261获得的深度数据获得与对象有关的三维信息来生成三维表面映射数据，或者通过在三维空间中执行对准来更新三维表面映射数据。
相机位置/姿势估计单元263将当前从显影处理单元261获得的深度数据与已经由三维表面恢复单元262生成或恢复的三维表面映射数据进行比较，以估计相机位置/姿势(估计内窥镜11的运动)。
通过采用如上所述配置的手术辅助系统100，即使在内窥镜11已经移动的情况下，也显示写入手术视野图像的注释，使得该注释停留在最初已经写入注释的位置。
(三维信息的插入)
在手术辅助系统100中，当用户写入注释时，在三维表面映射数据具有低密度并且不存在与将叠加注释的位置(指定位置)相对应的三维信息的情况下，可以插入三维信息。
例如，通过使用与三维表面映射数据中的指定位置周围的点相对应的三维信息来估计与指定位置有关的三维信息。
此外，在手术辅助系统100具有图4的配置的情况下，通过使用由相机位置/姿势估计单元223估计的相机位置/姿势和包括多个帧并且与相机位置/姿势相对应的图像数据，根据多视图立体技术可以获得具有高密度的三维表面映射数据。在这种情况下，可以通过使用所获得的具有高密度的三维表面映射数据来估计与指定位置有关的三维信息。
(三维信息的更新)
在手术辅助系统100中，在体腔中要观察的对象移动或形状改变的情况下，可以根据要观察的对象的变化使注释的位置变化。
例如，当通过使用由三维表面恢复单元262恢复的三维信息来更新三维表面映射数据时，在特定区域的位置已经显著改变的情况下，与特定区域有关的三维信息被更新为已经恢复的最新三维信息。
此外，在三维表面映射数据中，通过将指示生成/更新时间的时间信息添加到与每个位置有关的三维信息，可以改善整个三维表面映射数据的可靠性。通过以留下具有高可靠性的最新信息的方式更新三维表面映射数据，即使在体腔中要观察的对象移动或形状改变的情况下，也可以在跟踪要观察的对象的同时显示注释。
<2.注释写入处理的流程>
接下来，参考图7和图8的流程图描述根据本实施方式的手术辅助系统100的注释写入处理的流程。
例如，当顾问医生呈现要操作的区域以辅助经验不足的外科医生时，执行图7和图8的处理。在该示例中，假设顾问医生通过使用在第一显示区域151中显示的手术视野图像呈现要操作的区域，并且外科医生在观察在第二显示区域152中显示的手术视野图像的同时执行手术。
在步骤S11中，显示控制器132基于指示用户(具体地，顾问医生)的操作的操作信息，确定是否已经选择用于使注释能够被写入的写入模式。
图9示出了在第一显示区域151和第二显示区域152中显示的手术视野图像的显示示例。
在第一显示区域151中，实时地显示由感测单元110捕获到的手术视野图像，并且在第一显示区域151的屏幕的左上部显示指示该事实的字符“实况”。注意，在第二显示区域152中没有显示任何东西。
写入模式按钮311和冻结模式按钮312显示在具有触摸面板功能的第一显示区域151的右下部。顾问医生执行操作以触摸在第一显示区域151中显示的写入模式按钮311，从而选择写入模式。
换句话说，重复步骤S11的处理，直到顾问医生执行触摸写入模式按钮311的操作。当执行触摸写入模式按钮311的操作时，处理进入步骤S12。
在步骤S12中，显示控制器132在第一显示区域151和第二显示区域152中的每一个中显示手术视野图像。
具体地，如图10所示，与第一显示区域151类似，在第二显示区域152中也实时地显示手术视野图像，并且在第二显示区域152的屏幕的左上部显示指示该事实的字符“实况”。
在步骤S13中，显示控制器132基于指示用户(顾问医生)的操作的操作信息，确定是否已经选择用于冻结(停止)第一显示区域151中的显示的冻结模式。具体地，确定顾问医生是否已经执行了触摸在第一显示区域151中显示的冻结模式按钮312的操作。
因此，在步骤S13中，当顾问医生执行触摸冻结模式按钮312的操作时，处理进入步骤S14。
在步骤S14中，显示控制器132显示作为在第一显示区域151中实时显示的手术视野图像的单个帧的静止图像而不是手术视野图像。
具体地，如图11所示，在第一显示区域151中，在手术视野图像的在执行触摸冻结模式按钮312的操作时的定时的单个帧被显示为静止图像。此外，在第一显示区域151的屏幕的左上部显示指示显示静止图像的字符“暂停”。此时，显示控制器132在执行触摸冻结模式按钮312的操作时的定时，将从图像数据生成器131获得的当前位置/姿势信息与静止图像一起保持。
相对照地，在步骤S13中，在顾问医生没有执行触摸冻结模式按钮312的操作的情况下，跳过步骤S14。
在步骤S15中，显示控制器132基于指示用户(顾问医生)的操作的操作信息，确定是否已经将注释写入在第一显示区域151中显示的手术视野图像。例如，通过顾问医生在第一显示区域151上执行跟踪要操作的区域的操作或另一操作来写入注释。
这里，在第一显示区域151中显示静止图像的情况下，接受将注释写入静止图像。相对照地，在第一显示区域151中显示实时显示的手术视野图像(运动图像)的情况下，接受将注释写入运动图像。
重复步骤S15的处理，直到已经写入注释。当写入注释时，处理进入步骤S16。
此时，响应于注释的写入，指定位置计算器133基于从图像数据生成器131获得的位置/姿势信息和存储在三维表面映射数据存储器134中的三维表面映射数据来计算指定位置。
在步骤S16中，显示控制器132确定已经写入注释的位置(指定位置)是否位于已经充分构造三维表面映射数据的区域中。
在步骤S16中，在确定已经写入注释的位置位于已经充分构造三维表面映射数据的区域中的情况下，处理进行到步骤S17。
在步骤S17中，第一叠加单元141将注释叠加到在第一显示区域151中显示的手术视野图像的指定位置上。
然后，在步骤S18中，第二叠加单元142在跟踪在第二显示区域152中显示的手术视野图像上的指定位置的同时叠加注释。
例如，在已经选择冻结模式的情况下，将注释331叠加到在第一显示区域151中显示的静止图像上的由指定位置计算器133计算出的指定位置上，如图12所示。
另一方面，在基于从图像数据生成器131获得的位置/姿势信息跟踪指定位置的同时，将与注释331类似的注释332叠加到在第二显示区域152中实时显示的手术视野图像上的指定位置上。
在图12的示例中，在第二显示区域152中显示的手术视野图像中，内窥镜11的位置和姿势从在第一显示区域151中显示静止图像的状态已经改变，并且在该图像中拍摄到的器官的位置和定向已经改变。即使在这种情况下，也在跟踪在第二显示区域152中显示的手术视野图像上的指定位置的同时显示注释332。
另外，在尚未选择冻结模式的情况下，将注释331叠加到在第一显示区域151中实时显示的手术视野图像上的由指定位置计算器133计算出的指定位置上，如图13所示。
类似地，在基于从图像数据生成器131获得的位置/姿势信息跟踪指定位置的同时，将与注释331类似的注释332叠加到在第二显示区域152中实时显示的手术视野图像上的指定位置上。
现在返回步骤S16。在确定已经写入注释的位置没有位于已经充分构造三维表面映射数据的区域中的情况下，处理进行到步骤S19。
在步骤S19中，显示控制器132在第一显示区域151中显示已经在其上叠加了注释的静止图像。
具体地，如图14所示，在已经选择冻结模式的情况下，第一叠加单元141将注释331叠加到在第一显示区域151中显示的静止图像上的指定位置上。
相对照地，在尚未选择冻结模式的情况下，显示控制器132将在写入注释时的定时的单个帧显示为静止图像，而不是在第一显示区域151中显示的手术视野图像。然后，第一叠加单元141将注释331叠加到在第一显示区域151中显示的静止图像上的指定位置上。
此时，在第一显示区域151的左上部显示指示保留了已经叠加了注释331的静止图像的字符“保存”。
另一方面，无论是否已经选择冻结模式，第二叠加单元142都不将注释叠加到在第二显示区域152中显示的手术视野图像上。
在已经写入注释的区域中尚未充分构造三维表面映射数据的情况下，可能会降低注释的跟踪精度。鉴于此，通过仅在写入注释时显示静止图像而不在实时显示的手术视野图像中反映注释，可以在不降低外科医生的可用性的情况下确保安全性。
在上述处理中，由顾问医生执行的将注释写入在第一显示区域151中显示的手术视野图像反映到在第二显示区域152中显示并且外科医生正在观看的手术视野图像中。因此，顾问医生将注释写入手术视野图像的动作不会干扰在确认手术视野图像的同时执行手术的外科医生，并且可以改善操作员之间的通信。
具体地，在冻结模式中，顾问医生可以冻结手术视野图像以便容易地写入注释，并且可以使所写入的注释反映到外科医生正在观看的手术视野图像中。换句话说，顾问医生可以在更准确的位置写入注释，并且外科医生可以在正确地理解顾问医生的指令的同时连续地观察已经反映了注释的手术视野图像。
这里，如图15所示，在第二显示区域152中显示并且外科医生正在观看的手术视野图像中，可以根据外科医生的操作来切换注释332的显示/不显示(叠加显示的开/关状态)。通过这样做，可以抑制注释332的显示本身干扰手术的进展。
此外，除了图15的示例之外，在第一显示区域151中显示的手术视野图像中，可以根据顾问医生的操作来切换注释331的叠加显示的开/关状态。
注意，在以上描述中，将已经写入在第一显示区域151中显示的手术视野图像的注释反映到在第二显示区域152中显示的手术视野图像中，但是可以设置与其相反的功能。换句话说，可以将已经写入在第二显示区域152中显示的手术视野图像的注释反映到在第一显示区域151中显示的手术视野图像中。
通过采用上述配置，例如，两个外科医生可以在执行交互通信(诸如要操作的位置的相互确认等)的同时推进手术。
<3.手术视野图像的显示模式>
这里，描述由显示控制器132在第一显示区域151和第二显示区域152中显示的手术视野图像的显示模式。
图16示出了手术视野图像的显示模式的第一示例。
在图16的示例中，第一显示区域351和第二显示区域352并排显示在单个显示装置350的屏幕上。
图17示出了手术视野图像的显示模式的第二示例。
在图17的示例中，第一显示区域351和第二显示区域352以画中画的形式显示在单个显示装置350的屏幕上。具体地，在显示装置350的整个屏幕上显示的第一显示区域351的左下部，设置比第一显示区域351小的第二显示区域352。
图18示出了手术视野图像的显示模式的第三示例。
图18的示例指示第一显示区域351和第二显示区域352被切换并显示在单个显示装置350的屏幕上的状态。
图19示出了手术视野图像的显示模式的第四示例。
如图19的示例所示，第一显示区域351和第二显示区域352可以分别显示在经由通信线路彼此连接的单独的显示装置350-1和350-2中。
通过采用图19的配置，可以在物理上彼此分离的位置设置显示装置350-1和350-2，并且这使得顾问医生能够将注释呈现给位于偏远地方的外科医生。
<4.变型>
下面描述上述实施方式的变型。
(将注释写入过去的手术视野图像)
除了将注释写入实时显示的手术视野图像或用作手术视野图像的单个规定帧的静止图像之外，还可以接受在规定时间段内将注释写入过去的手术视野图像。
图20示出了将注释写入过去的手术视野图像的示例。
在图20的示例中，与图17的示例类似，第一显示区域351和第二显示区域352以画中画的形式显示在单个显示装置350的屏幕上。
此外，在图20的示例中，例如，在第二显示区域352的右手侧显示搜索条370，并且该搜索条370使得能够指定过去的手术视野图像中的规定时间段(诸如20秒)的时间位置。搜索条370的右手端指示当前时间，并且搜索条370的左手端指示当前时间之前20秒。在搜索条370上，显示用于指定过去的手术视野图像的时间位置的滑动器371和在手术视野图像中的指定时间位置中的帧的缩略图372。
用户操作搜索条370上的滑动器371，以在手术视野图像中指定过去20秒的时间位置。通过这样做，在第一显示区域351中显示用作手术视野图像中的指定时间位置的帧的静止图像。
然后，用户将注释写入在第一显示区域351中显示的静止图像，使得该注释可以反映到在第二显示区域352中实时显示的当前手术视野图像中。
如上所述，也可以将注释写入过去的手术视野图像中。
(掩蔽显示)
在上述描述中，在已经写入注释的位置没有位于已经充分构造三维表面映射数据的区域的情况下，注释不反映到实时显示的手术视野图像中。
本公开不限于此，并且可以在尚未充分构造三维表面映射数据的区域进行掩蔽显示。
图21示出了掩蔽显示的示例。
在图21的示例中，与图17的示例类似，第一显示区域351和第二显示区域352以画中画的形式显示在显示装置350的屏幕上。在图21的示例中，假设已经选择冻结模式，并且在第一显示区域351中显示静止图像，并且在第二显示区域352中显示实时手术视野图像。
此外，已经对在第一显示区域351中显示的静止图像中拍摄到的器官的局部区域进行了掩蔽显示380。在已经进行掩蔽显示380的区域中不接受注释的写入。
通过这样做，可以抑制注释被写入尚未充分构造三维表面映射数据的区域，并且因此，可以避免注释的跟踪精度的降低。
(三维图像的预览显示)
可以显示三维图像的预览，使得例如用户可以确认由用户已经写入的注释是否已经被叠加到预期区域上。
图22示出了三维图像的预览显示的示例。
在图22的示例中，第一显示区域351显示在显示装置350的整个屏幕上。在图22的示例中，假设已经选择冻结模式，并且在第一显示区域351中显示静止图像。
此外，在图22的示例中，在显示装置350的屏幕的右手端，除了写入模式按钮311和冻结模式按钮312之外，还显示三维图像显示按钮391。
当将注释写入在第一显示区域351中显示的手术视野图像并且执行触摸三维图像显示按钮391的操作时，在第一显示区域351的左下部显示基于三维信息(三维表面映射数据)的三维图像392。
在三维图像392中，可以根据用户的操作自由地改变显示对象的定向和角度。在图22的示例中，在三维图像392中，注释已经被叠加到与在第一显示区域351中显示的静止图像的指定位置(已经写入注释的位置)相对应的位置上。
如上所述，显示已经叠加注释的三维图像392，使得用户可以容易地确认用户自身已经写入的注释是否已经叠加到预期位置上。
(写入注释的方法)
在以上描述中，通过执行触摸具有触摸面板功能的显示装置的操作来实现注释的写入(指定位置的指定)，但是可以通过使用另一方法来实现注释的写入。
例如，可以通过使用鼠标输入将在屏幕上写入注释的坐标位置，或者可以通过对在屏幕上拍摄到的由诸如钳子的手术工具指定的区域执行图像识别来获得坐标位置。
此外，可以通过使用声音来发出写入注释的指令，或者可以通过使用用户的视线或身体的定向来发出写入注释的指令。
此外，不仅通过使用用于直接指定屏幕上的坐标位置的方法来发出写入注释的指令。
例如，在发出写入指定区域的注释的指令的情况下，通过用帧E1包围癌变区域411来自动识别要指定的癌变区域411的边界，如图23的左侧部所示。然后，显示指示癌变区域411的注释412，如图23的右侧部所不。
此外，可以通过将三维表面映射数据分割为器官并且掩蔽器官中的每一个的表面来抑制注释被写入。
在根据本实施方式的手术辅助系统中，写入有注释的器官的示例包括各个内部器官、血管、肿瘤、淋巴系统、神经、脂肪组织、腹壁、出血区域、变色区域等。因此，例如也可以利用注释的写入来显示上述器官中的每一个的保持位置或穿刺部位。
(注释的显示示例)
注释可以是指示由用户在屏幕上指定的点(指定位置)的点图像或者指示用作点的集合的线的线图像。上述线的示例包括连接两个点的线段、由多个线段配置的折线、由用户绘制的曲线、闭合折线和闭合曲线。此外，注释可以是指示用闭合折线或闭合曲线包围的区域的平面图像。平面图像的示例包括指示除了器官的表面区域之外还具有体积的区域的几何图案。
如上所述，注释可以根据用途采用显示形式。
此外，通过使用三维表面映射数据(三维信息)，可以写入(叠加)指示在手术视野图像中拍摄到的器官的表面的位置和区域以及器官的深度方向的位置和区域(立体区域)的注释。三维信息与这些位置和区域中的每一个相关联，并且因此可以在不直接触摸器官的情况下虚拟地计算点之间的距离或区域的面积/体积。
例如，在图24的示例中，将连接点图像421和422的线图像以及在手术视野图像中拍摄到的器官的表面的平面图像423作为注释叠加到手术视野图像上。在图24的示例中，点图像421与点图像422之间的距离被计算为42mm，并且平面图像423的面积被计算为200mm2。
注意，可以将包围平面图像423以与平面图像423的边界间隔开规定距离(例如，12mm)的闭合曲线424作为注释叠加到手术视野图像上，如图24所示。
此外，在图25的示例中，将在手术视野图像中拍摄到的器官的表面的区域431的深度方向上具有体积的立体图像432以及区域431上的点图像433作为注释叠加到手术视野图像上。在图25的示例中，立体图像432的体积被计算为32526mm3，并且点图像433与立体图像432之间的距离被计算为25mm。
此外，通过根据距内窥镜11的观察光学系统的距离来改变点图像或平面图像的颜色或浓度，可以对作为注释显示的点图像或平面图像给予透视，使得用户可以直观地掌握注释的三维位置。
此外，以上已经描述了单个用户(例如，顾问医生)将注释写入在单个显示区域(第一显示区域151)中显示的手术视野图像的示例。本公开不限于此，并且多个顾问医生可以将注释写入在单个显示区域中显示的手术视野图像。此外，可以针对多个顾问医生中的每一个设置显示区域，并且多个顾问医生中的每一个可以将注释写入在多个显示区域中的每一个中显示的手术视野图像。
在这种情况下，例如，可以通过根据已经写入注释的多个顾问医生中的每一个(已经指定手术视野图像上的指定位置的每个用户)改变颜色或形状来叠加具有彼此不同的显示形式的注释。例如，如图26所示，用实线显示已经由第一顾问医生写入的注释331-1，并且用虚线显示已经由第二顾问医生写入的注释331-2。
通过这样做，可以辨别谁已经写入已经叠加到手术视野图像上的注释。
此外，在上述示例中，从由多个用户写入的注释中，可以重置(删除)由指定用户写入的注释。
此外，可以将已经通过另一种方式(拍摄医疗图像的装置，诸如计算机断层扫描(CT)装置或磁共振成像(MRI)装置)获得的图像或三维信息叠加到手术视野图像上。通过这样做，可以像注释被写入器官内部那样显示注释。
另外，通过在作为注释的写入的开始点的位置中显示与区域有关的各种类型的信息，当用户自身或其他用户在稍后时间确认该区域时，有用信息可以被呈现给用户自身或其他用户，或者可以引起用户自身或其他用户的注意。
(将注释写入记录的手术视野图像)
在以上描述中，注释被写入由感测单元110捕获并且实时显示的手术视野图像。本公开不限于此，并且可以记录由感测单元110捕获到的手术视野图像，并且可以将注释写入记录的手术视野图像。上述形式可以用于医疗教育场所等。
(绝对三维信息的获得)
在该实施方式中，基于在运动估计中获得的相机位置/姿势来获得相对三维信息。然而，可以获得使用要观察的患者的体腔外部作为参考的绝对三维信息。具体地，在内窥镜11中设置具有图像识别功能并且包括患者的体腔外部的参考坐标系的光学和磁跟踪系统，并且通过使用该坐标系作为参考来获得绝对三维信息。这使得能够呈现注释的绝对三维位置。
(机器学习的利用)
近年来，通过使用AI(诸如机器学习或深度学习)已经能够自动检测肿瘤等，并且以上检测的结果可以用作注释。通过这样做，可以在手术视野图像的特定帧中已经检测到的肿瘤的位置或区域中继续叠加并显示注释。同样在这种情况下，通过使注释的叠加显示的开/关状态能够被切换，可以抑制注释的显示本身妨碍手术的进展。
<5.应用>
接下来，参考图27，使用包括臂的用于手术的视频显微镜设备的情况的示例被描述为根据本实施方式的手术辅助系统的另一应用。
图27示出了使用用于手术的视频显微镜设备的显微镜手术系统的示例，该用于手术的视频显微镜设备用作观察患者身体的内部的用于观察的医疗设备。
图27示出了用作操作员(用户)520的医生通过使用诸如手术刀、镊子或钳子的用于手术的工具521对手术台530上的要操作的对象(患者)540执行手术的状态。
注意，在以下描述中，假设操作是由用作用户520的医生对用作要操作的对象540的患者执行的各种类型的医学治疗(诸如手术和检查)的一般术语。此外，图27的示例将手术的状态指示为操作的示例。然而，使用用于手术的视频显微镜设备510的操作不限于手术，并且可以是各种其他操作。
在手术台530的侧面，设置根据本实施方式的用于手术的视频显微镜设备510。
用于手术的视频显微镜设备510包括用作基座的基座单元511、从基座单元511延伸的臂单元512以及作为端部单元连接到臂单元512的端部的成像单元515。
臂单元512包括多个关节单元513a、513b和513c、通过关节单元513a和513b耦接的多个连杆514a和514b以及设置在臂单元512的端部的成像单元515。
在图27的示例中，为了简化，臂单元512包括三个关节单元513a至513c和两个连杆514a和514b。实际上，考虑到臂单元512和成像单元515的位置和姿势的自由度、关节单元513a至513c和连杆514a和514b的数量和形状、关节单元513a至513c的驱动轴的方向等可以适当地设定，从而实现期望的自由度。
关节单元513a至513c具有使连杆514a和514b彼此可旋转地耦接的功能，并且驱动关节单元513a至513c的旋转，从而控制臂单元512的驱动。
成像单元515作为端部单元连接到臂单元512的端部。
成像单元515是通过包括捕获对象的光学图像的光学系统来捕获要成像的对象的图像的单元，并且成像单元515例如被配置为是能够捕获运动图像和静止图像等的相机。如图27所示，臂单元512和成像单元515的姿势和位置由用于手术的视频显微镜设备510控制，使得设置在臂单元512的端部处的成像单元515对要操作的对象540的要操作的区域的状态进行成像。
注意，作为端部单元连接到臂单元512的端部的成像单元515的配置不受特别限制，并且成像单元515例如可以被配置为内窥镜或显微镜。此外，成像单元515可以被配置为可附接到臂单元512或可从臂单元512拆卸。
通过采用上述配置，例如，根据用途的成像单元515可以作为端部单元适当地连接到臂单元512的端部。注意，这里集中于采用成像单元515作为端部单元的情况进行描述，但是不言而喻，连接到臂单元512的端部的端部单元不限于成像单元515。
此外，诸如监视器或显示器的显示装置550设置在面向用户520的位置。例如，结合到用于手术的视频显微镜设备510中或外部附接到用于手术的视频显微镜设备510的图像处理装置对已经由成像单元515捕获的要操作的区域的图像执行各种类型的图像处理，并且将该图像作为电子图像显示在显示装置550的显示屏幕上。
通过采用上述配置，用户520可以在观看在显示装置550的显示屏幕上显示的要操作的区域的电子图像的同时执行各种类型的处理(诸如手术)。
这里，在图27的示例中，成像单元515包括例如参考图3描述的感测单元110。此外，对已经由成像单元515捕获的要操作的区域的图像执行各种类型的图像处理的图像处理装置与参考图3描述的信息处理装置130的示例相对应。类似地，显示装置550与参考图3描述的显示装置150的示例相对应。
<6.硬件配置>
接下来，参考图28详细描述配置根据本实施方式的手术辅助系统的信息处理装置的硬件配置的示例。
图28是示出配置根据本实施方式的手术辅助系统的信息处理装置900的硬件配置的示例的框图。
如图28所示，信息处理装置900包括CPU 901、ROM 903和RAM 905。此外，信息处理装置900包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917和存储装置919。注意，信息处理装置900可以包括驱动器921、连接端口923和通信装置925。
CPU 901用作算术处理装置和控制器，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序控制信息处理装置900中的操作的整体或部分。
ROM 903存储由CPU 901使用的程序、操作参数等。RAM 905暂时存储要由CPU 901使用的程序、在程序的执行中适当改变的参数等。ROM 903和RAM 905通过由诸如CPU总线的内部总线配置的主机总线907彼此连接。注意，已经参考图3描述的信息处理装置130的相应配置例如由CPU 901实现。
主机总线907经由桥接器909连接到外部总线911，诸如外围组件互连/接口(PCI)总线。输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接到外部总线911。
输入装置915是由用户操作的操作单元，诸如鼠标、键盘、触摸面板、按钮、开关、操纵杆或踏板。此外，输入装置915可以例如是使用红外线或其他无线电波的远程控制单元(被称为遥控器)，或者可以是与在信息处理装置900上执行的操作相对应的外部连接设备929，诸如移动电话或PDA。
输入装置915例如由输入控制电路等配置，该输入控制电路等基于用户使用上述操作单元输入的信息生成输入信号并且将该输入信号输出到CPU 901。
用户操作输入装置915，以便能够将各种类型的数据输入到信息处理装置900或者向信息处理装置900发出执行处理操作的指令。
输出装置917由能够视觉地或听觉地将所获得的信息报告给用户的装置配置。具体地，输出装置917被配置为CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置、诸如灯的显示装置、诸如扬声器或耳机的声音输出装置、打印机装置等。
输出装置917例如输出由执行各种类型的处理的信息处理装置900获得的结果。具体地，显示装置以文本或图像的形式显示由执行各种类型的处理的信息处理装置900获得的结果。另一方面，声音输出装置将由再现的声音数据、声学数据等配置的音频信号转换为模拟信号，并且输出该模拟信号。注意，参考图3描述的显示装置150例如由输出装置917实现。
存储装置919是被配置为信息处理装置900的存储的示例的用于数据存储的装置。存储装置919例如由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等配置。存储装置919存储要由CPU 901执行的程序、各种类型的数据等。
驱动器921是用于记录介质的读取器/写入器，并且被结合到信息处理装置900中或被外部附接到信息处理装置900。驱动器921读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的附接的可移动记录介质927中的信息，并且将该信息输出到RAM 905。此外，驱动器921可以将记录写入诸如磁盘、光盘、磁光盘或半导体存储器的附接的可移动记录介质927。
可移动记录介质927例如是DVD介质、HD-DVD介质、蓝光(注册商标)介质等。此外，可移动记录介质927可以是CompactFlash(注册商标)(CF)、闪存、安全数字(SD)存储卡等。此外，可移动记录介质927可以例如是安装有非接触式IC芯片的集成电路(IC)卡、电子设备等。
连接端口923是将外部连接设备929直接连接到信息处理装置900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。连接端口923的其他示例包括RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI)(注册商标)端口等。通过将外部连接设备929连接到连接端口923，信息处理装置900直接从外部连接设备929获得各种类型的数据，或者将各种类型的数据提供给外部连接设备929。
通信装置925例如是由通信装置配置的用于与通信网络(网络)931等连接的通信接口。通信装置925例如是有线或无线局域网(LAN)、蓝牙(注册商标)、用于无线USB(WUSB)的通信卡等。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。
例如，通信装置925可以根据诸如TCP/IP的规定协议将信号发送到例如因特网或其他通信设备/从例如因特网或其他通信设备接收信号。此外，连接到通信装置925的通信网络931可以由通过有线或无线连接的网络等配置。通信网络931可以例如是因特网或室内LAN，或者可以是其中执行红外通信、无线电波通信或卫星通信的通信网络。
信息处理装置900的上述组件中的每一个可以使用通用部件配置，或者可以由专用于组件中的每一个的功能的硬件配置。因此，可以根据实现本实施方式时的技术水平适当地改变要使用的硬件配置。
此外，可以生成用于实现配置根据本实施方式的手术辅助系统的信息处理装置900的功能中的每一个的计算机程序，并且该计算机程序可以安装在个人计算机等上。此外，还可以设置存储上述计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，可以例如经由网络而不使用记录介质来分发计算机程序。
<7.总结>
如上所述，在根据本公开的实施方式的手术辅助系统中，注释被叠加到在第一显示区域中显示的手术视野图像上的已经由用户指定的指定位置上。然后，在跟踪在第二显示区域中实时显示的手术视野图像上的指定位置的同时叠加注释。
通过这样做，已经由顾问医生执行的将注释写入在第一显示区域中显示的手术视野图像反映到在第二显示区域中显示并且外科医生正在观看的手术视野图像中。
在现有技术中，内窥镜手术或使用显微镜的手术是经由屏幕的手术，并且因此难以在操作员之间口头地传达与技术有关的详细指令。
鉴于此，通过采用根据本公开的另一实施方式的手术辅助系统，使用注释的虚拟标记使得处于领导位置的顾问医生、外科医生、助手和护理人员能够彼此协作。
此外，通过采用根据本公开的又一实施方式的手术辅助系统，可以将标记放置在手术视野图像上用于教育目的，或者可以在稍后时间将标记放置在记录的手术视野图像上。
在上述虚拟标记中，侵入性标记不直接放置在器官上，或者不使用钳子等发出指令，并且因此不会损坏器官。此外，当建立手术计划时，可以在放置标记的同时确定策略，或者在标记是不必要的情况下，可以放置新的标记。
注意，本公开的实施方式不限于上述实施方式，并且可以在不脱离本公开的范围的情况下进行各种修改。
例如，本公开可以采用云计算的配置，其中，多个装置通过经由网络共享单个功能彼此协作地执行处理。
此外，以上参考流程图描述的相应步骤的处理可以由单个装置执行，或者可以由多个装置共享并执行。
此外，在单个步骤包括多个处理的情况下，包括在单个步骤中的多个处理可以由单个装置执行，或者可以由多个装置共享并执行。
此外，本公开可以采用以下描述的配置。
(1)
一种手术辅助设备，包括：
电路，被配置为
生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的手术视野中与手术对象的身体区域相对应的预定区域上的第一视觉注释图像，并且
生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。
(2)
根据(1)的手术辅助设备，其中，电路进一步被配置为：
生成指示手术对象的三维结构的三维信息；
估计捕获手术对象的第二手术视野图像的成像器的位置；并且
通过基于成像器的所估计的运动和所生成的三维信息，将第二视觉注释图像叠加在手术对象的三维结构的与所估计的区域相对应并且被估计为与手术对象的身体区域相对应的部分上来生成第二图像。
(3)
根据(2)的手术辅助设备，其中：
所生成的手术对象的三维信息包括指示对应三维信息的生成/更新时间的时间信息。
(4)
根据(1)的手术辅助设备，其中：
第一视觉注释图像由输入装置输入，该输入装置被配置为由第一用户使用以在第一显示区域上输入第一视觉注释图像而不会使第二用户的第二显示区域的视野模糊。
(5)
根据(4)的手术辅助设备，其中：
用于输入第一视觉注释图像的输入装置被配置为由第一用户使用以将手术对象的身体区域识别为要对手术对象执行的手术动作的目标；并且
第二显示区域中的第二视觉注释图像被配置为由第二用户使用以控制对手术对象的身体区域执行手术动作。
(6)
根据(1)的手术辅助设备，其中：
第一显示区域显示在第一显示装置上；并且
第二显示区域显示在第二显示装置上。
(7)
根据(1)的手术辅助设备，其中：
第一显示区域显示在显示器的第一窗口区域中；并且
第二显示区域显示在显示器的第二窗口区域中。
(8)
根据(2)的手术辅助设备，其中：
成像器包括在内窥镜中，该内窥镜捕获第二手术视野图像作为手术对象的内部的运动图像。
(9)
根据(8)的手术辅助设备，其中，电路进一步被配置为：
根据从用户接口装置输入的冻结模式，生成第一图像作为从手术对象的内部的运动图像获得的静止图像；并且
根据从用户接口装置输入的写入模式，接收将第一视觉注释图像与手术对象的身体区域相关联的信息。
(10)
根据(2)的手术辅助设备，其中，电路进一步被配置为在成像器的运动或手术对象的身体区域的运动期间更新第二图像以保持叠加在第二手术视野图像的估计区域上的第二视觉注释与对象的身体区域之间的对应性。
(11)
根据(1)的手术辅助设备，其中，电路包括可编程处理器。
(12)
根据(1)的手术辅助设备，其中，第二手术视野图像包括实时指示手术对象的运动的手术对象的运动图像。
(13)
根据(12)的手术辅助设备，其中，电路进一步被配置为从手术对象的运动图像获得第一手术视野图像。
(14)
根据(1)的手术辅助设备，其中，电路进一步被配置为从使用第一显示区域操作的输入装置接收关于第一视觉注释图像的信息。
(15)
根据(1)的手术辅助设备，其中，第二手术视野图像是指示至少手术对象的运动的运动图像，并且第二视觉注释图像随着至少手术对象的运动而运动以保持第二手术视野图像的估计区域与手术对象的身体区域之间的对应性。
(16)
根据(2)的手术辅助设备，其中，电路进一步被配置为：
基于所生成的三维信息生成包括第二手术视野图像的深度方向的位置的指示的第二视觉注释图像。
(17)
根据(2)的手术辅助设备，其中，电路进一步被配置为：
在第一图像的尚未充分构造所生成的三维信息的区域上进行掩蔽显示。
(18)
根据(17)的手术辅助设备，其中，电路进一步被配置为：
在第二手术视野图像的与手术对象的身体区域相对应的估计区域包括第一图像的尚未充分构造所生成的三维信息的区域的情况下，生成第二图像而不叠加第二视觉注释图像的至少一部分。
(19)
根据(18)的手术辅助设备，其中，电路进一步被配置为：
在第二手术视野图像的与手术对象的身体区域相对应的估计区域包括第一图像的尚未充分构造所生成的三维信息的区域的情况下，第一图像被显示为静止图像而不是运动图像。
(20)
一种手术方法，包括：
生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的与手术对象的身体区域相对应的预定区域上的第一视觉注释；并且
生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。
(21)
一种存储有指令的非暂时性计算机可读介质，当由计算机执行时，该指令使计算机执行以下步骤，该步骤包括：
生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的与手术对象的身体区域相对应的预定区域上的第一视觉注释；并且
生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像。
(22)
一种手术辅助系统，包括：
内窥镜，包括捕获手术对象的第二手术视野图像的成像器；
电路，被配置为
生成第一图像，该第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在第一手术视野图像的与手术对象的身体区域相对应的预定区域上的第一视觉注释图像，并且
生成第二图像，该第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在第二手术视野图像的与手术对象的身体区域相对应的估计区域上的第二视觉注释图像；以及
手术工具，基于第二图像中的第二视觉注释图像，在医护人员的控制下在手术对象内部移动以对手术对象执行手术治疗。
(31)
一种手术辅助系统，包括：
显示控制器，执行控制以在两个或多个显示区域中显示手术视野图像；
第一叠加单元，将视觉信息叠加到在两个或多个显示区域的第一显示区域中显示的手术视野图像上的由用户指定的指定位置上；以及
第二叠加单元，在跟踪在与第一显示区域不同的第二显示区域中实时显示的手术视野图像上的指定位置的同时叠加视觉信息。
(32)
根据(31)的手术辅助系统，其中，
显示控制器基于用户的指令显示静止图像而不是在第一显示区域中实时显示的手术视野图像，该静止图像是手术视野图像的单个规定帧，并且
第一叠加单元将视觉信息叠加到在第一显示区域中显示的静止图像上的由用户指定的指定位置上。
(33)
根据(31)的手术辅助系统，其中，
第一叠加单元将视觉信息叠加到在第一显示区域中实时显示的手术视野图像上的由用户指定的指定位置上。
(34)
根据(31)的手术辅助系统，其中，
显示控制器在第一显示区域中显示过去的规定时间段的手术视野图像，并且
第一叠加单元将视觉信息叠加到在第一显示区域中显示的过去的手术视野图像上的由用户指定的指定位置上。
(35)
根据(31)至(34)中任一项的手术辅助系统，其中，
显示控制器在单个显示装置上并排显示第一显示区域和第二显示区域。
(36)
根据(31)至(34)中任一项的手术辅助系统，其中，
显示控制器在单个显示装置上以画中画的形式显示第一显示区域和第二显示区域。
(37)
根据(31)至(34)中任一项的手术辅助系统，其中，
显示控制器在单个显示装置上切换并显示第一显示区域和第二显示区域。
(38)
根据(31)至(34)中任一项的手术辅助系统，其中，
显示控制器在分开的显示装置上显示第一显示区域和第二显示区域。
(39)
根据(31)至(38)中任一项的手术辅助系统，其中，
显示控制器基于用户的指令来切换已经叠加到至少在第二显示区域中显示的手术视野图像上的视觉信息的显示和不显示。
(40)
根据(31)至(39)中任一项的手术辅助系统，其中，
第一叠加单元和第二叠加单元以根据已经在手术视野图像上指定了指定位置的用户而不同的显示形式叠加视觉信息。
(41)
根据(31)至(40)中任一项的手术辅助系统，其中，
第一叠加单元和第二叠加单元根据用户的操作叠加点图像、线图像和平面图像中的至少一个作为视觉信息。
(42)
根据(41)的手术辅助系统，其中，
第一叠加单元和第二叠加单元基于已经针对手术视野图像构造的三维信息，叠加指示手术视野图像的深度方向的位置的视觉信息。
(43)
根据(31)至(42)中任一项的手术辅助系统，其中，
显示控制器在第一显示区域中显示的手术视野图像中的尚未充分构造三维信息的区域上进行掩蔽显示。
(44)
根据(31)至(42)中任一项的手术辅助系统，其中，
在用户指定在第一显示区域中显示的手术视野图像上的指定位置的情况下，显示控制器显示视觉信息已经叠加到与手术视野图像上的指定位置相对应的位置上的三维图像的预览。
(45)
根据(31)至(42)中任一项的手术辅助系统，其中，
在第一显示区域中显示的手术视野图像中的尚未充分构造三维信息的区域上指定了指定位置的情况下，第二叠加单元不将视觉信息、叠加到在第二显示区域中显示的静止图像上。
(46)
根据(45)的手术辅助系统，其中，
在第一显示区域中显示的手术视野图像中的尚未充分构造三维信息的区域上指定了指定位置的情况下，
显示控制器显示用作手术视野图像的单个规定帧的静止图像而不是在第一显示区域中实时显示的手术视野图像，并且
第一叠加单元将视觉信息叠加到在第一显示区域中显示的静止图像上的由用户指定的指定位置上。
(47)
根据(31)至(46)中任一项的手术辅助系统，其中，
手术视野图像是由观察患者身体的内部的用于观察的医疗设备捕获到的图像。
(48)
根据(47)的手术辅助系统，其中，
用于观察的医疗设备是通过使用患者身体的内部作为对象来捕获图像的内窥镜。
(49)
根据(47)的手术辅助系统，其中，
用于观察的医疗设备是包括捕获对象的光学图像的光学系统的显微镜。
(50)
一种由手术辅助系统执行的显示方法，该显示方法包括：
执行控制以在两个或多个显示区域中显示手术视野图像；
将视觉信息叠加到在两个或多个显示区域的第一显示区域中显示的手术视野图像上的由用户指定的指定位置上；并且
在跟踪在与第一显示区域不同的第二显示区域中实时显示的手术视野图像上的指定位置的同时叠加视觉信息。
参考标记列表
1 手术辅助系统
11 内窥镜
13 CCU
15 显示装置
100 手术辅助系统
110 感测单元
130 信息处理装置
131 图像数据生成器
132 显示控制器
133 指定位置计算器
134 三维表面映射数据存储器
141 第一叠加单元
142 第二叠加单元
150 显示装置
151 第一显示区域
152 第二显示区域。

Claims (22)

1.一种手术辅助设备，包括：
电路，被配置为
生成第一图像，所述第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在所述第一手术视野图像的手术视野中与所述手术对象的身体区域相对应的预定区域上的第一视觉注释图像，并且
生成第二图像，所述第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在所述第二手术视野图像的与所述手术对象的所述身体区域相对应的估计区域上的第二视觉注释图像。
2.根据权利要求1所述的手术辅助设备，其中，所述电路进一步被配置为：
生成指示所述手术对象的三维结构的三维信息；
估计捕获所述手术对象的所述第二手术视野图像的成像器的位置；并且
通过基于所述成像器的所估计的运动和所生成的三维信息，将所述第二视觉注释图像叠加在所述手术对象的所述三维结构的与所述估计区域相对应并且被估计为与所述手术对象的所述身体区域相对应的部分上来生成所述第二图像。
3.根据权利要求2所述的手术辅助设备，其中：
所生成的所述手术对象的三维信息包括指示对应三维信息的生成/更新时间的时间信息。
4.根据权利要求1所述的手术辅助设备，其中：
所述第一视觉注释图像由输入装置输入，所述输入装置被配置为由第一用户使用以在所述第一显示区域上输入所述第一视觉注释图像而不会使第二用户的所述第二显示区域的视野模糊。
5.根据权利要求4所述的手术辅助设备，其中：
用于输入所述第一视觉注释图像的所述输入装置被配置为由所述第一用户使用以将所述手术对象的所述身体区域识别为要对所述手术对象执行的手术动作的目标；并且
所述第二显示区域中的所述第二视觉注释图像被配置为由所述第二用户使用以控制对所述手术对象的所述身体区域执行所述手术动作。
6.根据权利要求1所述的手术辅助设备，其中：
所述第一显示区域显示在第一显示装置上；并且
所述第二显示区域显示在第二显示装置上。
7.根据权利要求1所述的手术辅助设备，其中：
所述第一显示区域显示在显示器的第一窗口区域中；并且
所述第二显示区域显示在所述显示器的第二窗口区域中。
8.根据权利要求2所述的手术辅助设备，其中：
所述成像器包括在内窥镜中，所述内窥镜捕获所述第二手术视野图像作为所述手术对象的内部的运动图像。
9.根据权利要求8所述的手术辅助设备，其中，所述电路进一步被配置为：
根据从用户接口装置输入的冻结模式，生成所述第一图像作为从所述手术对象的内部的所述运动图像获得的静止图像；并且
根据从所述用户接口装置输入的写入模式，接收将所述第一视觉注释图像与所述手术对象的所述身体区域相关联的信息。
10.根据权利要求2所述的手术辅助设备，其中，所述电路进一步被配置为在所述成像器的运动或所述手术对象的所述身体区域的运动期间更新所述第二图像以保持叠加在所述第二手术视野图像的所述估计区域上的第二视觉注释与对象的所述身体区域之间的对应性。
11.根据权利要求1所述的手术辅助设备，其中，所述电路包括可编程处理器。
12.根据权利要求1所述的手术辅助设备，其中，所述第二手术视野图像包括实时指示所述手术对象的运动的所述手术对象的运动图像。
13.根据权利要求12所述的手术辅助设备，其中，所述电路进一步被配置为从所述手术对象的所述运动图像获得所述第一手术视野图像。
14.根据权利要求1所述的手术辅助设备，其中，所述电路进一步被配置为从使用所述第一显示区域操作的输入装置接收关于所述第一视觉注释图像的信息。
15.根据权利要求1所述的手术辅助设备，其中，所述第二手术视野图像是指示至少所述手术对象的运动的运动图像，并且所述第二视觉注释图像随着至少所述手术对象的运动而运动以保持所述第二手术视野图像的所述估计区域与所述手术对象的所述身体区域之间的对应性。
16.根据权利要求2所述的手术辅助设备，其中，所述电路进一步被配置为：
基于所生成的三维信息生成包括所述第二手术视野图像的深度方向的位置的指示的所述第二视觉注释图像。
17.根据权利要求2所述的手术辅助设备，其中，所述电路进一步被配置为：
在所述第一图像的尚未充分构造所生成的三维信息的区域上进行掩蔽显示。
18.根据权利要求17所述的手术辅助设备，其中，所述电路进一步被配置为：
在所述第二手术视野图像的与所述手术对象的所述身体区域相对应的所述估计区域包括所述第一图像的尚未充分构造所生成的三维信息的区域的情况下，生成所述第二图像而不叠加所述第二视觉注释图像的至少一部分。
19.根据权利要求18所述的手术辅助设备，其中，所述电路进一步被配置为：
在所述第二手术视野图像的与所述手术对象的所述身体区域相对应的所述估计区域包括所述第一图像的尚未充分构造所生成的三维信息的区域的情况下，所述第一图像被显示为静止图像而不是运动图像。
20.一种手术方法，包括：
生成第一图像，所述第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在所述第一手术视野图像的与所述手术对象的身体区域相对应的预定区域上的第一视觉注释；并且
生成第二图像，所述第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在所述第二手术视野图像的与所述手术对象的所述身体区域相对应的估计区域上的第二视觉注释图像。
21.一种存储有指令的非暂时性计算机可读介质，当由计算机执行时，所述指令使所述计算机执行以下步骤，所述步骤包括：
生成第一图像，所述第一图像将显示在第一显示区域中并且包括手术对象的第一手术视野图像和叠加在所述第一手术视野图像的与所述手术对象的身体区域相对应的预定区域上的第一视觉注释；并且
生成第二图像，所述第二图像将显示在第二显示区域中并且包括第二手术视野图像和叠加在所述第二手术视野图像的与所述手术对象的所述身体区域相对应的估计区域上的第二视觉注释图像。
22.一种手术辅助系统，包括：
内窥镜，包括捕获手术对象的第二手术视野图像的成像器；
电路，被配置为
生成第一图像，所述第一图像将显示在第一显示区域中并且包括所述手术对象的第一手术视野图像和叠加在所述第一手术视野图像的与所述手术对象的身体区域相对应的预定区域上的第一视觉注释图像，并且
生成第二图像，所述第二图像将显示在第二显示区域中并且包括所述第二手术视野图像和叠加在所述第二手术视野图像的与所述手术对象的所述身体区域相对应的估计区域上的第二视觉注释图像；以及
手术工具，基于所述第二图像中的所述第二视觉注释图像，在医护人员的控制下在所述手术对象内部移动以对所述手术对象执行手术治疗。
CN201980018841.6A 2018-03-20 2019-03-12 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统 Pending CN111867438A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-052776 2018-03-20
JP2018052776A JP2019162339A (ja) 2018-03-20 2018-03-20 手術支援システムおよび表示方法
PCT/JP2019/009863 WO2019181632A1 (en) 2018-03-20 2019-03-12 Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system

Publications (1)

Publication Number Publication Date
CN111867438A true CN111867438A (zh) 2020-10-30

Family

ID=66001278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980018841.6A Pending CN111867438A (zh) 2018-03-20 2019-03-12 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统

Country Status (5)

Country Link
US (1) US20210015343A1 (zh)
EP (1) EP3768140A1 (zh)
JP (1) JP2019162339A (zh)
CN (1) CN111867438A (zh)
WO (1) WO2019181632A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195877A1 (ja) * 2019-03-25 2020-10-01 ソニー株式会社 医療システム、信号処理装置、及び、信号処理方法
US11544843B2 (en) * 2019-04-26 2023-01-03 California Institute Of Technology Tracking biological objects over time and space
WO2021152784A1 (ja) * 2020-01-30 2021-08-05 株式会社インキュビット 手術支援システム
US11189375B1 (en) * 2020-05-27 2021-11-30 GE Precision Healthcare LLC Methods and systems for a medical image annotation tool
JP7031925B1 (ja) * 2020-07-30 2022-03-08 アナウト株式会社 コンピュータプログラム、手術支援装置、及び情報処理方法
JP2022040570A (ja) * 2020-08-31 2022-03-11 グローリー株式会社 画像処理装置、画像処理システム、アノテーション付与方法、学習済みモデルの製造方法、学習済みモデル、およびプログラム
US20220104887A1 (en) * 2020-10-06 2022-04-07 Asensus Surgical Us, Inc. Surgical record creation using computer recognition of surgical events
US20220354613A1 (en) * 2021-02-23 2022-11-10 Asensus Surgical Us, Inc. Creating Surgical Annotations Using Anatomy Identification
US12035880B2 (en) * 2021-11-17 2024-07-16 Cilag Gmbh International Surgical visualization system with field of view windowing
JPWO2023145503A1 (zh) * 2022-01-31 2023-08-03
WO2023152830A1 (ja) * 2022-02-09 2023-08-17 リバーフィールド株式会社 支援システム、支援装置、被支援装置
JP7401157B1 (ja) * 2022-02-09 2023-12-19 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2024047696A1 (ja) * 2022-08-29 2024-03-07 株式会社endov 情報処理システム、情報処理方法及びプログラム
WO2024090228A1 (ja) * 2022-10-26 2024-05-02 伊知朗 竹政 情報処理装置、情報処理システム及び情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08107875A (ja) * 1994-08-18 1996-04-30 Olympus Optical Co Ltd 内視鏡形状検出装置
US20100317965A1 (en) * 2009-06-16 2010-12-16 Intuitive Surgical, Inc. Virtual measurement tool for minimally invasive surgery
CN102274039A (zh) * 2004-09-30 2011-12-14 安科锐公司 移动目标的动态追踪
CN102629376A (zh) * 2011-02-11 2012-08-08 微软公司 图像配准
CN102821671A (zh) * 2010-03-31 2012-12-12 富士胶片株式会社 内窥镜观察支持系统、方法、设备和程序
US20140303435A1 (en) * 2012-10-18 2014-10-09 Olympus Medical Systems Corp. Image processing apparatus and image processing method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10192A (ja) * 1996-04-15 1998-01-06 Olympus Optical Co Ltd 超音波画像診断装置
JP4698966B2 (ja) * 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
US8096949B2 (en) * 2008-07-02 2012-01-17 U-Systems, Inc. User interface for ultrasound mammographic imaging
JP2013017638A (ja) * 2011-07-11 2013-01-31 Olympus Corp 画像処理装置、内視鏡装置及びプログラム
US20130211232A1 (en) * 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
JP5629023B2 (ja) 2012-05-30 2014-11-19 オリンパスメディカルシステムズ株式会社 医療用３次元観察装置
DE102014102425B4 (de) * 2014-02-25 2018-06-28 Carl Zeiss Meditec Ag Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
US20150269229A1 (en) * 2014-03-18 2015-09-24 Nurep, Inc. Virtual Pointer and Annotations Through Real Time Communications
US10169535B2 (en) * 2015-01-16 2019-01-01 The University Of Maryland, Baltimore County Annotation of endoscopic video using gesture and voice commands
US9516255B2 (en) * 2015-01-21 2016-12-06 Microsoft Technology Licensing, Llc Communication system
US10646199B2 (en) * 2015-10-19 2020-05-12 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08107875A (ja) * 1994-08-18 1996-04-30 Olympus Optical Co Ltd 内視鏡形状検出装置
CN102274039A (zh) * 2004-09-30 2011-12-14 安科锐公司 移动目标的动态追踪
US20100317965A1 (en) * 2009-06-16 2010-12-16 Intuitive Surgical, Inc. Virtual measurement tool for minimally invasive surgery
CN102821671A (zh) * 2010-03-31 2012-12-12 富士胶片株式会社 内窥镜观察支持系统、方法、设备和程序
CN102629376A (zh) * 2011-02-11 2012-08-08 微软公司 图像配准
US20140303435A1 (en) * 2012-10-18 2014-10-09 Olympus Medical Systems Corp. Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2019162339A (ja) 2019-09-26
US20210015343A1 (en) 2021-01-21
EP3768140A1 (en) 2021-01-27
WO2019181632A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US11583349B2 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
JP2019517291A (ja) 内視鏡画像及び超音波画像の画像ベースの融合
KR20140112207A (ko) 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US20210315637A1 (en) Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium
KR20160086629A (ko) 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
KR20140139840A (ko) 디스플레이 장치 및 그 제어방법
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
US20200113636A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
US11779412B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
US20220215539A1 (en) Composite medical imaging systems and methods
US11793402B2 (en) System and method for generating a three-dimensional model of a surgical site
US20210298848A1 (en) Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system
JP2002253480A (ja) 医療処置補助装置
US20220225860A1 (en) Medical imaging system, medical imaging processing method, and medical information processing apparatus
CN118215936A (zh) 用于腹腔镜和视频辅助手术的交互式增强现实系统
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
US20210298854A1 (en) Robotically-assisted surgical device, robotically-assisted surgical method, and system
US11850004B2 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information
US20230230263A1 (en) Two-dimensional image registration
WO2023018685A1 (en) Systems and methods for a differentiated interaction environment
JP2024131034A (ja) 医療支援装置、医療支援装置の作動方法及び作動プログラム
WO2023161848A1 (en) Three-dimensional reconstruction of an instrument and procedure site
CN118475309A (zh) 三维模型重建

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination