CN113993478A - 医疗工具控制系统、控制器和非暂时性计算机可读存储器 - Google Patents

医疗工具控制系统、控制器和非暂时性计算机可读存储器 Download PDF

Info

Publication number
CN113993478A
CN113993478A CN202080045194.0A CN202080045194A CN113993478A CN 113993478 A CN113993478 A CN 113993478A CN 202080045194 A CN202080045194 A CN 202080045194A CN 113993478 A CN113993478 A CN 113993478A
Authority
CN
China
Prior art keywords
medical
surgical manipulator
mode
control mode
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045194.0A
Other languages
English (en)
Inventor
户松景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113993478A publication Critical patent/CN113993478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B17/3209Incision instruments
    • A61B17/3211Surgical scalpels, knives; Accessories therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/258User interfaces for surgical systems providing specific settings for specific users
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3612Image-producing devices, e.g. surgical cameras with images taken automatically
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)

Abstract

一种医疗工具控制系统包括可拆卸地夹持医疗工具的医疗手术机械手。该系统还包括电路,该电路被配置为从外部装置接收输入信号,对输入信号的内容进行评估以便确定从医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,第一控制模式和第二控制模式具有不同的自主程度,并且在第一控制模式和第二控制模式中的至少一个模式下,电路生成控制信号来驱动医疗手术机械手的移动。

Description

医疗工具控制系统、控制器和非暂时性计算机可读存储器
技术领域
本公开涉及一种医疗工具控制系统、控制器和非暂时性计算机可读存储器。
背景技术
在医疗领域最新公开的方法中,当执行各类医疗治疗时,使用了在臂的前端设置有各种医疗单元的多关节臂(也被称为支撑臂)。
例如,专利文献1公开了一种医疗机械手,当该医疗机械手被插入身体中并且被使用时,其能够防止与附近的组织接触。
引用列表
专利文献
专利文献1:JP 2016-501042 A
发明内容
技术问题
在医学领域公开的方法中,是通过使用所谓的自主医疗手术系统来执行医疗手术,该自主医疗手术系统被配置为通过传感器来感测手术野的环境,并且基于对环境的识别来确定以及执行下一个操作。如本发明人所认识到的,当使用此医疗手术系统时,由于技术和伦理考虑,预期不是整个医疗手术都由医疗机械手执行,而是作为医疗手术的一部分的操纵由医生来执行。例如,在可以自主驱动并且可以手动操作的医疗手术系统的情况下,预期该系统需要能够在两种模式之间合适地执行切换。
因此,本公开呈现了一种医疗工具控制系统、控制器、非暂时性计算机可读存储器、医疗手术支持系统、控制装置和控制方法,它们能够合适地执行医疗手术机械手的自主驱动模式与手动操作模式之间的切换。作为示例,手动控制模式可以被描述为第一控制模式,并且自主驱动模式可以被描述为第二控制模式。然而,本公开还包括具有自主程度的模式,该模式跨越从完全自主到完全手动的范围。因此,尽管本描述经常使用手动模式和自主驱动模式作为示例,但是应当理解的是,本公开不限于模式的二进制选择,而是全模式范围,其中第一模式与第二模式之间的自主水平不同。在本公开中,自主驱动包括两种情况,一种情况是其中基于感测结果来识别手术野的环境并且然后确定以及执行下一个操作,并且一种情况是(半自主或监督式自主)其中用户执行或辅助一系列操作的一部分(诸如环境识别和操作确定)。
解决方案
根据一个实施例,一种医疗工具控制系统,该医疗工具系统包括:
可拆卸地夹持医疗工具的医疗手术机械手;
电路,该电路被配置为:
接收来自外部装置(诸如与医院内外建立的网络连接的服务器、医务人员使用的PC、安装在医院会议室中的投影仪或设置在医疗手术机械手中的传感器)的输入信号,
对输入信号的内容进行评估,以便确定从医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,第一控制模式和第二控制模式具有不同的自主程度,以及
在第一控制模式和第二控制模式中的至少一个模式下,电路生成控制信号来驱动医疗手术机械手的移动。
根据第二实施例,描述了一种用于可拆卸地夹持医疗工具的医疗手术机械手的控制器,该控制器包括:
电路,该电路被配置为:
从外部装置接收输入信号,
对输入信号的内容进行评估,以确定从医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,第一控制模式和第二控制模式具有不同的自主程度,以及
在第一控制模式和第二控制模式中的至少一个模式下,电路生成控制信号来驱动医疗手术机械手的移动。
根据第三实施例,描述了一种具有指令的非暂时性计算机可读存储器,当该指令由处理器运行时使处理器执行方法,该方法包括:
从外部装置接收输入信号;
利用电路对输入信号的内容进行评估,并且确定从医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,第一控制模式和第二控制模式具有不同的自主程度,以及
在第一控制模式和第二控制模式中的至少一个模式下,电路生成控制信号来驱动医疗手术机械手的移动。
附图说明
图1是示意性地图示医疗手术室系统的整体配置的图。
图2是图示集中式操作面板上的操作屏幕的示例性显示的图。
图3是图示对其应用了医疗手术室系统的医疗手术的示例性情形的图。
图4是图示图3所图示的摄像头和CCU的示例性功能配置的框图。
图5是根据本公开的实施例的支撑臂装置的外观的示意图。
图6是图示根据本公开的实施例的主从设备的示例性配置的图。
图7是图示根据本公开的实施例的医疗手术支持系统的示例性配置的图。
图8是图示根据本公开的实施例的医疗手术机械手的示例性配置的图。
图9是图示根据本公开的实施例的控制装置的示例性配置的框图。
图10是图示根据本公开的实施例的控制装置的控制单元处的第一处理的过程的流程图。
图11是图示根据本公开的实施例的控制装置的控制单元处的第二处理的过程的流程图。
图12是图示当在根据本公开的实施例的控制装置的控制单元处的第二处理中安装在医疗手术机械手上的医疗仪器是摄像机时,切换处理的示例性过程的流程图。
图13是图示当在根据本公开的实施例的控制装置的控制单元处的第二处理中安装在医疗手术机械手上的医疗仪器是手术刀时,切换处理的示例性过程的流程图。
图14是图示当在根据本公开的实施例的控制装置的控制单元处的第二处理中安装在医疗手术机械手上的医疗仪器是针时,切换处理的示例性过程的流程图。
图15是当图示在根据本公开的实施例的控制装置的控制单元处的第二处理中安装在医疗手术机械手上的医疗仪器是牵开器时,切换处理的示例性过程的流程图。
图16是图示根据本公开的实施例的控制装置的控制单元处的第三处理的过程的流程图。
图17是图示根据本公开的实施例的控制装置的控制单元处的第四处理的过程的流程图。
图18是图示根据本公开的实施例的控制装置的控制单元处的第五处理的过程的流程图。
图19是图示根据本公开的实施例的控制装置的控制单元处的第六处理的过程的流程图。
图20是图示根据本公开的实施例的控制装置的控制单元处的第七处理的过程的流程图。
图21是图示根据本公开的实施例的控制装置的控制单元处的第八处理的过程的流程图。
图22是图示根据本公开的实施例的控制装置的控制单元处的第九处理的过程的流程图。
图23是图示被配置为实现信息处理装置的功能的示例性计算机的硬件配置图。
图24是根据实施例的实施人工智能(AI)控制引擎的计算机的框图。
图25是根据实施例的经训练的数据提取网络的框图。
图26是根据实施例的数据分析网络的框图。
图27是根据实施例的级联源特征图的图。
具体实施方式
下面将参考附图来详细描述本公开的实施例。在下面的实施例中彼此相同的部位用相同的附图标记来表示,并且省略其重复描述。
将根据下面描述的内容的顺序来描述本公开。
1.医疗手术系统的示例性配置
2.支撑臂装置的示例性配置
3.医疗手术支持系统
3-1.医疗手术支持系统的配置
3-2.医疗手术机械手
3-3.控制装置
4.控制装置处的处理
4-1.第一处理
4-2.第二处理
4-2-1.摄像机情况下的处理
4-2-2.手术刀情况下的处理
4-2-3.持针器情况下的处理
4-2-4.牵开器情况下的处理
4-3.第三处理
4-4.第四处理
4-5.第五处理
4-6.第六处理
4-7.第七处理
4-8.第八处理
4-9.第九处理
5.硬件配置
<1.医疗手术系统的示例性配置>
图1是示意性图示根据本公开的技术对其适用的医疗手术室系统5100的整体配置的图。如图1所图示,医疗手术室系统5100具有的配置是其中安装在医疗手术室中的装置组通过视听控制器(AV控制器)5107和医疗手术室控制装置5109相互协作连接。
在医疗手术室中可以安装各种装置。例如,图1图示了用于内窥镜手术的各种装置组5101、被设置在医疗手术室的天花板上并且被配置为拍摄操作者的手附近的图像的天花板摄像机5187、被设置在医疗手术室的天花板上并且被配置为拍摄整个医疗手术室的情形的图像的手术场所摄像机5189、多个显示装置5103A至5103D、记录仪5105、病床5183和照明5191。
在这些装置中,装置组5101属于稍后要描述的内窥镜医疗手术系统5113,并且包括例如内窥镜和被配置为显示由内窥镜拍摄的图像的显示装置。属于内窥镜医疗手术系统5113的这些装置各自也被称为医疗仪器。显示装置5103A至5103D、记录仪5105、病床5183和照明5191独立于内窥镜医疗手术系统5113被设置在例如医疗手术室中。不属于内窥镜医疗手术系统5113的装置也被称为非医疗仪器。视听控制器5107和/或医疗手术室控制装置5109协作控制医疗仪器和非医疗仪器的操作。
视听控制器5107整体控制与医疗仪器和非医疗仪器处的图像显示有关的处理。具体地,在被包括在医疗手术室系统5100中的装置中,装置组5101、天花板摄像机5187和手术场所摄像机5189可以各自是具有发送医疗手术中需要显示的信息(在下文中也被称为显示信息)的功能的装置(在下文中也称被为发送源装置)。显示装置5103A至5103D可以各自是显示信息所输出到的装置(在下文中也被称为输出目的装置)。记录仪5105可以是与发送源装置和输出目的装置两者相对应的装置。视听控制器5107具有控制发送源装置和输出目的装置的操作、从发送源装置获取显示信息以及向输出目的装置发送显示装置以使显示信息被显示或被记录的功能。显示信息包括在医疗手术中拍摄的各种图像和与医疗手术有关的各类信息(例如,患者的身体信息和过去的检查结果,以及关于手术方法的信息)。
具体地,关于由内窥镜拍摄的患者体腔中的手术部位的图像的信息可以作为显示信息从装置组5101发送至视听控制器5107。另外,关于由天花板摄像机5187拍摄的操作者的手附近的图像的信息可以作为显示信息从天花板摄像机5187发送。另外,关于由手术场所摄像机5189拍摄的整个医疗手术室的情形的图像的信息可以作为显示信息从手术场所摄像机5189发送。当医疗手术室系统5100包括具有图像拍摄功能的另一装置时,视听控制器5107可以从另外一装置获取关于由另外一装置拍摄的图像的信息作为显示信息。
可替代地,例如,关于过去拍摄的这些图像的信息被视听控制器5107记录在记录仪5105中。视听控制器5107可以从记录仪5105获取关于过去拍摄的图像的信息作为显示信息。另外,与医疗手术有关的各类信息可以提前被记录在记录仪5105中。
视听控制器5107使作为输出目的装置的显示装置5103A至5103D中的至少一个显示装置显示所获取的显示信息(换句话说,在医疗手术中拍摄的图像和与医疗手术有关的各类信息)。在所图示的示例中,显示装置5103A是从医疗手术室的天花板悬挂安装的装置,显示装置5103B是安装在医疗手术室的墙面上的装置,显示装置5103C是安装在医疗手术室的桌子上的装置,以及显示装置5103D是具有显示功能的移动装置(例如,平板个人计算机(PC))。
尽管在图1中未图示,但是医疗手术室系统5100可以包括医疗手术室外的装置。医疗手术室外的装置是例如连接到医院内外建立的网络的服务器、医务人员使用的PC、安装在医院会议室中的投影仪。当此外部装置被布置在医院外时,视听控制器5107可以通过电视会议系统等使在另一医院的显示装置显示该显示信息以用于远程医疗服务。
医疗手术室控制装置5109总体控制除了与非医疗仪器处的图像显示有关的处理之外的处理。例如,医疗手术室控制装置5109控制病床5183、天花板摄像机5187、手术场所摄像机5189和照明5191的驱动。
医疗手术室系统5100包括集中式操作面板5111,用户可以通过该集中式操作面板向视听控制器5107提供关于图像显示的指令,并且向医疗手术室控制装置5109提供关于非医疗仪器的操作的指令。在集中式操作面板5111中,触摸面板被设置在显示装置的显示面上。
图2是图示集中式操作面板5111上的操作屏幕的示例性显示的图。作为示例,图2图示了与其中医疗手术室系统5100被设置有两个显示装置作为输出目的装置的情况相对应的操作屏幕。如图2所图示,该操作屏幕5193包括发送源选择区5195、预览区5197和控制区5201。
发送源选择区5195相互关联地显示被包括在医疗手术室系统5100中的每个发送源装置和被保留在发送源装置处的显示信息的缩略屏幕。用户可以从被显示在发送源选择区5195中的发送源装置中选择要在显示装置上显示的显示信息。
预览区5197显示在作为输出目的装置的两个显示装置(监视器1和监视器2)上显示的屏幕的预览。在所图示的示例中,对于每个显示装置,以画中画方案显示了四个图像。这四个图像对应于从发送源选择区5195中选择的发送源装置发送的显示信息。四个图像中的一个图像相对大地被显示作为主图像,其余三个图像相对小地被显示作为子图像。用户可以通过合适地选择其中显示了四个图像的区域来交换主图像和子图像。另外,在其中显示了四个图像的区域下面的部分处设置有状况显示区5199,并且与医疗手术有关的状况(例如,医疗手术的经过时间和患者的身体信息)可以合适地被显示在该区中。
控制区5201包括发送源操作区5203和输出目的操作区5205,在该发送源操作区中显示用于在每个发送源装置上执行操作的图形用户界面(GUI)部件,并且在该输出目的操作区中显示用于对每个输出目的装置执行操作的GUI部件。在所图示的示例中,发送源操作区域5203包括用于对具有图像拍摄功能的发送源装置中的摄像机执行各种操作(平移、倾斜和变焦)的GUI部件。用户可以通过合适地选择GUI部件来操作发送源装置中的摄像机的操作。尽管未图示,但是当在发送源选择区5195中记录仪被选择作为发送源装置时(换句话说,当过去被记录在记录仪中的图像被显示在预览区5197中时),发送源操作区5203可以包括用于执行诸如该图像的回放、回放停止、倒带和快进的操作的GUI部件。
输出目的操作区5205包括用于执行用于在作为输出目的装置的每个显示装置上显示的各种操作(交替、翻转、颜色调节、对比度调节、2D显示与3D显示之间的切换)的GUI部件。用户可以通过合适地选择这些GUI部件来操作显示装置上的显示。
被显示在集中式操作面板5111上的操作屏幕不限于所图示的示例,而用户可能能够通过集中式操作面板5111向被包括在医疗手术室系统5100中并且由视听控制器5107和医疗手术室控制装置5109控制的每个装置输入操作。
图3是图示对其应用了上述医疗手术室系统的医疗手术的示例性情形的图。天花板摄像机5187和手术场所摄像机5189被设置在医疗手术室的天花板上,并且可以拍摄对病床5183上的患者5185的患病部分执行治疗的操作者(医生)5181的手附近的图像以及整个医疗手术室的情形。天花板摄像机5187和手术场所摄像机5189可以具有例如放大倍数调节功能、焦距调节功能和图像拍摄方向调节功能。照明5191被设置在医疗手术室的天花板上,并且至少照射操作者5181的手附近。照明5191可能能够合适地调节照射光的量、照射光的波长(颜色)、照射光的方向等。
如图1所图示,内窥镜医疗手术系统5113、病床5183、天花板摄像机5187、手术场所摄像机5189和照明5191通过视听控制器5107和医疗手术室控制装置5109(图3中未图示)相互协作连接。集中式操作面板5111被设置在医疗手术室中,并且用户可以通过如上所述的集中式操作面板5111在医疗手术室中合适地操作这些装置。
下文详细描述了内窥镜医疗手术系统5113的配置。如图3所图示,内窥镜医疗手术系统5113包括内窥镜5115、其他手术仪器5131、支撑内窥镜5115的支撑臂装置5141,以及其上安装有用于内窥镜手术的各种装置的推车5151。
在内窥镜手术中,不是切开以打开腹腔,而是利用多个被叫做套管针5139a至5139d的管状穿刺仪器来刺破腹壁。然后,内窥镜5115的镜筒5117和其他手术仪器5131通过套管针5139a至5139d被插入到患者5185的体腔中。在所图示的示例中,气腹管5133、能量治疗仪器5135和钳子5137作为其他手术仪器5131被插入到患者5185的体腔中。能量治疗仪器5135是被配置为利用高频电流或超声波振动来执行组织切割和剥离、血管密封等的治疗仪器。然而,所图示的手术仪器5131仅仅是示例性的,并且可以是各种手术仪器,诸如通常用在内窥镜手术中的穿刺器和牵开器。
显示装置5155显示由内窥镜5115拍摄的患者5185的体腔中的手术部位的图像。操作者5181通过使用能量治疗仪器5135和钳子5137来执行治疗,诸如患病部分的切除,同时实时注视被显示在显示装置5155上的手术部位的图像。尽管未图示,但是在医疗手术中,气腹管5133、能量治疗仪器5135和钳子5137由操作者5181、助手等来支撑。
(支撑臂装置)
支撑臂装置5141包括从底座单元5143延伸的臂单元5145。在所图示的示例中,臂单元5145包括关节部分5147a、5147b和5147c以及连杆5149a和5149b,并且该臂单元在臂控制装置5159的控制下被驱动。臂单元5145支撑内窥镜5115并且控制其位置和姿态。相应地,内窥镜5115的位置被稳定固定。
(内窥镜)
内窥镜5115包括透镜镜筒5117和摄像头5119,该镜筒的从前端延伸预定长度的区被插入到患者5185的体腔中,并且该摄像头与透镜镜筒5117的底座端连接。在所图示的示例中,内窥镜5115被配置作为所谓的包括硬质的透镜镜筒5117的硬质镜,但是内窥镜5115也可以被配置作为所谓的包括软质的透镜镜筒5117的软质镜。
物镜安装于其上的开口部分被设置在透镜镜筒5117的前端。光源装置5157与内窥镜5115连接,并且由光源装置5157生成的光被延伸到透镜镜筒5117内的光引导到镜筒的前端并且通过物镜朝向患者5185的体腔中的观察目标发射。内窥镜5115可以是直视镜、倾斜镜或侧视镜。
摄像头5119内设置有光学系统和图像传感器,并且来自观察目标的反射光(观察光)通过光学系统在图像传感器上聚集。图像传感器执行观察光的光电转换,并且生成对应于观察光的电信号,换句话说,对应于观察图像的图像信号。图像信号作为原始数据被发送至摄像机控制单元(CCU)5153。摄像头5119具有通过合适地驱动光学系统来调节放大倍数和焦距的功能。
摄像头5119可以包括多个图像传感器,以支持例如立体观看(3D显示)。在这种情况下,透镜镜筒5117内部设置有多个中继光学系统,以将观察光引导到每个图像传感器。
(安装在推车上的各种装置)
CCU 5153由中央处理单元(CPU)、图形处理单元(GPU)等来实现,并且整体地控制内窥镜5115和显示装置5155的操作。具体地,CCU 5153对从摄像头5119接收的图像信号执行各类图像处理,诸如图像显影处理(去马赛克处理),以用于基于图像信号来显示图像。CCU 5153向显示装置5155提供经过了图像处理的图像信号。CCU 5153与图1中图示的视听控制器5107连接。CCU 5153也向视听控制器5107提供经过了图像处理的图像信号。另外,CCU 5153向摄像头5119发送控制信号以控制其驱动。控制信号可以包括与诸如放大倍数和焦距的图像拍摄条件有关的信息。与图像拍摄条件有关的信息可以通过输入装置5161或者通过上述集中式操作面板5111来输入。
显示装置5155在CCU 5153的控制下基于经过了CCU 5153的图像处理的图像信号来显示图像。当内窥镜5115支持以诸如4K(水平像素的数量3840×垂直像素的数量2160)或8K(水平像素的数量7680×垂直像素的数量4320)的高分辨率拍摄的图像和/或支持3D显示时,显示装置5155可以分别是能够以高分辨率执行显示和/或能够执行3D显示的显示装置。当显示装置5155支持以诸如4K或8K的高分辨率拍摄的图像时,可以利用具有55英寸或更大尺寸的显示装置5155获得增强的沉浸感。可以根据用途来提供其间的分辨率和尺寸不同的多个显示装置5155。
光源装置5157由诸如发光二极管(LED)的光源来实现并且向内窥镜5115供应用于手术部位的图像拍摄的照射光。
臂控制装置5159由诸如CPU的处理器来实现并且根据预定计算机程序来操作,以根据预定控制方案来控制支撑臂装置5141的臂单元5145的驱动。
输入装置5161是用于内窥镜医疗手术系统5113的输入接口。用户可以通过输入装置5161向内窥镜医疗手术系统5113输入各类信息和指令。例如,用户通过输入装置5161输入与医疗手术有关的各类信息,诸如患者的身体信息和关于医疗手术的手术方法的信息。另外,例如,用户通过输入装置5161输入驱动臂单元5145的指令、改变针对内窥镜5115的图像拍摄条件(诸如照射光的种类、放大倍数和焦距)的指令、驱动能量治疗仪器5135的指令等。
输入装置5161的种类不受限制,但是输入装置5161可以是各类已知的输入装置。输入装置5161可以是例如鼠标、键盘、触摸面板、开关、脚踏开关5171和/或操纵杆。当输入装置5161是触摸面板时,该触摸面板可以被设置在显示装置5155的显示面上。
可替代地,输入装置5161是安装在用户身上的装置,诸如眼镜型可佩戴装置或头戴式显示器(HMD),并且通过输入装置5161,根据由装置检测到的用户的手势和视线来执行各类输入。输入装置5161包括能够检测用户的运动的摄像机,并且通过输入装置5161,根据从由摄像机拍摄的视频中检测到的用户的手势和视线来执行各类输入。输入装置5161还包括能够收集用户的语音的麦克风,并且通过输入装置5161,由通过麦克风的语音来进行各类输入。由于可以通过输入装置5161以此非接触方式输入各类信息,所以属于干净区域的用户(例如,操作者5181)可以以非接触方式操作属于不干净区域的仪器。另外,用户可以在不从其手中放下仪器的情况下对手术仪器进行操作,这对于用户来说提高了便利性。
治疗仪器控制装置5163控制能量治疗仪器5135的驱动,以进行组织的烧灼、切割、血管密封等。气腹装置5165通过气腹管5133将气体送入体腔,以使患者5185的体腔充气,从而获得内窥镜5115的视野和用于操作者的工作空间。记录仪5167是能够记录与医疗手术有关的各类信息的装置。打印机5169是能够以文本、图像、图形等各种格式打印与医疗手术有关的各类信息的装置。
下文详细描述了内窥镜医疗手术系统5113中的特定特征部件。
(支撑臂装置)
支撑臂装置5141包括作为底座的底座单元5143和从底座单元5143延伸的臂单元5145。在所图示的示例中,臂单元5145包括关节部分5147a、5147b和5147c以及通过关节部分5147b彼此耦接的连杆5149a和5149b,但是为了简化,图3以简化方式图示了臂单元5145的配置。实际上,例如,可以合适地设定关节部分5147a至5147c以及连杆5149a和5149b的形状、数量和布置,以及关节部分5147a至5147c的旋转轴的方向,以使臂单元5145具有期望的自由。例如,臂单元5145可以被很好地配置为具有六或更大的自由程度。相应地,内窥镜5115可以在臂单元5145的可移动范围内被自由移动,并且因此内窥镜5115的透镜镜筒5117可以在期望的方向上被插入到患者5185的体腔中。
关节部分5147a至5147c各自被设置有致动器,并且通过该致动器的驱动可绕预定旋转轴旋转。在由臂控制装置5159来控制致动器的驱动时,关节部分5147a至5147c中的每个部分的旋转角度得到控制,并且臂单元5145的驱动也得到控制。相应地,内窥镜5115的位置和姿态得到控制。在这种情况下,臂控制装置5159可以以各种已知的控制方案诸如力控制和位置控制来控制臂单元5145的驱动。
例如,当操作者5181通过输入装置5161(包括脚踏开关5171)合适地执行操作输入时,臂单元5145的驱动可以由臂控制装置5159根据合适地操作输入来控制,以控制内窥镜5115的位置和姿态。通过这种控制,在臂单元5145的前端的内窥镜5115可以从可选位置被移动到另一可选位置,并且然后被固定地支撑在移动之后的位置处。臂单元5145可以在所谓的主从方案中被操作。在这种情况下,用户可以通过安装在远离医疗手术室的地方的输入装置5161来远程操作臂单元5145。
当施加力控制时,臂控制装置5159可以执行所谓的动力辅助控制,在该控制下,关节部分5147a至5147c的致动器被驱动以使臂单元5145接收来自用户的外力并且被外力平滑地移动。相应地,当移动臂单元5145,同时直接触摸臂单元5145时,用户可以用相对小的力来移动臂单元5145。因此,内窥镜5115可以通过更简单的操作来被更直观地移动,这对于用户来说提高了便利性。
通常,在内窥镜手术中,内窥镜5115由被叫做使用内窥镜的技术人员(scopist)的医生来支撑。然而,当使用支撑臂装置5141时,内窥镜5115的位置可以得到更可靠地固定,而无需手动操作,并且因此可以可靠地获得手术部位的图像,这允许医疗手术的顺利执行。
不一定需要给推车5151设置臂控制装置5159。另外,臂控制装置5159的数量不一定是一个。例如,支撑臂装置5141的臂单元5145的关节部分5147a至5147c中的每个部分可以设置有臂控制装置5159,并且臂单元5145的驱动控制可以通过多个臂控制装置5159彼此协作来实现。
(光源装置)
光源装置5157向内窥镜5115供应用于手术部位的图像拍摄的照射光。光源装置5157通过被配置作为例如LED、激光束源或它们的组合的白光源来实现。在这种情况下,当白光源被配置作为RGB激光束源的组合时,每种颜色(波长)的输出强度和输出定时可以得到高度精确地控制,并且因此所拍摄图像的白平衡可以在光源装置5157处得到调节。另外,在这种情况下,通过以时分方式用来自各个RGB激光束源的激光束照射观察目标并且与照射定时同步地控制摄像头5119的图像传感器的驱动,可以以时分方式拍摄对应于每个RGB的图像。利用这种方法,可以获得彩色图像,而无需给图像传感器设置滤色器。
另外,光源装置5157的驱动可以被控制以使输出光的强度在每个预定时间内被改变。摄像头5119的图像传感器的驱动与光强度改变的定时同步地被控制,从而以时分方式获取图像。图像可以被合成以生成高动态范围的图像,而没有所谓的曝光不足和曝光过度。
光源装置5157可能能够供应预定波长带中用于特定的光观察的光。在特定的光观察中,例如,执行所谓的窄带光观察(窄带成像),在该窄带光观察中,通过使用身体组织处的光吸收的波长依赖性,通过用比正常观察中的照射光(换句话说,白光)的带更窄的带中的光的照射,以高对比度拍摄预定组织(诸如粘膜表层上的血管)的图像。可替代地,在特定的光观察中,可以执行荧光观察,在荧光观察中,通过使用通过用激发光照射而生成的荧光来获得图像。在荧光观察中,例如,身体组织被用激发光照射以观察来自身体组织的荧光(自荧光观察),或者诸如靛青绿(ICG)的试剂被局部注射到身体组织中,并且身体组织被用与试剂的荧光波长相对应的激发光照射以获得荧光图像。光源装置5157可能能够供应对应于此特定的光观察的窄带光和/或激发光。
(摄像头和CCU)
下文参考图4更详细地描述了内窥镜5115的摄像头5119和CCU 5153的功能。图4是图示图3中图示的摄像头5119和CCU 5153的示例性功能配置的框图。
如图4所图示,摄像头5119包括作为其功能件的透镜单元5121、图像拍摄单元5123、驱动单元5125、通信单元5127和摄像头控制单元5129。CCU 5153包括作为其功能件的通信单元5173、图像处理单元5175和控制单元5177。摄像头5119和CCU 5153通过传输电缆5179彼此连接,以在它们之间执行双向通信。
下文首先描述了摄像头5119的功能配置。透镜单元5121是设置在与透镜镜筒5117的连接部分处的光学系统。从透镜镜筒5117的前端获取的观察光被引导到摄像头5119并且入射到透镜单元5121上。通过组合包括变焦透镜和聚焦透镜的多个透镜形成透镜单元5121。调节透镜单元5121的光学特性,以使观察光在图像拍摄单元5123的图像传感器的光接收面上聚集。变焦透镜和聚焦透镜中的每一者在它们的光轴上的位置是可移动的,以用于所拍摄的图像的放大倍数和焦点的调节。
图像拍摄单元5123由图像传感器来实现,并且被布置在透镜单元5121的后段。已经穿过透镜单元5121的观察光在图像传感器的光接收面上聚集,并且经过了光电转换,通过该光电转换生成对应于观察图像的图像信号。由图像拍摄单元5123生成的图像信号被提供给通信单元5127。
作为图像拍摄单元5123的图像传感器例如是互补金属氧化物半导体(CMOS)类型的图像传感器,其包括Bayer阵列并且能够执行彩色图像拍摄。图像传感器可以是例如可以支持以4K或更高的高分辨率拍摄图像的图像传感器。当以高分辨率获得手术部位的图像时,操作者5181可以更详细地了解手术部位的情形,并且更顺利地执行医疗手术。
作为图像拍摄单元5123的图像传感器包括用于分别获取用于3D显示的右眼和左眼图像信号的一对图像传感器。当执行3D显示时,操作者5181可以更精确地理解手术部位处的生物组织的深度。当图像拍摄单元5123具有多板的配置时,多个透镜单元5121被设置用于各个的图像传感器。
不一定需要给摄像头5119设置图像拍摄单元5123。例如,图像拍摄单元5123可以正好被设置在透镜镜筒5117内的物镜之后。
驱动单元5125由致动器来实现,并且在摄像头控制单元5129的控制下沿着光轴将镜头单元5121的变焦和聚焦镜头中的每一者移动预定距离。相应地,可以对由图像拍摄单元5123拍摄的图像的放大倍数和焦点进行合适的调节。
通信单元5127由用于与CCU 5153通信各类信息的通信装置来实现。通信单元5127通过传输电缆5179将从图像拍摄单元5123获取的图像信号作为原始数据发送至CCU 5153。图像信号优选地通过光通信来发送,以按低延迟显示所拍摄的手术部位的图像。这是因为,在医疗手术中,操作者5181在基于所拍摄的图像来观察患病部分的状态时执行医疗手术,并且因此手术部位的移动图像需要尽可能多地被实时显示,以按更安全和更可靠的方式执行医疗手术。当执行光通信时,通信单元5127被设置有被配置为将电信号转换为光信号的光电转换模块。在被光电转换模块转换为光信号之后,图像信号通过传输电缆5179被发送至CCU 5153。
通信单元5127从CCU 5153接收用于控制摄像头5119的驱动的控制信号。控制信号包括与图像拍摄条件有关的信息,诸如关于所拍摄的图像的帧速率的规格的信息、关于图像拍摄时曝光值的规格的信息和/或关于所拍摄的图像的放大倍数和焦点的规格的信息。通信单元5127给摄像头控制单元5129提供接收到的控制信号。来自CCU 5153的控制信号可以通过光通信来发送。在这种情况下,通信单元5127被设置有被配置为将光信号转换为电信号的光电转换模块。在被光电转换模块转换为电信号之后,控制信号被提供给摄像头控制单元5129。
CCU 5153的控制单元5177基于获取的图像信号来自动设定上述图像拍摄条件,诸如帧速率、曝光值、放大倍数和焦点。相应地,内窥镜5115具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像头控制单元5129基于通过通信单元5127从CCU 5153接收的控制信号来控制摄像头5119的驱动。例如,摄像头控制单元5129基于关于所拍摄的图像的帧速率的规格的信息和/或关于图像拍摄时曝光的规格的信息来控制图像拍摄单元5123的图像传感器的驱动。另外,例如,摄像头控制单元5129基于关于所拍摄的图像的放大倍数和焦点的规格的信息,通过驱动单元5125来合适地移动透镜单元5121的变焦透镜和聚焦透镜。摄像头控制单元5129还可以具有存储用于标识透镜镜筒5117和摄像头5119的信息的功能。
通过将诸如透镜单元5121和图像拍摄单元5123的部件布置在具有高气密性和水密性的密封结构中,摄像头5119可以具有对高压釜杀菌处理的耐性。
下文描述了CCU 5153的功能配置。通信单元5173由用于与摄像头5119通信各类信息的通信装置来实现。通信单元5173通过传输电缆5179接收从摄像头5119发送的图像信号。图像信号可以如上所述通过光通信来很好地发送。在这种情况下,为了支持光通信,通信单元5173被设置有被配置为将光信号转换为电信号的光电转换模块。通信单元5173给图像处理单元5175提供被转换为电信号的图像信号。
另外,通信单元5173向摄像头5119发送用于控制摄像头5119的驱动的控制信号。控制信号可以通过光通信来发送。
图像处理单元5175对从摄像头5119发送的作为原始数据的图像信号执行各类图像处理。图像处理的示例包括各类已知的信号处理,诸如图像显影处理、高图像质量处理(例如,带增强处理、超分辨率处理、降噪(NR)处理和/或手抖校正处理)和/或放大处理(电子变焦处理)。另外,图像处理单元5175对图像信号执行检测处理以执行AE、AF和AWB。
图像处理单元5175由诸如CPU或GPU的处理器来实现,并且当处理器根据预定计算机程序操作时,执行上述图像处理和检测处理。当图像处理单元5175由多个GPU来实现时,图像处理单元5175对图像信号的信息进行合适的划分,并且在GPU并行地执行图像处理。
控制单元5177执行与由内窥镜5115进行的手术部位的图像拍摄和所拍摄的图像的显示有关的各类控制。例如,控制单元5177生成用于控制摄像头5119的驱动的控制信号。在这种情况下,当用户输入图像拍摄条件时,控制单元5177基于用户的输入来生成控制信号。可替代地,当内窥镜5115具有AE功能、AF功能和AWB功能时,控制单元5177根据由图像处理单元5175进行的检测处理的结果来合适地计算最佳曝光值、焦距和白平衡,并且生成控制信号。
另外,控制单元5177使显示装置5155基于图像处理单元5175对其执行图像处理的图像信号来显示手术部位的图像。在这种情况下,控制单元5177通过使用各种图像识别技术来标识手术部位图像中的各种受试体。例如,控制单元5177检测被包括在手术部位图像中的每个受试体的边缘形状、颜色等,以识别例如诸如钳子的手术仪器、特定生物部位、出血和当使用能量治疗仪器5135时的雾气。当使显示装置5155显示手术部位图像时,控制单元5177使用识别的结果来以叠加方式显示关于手术部位图像的各类手术支持信息。当手术支持信息以叠加方式被显示并且被呈现给操作者5181时,医疗手术可以按更安全并且更可靠的方式执行。
连接摄像头5119和CCU 5153的传输电缆5179是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或它们的复合电缆。
在所图示的示例中,通信通过使用传输电缆5179以有线方式来执行,但是摄像头5119与CCU 5153之间的通信可以按无线方式执行。当其间的通信以无线方式执行时,传输电缆5179不需要被铺设在医疗手术室中,这可以消除其中医疗手术室中的医务人员的移动被传输电缆5179妨碍的情形。
以上描述是对根据本公开的技术对其可适用的医疗手术室系统5100的示例进行的。在该示例中,对其应用了医疗手术室系统5100的医疗系统是内窥镜医疗手术系统5113,但是医疗手术室系统5100的配置不限于该示例。例如,医疗手术室系统5100可以代替内窥镜医疗手术系统5113被应用于检查软质内窥镜系统或显微镜医疗手术系统。
<2.支撑臂装置的示例性配置>
下文描述了根据本公开的技术对其适用的支撑臂装置的示例性配置。下面描述的支撑臂装置是被配置为在臂单元的前端支撑内窥镜的示例性支撑臂装置,但是本实施例不限于此示例。当根据本公开的实施例的支撑臂装置被应用于医疗领域时,支撑臂装置可以用作医疗支撑臂装置。
图5是图示根据本实施例的支撑臂装置200的外观的示意图。如图5所图示,根据本实施例的支撑臂装置200包括底座单元210和臂单元220。底座单元210是支撑臂装置200的底座,并且臂单元220从底座单元210延伸。尽管在图5中未图示,但是被配置为整体地控制支撑臂装置200的控制单元可以被设置在底座单元210中,并且臂单元220的驱动可以由控制单元来控制。控制单元由各种信号处理电路诸如CPU和DSP来实现。
臂单元220包括多个主动关节部分221a至221f、多个连杆222a至222f以及作为前端单元设置在臂单元220的前端的内窥镜装置223。
连杆222a至222f是具有大致杆状的构件。连杆222a的一端通过主动关节部分221a与底座单元210耦接,连杆222a的另外一端通过主动关节部分221b与连杆222b的一端耦接,以及连杆222b的另外一端通过主动关节部分221c与连杆222c的一端耦接。连杆222c的另外一端通过被动滑动机构231与连杆222d耦接,并且连杆222d的另外一端通过被动关节部分233与连杆222e的一端耦接。连杆222e的另外一端通过主动关节部分221d和221e与连杆222f的一端耦接。内窥镜装置223通过主动关节部分221f与臂单元220的前端耦接,换句话说,与连杆222f的另外一端耦接。以这种方式,连杆222a至222f的端部通过主动关节部分221a至221f、被动滑动机构231和被动关节部分233以底座单元210作为枢轴相互耦接,从而形成从底座单元210延伸的臂状。
随着被设置于臂单元220的主动关节部分221a至221f中的每个部分的致动器的驱动得到控制,内窥镜装置223的位置和姿态便得到控制。在本实施例中,内窥镜装置223的前端进入作为治疗部位的患者的体腔,并且拍摄治疗部位的分区的图像。然而,被设置在臂单元220的前端的前端单元不限于内窥镜装置223,而是可以使用外视镜或显微镜来代替内窥镜。臂单元220的前端可以与作为前端单元的各种医疗仪器连接。以这种方式,根据本实施例的支撑臂装置200被配置作为包括医疗仪器的医疗支撑臂装置。
下文描述了基于如图5所图示的坐标轴定义的支撑臂装置200。另外,上下方向、前后方向和左右方向根据坐标轴来定义。具体地,z轴方向和上下方向被定义为相对于安装在地面上的底座单元210的上下方向。另外,y轴方向和前后方向被定义为是垂直于z轴并且其中臂单元220从底座单元210延伸的方向(换句话说,其中内窥镜装置223相对于底座单元210定位的方向)。另外,x轴方向和左右方向被定义为垂直于y轴和z轴的方向。
主动关节部分221a至221f各自都以相对于彼此可旋转的方式将连杆耦接。主动关节部分221a至221f各自都包括旋转机构,该旋转机构包括致动器并且被配置为通过致动器的驱动而绕预定旋转轴旋转。臂单元220的驱动诸如臂单元220的伸展和收缩(折叠)可以通过控制主动关节部分221a至221f中的每个部分处的旋转来控制。主动关节部分221a至221f的驱动可以通过例如已知的身体协作控制和理想关节控制来控制。由于主动关节部分221a至221f各自都包括如上所述的旋转机构,所以在以下描述中主动关节部分221a至221f的驱动控制具体地意指主动关节部分221a至221f的旋转角度和/或生成的扭矩(由主动关节部分221a至221f生成的扭矩)的控制。
被动滑动机构231是被动形式改变机构的一方面,并且将连杆222c和222d耦接,以使连杆在预定方向上可相对于彼此移动。例如,被动滑动机构231可以将连杆222c和222d耦接,以使连杆可相对于彼此直线移动。然而,连杆222c和222d的移动不限于直线运动,而可以是在沿弧形的方向上的运动。例如由用户在被动滑动机构231上执行用于移动的操作,并且连杆222c的一端侧上的主动关节部分221c与被动关节部分233之间的距离是可变的。因此,臂单元220的整个形式可以被改变。
被动滑动机构233是被动形式改变机构的一方面,并且以可相对于彼此旋转的方式将连杆222d和222e耦接。由例如用户在被动关节部分233上执行用于旋转的操作,并且连杆222d与连杆222e之间的角度是可变的。因此,臂单元220的整个形式可以被改变。
在本说明书中,“臂单元的姿态”意指其中臂的至少一些部分可以通过驱动控制等来改变的臂单元的状态。作为特定的示例,“臂单元的姿态”是可以通过控制单元对被设置于主动关节部分221a至221f的致动器的驱动控制来改变的臂单元的状态,同时在其间插入一个或多个连杆的情况下彼此相邻的主动关节部分之间的距离是固定的。在本公开中,“臂单元的姿态”不限于可以通过致动器的驱动控制来改变的臂单元的状态。例如,“臂单元的姿态”可以是通过被动关节部分的协作操作来改变的臂单元的状态。在本公开中,臂单元不一定需要包括关节部分。在这种情况下,“臂单元的姿态”是相对于受试体的位置或相对于受试体的相对角度。“臂单元的形式”意指可以随着可以随着臂的部件之间的位置和姿态的关系被改变而被改变的臂单元的状态。作为特定的示例,“臂单元的形式”是可以随着在其间插入连杆的情况下彼此相邻的主动关节部分之间的距离和各自将主动关节部分彼此相邻连接的连杆之间的角度以及被动形式改变结构的操作被改变而被改变的臂单元的状态。在本公开中,“臂单元的形式”不限于可以随着在其间插入连杆的情况下彼此相邻的主动关节部分之间的距离和各自将主动关节部分彼此相邻连接的连杆之间的角度被改变而被改变的臂单元的状态。例如,“臂单元的形式”可以是可以随着被动关节部分之间的位置关系和角度通过被动关节部分的协作操作被改变而被改变的臂单元的状态。当臂单元不包括关节部分时,“臂单元的姿态”可以是可以随着相对于受试体的位置和相对于受试体的相对角度被改变而被改变的臂单元的状态。
根据本实施例的支撑臂装置200包括六个主动关节部分221a至221f,并且具有用于臂单元220的驱动的六自由程度。因此,支撑臂装置200的驱动控制通过控制单元对六个主动关节部分221a至221f的驱动控制来实现,但是被动滑动机构231和被动关节部分233的驱动控制不由控制单元来执行。
具体地,如图5所图示,主动关节部分221a、221d和221f被设置以使它们的旋转轴方向与同它们连接的连杆222a和222e的纵轴方向和同它们连接的内窥镜装置223的图像拍摄方向对齐。主动关节部分221b、221c和221e被设置以使它们的旋转轴方向与x轴方向对齐,该x轴方向作为其中连杆222a至222c、222e和222f与同它们连接的内窥镜装置223的耦接角度在y-z平面(由y轴和z轴限定的平面)中被改变的方向。以这种方式,在本实施例中,主动关节部分221a、221d和221f具有执行所谓的平摆(yawing)的功能,并且主动关节部分221b、221c和221e具有执行所谓的俯仰(pitching)的功能。
利用臂单元220的此配置,获得了用于根据本实施例的支撑臂装置200中的臂单元220的驱动的六自由程度,并且因此内窥镜装置223可以在臂单元220的可移动范围内自由移动。图3图示了作为内窥镜装置223的示例性可移动范围的半球。当半球的中心点RCM(远程运动中心)是治疗部位(其图像由内窥镜装置223拍摄)的图像拍摄中心时,治疗部位的图像拍摄可以通过在半球的球面上移动内窥镜装置223以各种角度执行,同时内窥镜装置223的图像拍摄中心被固定于半球的中心点。
到目前为止的描述是对根据本公开的技术对其可适用的支撑臂装置的示例性配置进行的。
在以上描述中,支撑臂装置200的臂单元220包括多个关节部分并且具有六自由程度,但是本公开不限于此。具体地,臂单元220在前端被设置有内窥镜装置223或外视镜就足够了。例如,臂单元220可以仅具有一自由程度来用于驱动臂单元220在内窥镜装置223进入患者体腔和从体腔缩回的方向上移动。
本公开可以是如图6所图示的主从设备。
主装置10是信息处理装置(第一信息处理装置),其具有控制从装置50的驱动并且将由从装置50的传感器测量的振动信号(第一信号)呈现给用户的功能。主装置10例如是包括一个或多个包括被动关节的关节和与每个关节连接的连杆的装置(包括连杆机构的装置,该连杆机构包括被动关节)。被动关节是不由电动机、致动器等来驱动的关节。
如图6所图示,主装置10包括由用户抓握和操作的操作装置20(20R和20L)。操作装置20对应于根据本公开的实施例的触觉呈现装置。主装置10与其上显示了手术野的监视器30连接,并且被设置有用户将双臂或双肘置于其上的支撑台32。主装置10包括右手主装置10R和左手主装置10L。右手主装置10R包括右手操作装置20R,并且左手主装置10L包括左手操作装置20L。
用户将双臂或双肘置于支撑台32上,并且分别用右手和左手来抓握操作装置20R和20L。在这种状态下,用户对操作装置20R和20L进行操作,同时注视其上显示有手术野的监视器30。用户可以通过使操作装置20R和20L中的每个装置的位置或方位移位来远程操作附接到从装置50的手术仪器的位置或方位,或者可以用每个手术仪器来执行抓握操作。
从装置50是信息处理装置(第二信息处理装置),其被配置为向主装置10呈现当医疗手术中患者的患病部分(在下文中也被称为受试体)接触到从装置50的接触到受试体的部位时生成的力和振动。例如,从装置50是包括用于根据主装置10的移动而移动的一个或多个主动关节和与每个主动关节连接的连杆的装置(包括连杆机构的装置,该连杆机构包括主动关节)。主动关节是由电动机、致动器等来驱动的关节。
在从装置50中,作为外部装置的示例的各种传感器(诸如定位传感器、极限传感器、编码器(诸如旋转或线性编码器)、麦克风和加速度传感器)被设置在图6中图示的臂的前端部分(图6中图示的部分A)处。另外,力传感器(图6中图示的部分B)被设置在从装置50的臂的前端部分处。当臂的前端部分接触到患者时,力传感器测量向臂的前端部分施加的力。设置有上述各种传感器的地方不受具体限制,但是各种传感器可以被设置在臂的前端部分的可选地方。
例如,从装置50在与每个主动关节相对应的位置处包括用于测量主动关节的运动的运动传感器。上述运动传感器例如是编码器。另外,例如,从装置50在与每个主动关节相对应的位置处包括用于驱动主动关节的驱动机构。上述驱动机构例如是电动机或驱动器。
本公开的实施例可以被应用于虚拟现实环境。例如,当操作主装置10时,从装置50侧上的虚拟环境的视频可以被显示在监视器30上,以使用户基于该视频来操作主装置10。
<3.医疗手术支持系统>
(3-1.医疗手术支持系统的配置)
下文参考图7描述了根据本公开的实施例的医疗手术支持系统的配置。图7是图示根据本公开的实施例的医疗手术支持系统的示例性配置的图。
如图7所图示,该医疗手术支持系统1(计算机支持的医疗手术系统)包括控制装置100、医疗手术机械手300和手术场所摄像机400。控制装置100和医疗手术机械手300彼此通过网络NW连接以执行它们之间的通信。手术场所摄像机400至少与控制装置100连接以执行它们之间的通信。医疗手术机械手300被自主或半自主驱动以向患者提供各类医疗治疗。在本实施例中,控制装置100执行医疗手术机械手300的自主驱动(可以包括半自主驱动)与手动操作之间的切换。自主或半自主地对患者执行各类医疗治疗的医疗手术机械手300也被叫做医疗手术机器人。
(3-2.医疗手术机械手)
下文参考图8描述了医疗手术机械手的示例性配置。图8是图示医疗手术机械手的示例性配置的图。
如图8所图示,医疗手术机械手300包括第一支撑臂装置310、第二支撑臂装置320和第三支撑臂装置330。第一支撑臂装置310被设置有第一医疗仪器311。第二支撑臂装置320被设置有第二医疗仪器321。第三支撑臂装置330被设置有第三医疗仪器331。例如,第一支撑臂装置310至第三支撑臂装置330具有与图5中图示的支撑臂装置200的配置相同的配置,但是本公开不限于此。例如,第一支撑臂装置310至第三支撑臂装置330仅需要具有其中第一支撑臂装置310至第三支撑臂装置330可以分别支撑第一医疗仪器311至第三医疗仪器331的配置。医疗手术机械手300还可以包括另一支撑臂装置。
医疗手术机械手300通过使用第一医疗仪器311和第二医疗仪器321来与医生(或包括手术外科医生和支持人员的团队)协作对患者340提供各类医疗治疗。第三医疗仪器331例如是内窥镜装置,并且拍摄患者340的体腔的情形的图像。例如,第三医疗仪器331拍摄患者340的器官O的情形的图像。
医疗手术机械手300获取用于确定第一医疗仪器311至第三医疗仪器331的种类的仪器信息。例如,每个医疗仪器可以根据其种类被电设置有标识信息,并且当医疗仪器由第一支撑臂装置310至第三支撑臂装置330支撑时,医疗手术机械手300可以通过读取标识信息来确定种类。
医疗手术机械手300获取与从外施加的外力有关的外力信息。例如,医疗手术机械手300获取与从外施加到第一支撑臂装置310至第三支撑臂装置330的外力有关的外力信息。在这种情况下,例如,第一支撑臂装置310至第三支撑臂装置330可以各自被设置有加速度传感器,并且由加速度传感器获取的加速度的幅值可以被设定为外力的幅值。
(3-3.控制装置)
下文参考图9描述了控制装置100的配置。图9是图示控制装置100的示例性配置的框图。
如图9所图示,控制装置100包括通信单元110、存储单元120和控制单元130。
通信单元110由例如网络接口卡(NIC)或通信电路来实现。通信单元110以有线或无线方式与网络NW(诸如互联网)连接。通过网络NW,通信单元110根据通信控制单元136的控制向另一装置等发送信息并且从其接收信息。例如,通信单元110向医疗手术机械手300发送信息并且从其接收信息。例如,通信单元110向手术场所摄像机400发送信息并且从其接收信息。
存储单元120由存储装置来实现,诸如包括随机存取存储器(RAM)和闪速存储器的半导体存储器元件、硬盘或光盘。存储单元120包括用户信息存储单元121、医疗手术信息存储单元122和数据存储单元123。
用户信息存储单元121存储要用来标识用户的各类信息。用户信息存储单元121存储用于标识操作医疗手术机械手300的医生等的各类信息。用户信息存储单元121存储用于标识用户的每个用户的面部的图像数据、其语音数据等。用户信息存储单元121还可以存储用于标识用户的生物信息和其他标识信息。
医疗手术信息存储单元122存储与由医疗手术机械手300执行的各种医疗手术(医疗治疗)有关的信息。医疗手术信息存储单元122存储与各种医疗手术的每一种的开始与结束之间的过程(时间表或程序)有关的信息。医疗手术信息存储单元122存储例如与医疗手术机械手300用于治疗所花费的时间有关的信息。
数据存储单元123存储各类数据。数据存储单元123可以存储例如由确定单元133进行的各类确定的结果。
控制单元130由例如中央处理单元(CPU)或微处理单元(MPU)来实现,它们通过使用随机存取存储器(RAM)等作为工作区域来执行被存储在控制装置100中的计算机程序(例如,根据本公开的信息处理程序)。控制单元130是控制器,并且可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。控制单元130包括获取单元131、感测单元132、确定单元133、选择单元134、机械手控制单元135和通信控制单元136。
获取单元131获取各类信息。获取单元131从例如医疗手术机械手300获取各类信息。获取单元131从医疗手术机械手300获取例如与由操作者对医疗手术机械手300进行的操作有关的操作信息。获取单元131从医疗手术机械手300获取例如与安装在第一支撑臂装置310至第三支撑臂装置330上的医疗仪器有关的仪器信息。获取单元131从医疗手术机械手300获取例如与向医疗手术机械手300施加的外力有关的外力信息。获取单元131从医疗手术机械手300获取例如与向第一支撑臂装置310至第三支撑臂装置330施加的外力有关的外力信息。获取单元131从医疗手术机械手300获取例如通过患者体腔的情形的图像拍摄获得的图像数据。
获取单元131从手术场所摄像机400获取各类信息。获取单元131从手术场所摄像机400获取例如通过医疗手术室的图像拍摄获得的图像数据。获取单元131获取例如通过医疗手术机械手300的图像拍摄获得的图像数据。获取单元131获取例如通过被设置于第一支撑臂装置310至第三支撑臂装置330的医疗仪器的图像拍摄获得的图像数据。获取单元131获取例如通过医疗手术机械手300的操作者的图像拍摄获得的图像数据。
感测单元132感测各类信息。感测单元132基于例如由获取单元131获取的信息来感测各类信息。感测单元132基于例如由获取单元131获取的与对医疗手术机械手300进行的操作有关的操作信息,来感测医疗手术机械手300接收到执行医疗手术机械手300被自主驱动的自主驱动模式与医疗手术机械手300被手动操作的手动操作模式之间的切换的操作。
确定单元133确定各类信息。确定单元133确定例如医疗手术机械手300的状态是处于自主驱动模式还是手动操作模式。确定单元133例如在感测单元132感测到对医疗手术机械手300执行了在自主驱动模式与手动操作模式之间执行切换的操作时确定各类信息。在这种情况下,确定单元133基于例如由获取单元131获取的信息来确定各类信息。确定单元133基于例如由获取单元131获取的图像数据来确定状况。确定单元133基于例如图像数据来确定医疗手术机械手300的状态。确定单元133基于例如图像数据来确定医疗手术机械手300的操作者的状态。确定单元133基于例如图像数据来确定医疗手术的状况。确定单元133基于例如由获取单元131获取的操作信息来确定状况。确定单元133基于例如生物信息记录诸如医疗手术机械手300的操作者的疲劳程度来执行确定。
选择单元134选择各类信息。选择单元134基于例如由确定单元133进行的确定的结果来选择各类信息。选择单元134基于例如由确定单元133确定的状况来选择用于切换医疗手术机械手300的自主驱动模式和手动操作模式的切换顺序。
机械手控制单元135控制医疗手术机械手300的各种状态。机械手控制单元135基于例如由选择单元134进行的选择的结果来控制医疗手术机械手300。机械手控制单元135根据例如由选择单元134选择的切换顺序来切换医疗手术机械手300的自主驱动模式和手动操作模式。
通信控制单元136通过通信单元110控制信息的发送和接收。通信控制单元136控制通信单元110与另一信息处理装置执行通信。通信控制单元136控制通信单元110与例如医疗手术机械手300执行通信。通信控制单元136控制通信单元110与例如手术场所摄像机400执行通信。
<4.控制装置处的处理>
(4-1.第一处理)
下文参考图10描述了根据本公开的实施例的控制装置100的控制单元130处的第一处理。图10是图示根据本公开的实施例的控制装置100的控制单元130处的第一处理的过程的流程图。
首先,控制单元130确定是否已经对医疗手术机械手300执行了操作模式切换操作(步骤S11)。具体地,在感测单元132基于由获取单元131获取的操作信息来感测操作模式切换操作时执行该确定。当确定还未执行切换操作时(在步骤S11,否),控制单元130重复在步骤S11的处理。当确定已经执行了切换操作时(在步骤S11,是),过程进行至步骤S12。当确定手术场景对于从一个控制到下一个控制的过渡足够安全时,系统便会切换模式。例如,如果手术仪器与器官之间的距离足够远,则确认该距离。也可以考虑操作者的位置。当从不太自主的模式切换到更自主的模式时,过渡过程在执行改变之前被设定了一段时间(例如,几秒钟)。这个时间段给予操纵者(例如外科医生)足够的时间来考虑操纵者是否希望撤销模式改变。如果是这样的话,操纵者可以向医疗手术机械手施加力,或者简单地将他或她的手移动到手术部位旁边,这样系统就会检测到手术场景已经发生改变并且因此中止过渡。另一方面,当从更自主的模式切换回不太自主的模式时,系统在其改变操作模式之前确认操作者已准备好控制医疗手术机械手。为此,系统对其中操作者可以例如仅在受限的方向上移动医疗手术机械手的系统设定约束,并且确认操作者是否已准备好切换,然后该约束被移除(一定程度地)。取决于所使用的医疗工具或手术操作的状态,系统可选地具有不同的类型/方向的约束。
当在步骤S11作出肯定确定时,控制单元130确定医疗手术机械手300的状态是否处于自主驱动模式(步骤S12)。具体地,确定单元133确定自主驱动模式是否开启。当确定医疗手术机械手300处于自主驱动模式时(在步骤S12,是),过程进行至步骤S13。当确定医疗手术机械手300处于手动操作模式时(在步骤S12,否),过程进行至步骤S16。
当在步骤S12作出肯定确定时,控制单元130确定医疗手术机械手300附近的状况(步骤S13)。具体地,确定单元133基于环境信息诸如由获取单元131获取的医疗手术室的图像数据来确定医疗手术机械手300附近的状况。具体地,医疗手术室的状况包括与医疗手术室有关的各类信息,诸如医疗手术机械手300的状态、医疗手术室中的人(包括医生和患者)以及医疗手术室中的人的状态(包括位置)。然后,过程进行至步骤S14。
控制单元130根据医疗手术机械手300附近的状况来选择在其中执行从自主驱动模式到手动操作模式的过渡的过渡模式(步骤S14)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择过渡模式。因此,选择单元134可以根据附近的状况来选择不同的过渡模式。换句话说,自主驱动模式和手动操作模式通过根据附近的状况而不同的切换顺序来切换。然后,过程进行至步骤S15。
控制单元130切换医疗手术机械手300的自主驱动模式和手动操作模式(步骤S15)。具体地,机械手控制单元135基于由选择单元134进行的选择的结果来切换自主驱动模式和手动操作模式。然后,图10中图示的处理结束。
当在步骤S12作出否定确定时,控制单元130确定医疗手术机械手300附近的状况(步骤S16)。该处理与在步骤S13的处理相同,并且因此省略其描述。然后,过程进行至步骤S17。
控制单元130根据医疗手术机械手300附近的状况来选择执行在其中从手动操作模式到自主驱动模式的过渡的过渡模式(步骤S17)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择过渡模式。然后,过程进行至步骤S15。
如上所述,在本实施例中,可以根据医疗手术机械手300附近的状况来选择切换自主驱动模式和手动操作模式的过渡模式。相应地,可以最佳地切换医疗手术机械手300的自主驱动模式和手动操作模式。
(4-2.第二处理)
下文参考图11描述了根据本公开的实施例的控制装置100的控制单元130处的第二处理。图11是图示根据本公开的实施例的控制装置100的控制单元130处的第二处理的过程的流程图。
取决于医疗仪器的种类,改变切换顺序被认为是优选的,并且因此第二处理根据安装在医疗手术机械手300上的医疗仪器来执行选择过渡模式的处理。在第二处理中,自主驱动模式和手动操作模式通过根据医疗仪器的种类而不同的切换顺序来切换。以下描述是针对其中摄像机(例如,内窥镜)、手术刀、持针器和牵开器中的每一者被安装在医疗手术机械手300上的情况作出的,但是本公开不限于该情况。另外,在图11的描述中呈现了仪器检查的顺序,但是本公开不限于此。
步骤S21与图10中图示的步骤S11相同,并且因此省略其描述。
当在步骤S21作出肯定确定时,控制单元130确定安装在医疗手术机械手300上的医疗仪器是否是摄像机(步骤S22)。具体地,确定单元133基于由获取单元131获取的医疗手术机械手300的图像数据来确定医疗仪器是否是摄像机。当获取单元131已经从医疗手术机械手300获取了仪器信息时,确定单元133基于仪器信息来确定医疗仪器是否是摄像机。当确定医疗仪器是摄像机时(在步骤S22,是),过程进行至步骤S23。当确定医疗仪器不是摄像机时(在步骤S22,否),过程进行至步骤S25。
当在步骤S22作出肯定确定时,控制单元130选择用于摄像机的过渡模式(步骤S23)。具体地,选择单元134选择用于摄像机的过渡模式。然后,过程进行至步骤S24。
控制单元130切换医疗手术机械手300的自主驱动模式和手动操作模式(步骤S24)。具体地,机械手控制单元135基于由选择单元134进行的选择的结果来切换自主驱动模式和手动操作模式。然后,图11中图示的处理结束。
当在步骤S22作出否定确定时,控制单元130确定安装在医疗手术机械手300上的医疗仪器是否是手术刀(步骤S25)。该确定的方法与步骤S22的方法相同,并且因此省略其描述。当确定医疗仪器是手术刀时(在步骤S25,是),过程进行至步骤S26。当确定医疗仪器不是手术刀时(在步骤S25,否),过程进行至步骤S27。
当在步骤S25作出肯定确定时,控制单元130选择用于手术刀的过渡模式(步骤S26)。具体地,选择单元134选择用于手术刀的过渡模式。然后,过程进行至步骤S24。
当在步骤S25作出否定确定时,控制单元130确定安装在医疗手术机械手300上的医疗仪器是否是持针器(步骤S27)。该确定的方法与步骤S22的方法相同,并且因此省略其描述。当确定医疗仪器是持针器时(在步骤S27,是),过程进行至步骤S28。当确定医疗仪器不是持针器时(在步骤S27,否),过程进行至步骤S29。
当在步骤S27作出肯定确定时,控制单元130选择用于持针器的过渡模式(步骤S28)。具体地,选择单元134选择用于持针器的过渡模式。然后,过程进行至步骤S24。
当在步骤S27作出否定确定时,控制单元130选择用于牵开器的过渡模式(步骤S29)。具体地,选择单元134选择用于牵开器的过渡模式。然后,过程进行至步骤S24。
(4-2-1.摄像机情况下的处理)
下文参考图12描述了当安装在医疗手术机械手300上的医疗仪器是摄像机诸如内窥镜或显微镜时执行的切换处理。图12是图示当安装在医疗手术机械手300上的医疗仪器是摄像机时执行的切换处理的示例性过程的流程图。
控制单元130确定医疗手术机械手300的状态是否处于自主驱动模式(步骤S31)。具体地,确定单元133确定自主驱动模式是否开启。当确定医疗手术机械手300处于自主驱动模式时(在步骤S31,是),过程进行至步骤S32。当确定医疗手术机械手300处于手动操作模式时(在步骤S31,否),过程进行至步骤S36。
当在步骤S31作出肯定确定时,控制单元130将医疗手术机械手300的部分切换到手动操作模式(步骤S32)。具体地,机械手控制单元135执行到状态的切换,在该状态下,摄像机被安装在前端的部分被固定,并且摄像机的基侧部分(例如,关节部分)可以由操作者来驱动。相应地,当执行到手动操作模式的切换时,可以防止摄像机移动,并且因此可以保持医生执行操纵的视野。然后,过程进行至步骤S33。
控制单元130获取对医疗手术机械手300进行的预定操作(步骤S33)。具体地,获取单元131获取与对医疗手术机械手300进行的预定操作有关的操作信息。然后,过程进行至步骤S34。
控制单元130确定对医疗手术机械手300进行的预定操作是否合适(步骤S34)。具体地,确定单元133基于由获取单元131获取的操作信息来确定医生是否已经手动操作了摄像机的可以被驱动的基侧部分。当确定操作合适时(在步骤S34,是),过程进行至步骤S35。当确定操作不合适时(在步骤S34,否),过程进行至步骤S33。
当在步骤S34作出肯定确定时,控制单元130将医疗手术机械手300切换到手动操作模式(步骤S35)。具体地,机械手控制单元135将医疗手术机械手300切换到手动操作模式。如上所述,当执行从自主驱动模式到手动操作模式的切换时,提高安全性可以通过分阶段地执行切换来实现。然后,图12中的处理结束。
当在步骤S31作出否定确定时,控制单元130将医疗手术机械手300切换到自主驱动模式(步骤S36)。具体地,机械手控制单元135将医疗手术机械手300从手动操作模式切换到自主驱动模式。然后,过程进行至步骤S37。
控制单元130确定是否已经在预定持续时间内向医疗手术机械手300施加了外力(步骤S37)。具体地,确定单元133基于由获取单元131获取的外力信息来确定是否已经在预定持续时间内施加了外力。预定持续时间不受具体限制,而可以是例如几秒到几十秒。当确定在预定持续时间内未施加外力时(在步骤S37,否),图12中的处理结束。当确定已经在预定持续时间内施加了外力时(在步骤S37,是),过程进行至步骤S35。相应地,医疗手术机械手300被切换到手动操作模式,并且因此可以保持安全性。
(4-2-2.手术刀情况下的处理)
下文参考图13描述了当安装在医疗手术机械手300上的医疗仪器是手术刀时执行的切换处理。图13是图示当安装在医疗手术机械手300上的医疗仪器是手术刀时执行的切换处理的示例性过程的流程图。
步骤S41与图12中图示的步骤S31相同,并且因此省略其描述。
当在步骤S41作出肯定确定时,控制单元130将医疗手术机械手300的部分切换到手动操作模式(步骤S42)。具体地,机械手控制单元135执行到状态的切换,在该状态下,前端部分夹持手术刀的驱动被限制在手术刀刺入器官的方向(手术仪器可能损伤生物组织的方向)上,但是前端部分可以在其他方向上来操作。驱动限制仅可以在恒定时间内来执行。相应地,例如,有可能在执行到手动操作模式的切换时防止通过错误操作用手术刀损伤体腔。结果是,可以实现安全性的提高。然后,过程进行至步骤S43。
控制单元130确定预定时间是否已经过去(步骤S43)。具体地,确定单元133确定预定时间是否已经过去。预定时间是例如医生等可以足够地识别到手动操作模式的切换的时间。当确定预定时间还未过去时(在步骤S43,否),重复在步骤S43的处理。当确定预定时间时已经过去时(在步骤S43,是),过程进行至步骤S44。
当在步骤S43作出肯定确定时,控制单元130将医疗手术机械手300切换到手动操作模式(步骤S44)。具体地,机械手控制单元135将医疗手术机械手切换到手动操作模式。然后,图13中图示的处理结束。
步骤S45和S46分别与图12中图示的步骤S36和S37相同,并且因此省略其描述。
(4-2-3.持针器情况下的处理)
下文参考图14描述了当安装在医疗手术机械手300上的医疗仪器是持针器时执行的切换处理。图14是图示当安装在医疗手术机械手300上的医疗仪器是持针器时执行的切换处理的示例性过程的流程图。
步骤S51与图12中图示的步骤S31相同,并且因此省略其描述。
当在步骤S51作出肯定确定时,控制单元130确定由持针器抓握的针是否被插入到患病部分(例如,器官)(步骤S52)。具体地,确定单元133基于由获取单元131获取的手术部位的图像数据来确定针是否插入到患病部分。当确定针被插入到患病部分时(在步骤S52,是),过程进行至步骤S53。当确定针没有被插入到患病部分时(在步骤S52,否),过程进行至步骤S55。
当在步骤S52作出肯定确定时,控制单元130将医疗手术机械手300的部分切换到手动操作模式(步骤S53)。具体地,机械手控制单元135执行到状态的切换,在该状态下,当手术部位被缝合而手动操作被限制在其他方向上时,手动操作仅可能在针的插入-取出方向和针交叉方向上。换句话说,除了针的插入-取出方向之外,操作者无法在任何方向上执行手动操作。相应地,例如,有可能在执行到手动操作模式的切换时防止通过错误操作对器官造成损伤。结果是,可以实现操纵安全性的提高。然后,过程进行至步骤S54。
控制单元130确定针是否被插入到治疗部位或从治疗部位被取出(步骤S54)。具体地,确定单元133基于由获取单元131获取的手术部位的图像数据来确定针是否被插入到治疗部位或从治疗部位被取出。当确定针被插入到治疗部位或从治疗部位被取出时(在步骤S54,是),过程进行至步骤S55。当确定针没有被插入到治疗部位或从治疗部位被取出时(在步骤S54,否),重复在步骤S54的处理。
当在步骤S54作出肯定确定时,控制单元130将医疗手术机械手300切换到手动操作模式(步骤S55)。具体地,机械手控制单元135将医疗手术机械手300切换到手动操作模式。然后,图14中图示的处理结束。
步骤S56和S57分别与图12中图示的步骤S36和S37相同,并且因此省略其描述。
(4-2-4.牵开器情况下的处理)
下文参考图15描述了当安装在医疗手术机械手300上的医疗仪器是牵开器时执行的切换处理。图15是图示当安装在医疗手术机械手300上的医疗仪器是牵开器时执行的切换处理的示例性过程的流程图。
步骤S61与图12中图示的步骤S31相同,并且因此省略其描述。
当在步骤S61作出肯定确定时,控制单元130确定牵开器是否保持住器官(步骤S62)。具体地,确定单元133基于由获取单元131获取的手术部位的图像数据来确定牵开器是否保持住器官。当牵开器被设置有压力传感器时,确定单元133可以基于由压力传感器获得的测量值来确定牵开器是否保持住器官。当压力传感器被设置于支撑牵开器的臂装置的关节部分时,确定单元133可以在由压力传感器获得的值等于或大于牵开器的重量时确定牵开器保持住器官。当确定牵开器保持住器官时(在步骤S62,是),过程进行至步骤S63。当确定牵开器没有保持住器官时(在步骤S62,否),过程进行至步骤S66。
当在步骤S62作出肯定确定时,控制单元130在医疗手术机械手300保持住器官时生成伪重量(步骤S63)。具体地,例如,机械手控制单元135通过控制医疗手术机械手300的支撑臂装置的关节部分处的致动器来生成伪重量,并且当执行到手动操作的切换时给操作者提供负荷感觉。换句话说,当执行到手动操作的切换时,使操作者执行保持操作。相应地,有可能在切换到手动操作时防止由于器官重量突然施加给操作者而导致的错误操作。结果是,可以实现安全性的提高。然后,过程进行至步骤S64。
控制单元130获取对医疗手术机械手300进行的预定操作(步骤S64)。具体地,获取单元131获取与对医疗手术机械手300进行的预定操作有关的操作信息。然后,过程进行至步骤S65。
控制单元130确定对医疗手术机械手300进行的预定操作是否合适(步骤S65)。具体地,确定单元133基于由获取单元131获取的操作信息来确定操作者是否能够在执行到手动操作模式的切换时可靠地保持住牵开器。例如,确定单元133确定是否支撑生成伪重量的医疗手术机械手300。当确定操作合适时(在步骤S65,是),过程进行至步骤S66。当确定操作不合适时(在步骤S65,否),过程进行至步骤S64。换句话说,当确定操作不合适时,重复在步骤S63和S64的处理,直到操作者执行合适的操作。
当在步骤S65作出肯定确定时,控制单元130将医疗手术机械手300切换到手动操作模式(步骤S66)。具体地,机械手控制单元135将医疗手术机械手300切换到手动操作模式。在这种情况下,不是立即取消保持力并且执行到手动操作的切换,而是机械手控制单元135在预定时间内逐渐取消保持力并且执行到手动操作的切换。相应地,当执行到手动操作的切换时,器官的负荷(或其比例被调节的负荷)不会立刻向操作者施加,并且因此可以在保持住器官时安全地执行到手动操作的切换。然后,图15中图示的处理结束。
步骤S67和S68分别与图12中图示的步骤S36和S37相同,并且因此省略其描述。
如上所述,在本实施例中,切换顺序可以根据安装在医疗手术机械手300上的医疗仪器来改变。相应地,在本实施例中,可以更合适地切换自主驱动模式和手动操作模式。
(4-3.第三处理)
下文参考图16描述了根据本公开的实施例的控制装置100的控制单元130处执行的第三处理。图16是图示根据本公开的实施例的控制装置100的控制单元130处执行的第三处理的过程的流程图。
根据医疗手术机械手300的操作者是否是医生,改变切换自主驱动模式和手动操作模式所通过的切换顺序被认为是优选的。因此,第三处理根据医疗手术机械手300的操作者或操作者的属性来执行选择过渡模式的处理。在第三处理中,自主驱动模式和手动操作模式通过根据医疗手术机械手300的操作者而不同的切换顺序来切换。
步骤S71与图10中图示的步骤S11相同,并且因此省略其描述。
当在步骤S71作出肯定确定时,控制单元130确定医疗手术机械手300的操作者是否是医生(步骤S72)。具体地,确定单元133基于由获取单元131获取的医疗手术机械手300的操作者的图像数据来确定医疗手术机械手300的操作者是否是医生。可替代地,确定单元133可以基于操作者的生物信息来确定操作者是否是医生。例如,确定单元133可以通过基于所获取的操作者的指纹信息和预先登记的指纹信息执行指纹认证来确定操作者是否是医生。确定单元133可以确定医疗手术机械手300的操作者的各种属性。确定单元133基于例如被存储在用户信息存储单元121中的信息来确定医疗手术机械手300的操作者是否是医生。当确定医疗手术机械手300的操作者是医生时(在步骤S72,是),过程进行至步骤S73。当确定医疗手术机械手300的操作者不是医生时(在步骤S72,否),过程进行至步骤S75。
当在步骤S72作出肯定确定时,控制单元130选择医疗手术机械手300的用于医生的过渡模式(步骤S73)。具体地,选择单元134基于由确定单元133进行的确定的结果来选择用于医生的过渡模式。然后,过程进行至步骤S74。
控制单元130切换医疗手术机械手300的自主驱动模式和手动操作模式(步骤S74)。具体地,机械手控制单元135基于由选择单元134进行的选择的结果来切换自主驱动模式和手动操作模式。然后,图16中图示的处理结束。
当在步骤S72作出否定确定时,控制单元130选择医疗手术机械手300的用于通用目的的过渡模式(步骤S75)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择用于通用目的的过渡模式。然后,过程进行至步骤S74。
例如,在用于通用目的的过渡模式中,执行关于是否执行切换的确认操作。在这种情况下,仅当输入确认时执行切换。当不具有医疗执照的人操作医疗手术机械手300时,可以执行其中手动操作可以仅在从患者或治疗部位缩回的方向上执行的过渡模式。
如上所述,在本实施例中,切换顺序可以根据医疗手术机械手300的操作者来改变。相应地,在本实施例中,可以更合适地切换自主驱动模式和手动操作模式。
(4-4.第四处理)
下文参考图17描述了根据本公开的实施例的控制装置100的控制单元130处执行的第四处理。图17是图示根据本公开的实施例的控制装置100的控制单元130处执行的第四处理的过程的流程图。
根据医疗手术机械手300的操作者的技能和医疗手术时间,改变切换自主驱动模式和手动操作模式所通过的切换顺序被认为是优选的。因此,第四处理根据医疗手术机械手300的操作者的简档和医疗手术时间来执行选择过渡模式的处理。在第四处理中,自主驱动模式和手动操作模式通过根据医疗手术机械手300的操作者的简档和医疗手术时间而不同的切换顺序来切换。
步骤S81与图10中图示的步骤S11相同,并且因此省略其描述。
当在步骤S81作出肯定确定时,控制单元130确定医疗手术机械手300的操作者是否是有经验并且有技能的人(步骤S82)。具体地,确定单元133基于由获取单元131获取的医疗手术机械手300的操作者的图像数据来确定医疗手术机械手300的操作者是否是有经验并且有技能的人。确定单元133基于例如被存储在用户信息存储单元121中的信息来确定医疗手术机械手300的操作者是否是资深医生。可替代地,确定单元133可以基于医疗手术机械手300的操作者的医疗手术技能来确定操作者是否是有经验并且有技能的人。更具体地,确定单元133将具有足够医疗手术经验的资深医生、具有高医疗手术技能的医生等确定为有经验并且有技能的人。可替代地,确定单元133可以基于操作者的生物信息来确定操作者是否是有经验并且有技能的人。当确定医疗手术机械手300的操作者是有经验并且有技能的人时(在步骤S82,是),过程进行至步骤S83。当确定医疗手术机械手300的操作者不是有经验并且有技能的人时(在步骤S82,否),过程进行至步骤S86。
当在步骤S82作出肯定确定时,控制单元130确定医疗手术时间是否短于阈值(步骤S83)。具体地,确定单元133基于被存储在医疗手术信息存储单元122中的信息来确定医疗手术时间是否短于阈值。当确定医疗手术时间短于阈值时(在步骤S83,是),过程进行至步骤S84。当确定医疗手术时间长于阈值时(在步骤S83,否),过程进行至步骤S86。
当在步骤S83作出肯定确定时,控制单元130选择医疗手术机械手300的正常过渡模式(步骤S84)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择正常过渡模式。然后,过程进行至步骤S85。
控制单元130切换医疗手术机械手300的自主驱动模式和手动操作模式(步骤S85)。具体地,机械手控制单元135基于由选择单元134进行的选择的结果来切换自主驱动模式和手动操作模式。然后,图17中图示的处理结束。
当在步骤S82或S83作出否定确定时,控制单元130选择医疗手术机械手300的软着陆过渡模式(步骤S86)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择软着陆过渡模式。在软着陆过渡模式中,过渡所花费的时间被设定为比正常过渡模式中更长。换句话说,在本实施例中,当操作者是经验较少的医生时,或者当由于长时间的医疗手术而认为医生的疲劳程度很高时,执行切换操作时间更长。相应地,可以实现安全性的提高。
如上所述,在本实施例中,切换顺序可以根据医疗手术机械手300的操作者的技能和医疗手术中操作的疲劳程度来改变。相应地,在本实施例中,可以更合适地切换自主驱动模式和手动操作模式。
(4-5.第五处理)
下文参考图18描述了根据本公开的实施例的控制装置100的控制单元130处执行的第五处理。图18是图示根据本公开的实施例的控制装置100的控制单元130处执行的第五处理的过程的流程图。
根据医疗手术的进展程度和医疗手术机械手300的处理种类,改变切换自主驱动模式和手动操作模式所通过的切换顺序被认为是优选的。因此,第五处理根据医疗手术的进展程度和治疗的种类来执行选择过渡模式的处理。例如,在第五处理中,根据医疗手术的状况,从具有的过渡时间彼此不同的多个过渡模式中选择过渡模式。换句话说,在第五处理中,自主驱动模式和手动操作模式通过根据医疗手术的进展程度和治疗的种类而不同的切换顺序来切换。
步骤S91与图10中图示的步骤S11相同,并且因此省略其描述。
当在步骤S91作出肯定确定时,控制单元130确定医疗手术的进展是否被延迟(步骤S92)。具体地,确定单元133基于与被存储在医疗手术信息存储单元122中的医疗手术时间有关的信息来确定医疗手术的进度是否被延迟。当确定医疗手术的进度未被延迟时(在步骤S92,否),过程进行至步骤S93。当确定医疗手术的进度被延迟时(在步骤S92,是),过程进行至步骤S96。
当在步骤S92作出否定确定时,控制单元130确定当前执行的治疗是否要在短时间内执行(步骤S93)。具体地,确定单元133基于由获取单元131获取的治疗的图像数据和被存储在医疗手术信息存储单元122中的信息来确定当前执行的治疗是否要在短时间内执行。当确定当前执行的治疗不要在短时间内执行时(在步骤S93,否),过程进行至步骤S94。当确定当前执行的治疗要在短时间内执行时(在步骤S93,是),过程进行至步骤S96。
当在步骤S93作出否定确定时,控制单元130选择医疗手术机械手300的正常过渡模式(步骤S94)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择正常过渡模式。然后,过程进行至步骤S95。
控制单元130切换医疗手术机械手300的自主驱动模式和手动操作模式(步骤S95)。具体地,机械手控制单元135基于由选择单元134进行的选择的结果来切换自主驱动模式和手动操作模式。然后,图18中图示的处理结束。
当在步骤S92或S93作出肯定确定时,控制单元130选择医疗手术机械手300的快速过渡模式(步骤S96)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择快速过渡模式。在快速过渡模式中,过渡所花费的时间被设定为比正常过渡模式中更短。换句话说,在本实施例中,当医疗手术的进度被延迟时,或者当治疗要在短时间内执行时,可以很快地切换自主驱动模式和手动操作模式。
如上所述,在本实施例中,切换顺序可以根据医疗手术的进展程度和医疗手术机械手300的治疗种类来改变。相应地,在本实施例中,可以更合适地切换自主驱动模式和手动操作模式。
(4-6.第六处理)
下文参考图19描述了根据本公开的实施例的控制装置100的控制单元130处执行的第六处理。图19是图示根据本公开的实施例的控制装置100的控制单元130处执行的第六处理的过程的流程图。
根据医生是否在医疗手术机械手300附近,改变切换自主驱动模式和手动操作模式所通过的切换顺序被认为是优选的。因此,第六处理根据医生是否在医疗手术机械手300附近来执行选择过渡模式的处理。在第六处理中,自主驱动模式和手动操作模式通过根据医生是否在医疗手术机械手300附近而不同的切换顺序来切换。
控制单元130确定患者是否在出血(步骤S101)。具体地,确定单元133基于由获取单元131获取的手术部位的图像数据来确定患者是否在出血。当确定患者在出血时(在步骤S101,是),过程进行至步骤S102。当确定患者没有在出血时(在步骤S101,否),重复在步骤S101的处理。
当在步骤S101作出肯定确定时,控制单元130确定医生是否在医疗手术机械手300附近(步骤S102)。具体地,确定单元133基于由获取单元131获取的医疗手术机械手300附近的图像数据来确定医生是否在医疗手术机械手300附近。可选地,例如,确定单元133可以通过医疗手术机械手300获取医疗手术机械手300附近的任何人的生物信息,并且可以基于所获取的生物信息来确定该人是否是医生。医疗手术机械手300附近意指例如医生能够向医疗手术机械手300施加外力以执行防止危险的动作的距离。确定单元133基于例如被存储在用户信息存储单元121中的信息来确定医疗手术机械手300附近的人是否是医生。当确定医生在医疗手术机械手300附近时(在步骤S102,是),过程进行至步骤S103。当确定医生不在医疗手术机械手300附近时(在步骤S102,否),过程进行至步骤S107。
当在步骤S102作出肯定确定时,控制单元130提示医生执行手动操作(步骤S103)。具体地,机械手控制单元135驱动医疗手术机械手300来提示医生执行手动操作。控制单元130可以通过从扬声器输出语音或者在显示单元上显示警告图像来提示医生执行手动操作。然后,过程进行至步骤S104。
确定医生是否指示手动操作模式(步骤S104)。具体地,确定单元133基于由获取单元131获取的操作信息来确定医生是否指示手动操作模式。当医生指示手动操作模式时(在步骤S104,是),过程进行至步骤S105。当医生指示自主驱动模式时(在步骤S104,否),过程进行至步骤S107。
当在步骤S104作出肯定确定时,控制单元130选择医疗手术机械手300的正常过渡模式(步骤S105)。具体地,选择单元134基于例如由确定单元133进行的确定的结果来选择正常过渡模式。然后,过程进行至步骤S106。
控制单元130将医疗手术机械手300切换到手动操作模式(步骤S106)。具体地,机械手控制单元135基于由选择单元134进行的选择的结果来执行到手动操作模式的切换。然后,图19中图示的处理结束。
当在步骤S102或S104作出否定确定时,控制单元130选择医疗手术机械手300的自主止血模式(步骤S107)。具体地,选择单元134基于由确定单元133进行的确定的结果来选择自主止血模式。在自主止血模式中,医疗手术机械手300被自主驱动对患病部分执行治疗来止血。然后,过程进行至步骤S108。
控制单元130使医疗手术机械手300对患病部分执行治疗来止血(步骤S108)。具体地,机械手控制单元135通过控制医疗手术机械手300使医疗手术机械手300对患病部分执行治疗来止血。然后,图19中图示的处理结束。
如上所述,在本实施例中,确定医生是否在医疗手术机械手300附近。当医生在时,自主驱动模式和手动操作模式根据来自医生的指示来切换。当医生不在时,执行到自主驱动模式的切换。相应地,在本实施例中,可以更合适地切换自主驱动模式和手动操作模式。
(4-7.第七处理)
下文参考图20描述了根据本公开的实施例的控制装置100的控制单元130处执行的第七处理。图20是图示根据本公开的实施例的控制装置100的控制单元130处执行的第七处理的过程的流程图。
根据是否向医疗手术机械手300施加了外力,改变执行从自主驱动模式到手动操作模式的切换所通过的切换顺序被认为是优选的。因此,当向医疗手术机械手300施加了外力时,第七处理执行从自主驱动模式到手动操作模式切换的处理。在第七处理中,自主驱动模式和手动操作模式通过根据向医疗手术机械手300施加的外力的幅值而不同的切换顺序来切换。
步骤S201、S202、S203和S204分别与图10中图示的步骤S11、S13、S14和S15相同,并且因此省略其描述。
当在步骤S201作出肯定确定时,控制单元130确定是否向医疗手术机械手300施加了等于或大于预定力的外力(步骤S205)。具体地,确定单元133基于由获取单元131获取的外力信息来确定是否向医疗手术机械手300施加了等于或大于预定力的外力。等于或大于预定力的外力可以是确定操作者意图停止自主驱动的医疗手术机械手300的驱动所用的力。确定单元133可以确定医疗手术的状况,并且根据医疗手术的状况来改变阈值,基于该阈值确定外力是否等于或大于预定力。当确定没有向医疗手术机械手300施加等于或大于预定力的外力时(在步骤S205,否),处理进行至步骤S201。当确定向医疗手术机械手300施加了等于或大于预定力的外力时(在步骤S205,是),处理进行至步骤S202。换句话说,当向医疗手术机械手300施加了等于或大于预定力的外力时,尽管没有感测到医疗手术机械手300的切换,但是确定了来自操作者的干预,并且执行到手动操作模式的切换。
如上所述,在本实施例中,当向医疗手术机械手300施加了外力时,可以执行从自主驱动模式到手动操作模式的切换。相应地,在本实施例中,例如,当医疗手术机械手300以不同于由医生进行的确定的方式操作时,到手动操作模式的切换可以通过向医疗手术机械手300施加外力来执行,这提高了安全性。
(4-8.第八处理)
下文参考图21描述了根据本公开的实施例的控制装置100的控制单元130处执行的第八处理。图21是图示根据本公开的实施例的控制装置100的控制单元130处执行的第八处理的过程的流程图。
根据是否向医疗手术机械手300施加了外力,改变执行从手动操作模式到自主驱动模式的切换所通过的切换顺序被认为是优选的。因此,当向医疗手术机械手300施加了外力时,第八处理执行从手动操作模式到自主驱动模式切换的处理。在第八处理中,自主驱动模式和手动操作模式通过根据向医疗手术机械手300施加的外力的幅值而不同的切换顺序来切换。
步骤S301与图10中图示的步骤S11相同,并且因此省略其描述。
当在步骤S301作出否定确定时,控制单元130确定是否向医疗手术机械手300施加了等于或大于预定力的外力(步骤S302)。具体地,确定单元133基于由获取单元131获取的外力信息来确定是否施加了等于或大于预定力的外力。当确定没有向医疗手术机械手300施加等于或大于预定力的外力时(在步骤S302,否),处理进行至步骤S303。当确定向医疗手术机械手300施加了等于或大于预定力的外力时(在步骤S302,是),处理进行至步骤S306。
步骤S303、S304和S305分别与图10中图示的步骤S16、S17和S15相同,并且因此省略其描述。
当在步骤S302作出肯定确定时,控制单元130停止医疗手术机械手300的切换(步骤S306)。具体地,机械手控制单元135停止医疗手术机械手300的切换。换句话说,在本实施例中,当向医疗手术机械手300施加了等于或大于预定力的外力,同时感测到医疗手术机械手300的切换时,确定来自操作者的干预,并且维持手动操作模式。
如上所述,在本实施例中,当向医疗手术机械手300施加了外力时,可以停止到自主驱动模式的切换。相应地,在本实施例中,实现了安全性的提高。
(4-9.第九处理)
下文参考图22描述了根据本公开的实施例的控制装置100的控制单元130处执行的第九处理。图22是图示根据本公开的实施例的控制装置100的控制单元130处执行的第九处理的过程的流程图。
当医疗手术机械手300被自主驱动时,尽管不要求干预,但是医疗手术机械手300的操作不同于医生预期的操作,并且因此假设对操作进行校正。在第九处理中,设定第一外力和大于第一外力的第二外力,并且根据所施加的外力的幅值来改变执行从自主驱动模式到手动操作模式的切换的处理。在第九处理中,自主驱动模式和手动操作模式通过根据向医疗手术机械手300施加的外力的种类和幅值而不同的切换顺序来切换。第二外力是超过它便确定了来自操作者的干预的外力。
控制单元130确定是否向医疗手术机械手300施加了等于或大于第一外力的外力(步骤S401)。具体地,确定单元133基于由获取单元131获取的外力信息来确定是否向医疗手术机械手300施加了等于或大于第一外力的外力。当确定没有向医疗手术机械手300施加等于或大于第一外力的外力时(在步骤S401,否),重复在步骤S401的处理。当确定向医疗手术机械手300施加了等于或大于第一外力的外力时(在步骤S401,是),处理进行至步骤S402。
当在步骤S401作出肯定确定时,控制单元130确定是否向医疗手术机械手300施加了等于或大于第二外力的外力(步骤S402)。具体地,确定单元133基于由获取单元131获取的外力信息来确定是否向医疗手术机械手300施加了等于或大于第二外力的外力。当确定向医疗手术机械手300施加了等于或大于第二外力的外力时(在步骤S402,是),处理进行至步骤S403。当确定没有向医疗手术机械手300施加等于或大于第二外力的外力时(在步骤S402,否),处理进行至步骤S406。
步骤S403至S405分别与图10中图示的步骤S13至S15相同,并且因此省略其描述。
当在步骤S402作出否定确定时,控制单元130确定医疗手术机械手300附近的状况(步骤S406)。该处理与在图10中图示的步骤S13的处理相同,并且因此省略其描述。然后,过程进行至步骤S407。
控制单元130根据医疗手术机械手300附近的状况来选择在其中执行从自主驱动模式到半自主驱动模式的过渡的过渡模式(步骤S407)。在半自主驱动模式中,自主驱动基于来自操作者的操作来校正。换句话说,在半自主驱动模式中,医疗手术机械手300执行自主驱动。具体地,因为向医疗手术机械手300施加了第一外力,确定单元133确定要对医疗手术机械手300执行的操作校正。然后,选择单元134选择半自主驱动模式来执行操作校正。然后,过程进行至步骤S408。
控制单元130基于预定操作来校正医疗手术机械手300的操作(步骤S408)。具体地,获取单元131获取与用等于或大于第一外力并且小于第二外力的力对医疗手术机械手300进行的操作校正有关的操作信息。然后,机械手控制单元135校正医疗手术机械手300的操作。然后,过程进行至步骤S409。
控制单元130确定是否向医疗手术机械手300施加了等于或大于第一外力的外力(步骤S409)。当确定向医疗手术机械手300施加了等于或大于第一外力的外力时(在步骤S409,是),处理进行至步骤S410。当确定没有向医疗手术机械手300施加等于或大于第一外力的外力时(在步骤S409,否),处理进行至步骤S411。
当在步骤S409作出肯定确定时,控制单元130确定是否向医疗手术机械手300施加了等于或大于第二外力的外力(步骤S410)。当确定向医疗手术机械手300施加了等于或大于第二外力的外力时(在步骤S410,是),处理进行至步骤S403。在这种情况下,确定了来自操作者的干预,并且执行从自主驱动模式到手动操作模式的切换。当确定没有向医疗手术机械手300施加等于或大于第二外力的外力时(在步骤S410,否),过程进行至步骤S408。在这种情况下,当确定了等于或大于第一外力的力,但确定没有施加等于或大于第二外力的外力时,继续半自主驱动模式。
当在步骤S409作出否定确定时,控制单元130确定医疗手术机械手300附近的状况(步骤S411)。该处理与在图10中图示的步骤S13的处理相同,并且因此省略其描述。然后,过程进行至步骤S412。
控制单元130根据医疗手术机械手300附近的状况来选择在其中执行从半自主驱动模式到自主驱动模式的过渡的过渡模式(步骤S412)。具体地,因为没有向医疗手术机械手300施加第一外力,确定单元133确定对医疗手术机械手300进行的操作校正已经结束。然后,选择单元134选择自主驱动模式。然后,图22中图示的处理结束。
如上所述,在本实施利中,例如,当自主驱动的医疗手术机械手300的操作不同于医生预期的操作时,可以执行到半自主驱动模式的切换,以使自主驱动中的医疗手术机械手300的操作可以得到校正。相应地,对于医疗手术实现了安全性的提高。
<5.硬件配置>
诸如上述控制装置100的信息仪器由例如具有如图23所图示的配置的计算机1000来实现。图23是图示被配置为实现信息处理装置诸如控制装置100的功能的示例性计算机1000的硬件配置图。下文示例性地描述了根据实施例的控制装置100。计算机1000包括CPU1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入输出接口1600。计算机1000的部件通过总线1050相互连接。
CPU 1100基于被存储在ROM 1300或HDD 1400中的计算机程序来操作,并且控制每个部件。例如,CPU 1100将被存储在ROM 1300或HDD 1400中的计算机程序加载到RAM 1200上,并且运行与该计算机程序相对应的各类处理。
ROM 1300存储引导程序(诸如在启动计算机1000时由CPU 1100运行的基本输入输出系统(BIOS))和依赖于计算机1000的硬件的计算机程序等。
HDD 1400是非临时地记录由CPU 1100运行的计算机程序、被计算机程序使用的数据等的计算机可读记录介质。具体地,HDD 1400是记录根据本公开的信息处理程序作为示例性计算机程序数据1450的记录介质。
通信接口1500是计算机1000与外部网络1550(例如,互联网)连接所通过的接口。例如,通过通信接口1500,CPU 1100从另一装置接收数据并且向另一装置发送由CPU 1100生成的数据。
输入输出接口1600是计算机1000与输入输出装置1650连接所通过的接口。例如,CPU 1100通过输入输出接口1600从诸如键盘或鼠标的输入装置接收数据。另外,CPU 1100通过输入/输出接口1600向诸如显示器、扬声器或打印机的输出装置发送数据。输入输出接口1600可以用作读取被存储在预定记录介质中的计算机程序等所通过的介质接口。介质是例如光学记录介质诸如数字多功能碟(DVD)和相变可重写盘(PD)、磁光记录介质诸如磁光(MO)盘、磁带介质、磁记录介质或半导体存储器。
例如,当计算机1000用作根据实施例的控制装置100时,计算机1000的CPU 1100通过执行被加载到RAM 1200上的信息处理程序来实现控制单元130等的功能。HDD 1400存储根据本公开的信息处理程序和存储单元14中的数据。尽管CPU 1100从HDD 1400读取计算机程序数据1450进行执行,但是作为另一示例,可以通过外部网络1550从另一装置获取计算机程序。
(效果)
医疗手术支持系统1包括:医疗手术机械手300;感测单元132,该感测单元被配置为感测执行医疗手术机械手300的自主驱动模式与手动操作模式之间的切换的切换操作;确定单元133,该确定单元被配置为当感测单元132感测到切换操作时,确定其中布置有医疗手术机械手300的医疗手术室的状况;以及选择单元134,该选择单元被配置为根据由确定单元133确定的状况来选择切换顺序。
利用这种配置,可以根据医疗手术室的状况来选择切换自主驱动模式和手动操作模式所通过的合适顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
确定单元133可以确定医疗手术机械手300的状态,并且选择单元134可以根据医疗手术机械手300的状态来选择切换顺序。
利用这种配置,可以根据医疗手术机械手300的状态来选择切换自主驱动和手动操作所通过的合适顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定医疗手术机械手300是处于自主驱动模式还是手动操作模式。
利用这种配置,可以确定医疗手术机械手300是处于自主驱动模式还是手动操作模式。结果是,可以根据医疗手术机械手300是处于自主驱动模式还是手动操作模式来选择切换顺序。
确定单元133可以确定安装在医疗手术机械手300上的医疗仪器,并且选择单元134可以根据安装在医疗手术机械手300上的医疗仪器来选择切换顺序。
利用这种配置,可以根据安装在医疗手术机械手300上的医疗仪器的种类来选择合适的顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
确定单元133可以确定医疗手术机械手300是处于自主驱动模式还是手动操作模式,并且选择单元134可以根据安装在医疗手术机械手300上的医疗仪器以及医疗手术机械手300是处于自主驱动模式还是手动操作模式来选择切换顺序。
利用这种配置,可以根据安装在医疗手术机械手300上的医疗仪器的种类以及模式来选择合适的顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
当确定医疗仪器是摄像机或手术刀时,并且当医疗手术机械手300处于自主驱动模式时,选择单元134可以选择分阶段地执行到手动操作模式的切换所通过的切换顺序。
利用这种配置,当医疗仪器是摄像机或手术刀时,可以分阶段地执行从自主驱动模式到手动操作模式的切换。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
当确定医疗仪器是持针器时,并且当医疗手术机械手300处于自主驱动模式并且由持针器抓握的针被插入到患病部分时,选择单元134可以选择分阶段地执行到手动操作模式的切换所通过的切换顺序。
利用这种配置,当医疗仪器是持针器并且由持针器抓握的针被插入到患病部分时,可以分阶段地执行从自主驱动模式到手动操作模式的切换。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
当确定医疗仪器是牵开器时,并且当医疗手术机械手300处于自主驱动模式并且牵开器保持住器官时,选择单元134可以选择在医疗手术机械手300处生成伪重量所通过的切换顺序。
利用这种配置,当医疗仪器是牵开器并且牵开器保持住器官时,可以在生成伪重量之后分阶段地执行从自主驱动模式到手动操作模式的切换。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
在医疗手术机械手300处生成伪重量之后,选择单元134可以选择当接收到预定操作时执行到手动操作模式的切换所通过的切换顺序。
利用这种配置,当医疗仪器是牵开器并且牵开器保持住器官时,可以在生成伪重量之后在接收到预定操作的情况下分阶段地执行从自主驱动模式到手动操作模式的切换。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
医疗手术机械手300可以包括臂单元(310、320、330),该臂单元至少部分地可弯曲并且能够支撑医疗仪器。
利用这种装置,本技术可以被应用于包括臂单元的医疗手术机械手300。结果是,可以实现通用性的提高。
确定单元133可以确定已经对医疗手术机械手300执行了切换操作的操作者的状态,并且选择单元134可以根据操作者的状态来选择切换顺序。
利用这种配置,可以根据医疗手术机械手300的操作者的状态来选择合适的顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定操作者的属性,并且选择单元134可以根据操作者的属性来选择切换顺序。
利用这种配置,可以根据医疗手术机械手300的操作者的属性来选择合适的顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定操作者是否是医生,并且选择单元134可以根据操作者是否是医生来选择切换顺序。
利用这种配置,可以根据医疗手术机械手300的操作者是否是医生来选择合适的顺序。相应地,当切换医疗手术机械手300的自主驱动模式和手动操作模式时,可以根据操作者是否是医生来选择合适的切换顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定操作者的生物信息的记录,并且选择单元134可以根据操作者的生物信息的记录来选择切换顺序。
利用这种配置,可以根据医疗手术机械手300的操作者的生物信息来选择合适的顺序。相应地,当切换医疗手术机械手300的自主驱动模式和手动操作模式时,可以根据操医疗手术机械手300的疲劳程度等来选择合适的切换顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定在医疗手术室中执行的医疗手术的状况,并且选择单元134可以根据在医疗手术室中执行的医疗手术的状况来选择切换顺序。
利用这种配置,可以根据医疗手术的状况来选择合适的顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动和手动操作。
确定单元133可以确定在医疗手术室中执行的医疗手术的进展程度,并且选择单元134可以根据在医疗手术室中执行的医疗手术的进展程度来选择切换顺序。
利用这种配置,可以根据医疗手术的进展程度来选择合适的顺序。相应地,可以在切换医疗手术机械手300的自主驱动模式和手动操作模式,同时例如医疗手术比预期延迟时选择合适的切换顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
选择单元134可以根据在医疗手术室中执行的医疗手术的进展程度来选择具有不同过渡时间的切换顺序。
利用这种配置,当医疗手术的进展程度被延迟并且要在短时间内执行治疗时,可以选择时间比正常模式短的过渡模式。结果是,对于医疗手术实现了安全性的提高。
确定单元133可以确定手术野中存在出血,并且选择单元134可以根据手术野中存在出血来选择切换顺序。
利用这种配置,可以根据患者存在出血来选择合适的顺序。相应地,可以在切换医疗手术机械手300的自主驱动模式和手动操作模式,同时例如患者在出血时选择合适的切换顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定医生是否在医疗手术机械手300附近,并且选择单元134可以根据医生是否在医疗手术机械手300附近来选择切换顺序。
利用这种配置,可以根据医生是否在医疗手术机械手300附近来选择不同的切换顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
当确定医生不在医疗手术机械手300附近并且医疗手术机械手300处于自主驱动模式时,选择单元134可以选择使医疗手术机械手300在手术野中止血所通过的切换顺序。
利用这种配置,当需要止血但医生却不在医疗手术机械手300附近时,可以选择使医疗手术机械手300自主止血所通过的切换顺序。结果是,可以在医疗手术中实现安全性的提高。
确定单元133可以确定是否向医疗手术机械手300施加了否超过预定阈值的外力,并且选择单元134可以根据是否向医疗手术机械手300施加了否超过预定阈值的外力来选择切换顺序。
利用这种配置,可以根据向医疗手术机械手300施加的外力的幅值来选择合适的顺序。相应地,例如,当以自主驱动模式驱动的医疗手术机械手300的操作不同于医生预期的操作时,可以强制执行到手动操作模式的切换。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定在医疗手术室中执行的医疗手术的状况,并且根据医疗手术的状况来改变阈值。
利用这种配置,可以根据医疗手术的状况来切换改变切换顺序所基于的外力阈值。相应地,当没有向医疗手术机械手300施加大的力时,通过降低阈值,可以强制执行从自主驱动模式到手动操作模式的切换。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
确定单元133可以确定是否施加了用于校正医疗手术机械手300的操作的外力,并且当确定单元133确定施加了用于校正处于自主驱动模式的医疗手术机械手300的操作的外力时,选择单元134可以选择用于校正医疗手术机械手300的操作的半自主驱动模式。
利用这种配置,可以手动校正自主驱动的医疗手术机械手300的操作。相应地,当自主驱动的医疗手术机械手300的操作不同于医生预期的操作时,医生可以手动校正医疗手术机械手300的操作。结果是,实现了安全性的提高。
控制装置100包括:感测单元132,该感测单元被配置为感测执行医疗手术机械手300的自主驱动模式与手动操作模式之间的切换的切换操作;确定单元133,该确定单元被配置为当感测单元132感测到切换操作时,确定其中布置有医疗手术机械手300的医疗手术室的状况;以及选择单元134,该选择单元被配置为根据由确定单元133确定的状况来选择切换顺序。
利用这种配置,可以根据医疗手术室的状况来选择切换自主驱动模式和手动操作模式所通过的合适顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
控制方法感测执行医疗手术机械手300的自主驱动模式与手动操作模式之间的切换的切换操作;当感测到对医疗手术机械手进行的切换操作时,确定其中布置有医疗手术机械手300的医疗手术室的状况;以及根据所确定的状况来选择切换顺序。
利用这种方法,可以根据医疗手术室的状况来选择切换自主驱动模式和手动操作模式所通过的合适顺序。结果是,可以安全地切换医疗手术机械手300的自主驱动模式和手动操作模式。
如现在将说明的,计算机1000可以可选地使用人工智能(AI)来确定何时在较自主的模式与不太自主的模式之间进行改变,或者反之亦然。首先,通过参考图24,将说明计算机1000的配置。
计算机1000可以包括数据提取网络2000和数据分析网络3000。进一步地,如图25所图示,数据提取网络2000可以包括至少一个第一特征提取层2100、至少一个感兴趣区域池化(ROI pooling)层2200、至少一个第一输出层2300和至少一个数据向量化层2400。同样如图26所图示,数据分析网络3000可以包括至少一个第二特征提取层3100和至少一个第二输出层3200。
下面,将呈现计算何时确定模式转换的具体过程。
首先,为了对示例进行图示,假设计算机1000从布置在医疗手术机械手300的远端上的摄像机获取图像。受试体图像可以对应于从医疗手术机械手300前的远端拍摄的手术场景,包括手术场景的图像,该手术场景包括手术部位,其中至少有一些出血组织和受试体身体的邻近手术场景而没有出血组织的部分。
在获取受试体图像(图像和/或视频)之后,为了生成要输入到数据分析网络3000的源向量,计算机1000可以指示数据提取网络2000生成源向量,该源向量包括(i)表观出血状况(出血程度),其存在于受试体身体的不包括手术伤口的第一部分之间,和(ii)手术部位处的表观出血量,具有可见的暴露血液体积。出血量的当前示例只是AI引擎如何被用来辅助模式控制情形的示例。它可以以类似的方式用于其他情形,诸如知道是否在手术刀操作、针操作、生成伪重量、摄像机移动、机械手移动等中切换模式。
为了生成源向量,计算机1000可以指示数据提取网络2000的至少一部分检测手术部位和受试体图像上相对于手术部位的受试体身体的非患病部。
具体地,计算机1000可以指示第一特征提取层2100给受试体图像应用至少一个第一卷积运算,从而生成至少一个受试体特征图。此后,计算机1000可以指示ROI池化层2200通过受试体特征图谱上的池化区来生成一个或多个ROI池化的特征图,这些池化区对应于从与数据提取网络2000交互工作的区域候选网络(RPN)获取的受试体图像上的ROI。并且,计算机1000可以指示第一输出层2300生成身体的邻近手术伤口的至少一个估计非患病(无血)部和手术部位处的至少一个估计血液量。也就是说,第一输出层2300可以通过将至少一个第一全连接(FC)操作应用于ROI池化的特征图来对受试体图像执行分类和回归,以生成估计非患病组织定位和具有暴露血液(未被包含在静脉结构中)的伤口部位的估计部中的每一者,包括关于每个边界框(bounding box)的坐标的信息。在此,边界框可以包括无血部位和含血部位。
在此检测过程完成之后,通过使用受试体的估计无血部和手术伤口中的估计血液量,计算机1000可以指示数据向量化层2400从含血伤口部位的下边界的y轴坐标中减去地面上边界的y轴坐标,以生成伤口部位中的表观暴露血液量,以及将伤口部位的垂直高度与伤口部位的水平宽度相乘,以生成其中在图像被拍摄时手术中可能存在一定量的暴露血液的区域。
在获取了表观高度和表观尺寸之后,计算机1000可以指示数据向量化层2400生成至少一个源向量,该源向量包括表观高度和表观尺寸作为其至少一部分分量。
然后,计算机1000可以指示数据分析网络3000通过使用源向量来计算估计血液量。在此,数据分析网络3000的第二特征提取层3100可以对源向量应用第二卷积运算以生成至少一个源特征图,并且数据分析网络3000的第二输出层3200可以通过将至少一个FC操作应用于源特征图来执行回归,从而计算其中可能存在一定量的暴露血液的暴露组织的估计面积。
如上所示,计算机1000可以包括两个神经网络,即数据提取网络2000和数据分析网络3000,它们是卷积神经网络(CNN)的示例。这两个神经网络被训练以正确地执行这些过程。下面,将参考图25和图26来说明如何训练这两个神经网络。
首先,通过参考图25,数据提取网络2000可能已经通过使用以下各项得到了训练:(i)从安装于用于训练的医疗手术机械手的摄像机拍摄的与用于训练的受试体手术场景相对应的多个训练图像,包括其包括针对正在执行的手术的种类和伤口区域的不同程度的暴露血液的图像和邻近用于训练的手术部位的它们的对应无血组织部位的图像,以及(ii)多个它们的对应GT无血部位定位和GT手术部位。更具体地,数据提取网络2000可能已经对训练图像应用了前述操作,并且已经生成了它们的对应估计无血定位和具有不同程度的暴露血液的手术部位定位。然后,可能已经参考了(i)每个估计的无血定位和每个它们的对应GT无血定位的每个无血对,以及(ii)每个估计的手术部位定位和每个GT手术部位定位的每个手术部位对,以便通过使用任何损失生成算法例如smooth-L1损失算法和交叉熵损失算法来生成至少一个伤口定位损失和至少一个暴露血液量损失。此后,通过参考伤口定位损失和血液量损失,可能已经执行了反向传播以学习数据提取网络2000的至少部分参数。在该过程中,基于上面讨论的规则来训练AI引擎,使得在数据提取网络2000中的各个层的节点之间确定了加权参数,以用于随后从要分析的图像(非训练图像)中提取特征时使用。然后,通过将手术部位的所拍摄的图像应用于AI引擎,AI引擎可以被用于特定手术,因此可以估计暴露血液(作为特征),并且基于该估计(即,手术部位中暴露血液的程度),系统可以对模式控制设置精确的程度。例如,对于高于平均水平的暴露血液量,系统可以选择不从不太自主的模式切换到较自主的模式,因为更大程度的暴露血液可能指示手术比正常手术风险更大。可以类似地训练RPN的其他参数。
可能已经通过使用基于规则的算法而不是神经网络算法来实施了数据向量化层2400。在这种情况下,数据向量化层2400可能不需要被训练,并且可能只能够通过使用预先存储的其设定来正确地执行。作为示例,第一特征提取层2100、ROI池化层2200和第一输出层2300可以通过将已知的迁移学习应用于诸如VGG或ResNet等的现有受试体检测网络来获取。
其次,通过参考图26,数据分析网络3000可能已经通过使用以下各项得到了训练:(i)多个用于训练的源向量,包括用于训练的表观手术部位和用于训练的表观尺寸作为它们的分量,以及(ii)多个它们的对应GT出血量。更具体地,数据分析网络3000可能已经将前述操作应用于用于训练的源向量,从而计算它们的用于训练的对应估计出血量。然后,可能已经参考了每个估计手术部位和每个它们的对应GT出血量的每个出血对,以便通过使用任何损失算法来生成至少一个出血损失。此后,通过参考出血损失,可以执行反向传播来学习数据分析网络3000的至少部分参数。
在执行此训练过程之后,计算机1000可以通过使用包括从手术中拍摄的场景的受试体图像来适当地计算估计出血量。
以下,将呈现另一实施例。在该实施例中,源向量还包括倾斜角作为其附加分量,该倾斜角是已经被用于拍摄受试体图像(例如,外科患者)的摄像机的光轴与患者的垂直轴之间的角度。此外,为了计算要被包括在源向量中的倾斜角,第二实施例的数据提取网络可以略不同于第一实施例的数据提取网络。为了使用第二实施例,应假设提供了关于摄像机的主点和焦距的信息。
具体地,在另一实施例中,数据提取网络2000可能已经被训练以进一步检测受试体图像中的某些类型的组织(例如,器官,或者诸如动脉上的手术的那种手术),从而检测受试体图像的至少一个消失点。在此,组织特征可以表示代表受试体图像中的手术部位的边界的独特组织,并且消失点可以表示通过延伸边界线而生成的延长线聚集的位置。作为示例,通过由第一特征提取层2100、ROI池化层2200和第一输出层2300执行的过程,可以检测手术部位的边缘。
在检测到组织特征之后,数据向量化层2400可以找到至少一个聚集了最多延长线的点,并且确定其作为消失点。此后,数据向量化层2400可以通过使用以下公式,参考关于摄像机的消失点、主点和焦距的信息来计算倾斜角。
[公式1]
θtilt=atan2(vy-cy,fy)
在该公式中,vy可以表示消失点的y轴坐标,cy可以表示主点的y轴坐标,以及fy可以表示y轴焦距。
在计算了倾斜角之后,数据向量化层2400可以将倾斜角设定为源向量的分量,并且数据分析网络3000可以使用此源向量来计算伤口的估计范围和出血量。在这种情况下,数据分析网络3000可能已经通过使用用于训练的源向量得到了训练,该源向量附加地包括用于训练的倾斜角。
作为另一实施例,源向量还可以包括实际距离作为源向量的附加分量,该实际距离是现实世界中摄像机与手术部位之间的距离。对于该实施例,假设提供了摄像机高度,该高度是现实世界中摄像机与摄像机正下方的参考(例如,手术台)之间的距离。该实施例与上面讨论的实施例相同,直到第一输出层2300生成倾斜角。在下文中,将说明在生成了倾斜角之后执行的过程。
计算机1000可以指示数据分析网络3000通过参考关于摄像机高度、倾斜角、手术伤口的下边界的坐标的信息、通过使用以下公式来计算实际距离。
[公式2]
Figure BDA0003421409890000621
在该公式中,x和y可以表示手术部位下边界的坐标,fx和fy可以表示每个轴的焦距,cx和cy可以表示主点的坐标,以及h可以表示摄像机高度。用于计算实际距离的此公式的用法是已知的,因此省略进一步的说明。可替代地,或补充地,该系统还使用飞行时间(ToF)传感器来测量距离。
在计算了实际距离之后,数据向量化层2400可以将实际距离设定为源向量的附加分量,并且数据分析网络3000可以使用此源向量来计算伤口的估计尺寸和相关联的血液量。此外,在这种情况下,数据分析网络3000可能已经通过使用用于训练的源向量得到了训练,该源向量附加地包括用于训练的实际距离。
对于最类似于第一实施例的另一实施例,从存储关于受试体手术程序(包括受试体手术程序)的信息的受试体手术数据库中获取的一些信息可以被用于生成源向量。也就是说,计算机1000可以从数据库中获取关于特性的结构信息(例如,伤口尺寸、手术定位、暴露器官、以及受试体手术的正常和异常出血量等)。在此,可以通过数据向量化层2400向源向量添加至少一个特性信息,并且已经通过使用用于训练的、附加地包括对应信息(即,至少一个特性信息)的源向量得到了训练的数据分析网络3000可以使用此源向量来计算估计出血量,该估计出血量继而被用来基于检测到的血液与该类手术条件的预期血液的阈值比较来触发控制模式的改变。
作为另一实施例,通过使用任何早前的实施例生成的源向量可以按通道级联到已经通过对其应用图像分段操作生成的受试体图像或其对应的受试体分段特征图,从而生成级联源特征图,并且数据分析网络3000可以使用级联源特征图来计算估计血液量。图27示出了级联源特征图的示例性配置。在这种情况下,数据分析网络3000可能已经通过使用多个用于训练的、包括用于训练的源向量的级联源特征图,而不是仅使用用于训练的源向量得到了训练。通过使用本实施例,更多的信息可以被输入到计算估计暴露血液量的过程中,因此它可以更精确。在此,如果受试体图像被直接用于生成级联源特征图,则它可能要求太多的计算资源,因此受试体分段特征图可以被用于减少计算资源的使用。
以上描述是在假设已经从被受试体的前顶部拍摄了受试体图像的情况下来说明的。然而,上述实施例可以被调整以被应用于从受试体的其他侧拍摄的受试体图像。
本说明书中描述的效果仅仅是示例性的而非限制性的,并且可以包括任何其他效果。
本技术可以具有如下配置。
(1)
根据一个实施例,一种医疗工具控制系统,包括:
可拆卸地夹持医疗工具的医疗手术机械手;
电路,被配置为:
从外部装置接收输入信号,
对所述输入信号的内容进行评估,以便确定从所述医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,所述第二控制模式具有比所述第一控制模式更大的自主程度,以及
在所述第二控制模式下,生成控制信号来驱动所述医疗手术机械手的移动。
(2)
根据一个方面,根据(1)所述的医疗工具控制系统,还包括:
可控致动器,基于来自所述电路的所述控制信号来驱动所述医疗手术机械手的至少一部分的移动。
(3)
根据另一方面,根据(1)或(2)所述的医疗工具控制系统,其中,所述外部装置包括传感器,所述传感器包括图像传感器、原点传感器、运动传感器、麦克风、加速度传感器、力传感器和压力传感器中的至少一者。
(4)
根据(1)至(3)中任意一项所述的医疗工具控制系统,其中,
所述输入信号包括关于所述医疗工具的相对于预定位置的附近的信息,并且
所述电路被配置为基于所述医疗工具的相对于所述预定位置的附近来确定所述操作模式的改变。
(5)
根据(1)至(4)中任意一项所述的医疗工具控制系统,其中,所述电路被配置为基于所述医疗手术机械手是否已经处于所述第二操作模式来确定所述操作模式的改变,所述第二操作模式是自主操作模式。
(6)
根据(1)至(5)中任意一项所述的医疗工具控制系统,其中,所述电路被配置为根据哪个医疗工具被附接到所述医疗手术机械手来确定所述操作模式的改变。
(7)
根据(6)所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持摄像机,并且
所述电路被进一步配置为响应于在预定持续时间内向所述摄像机和所述医疗手术机械手中的至少一者施加了外力而从所述第二控制模式切换到所述第一控制模式。
(8)
根据(6)所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持手术刀,并且
所述电路被进一步配置为响应于在预定持续时间内向所述手术刀和所述医疗手术机械手中的至少一者施加了外力而从所述第二控制模式切换到所述第一控制模式。
(9)
根据(6)所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持针,并且
所述电路被进一步配置为响应于以下中的至少一者而从所述第二控制模式切换到所述第一控制模式:
在预定持续时间内向所述针和所述医疗手术机械手中的至少一者施加了外力,或
所述针被插入到受试体中或从所述受试体中取出。
(10)
根据(6)所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持牵开器,并且
所述电路被配置为响应于确定所述牵开器正保持住器官而控制所述医疗手术机械手产生伪重量。
(11)
根据(1)至(10)中任意一项所述的医疗工具控制系统,其中,所述医疗手术机械手包括关节型臂。
(12)
根据(1)至(11)中任意一项所述的医疗工具控制系统,其中,所述电路被进一步配置为根据所述医疗手术机械手的操纵者是否是医生来确定所述操作模式的改变,所述输入信号包括关于所述操纵者的信息。
(13)
根据(1)至(12)中任意一项所述的医疗工具控制系统,其中,所述电路被进一步配置为根据在执行的手术的状况来确定所述操作模式的改变。
(14)
根据(13)所述的医疗工具控制系统,其中,在执行的所述手术的所述状况包括所述手术的进展程度。
(15)
根据(13)所述的医疗工具控制系统,其中,所述电路被配置为根据所述进展程度来改变所述操作模式被改变为所述第二控制模式的时间,或者所述操作模式从所述第二控制模式变回所述第一控制模式的时间。
(16)
根据(13)所述的医疗工具控制系统,其中,所述电路被配置为根据检测到的手术部位处的出血量来改变所述操作模式被改变为所述第二控制模式的时间,或者所述操作模式从所述第二控制模式变回所述第一控制模式的时间。
(17)
根据(1)至(16)中任意一项所述的医疗工具控制系统,其中,
所述电路被进一步配置为响应于向所述医疗手术机械手或所述医疗工具施加的外力超过预定阈值而切换操作模式。
(18)
根据(17)所述的医疗工具控制系统,其中,
所述预定阈值根据手术的状况来改变。
(19)
根据(1)至(18)中任意一项所述的医疗工具控制系统,其中,所述电路被配置为响应于向所述医疗手术机械手或所述医疗工具施加的以修改所述第二控制模式下的所述医疗手术机械手的移动的外力而切换回所述第一控制模式,以修改所述医疗手术机械手的移动。
(20)
根据(1)至(19)中任意一项所述的医疗工具控制系统,其中,
所述电路被配置为实施所述操作模式的改变作为在预定时间段发生的过渡过程的一部分。
(21)
根据(1)所述的医疗工具控制系统,其中,
所述第二控制模式具有比所述第一控制模式更大的自主程度。
(22)
根据(1)所述的医疗工具控制系统,其中,
所述第一控制模式具有比所述第二控制模式更大的自主程度。
(23)
根据第二实施例,描述了一种用于可拆卸地夹持医疗工具的医疗手术机械手的控制器,所述控制器包括:
电路,所述电路被配置为:
从外部装置接收输入信号,
对所述输入信号的内容进行评估,以确定从所述医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,所述第二控制模式具有比所述第一控制模式更大的自主程度,以及
在所述第二控制模式下,生成控制信号来驱动所述医疗手术机械手的移动。
(24)
根据第三实施例,描述了一种具有指令的非暂时性计算机可读存储器,当该指令由处理器运行时使处理器执行方法,所述方法包括:
从外部装置接收输入信号;
利用电路对所述输入信号的内容进行评估,并且确定从医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,所述第二控制模式具有比所述第一控制模式更大的自主程度;以及
在所述第二控制模式下,生成控制信号来驱动所述医疗手术机械手的移动。
可选地,本技术可以具有如下配置。
(1)
一种医疗手术支持系统,包括:
医疗手术机械手;
感测单元,被配置为感测执行所述医疗手术机械手的自主驱动模式与手动操作模式之间的切换的切换操作;
确定单元,被配置为当所述感测单元感测到所述切换操作时,确定其中布置有所述医疗手术机械手的医疗手术室的状况;以及
选择单元,所述选择单元被配置为根据由所述确定单元确定的所述状况来选择切换顺序。
(2)
根据(1)所述的医疗手术支持系统,其中,
所述确定单元确定所述医疗手术机械手的状态,并且所述选择单元根据所述医疗手术机械手的所述状态来选择切换顺序。
(3)
根据(1)或(2)所述的医疗手术支持系统,其中,所述确定单元确定所述医疗手术机械手是处于所述自主驱动模式还是所述手动操作模式。
(4)
根据(1)或(2)所述的医疗手术支持系统,其中,
所述确定单元确定安装在所述医疗手术机械手上的医疗仪器,并且
所述选择单元根据安装在所述医疗手术机械手上的所述医疗仪器来选择切换顺序。
(5)
根据(4)所述的医疗手术支持系统,其中,
所述确定单元确定所述医疗手术机械手是处于所述自主驱动模式还是所述手动操作模式,并且
所述选择单元根据安装在所述医疗手术机械手上的医疗仪器并且根据所述医疗手术机械手是处于所述自主驱动模式还是所述手动操作模式来选择切换顺序。
(6)
根据(5)所述的医疗手术支持系统,其中,
当确定所述医疗仪器是摄像机或手术刀时,并且当所述医疗手术机械手处于所述自主驱动模式时,
所述选择单元选择分阶段地执行到所述手动操作模式的切换所通过的切换顺序。
(7)
根据(5)所述的医疗手术支持系统,其中,
当确定所述医疗仪器是持针器时,并且当所述医疗手术机械手处于所述自主驱动模式并且由所述持针器抓握的针被插入到患病部分中时,
所述选择单元选择分阶段地执行到所述手动操作模式的切换所通过的切换顺序。
(8)
根据(5)所述的医疗手术支持系统,其中,
当确定所述医疗仪器是牵开器时,并且当所述医疗手术机械手处于所述自主驱动模式并且所述牵开器保持住器官时,
所述选择单元选择在所述医疗手术机械手处生成伪重量所通过的切换顺序。
(9)
根据(8)所述的医疗手术支持系统,其中,
所述选择单元选择在所述医疗手术机械手处生成伪重量之后,在接收到预定操作时执行到所述手动操作模式的切换所通过的切换顺序。
(10)
根据(1)至(9)中任意一项所述的医疗手术支持系统,其中,所述医疗手术机械手包括至少部分地可弯曲并且能够支撑所述医疗仪器的臂单元。
(11)
根据(1)至(10)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定已经对所述医疗手术机械手执行了所述切换操作的操作者的状态,并且
所述选择单元根据所述操作者的所述状态来选择切换顺序。
(12)
根据(11)所述的医疗手术支持系统,其中,
所述确定单元确定所述操作者的属性,并且
所述选择单元根据所述操作者的所述属性来选择切换顺序。
(13)
根据(11)或(12)所述的医疗手术支持系统,其中,
所述确定单元确定所述操作者是否是医生,并且
所述选择单元根据所述操作者是否是医生来选择切换顺序。
(14)
根据(11)至(13)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定所述操作者的生物信息记录,并且
所述选择单元根据所述操作者的所述生物信息记录来选择切换顺序。
(15)
根据(1)至(14)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定在所述医疗手术室中执行的医疗手术的状况,并且
所述选择单元根据在所述医疗手术室中执行的所述医疗手术的所述状况来选择切换顺序。
(16)
根据(1)至(15)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定在所述医疗手术室中执行的所述医疗手术的进展程度,并且
所述选择单元根据在所述医疗手术室中执行的所述医疗手术的所述进展程度来选择切换顺序。
(17)
根据(16)所述的医疗手术支持系统,其中,所述选择单元根据在所述医疗手术室中执行的所述医疗手术的所述进展程度来选择具有不同过渡时间的切换顺序。
(18)
根据(1)至(17)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定手术野中存在出血,并且
所述选择单元根据所述手术野中存在出血在来选择切换顺序。
(19)
根据(1)至(18)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定医生是否在所述医疗手术机械手附近,并且
所述选择单元根据医生是否在所述医疗手术机械手附近来选择切换顺序。
(20)
根据(19)所述的医疗手术支持系统,其中,当确定医生不在所述医疗手术机械手附近并且所述医疗手术机械手处于所述自主驱动模式时,所述选择单元选择使所述医疗手术机械手在所述手术野中止血所通过的切换顺序。
(21)
根据(1)或(20)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定向所述医疗手术机械手施加的外力是否超过预定阈值,并且
所述选择单元根据向所述医疗手术机械手施加的所述外力是否超过所述预定阈值来选择切换顺序。
(22)
根据(21)所述的医疗手术支持系统,其中,所述确定单元确定在所述医疗手术室中执行的医疗手术的状况,并且根据所述医疗手术的所述状况来改变所述阈值。
(23)
根据(1)至(22)中任意一项所述的医疗手术支持系统,其中,
所述确定单元确定是否施加了用于校正所述医疗手术机械手的操作的外力,并且
当所述确定单元确定施加了用于校正所述自主驱动模式下的所述医疗手术机械手的操作的外力时,所述选择单元选择用于校正所述医疗手术机械手的操作的半自主驱动模式。
(24)
一种控制装置,包括:
感测单元,被配置为感测对医疗手术机械手执行自主驱动模式与手动操作模式之间的切换的切换操作;
确定单元,被配置为当所述感测单元感测到所述切换操作时,确定其中布置有所述医疗手术机械手的医疗手术室的状况;以及
选择单元,被配置为根据由所述确定单元确定的所述状况来选择切换顺序。
(25)
一种控制方法,包括:
感测对医疗手术机械手执行自主驱动模式与手动操作模式之间的切换的切换操作;
当感测到对所述医疗手术机械手进行的所述切换操作时,确定其中布置有所述医疗手术机械手的医疗手术室的状况;以及
根据所确定的状况来选择切换顺序。
参考符号列表
1 医疗手术支持系统
100 控制装置
110 通信单元
120 存储单元
130 控制单元
131 获取单元
132 感测单元
133 确定单元
134 选择单元
135 机械手控制单元
136 通信控制器单元
1000 计算机
2000 数据提取网络
2100 第一特征提取层
2200 感兴趣区域池化层
2300 第一输出层
2400 数据向量化层
3000 数据分析网络
3100 第二特征提取层
3200 第二输出层。

Claims (24)

1.一种医疗工具控制系统,包括:
可拆卸地夹持医疗工具的医疗手术机械手;以及
电路,被配置为:
从外部装置接收输入信号,
对所述输入信号的内容进行评估,以便确定从所述医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,所述第一控制模式和所述第二控制模式具有不同的自主程度,并且
在所述第一控制模式和所述第二控制模式中的至少一个模式下,所述电路生成控制信号来驱动所述医疗手术机械手的移动。
2.根据权利要求1所述的医疗工具控制系统,还包括:
可控致动器,基于来自所述电路的所述控制信号来驱动所述医疗手术机械手的至少一部分的移动。
3.根据权利要求1所述的医疗工具控制系统,其中,所述外部装置包括传感器,所述传感器包括图像传感器、定位传感器、编码器、运动传感器、麦克风、加速度传感器、力传感器和压力传感器中的至少一者。
4.根据权利要求1所述的医疗工具控制系统,其中,
所述输入信号包括关于所述医疗工具的相对于预定位置的附近的信息,并且
所述电路被配置为基于所述医疗工具的相对于所述预定位置的附近来确定所述操作模式的改变。
5.根据权利要求1所述的医疗工具控制系统,其中,所述电路被配置为基于所述医疗手术机械手是否已经处于所述第二操作模式来确定到所述第一控制模式的所述操作模式的改变,所述第二控制模式是自主操作模式。
6.根据权利要求1所述的医疗工具控制系统,其中,所述电路被配置为根据哪个医疗工具被附接到所述医疗手术机械手来确定所述操作模式的改变。
7.根据权利要求6所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持摄像机,并且
所述电路被进一步配置为响应于在预定持续时间内向所述摄像机和所述医疗手术机械手中的至少一者施加了外力而从所述第二控制模式切换到所述第一控制模式,所述第二控制模式具有比所述第一控制模式更大的自主程度。
8.根据权利要求6所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持手术刀,并且
所述电路被进一步配置为响应于在预定持续时间内向所述手术刀和所述医疗手术机械手中的至少一者施加了外力而从所述第二控制模式切换到所述第一控制模式,所述第二控制模式具有比所述第一控制模式更大的自主程度。
9.根据权利要求6所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持针,并且
所述电路被进一步配置为响应于以下中的至少一者而从所述第二控制模式切换到所述第一控制模式:
在预定持续时间内向所述针和所述医疗手术机械手中的至少一者施加了外力,或
所述针被插入到受试体中或从所述受试体中取出,所述第二控制模式具有比所述第一控制模式更大的自主程度。
10.根据权利要求6所述的医疗工具控制系统,其中,
所述医疗手术机械手被配置为夹持牵开器,并且
所述电路被进一步配置为控制所述医疗手术机械手产生伪重量。
11.根据权利要求6所述的医疗工具控制系统,其中,所述医疗手术机械手包括关节型臂。
12.根据权利要求1所述的医疗工具控制系统,其中,所述电路被进一步配置为根据所述医疗手术机械手的操纵者是否是医生来确定所述操作模式的改变,所述输入信号包括关于所述操纵者的信息。
13.根据权利要求1所述的医疗工具控制系统,其中,所述电路被进一步配置为根据在执行的手术的状况来确定所述操作模式的改变。
14.根据权利要求13所述的医疗工具控制系统,其中,在执行的所述手术的所述状况包括所述手术的进展程度。
15.根据权利要求13所述的医疗工具控制系统,其中,所述电路被配置为根据所述进展程度来改变所述操作模式被改变为所述第二控制模式的时间,或者所述操作模式从所述第二控制模式变回所述第一控制模式的时间,所述第二控制模式具有比所述第一控制模式更大的自主程度。
16.根据权利要求13所述的医疗工具控制系统,其中,所述电路被配置为根据检测到的手术部位处的出血量来改变所述操作模式被改变的时间。
17.根据权利要求1所述的医疗工具控制系统,其中,
所述电路被进一步配置为响应于向所述医疗手术机械手或所述医疗工具施加的外力超过预定阈值而切换操作模式。
18.根据权利要求17所述的医疗工具控制系统,其中,
所述预定阈值根据手术的状况来改变。
19.根据权利要求1所述的医疗工具控制系统,其中,所述电路被配置为响应于向所述医疗手术机械手或所述医疗工具施加的以修改所述第二控制模式下的所述医疗手术机械手的移动的外力而切换到所述第一控制模式,以修改所述医疗手术机械手的移动,所述第二控制模式具有比所述第一控制模式更大的自主程度。
20.根据权利要求1所述的医疗工具控制系统,其中,
所述电路被配置为实施所述操作模式的改变作为在预定时间段发生的过渡过程的一部分。
21.根据权利要求1所述的医疗工具控制系统,其中,
所述第二控制模式具有比所述第一控制模式更大的自主程度。
22.根据权利要求1所述的医疗工具控制系统,其中,
所述第一控制模式具有比所述第二控制模式更大的自主程度。
23.一种用于可拆卸地夹持医疗工具的医疗手术机械手的控制器,所述控制器包括:
电路,所述电路被配置为:
从外部装置接收输入信号,
对所述输入信号的内容进行评估,以确定从所述医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,所述第一控制模式和所述第二控制模式具有不同的自主程度,以及
在所述第一控制模式和所述第二控制模式中的至少一个模式下,所述电路生成控制信号来驱动所述医疗手术机械手的移动。
24.一种具有指令的非暂时性计算机可读存储器,当所述指令由处理器运行时使所述处理器执行方法,所述方法包括:
从外部装置接收输入信号;
利用电路对所述输入信号的内容进行评估,并且确定从医疗手术机械手的第一控制模式到第二控制模式的操作模式的改变,其中,所述第一控制模式和所述第二控制模式具有不同的自主程度,以及
在所述第一控制模式和所述第二控制模式中的至少一个模式下,所述电路生成控制信号来驱动所述医疗手术机械手的移动。
CN202080045194.0A 2019-06-27 2020-06-08 医疗工具控制系统、控制器和非暂时性计算机可读存储器 Pending CN113993478A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-120349 2019-06-27
JP2019120349A JP7334499B2 (ja) 2019-06-27 2019-06-27 手術支援システム、制御装置及び制御方法
PCT/JP2020/022479 WO2020261956A1 (en) 2019-06-27 2020-06-08 Medical tool control system, controller, and non-transitory computer readable storage

Publications (1)

Publication Number Publication Date
CN113993478A true CN113993478A (zh) 2022-01-28

Family

ID=71738262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045194.0A Pending CN113993478A (zh) 2019-06-27 2020-06-08 医疗工具控制系统、控制器和非暂时性计算机可读存储器

Country Status (5)

Country Link
US (1) US20220218427A1 (zh)
EP (1) EP3989867A1 (zh)
JP (1) JP7334499B2 (zh)
CN (1) CN113993478A (zh)
WO (1) WO2020261956A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025700A (zh) * 2019-06-28 2022-02-08 奥瑞斯健康公司 控制台叠加以及其使用方法
US20210401527A1 (en) * 2020-06-30 2021-12-30 Auris Health, Inc. Robotic medical systems including user interfaces with graphical representations of user input devices
US12023044B2 (en) 2020-08-10 2024-07-02 Kunnskap Medical, LLC Endoscopic system with medium management system control
US11893717B2 (en) * 2021-02-26 2024-02-06 Adobe Inc. Initializing a learned latent vector for neural-network projections of diverse images
CA3191818A1 (en) * 2022-03-04 2023-09-04 Sanctuary Cognitive Systems Corporation Robots, tele-operation systems, computer program products, and methods of operating the same
JP7360762B1 (ja) * 2022-03-28 2023-10-13 リバーフィールド株式会社 手術支援装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314312B1 (en) * 1999-03-30 2001-11-06 Siemens Aktiengesellschaft Method and system for determining movement of an organ or therapy region of a patient
US20070018958A1 (en) * 2003-10-24 2007-01-25 Tavakoli Seyed M Force reflective robotic control system and minimally invasive surgical device
US20140005684A1 (en) * 2012-06-29 2014-01-02 Children's National Medical Center Automated surgical and interventional procedures
CN103607941A (zh) * 2011-05-13 2014-02-26 直观外科手术操作公司 用于操纵医疗器械通过连接的人体通道的具有多种操作模式的医疗系统
US20140142592A1 (en) * 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Surgical robot and surgical robot control method
WO2014151550A2 (en) * 2013-03-15 2014-09-25 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
WO2016025440A1 (en) * 2014-08-12 2016-02-18 Intuitive Surgical Operations, Inc. Detecting uncontrolled movement
CN105592818A (zh) * 2013-10-04 2016-05-18 史赛克公司 用于与对象的相互作用的系统和方法
US20180092706A1 (en) * 2016-10-03 2018-04-05 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US20190090966A1 (en) * 2017-05-10 2019-03-28 Mako Surgical Corp. Robotic spine surgery system and methods
US20190142518A1 (en) * 2017-11-07 2019-05-16 Mako Surgical Corp. Robotic System For Shoulder Arthroplasty Using Stemless Implant Components
US20190175286A1 (en) * 2017-12-11 2019-06-13 Verb Surgical Inc. Active backdriving for a robotic arm

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102347671B1 (ko) * 2011-09-26 2022-01-07 주식회사 림사이언스 지능적 수술 시스템
JP6300801B2 (ja) 2013-02-25 2018-03-28 オリンパス株式会社 医療用マニピュレータおよび医療用マニピュレータの制御方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314312B1 (en) * 1999-03-30 2001-11-06 Siemens Aktiengesellschaft Method and system for determining movement of an organ or therapy region of a patient
US20070018958A1 (en) * 2003-10-24 2007-01-25 Tavakoli Seyed M Force reflective robotic control system and minimally invasive surgical device
CN103607941A (zh) * 2011-05-13 2014-02-26 直观外科手术操作公司 用于操纵医疗器械通过连接的人体通道的具有多种操作模式的医疗系统
US20140005684A1 (en) * 2012-06-29 2014-01-02 Children's National Medical Center Automated surgical and interventional procedures
US20140142592A1 (en) * 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Surgical robot and surgical robot control method
WO2014151550A2 (en) * 2013-03-15 2014-09-25 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
CN105592818A (zh) * 2013-10-04 2016-05-18 史赛克公司 用于与对象的相互作用的系统和方法
WO2016025440A1 (en) * 2014-08-12 2016-02-18 Intuitive Surgical Operations, Inc. Detecting uncontrolled movement
US20180092706A1 (en) * 2016-10-03 2018-04-05 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US20190090966A1 (en) * 2017-05-10 2019-03-28 Mako Surgical Corp. Robotic spine surgery system and methods
US20190142518A1 (en) * 2017-11-07 2019-05-16 Mako Surgical Corp. Robotic System For Shoulder Arthroplasty Using Stemless Implant Components
US20190175286A1 (en) * 2017-12-11 2019-06-13 Verb Surgical Inc. Active backdriving for a robotic arm

Also Published As

Publication number Publication date
US20220218427A1 (en) 2022-07-14
JP7334499B2 (ja) 2023-08-29
JP2021003531A (ja) 2021-01-14
EP3989867A1 (en) 2022-05-04
WO2020261956A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7003985B2 (ja) 医療用支持アームシステムおよび制御装置
WO2020261956A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
WO2020196338A1 (en) Medical arm system, control device, and control method
JPWO2018159328A1 (ja) 医療用アームシステム、制御装置及び制御方法
US20220192777A1 (en) Medical observation system, control device, and control method
WO2018159336A1 (ja) 医療用支持アームシステムおよび制御装置
US20230017738A1 (en) Method, apparatus and system for controlling an image capture device during surgery
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
US20230172438A1 (en) Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
JP2018075218A (ja) 医療用支持アーム及び医療用システム
US20220400938A1 (en) Medical observation system, control device, and control method
US20220322919A1 (en) Medical support arm and medical system
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム
WO2024195729A1 (ja) 情報処理システム、情報処理装置及び学習モデル生成方法
US20240155241A1 (en) Medical observation system, information processing device, and information processing method
WO2022201933A1 (ja) 生体内観察システム、観察システム、生体内観察方法及び生体内観察装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination