CN116685285A - 用于在机器人辅助系统的用户界面中提供合成指示器的系统 - Google Patents

用于在机器人辅助系统的用户界面中提供合成指示器的系统 Download PDF

Info

Publication number
CN116685285A
CN116685285A CN202180089748.1A CN202180089748A CN116685285A CN 116685285 A CN116685285 A CN 116685285A CN 202180089748 A CN202180089748 A CN 202180089748A CN 116685285 A CN116685285 A CN 116685285A
Authority
CN
China
Prior art keywords
indicator
composite indicator
view
medical system
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180089748.1A
Other languages
English (en)
Inventor
B•D•伊科威兹
J•S•拉弗内斯
A•J•佩雷斯罗西洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN116685285A publication Critical patent/CN116685285A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1442—Probes having pivoting end effectors, e.g. forceps
    • A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1482—Probes or electrodes therefor having a long rigid shaft for accessing the inner body transcutaneously in minimal invasive surgery, e.g. laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Abstract

一种医疗系统可包括显示系统和控制系统。该控制系统可包括包含一个或多个处理器的处理单元。该处理单元可被配置为在显示系统上显示由成像部件生成的手术环境的视场的图像。该处理单元还可被配置为针对手术环境的视场外的器械的方位生成三维合成指示器，并将三维合成指示器与手术环境的视场的图像一起显示。

Description

用于在机器人辅助系统的用户界面中提供合成指示器的系统
相关申请的交叉引用
本申请要求2020年11月30日提交的美国临时申请63/119,549的权益，该临时申请通过引用整体合并于此。
技术领域
本公开涉及医疗程序和在医疗程序中操纵组织的方法。更具体地，本公开涉及用于提供深度感知的合成指示器、视场外的部件的指示器和视场内被遮挡的部件的指示器的系统和方法。
背景技术
微创医疗技术旨在减少诊断或手术程序期间被破坏的外在组织的数量，从而减少患者的恢复时间、不适感和有害的副作用。可以通过患者解剖结构中的自然孔道或通过一个或多个手术切口执行这种微创技术。通过这些自然孔道或切口，临床医生可以插入医疗工具以达到目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可以包括成像器械，诸如为用户提供患者解剖结构内的视场的内窥镜器械。
一些微创医疗工具可能是机器人辅助的，包括远程操作、遥控操作或其他计算机辅助的。在医疗程序中，可以向临床医生提供图形用户界面，包括患者解剖结构的三维视场的图像。为了提高临床医生的经验和效率，可能需要各种指示器来提供关于视场中的医疗工具、视场中被遮挡的医疗工具和视场外的部件的额外信息。
发明内容
本发明的实施例由随附于说明书的权利要求书最好地概括。
在一个示例性实施例中，一种医疗系统可以包括显示系统和控制系统。该控制系统可以包括包含一个或多个处理器的处理单元。该处理单元可以被配置为在显示系统上显示由成像部件生成的手术环境的视场的图像。该处理单元还可以被配置为针对手术环境的视场外的器械的方位生成三维合成指示器，并将三维合成指示器与手术环境的视场的图像一起显示。
在另一实施例中，一种医疗系统可以包括显示系统和输入系统，该输入系统包括第一踏板和第二踏板。第一踏板可以与第二踏板具有空间关系。该医疗系统还可以包括控制系统。该控制系统可以包括包含一个或多个处理器的处理单元。该处理单元可以被配置为在显示系统上显示手术环境的视场的图像。该图像可以由成像部件生成。该处理单元还可以被配置为生成指示第一踏板的接合状态的第一合成指示器，生成指示第二踏板的接合状态的第二合成指示器，并且在显示系统上显示基于空间关系相对于第二合成指示器的第一合成指示器以及手术环境的视场的图像。
在另一实施例中，一种医疗系统可以包括显示系统和输入系统，该输入系统包括第一踏板和第二踏板。第一踏板可以与第二踏板具有空间关系。该医疗系统还可以包括控制系统。该控制系统可以包括包含一个或多个处理器的处理单元。该处理单元可以被配置为在显示系统上显示手术环境的视场的图像。该图像可以由成像部件生成。该处理单元还可以被配置为生成与手术环境中的器械相关联的第一合成指示器，生成包括第一合成指示器和视场中的结构的深度映射，并且从该深度映射确定由该结构遮挡的第一合成指示器的遮挡部分。该处理单元还可以被配置为在显示系统上显示第一合成指示器。第一合成指示器的遮挡部分可以具有相对于第一合成指示器的非遮挡部分的差异化图形外观。
应当理解的是，上述一般描述和以下详细描述在本质上都是示范性和解释性的，旨在提供对本公开的理解而不限制本公开的范围。在这方面，本公开的其他方面、特征和优点对于本领域技术人员来说将从以下详细描述中显而易见。
附图说明
图1A是根据一个实施例的医疗系统的示意图。
图1B是根据一个实施例的组装件的透视图。
图1C是根据一个实施例的医疗系统的外科医生控制台的透视图。
图2A、图2B、图2C和图2D示出了根据一些实施例具有指向屏幕外工具的方向的合成指示器的图形用户界面。
图3A、图3B、图3C、图3D和图3E示出了根据一些实施例在各种三维取向上指向医疗工具的不同位置的合成指示器。
图3F示出了根据一些实施例的内窥镜的立体视锥的俯视图。
图3G-图3J提供了根据一些实施例描述合成指示器的长度的调制的图像进展。
图4是根据一些实施例的输入控制设备的俯视图，该输入控制设备包括脚踏板面板和传感器系统。
图5A、图5B、图5C和图5D示出了根据一些实施例的具有合成指示器的图形用户界面，该合成指示器提供关于与屏幕上工具相关联的脚踏板的状态信息。
图6A、图6B、图6C和图6D示出了根据一些实施例的具有合成指示器的图形用户界面，该合成指示器提供关于与屏幕上工具相关联的脚踏板的状态信息。
图7A、图7B、图7C和图7D示出了根据一些实施例的具有合成指示器的图形用户界面，该合成指示器可以随着生成视场的部件或内窥镜被移动而有条件地移动以保持可见。
图8示出了根据一些实施例的内窥镜550，该内窥镜延伸到患者解剖结构内以将医疗工具上的合成指示器可视化。
图9A和图9B示出了根据一些实施例具有合成指示器的图形用户界面，该合成指示器在被遮挡时仍然是可见的。
图10A、图10B和图10C示出了根据一些实施例具有合成指示器的图形用户界面，该合成指示器具有被遮挡的部分。
图11A、图11B、图11C和图11D示出了根据一些实施例具有用于指导工具变化的合成指示器的图形用户界面。
图12是根据一些实施例描述用于显示指向屏幕外工具的合成指示器的方法的流程图。
图13是根据一些实施例描述用于显示指示脚踏板接合状态的合成指示器的方法的流程图。
图14是根据一些实施例描述用于显示被视场中的结构至少部分遮挡的合成指示器的方法的流程图。
通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应该理解的是，类似的附图标记被用于识别在一个或多个图中说明的类似元素，其中的显示是为了说明本公开的实施例，而不是为了限制这些实施例。
具体实施方式
在机器人辅助的医疗程序中，手术环境的内窥镜图像可以为临床医生提供患者解剖结构和位于患者解剖结构中的任何医疗工具的视场。用各种指示器增强内窥镜图像可以允许临床医生在保持视场的同时获取信息。此类指示器可以包括深度感知的图形指示器、用于视场外的部件的指示器和用于视场内被遮挡的部件的指示器。
图1A、图1B和图1C共同提供了医疗系统10的概述，该医疗系统可用于例如包括诊断、治疗或手术程序的医疗程序。医疗系统10位于医疗环境11中。医疗环境11在图1A中被描绘为手术室。在其他实施例中，医疗环境11可以是急诊室、医疗培训环境、医疗实验室或其他类型的环境，在其中可进行任何数量的医疗程序或医疗培训程序。在其他实施例中，医疗环境11可以包括手术室和位于手术室外的控制区。
在一个或多个实施例中，医疗系统10可以是在外科医生的远程操作控制下的机器人辅助医疗系统。在替代实施例中，医疗系统10可以在被编程为执行医疗程序或子程序的计算机的部分控制之下。在另一些替代实施例中，医疗系统10可以是完全自动化的医疗系统，该系统处于被编程的计算机的完全控制之下，以便用医疗系统10执行医疗程序或次级程序。可用于实现本公开所描述的系统和技术的医疗系统10的一个示例是由美国加利福尼亚州桑尼维尔的直观外科公司制造的da 手术系统。
如图1A所示，医疗系统10一般包括组装件(assembly)12，该组装件可以安装在手术台O上或靠近手术台O定位，其中患者P被安置在手术台O上。组装件12可以被称为患者侧推车、手术推车或手术机器人。在一个或多个实施例中，组装件12可以是远程操作组装件。该远程操作组装件可以被称为例如远程操作臂推车。医疗器械系统14和内窥镜成像系统15可操作地耦接到组装件12。操作者输入系统16允许外科医生S或其他类型的临床医生查看手术部位的图像或代表手术部位的图像，并控制医疗器械系统14和/或内窥镜成像系统15的操作。
医疗器械系统14可以包括一个或多个医疗器械。在医疗器械系统14包括多个医疗器械的实施例中，多个医疗器械可以包括多个相同的医疗器械和/或多个不同的医疗器械。类似地，内窥镜成像系统15可以包括一个或多个内窥镜。在多个内窥镜的情况下，多个内窥镜可以包括多个相同的内窥镜和/或多个不同的内窥镜。
操作者输入系统16可以位于外科医生的控制台处，该控制台可以与手术台O处于同一房间。在一些实施例中，外科医生S和操作者输入系统16可以位于与患者P不同的房间或完全不同的建筑物中。操作者输入系统16一般包括用于控制医疗器械系统14的一个或多个控制设备。该控制设备可以包括任何数量的各种输入设备中的一个或多个，如把手、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手操作控制器、语音识别设备、触摸屏、身体运动或存在传感器，以及其他类型的输入设备。
在一些实施例中，控制设备将被提供与医疗器械系统14的医疗器械相同的自由度，以便为外科医生提供远程呈现，即感知到控制设备与器械是一体的，以便外科医生有一种就像在手术现场一样直接控制器械的强烈感觉。在其他实施例中，控制设备可以比相关医疗器械具有更多或更少的自由度，但仍为外科医生提供远程呈现。在一些实施例中，控制设备是以六个自由度移动的手动输入设备，并且其还可能包括用于致动器械的可致动手柄(例如，用于闭合抓紧夹爪末端执行器，将电动势施加到电极，提供药物治疗，以及致动其他类型的器械)。
当外科医生S通过操作者输入系统16查看手术部位时，组装件12支持并操纵医疗器械系统14。手术部位的图像可由内窥镜成像系统15获得，该内窥镜成像系统可由组装件12操纵。组装件12可以包括内窥镜成像系统15并且也可以类似地包括多个医疗器械系统14。一次使用的医疗器械系统14的数量一般取决于要进行的诊断或手术程序以及手术室内的空间限制以及其他因素。组装件12可以包括一个或多个非伺服受控连杆的运动结构(例如，可手动定位并锁定就位的一个或多个连杆，一般被称为设置(set-up)结构)以及操纵器。当操纵器采取远程操作操纵器的形式时，组装件12是远程操作组装件。组装件12包括驱动医疗器械系统14上的输入的多个马达。在一个实施例中，这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。这些马达包括驱动系统，这些驱动系统在耦接到医疗器械系统14时可以将医疗器械推进到自然孔口或通过手术创建的解剖孔口中。其他电动驱动系统可以以多个自由度移动所述医疗器械的远端，该多个自由度可以包括三个线性运动自由度(例如，沿X、Y、Z笛卡尔轴的线性运动)和三个旋转运动自由度(例如，绕X、Y、Z笛卡尔轴的旋转)。另外，马达可以用于致动医疗器械的可铰接末端执行器，以将组织抓紧在活检设备的夹爪中等。医疗器械系统14的医疗器械可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀、光纤或电极。其他末端执行器可以包括例如钳子、抓紧器、剪刀或施夹器。
医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22，用以实现医疗器械系统14、操作者输入系统16和其他辅助系统26之间的控制，其他辅助系统26可以包括例如成像系统、音频系统、流体递送系统、显示系统、照明系统、转向控制系统、冲洗系统，和/或抽吸系统。临床医生可在医疗环境11内循环，并可在设置过程中访问例如组装件12，或从患者床边查看辅助系统26的显示器。
虽然在图1A中被描述为在组装件12的外部，但在一些实施例中，控制系统20可以被完全容纳在组装件12中。控制系统20还包括编程的指令(例如，存储在非易失性计算机可读介质上)，以实现根据本文公开的一些方面描述的一些或全部方法。虽然在图1A的简化示意图中将控制系统20显示为单个框，但是控制系统20可以包括两个或更多个数据处理电路，其中处理的一部分可选地在组装件12上或其附近执行，处理的另一部分在操作者输入系统16处执行，等等。
可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程的指令可以被实现为多个单独的程序或子例程，或者它们可以被集成到本文所述的包括远程操作系统在内的系统的许多其他方面。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。
控制系统20与数据库27进行通信，该数据库可以存储一个或多个临床医生档案、患者清单和患者档案、将对所述患者进行的手术清单、计划进行所述手术的临床医生清单、其他信息或其组合。临床医生档案可以包括关于临床医生的信息，包括该临床医生在医疗领域工作了多长时间、该临床医生所受的教育水平、该临床医生在医疗系统10(或类似系统)方面的经验水平，或其任何组合。
数据库27可以被存储在存储器24中，并可以被动态更新。附加地或替代地，数据库27可以被存储在诸如服务器或便携式存储设备的设备上，该设备可由控制系统20通过内部网络(例如，医疗设施或远程操作系统提供者的安全网络)或外部网络(例如，互联网)访问。数据库27可以分布在两个或更多个地方。例如，数据库27可以存在于多个设备上，这些设备可以包括不同实体的设备和/或云服务器。附加地或替代地，数据库27可以被存储在便携式用户分配的设备上，例如计算机、移动设备、智能手机、笔记本电脑、电子徽章(badge)、平板电脑、传呼机和其他类似的用户设备。
在一些实施例中，控制系统20可以包括一个或多个伺服控制器，该伺服控制器从医疗器械系统14接收力和/或扭矩反馈。响应于该反馈，伺服控制器将信号传输到操作者输入系统16。(一个或多个)伺服控制器还可以传输信号，以指示组装件12移动(一个或多个)医疗器械系统14和/或内窥镜成像系统15，该医疗器械系统14和/或内窥镜成像系统15经由体内的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与组装件12分开或集成。在一些实施例中，伺服控制器和组装件12被提供为定位在患者身体附近的远程操作臂推车的一部分。
控制系统20可以与内窥镜成像系统15耦接，并且可以包括处理器以处理捕获的图像用于随后的显示，诸如显示给位于外科医生的控制台上的外科医生或显示在位于本地和/或远程的另一个合适的显示器上。例如，在使用立体内窥镜的情况下，控制系统20可以处理捕获的图像以向外科医生呈现手术部位的协调的立体图像。这种协调可以包括对立图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。
在替代实施例中，医疗系统10可以包括一个以上的组装件12和/或一个以上的操作者输入系统16。组装件12的确切数量将取决于手术程序和手术室内的空间限制等。可以将操作者输入系统16并置，或者也可以将它们放置在分开的位置。多个操作者输入系统16允许一个以上的操作者以各种组合方式控制一个或多个组装件12。医疗系统10也可用于培训和演练医疗程序。
图1B是组装件12的一个实施例的透视图，该组装件12可被称为患者侧推车、手术推车、远程操作臂推车或手术机器人。图示的组装件12提供了对三个手术工具30a、30b、30c(例如，器械系统14)和成像设备28(例如，内窥镜成像系统15)(诸如用于捕获程序的部位的图像的立体内窥镜)的操纵。成像设备可以通过缆线56将信号传输到控制系统20。通过具有多个关节的远程操作机构来提供操纵。成像设备28和手术工具30a-30c可以穿过患者身体中的切口被定位和操纵，从而将运动学远程中心保持在切口处以最小化切口的尺寸。手术部位的图像可以包括当手术工具30a-30c的远端位于成像设备28的视场内时手术工具30a-30c的远端的图像。
组装件12包括可驱动基座58。可驱动基座58连接到伸缩柱57，伸缩柱57允许调整臂54的高度。臂54可以包括旋转和上下移动的旋转接头55。每个臂54可以连接到定向平台53。臂54可以被标示出来，以方便故障排除。例如，每个臂54可以印有不同的数字、字母、符号、其他标识符，或其组合。定向平台53可以能够旋转360度。组装件12还可以包括伸缩水平悬臂52，以用于在水平方向上移动定向平台53。
在本示例中，每个臂54连接到操纵器臂51。操纵器臂51可以直接连接到医疗器械，例如手术工具30a-30c之一。操纵器臂51可以是可远程操作的。在一些示例中，连接到定向平台53的臂54可能不是可远程操作的。相反，这些臂54在外科医生S开始用远程操作部件进行操作之前根据期望来定位。在整个手术过程中，医疗器械可以被移除并被其他器械取代，使得器械与臂的关联在手术过程中可能会改变。
可以以包括刚性或柔性内窥镜的各种配置来提供内窥镜成像系统(例如，内窥镜成像系统15和成像设备28)。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一个或多个柔性光纤来传输图像。基于数字图像的内窥镜具有“尖端上的芯片(chip on the tip)”设计，其中远侧数字传感器(诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)存储图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。内窥镜器械可以是完全可消毒的组装件，其内窥镜缆线、手柄和轴都被牢固地耦接并且被气密密封。
图1C是外科医生的控制台处的操作者输入系统16的一个实施例的透视图。操作者输入系统16包括左眼显示器32和右眼显示器34，用于向外科医生S展现能够进行深度感知的手术环境的协调立体视图。左眼显示器32和右眼显示器32可以是显示系统35的部件。在其他实施例中，显示系统35可以包括一个或多个其他类型的显示器。显示系统35可以展示例如由成像系统15捕获的图像，以向外科医生显示内窥镜视场。内窥镜视场可以通过虚拟或合成的菜单、指示器和/或其他图形或文字信息来增强，以向观看者提供额外的信息。
操作者输入系统16还包括一个或多个输入控制设备36，输入控制设备36进而促使组装件12操纵内窥镜成像系统15和/或医疗器械系统14的一个或多个器械。输入控制设备36可以提供与其相关联的器械14相同的自由度，以便为外科医生S提供远程呈现，或者输入控制设备36与所述器械的感知是一体的，从而使外科医生具有直接控制该器械的强烈感觉。为此，可以采用方位、力和触觉反馈传感器(未示出)，以通过输入控制设备36将方位、力和触觉感觉从医疗器械(例如，手术工具30a-30c)传回到外科医生的手部。输入控制设备37是从用户的脚接收输入的脚踏板。操作者输入系统16、组装件12和辅助系统26的各方面可以是可调整和可定制的，以满足外科医生S的身体需要、技能水平或偏好。
在使用医疗系统10进行的医疗程序中，外科医生S或另一临床医生可能需要访问在患者解剖结构中处于成像系统15的视场之外的医疗工具，可能需要接合脚踏板激活医疗工具或执行其他系统功能，和/或可能需要识别在视场中被遮挡的工具。此外，在立体视场中，可能希望呈现在该视场中的合成元素的显示深度与合成元素所指示的组织或部件相对应。因此，合成元素可能看起来是附连在视场中的部件上，而不是漂浮在视场的前面。下面描述的各种实施例提供了允许外科医生S查看深度感知的图形指示器、视场外的部件的指示器，以及视场内被遮挡的部件的指示器的方法和系统。
图2A、图2B、图2C和图2D示出了可显示在例如显示系统35上的图形用户界面200。图形用户界面200可以包括用于显示由成像系统(例如，成像系统15)捕获的手术环境201的视场203的图像的视场部分202。该手术环境可以具有笛卡尔坐标系XS、YS、ZS。视场部分202中的图像可以是三维立体图像，并且可以包括患者组织和手术部件，该手术部件包括诸如医疗工具204、医疗工具206和医疗工具208等器械。图形用户界面200还可以包括显示关于医疗工具204的信息的信息框210、显示关于捕获视场部分202中的图像的成像系统的信息的信息框212、显示关于医疗工具206的信息的信息框214，以及显示关于医疗工具208的信息的信息框216。信息框210、212、214、216可以包括工具类型、工具所耦接的操纵器臂的数量、该臂或工具的状态信息和/或该臂或工具的操作信息。
图形用户界面200还可以包括一个或多个合成指示器218、220、222，当相应的医疗工具在手术环境中但在成像系统的视场之外并因此在视场部分202中不可见时，这些合成指示器可以出现在视场部分202中。合成指示器218指示工具204。合成指示器220指示工具206。合成指示器222指示工具208。每个合成指示器218、220、222可以具有三维形状，并可以指向视场外的相应工具的三维方向。
在图2A中，视场部分202包括手术环境的一部分的三维图像，并且图像周边219处的合成指示器218、220、222指向在手术环境中但在成像系统的视场之外的相应工具204、206、208。在图2B中，已经在+Y方向上移动成像系统(例如，内窥镜)，以在视场部分202中捕获手术环境的不同图像。现在，工具204和206的远端是可见的。工具208仍然在视场之外，因此显示了指示工具208的方向的合成指示器222。在图2C中，已经在+Y方向上进一步移动成像系统，以在视场部分202中捕获手术环境的不同图像。现在，工具204、206和208的远端在视场部分202中是可见的。因此，没有显示合成指示器。在图2D中，已经在-Y、+X方向上移动成像系统以在视场部分202中捕获手术环境的不同图像。工具206仍然在视场部分202中是可见的，但是工具204、208现在在视场部分202之外。因此，合成指示器218、222被显示并分别指向工具204、208在手术环境中的三维位置。
图3A-图3E示出了手术环境201的视场203，其中合成指示器218处于各种三维取向以指向医疗工具204的不同位置。在每个图示中，医疗工具204在手术环境201中，但在视场203之外，并且因此合成指示器218被显示在视场部分202中。合成指示器218包括指示器主体250，该指示器主体250包括方向性部分252。方向性部分252可以包括可指向医疗工具204的锥形部(taper)。在该实施例中，合成指示器218可以具有水滴形状，但在其他实施例中，箭头、三角形或其他能够指示方向的尖形符号可被用于合成指示器。指示器主体250可以具有三维形状，其具有高度H、深度D和宽度W的尺寸。指示器主体250可以具有至少一个平坦表面253和图标254，该图标可以作为沿着平坦表面253贴附的贴花出现。图标254可以包括标识符，如与所指示的工具耦接的操纵器臂的标识或所指示的工具本身的标识。当指示器主体250在三维空间中移动时，图标254的取向可以相对于指示器主体和方向性部分252旋转，使得图标254上的文本或符号对观察者保持直立。图标254的取向也可以与指示器主体250的面的方向保持对齐。
当工具204在手术环境201内移动时，或者当视场203在手术环境内改变时，合成指示器218可以枢转，以使方向性部分252仍然指向工具204并且平坦表面253仍然对观察者是可见的。在图3A中，方向性部分252在相对于合成指示器218的+Y方向上指向位于视场203之外的工具204。在图3B中，方向性部分252在相对于合成指示器218的-Y、+X、-Z方向上指向位于视场203之外的工具204。在图3C中，方向性部分252在相对于合成指示器218的+Y、-X、-Z方向上指向位于视场203之外的工具204。在图3D中，方向性部分252在相对于合成指示器218的-X、+Z方向上指向位于视场203之外的工具204。在图3E中，方向性部分252在相对于合成指示器218的-Y、+X、+Z方向上指向位于视场203之外的工具204。图3D和图3E的示例可以描述当工具尖端在内窥镜尖端后面时合成指示器的用途。在没有指向方向的情况下，用户可能会对向哪个方向移动内窥镜感到困惑。例如，当工具尖端正好在内窥镜尖端后面时，内窥镜本身的横向移动就会产生反作用，并且导致所投影的工具指示器迅速从视场的一侧摆动到另一侧，使之难以定位工具。
在一些实施例中，合成指示器218或其一部分可以具有颜色编码或其他视觉处理，以指示相关工具204的状态和/或控制模式(例如，激活或不激活；启动离合器的位置)。在一些实施例中，合成指示器218的取向可以基于包括对观察者的可见性在内的演示目标来确定。例如，平坦表面253可能朝向内窥镜定向，而图标254可能定向在表面253处，以在视图中直立。方向性部分252可以被约束，以便平坦表面253的法线被定向在内窥镜的视锥或截锥体(frustum)内，以确保图标254的可读性。合成指示器218方位的立体深度可以被约束，以方便融合，减少与内窥镜场景内容的深度不匹配，并解决相对于视场部分202中的其他合成元素的遮挡和深度。合成指示器218的表观尺寸可以基于其深度来约束。
在一些实施例中，方向性部分252沿视场部分202的周边219的方位是通过与立体图像的射线相交来计算的。图3F提供了提供视场部分202的内窥镜272(例如，成像系统15)的立体视锥270的俯视图。立体视锥270由对应于右眼视场的右眼截锥体274和对应于左眼视场的左眼截锥体276形成。立体汇聚位置286在距内窥镜的远侧尖端的汇聚深度287处。标记物278对应于三维合成指示器(例如，指示器218)的方向性部分的尖端的投影位置，该指示器指向器械尖端部分280上的关键点。标记物278的位置被解析为在内窥镜272的远侧尖端的最小深度范围282和最大深度范围284内，并且在左眼和右眼两者的视场截锥体274、276内。最小和最大深度范围的确定可以提供立体观看的舒适性，并且加强用户对屏幕外工具的相对空间关系的感知。在该示例中，通过使器械尖端部分280处于图示位置，合成指示器的方向性部分的尖端可以出现在标记物278处，即最小深度范围282和左眼截锥体276的交点位置。合成标记物的方向性部分可以沿汇聚位置286和标记物278之间的指向方向288在名义上对齐。
例如，可以确定从沿成像部件(例如，内窥镜)的中心线的一点延伸到相关器械上的远侧关键点(例如，器械末端执行器或关节上的预定点)的射线。这种确定解决了沿周边219的点，该点可能在舒适的深度范围内被双眼看到以便融合。
在一些实施例中，合成指示器可以随着内窥镜和/或医疗工具的移动而在形状和大小上变形。例如，合成指示器可以从圆形徽章转变到水滴形。水滴或箭头形状的长度可以指示工具与视场的距离。合成指示器还可以强调定位屏幕外工具的方向和/或行程距离。例如，当工具距离视场超过阈值距离时，合成指示器的全部或部分可被动画化，以产生一个手势提示来强调工具距离视场超过阈值距离。图3G-图3J提供了图像的进展，其描述了与器械尖端204在视场部分202之外的距离相对应的合成指示器218的长度的调制，以及至器械尖端204的行进方向的重要性。如图3J所示，当器械尖端204处于远在视场容积之外的距离D4(例如大于3厘米)处或其Z方向的方位在最小和最大深度范围之外时，合成指示器且尤其是方向性部分252被加长或以其他方式被加强，以传达行进的方向和距离。相比之下，如图3G所示，如果器械尖端204接近视场(如<3厘米)且其Z方位在最小和最大深度范围内，那么方向性部分252就不被强调，从而使合成指示器218变得更圆。在图3G的示例中，沿显示器的周边的方位足以描绘器械尖端204相对于内窥镜视场容积的横向空间位置。图3H示出了方向性部分252，它比图3G中更明显且更长，表明到器械尖端204的距离D2大于距离D1。图3I示出了比图3H中更长的方向性部分252，但没有图3J中那么长，表明到器械尖端204的距离D3大于距离D2，但没有距离D4那么长。
图12的流程图中示出了用于显示三维合成指示器(例如，合成指示器218、220或222)的方法800。在此描述的方法被图示为一组操作或过程，并且在描述时继续参考其他附图。并非所有图示的过程都可以在该方法的所有实施例中执行。此外，未明确示出的一个或多个过程可以被包括在图示的过程之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形的机器可读介质上的可执行代码的形式实现，当由一个或多个处理器(例如，控制系统的处理器)运行时，该可执行代码可以使一个或多个处理器执行一个或多个过程。在一个或多个实施例中，这些过程可以由控制系统执行。
在过程802处，在例如显示器35上显示手术环境(例如，手术环境201)中的视场(例如，视场部分202)的图像。在一些实施例中，过程802可以包括过程804a-804f中的一个或多个。在过程804a处，可以确定器械尖端关键点相对于内窥镜视场容积的可见性。
在过程804b处，可以基于上下文和预定规则来确定是否应该为屏幕外器械显示合成指示器。当工具尖端在视场之外时，在任何时候都显示合成指示器可能会引入不希望的分心。因此，可以对何时显示合成指示器施加预定规则，使其更符合上下文，并且其可见性与操作者的工作流程步骤相吻合，以利于用户了解屏幕外工具的位置。例如，当从床边或外科医生控制台激活内窥镜运动时，可以显示合成指示器。当在工具的操纵器臂上激活引导性工具更换功能时，可以显示合成指示器。当器械离合器被激活以便操纵器臂控制屏幕外工具时，可以显示合成指示器。当外科医生控制台用户即将开始控制控制屏幕外工具的操纵器臂时，可以显示合成指示器。当外科医生控制台用户已经开始控制控制屏幕外工具的操纵器臂时，可以显示合成指示器。当外科医生控制台用户正在改变与屏幕外工具耦接的操纵器臂的手部关联时，可以显示合成指示器。当显示与屏幕外工具耦接的操纵器臂的通知时，可以显示合成指示器。
在过程804c处，可以确定合成指示器沿着视场容积的横向范围的投影三维方位。在过程804d处，可以确定三维合成指示器在可视锥体或截锥体内面对内窥镜尖端的取向。在过程804e处，可以计算合成指示器的表面上的图标(例如，图标254)的直立取向。在过程804f处，可以使用与内窥镜光学器件相对应的校准的立体相机模型来渲染合成指示器的左视图和右视图。
在过程804处，可以生成指示视场之外的器械的方位的三维合成指示器(例如，指示器218)。更具体地，在一些实施例中，可以在内窥镜视频上叠加左合成指示器和右合成指示器的复合渲染。
在过程806处，可以将三维合成指示器与手术环境的视场的图像一起显示。
图4提供了操作者输入系统(例如，操作者输入系统16)的输入控制装置300的俯视图，该输入控制装置包括输入面板301，该输入面板形成了输入控制设备302、304、306、308、310、312(例如，输入控制设备37)的公用平台，这些输入控制设备被配置为从用户脚部接收输入的脚踏板。脚踏板302、304、306、308、310、312可以被接合以控制远程操作组装件(例如，组装件12)和/或与远程操作组装件的臂耦接的医疗工具的功能。输入控制装置300还可以包括检测用户(例如，用户的脚或腿)相对于输入控制设备的方位的传感器系统314。传感器系统314可以包括摄像机、光学传感器、运动传感器或感应或跟踪一个或多个输入控制设备302-312处或附近的用户存在的其他传感器。传感器系统314还可以包括压力传感器、位移传感器或检测一个或多个输入控制设备已被激活或接合的其他类型的传感器。
图5A、图5B、图5C和图5D示出了图形用户界面200。医疗工具400和医疗工具402在视场部分202中是可见的。可以通过在输入面板301上接合相应的脚踏板来启动医疗工具的功能。例如，医疗工具400可以如信息框210所示由操纵器臂1操作，并且可以是容器密封器，其在脚踏板302被接合时可执行切割功能并且在脚踏板304被接合时可执行密封功能。如图5A所示，工具400可以标有合成指示器404。在该实施例中，合成指示器404可以是大致圆形的徽章，其包括上半圆部分406和下半圆部分408。上半圆部分406包括轮廓部分410和中心部分412，并且下半圆部分408包括轮廓部分414和中心部分416。上半圆部分406可以对应于次级脚踏板302的功能，并且可以指示踏板302的接合状态(例如，悬停、激活)。下半圆部分408可以对应于主脚踏板304的功能，并且可以指示踏板304的接合状态(例如，悬停、激活)。上半圆部分406和下半圆部分408的空间关系可以与踏板302、304具有相同或相似的空间关系。当传感器系统314检测到操作者的脚正悬停在脚踏板302的上方或者在距脚踏板302的阈值距离内时，上半圆部分406的轮廓部分410可以改变外观(例如，改变颜色，成为动画)以向操作者表明操作者的脚在脚踏板302附近。因此，操作者可以在操作者的视线仍然指向图形用户界面200的同时确定脚的方位。当操作者接合脚踏板302(例如，踩下或压下踏板)时，上半圆部分406的中心部分412可以改变外观(例如，改变颜色，成为动画)，以向操作者表明操作者的脚已经接合脚踏板302并且脚踏板302的功能(例如，切割)已经启动。在一些实施例中，可以使用相同或类似的图形指示器在信息框210中指示脚踏板302的悬停或接合状态。左侧的一组脚踏板(例如，踏板302、304)可以与左手输入控制设备相关联，并且右侧的一组脚踏板(例如，踏板306、308)可以与右手输入控制设备相关联。每只手都可以与控制任何器械臂相关联。共同定位的合成指示器反映了器械与相应的手和脚的这种关联。在某些配置中，器械相对于内窥镜视场的姿态可能会看起来与左侧或右侧具有模糊的关联，因此共同定位的合成指示器澄清了这种关联。
如图5C所示，下半圆部分408的功能可以与上半圆部分406相似，可作为脚踏板304的悬停和接合的指示器。当操作者接合主脚踏板304(例如，踩下或压下踏板)时，下半圆部分408的中心部分可以改变外观(例如，改变颜色，成为动画)，以向操作者表明操作者的脚已经接合脚踏板304并且脚踏板304的功能(例如，密封)已经启动。外科医生控制台的踏板可以是彩色编码的。例如，主踏板304、308可以是蓝色的，而次级踏板302、306可以是黄色的。这种颜色编码被反映在图形用户界面上的踏板功能合成指示器的相关高亮和填充颜色中。
如图5B所示，工具402可以标有合成指示器420。在该实施例中，合成指示器420可以在外观和功能上与合成指示器404基本相似，但可以提供关于一组脚踏板306、308的信息。如信息框214所示，工具402可以由操纵器臂3操作，并且可以是单极烧灼器，其在脚踏板306被接合时可执行传递用于切割的能量的功能并且在脚踏板308被接合时可执行传递用于凝结的能量的功能。当传感器系统314检测到操作者的脚正悬停在次级脚踏板306的上方或者在距次级脚踏板306的阈值距离内时，上半圆部分的轮廓部分可以改变外观，以向操作者表明操作者的脚在脚踏板306附近。当传感器系统314确定操作者已经接合或激活脚踏板306时，上半圆部分的中心部分可以改变外观以向操作者表明操作者的脚已经接合脚踏板306并且脚踏板306的功能(例如，为切割输送能量)已经启动。在一些实施例中，可以使用相同或类似的图形指示器在信息框214中指示次级脚踏板302的悬停或接合状态。
如图5D所示，指示器420的下半圆部分的功能可以与上半圆部分类似，作为主脚踏板308的悬停和接合的指示器。当操作者接合主脚踏板308时，下半圆部分的中心部分可以改变外观以向操作者表明操作者的脚已经接合主脚踏板308并且脚踏板308的功能(例如，为凝结提供能量)已经启动。
合成指示器404、420的方位和取向可以被确定，以创建合成指示器是例如粘在工具夹板或轴上的贴花的外观。随着提供视场的工具或内窥镜的移动，合成指示器404、420可以改变在三维空间中的取方，以保持与工具表面相切并保持对上踏板和下踏板的空间理解。
可以显示合成指示器的各种类型、形状和配置以提供关于脚踏板接合状态的信息。在替代实施例中，如图6A、图6B、图6C和图6D所示，带有医疗工具400、402的图形用户界面200在视场部分202中是可见的。在该实施例中，合成指示器450、452、454、456可以采取沿周边219延伸的细长条形式。在该示例中，合成指示器450-456在周边219的边界内侧，但在替代实施例中可以在视场202的周边219外侧。
在该实施例中，合成指示器450、452可以执行与合成指示器404类似的功能，以提供关于一组脚踏板302、304的信息。如图6A所示，当传感器系统314检测到操作者的脚正悬停在主脚踏板308的上方或者在距主脚踏板308的阈值距离内时，合成指示器456被显出轮廓，以向操作者表明操作者的脚在主脚踏板308附近。如图6B所示，当操作者接合脚踏板308时，合成指示器456可以变成填充条，以向操作者表明操作者的脚已经接合脚踏板308并且脚踏板308的功能已经启动。在一些实施例中，可以使用相同或类似的图形指示器在信息框214中指示脚踏板308的悬停或接合状态。
如图6C所示，当传感器系统314检测到操作者的脚正悬停在次级脚踏板302的上方或者在距次级脚踏板302的阈值距离内时，合成指示器450被显出轮廓，以向操作者表明操作者的脚在脚踏板302附近。如图6D所示，当操作者接合脚踏板302时，合成指示器456可以变成填充条，以向操作者表明操作者的脚已经接合脚踏板302并且脚踏板302的功能已经启动。在一些实施例中，可以使用相同或类似的图形指示器在信息框210中指示脚踏板302的悬停或接合状态。
在替代实施例中，可以提供音频提示来代替或补充合成指示器，以提供指令或指示空间方向(例如，上/下/左/右)来移动操作者的脚进入脚踏板的悬停方位。该系统可以将脚悬停在踏板上方与致动踏板区分开，而且悬停状态与接合或致动状态可能有明显的视觉和听觉提示。该系统还可以描述踏板功能何时有效或无效。当踏板功能无效时(例如，当器械功能线缆未插入或器械功能未配置时)，高亮色可显示为灰色。
图13的流程图中示出了用于显示对应于一组脚踏板的合成指示器的方法820。在过程822处，例如在显示器35上显示手术环境(例如，环境201)的视场(例如，视场部分202)的图像。在过程824处，生成指示第一踏板302的接合状态的第一合成指示器(例如，半圆形部分406)。在过程826处，生成指示第二踏板304的接合状态的第二合成指示器(例如，半圆形部分408)。在过程828处，基于第一踏板和第二踏板之间的空间关系，相对于第二合成指示器显示第一合成指示器。第一指示器和第二指示器与视场的图像一起显示。
如图7A-图7D所示，在视场部分202中的部件上显示为徽章或标签的合成指示器可以出现在部件附近，并且可以有条件地移动以便在部件或生成视场的内窥镜被移动时保持可见并靠近部件。合成指示器可以用于上述任何目的，但是也可用于识别视场部分202中的医疗工具或其他部件，识别医疗工具耦接到的操纵器臂，提供关于医疗工具的状态信息，提供关于医疗工具的操作信息，或提供关于该工具或其耦接到的操纵器臂的任何其他信息。
如图7A所示，合成指示器500可以与工具502相关联。在该实施例中，合成指示器500可以是被配置为具有工具502上的贴纸的外观的徽章。徽章500可以出现在工具502的夹爪504a、504b附近，但可以被定位以避免遮挡夹爪。这种布置可以包括基于底层运动学跟踪技术的位置不确定性而偏离夹爪。徽章500的默认位置可以是在工具502上的预定关键点501处。如图7A所示，徽章500可以放置在位于工具的夹板上的关键点501处。徽章500可以随着内窥镜或工具502移动而旋转和平移，以便徽章500保持在关键点处并沿着夹板的表面定向。当夹板的表面在视场部分202中不再可见时，徽章500可以被移动到另一个关键点503处，如图7B所示(在预定关节位置处)或如图7D所示(沿工具502的轴)。
如果关键点位置在视场部分202中仍然可见，则徽章500可以保持在原始关键点位置处。图8示出了延伸到患者解剖结构551内的内窥镜550(例如，成像系统15)。视锥552从内窥镜550的远端延伸到组织表面553。视锥552中的区域可以是在视场部分202中可见的区域。工具554延伸到患者解剖结构551内。徽章556可以在关键点557处具有默认方位。为了确定默认方位在显示器上是否可见，可以考虑徽章556的表面的法线558。因为法线558不在视锥552内延伸，可以确定默认方位处的徽章556是不可见的。基于法线558不在视锥552内延伸的条件，徽章556可以被重新定位到关键点559处的第二默认方位。在第二关键点559处的徽章556的法线562在视锥552内，所以徽章556可以保持在第二关键点559处，直到工具554或内窥镜550的移动导致徽章的法线不再在视锥552内延伸。再次参考图7B，因为徽章500在原始关键点(在图7A中)的法线不再在视锥内，所以徽章500可以被重新定位到第二默认关键点。
徽章500在关键点处的取向可以被限制，以便徽章表面的法线在视锥内，从而在视场部分202中可见。如果徽章500可能不在关键点处定向为使法线在视锥内，则徽章500可以被移动到不同的关键点。如图7D所示，徽章500的取向可以被旋转以匹配工具502轴的取向，而徽章500的表面对观看者来说仍然是可见的。徽章500的大小也可以随着它所贴附的关键点距离内窥镜的远端更近或更远而改变或者当内窥镜的缩放功能被激活时改变。徽章的大小可以被控制在最大阈值和最小阈值内，以避免在显示屏上变得过大或过小。如图7C所示，徽章500可以更小，因为图7C中的关键点比它在图7A中更远离内窥镜。
与手术环境中的工具相关联的合成指示器的方位、取向和深度可以基于控制系统的工具跟踪和深度图分析来确定。单纯的工具跟踪可能会产生一些残余误差，这些残余误差可能导致合成指示器看起来漂浮在工具表面上方或与工具表面相互贯穿。这可能会分散观看者的注意力，并可能导致合成指示器和相关工具的融合问题。提供视场部分202中的表面与内窥镜的远端之间的距离的信息的深度图可用于完善合成指示器在工具表面上的布置。更具体地，可以在参考合成指示器方位的公差范围内计算射线投影。所产生的误差可用于估计径向偏移校正，以便更准确地将合成指示器放置在工具的表面上。当工具静止或准静止时，与工具正在移动时相比，深度图的质量和准确度可能更好。因此，当器械关键点速度低于阈值速度时，可以进行射线投影和径向偏移校正的更新。可替代地，可以使用投影纹理技术将合成指示器直接放置在所提取的深度图表面上。用于生成深度图的系统和方法在美国专利号7,907,166和8,830,224中作了进一步描述，这些专利的全部内容通过引用合并于此。
图9A和图9B示出了图形用户界面200，其中医疗工具600和医疗工具602在视场部分202中是可见的。合成指示器604被显示在医疗工具600上，而合成指示器606被显示在医疗工具602上。如图9B所示，当从内窥镜的视角看来工具602移动到工具600后面时，合成指示器606相对于工具602的方位和取向可以保持在与看起来固定到的工具602的表面相同的三维深度上。合成指示器606在视觉上与它的关键点保持共同定位，即使是定位在另一个物体的后面。合成指示器606不是被工具600遮挡，而是可以显示为具有视觉处理(例如，重影的外观、褪色的外观、半透明、点状的边界)，以向观看者表明合成指示器606是穿过工具600的半不透明轴来观看的。深度图可用于对合成指示器606与视场的图像进行深度感知混合。
在不考虑深度的情况下，仅仅叠加在立体图像上的三维合成指示器可能会与视场中的内容相交或被遮挡。这可能导致真实对象和合成对象之间的空间关系被误导，以及立体融合困难。使用深度图可以改善置于视场中的合成指示器的空间外观。在一些实施例中，深度映射可用于遮挡剔除(occlusion culling)，这导致比深度图更深的合成指示器的部分不被渲染和显示。合成指示器的完全或甚至部分剔除可能导致物理同位点状态信息的丢失。在一些示例中，当在存在次优跟踪或渲染条件(如深度遮挡、视场剔除、跟踪性能差、深度图质量差、立体对准差等)的情况下显示同位合成指示器时，图形用户界面可能从图5A-图5D所示的同位指示器逐渐回落到图6A-图6D所示的空间对齐的外围指示器。
在其他实施例中，当使用深度图时，可以保留完整的合成指示器，但合成指示器的在其他情况下被遮挡的部分可以用不同于未遮挡部分的视觉处理(例如，半透明处理)进行渲染。为了完成对合成指示器的遮挡部分的特殊视觉处理，对合成指示器的渲染可以分两个阶段进行。在第一阶段中，合成指示器可以用降低的不透明度进行渲染，而不参考深度图或基于深度图进行修改。在第二阶段中，合成指示器可以被渲染得更不透明，同时应用深度图剔除，以便只有未被遮挡的像素显得更不透明并在第一阶段生成的像素上方被渲染。因此，合成指示器的遮挡部分以降低的不透明度(例如，更加半透明)出现，而合成指示器的未遮挡部分则以更大或完全的不透明度出现。在一些实施例中，在使用立体显示器的情况下，对一只眼睛(例如，观看者的非主导眼睛)的合成指示器渲染可以剔除合成指示器的遮挡部分，而对另一只眼睛(例如，观看者的主导眼睛)的合成指示器渲染可以使用深度图和深度感知混合来生成。在一些实施例中，可以基于用户生成的图形生成合成指示器。当以立体方式生成合成指示器时，用户生成的图形可以以单眼图像为基础。
图10A和图10B示出了图形用户界面200，其中医疗工具650在视场部分202中是可见的。在图10A中，合成指示器652在视场部分202中被渲染，但在立体图像中看起来像漂浮在工具650上方。在图10B中，合成指示器654在与指示器652相同的方位处被渲染，但图10AB中的渲染创建了合成指示器被嵌入工具650的轴中的视觉外观。为了创建这种视觉外观，合成指示器654的内部部分656被渲染成阴影，以表明内部部分656被工具650覆盖或在其内部。合成指示器654的外部部分658被渲染成完全不透明，以表明外部部分658是在工具650的外部。
图10C示出了图形用户界面200，其中医疗工具650和医疗工具651在视场部分202中是可见的。在图10C中，合成指示器660被渲染成呈现为环绕着工具650的环形，而合成指示器662被渲染成呈现为环绕着工具651的环形。使用上述深度感知混合技术，出现在工具650后面的合成指示器660的部分664可以用不同于出现在工具650和周围组织的顶部上的合成指示器660的部分666的阴影或颜色来渲染。类似地，出现在工具651后面的合成指示器662的部分668可以用不同于出现在工具651的顶部上的合成指示器662的部分670的阴影或颜色来渲染。
在一些实施例中，图形用户界面200可用于显示合成指示器，以便用在引导工具更换中。该合成指示器可以被渲染成合成管，以作为引导新工具插入远侧目标标记的路径。在一些实施例中，合成管的全部或部分可能被组织或其他工具遮挡。图11A-图11D示出了具有视场部分202的不同变化的图形用户界面200。图11A示出了视场部分202的深度图701可视化。工具700和工具702在该视场部分中是可见的。可以提供合成管形式的合成指示器704来引导工具706插入到目标标记708。深度图可以指示合成管704或目标标记708的一些部分是否被其他结构遮挡。在图11B中，合成管704和目标标记708都没有被遮挡，所以合成管704和目标标记708的图形在没有特殊的视觉特性或处理的情况下被展示。在图11C中，组织710阻挡了合成管704和目标标记708的一部分，所以管704和标记708的遮挡部分可能比未遮挡部分具有更多的半透明视觉处理，以向观看者提供工具更换路径被组织710部分阻挡的信息。在图11D中，组织710阻挡了合成管704的较大部分并且完全阻挡了目标标记708。管704和标记708的遮挡部分可以比未遮挡部分具有更多的半透明视觉处理，以向观看者提供工具更换路径被组织710部分阻挡的信息。在这些示例中，不透明度提示可以提供合成指示器中被遮挡的部分的指示。在其他示例中，可以用两阶段渲染过程(如上所述)来修改其他视觉属性，以修改颜色或纹理属性，使人们更加注意引导路径的遮挡部分。可以以静态或动态的时间变化的方式修改遮挡部分的视觉属性。深度图也可用于回答关于插入路径的遮挡状态的几何形状查询。一个或多个射线可以从工具706的尖端沿着插入路径方向朝目标标记发出。如果发现未遮挡的插入路径更靠近目标标记，则系统可以提醒观看者或调整合成指示器管以清除障碍物。
图14的流程图中示出了用于显示被部分遮挡的合成指示器的方法840。在过程842处，将手术环境(例如，环境201)的视场(例如，视场部分202)的图像显示在例如显示器35上。在过程844处，生成与手术环境中的器械(例如，工具706)相关联的第一合成指示器(例如，合成标记708)。在过程846处，生成包括第一合成指示器和视场中的结构的深度映射(例如，深度图701)。在过程848处，生成被该结构遮挡的第一合成指示器的遮挡部分。在过程850处，显示第一合成指示器，其中第一合成指示器的遮挡部分具有相对于第一合成指示器的非遮挡部分的差异化图形外观。
只要切实可行，参照一个实施例、实施方式或应用详细描述的元素就可以可选地被包括在没有具体显示或描述这些元素的其他实施例、实施方式或应用中。例如，如果参照一个实施例详细描述了一个元素，而没有参照第二实施例进行描述，那么该元素仍然可以被称为包括在第二实施例中。因此，为了避免在下面的描述中出现不必要的重复，与一个实施例、实施方式或应用相关联的一个或多个元素可以并入其他实施例、实施方式或方面，除非另有具体描述，除非该一个或多个元素会使一个实施例或实施方式失去功能，或者除非两个或更多个元素提供冲突的功能。
对所描述的设备、系统、器械、方法的任何改变和进一步修改以及对本公开的原则的任何进一步应用都是完全可以考虑的，因为本公开所属领域的技术人员通常容易想到这些。特别地，完全可以考虑将关于一个实施例所描述的特征、部件和/或步骤与关于本公开的其他实施例所描述的特征、部件和/或步骤进行结合。此外，本文提供的尺寸是具体的示例，并且可以考虑利用不同的尺寸、大小和/或比例来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以根据需要在其他说明性实施例中使用或省略。为了简洁起见，这些组合的众多迭代将不被单独描述。
各种系统和系统的各部分已经用它们在三维空间中的状态来描述。如本文所用，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转布置(三个旋转自由度，例如，滚动、俯仰和偏航)。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的方位以及该对象或对象的一部分在至少一个旋转自由度中的取向(最多六个总自由度)。
尽管本文描述的一些示例涉及手术程序或器械或者医疗程序和医疗器械，但所公开的技术可选地适用于非医疗程序和非医疗器械。例如，本文描述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途，以及感应或操纵非组织工件。其他示例应用涉及美容改进、人类或动物解剖结构的成像、从人类或动物解剖结构中收集数据、以及培训医疗或非医疗人员。其他示例应用包括用于从人类或动物解剖结构中取出的组织的程序(不返回人类或动物解剖结构)以及在人类或动物尸体上执行程序。此外，这些技术还可用于外科和非外科医疗或诊断程序。
计算机是一种按照编程指令对输入信息执行数学或逻辑功能以产生经处理的输出信息的机器。计算机包括执行数学或逻辑功能的逻辑单元，以及存储编程指令、输入信息和输出信息的存储器。术语“计算机”和诸如“处理器”或“控制器”或“控制系统”的类似术语是可比拟的。
尽管已经描述并且在附图中示出了本发明的某些示例性实施例，但是应当理解，这样的实施例仅是说明性的，而不是对广泛的发明的限制，并且本发明的实施例不限于所示出和描述的特定构造和布置，因为本领域普通技术人员可以想到各种其他修改。

Claims (31)

1.一种医疗系统，其包括：
显示系统；以及
控制系统，其中所述控制系统包括包含一个或多个处理器的处理单元，并且其中所述处理单元被配置为：
在所述显示系统上显示手术环境的视场的图像，其中所述图像由成像部件生成；
为所述手术环境的所述视场之外的器械的方位生成三维合成指示器；以及
将所述三维合成指示器与所述手术环境的所述视场的所述图像一起显示。
2.根据权利要求1所述的医疗系统，其中所述三维合成指示器包括指示器主体和在所述指示器主体上指示控制操纵器臂的图标。
3.根据权利要求2所述的医疗系统，其中所述图标的取向随着所述视场变化而相对于所述指示器主体变化。
4.根据权利要求1所述的医疗系统，其中所述三维合成指示器包括朝向所述器械的所述方位的三维定向指示器部分。
5.根据权利要求4所述的医疗系统，其中生成所述三维合成指示器包括确定所述成像部件的中心线与所述器械上的点之间的射线。
6.根据权利要求1所述的医疗系统，其中所述三维合成指示器包括高度尺寸、宽度尺寸和深度尺寸。
7.根据权利要求1所述的医疗系统，其中所述三维合成指示器随着所述视场变化而相对于所述器械的方位可枢转。
8.根据权利要求1所述的医疗系统，其中所述三维合成指示器指示器械状态或控制模式。
9.根据权利要求1所述的医疗系统，其中生成所述三维合成指示器包括确定所述视场中的结构的深度范围。
10.根据权利要求1所述的医疗系统，其中所述三维合成指示器发生变形以指示所述三维合成指示器与器械之间的距离。
11.根据权利要求1所述的医疗系统，其中所述三维合成指示器被配置为动画。
12.一种医疗系统，其包括：
显示系统；
输入系统，其包括第一踏板和第二踏板，其中所述第一踏板与所述第二踏板具有空间关系；以及
控制系统，其中所述控制系统包括包含一个或多个处理器的处理单元，并且其中所述处理单元被配置为：
在所述显示系统上显示手术环境的视场的图像，其中所述图像由成像部件生成；
生成指示所述第一踏板的接合状态的第一合成指示器；
生成指示所述第二踏板的接合状态的第二合成指示器；以及
在所述显示系统上显示基于所述空间关系相对于所述第二合成指示器的所述第一合成指示器以及所述手术环境的所述视场的所述图像。
13.根据权利要求12所述的医疗系统，其中所述第一合成指示器和所述第二合成指示器是半圆形并靠近在所述视场中可见的器械定位，并且其中所述器械由所述输入系统控制。
14.根据权利要求12所述的医疗系统，其中所述第一合成指示器和所述第二合成指示器是在所述视场的所述图像的外围上的条形。
15.根据权利要求12所述的医疗系统，其中所述第一踏板或所述第二踏板的所述接合状态是踏板悬停状态。
16.根据权利要求12所述的医疗系统，其中所述第一踏板或所述第二踏板的所述接合状态是激活状态。
17.根据权利要求12所述的医疗系统，其中所述第一合成指示器和所述第二合成指示器是位于器械夹板或轴上的徽章。
18.根据权利要求17所述的医疗系统，其中所述徽章随着内窥镜变焦而改变大小，并且其中大小的改变受制于最大阈值和最小阈值。
19.根据权利要求17所述的医疗系统，其中徽章3D取向随着夹板或轴移动。
20.根据权利要求17所述的医疗系统，其中所述徽章面向内窥镜尖端并且看起来是直立的。
21.根据权利要求12所述的医疗系统，其中所述第一踏板或所述第二踏板的所述接合状态由传感器系统检测。
22.根据权利要求21所述的医疗系统，其中所述处理单元进一步被配置为生成音频提示，以指示所述第一踏板或所述第二踏板的所述接合状态。
23.一种医疗系统，其包括：
显示系统；以及
控制系统，其中所述控制系统包括包含一个或多个处理器的处理单元，并且其中所述处理单元被配置为：
在所述显示系统上显示手术环境的视场的图像，其中所述图像由成像部件生成；
生成与所述手术环境中的器械相关联的第一合成指示器；
生成包括所述第一合成指示器和所述视场中的结构的深度映射；
从所述深度映射确定由所述结构遮挡的所述第一合成指示器的遮挡部分；以及
在所述显示系统上显示所述第一合成指示器，其中所述第一合成指示器的所述遮挡部分具有相对于所述第一合成指示器的非遮挡部分的差异化
图形外观。
24.根据权利要求23所述的医疗系统，其中所述第一合成指示器包括指示控制操纵器臂的图标。
25.根据权利要求23所述的医疗系统，其中所述第一合成指示器包括围绕所述器械显示的环。
26.根据权利要求23所述的医疗系统，其中所述第一合成指示器包括细长的器械引导件。
27.根据权利要求23所述的医疗系统，其中所述差异化图形外观是降低的不透明度。
28.根据权利要求23所述的医疗系统，其中所述差异化图形外观是差异化的颜色、纹理或图案。
29.根据权利要求23所述的医疗系统，其中所述第一合成指示器针对所述显示系统的单一立体眼睛显示器中的眼睛图像由所述深度映射删减。
30.根据权利要求23所述的医疗系统，其中所述第一合成指示器是基于用户生成图形生成的。
31.根据权利要求30所述的医疗系统，其中所述用户生成图形基于单眼图像，而所述第一合成指示器是以立体方式生成的。
CN202180089748.1A 2020-11-30 2021-11-29 用于在机器人辅助系统的用户界面中提供合成指示器的系统 Pending CN116685285A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063119549P 2020-11-30 2020-11-30
US63/119,549 2020-11-30
PCT/US2021/060917 WO2022115667A1 (en) 2020-11-30 2021-11-29 Systems providing synthetic indicators in a user interface for a robot-assisted system

Publications (1)

Publication Number Publication Date
CN116685285A true CN116685285A (zh) 2023-09-01

Family

ID=79601501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180089748.1A Pending CN116685285A (zh) 2020-11-30 2021-11-29 用于在机器人辅助系统的用户界面中提供合成指示器的系统

Country Status (6)

Country Link
US (1) US20240090962A1 (zh)
EP (1) EP4251087A1 (zh)
JP (1) JP2023551504A (zh)
KR (1) KR20230113360A (zh)
CN (1) CN116685285A (zh)
WO (1) WO2022115667A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024108139A1 (en) * 2022-11-18 2024-05-23 Intuitive Surgical Operations, Inc. Object detection and visual feedback system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8423182B2 (en) * 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US10314559B2 (en) * 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
JP6257371B2 (ja) * 2014-02-21 2018-01-10 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2016149345A1 (en) * 2015-03-17 2016-09-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
JP6180692B1 (ja) * 2015-12-28 2017-08-16 オリンパス株式会社 医療用マニピュレータシステム
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
US11103311B2 (en) * 2017-03-10 2021-08-31 Biomet Manufacturing, Llc Augmented reality supported knee surgery
EP3687431A4 (en) * 2017-12-14 2020-10-14 Verb Surgical Inc. GRAPHIC MULTI-SCREEN USER INTERFACE FOR A SURGICAL ROBOTIC SYSTEM
JP6898285B2 (ja) * 2018-09-25 2021-07-07 株式会社メディカロイド 手術システムおよび表示方法

Also Published As

Publication number Publication date
KR20230113360A (ko) 2023-07-28
WO2022115667A1 (en) 2022-06-02
EP4251087A1 (en) 2023-10-04
JP2023551504A (ja) 2023-12-08
US20240090962A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
US11872006B2 (en) Systems and methods for onscreen identification of instruments in a teleoperational medical system
US10905506B2 (en) Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US20230157776A1 (en) Systems and methods for constraining a virtual reality surgical system
EP3613547B1 (en) Synthetic representation of a surgical robot
CN116685285A (zh) 用于在机器人辅助系统的用户界面中提供合成指示器的系统
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system
WO2023220108A1 (en) Systems and methods for content aware user interface overlays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination