CN109890311B - 在计算机辅助远程操作外科手术中的可重新配置的显示器 - Google Patents

在计算机辅助远程操作外科手术中的可重新配置的显示器 Download PDF

Info

Publication number
CN109890311B
CN109890311B CN201780067208.7A CN201780067208A CN109890311B CN 109890311 B CN109890311 B CN 109890311B CN 201780067208 A CN201780067208 A CN 201780067208A CN 109890311 B CN109890311 B CN 109890311B
Authority
CN
China
Prior art keywords
phase
surgical
surgical system
data
surgical procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780067208.7A
Other languages
English (en)
Other versions
CN109890311A (zh
Inventor
M·阿兹安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202311738572.5A priority Critical patent/CN117717411A/zh
Publication of CN109890311A publication Critical patent/CN109890311A/zh
Application granted granted Critical
Publication of CN109890311B publication Critical patent/CN109890311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Abstract

本申请描述的技术可以体现为一种方法，该方法包括操作外科手术系统以执行外科手术过程，以及在一个或多个处理装置处接收来自多个数据源的数据，该外科手术系统包括显示装置。该方法还包括确定外科手术过程的当前阶段，以及在显示装置上显示视觉表示，这些视觉表示与来自显示装置的显示区域内的第一布置中的第一组多个数据源的数据相对应。第一组多个数据源和第一布置中的至少一个与外科手术过程的当前阶段相关联。

Description

在计算机辅助远程操作外科手术中的可重新配置的显示器
相关申请的交叉引用
本申请要求2016年11月4日提交的美国临时申请号62/417,493的权益。在先申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用并入本申请的公开内容中。
技术领域
本公开涉及用于微创计算机辅助远程操作外科手术的装置和方法。
背景技术
正在开发用于外科手术的微创远程外科手术系统，以增加外科医生的灵活性，并允许外科医生从远程位置对患者进行操作。远程外科手术是外科手术系统的通用术语，其中外科医生使用某种形式的远程控件(例如，伺服机构等)来操纵手术器械移动而不是用手直接握住和移动器械。在这种远程外科手术系统中，外科医生被提供有在远程位置处的外科手术部位的图像。外科医生通过操纵主控制输入装置对患者执行外科手术，主控制输入装置进而控制机器人器械的运动。
发明内容
在一个方面，本申请提供一种方法，该方法包括操作外科手术系统以执行外科手术过程，该外科手术系统包括显示装置，以及在一个或多个处理装置处接收来自多个数据源的数据。该方法还包括确定外科手术过程的当前阶段，以及在显示装置上显示视觉表示，所述视觉表示与来自在显示装置的显示区域内的第一布置中的多个数据源的第一组的数据相对应。多个数据源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。
在另一方面，本申请提供一种外科手术系统，该外科手术系统包括显示装置和一个或多个处理装置。所述一个或多个处理装置被配置为操作外科手术系统以执行外科手术过程，并从多个数据源接收数据。所述一个或多个处理装置还被配置为确定外科手术过程的当前阶段，并在显示装置上显示视觉表示，所述视觉表示与来自在显示装置的显示区域内的第一布置中的多个数据源的第一组的数据相对应。多个数据源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。
在另一方面，本申请提供用机器可读指令编码的一个或多个机器可读的非暂时性存储装置，所述机器可读指令被配置为使一个或多个处理装置执行各种操作。所述操作包括操作外科手术系统以执行外科手术过程，该外科手术系统包括显示装置，以及在一个或多个处理装置处接收来自多个数据源的数据。所述操作还包括确定外科手术过程的当前阶段，以及在显示装置上显示视觉表示，所述视觉表示与来自显示装置的显示区域内的第一布置中的多个数据源的第一组的数据相对应。多个数据源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。
上述各个方面的实施方式可以包括以下各项中的一个或多个。可以确定外科手术过程的新阶段，并且响应于确定外科手术过程的新阶段，可以更新多个数据源的第一组和第一布置中的至少一个。可以基于外科手术系统的当前用户的用户偏好记录来更新多个数据源的第一组和第一布置中的至少一个。可以基于外科手术系统的预定安全性简档来更新多个数据源的第一组和第一布置中的至少一个。可以接收指示对一个或多个视觉表示的调整的用户输入，并且可以根据所述调整来更新显示装置。还可以根据所述调整来更新用户简档。用户简档可以被存储在存储位置处并且可供其他用户访问。多个数据源可以包括以下各项中的至少两个：内窥镜、超声成像装置、计算机断层摄影(CT)成像装置、核成像装置、放射线照相成像装置和磁共振成像(MRI)装置。多个数据源可以包括以下各项中的至少一个：(i)生成图像、文本、交互式图形或图形用户界面(GUI)中的一个或多个的计算装置，以及(ii)提供一个或多个预先存储的图像或视频的存储装置。确定当前阶段可以基于指示当前阶段的用户输入。确定当前阶段可以基于对来自多个数据源中的至少一个数据源的数据执行的图像分析过程。来自多个数据源中的一个或多个数据源的数据可以包括相对于公共参考系的定位信息。显示视觉表示可以包括将第一视觉表示覆盖在第二视觉表示上，其中基于公共参考系相对于第二视觉表示配准(register)第一视觉表示。可以基于在开始外科手术过程之前加载的用户简档来确定第一布置。用户简档可以识别执行外科手术过程的个体，并且包括个体的用户偏好，所述用户偏好关于在外科手术过程的不同阶段期间与来自多个数据源的数据相对应的视觉表示的组织。显示装置可以包括多个屏幕。
在另一方面，本申请提供一种用于在外科手术过程中控制显示装置上的来自多个数据源的数据的视觉表示的可配置性的方法。该方法包括从多个数据源接收数据，在显示装置上显示视觉表示，所述视觉表示与来自在为每个视觉表示确定的位置处的多个数据源的至少一个子集的数据相对应，以及经由输入装置接收指示对一个或多个视觉表示的调整的用户输入。该方法还包括确定所述调整的至少一部分违反与相应的视觉表示相关联的预定安全条件，以及响应于此，生成配置为向用户警告所述违反的控制信号。
在另一方面，本申请提供一种外科手术系统，该外科手术系统包括显示装置和一个或多个处理装置。一个或多个处理装置被配置为从多个数据源接收数据，并且在显示装置上显示视觉表示，所述视觉表示与来自在为每个视觉表示确定的位置处的多个数据源的至少一个子集的数据相对应。一个或多个处理装置还被配置为经由输入装置接收指示对一个或多个视觉表示的调整的用户输入，确定所述调整的至少一部分违反与相应的视觉表示相关联的预定安全条件，以及响应于确定所述违反，生成配置为向用户警告所述违反的控制信号。
在另一方面，本申请提供用机器可读指令编码的一个或多个机器可读的非暂时性存储装置，所述机器可读指令被配置为使一个或多个处理装置执行各种操作。所述操作包括从多个数据源接收数据，在显示装置上显示视觉表示，所述视觉表示与来自在为每个视觉表示确定的位置处的多个数据源的至少一个子集的数据相对应，以及经由输入装置接收指示对一个或多个视觉表示的调整的用户输入。所述操作还包括确定所述调整的至少一部分违反与相应的视觉表示相关联的预定安全条件，以及响应于此，生成配置为向用户警告所述违反的控制信号。
本文描述的一些或所有实施例提供了以下优点中的一个或多个。在一些情况下，可以基于用户偏好在外科手术系统的控制台上显示来自多个数据源的数据的视觉表示(representation)。在一些情况下，个体(例如，高级外科医生)的显示偏好可以被保存为简档，并且稍后由其他个体(例如，初级外科医生、医学生等)使用。显示偏好可以专用于手术的阶段，并且可以在检测到相应的阶段时被自动加载。通过允许覆盖来自不同来源的图像(可能扭曲并彼此配准)，并提供用户对各种图像的位置的控制，本文描述的技术可以允许执行微创机器人外科手术(本文也称为微创外科手术(MIS))的外科医生改善用户体验。在一些情况下，虚拟监视工具(也称为幻影工具)可以覆盖在图像上以允许外科医生在使用实际工具执行外科手术程序之前排练该程序。各种安全协议可以管理来自不同来源的图像的位置和配置，例如用以防止外科医生意外地丢失重要信息。这进而可以通过减少否则可能影响MIS的人为错误的机会来增加患者安全性。
附图说明
图1是计算机辅助远程操作外科手术系统的示例患者侧推车的透视图。
图2是计算机辅助远程操作外科手术系统的示例外科医生控制台的前视图。
图3是计算机辅助远程操作外科手术系统的示例机器人操纵臂组件(assembly)的侧视图。
图4A和图4B是与计算机辅助远程操作外科手术系统相关联的显示器的示例配置。
图4C是图示覆盖在内窥镜图像上的数据的显示器的示例。
图5A和图5B示出如何由用户配置与计算机辅助远程操作外科手术系统相关联的显示器的示例。
图6是用于显示来自多个数据源的图像的系统的示例框图。
图7是图示在外科手术过程期间向医疗保健专业人员提供反馈的示例过程的流程图。
图8是图示控制来自多个数据源的视觉表示的可配置性的示例过程的流程图。
具体实施方式
本申请描述了在一些情况下在诸如微创机器人外科手术(在本文中也称为微创外科手术(MIS))的图像引导外科手术过程中改善手术部位和解剖部分的可视化的技术。例如，该技术允许在与外科医生的控制台相关联的显示装置上配置来自各种源的图像的位置。这可以例如根据如经由用户输入所指示的外科医生的偏好来手动地完成，或者例如基于预先存储的偏好和/或基于检测外科手术的阶段来自动地完成。在一些实施方式中，该技术可以允许各种类型的可配置性(例如，将图像彼此叠加、最小化或移除来自特定图像源的馈送，或者同时显示来自多个数据源的馈送)，这进而可以允许外科医生执行提高效果的外科手术。另外，可以使用旨在减少外科医生丢失有用信息的可能性的安全协议来管理可配置性。例如，安全协议可以防止内窥镜图像被配置为小于阈值尺寸的尺寸，或者阻止某些显示器被从控制台移除。
主要根据使用由美国加利福尼亚州桑尼维尔的直观外科手术公司(IntuitiveSurgical,Inc.of Sunnyvale,California)商业化的da外科手术系统的实施方式描述本发明的各方面。这样的外科手术系统的示例是da/>XiTM外科手术系统(型号IS4000)和da/>SiTM HDTM外科手术系统(型号IS3000)。应当理解，本文所公开的各方面可以以各种方式体现和实现，包括计算机辅助的、非计算机辅助的，以及手动和计算机辅助的实施例和实施方式的混合组合。出于说明性目的描述了da/>外科手术系统(例如，型号IS4000、型号IS3000、型号IS2000、型号IS1200)的实施方式，并且不应被视为限制本文所公开的发明方面的范围。如果适用，各发明方面可以在相对较小的手持式手动操作装置和具有附加机械支撑的相对较大的系统中以及在计算机辅助远程操作医疗装置的其他实施例中体现和实现。
参见图1和图2，用于微创计算机辅助远程外科手术(也称为MIS)的系统可以包括患者侧推车100和外科医生控制台40。远程外科手术是外科手术系统的通用术语，其中外科医生使用某种形式的远程控件(例如，伺服机构等)操纵外科手术器械移动而不是用手直接握持和移动器械。可机械操纵的外科手术器械可以通过小的微创外科手术孔插入，以治疗患者体内的手术部位处的组织，避免与开放手术的进入(access)相关的创伤。这些机器人系统可以以足够的灵活性移动外科手术器械的工作端，以便通常通过在微创孔处枢转器械的轴、使该轴轴向滑过孔、在孔内旋转该轴等执行相当复杂的外科手术任务。
在所描绘的实施例中，患者侧推车100包括基座110、第一机器人操纵臂组件120、第二机器人操纵臂组件130、第三机器人操纵臂组件140和第四机器人操纵臂组件150。每个机器人操纵臂组件120、130、140和150可枢转地耦接到基座110。在一些实施例中，可以包括少于四个或多于四个的机器人操纵臂组件作为患者侧推车100的一部分。虽然在所描绘的实施例中，基座110包括脚轮以便于移动，但在一些实施例中，患者侧推车100被固定地安装到地板、天花板、手术台、结构框架等。
在典型的应用中，机器人操纵臂组件120、130、140或150中的两个保持手术器械，第三个保持立体内窥镜。剩余的机器人操纵臂组件是可用的，以便可以在工作部位引入另一器械。可替代地，剩余的机器人操纵臂组件可用于将第二内窥镜或另一图像捕获装置(诸如超声换能器)引入工作部位。
机器人操纵臂组件120、130、140和150中的每个通常由耦接在一起并通过可致动关节进行操纵的连杆形成。机器人操纵臂组件120、130、140和150中的每个包括安装臂(setup arm)和装置操纵器。安装臂定位其保持的装置，使得在其进入患者体内的进入孔处出现枢转点。然后，装置操纵器可以操纵其保持的装置，使其可以绕枢轴点枢转，插入进入孔和从进入孔缩回，以及绕其轴杆轴线旋转。
在所描绘的实施例中，外科医生控制台40包括立体视觉显示器45，使得用户可以从由患者侧推车100的立体相机所捕获的图像以立体视觉观看外科手术工作部位。左眼目镜46和右眼目镜47设置在立体视觉显示器45中，使得用户可以分别用用户的左眼和右眼观看显示器45内的左显示屏和右显示屏。通常在合适的观察器或显示器上观察手术部位的图像的同时，外科医生通过操纵主控制输入装置对患者执行外科手术程序，主控制输入装置进而控制机器人器械的运动。
外科医生控制台40还包括左输入装置41和右输入装置42，用户可以分别用他/她的左手和右手抓握左输入装置41和右输入装置42以操纵由患者侧推车100的机器人操纵臂组件120、130、140和150以优选的六个自由度(“DOF”)保持的装置(例如，外科手术器械)。具有脚趾控件和脚跟控件的脚踏板44设置在外科医生控制台40上，因此用户可以控制与脚踏板相关联的装置的移动和/或致动。
处理装置43设置在外科医生控制台40中以用于控制和其他目的。处理装置43在医疗机器人系统中执行各种功能。由处理装置43执行的一个功能是平移和传递输入装置41、输入装置42的机械运动，以在它们相关联的机器人操纵臂组件120、130、140和150中致动它们各自的关节，使得外科医生可以有效地操纵装置，诸如外科手术器械。处理装置43的另一功能是实现本文所描述的方法、交叉耦合控制逻辑和控制器。
处理装置43可以包括一个或多个处理器、数字信号处理器(DSP)和/或微控制器，并且可以实现为硬件、软件和/或固件的组合。此外，本文描述的其功能可以由一个单元执行或者在多个子单元之间划分，每个子单元可以进而通过硬件、软件和固件的任何组合来实现。此外，尽管处理装置43被示出为外科医生控制台40的一部分或与其物理相邻，但是处理装置43也可以作为子单元分布在整个远程手术系统中。一个或多个子单元可以在物理上远离远程外科手术系统(例如，定位在远程服务器上)。
还参考图3，机器人操纵臂组件120、130、140和150可以操纵诸如外科手术器械的装置以执行MIS。例如，在所描绘的布置中，机器人操纵臂组件120可枢转地耦接到器械保持器122。套管180和外科手术器械200进而可释放地耦接到器械保持器122。套管180是管状构件，其在外科手术期间定位在患者界面部位处。套管180限定内腔，外科手术器械200的细长轴220可滑动地设置在该内腔中。如下面进一步描述的，在一些实施例中，套管180包括具有体壁牵开器构件的远端部分。器械保持器122可枢转地耦接到机器人操纵臂组件120的远端。在一些实施例中，器械保持器122和机器人操纵臂组件120的远端之间的可枢转耦接器是可从外科医生控制台40和处理器43致动的机动关节。
器械保持器122包括器械保持器框架124、套管夹具126和器械保持器托架128。在所示实施例中，套管夹具126固定到器械保持器框架124的远端。套管夹具126可以被致动以与套管180耦接或从套管180解耦。器械保持器托架128可移动地耦接到器械保持器框架124。更具体地，器械保持器托架128可沿器械保持器框架124线性平移。在一些实施例中，器械保持器托架128沿器械保持器框架124的移动是可由处理器43致动/控制的机械化的平移移动。外科手术器械200包括传动组件210、细长轴220和末端执行器230。传动组件210可以可释放地与器械保持器托架128耦接。轴220从传动组件210向远侧延伸。末端执行器230被设置在轴220的远端处。
轴220限定纵向轴线222，该纵向轴线222与套管180的纵向轴线重合。当器械保持器托架128沿器械保持器框架124平移时，外科手术器械200的细长轴220沿纵向轴线222移动。以这种方式，末端执行器230可以插入患者体内的手术工作空间和/或从该手术工作空间缩回。
图4A和图4B是与计算机辅助远程操作外科手术系统相关联的显示器的示例配置。例如，在上面参考图2描述的立体视觉显示器45中可以看到图4A和图4B的示例中所示的配置。在一些实施方式中，显示配置400可以包括来自多个数据源的数据的视觉表示。例如，示例配置400包括内窥镜视频馈送(或图像)410、X射线图像420、超声图像430、外科手术工具(例如，真实工具或虚拟监视工具)的表示440和三维(3D)可视化450。还可以显示来自其他源的视觉表示。例如，这些源可以包括内窥镜(提供在可见光谱、近红外(NIR)光谱或其他光谱部分中的图像/视频馈送)、超声成像装置(2D或3D)、计算机断层摄影(CT)成像装置、核成像装置、放射线照相成像装置和磁共振成像(MRI)装置，以及X射线荧光镜装置。在一些实施方式中，该源是存储预先记录的视频或图像的存储装置。在这种情况下，还可以根据用户偏好显示与外科手术过程相关联的所存储的图像、数据或视频。例如，显示装置可以连接到膝上型计算机、智能手机、平板电脑或其他计算装置，以显示术前或术中扫描、测试结果、笔记或其他基于图像或文本的信息。在一些实施方式中，该源可以包括生成图形用户界面(GUI)的处理装置，该GUI包括一个或多个控件，例如，用于调整或配置显示装置。
可以以各种方式配置来自多个源的图像或视频馈送。在一些实施方式中，来自多个源的视觉表示可以根据相应的用户偏好在基本上不重叠的部分处布置在显示装置的可用实体空间(real-estate)内。图4A中示出了这种配置的示例。在一些实施方式中，对应于一个或多个源的视觉表示可以从显示装置的可见区域移除(或最小化)和/或添加到显示装置的可见区域。在一些实施方式中，一个或多个视觉表示可以被显示为另一图像上的覆盖图。这在图4B的配置460中作为示例示出，其中内窥镜图像410被显示为主图像，并且X射线图像420和3D可视化450被显示为内窥镜图像410上的覆盖图。另一示例在图4C中示出，其中包括基于文本和图像的信息的视觉表示480被显示为内窥镜图像410上的覆盖图。
在一些实施方式中，在图像被显示为另一图像上的覆盖图的情况下，两个图像可以相对于彼此进行配准(registered)。例如，如果正在显示的图像用位置信息(例如，相对于已知坐标系的原点的定位和取向)进行地理标记(geo-tag)，则它们可以基于与个体图像相关联的位置信息相对于彼此对准。例如，可以经由图像配准过程来计算对准，该图像配准过程包括基于与图像对应的位置信息将与获取的图像对应的数据集变换为一个坐标系。这也可以称为翘曲(warping)，并且可以包括各种刚性或非刚性变换，诸如平移、旋转、剪切等。
来自多个源的视觉表示的配置可以以各种方式完成。可以如何配置与计算机辅助远程操作外科手术系统相关联的显示器的示例在图5A和图5B中示出。在一些实施方式中，并且如图5A所示，可以使用基于触摸的界面来完成配置。在这种情况下，可以向用户提供触摸屏装置520(例如，平板计算机)以执行视觉表示的基于触摸的调整。该调整可以被配置为反映在第二显示装置510上，诸如与上面参考图1描述的外科医生控制台40相关联的显示装置45。例如，在触摸屏装置530上的内窥镜图像540上方移动超声图像530可导致对应的超声图像535在第二显示装置510上的对应的内窥镜图像545上方移动。有可能使用基于触摸的用户界面的配置操作的示例包括将视觉表示移动到屏幕的不同部分、控制所显示的对象的3D姿势、旋转渲染的体积图像，以及执行用于配准两个图像的调整。
在一些实施方式中，用户界面可以是非接触式的。图5B中示出了这种界面的示例。在这种情况下，可以例如使用手势但不触摸显示装置来配置视觉表示。在图5B所示的示例中，检测用户的食指和拇指并将其分别作为点550和点560显示在显示装置上。移动食指和拇指使得点550和点560在显示装置上移动，从而允许调整下置的视觉表示，例如好像用户正在点550和点560处触摸显示装置那样。
也可以使用其他形式的用户界面。在一些实施方式中，可以使用其他非接触式技术(诸如凝视跟踪)来配置显示装置上的视觉表示。在一些实施方式中，用于外科手术系统的物理操作的输入装置(诸如在da外科手术系统、无线输入装置或手势检测系统等上可用的主工具操纵器(MTM))可以用于配置视觉表示。在一些实施方式中，专用配置控制输入系统(诸如小键盘、触摸板、触摸屏或操作杆等)可用于配置视觉表示(以及可选地用于外科手术系统的任何其他方面而不涉及该系统的物理操作)。
图6是用于显示来自多个源的图像的系统600的示例框图。在一些实施方式中，系统600可以帮助将显示延迟(latency)维持在与计算机辅助远程操作外科手术系统相关联的阈值水平以下。例如，某些操作指南可能指定远程操作系统的最大可容忍感知延迟小于100毫秒。例如，在da外科手术系统中可能就是这种情况，其中内窥镜图像可用于关闭主从(master-slave)控制回路，从而影响主从控制的透明度。在这种情况下，感知延迟可以是(i)从动作发生直到在da />外科医生控制台上显示动作的表示的延迟和(ii)从用户移动主控(master)操纵器直到从动(slave)器械做出对应的运动的延迟的总和。在一些实施方式中，系统600可以包括帧抓取器单元605，帧抓取器单元605将输入视频帧数字化并经由到GPU存储器615的远程直接存储器存取(RDMA)将数字化图像传送到图形处理单元(GPU)610。可以从GPU 610将输入视频帧发送到显示装置，从而避免图像的处理路径中的中央处理单元(CPU)620。这进而可以将与内窥镜图像相关联的延迟保持在可容忍阈值以下。在一些实施方式中，来自一个或多个其他源(例如，第三方成像装置625或跟踪装置630)的数据可以在被显示在显示装置上之前遍历(traverse through)CPU 620和GPU 610。系统600还可以包括网络接口卡635，该网络接口卡635用于将来自一个或多个源的数据传递到CPU 620。在一些实施方式中，可以经由RDMA传送将合成图像传回到帧抓取器605，并且可以经由帧抓取器提供视频输出。在一些实施方式中，可以经由高带宽光纤链路传递去到/来自帧抓取器605的视频输入和视频输出。在一些实施方式中，CPU 620可以执行一个或多个应用程序640，用于处理从一个或多个源接收的数据。一个应用程序可以是数据的日志记录，包括从多个源到本地存储装置645的视频数据。
在一些实施方式中，连接到CPU 620的一个或多个视频源可以各自使用唯一标识符和/或一组参数(例如，图像尺寸、颜色或灰度、单声道或立体声、帧速率等)来识别。所述源可以是视频流或偶尔更新的图像。所述源也可以例如基于用户偏好或用户输入被链接到显示装置上的特定定位。在一些实施方式中，在其上可以定位来自特定源的视觉表示的显示区域大于显示装置的物理可见区域。在这种情况下，可以基于用户输入将显示区域的一部分移入或移出物理显示区域。在一些实施方式中，其中来自特定源的图像相对于另一图像被配准，则该特定源可以例如与关于公共坐标系或关于另一图像的变换的变换矩阵链接。与每个源相关联的参数和标识符可以被存储为模块，并且可以在运行时添加、移除或修改模块以配置来自相应源的视觉表示。可以在运行时(例如在实时或接近实时的基础上)修改对应于源的模块。例如，非图像信息(例如，文本、图表等)可以被添加到与非图像信息的源相关联的模块，以与相应源的视觉表示一起被显示。在一些情况下，通过使与特定源(例如，内窥镜图像)相关联的延迟独立于其他图像源，参考图8描述的系统800可以提供用于实施计算机辅助远程操作外科手术系统的可重新配置的显示系统的灵活框架。
可以以各种方式配置来自多个源的信号的视觉表示。在一些实施方式中，外科医生可以配置显示装置上的视觉表示(使用上述用户界面和/或输入装置)并将偏好存储在用户简档内。然后，可以将用户简档保存在存储位置(例如，远程服务器或本地存储装置)处并由其他人根据需要下载。例如，高级外科医生可以将他/她的偏好保存在这样的用户简档中，以供初级/实习外科医生使用或回顾。在一些实施方式中，存储在用户简档内的偏好可以反映机构(例如，医院)的偏好或监管主体发布的规则。
在一些实施方式中，该配置可以专用于手术的各个阶段。例如，在外科手术的初始阶段期间(例如，当外科医生进行切开时)，外科医生可能更喜欢使整个显示区域被内窥镜图像占据。然而，在稍后的阶段(例如，当动脉被夹紧时)，外科医生可能更喜欢看到显示脉管系统的相应的CT图像，其或者作为独立图像，或者在内窥镜图像上被配准。与阶段相关的配置可以被存储在存储装置上，并且在确定外科手术过程的特定阶段后根据需要进行加载。可以以各种方式完成从一个或多个源接收的信号对应于外科手术的特定阶段的确定。在一些实施方式中，可以基于手动用户输入(例如，语音输入或通过输入装置接收的用户输入)来进行确定。例如，外科医生可以提供指示外科手术中的新阶段的用户输入，并且可以相应地加载相应的与阶段相关的显示简档。在一些实施方式中，可以例如通过处理来自源的一个或多个图像来自动进行阶段确定。例如，可以分析内窥镜图像/馈送以检测特定解剖特征或外科手术工具的存在，并且可以相应地确定外科手术的阶段。如果分析内窥镜图像以检测到夹具的存在，则可以确定外科医生打算夹住脉管系统的一部分，并因此可以显示突显该脉管系统的CT图像。这样一来，可以以各种方式分析对应于一个或多个源的视觉表示的内容以进行这样的确定。在一些实施方式中，由外科手术系统(例如，外科手术系统)生成的事件可以用于确定外科手术的阶段或者用作显示布局的变化的指示。在一些实施方式中，人工智能过程(例如，基于机器学习的过程)可以用于确定外科手术过程的阶段。在某些情况下，这种基于动态阶段的重新配置可以例如通过自动地加载适当的显示器配置来帮助改善外科医生的用户体验。
在一些实施方式中，显示装置的可配置性可以例如基于一个或多个安全条件被界定。在这种情况下，如果外科医生试图以违反安全条件的方式配置来自源的视觉表示，则系统可以阻止这种配置和/或生成一个或多个警报以标记这种违反。例如，在某些外科手术过程中，安全条件可能要求内窥镜馈送总是显示在显示装置上。在这种情况下，如果外科医生试图从显示装置移除内窥镜馈送(或将其减小到小于可允许的阈值的尺寸)，则系统可以阻止外科医生进行这样的调整，和/或生成指示已违反安全条件的警报(例如，视觉或听觉警报)。其他安全条件可以使得一个或多个视觉表示被“锁定”在显示装置内，使得用户不能移除这样的视觉表示(或者甚至不可能调整尺寸)。在一些实施方式中，监管(supervisor)过程可以监视显示装置的配置，并且如果违反安全条件则采取一个或多个动作。例如，如果违反安全条件，则外科手术工具和/或机器人臂的控制将受到影响以向外科医生警告这种违反。例如，如果(例如，使用凝视跟踪)确定外科医生没有注视内窥镜馈送，则系统可以限制一个或多个器械的灵敏度以减少意外伤害到非预期部分的机会。在一些情况下，基于确定违反安全条件的这种控制信号的生成可以改善使用计算机辅助远程操作外科手术系统所执行的外科手术过程的安全性。
在一些实施方式中，可以处理一个或多个图像源或其他信息源以检测一个或多个事件的发生，并基于相关联的规则采取一个或多个动作。例如，如果内窥镜图像的处理显示出血的发生，并且同时用户显示配置具有覆盖大部分显示器的术前图像，则系统可以被配置为自动改变显示配置以使外科医生注意到内窥镜图像，这可能与一个或多个视觉或听觉警告相结合。可以基于预定的安全逻辑来设置这种安全措施的规则。也可以经由机器学习工具(诸如在预先收集和注释的数据集上训练的神经网络)来实现这些规则。
在一些实施方式中，可以在后台处理一个或多个图像源以检测可以触发显示模式的改变的某些事件，例如用以在需要时向外科医生呈现更多信息。荧光成像通常被用于研究组织灌注或在外科手术期间观察淋巴结。对于荧光成像，可以局部注射或通过脉管系统注射荧光化合物，并且可以以适当的模式操作内窥镜相机以捕获荧光。在一些实施方式中，用户可以继续使用正常的内窥镜图像来工作，同时背景过程分析所观察到的荧光。在一些实施方式中，显示器可被配置为在检测到荧光量超过阈值时自动切换到显示荧光图像(或组合的白光荧光内窥镜图像)。
在一些实施方式中，可以基于对外科手术阶段的检测将一个或多个过程或过滤器应用于图像源。例如，系统可以被配置为检测到器械正被用于烧灼和切割软组织，因此，除雾过程可以被自动应用于内窥镜图像的处理流水线。作为另一示例，当使用能量器械(例如，用于烧灼或切割软组织的器械)时，可以将超声图像显示自动隐藏(或至少减小尺寸)，例如用以确保用户具有内窥镜图像的足够大的视图。在一些实施方式中，如果超声图像受到来自能量器械的噪声的影响，则还可以防止显示这样的图像。
图7是图示在外科手术过程期间显示数据的视觉表示的示例过程800的流程图。在一些实施方式中，过程800的至少一部分可以在计算机辅助远程操作外科手术系统的外科医生控制台处(例如，由图2中描绘的外科医生控制台40的处理装置43)执行。过程700的操作包括操作外科手术系统以执行外科手术过程(710)。例如，这可以包括经由外科医生控制台40的输入装置在处理装置43处接收一个或多个命令，并生成用于操作患者侧推车100的控制信号。过程700的操作还包括接收来自多个数据源的数据(720)。多个数据源可以包括例如以下各项中的至少两个：内窥镜、超声成像装置、计算机断层摄影(CT)成像装置、核成像装置、放射线照相成像装置和磁共振成像(MRI)装置。在一些实施方式中，多个数据源可以包括生成图像、文本、交互式图形或图形用户界面(GUI)中的一个或多个的计算装置。多个数据源还可以包括提供一个或多个预先存储的图像或视频的存储装置。在一些实施方式中，来自多个数据源的一个或多个信号可以包括关于坐标系的位置信息(例如，基于来自定位传感器(诸如EM、光学、RF或形状传感器)的数据、运动建模、图像识别/跟踪或任何其他形态的信息)。
过程700的操作还包括确定外科手术过程的当前阶段(730)。这可以以各种方式完成。在一些实施方式中，可以基于指示当前阶段的用户输入(例如，语音输入或通过输入装置提供的输入)确定当前阶段。在一些实施方式中，可以例如基于对来自多个源中的至少一个源的信号执行的图像分析过程来自动进行确定。
过程700的操作还包括在显示装置上显示视觉表示，所述视觉表示与来自显示装置的显示区域内的第一布置中的多个源的第一组中的数据相对应(740)。多个源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。在一些实施方式中，在确定外科手术过程的新阶段后，更新多个源的第一组或第一布置中的至少一个。该更新可以基于，例如基于外科手术系统的当前用户的用户偏好记录。可以将这样的用户偏好记录保持为例如用户简档(user profile)。在一些实施方式中，该更新可以基于用于外科手术系统的预定安全性简档。
例如，可以基于用户简档来确定第一布置。在一些实施方式中，可以在外科手术过程开始之前加载用户简档。在一些实施方式中，用户简档可以识别执行外科手术过程的个体，并且包括个体的用户偏好，该用户偏好关于在外科手术过程的不同阶段期间来自多个源的信号的视觉表示的组织。在一些实施方式中，如果用户调整一个或多个视觉表示，则可以根据这样的调整来更新用户简档。在一些实施方式中，用户简档的表示可以被存储在其他用户可访问的存储位置处。
在一些实施方式中，可以经由输入装置接收指示对一个或多个视觉表示的调整的用户输入，并且可以根据该调整来更新显示装置。在一些实施方式中，来自多个数据源中的一个或多个数据源的数据可以包括相对于公共参考系(例如，公共坐标系)的定位数据。在这种情况下，显示视觉表示可以包括根据该公共参考系将第一视觉表示覆盖在第二视觉表示上。在一些实施方式中，显示装置可以包括多个屏幕或显示区域(例如，示出活动视觉表示的主显示器，以及示出最小化或未被使用的视觉显示的侧显示器)。在一些实施方式中，显示区域可以大于显示装置的可视区域的物理尺寸，并且可以根据需要将显示区域的一部分拖入和移出可视区域。在一些实施方式中，当来自两个源的两个视觉表示与公共参照系相关联时，将这些视觉表示中的一个拖到另一个上，可以对其进行“快照/捕捉(snap)”以与另一个配准，从而确保视觉表示被正确地对准。
图8是图示控制来自多个源的视觉表示的可配置性的示例过程800的流程图。在一些实施方式中，过程800的至少一部分可以在计算机辅助远程操作外科手术系统的外科医生控制台处(例如，由图2中描绘的外科医生控制台40的处理装置43)执行。过程800的操作包括接收来自多个源的信号(810)。多个源可以包括如上参考图8所描述的源。过程800的操作还包括显示视觉表示(820)，这些视觉表示与来自在针对每个视觉表示确定的位置处的多个源的至少一个子集的信号相对应。在一些实施方式中，可以基于存储在用户简档内的用户偏好来确定多个源的子集和/或相应的位置。
过程800的操作进一步包括接收指示对一个或多个视觉表示的调整的用户输入(830)。外科医生可能需要根据手边的特定外科手术重新调整视觉表示的默认定位和/或尺寸，并且可以使用上述的输入装置或用户界面进行这种调整。例如，执行肾切除术的外科医生可能更喜欢将超声图像对准或配准到内窥镜馈送，并且在一侧具有CT图像以根据需要进行回顾。因此，外科医生可以对现有的显示配置进行必要的调整，例如，使用输入装置(诸如平板电脑(例如，如图5A所示)、非接触式输入装置(例如，如图5B所示)、触觉装置或基于凝视跟踪的输入装置)进行调整。
过程800的操作进一步包括确定至少一部分的调整违反与对应的视觉表示相关联的预定安全条件(840)。例如，与内窥镜馈送相关联的安全条件可以指定馈送的视觉表示不可以减小到小于阈值的尺寸。在这种情况下，如果用户试图将内窥镜馈送的视觉表示减小到小于阈值的尺寸，则可以确定违反安全条件。在另一示例中，确定所述违反可以包括检测用户输入正在请求从显示装置移除特定视觉表示，而相应的预定安全条件指定要在整个外科手术过程中显示该特定视觉表示。在一些实施方式中，确定所述违反还可以包括(例如，经由凝视跟踪)检测用户在调整过程期间正在查看错误的视觉表示。
过程800的操作还包括响应于确定所述违反而生成控制信号，该控制信号被配置为向用户警告所述违反(850)。在一些实施方式中，控制信号可被配置为禁用在外科手术过程中使用的一个或多个器械(或降低其的灵敏度)。控制信号还可以导致生成向用户警告所述违反的视觉或听觉消息。在一些实施方式中，控制信号可以使违反的调整被撤消或反转，并警告用户已经做出了这种重新调整。预定安全条件可以专用于各种视觉表示，和/或专用于外科手术过程的特定阶段。
本文描述的功能或其部分及其各种修改(下文中称为“功能”)可以至少部分通过计算机程序产品来实现，该计算机程序产品例如为有形地体现在信息载体(诸如一个或者多个非暂时性机器可读介质或存储装置)中的计算机程序，用于由一个或多个数据处理设备(例如，可编程处理器、DSP、微控制器、计算机、多个计算机和/或可编程逻辑部件)执行或控制其操作。
计算机程序可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、部件、子程序或在计算环境中适合使用的其他单元。可以部署计算机程序以在一个站点处执行一个或多个处理装置，或者分布在多个站点处并通过网络互连。
与实现全部或部分功能相关联的动作可以由执行一个或多个计算机程序的一个或多个可编程处理器或处理装置执行，以执行本文描述的过程的功能。全部或部分功能可以实现为专用逻辑电路，例如FPGA和/或ASIC(专用集成电路)。
作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器装置。
虽然本说明书包含许多具体的实现细节，但这些不应被解释为对任何发明或要求保护的范围的限制，而是作为专用于特定发明的特定实施例的特征的描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的形式在多个实施例中实现。此外，虽然本文可以将特征描述为以某些组合起作用并且甚至最初如此声明，但是在某些情况下可以从组合中去除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，在此描述的实施例中的各种系统模块和部件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序部件和系统通常可以集成在单个产品中或者被包装分成多个产品。
参考一个实施例、实施方式、应用详细描述的元件在可行的情况下可选地包括在没有具体示出或描述它们的其他实施例、实施方式或应用中。例如，如果参考一个实施例详细描述了一个元件，并且没有参考第二实施例描述该元件，则该元件可以被要求保护为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，除非另有特别说明、除非一个或多个元件使得实施例或实施方式失去功能，或者除非两个或多个元件提供冲突功能，否则结合一个实施例、实施方式或应用所示出或描述的一个或多个元件可并入其他实施例、实施方式或方面中。
已经描述了主题的特定实施例。其他实施例在随附权利要求的范围内。例如，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或连续顺序来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (18)

1.一种外科手术系统，其包括：
显示装置；以及
一个或多个处理装置，其被配置为执行操作，所述操作包括：
操作所述外科手术系统以执行外科手术过程，
接收来自多个数据源的数据；
确定所述外科手术过程的当前阶段对应于所述外科手术过程的第一阶段；
在所述显示装置上，并且基于确定所述外科手术过程的所述当前阶段对应于所述第一阶段，显示第一组专用于阶段的视觉表示，所述第一组专用于阶段的视觉表示与来自所述多个数据源的所述数据中的来自所述多个数据源的第一组的数据相对应，所述第一组专用于阶段的视觉表示被布置在所述显示装置的显示区域内的第一布置中；
经由输入装置接收用户输入，所述用户输入指示对所述第一组专用于阶段的视觉表示中的一个或多个视觉表示的调整；
确定所述调整的至少一部分违反与所述一个或多个视觉表示相关联的预定安全条件；以及
响应于确定所述违反，防止对所述一个或多个视觉表示的所述调整，或者生成被配置为向用户警告所述违反的控制信号；
确定所述外科手术过程的所述当前阶段对应于所述外科手术过程的与所述第一阶段不同的第二阶段，以及
在所述显示装置上，并且基于确定所述外科手术过程的所述当前阶段对应于所述第二阶段，显示第二组专用于阶段的视觉表示，所述第二组专用于阶段的视觉表示与来自所述多个数据源的所述多个数据源的第二组的数据相对应，所述第二组专用于阶段的视觉表示被布置在所述显示装置的显示区域内的第二布置中。
2.如权利要求1所述的外科手术系统，其中所述多个数据源的所述第一组或所述第一布置中的至少一个基于所述外科手术系统的当前用户的用户偏好记录。
3.如权利要求1所述的外科手术系统，其中显示所述第一组专用于阶段的视觉表示或显示所述第二组专用于阶段的视觉表示中的至少一个基于所述外科手术系统的预定安全性简档。
4.如权利要求1所述的外科手术系统，其中所述操作进一步包括：
经由所述输入装置接收用户输入，所述用户输入指示对与来自所述多个数据源的所述数据相对应的所述第一组专用于阶段的视觉表示中的一个或多个所述视觉表示的第二调整；以及
根据所述第二调整更新所述显示装置。
5.如权利要求4所述的外科手术系统，其中所述操作进一步包括：
根据所述第二调整更新用户简档。
6.如权利要求5所述的外科手术系统，其中所述操作进一步包括：
根据所述第二调整更新存储在其他用户可访问的存储位置处的所述用户简档的表示。
7.如权利要求1所述的外科手术系统，其中所述多个数据源包括以下各项中的至少两个：内窥镜、超声成像装置、计算机断层摄影(CT)成像装置、核成像装置、放射线照相成像装置或磁共振成像(MRI)装置。
8.如权利要求7所述的外科手术系统，其中所述多个数据源包括以下各项中的至少一个：(i)生成图像、文本、交互式图形或图形用户界面(GUI)中的一个或多个的计算装置，或(ii)提供一个或多个预先存储的图像或视频的存储装置。
9.如权利要求1所述的外科手术系统，其中确定所述外科手术过程的所述当前阶段对应于所述外科手术过程的所述第一阶段或确定所述外科手术过程的所述当前阶段对应于所述外科手术过程的所述第二阶段中的至少一个基于指示所述当前阶段的用户输入。
10.如权利要求1所述的外科手术系统，其中确定所述外科手术过程的所述当前阶段对应于所述外科手术过程的所述第一阶段或确定所述外科手术过程的所述当前阶段对应于所述外科手术过程的所述第二阶段中的至少一个基于对来自所述多个数据源中的至少一个的所述数据执行的图像分析过程。
11.如权利要求1所述的外科手术系统，其中来自所述多个数据源的所述多个数据源中的一个或多个的数据包括相对于公共参考系的定位信息。
12.如权利要求11所述的外科手术系统，其中显示所述第一组专用于阶段的视觉表示包括将所述第一组专用于阶段的视觉表示的第一视觉表示覆盖在所述第一组专用于阶段的视觉表示的第二视觉表示上，其中基于所述公共参考系相对于所述第二视觉表示配准所述第一视觉表示。
13.如权利要求1所述的外科手术系统，其中基于在开始所述外科手术过程之前加载的用户简档确定所述第一布置。
14.如权利要求13所述的外科手术系统，其中所述用户简档识别执行所述外科手术过程的个体，并且包括所述个体的用户偏好，所述用户偏好关于在所述外科手术过程的不同阶段期间与来自所述多个数据源的所述数据相对应的视觉表示的组织。
15.如权利要求1所述的外科手术系统，其中所述显示装置包括多个屏幕。
16.如权利要求1所述的外科手术系统，其中确定所述当前阶段对应于所述第二阶段包括：
基于来自所述多个数据源中的至少一个的所述数据检测解剖特征的存在；以及
基于检测到的所述解剖特征的存在确定所述当前阶段对应于所述第二阶段。
17.如权利要求1所述的外科手术系统，其中确定所述当前阶段对应于所述第二阶段包括：
基于来自所述多个数据源中的至少一个的所述数据检测外科手术工具的存在；以及
基于检测到的所述外科手术工具的存在确定所述当前阶段对应于所述第二阶段。
18.如权利要求1所述的外科手术系统，其中确定所述当前阶段对应于所述第二阶段包括：
基于由所述外科手术系统生成的事件确定所述当前阶段对应于所述第一阶段。
CN201780067208.7A 2016-11-04 2017-11-03 在计算机辅助远程操作外科手术中的可重新配置的显示器 Active CN109890311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311738572.5A CN117717411A (zh) 2016-11-04 2017-11-03 在计算机辅助远程操作外科手术中的可重新配置的显示器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662417493P 2016-11-04 2016-11-04
US62/417,493 2016-11-04
PCT/US2017/060000 WO2018085694A1 (en) 2016-11-04 2017-11-03 Reconfigurable display in computer-assisted tele-operated surgery

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311738572.5A Division CN117717411A (zh) 2016-11-04 2017-11-03 在计算机辅助远程操作外科手术中的可重新配置的显示器

Publications (2)

Publication Number Publication Date
CN109890311A CN109890311A (zh) 2019-06-14
CN109890311B true CN109890311B (zh) 2024-01-02

Family

ID=62076639

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780067208.7A Active CN109890311B (zh) 2016-11-04 2017-11-03 在计算机辅助远程操作外科手术中的可重新配置的显示器
CN202311738572.5A Pending CN117717411A (zh) 2016-11-04 2017-11-03 在计算机辅助远程操作外科手术中的可重新配置的显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311738572.5A Pending CN117717411A (zh) 2016-11-04 2017-11-03 在计算机辅助远程操作外科手术中的可重新配置的显示器

Country Status (4)

Country Link
US (2) US20190254759A1 (zh)
EP (1) EP3534817A4 (zh)
CN (2) CN109890311B (zh)
WO (1) WO2018085694A1 (zh)

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2018208823A1 (en) * 2017-05-09 2018-11-15 Boston Scientific Scimed, Inc. Operating room devices, methods, and systems
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11123070B2 (en) 2017-10-30 2021-09-21 Cilag Gmbh International Clip applier comprising a rotatable clip magazine
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11026712B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Surgical instruments comprising a shifting mechanism
US11071595B2 (en) * 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US10943454B2 (en) * 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US20190201142A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Automatic tool adjustments for robot-assisted surgical platforms
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11596291B2 (en) 2017-12-28 2023-03-07 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying of the location of the tissue within the jaws
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11464532B2 (en) 2018-03-08 2022-10-11 Cilag Gmbh International Methods for estimating and controlling state of ultrasonic end effector
US11678927B2 (en) 2018-03-08 2023-06-20 Cilag Gmbh International Detection of large vessels during parenchymal dissection using a smart blade
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11197668B2 (en) 2018-03-28 2021-12-14 Cilag Gmbh International Surgical stapling assembly comprising a lockout and an exterior access orifice to permit artificial unlocking of the lockout
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
EP3793468A4 (en) * 2018-05-15 2022-01-26 Intuitive Surgical Operations, Inc. METHOD AND APPARATUS FOR MANIPULATING FABRIC
JP2021527522A (ja) * 2018-06-21 2021-10-14 プロセプト バイオロボティクス コーポレイション 手術ロボット外科手術のための人工知能
US20220095903A1 (en) * 2019-01-25 2022-03-31 Intuitive Surgical Operations, Inc. Augmented medical vision systems and methods
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11291445B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical staple cartridges with integral authentication keys
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
JP2020162916A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
US11633247B2 (en) * 2020-03-03 2023-04-25 Verb Surgical Inc. Graphical user guidance for a robotic surgical system
CN112971688A (zh) * 2021-02-07 2021-06-18 杭州海康慧影科技有限公司 图像处理方法、装置及计算机设备
US20230013884A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7525309B2 (en) * 2005-12-30 2009-04-28 Depuy Products, Inc. Magnetic sensor array
CN102326163A (zh) * 2009-02-20 2012-01-18 太阳能公司 包括异常事件状况管理和显示的自动化太阳能收集器安装设计
CN102592484A (zh) * 2010-11-16 2012-07-18 韩国电子通信研究院 用于基于虚拟现实的训练模拟器的可重配置平台管理设备
CN104769943A (zh) * 2012-10-25 2015-07-08 Lg电子株式会社 在多视图3dtv服务中处理边缘违反现象的方法和装置
CN105556534A (zh) * 2013-07-12 2016-05-04 三星电子株式会社 用于在发生拒绝时建议响应指南的电子设备和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1722705A2 (en) * 2004-03-10 2006-11-22 Depuy International Limited Orthopaedic operating systems, methods, implants and instruments
US8862200B2 (en) * 2005-12-30 2014-10-14 DePuy Synthes Products, LLC Method for determining a position of a magnetic source
US8280483B2 (en) * 2006-06-14 2012-10-02 Koninklijke Philips Electronics N.V. Multi-modality medical image viewing
US7794396B2 (en) * 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US20100063400A1 (en) * 2008-09-05 2010-03-11 Anne Lindsay Hall Method and apparatus for catheter guidance using a combination of ultrasound and x-ray imaging
JP6021353B2 (ja) * 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
DE102012110508B4 (de) * 2011-11-04 2022-05-12 Fanuc Robotics America Corp. Roboter Einstellvorrichtung mit 3-D Display
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US9629523B2 (en) * 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
DE102013000250A1 (de) * 2013-01-09 2014-07-10 Kuka Laboratories Gmbh Konfigurierbare Sicherheitsüberwachung für eine Roboteranordnung
CA2902771C (en) * 2013-03-15 2018-08-14 Synaptive Medical (Barbados) Inc. Context aware surgical systems
JP6023324B2 (ja) * 2013-06-11 2016-11-09 敦 丹治 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置
KR101645624B1 (ko) * 2013-06-12 2016-08-05 삼성전자주식회사 의료 정보 제공 방법 및 장치
WO2018076094A1 (en) * 2016-10-31 2018-05-03 Synaptive Medical (Barbados) Inc. 3d navigation system and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7525309B2 (en) * 2005-12-30 2009-04-28 Depuy Products, Inc. Magnetic sensor array
CN102326163A (zh) * 2009-02-20 2012-01-18 太阳能公司 包括异常事件状况管理和显示的自动化太阳能收集器安装设计
CN102592484A (zh) * 2010-11-16 2012-07-18 韩国电子通信研究院 用于基于虚拟现实的训练模拟器的可重配置平台管理设备
CN104769943A (zh) * 2012-10-25 2015-07-08 Lg电子株式会社 在多视图3dtv服务中处理边缘违反现象的方法和装置
CN105556534A (zh) * 2013-07-12 2016-05-04 三星电子株式会社 用于在发生拒绝时建议响应指南的电子设备和方法

Also Published As

Publication number Publication date
CN117717411A (zh) 2024-03-19
US20190254759A1 (en) 2019-08-22
EP3534817A1 (en) 2019-09-11
US20220175470A1 (en) 2022-06-09
EP3534817A4 (en) 2020-07-29
CN109890311A (zh) 2019-06-14
WO2018085694A1 (en) 2018-05-11

Similar Documents

Publication Publication Date Title
CN109890311B (zh) 在计算机辅助远程操作外科手术中的可重新配置的显示器
US20210157403A1 (en) Operating room and surgical site awareness
US11446098B2 (en) Surgical system with augmented reality display
Qian et al. A review of augmented reality in robotic-assisted surgery
US10542908B2 (en) Surgical equipment control input visualization field
JP7414770B2 (ja) 医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置
US20190053872A1 (en) Systems and methods for removing occluding objects in surgical images and/or video
KR20090034813A (ko) 컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치
US11918306B2 (en) Multi-dimensional visualization in computer-assisted tele-operated surgery
US20210275264A1 (en) Graphical User Guidance for a Robotic Surgical System
US20210343088A1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
Kogkas et al. Free-view, 3D gaze-guided robotic scrub nurse
US20210251706A1 (en) Robotic Surgical System and Method for Providing a Stadium View with Arm Set-Up Guidance
WO2019035206A1 (ja) 医療システムおよび画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant