CN111655184A - 用于放置手术端口的引导 - Google Patents

用于放置手术端口的引导 Download PDF

Info

Publication number
CN111655184A
CN111655184A CN201980010233.0A CN201980010233A CN111655184A CN 111655184 A CN111655184 A CN 111655184A CN 201980010233 A CN201980010233 A CN 201980010233A CN 111655184 A CN111655184 A CN 111655184A
Authority
CN
China
Prior art keywords
surgical
location
port
surgical port
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980010233.0A
Other languages
English (en)
Other versions
CN111655184B (zh
Inventor
德怀特·梅格兰
迈尔·罗森贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111655184A publication Critical patent/CN111655184A/zh
Application granted granted Critical
Publication of CN111655184B publication Critical patent/CN111655184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3417—Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421—Cannulas
    • A61B17/3423—Access ports, e.g. toroid shape introducers for instruments or hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware

Abstract

用于引导手术端口在身体上的放置的系统包括：图像捕获装置，所述图像捕获装置被配置成捕获操作环境的图像和基于捕获的图像生成图像数据；显示装置；和计算装置，所述计算装置被配置成获得关于手术部位在所述身体内的位置的信息，从所述图像捕获装置接收所述图像数据，基于所述手术部位在所述身体内的所述位置和所述图像数据生成用于将手术端口放置在所述身体上的图形引导，和使所述显示装置显示生成的图形引导。

Description

用于放置手术端口的引导
背景技术
机器人手术使得外科医生能够执行通过手动手术技术不能执行或执行效率较低的各种手术过程(如开放和/或腹腔镜手术过程)。然而，为了使外科医生能够舒适地将手术机器人用于机器人手术过程，需要精确放置手术端口以确保机器人手术工具能够进入手术部位。准确地放置手术端口取决于各种因素，包括手术部位的位置、正在治疗的病况的类型、患者的特性以及正在执行的手术过程的类型。因此，外科医生通常需要大量的训练和准备，以学习放置手术端口的最佳位置，以及如何基于上述因素调整那些位置。下文公开用于为放置手术端口提供引导的改进的系统、方法和计算机可读介质。
发明内容
本公开涉及提供用于将手术端口放置在患者的身体上的引导，并且更具体地涉及用于生成和显示虚拟或增强现实视觉引导以在患者的身体上计划和放置手术端口期间引导和/或协助临床医生的系统、方法和计算机可读介质。
根据本公开的实施例，提供用于引导手术端口在身体上的放置的系统。在本公开的一个方面，系统包括：图像捕获装置，所述图像捕获装置被配置成捕获包括身体的操作环境的图像和基于捕获的图像生成图像数据；显示装置，所述显示装置由用户佩戴；和计算装置，所述计算装置包括处理器和存储指令的存储器，所述指令在由处理器执行时使计算装置获得关于手术部位在身体内的位置的信息，从图像捕获装置接收图像数据，基于手术部位在身体内的位置和图像数据生成用于将手术端口放置在身体上的图形引导，和使显示装置显示生成的图形引导。
在本公开的另一方面，指令在由处理器执行时另外使计算装置基于从图像捕获装置接收的图像数据检测手术端口已经放置在身体上，生成用于将内窥镜通过手术端口插入身体中的图形引导，和检测内窥镜已经通过手术端口插入。
在本公开的另一个方面，检测手术端口已经放置在身体上包括分析从图像捕获装置接收的附加图像数据，以检测手术端口已经放置在身体上。
在本公开的另一方面，检测内窥镜已经通过手术端口插入包括分析从图像捕获装置接收的附加图像数据，以检测内窥镜已经通过手术端口插入。
在本公开的又另一方面，手术端口为第一手术端口，并且指令在由处理器执行时另外使计算装置基于手术部位在身体内的位置以及检测到的其中第一手术端口已经放置在身体上的位置生成用于将第二手术端口放置在身体上的图形引导，和使显示装置显示生成的图形引导。
在本公开的再一方面，生成的图形引导包括显示在身体上的虚拟手术端口，并且指令在由处理器执行时另外使计算装置分析从图像捕获装置接收的附加图像数据以检测用户的手的移动，基于检测到的用户的手的移动确定用户正在调整虚拟手术端口在身体上的位姿，和基于所确定的虚拟手术端口在身体上的位姿的调整更新图形引导。
在本公开的另一个方面，指令在由处理器执行时另外使计算装置在所确定的虚拟手术端口在身体上的位姿的调整超过相对于由图形引导推荐的位姿的预定距离或取向改变时提供警报。
在本公开的另一方面，检测用户的手的移动包括检测由用户的手执行的手势。
在本公开的另一个方面，确定用户正在调整虚拟手术端口在身体上的位姿另外基于检测到的由用户的手执行的手势。
在本公开的另一方面，图像捕获装置联接到显示装置。
在本公开的又另一方面，图形引导包括通过显示装置显示的文本指令。
在本公开的再一方面，图形引导包括手术端口的推荐位姿的增强现实图像。
在本公开的另一个方面，手术端口的推荐位姿基于推荐的手术端口放置的预定模型确定。
在本公开的另一方面，手术端口的推荐位姿基于预定治疗计划确定。
在本公开的又另一方面，手术端口的推荐位姿基于身体的扫描确定。
在本公开的再一方面，图形引导包括手术部位在身体内的增强现实图像。
在本公开的另一个方面，计算装置使显示装置显示叠加到身体上的手术部位在身体内的增强现实图像。
在本公开的另一方面，手术部位的增强现实图像包括至少一个器官在身体内的位置。
在本公开的另一个方面，至少一个器官在身体内的位置基于器官的位置的预定模型。
在本公开的另一方面，系统另外包含包括一个或多个机器人组件的手术机器人，所述一个或多个机器人组件包括基座、第一接头、联接到第一接头的第一臂、联接到第一臂的第二接头和联接到第二接头的第二臂，并且基座通过第一接头、第一臂和第二接头联接到第二臂。
在本公开的另一个方面，指令在由处理器执行时另外使计算装置基于所确定的手术部位在身体内的位置生成用于放置手术机器人的图形引导。
在本公开的又另一方面，指令在由处理器执行时另外使计算装置基于手术端口在身体上的放置确定手术机器人的运动范围，和使显示装置显示手术机器人的运动范围的指示。
在本公开的另一个方面，手术机器人的运动范围基于手术机器人的特性确定。
在本公开的又另一个方面，手术机器人的特性包括以下中的一个或多个：手术机器人的配置、手术机器人相对于身体的位姿，和联接到手术机器人的工具的类型。
在本公开的另一方面，图像捕获装置为第一图像捕获装置，并且系统另外包含第二图像捕获装置，并且指令在由处理器执行时另外使计算装置基于从第一和第二图像捕获装置接收的图像数据生成操作环境的三维场景。
在本公开的另一个方面，第一和第二图像捕获装置定位在操作环境周围。
在本公开的另一方面，图像捕获装置包括在计算装置中。
在本公开的又另一方面，计算装置包括在显示装置中。
在本公开的再一方面，获得关于手术部位在身体内的位置的信息包括经由来自用户的输入接收手术部位的选择。
在本公开的又另一方面，获得关于手术部位在身体内的位置的信息包括基于在身体的扫描期间获取的图像数据确定手术部位的位置。
在本公开的再一方面，获得关于手术部位在身体内的位置的信息包括基于预定治疗计划确定手术部位的位置。
在本公开的又另一方面，指令在由处理器执行时另外使计算装置基于接收的图像数据确定手术部位在身体内的位置。
在本公开的再一方面，身体为人体模型的至少一部分。
在本公开的又另一方面，身体为患者的至少一部分。
根据本公开的实施例，提供用于引导手术端口在身体上的放置的方法。在本公开的一个方面，方法包括获得关于手术部位在身体内的位置的信息，从图像捕获装置接收基于操作环境的图像生成的图像数据，基于手术部位在身体内的位置和图像数据生成用于将手术端口放置在身体上的图形引导，和显示生成的图形引导。
根据本公开的实施例，提供包括指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使计算机获得关于手术部位在身体内的位置的信息，从图像捕获装置接收基于操作环境的图像生成的图像数据，基于手术部位在身体内的位置和图像数据生成用于将手术端口放置在身体上的引导，和使显示装置显示生成的图形引导。
可组合本公开的任何上述方面和实施例而不脱离本公开的范围。
附图说明
下文中参考图式描述本公开的各个方面和特征，其中：
图1为根据本公开的实施例的用于提供用于放置手术端口的引导的系统的示意图；
图2为形成图1的系统的一部分的示例性计算装置的框图；
图3A和3B示出根据本公开的实施例的用于提供用于放置手术端口的引导的示例性方法的流程图；
图4A示出根据本公开的实施例的可由形成图1的系统的一部分的头戴式显示装置显示的示例性图形用户接口；和
图4B示出根据本公开的实施例的可由形成图1的系统的一部分的头戴式显示装置显示的另一示例性图形用户接口。
具体实施方式
本公开针对用于提供用于将手术端口放置在患者的身体(或在一些实例中，基于患者的身体或另一测试受试者的身体建模的非人体—如人体模型、虚拟身体等)(在下文中统称为“身体”)上的引导的系统、方法和计算机可读介质。更具体地，本公开涉及指令用户如外科医生、护士、技术人员和/或其它手术室工作人员(在下文中称为临床医生或用户)如何以及在何处将手术端口放置在身体上以确保联接到手术机器人的手术工具适当地进入身体内的手术部位。各种形式的视觉和/或听觉引导可由一个或多个显示装置(如头戴式显示器，例如，增强现实头盔和/或虚拟现实头盔)显示和/或发射。在一些实施例中，显示装置可为联接到手术机器人的一个或多个机器人臂和/或在手术环境周围的其它支架或组件的一个或多个投影仪或其它光发射器，显示装置被配置成显示引导和/或照亮身体的一个或多个部分。引导可包括一个或多个命令，所述命令指导临床医生将手术端口放置在身体上的特定位置，并且使得临床医生能够调整手术端口的位置。因此，本文公开的系统、方法和计算机可读介质可在机器人手术的训练期间和/或在实际的机器人手术过程期间使用，以协助临床医生为机器人手术做准备。
参考图1，示出根据本公开的实施例的用于提供用于放置手术端口的引导的系统100。系统100可包括能够支撑身体B的工作台110、头戴式显示装置(HMD)120、一个或多个图像捕获装置125a、125b、125c和125d、一个或多个手术端口130a、130b、130c和130d、手术机器人组件150、腹腔镜140和计算装置200。图像捕获装置125a、125b、125c和125d可为本领域技术人员已知的任何图像捕获装置，如摄像机、静态相机、立体相机、三维深度相机、LIDAR传感器等，并且可定位在操作环境周围。如本文所用，术语“操作环境”是指执行机器人手术的环境、房间或场景。这样，操作环境包括工作台110、HMD 120以及一个或多个图像捕获装置125a、125b、125c和125d。在一些实施例中，操作环境另外包括在工作台110上的身体B、一个或多个手术端口130a、130b、130c和130d、手术机器人组件150和/或腹腔镜140。在其它实施例中，系统100可用于训练和/或计划过程中，身体B、手术端口130a、130b、130c和130d、手术机器人组件150和/或腹腔镜140中的一些或全部可不存在于操作环境中。在这类训练和/或计划过程期间，身体B可为虚拟或非人体，如下文另外描述。
捕获装置125a、125b、125c和125d(例如，如图1中所示的图像捕获装置125d)的一个或多个图像可包括在HMD 120中或与其联接。另外或可替代地，图像捕获装置125a、125b、125c和125d可通过无线或有线连接联接或以其他方式连接到计算装置200。图像捕获装置125a、125b、125c和125d在下文中统称为图像捕获装置125。手术端口130a、130b、130c和/或130d可为可用于将手术工具插入身体B中的任何端口或装置，如套管针。手术端口130a、130b、130c和130d在下文中统称为手术端口130。
手术机器人组件150可包括基座151、联接到基座151的第一接头152、联接到第一接头152的第一机器人臂155、联接到第一机器人臂155的第二接头153、联接到第二接头153的第二机器人臂154和联接到第二臂154的器械驱动单元156。腹腔镜140可经由器械驱动单元156附接到手术机器人组件150。在实施例中，手术机器人组件150可同时使用，并且可一起形成手术机器人。虽然在图1中示出单个手术机器人组件150，但是多个手术机器人组件150可包括在手术训练环境中，并且本领域技术人员将认识到，以下描述的方法可应用于具有单个和/或多个手术机器人组件150的手术机器人而不脱离本公开的范围，所述手术机器人组件各自包括至少一个基座151、机器人臂154和155、接头152和153以及器械驱动单元156。
本领域技术人员将认识到，除了HMD 120之外或代替HMD 120，系统100还可包括其它显示装置，而不脱离本公开的范围。举例来说，一个或多个投影仪或其它发光装置可联接到机器人臂154和/或155、其它设备、照明灯或在手术环境周围的支架等。另外或可替代地，各种其它支持增强现实的装置，如平板计算机、智能电话等也可包括在系统100中。这样，虽然HMD 120在本文中用作说明性实施例，但是本公开不旨在限于仅具有HMD 120作为显示装置。
身体B可为人体，如经历手术过程的患者的身体；非人体，如人体模型、物理模型或其它模拟身体；和/或虚拟身体，在一些情况下，其基于患者或测试受试者的人体建模。举例来说，在其中身体B为虚拟身体的实施例中，身体B可基于特定患者和/或测试受试者的参数生成，并且可将其存储在计算装置200中以在手术过程和/或训练过程期间加载。在其中身体B为虚拟身体的实施例中，身体B不物理地存在于工作台110上，而是经由HMD 120显示为增强和/或虚拟现实图像，如下文另外描述。另外，在其中身体B为虚拟身体的实施例中，工作台110也可为由计算装置200和/或HMD 120生成并且经由HMD 120显示的虚拟工作台。因此，本公开的系统和方法可用于训练以及真实手术目的。在其中使用不同类型的显示装置，如平板或其它手持式计算装置的实施例中，可使用“窗口增强现实”显示系统100的身体B和/或其它部件—也就是说，当工作台110处于由显示装置显示的视图内时，显示装置可显示在工作台110上的身体B。此外，本领域技术人员将认识到，除了本文所描述的实施例之外或代替本文所描述的实施例，可使用采用虚拟和/或增强现实显示系统100的身体B和/或其它部件的各种其它实施例，而不脱离本公开的范围。
计算装置200可为本领域技术人员已知的可配置用于机器人手术的训练期间的任何计算装置。举例来说，计算装置200可为台式计算机、膝上型计算机、服务器和终端配置，和/或用于包括手术机器人组件150的手术机器人的控制计算机等。在一些实施例中，计算装置200可包括在HMD 120中。如下文另外描述，系统100可在机器人手术的训练期间使用，如关于如何将手术端口放置在身体B上的训练。
现在转到图2，示出根据本公开的实施例的形成图1的系统100的一部分的计算装置200的示意图。计算装置200包括存储器202、处理器204、输入接口206、通信接口208和输出接口210。存储器202存储数据库240和应用程序280。应用程序280可包括指令，其在由处理器204执行时使计算装置200执行各种功能，如下所述。应用程序280另外包括图形用户接口(GUI)指令285，其在由处理器204执行时使计算装置200生成一个或多个GUI(图2中未示出)，例如图4A和4B中所示的实例GUI 400。数据库240可存储一个或多个患者的身体的各种扫描和/或模型和/或用于手术过程的治疗计划。举例来说，预定的和/或患者特定的治疗计划可基于手术部位的位置和要在手术部位处执行的各种治疗。
存储器202可包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述数据和/或软件可由处理器204执行并且控制计算装置200的操作。在一实施例中，存储器202可包括一个或多个固态存储装置，如闪存芯片。可替代地或除了一个或多个固态存储装置之外，存储器202还可包括通过大容量存储控制器(图2中未示出)和通信总线(图2中未示出)连接到处理器204的一个或多个大容量存储装置。尽管在本文中所包括的计算机可读介质的描述是指固态存储装置，但是本领域技术人员应理解，计算机可读存储介质可为可由处理器204访问的任何可用介质。也就是说，计算机可读存储介质可包括以用于存储如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的非暂时性、易失性和非易失性、可移动和不可移动介质。举例来说，计算机可读存储介质可包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储装置，或可用于存储期望信息并且可由计算装置200访问的任何其它介质。
输入接口206可为鼠标、键盘或其它手持式控制器、脚踏板、触摸屏、语音接口和/或用户可通过其与计算装置200交互的任何其它装置或接口。通信接口208可被配置成连接到网络，如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。输出接口210可为可用于由计算装置200输出图像或数据的屏幕或其它显示装置。
参考图3A和3B，示出根据本公开的实施例的用于提供用于放置手术端口的引导的示例性方法300的流程图。在一些实施例中，方法300的一些或全部步骤可在手术过程开始之前在手术环境如手术室中执行。在其它实施例中，方法300的一些或全部步骤可在教学环境如教导课程的训练设施中执行。下文所述的示例性实施例纯粹是出于说明性目的而提供的，并且不应被解释为限制性的，因为本领域技术人员将认识到，在本公开的范围内还想到许多其它实施例。
从步骤S302开始，一个或多个图像捕获装置125捕获操作环境的图像。如上所述，操作环境包括工作台110和手术机器人组件150。在一些实施例中，操作环境可另外包括在工作台110上的身体B。然后，在步骤S304，图像捕获装置125基于在步骤S302捕获的图像生成操作环境的图像数据。另外，图像捕获装置125可连续地捕获操作环境的图像，并且因此，即使在方法300开始时示出步骤S302和S304，捕获图像和基于捕获的图像生成操作环境的图像数据可为贯穿方法300执行的连续动作。这样，在下文所述的一些或全部步骤期间，可捕获附加图像，并且生成操作环境的附加图像数据，并且将图像和/或图像数据提供给计算装置200。
此后，在步骤S306，将在步骤S304生成的图像数据提供给计算装置200。在一些实施例中，图像捕获装置125不生成操作环境的图像数据，而是将捕获的图像提供给计算装置200，其继而基于捕获的图像生成操作环境的图像数据。在这类实施例中，在步骤S306提供给计算装置200的为捕获的图像，而不是操作环境的图像数据。然后，计算装置200处理图像数据以生成操作环境的三维(3D)场景。操作环境的3D场景基于图像数据、从其它来源接收的数据和/或由用户提供的输入。
然后，在步骤S308，计算装置200获得关于手术部位在身体B内的信息。关于手术部位的信息可由用户如经由输入接口206提供。在一些实施例中，关于手术部位的信息在手术过程开始之前被预先配置。关于手术部位的信息可包括在身体B内将要执行手术过程的位置、与手术过程有关的器官和/或其它结构的位置和/或类型，和/或将要执行的手术过程的类型。举例来说，关于手术部位的信息可指示手术过程将包括去除患者的肺的一部分。
此后，在步骤S310，计算装置200确定手术部位在身体B内的位置。确定可基于在步骤S308接收的关于手术部位的信息、身体B的放射线图像数据和/或在步骤S306接收的图像数据。举例来说，在过程开始之前获取的放射线图像数据，如身体B的计算机断层扫描和/或磁共振图像数据可被加载和扭曲或变形，以匹配在步骤S306接收的图像数据中检测的身体B的观察位姿(其在获取放射线图像数据时可以不与身体B的位姿对齐)。另外或可替代地，在统计技术中，器官位置的各种模型可用于估计器官和其它结构在身体B内的位置，如下文另外描述。确定可另外基于治疗计划。举例来说，在以上参考步骤S308描述的实例中，计算装置200可处理图像数据以识别图像数据内的身体B，并且然后基于在工作台110上的身体B的位姿识别手术部位(例如患者的肺)的位置。如本文所用，术语“位姿”被定义为对象的位置和取向。举例来说，身体B的位姿是指在工作台110上的身体B的位置、身体B相对于工作台110和/或操作环境的取向，以及工作环境中的其它对象。类似地，还可确定操作环境(如工作台110和手术机器人组件150等)中的其它对象的位姿。
识别手术部位在患者的身体内的位置可基于器官位置和其它结构在患者的身体内的位置的模型。器官位置的模型可为基于从各种患者接收的与器官位置相关的数据点的通用模型，或者器官位置的模型可为基于正在治疗的患者的一次或多次扫描和/或其它放射线成像而生成的模型。
然后，在步骤S312，计算装置200生成用于将第一手术端口130放置在身体B上的引导。引导基于如在步骤S310确定的手术部位在身体B内的位置以及在步骤S306生成的操作环境的3D场景生成。引导可另外基于特定手术部位和/或特定类型的手术的推荐的手术端口放置位置的模型。另外，引导可基于预定治疗计划中包括的推荐的手术端口放置位置。举例来说，可基于将通过手术端口插入的手术工具的灵巧工作空间确定推荐的手术端口放置—也就是说，可确定推荐的手术端口放置位置，使得通过手术端口插入的手术工具的灵巧工作空间共同包括整个手术部位或其至少预定部分。
在实施例中，手术工具的灵巧工作空间基于手术机器人组件150和/或机器人臂154、155的双灵巧运动范围确定。手术机器人组件150的双灵巧运动范围的确定可基于手术机器人组件150的特性，包括手术机器人组件150的配置、手术机器人组件150相对于身体B的位姿和/或联接到手术机器人组件150的手术工具的类型。当确定手术工具的灵巧工作空间时，可考虑手术机器人组件150在身体B周围的放置和/或位姿，并且因此，推荐的手术端口放置位置可基于手术机器人组件150的放置和/或位姿确定。又另外，引导可基于推荐的手术端口放置位置，其基于患者的身体的扫描而确定。引导可为图形引导，并且可包括示出手术部位在身体B内的位置的一个或多个增强现实图像(如图4A和4B中所示，如下所述)，以及指示第一手术端口130应放置在身体B上的位置的虚拟手术端口。在其它实施例中，图形引导可包括通过一个或多个显示装置(例如，投影仪或发光装置)投影到患者的身体上的图像。引导可另外包括视觉指示符，如箭头、指针等，以及文本以及听觉命令(如图4A和4B所示，并且另外参考图4A和4B描述的)，其指导用户将手术端口130放置在何处。然后，在步骤S314，计算装置200显示在步骤S312生成的引导(如图4A中所示)。在实施例中，计算装置200可使HMD 120显示引导，和/或使其它显示装置将引导投影到身体B上。举例来说，计算装置200可使HMD 120显示手术端口410a、410b、410c、410d、410e、手术部位420和/或通过手术端口410中的一个或多个插入的手术工具的灵巧工作空间430的虚拟表示，作为覆盖物和/或叠加到身体B上，如图4A和4B中所示。在一些实施例中，计算装置200可从通过至少一个手术端口130插入的内窥镜生成预期视图的虚拟渲染。虚拟渲染可基于手术部位和/或身体B的上述模型生成。虚拟渲染可与引导结合显示。
接下来，在步骤S316，计算装置200确定用户是否已经移动，并且具体地确定用户的手是否已经移动。确定可基于计算装置200从图像捕获装置125接收的附加图像数据。计算装置200可处理和分析附加图像数据以识别用户并且检测用户的手是否已经移动。如果确定用户的手尚未移动(在步骤S316为“否”)，那么处理向前跳到步骤S326。可替代地，如果确定用户的手已经移动(在步骤S316为“是”)，那么进行到步骤S318。
在步骤S318，计算装置200确定用户的手的移动是否指示用户已经调整作为引导的一部分显示的虚拟手术端口的位姿。举例来说，计算装置200可处理和分析在步骤S316期间接收的附加图像数据，以检测由用户的手执行的手势。可执行各种手势，例如夹捏手势、扩展手势、戳手势和/或移动手势。各种手势可指示由用户执行的不同动作，例如，如由HMD120显示的，当用户的手指向特定虚拟手术端口时的夹捏手势可指示用户正在选择或“拾起”特定虚拟手术端口。同样地，如由HMD 120显示的，当用户的手指向特定虚拟手术端口时执行的扩展手势可指示用户正在取消选择或“放下”特定虚拟手术端口。类似地，在选择特定虚拟手术端口时用户的手的移动可指示用户在用户的手移动的方向上移动特定虚拟手术端口。在一些实施例中，用户可基于语音命令和/或通过眼睛跟踪移动虚拟端口。
如果确定用户的手的移动没有指示用户已经调整虚拟手术端口的位姿，或者用户尚未给出语音和/或眼睛跟踪命令以调整虚拟手术端口的位姿(在步骤S318为“否”)，那么处理向前跳到步骤S326。可替代地，如果确定用户的手的移动确实指示用户已经调整虚拟手术端口的位姿，或者用户已经给出语音和/或眼睛跟踪命令以调整虚拟手术端口的位姿(在步骤S318为“是”)，那么处理进行到步骤S320，其中计算装置200基于调整更新引导。举例来说，计算装置200可将虚拟手术端口的位姿从在步骤S312生成的引导中推荐的位姿调整为用户将虚拟手术端口移动到的位姿，如在步骤S318确定的。
此后，在步骤S322，计算装置200确定虚拟手术端口的调整是否大于相对于在步骤S312生成的引导中推荐的位姿的预定距离或取向改变。预定距离和取向可基于手术部位在身体B内的位置和/或正在执行的手术过程的类型。举例来说，结肠直肠手术过程可需要手术端口的不太精确地放置，并且因此允许用户在放置手术端口时具有更大的柔韧性，而脊柱和/或神经手术过程可需要手术端口的更精确放置。如果确定虚拟手术端口的调整大于预定距离或取向改变(在步骤S322为“是”)，那么处理进行到步骤S324，其中向用户提供警报以向用户指示虚拟手术端口的位姿已经被调整超过相对于推荐位姿的预定距离。此后，或者如果在步骤S322确定虚拟手术端口的调整不大于预定距离或取向改变(在步骤S322为“否”)，那么处理返回到步骤S314，其中显示如在步骤S320更新的引导。
在步骤S326，计算装置200确定第一手术端口130是否已经放置在身体B上。举例来说，如以上参考步骤S302所述，计算装置200可从图像捕获装置125接收附加图像数据，并且可处理和分析附加图像数据以确定第一手术端口130是否已经放置在身体B上。如果确定第一手术端口130尚未放置在身体B上(在步骤S326为“否”)，那么处理返回到步骤S314。可替代地，如果确定第一手术端口130已经放置在身体B上(在步骤S326为“是”)，那么处理进行到步骤S328，其中确定是否有附加手术端口130要放置在身体B上。举例来说，计算装置200可基于预定治疗计划和/或手术端口放置位置的模型确定附加手术端口130是否应放置在身体B上。计算装置200还可从用户接收指示附加手术端口130是否应放置在身体B上的输入。
如果确定有附加手术端口130要放置在身体B上(在步骤S328为“是”)，那么处理进行到步骤S330，其中计算装置200生成用于将另一个手术端口130放置在身体B上的引导。引导可基于如在步骤S310确定的手术部位在身体B内的位置、在步骤S306生成的操作环境的3D场景和/或放置在身体B上的第一手术端口130的位姿生成。举例来说，引导可包括示出手术部位在身体B内的位置的一个或多个增强现实图像，以及指示附加手术端口130应放置在身体B上的虚拟手术端口。此后，处理返回到步骤S314，其中显示引导。
可替代地，如果在步骤S328确定没有附加手术端口130要放置在身体B上(在步骤S328为“否”)，那么处理进行到步骤S332，其中计算装置200生成用于经由至少一个手术端口130将内窥镜140插入身体B中的引导。引导可基于手术部位在身体B内的位置、其中将手术端口130放置在身体B上的位置和/或在步骤S306生成的操作环境的3D场景生成。引导可为图形引导，并且可包括一个或多个增强现实图像，其示出手术部位在身体B内的位置、身体B上的手术端口130以及内窥镜140应插入其中的手术端口130的指示。引导可另外包括视觉指示符，如箭头、指针等，以及文本以及听觉命令。在一些实施例中，在将第一手术端口130放置在身体上之后插入内窥镜140，并且因此在这类实施例中，步骤S332、S334和S336可在步骤S328之前执行。
此后，在步骤S334，计算装置200显示在步骤S332生成的引导。举例来说，计算装置200可使HMD 120显示引导。然后，在步骤S336，计算装置200确定内窥镜140是否已经经由手术端口130插入身体B中。举例来说，计算装置200可从图像捕获装置125接收附加图像数据，如以上参考步骤S302所述，并且可处理和分析附加图像数据，以确定内窥镜140是否已经经由手术端口130插入身体B中。如果确定尚未插入内窥镜140(在步骤S336为“否”)，那么处理返回到步骤S334。可替代地，如果确定已经插入内窥镜140(在步骤S336为“是”)，那么处理进行到步骤S338。
在步骤S338，计算装置200生成用于放置手术机器人组件150的引导。举例来说，计算装置200可基于放置手术端口130的位置和手术部位在身体B内的位置确定用于将手术机器人组件150放置在身体B周围的推荐位姿。使用增强和/或虚拟现实显示装置放置手术机器人的引导的生成在由Covidien LP于2018年1月10日提交的标题为《用于定位患者和手术机器人的引导(GUIDANCE FOR POSITIONING APATIENT AND SURGICAL ROBOT)》的共同拥有的共同未决的美国专利申请号62/615,495中另外描述，其全部内容以引用的方式并入本文中。
此后，在步骤S340，计算装置200显示在步骤S330生成的引导。举例来说，计算装置200可使HMD 120显示引导。此后，处理结束。
虽然以上关于图3的方法300的描述是指由计算装置200执行的功能，但是本领域技术人员将理解，这类功能可由计算装置200基于一个或多个应用程序(如应用程序280)的执行和/或基于计算装置200中包括的专用硬件和/或其它软件执行。因此，虽然被描述为由计算装置200执行，但是方法300的描述不应解释为限于硬件实施例。
现在转向图4A和4B，示出根据本公开的实施例的示例性图形用户接口(GUI)400，其可由HMD 120和/或由一个或多个其它显示装置显示。GUI 400可由HMD 120和/或其它显示装置在手术过程期间的各个点处显示，如以上参考图3A和3B的方法300描述的过程。在图4A中展示的实施例中，工作台110和手术机器人组件150为向用户示出的操作环境中的物理对象。身体B示出为躺在工作台110上。虚拟手术端口410a、410b、410c、410d和410e以及手术部位420的增强现实图像可覆盖到身体B上。GUI 400另外包括指令用户放置手术端口130(如由虚拟手术端口410a、410b、410c、410d和410e在身体B上的位置所指示)的引导。插入手术端口130中的手术工具的双灵巧运动范围的指示符430的增强现实图像可另外覆盖到身体B上。GUI 400还可包括文本指令440以向用户显示文本命令。
如果用户选择调整虚拟手术端口410a、410b、410c、410d和410e中的一个或多个的位姿，那么可更新GUI 400以指示已经移动的虚拟手术端口的新位姿。举例来说，如图4B所示，更新的GUI 400示出虚拟手术端口410a已经被移动，并且移动已经将虚拟手术端口410a带到用于进入手术部位的推荐放置范围之外。在这类实施例中，文本指令440可向用户提供警报，指示虚拟手术端口410a已经被调整超过相对于由引导推荐的位姿的预定距离或取向改变。
如本领域技术人员将理解，本公开中描述的系统、方法和计算机可读介质描述指令临床医生如何以及在何处将手术端口放置在身体上以确保联接到手术机器人的手术工具适当地进入身体内的手术部位的各个方面。各种形式的视觉和/或听觉引导可由一个或多个显示装置(包括头戴式显示器和/或投影仪或手持式显示装置)显示和/或发射如指导临床医生将手术端口放置在身体上的特定位置的一个或多个命令，并且使得临床医生能够调整手术端口的位置。因此，本文公开的系统、方法和计算机可读介质为机器人手术过程的训练和/或准备提供改进。
装置、并入这类装置的系统和使用所述装置的方法的详细实施例如本文所述。然而，这些详细的实施例仅为本公开的实例，其可以各种形式实施。因此，本文公开的具体结构和功能细节不应被理解为限制性的，而是应理解为仅仅作为权利要求的基础以及作为允许本领域技术人员以适当的详细结构不同地使用本公开的代表性基础。

Claims (96)

1.一种用于引导手术端口在身体上的放置的系统，所述系统包含：
图像捕获装置，所述图像捕获装置被配置成：
捕获包括身体的操作环境的图像；和
基于捕获的图像生成图像数据；
显示装置；和
计算装置，所述计算装置包括处理器和存储指令的存储器，所述指令在由所述处理器执行时使所述计算装置：
获得关于手术部位在所述身体内的位置的信息；
从所述图像捕获装置接收所述图像数据；
基于所述手术部位在所述身体内的所述位置和所述图像数据生成用于将手术端口放置在所述身体上的图形引导；和
使所述显示装置显示生成的图形引导。
2.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时另外使所述计算装置：
基于从所述图像捕获装置接收的所述图像数据检测所述手术端口已经放置在所述身体上；
生成用于将内窥镜通过所述手术端口插入所述身体中的图形引导；和
检测所述内窥镜已经通过所述手术端口插入。
3.根据权利要求2所述的系统，其中所述检测所述手术端口已经放置在所述身体上包括分析从所述图像捕获装置接收的附加图像数据，以检测所述手术端口已经放置在所述身体上。
4.根据权利要求2所述的系统，其中所述检测所述内窥镜已经通过所述手术端口插入包括分析从所述图像捕获装置接收的附加图像数据，以检测所述内窥镜已经通过所述手术端口插入。
5.根据权利要求2所述的系统，其中所述手术端口为第一手术端口，并且所述指令在由所述处理器执行时另外使所述计算装置：
基于所述手术部位在所述身体内的所述位置以及检测到的其中所述第一手术端口已经放置在所述身体上的位置生成用于将第二手术端口放置在所述身体上的图形引导；和
使所述显示装置显示所述生成的图形引导。
6.根据权利要求1所述的系统，其中所述生成的图形引导包括显示在所述身体上的虚拟手术端口，并且所述指令在由所述处理器执行时另外使所述计算装置：
分析从所述图像捕获装置接收的附加图像数据以检测用户的手的移动；
基于检测到的所述用户的手的移动确定所述用户正在调整所述虚拟手术端口在所述身体上的位姿；和
基于所确定的所述虚拟手术端口在所述身体上的所述位姿的调整更新所述图形引导。
7.根据权利要求6所述的系统，其中所述指令在由所述处理器执行时另外使所述计算装置在所述确定的所述虚拟手术端口在所述身体上的所述位姿的调整超过相对于由所述图形引导推荐的所述位姿的预定距离或取向改变时提供警报。
8.根据权利要求6所述的系统，其中检测所述用户的手的移动包括检测由所述用户的手执行的手势。
9.根据权利要求8所述的系统，其中确定所述用户正在调整所述虚拟手术端口在所述身体上的所述位姿另外基于检测到的由所述用户的手执行的手势。
10.根据权利要求1所述的系统，其中所述图像捕获装置联接到所述显示装置。
11.根据权利要求1所述的系统，其中所述图形引导包括通过所述显示装置显示的文本指令。
12.根据权利要求1所述的系统，其中所述图形引导包括所述手术端口的推荐位姿的增强现实图像。
13.根据权利要求12所述的系统，其中所述手术端口的所述推荐位姿基于推荐的手术端口放置的预定模型确定。
14.根据权利要求12所述的系统，其中所述手术端口的所述推荐位姿基于预定治疗计划确定。
15.根据权利要求12所述的系统，其中所述手术端口的所述推荐位姿基于所述身体的扫描确定。
16.根据权利要求1所述的系统，其中所述图形引导包括所述手术部位在所述身体内的位置的增强现实图像。
17.根据权利要求16所述的系统，其中所述计算装置使所述显示装置显示叠加到所述身体上的所述手术部位在所述身体内的所述位置的所述增强现实图像。
18.根据权利要求16所述的系统，其中所述手术部位的所述增强现实图像包括至少一个器官在所述身体内的位置。
19.根据权利要求18所述的系统，其中所述至少一个器官在所述身体内的所述位置基于器官的位置的预定模型。
20.根据权利要求1所述的系统，其另外包含包括一个或多个机器人组件的手术机器人，所述一个或多个机器人组件包括：
基座；
第一接头；
联接到所述第一接头的第一臂；
联接到所述第一臂的第二接头；和
联接到所述第二接头的第二臂，
其中所述基座通过所述第一接头、第一臂和第二接头联接到所述第二臂。
21.根据权利要求20所述的系统，其中所述指令在由所述处理器执行时另外使所述计算装置基于所确定的所述手术部位在所述身体内的位置生成用于放置所述手术机器人的图形引导。
22.根据权利要求21所述的系统，其中所述指令在由所述处理器执行时另外使所述计算装置：
基于所述手术端口在所述身体上的所述放置确定所述手术机器人的运动范围；和
使所述显示装置显示所述手术机器人的所述运动范围的指示。
23.根据权利要求22所述的系统，其中所述手术机器人的所述运动范围基于所述手术机器人的特性确定。
24.根据权利要求23所述的系统，其中所述手术机器人的所述特性包括以下中的一个或多个：
所述手术机器人的配置；
所述手术机器人相对于所述身体的位姿；和
联接到所述手术机器人的工具的类型。
25.根据权利要求1所述的系统，其中所述图像捕获装置为第一图像捕获装置，并且所述系统另外包含：
第二图像捕获装置，
其中所述指令在由所述处理器执行时另外使所述计算装置基于从所述第一图像捕获装置和所述第二图像捕获装置接收的图像数据生成所述操作环境的三维场景。
26.根据权利要求25所述的系统，其中所述第一图像捕获装置和所述第二图像捕获装置定位在所述操作环境周围。
27.根据权利要求1所述的系统，其中所述图像捕获装置包括在所述计算装置中。
28.根据权利要求1所述的系统，其中所述计算装置包括在所述显示装置中。
29.根据权利要求1所述的系统，其中所述获得关于所述手术部位在所述身体内的位置的信息包括经由来自用户的输入接收所述手术部位的选择。
30.根据权利要求1所述的系统，其中所述获得关于所述手术部位在所述身体内的位置的信息包括基于在所述身体的扫描期间获取的图像数据确定所述手术部位的所述位置。
31.根据权利要求1所述的系统，其中所述获得关于所述手术部位在所述身体内的位置的信息包括基于预定治疗计划确定所述手术部位的所述位置。
32.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时另外使所述计算装置基于接收的图像数据确定所述手术部位在所述身体内的位置。
33.根据权利要求1所述的系统，其中所述身体为人体模型的至少一部分。
34.根据权利要求1所述的系统，其中所述身体为患者的至少一部分。
35.一种用于引导手术端口在身体上的放置的方法，所述方法包含：
获得关于手术部位在所述身体内的位置的信息；
从图像捕获装置接收基于操作环境的图像生成的图像数据；
基于所述手术部位在所述身体内的所述位置和所述图像数据生成用于将手术端口放置在所述身体上的图形引导；和
显示生成的图形引导。
36.根据权利要求35所述的方法，其另外包含：
基于从所述图像捕获装置接收的所述图像数据检测所述手术端口已经放置在所述身体上；
生成用于将内窥镜通过所述手术端口插入所述身体中的图形引导；和
检测所述内窥镜已经通过所述手术端口插入。
37.根据权利要求36所述的方法，其中所述检测所述手术端口已经放置在所述身体上包括分析从所述图像捕获装置接收的附加图像数据，以检测所述手术端口已经放置在所述身体上。
38.根据权利要求36所述的方法，其中所述检测所述内窥镜已经通过所述手术端口插入包括分析从所述图像捕获装置接收的附加图像数据，以检测所述内窥镜已经通过所述手术端口插入。
39.根据权利要求35所述的方法，其中所述手术端口为第一手术端口，并且所述方法另外包含：
基于所述手术部位在所述身体内的所述位置以及检测到的其中所述第一手术端口已经放置在所述身体上的位置生成用于将第二手术端口放置在所述身体上的图形引导；和
显示所述生成的图形引导。
40.根据权利要求35所述的方法，其中所述生成的图形引导包括显示在所述身体上的虚拟手术端口，并且所述方法另外包含：
分析从所述图像捕获装置接收的附加图像数据以检测用户的手的移动；
基于检测到的所述用户的手的移动确定所述用户正在调整所述虚拟手术端口在所述身体上的位姿；和
基于所确定的所述虚拟手术端口在所述身体上的所述位姿的调整更新所述图形引导。
41.根据权利要求40所述的方法，其另外包含在所述确定的所述虚拟手术端口在所述身体上的所述位姿的调整超过相对于由所述图形引导推荐的所述位姿的预定距离或取向改变时提供警报。
42.根据权利要求40所述的方法，其中检测所述用户的手的移动包括检测由所述用户的手执行的手势。
43.根据权利要求42所述的方法，其中确定所述用户正在调整所述虚拟手术端口在所述身体上的所述位姿另外基于检测到的由所述用户的手执行的手势。
44.根据权利要求35所述的方法，其中所述图像捕获装置联接到头戴式显示器。
45.根据权利要求35所述的方法，其中所述图形引导包括通过头戴式显示器显示的文本指令。
46.根据权利要求35所述的方法，其中所述图形引导包括所述手术端口的推荐位姿的增强现实图像。
47.根据权利要求46所述的方法，其中所述手术端口的所述推荐位姿基于推荐的手术端口放置的预定模型确定。
48.根据权利要求46所述的方法，其中所述手术端口的所述推荐位姿基于预定治疗计划确定。
49.根据权利要求46所述的方法，其中所述手术端口的所述推荐位姿基于所述身体的扫描确定。
50.根据权利要求35所述的方法，其中所述图形引导包括所述手术部位在所述身体内的位置的增强现实图像。
51.根据权利要求50所述的方法，其另外包含显示叠加到所述身体上的所述手术部位在所述身体内的所述位置的所述增强现实图像。
52.根据权利要求50所述的方法，其中所述手术部位的所述增强现实图像包括至少一个器官在所述身体内的位置。
53.根据权利要求52所述的方法，其中所述至少一个器官在所述身体内的所述位置基于器官的位置的预定模型。
54.根据权利要求35所述的方法，其另外包含基于所确定的所述手术部位在所述身体内的位置生成用于放置手术机器人的图形引导。
55.根据权利要求54所述的方法，其另外包含：
基于所述手术端口在所述身体上的所述放置确定所述手术机器人的运动范围；和
显示所述手术机器人的所述运动范围的指示。
56.根据权利要求55所述的方法，其中所述手术机器人的所述运动范围基于所述手术机器人的特性确定。
57.根据权利要求56所述的方法，其中所述手术机器人的所述特性包括以下中的一个或多个：
所述手术机器人的配置；
所述手术机器人相对于所述身体的位姿；和
联接到所述手术机器人的工具的类型。
58.根据权利要求35所述的方法，其中所述图像捕获装置为多个图像捕获装置，并且所述方法另外包含基于从所述多个图像捕获装置接收的图像数据生成所述操作环境的三维场景。
59.根据权利要求58所述的方法，其中所述多个图像捕获装置定位在所述操作环境周围。
60.根据权利要求35所述的方法，其中所述获得关于所述手术部位在所述身体内的位置的信息包括经由来自用户的输入接收所述手术部位的选择。
61.根据权利要求35所述的方法，其中所述获得关于所述手术部位在所述身体内的位置的信息包括基于在所述身体的扫描期间获取的图像数据确定所述手术部位的所述位置。
62.根据权利要求35所述的方法，其中所述获得关于所述手术部位在所述身体内的位置的信息包括基于预定治疗计划确定所述手术部位的所述位置。
63.根据权利要求35所述的方法，其另外包含基于接收的图像数据确定所述手术部位在所述身体内的位置。
64.根据权利要求35所述的方法，其中所述身体为人体模型的至少一部分。
65.根据权利要求35所述的方法，其中所述身体为患者的至少一部分。
66.一种包括指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机：
获得关于手术部位在所述身体内的位置的信息；
从图像捕获装置接收基于操作环境的图像生成的图像数据；
基于所述手术部位在所述身体内的所述位置和所述图像数据生成用于将手术端口放置在所述身体上的引导；和
使显示装置显示生成的图形引导。
67.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述指令在由所述计算机执行时另外使所述计算机：
基于从所述图像捕获装置接收的所述图像数据检测所述手术端口已经放置在所述身体上；
生成用于将内窥镜通过所述手术端口插入所述身体中的图形引导；和
检测所述内窥镜已经通过所述手术端口插入。
68.根据权利要求67所述的非暂时性计算机可读存储介质，其中所述检测所述手术端口已经放置在所述身体上包括分析从所述图像捕获装置接收的附加图像数据，以检测所述手术端口已经放置在所述身体上。
69.根据权利要求67所述的非暂时性计算机可读存储介质，其中所述检测所述内窥镜已经通过所述手术端口插入包括分析从所述图像捕获装置接收的附加图像数据，以检测所述内窥镜已经通过所述手术端口插入。
70.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述手术端口为第一手术端口，并且所述指令在由所述计算机执行时另外使所述计算机：
基于所述手术部位在所述身体内的所述位置以及检测到的其中所述第一手术端口已经放置在所述身体上的位置生成用于将第二手术端口放置在所述身体上的图形引导；和
使所述显示装置显示所述生成的图形引导。
71.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述生成的图形引导包括显示在所述身体上的虚拟手术端口，并且指令在由所述计算机执行时另外使所述计算机：
分析从所述图像捕获装置接收的附加图像数据以检测用户的手的移动；
基于检测到的所述用户的手的移动确定所述用户正在调整所述虚拟手术端口在所述身体上的位姿；和
基于所确定的所述虚拟手术端口在所述身体上的所述位姿的调整更新所述图形引导。
72.根据权利要求71所述的非暂时性计算机可读存储介质，其中所述指令在由所述计算机执行时另外使所述计算机在所述确定的所述虚拟手术端口在所述身体上的所述位姿的调整超过相对于由所述图形引导推荐的所述位姿的预定距离或取向改变时提供警报。
73.根据权利要求71所述的非暂时性计算机可读存储介质，其中检测所述用户的手的移动包括检测由所述用户的手执行的手势。
74.根据权利要求73所述的非暂时性计算机可读存储介质，其中确定所述用户正在调整所述虚拟手术端口在所述身体上的所述位姿另外基于检测到的由所述用户的手执行的手势。
75.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述图像捕获装置联接到所述显示装置。
76.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述图形引导包括通过所述显示装置显示的文本指令。
77.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述图形引导包括所述手术端口的推荐位姿的增强现实图像。
78.根据权利要求77所述的非暂时性计算机可读存储介质，其中所述手术端口的所述推荐位姿基于推荐的手术端口放置的预定模型确定。
79.根据权利要求77所述的非暂时性计算机可读存储介质，其中所述手术端口的所述推荐位姿基于预定治疗计划确定。
80.根据权利要求77所述的非暂时性计算机可读存储介质，其中所述手术端口的所述推荐位姿基于所述身体的扫描确定。
81.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述图形引导包括所述手术部位在所述身体内的位置的增强现实图像。
82.根据权利要求81所述的非暂时性计算机可读存储介质，其中所述指令在由所述计算机执行时另外使所述计算机使所述显示装置显示叠加到所述身体上的所述手术部位在所述身体内的所述位置的所述增强现实图像。
83.根据权利要求82所述的非暂时性计算机可读存储介质，其中所述手术部位的所述增强现实图像包括至少一个器官在所述身体内的位置。
84.根据权利要求83所述的非暂时性计算机可读存储介质，其中所述至少一个器官在所述身体内的所述位置基于器官的位置的预定模型。
85.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述指令在由所述计算机执行时另外使所述计算机基于所确定的所述手术部位在所述身体内的位置生成用于放置手术机器人的图形引导。
86.根据权利要求85所述的非暂时性计算机可读存储介质，其中所述指令在由所述计算机执行时另外使所述计算机：
基于所述手术端口在所述身体上的所述放置确定所述手术机器人的运动范围；和
显示所述手术机器人的所述运动范围的指示。
87.根据权利要求86所述的非暂时性计算机可读存储介质，其中所述手术机器人的所述运动范围基于所述手术机器人的特性确定。
88.根据权利要求87所述的非暂时性计算机可读存储介质，其中所述手术机器人的所述特性包括以下中的一个或多个：
所述手术机器人的配置；
所述手术机器人相对于所述身体的位姿；和
联接到所述手术机器人的工具的类型。
89.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述图像捕获装置为多个图像捕获装置，并且所述指令在由所述计算机执行时另外使所述计算机基于从所述多个图像捕获装置接收的图像数据生成所述操作环境的三维场景。
90.根据权利要求89所述的非暂时性计算机可读存储介质，其中所述多个图像捕获装置定位在所述操作环境周围。
91.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述获得关于所述手术部位在所述身体内的位置的信息包括经由来自用户的输入接收所述手术部位的选择。
92.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述获得关于所述手术部位在所述身体内的位置的信息包括基于在所述身体的扫描期间获取的图像数据确定所述手术部位的所述位置。
93.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述获得关于所述手术部位在所述身体内的位置的信息包括基于预定治疗计划确定所述手术部位的所述位置。
94.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述指令在由所述计算机执行时另外使所述计算机基于接收的图像数据确定所述手术部位在所述身体内的位置。
95.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述身体为人体模型的至少一部分。
96.根据权利要求66所述的非暂时性计算机可读存储介质，其中所述身体为患者的至少一部分。
CN201980010233.0A 2018-01-10 2019-01-09 用于放置手术端口的引导 Active CN111655184B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862615481P 2018-01-10 2018-01-10
US62/615,481 2018-01-10
PCT/US2019/012815 WO2019139931A1 (en) 2018-01-10 2019-01-09 Guidance for placement of surgical ports

Publications (2)

Publication Number Publication Date
CN111655184A true CN111655184A (zh) 2020-09-11
CN111655184B CN111655184B (zh) 2024-01-02

Family

ID=67218701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010233.0A Active CN111655184B (zh) 2018-01-10 2019-01-09 用于放置手术端口的引导

Country Status (5)

Country Link
US (2) US11806085B2 (zh)
EP (1) EP3737322A4 (zh)
JP (1) JP2021510110A (zh)
CN (1) CN111655184B (zh)
WO (1) WO2019139931A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3810015A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Mixed-reality surgical system with physical markers for registration of virtual models
US20200015899A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization with proximity tracking features
WO2020220208A1 (en) * 2019-04-29 2020-11-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for object positioning and image-guided surgery
EP4013334A1 (en) * 2019-08-16 2022-06-22 Intuitive Surgical Operations, Inc. Systems and methods for performance of external body wall data and internal depth data-based performance of operations associated with a computer-assisted surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) * 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
EP3866111A1 (en) * 2020-02-17 2021-08-18 Koninklijke Philips N.V. Latency compensation for image processing devices
JP7469120B2 (ja) * 2020-04-09 2024-04-16 株式会社メディカロイド ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
US11769302B2 (en) * 2020-06-05 2023-09-26 Verb Surgical Inc. Remote surgical mentoring
WO2022011538A1 (en) * 2020-07-14 2022-01-20 Covidien Lp Systems and methods for positioning access ports
NL2027671B1 (en) * 2021-02-26 2022-09-26 Eindhoven Medical Robotics B V Augmented reality system to simulate an operation on a patient
US11948226B2 (en) * 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
US20230031396A1 (en) * 2021-07-29 2023-02-02 Hutom Co., Ltd. Apparatus and method for matching the real surgical image with the 3d-based virtual simulated surgical image based on poi definition and phase recognition
WO2024006729A1 (en) * 2022-06-27 2024-01-04 Covidien Lp Assisted port placement for minimally invasive or robotic assisted surgery

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030109780A1 (en) * 2001-06-07 2003-06-12 Inria Roquencourt Methods and apparatus for surgical planning
CN102781336A (zh) * 2009-10-30 2012-11-14 约翰霍普金斯大学 用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
US20140148816A1 (en) * 2012-11-26 2014-05-29 Michael W. McDONALD Surgery port placement system and related methods
CN104758066A (zh) * 2015-05-06 2015-07-08 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
US20150208948A1 (en) * 2014-01-27 2015-07-30 Edda Technology, Inc. Method and system for surgical instrument guidance and tracking with position and orientation correction
CN105193503A (zh) * 2014-06-18 2015-12-30 柯惠Lp公司 增强的手术实践环境系统
US20160166333A1 (en) * 2013-09-18 2016-06-16 iMIRGE Medical INC. Optical targeting and visualization of trajectories
US20170035380A1 (en) * 2015-08-06 2017-02-09 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
CN107106239A (zh) * 2014-09-24 2017-08-29 德普伊爱尔兰无限公司 外科规划和方法
WO2017151904A1 (en) * 2016-03-04 2017-09-08 Covidien Lp Methods and systems for anatomical image registration
CN206548612U (zh) * 2016-09-28 2017-10-13 李健 一种医用智能手术显微系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3027710A (en) 1960-10-10 1962-04-03 Stephen P Maytner Methods and apparatus for suppressing jet noise
US7567833B2 (en) * 2004-03-08 2009-07-28 Stryker Leibinger Gmbh & Co. Kg Enhanced illumination device and method
US8027710B1 (en) * 2005-01-28 2011-09-27 Patrick Dannan Imaging system for endoscopic surgery
EP2720636B8 (en) 2011-06-17 2020-04-08 Koninklijke Philips N.V. System for guided injection during endoscopic surgery
CN103957768B (zh) 2011-12-03 2017-03-08 皇家飞利浦有限公司 外科手术端口定位
JP6042711B2 (ja) 2012-12-18 2016-12-14 富士フイルム株式会社 トロカーポート位置決定支援装置、トロカーポート位置決定支援プログラムおよびトロカーポート位置決定支援装置の作動方法
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
JP2019508134A (ja) 2016-02-26 2019-03-28 シンク サージカル， インコーポレイテッド ロボットの配置をユーザーにガイドするための方法およびシステム
AU2017257887B2 (en) * 2016-04-27 2019-12-19 Biomet Manufacturing, Llc. Surgical system having assisted navigation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030109780A1 (en) * 2001-06-07 2003-06-12 Inria Roquencourt Methods and apparatus for surgical planning
CN102781336A (zh) * 2009-10-30 2012-11-14 约翰霍普金斯大学 用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法
US20140148816A1 (en) * 2012-11-26 2014-05-29 Michael W. McDONALD Surgery port placement system and related methods
US20160166333A1 (en) * 2013-09-18 2016-06-16 iMIRGE Medical INC. Optical targeting and visualization of trajectories
US20150208948A1 (en) * 2014-01-27 2015-07-30 Edda Technology, Inc. Method and system for surgical instrument guidance and tracking with position and orientation correction
CN105193503A (zh) * 2014-06-18 2015-12-30 柯惠Lp公司 增强的手术实践环境系统
CN107106239A (zh) * 2014-09-24 2017-08-29 德普伊爱尔兰无限公司 外科规划和方法
CN104758066A (zh) * 2015-05-06 2015-07-08 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
US20170035380A1 (en) * 2015-08-06 2017-02-09 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
WO2017151904A1 (en) * 2016-03-04 2017-09-08 Covidien Lp Methods and systems for anatomical image registration
CN206548612U (zh) * 2016-09-28 2017-10-13 李健 一种医用智能手术显微系统

Also Published As

Publication number Publication date
WO2019139931A1 (en) 2019-07-18
US20240033014A1 (en) 2024-02-01
JP2021510110A (ja) 2021-04-15
EP3737322A4 (en) 2021-09-01
EP3737322A1 (en) 2020-11-18
US11806085B2 (en) 2023-11-07
CN111655184B (zh) 2024-01-02
US20200330166A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN111655184B (zh) 用于放置手术端口的引导
US11925423B2 (en) Guidance for positioning a patient and surgical robot
AU2019352792B2 (en) Indicator system
JP2022017422A (ja) 拡張現実感手術ナビゲーション
KR20190100009A (ko) 수술영상 제공 방법 및 장치
KR20150125069A (ko) 로봇 수술 계획 조정 장치
KR20190080703A (ko) 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램
JP2011502672A (ja) ナビゲーションシステムの検出装置の配置場所を決定する方法および検出装置を配置する方法
US20210205027A1 (en) Context-awareness systems and methods for a computer-assisted surgical system
US20210369354A1 (en) Navigational aid
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
US20210315637A1 (en) Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium
CN111770735B (zh) 手术仿真信息生成方法及程序
WO2021202609A1 (en) Method and system for facilitating remote presentation or interaction
CN115804652A (zh) 手术操作系统及方法
CN113366583A (zh) 用于计算机辅助手术系统的摄像机控制系统和方法
CN112043359B (zh) 乳腺穿刺方法、装置、设备及存储介质
KR20190080706A (ko) 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
US11969218B2 (en) Augmented reality surgery set-up for robotic surgical procedures
US20220000558A1 (en) Augmented reality surgery set-up for robotic surgical procedures
KR20190133425A (ko) 수술보조 영상 표시방법 및 프로그램
JP2014104328A (ja) 手術支援システム、手術支援方法及び手術支援プログラム
WO2023215822A2 (en) Methods and systems for surgical training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant