CN112437643A - 用于操纵组织的方法和装置 - Google Patents

用于操纵组织的方法和装置 Download PDF

Info

Publication number
CN112437643A
CN112437643A CN201980045353.4A CN201980045353A CN112437643A CN 112437643 A CN112437643 A CN 112437643A CN 201980045353 A CN201980045353 A CN 201980045353A CN 112437643 A CN112437643 A CN 112437643A
Authority
CN
China
Prior art keywords
tissue
instrument
control point
input
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980045353.4A
Other languages
English (en)
Inventor
B·D·伊特科维兹
P·海英维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN112437643A publication Critical patent/CN112437643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/744—Mouse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于操纵组织的方法和装置。在用户界面中在组织的图像上方显示组织控制点。接收在用户界面内移动组织控制点的输入。基于所接收的输入来操作与组织物理相关联的第一器械，从而操纵组织。

Description

用于操纵组织的方法和装置
相关申请的交叉引用
本申请要求2018年5月15日提交的美国临时申请62/671,945的权益，其通过整体引用并入本文。
技术领域
本公开涉及医疗程序和在医疗程序期间用于操纵组织的方法。更具体地，本公开涉及用于通过控制在用户界面中显示的虚拟组织控制点来操纵组织的系统和方法。
背景技术
微创医疗技术旨在减少在诊断或手术程序中受损的体外组织的量，从而减少患者的恢复时间、不适和有害的副作用。这样的微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可以包括成像器械，诸如内窥镜器械，其向用户提供患者解剖结构内的视野。
一些微创医疗工具可以是遥控的，或者远程操作的，或者计算机辅助的。在医疗程序期间，临床医生可能需要操纵组织以使组织缩回、暴露目标区域、检查组织的隐藏区或执行某些其他动作。在操纵组织时，临床医生可能需要考虑各种参数，包括运动方向、运动幅度、操作员器械取向、避免器械碰撞、多器械干扰以及运动极限范围。需要系统和方法来简化和改善临床医生在操纵组织过程中的体验。
发明内容
本发明的实施例由详细说明书后所附权利要求概括。
在一个示例实施例中，提供了一种用于操纵组织的方法。在用户界面中，在组织的图像上方显示组织控制点。接收在用户界面内移动组织控制点的输入。基于所接收的输入来操作与组织物理相关联的第一器械，从而操纵组织。
在另一示例实施例中，提供了另一种用于操纵组织的方法。在用户界面中，在组织的图像上方与组织并置地显示表示组织控制点的虚拟对象。从第一器械的定位偏移虚拟对象。操作第二器械以将代表第二器械的代理几何体移入与虚拟对象接触并且对虚拟对象施加力。基于施加到虚拟对象上的力来操作第一器械，从而操纵组织。响应于第一器械的操作，在第二器械处生成触觉反馈响应。
在又一示例实施例中，一种装置包括显示系统和控制系统。该显示系统在用户界面中显示组织的图像。控制系统通信地耦合到显示系统。控制系统被配置为在图像上方显示组织控制点；接收在用户界面内移动组织控制点的输入；并且基于所接收的输入来操作与组织物理相关联的器械，从而操纵组织。
应该理解的是，前面的一般描述和下面的详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而并不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
当结合附图阅读时，根据以下详细描述可以最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。实际上，为了讨论的清楚，各种特征的尺寸可以任意增加或减小。另外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简单和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1A是根据实施例的医疗系统的示意图。
图1B是根据实施例的装配件的透视图。
图1C是根据实施例的用于医疗系统的外科医生的控制台的透视图。
图2是根据实施例的与要使用组织控制点控制的组织并置的组织控制点的表示图。
图3是根据实施例的在已经基于组织控制点的移动来操纵组织之后的图7的组织的表示图。
图4是根据实施例的组织控制点的表示图，该组织控制点表示为与在其上执行医疗程序的组织并置的虚拟对象或固定装置。
图5是根据实施例的说明用于操纵组织的方法的流程图。
图6是根据实施例的说明用于操纵组织的方法的流程图。
图7是根据实施例的说明用于使组织控制点与要控制的组织虚拟地并置的方法的流程图。
图8是根据实施例的说明用于生成触觉反馈响应的方法的流程图。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图中说明的实施例，并且将使用特定语言来描述这些实施例。然而，将理解的是，并不旨在限制本公开的范围。在本发明各方面的以下详细描述中，阐述了许多具体细节，以提供对所公开实施例的透彻理解。然而，如本领域技术人员将理解的，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地使本发明的实施例的各方面不清楚。
如本公开所涉及的本领域技术人员通常会想到的，对本公开的原理的所描述的设备、器械、方法的任何改变和进一步的修改以及对本公开的原理的任何进一步的应用都是可以充分考虑的。特别地，充分考虑到，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤结合。另外，本文提供的尺寸用于具体示例，并且可以预期的是，可以利用不同的尺寸、大小和/或比率来实现本公开的概念。为了避免不必要的描述性重复，可以根据其他说明性实施例的适用来使用或省略根据一个说明性实施例描述的一个或多个部件或动作。为了简洁起见，将不单独描述这些组合的许多迭代。为了简单起见，在某些情况下，在所有附图中使用相同的附图标记指代相同或相似的部分。
下面的实施例将根据各种器械和器械的部分在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“定位”是指物体或物体的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)中的位置。如本文所使用的，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度-例如，滚动、俯仰和偏航)。如本文所使用的，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的定位以及该物体或物体的一部分在至少一个旋转自由度(最多六个总自由度)中的取向。
现在参考附图，图1A、图1B和图1C一起提供了可以在例如包括诊断、治疗或手术程序的医疗程序中使用的医疗系统10的概貌。医疗系统10位于医疗环境11中。在图1A中将医疗环境11描绘为手术室。在其他实施例中，医疗环境11可以是急诊室、医疗培训环境、医疗实验室或其中可以发生任何数量的医疗程序或医疗培训程序的某种其他类型的环境。在其他实施例中，医疗环境11可以包括手术室和位于手术室外部的控制区域。
在一个或多个实施例中，医疗系统10可以是在外科医生的远程手术控制下的远程手术医疗系统。在替代实施例中，医疗系统10可以在被编程为执行医疗程序或子程序的计算机的部分控制下。在其他替代实施例中，医疗系统10可以是完全自动化的医疗系统，其在被编程为执行与医疗系统10一起的医疗程序或子程序的计算机的完全控制下。可用于实施本公开中描述的系统和技术的医学系统10的一个示例是由加利福尼亚州桑尼维尔的直观外科手术操作公司制造的da
Figure BDA0002883936060000041
手术系统。
如图1A所示，医疗系统10通常包括装配件12，该装配件12可以安装到患者P所位于的手术台O上或定位到手术台O附近。装配件12可以被称为患者侧推车、手术推车或手术机器人。在一个或多个实施例中，装配件12可以是远程操作装配件。远程操作装配件可以被称为例如远程操作臂推车。医疗器械系统14和内窥镜成像系统15可操作地耦合至装配件12。操作员输入系统16允许外科医生S或其他类型的临床医生查看手术部位的图像或代表手术部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。
医疗器械系统14可以包括一个或多个医疗器械。在医疗器械系统14包括多个医疗器械的实施例中，多个医疗器械可以包括多个相同的医疗器械和/或多个不同的医疗器械。类似地，内窥镜成像系统15可以包括一个或多个内窥镜。在多个内窥镜的情况下，多个内窥镜可以包括多个相同的内窥镜和/或多个不同的内窥镜。
操作员输入系统16可以位于外科医生的控制台上，外科医生的控制台可以与手术台O位于同一房间。在一些实施例中，外科医生S和操作员输入系统16可以位于与患者P不同的房间内或完全不同的建筑物内。操作员输入系统16通常包括用于控制医疗器械系统14的一个或多个控制设备。一个或多个控制设备可以包括多种输入设备中的任意数量一种或多种，例如手柄、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手动控制器、语音识别设备、触摸屏、人体运动或存在传感器以及其他类型的输入设备。
在一些实施例中，将向一个或多个控制设备提供与医疗器械系统14的一个或多个医疗器械相同的自由度，以为外科医生提供一个或多个控制设备与器械是一体的感知的远程呈现，因此，外科医生具有强烈的直接控制器械的感觉，就像在手术现场一样。在其他实施例中，一个或多个控制设备可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，一个或多个控制设备是手动输入设备，其以六个自由度运动并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓紧的钳口末端执行器、向电极施加电势、提供药物治疗以及致动其他类型的器械)。
当外科医生S通过操作员输入系统16观察手术部位时，装配件12支撑并操纵医疗器械系统14。可以通过内窥镜成像系统15获得手术部位的图像，内窥镜成像系统15可以由装配件12操纵。装配件12可以包括内窥镜成像系统15，并且同样也可以包括多个医疗器械系统14。一次使用的医疗器械系统14的数量通常将取决于要执行的诊断或手术程序以及手术室内的空间限制等因素。装配件12可以包括一个或多个非伺服控制的链路的运动学结构(例如，可手动定位并锁定在适当位置的一个或多个链路，通常称为安装结构)和操纵器。当操纵器采用遥控操纵器的形式时，装配件12是遥控装配件。装配件12包括驱动医疗器械系统14上的输入的多个电动机。在实施例中，这些电动机响应于来自控制系统(例如，控制系统20)的命令而移动。电动机包括驱动系统，该驱动系统在耦合到医疗器械系统14上时可以使医疗器械前进到自然地或手术产生的解剖学孔口中。其他电动驱动系统可以在多个自由度上移动医疗器械的远端，该多个自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴的线性运动)和三个旋转运动度(例如，绕X、Y、Z笛卡尔轴旋转)。另外，电动机可用于致动医疗器械的可铰接的末端执行器，以抓紧活检设备等的钳口中的组织。医疗器械系统14的医疗器械可以包括具有单个工作构件的末端执行器，例如手术刀、钝刀、光纤或电极。其他末端执行器可以包括，例如，钳子、抓紧器、剪刀或施夹器。
医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和用于在医疗器械系统14、操作员输入系统16和其他辅助系统26之间实现控制的至少一个处理器22，其他辅助系统26可以包括例如成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、灌溉系统和/或抽吸系统。临床医生可以在医疗环境11内循环，并且可以在设置过程中访问例如装配件12或从患者床边查看辅助系统26的显示。
尽管在图1A中控制系统20被描绘为在装配件12的外部，在一些实施例中，控制系统20可以完全被包含在装配件12内。控制系统20还包括编程的指令(例如，存储在非暂时性计算机可读介质上)以实现根据本文公开的各方面描述的方法的一些或全部。尽管在图1A的简化示意图中将控制系统20显示为单个框，但是控制系统20可以包括两个或更多个数据处理电路，其中处理的一部分可选地在装配件12上或在装配件12附近执行，处理的另一部分在操作员输入系统16上执行等。
可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，被编程的指令可以被实现为多个单独的程序或子例程，或者它们可以被集成到本文所述的系统的许多其他方面中，包括远程操作系统。在一个实施例中，控制系统20支持诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测的无线通信协议。
控制系统20与数据库27通信，该数据库27可以存储一个或多个临床医生档案、患者和患者档案的列表、要对患者执行的程序的列表、计划执行所述程序的临床医生的列表、其他信息或其组合。临床医生档案可以包括关于临床医生的信息，包括临床医生在医疗领域工作了多长时间、临床医生获得的教育水平、临床医生对医疗系统10(或类似系统)的经验水平或其任何组合。
数据库27可以被存储在存储器24中并且可以被动态地更新。附加地或替代地，数据库27可以存储在诸如服务器或便携式存储设备的设备上，该设备可以由控制系统20经由内部网络(例如，医疗设施或远程操作系统提供商的安全网络)或外部网络(例如因特网)访问。数据库27可以分布在两个或更多位置。例如，数据库27可以存在于可以包括不同实体和/或云服务器的设备的多个设备上。附加地或替代地，数据库27可以存储在便携式用户分配的设备上，例如计算机、移动设备、智能电话、膝上型计算机、电子徽章、平板电脑、寻呼机和其他类似的用户设备。
在一些实施例中，控制系统20可以包括一个或多个伺服控制器，该一个或多个伺服控制器从医疗器械系统14接收力和/或扭矩反馈。响应于反馈，伺服控制器将信号发送到操作员输入系统16。一个或多个伺服控制器还可以发送信号，以指示装配件12移动医疗器械系统14和/或内窥镜成像系统15，该医疗器械系统14和/或内窥镜成像系统15经由体内的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与装配件12分离或与装配件12集成。在一些实施例中，伺服控制器和装配件12被提供为定位在患者身体附近的遥控臂推车的一部分。
控制系统20可以与内窥镜成像系统15耦合，并且可以包括处理器以处理捕获的图像以用于随后的显示，例如显示给外科医生的控制台上的外科医生，或者显示在位于本地和/或远程的其他合适的显示器上。例如，在使用立体内窥镜的情况下，控制系统20可以处理所捕获的图像以向外科医生呈现手术部位的协调的立体图像。这样的协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。
在替代实施例中，医疗系统10可以包括一个以上的装配件12和/或一个以上的操作员输入系统16。装配件12的确切数量将取决于手术程序和手术室内的空间限制以及其他因素。可以将操作员输入系统16并置，或者可以将它们定位在单独的位置中。多个操作员输入系统16允许一个以上的操作员以各种组合控制一个或多个装配件12。医疗系统10还可以用于训练和演练医疗程序。
图1B是装配件12的一个实施例的透视图，该装配件12可以被称为患者侧推车、手术推车、远程操作臂推车或手术机器人。所示的装配件12提供了对三个手术工具30a、30b和30c(例如，医疗器械系统14)和成像设备28(例如，内窥镜成像系统15)的操纵，该成像设备例如是用于捕获手术部位的图像的立体内窥镜。成像设备可以通过电缆56将信号发送到控制系统20。通过具有多个关节的远距操作机构来提供操纵。成像装置28和手术工具30a-30c可通过患者中的切口被定位和操纵，从而将运动学远程中心保持在切口处以最小化切口的大小。当手术工具30a-30c的远端被定位在成像设备28的视野内时，手术部位的图像可以包括手术工具30a-30c的远端的图像。
装配件12包括可驱动的基座58。可驱动的基座58连接到伸缩柱57，伸缩柱57允许调节臂54的高度。臂54可以包括既旋转又向上和向下移动的旋转关节55。每个臂54可以连接到定向平台53。臂54可以被标记以促进故障排除。例如，每个臂54可以装饰有不同的数字、字母、符号、其他标识符或其组合。定向平台53可以能够旋转360度。装配件12还可以包括用于在水平方向上移动定向平台53的伸缩水平悬臂52。
在本示例中，每个臂54连接到机械手51。机械手51可以直接连接到医疗器械，例如手术工具30a-30c中的一个。机械手51可以是遥控的。在一些示例中，连接到定向平台53的臂54可能不可遥控。而是，这些臂54可以在外科医生S开始用远距操作的部件进行操作之前根据需要定位。在整个手术程序中，医疗器械可能会被取下并用其他器械替代，从而使器械与手臂的关联在程序中可能发生变化。
内窥镜成像系统(例如，内窥镜成像系统15和成像设备28)可以以包括刚性或柔性内窥镜的各种配置来提供。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一根或多根柔性光纤传输图像。基于数字图像的内窥镜具有“尖端芯片”设计，其中远端数字传感器(例如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)存储图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。内窥镜器械可以是完全可消毒的装配件，其内窥镜电缆、手柄和轴都被牢固地耦合并且被气密密封。
图1C是在外科医生的控制台处的操作员输入系统16的实施例的透视图。操作员输入系统16包括用于向外科医生S呈现能够进行深度感知的手术环境的协调立体图的左眼显示器32和右眼显示器34。左眼显示器32和右眼显示器32可以是显示系统35的部件。在其他实施例中，显示系统35可以包括一种或多种其他类型的显示器。
操作员输入系统16还包括一个或多个输入控制设备36，该一个或多个输入控制设备36又使装配件12操纵内窥镜成像系统15和/或医疗器械系统14的一个或多个器械。输入控制设备36可以提供与它们相关联的器械相同的自由度，以为外科医生S提供远程呈现，或者输入控制设备36与所述器械是一体的感知，从而使外科医生具有直接控制器械的强烈感觉。为此，可以采用位置传感器、力传感器和触觉反馈传感器(未示出)，以将来自诸如手术工具30a-30c或成像设备28的医疗器械的位置、力和触觉通过输入控制设备36传递回外科医生的手。输入控制设备37是从用户的脚接收输入的脚踏板。操作员输入系统16、装配件12和辅助系统26的各方面可以是可调节的和可定制的，以满足外科医生S的身体需要、技能水平或偏好。
在使用医疗系统10执行的医疗程序期间，外科医生S或其他临床医生可能需要操纵组织以使组织缩回、暴露目标区域、检查组织的隐藏区或执行某些其他动作。例如，外科医生S可能需要使用手术工具30a来缩回组织，但是器械可能部分地或完全在内窥镜成像系统15的视野之外。因此，外科医生S可能无法容易地观察到手术工具30a的移动是否将导致与手术工具30b、手术工具30c或机械手51中的一个发生碰撞。此外，外科医生S可能需要扭曲他或她的手腕以便控制手术工具30a。因此，可能希望有一种方法和系统能够改善外科医生S在医疗程序中操纵组织的经验。
下文描述的各种实施例提供了允许外科医生S使用器械(例如，手术工具30a、30b或30c中的一个)在内窥镜成像系统15的视野内更容易且直接地操纵组织的方法和系统。在一个或多个实施例中，显示系统35可以在表示内窥镜成像系统15的视野的图像上方显示组织控制点(例如，下面的图2中的组织控制点200)。外科医生S可以使用操作员输入系统16来操纵组织控制点200，控制系统20可以处理该输入，从而控制器械的操作。组织控制点200的使用简化了外科医生S以期望的方式操纵组织所需的步骤。此外，使用组织控制点200允许外科医生S控制器械的操作，从而即使当器械部分在视野中或完全不在视野中时也可以操纵在内窥镜成像系统15的视野中的组织。
图2是与要使用组织控制点200控制的组织202并置的组织控制点200的表示图。该图描绘了表示内窥镜成像系统15的视野的边界203。该视野将在显示系统35上的用户界面中显示为组织202的图像。该图像可以是内窥镜成像系统15的图像或表示内窥镜成像系统15的视野的图像。
该图进一步描绘了器械204、器械206和器械208，它们各自与组织接合。器械204、器械206和器械208中的每一个可以是可以在诸如图1中的医疗器械系统14的医疗器械系统中的一种类型的器械的示例。例如，在一个实施例中，器械204、器械206和器械208可以是图1B中的手术工具30a、30b和30c。器械204可以在医疗程序期间用于操纵组织202。器械204可以用于执行任务，例如，收缩、后退或其组合。例如，器械204可以被实现为牵开器、抓紧器、钳子、夹具或某种其他类型的辅助器械。
组织控制点200可以相对于组织的图像在图1C的显示系统35上显示的用户界面内移动并且可以以选择的自由度的数量移动。例如，组织控制点200可以是可平移的、可旋转的或两者。在一个或多个实施例中，组织控制点200被实现为指示组织控制点212可以移动的自由度的数量的图形元件(例如，可移动指示器)。在一些实施例中，组织控制点212可以相对于用户界面210以任何方向平移或旋转。
在一个实施例中，组织控制点200使用四头箭头光标表示。该四头箭头光标指示组织控制点200可以在四个平移方向(例如，左、右、上和下)上移动。组织控制点200可用于控制器械204。如图所示，器械204可位于表示内窥镜成像系统15的视野的边界203的外部。组织控制点200使外科医生S或其他临床医生能够即使当器械204在视野中不可见并因此不在用户界面中显示的时候控制器械204的操作。在尖端212和组织控制点200之间存在偏移210。该偏移210由在器械204的尖端212和组织控制点200之间延伸的虚线表示。
图3是在已经基于组织控制点200的移动来操纵组织202之后的图7的组织202的表示图。如图所示，组织控制点200已经向上平移。基于该移动，控制系统20操作器械204以引起器械204的相应运动，从而操纵组织。
图4是组织控制点200的表示图，该组织控制点200表示为与要控制的组织202并置的虚拟对象400(或虚拟固定装置)。在图4中，虚拟对象400被描绘为图形线元件。器械206的代理几何体402可以是控制系统20已知的。代理几何体402可以指示器械206的钳口、器械206的尖端或器械206的某些其他部分的几何形状。在该实施例中，代理几何体402指示器械206的钳口的几何形状。距离404由在代理几何体402和虚拟对象400之间延伸的虚线表示。当代理几何体402和虚拟对象400未接触时，距离404表示代理几何体402与虚拟对象400之间的最近距离。当代理几何体402与虚拟对象400接触时，距离404表示可用于表达恢复力的穿透深度。
图5是用于操纵组织的方法500的流程图。方法500在图3中将其作为一组操作或过程502至508进行说明，并继续参考图1A、图1B、图1C和图2进行描述。在方法500的所有实施例中并非执行所有图示的过程502至508。另外，在图3中未明确说明的一个或多个过程可以在过程502至508之前、之后、之中或作为其一部分被包括在内。在一些实施例中，过程502至508中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统的处理器)运行时可以使一个或多个处理器执行一个或多个过程。
在过程502中，组织控制点200被显示在用户界面中的组织202的图像上方。组织控制点200可以是图形指示器，该图形指示器允许用户(例如外科医生S)在医疗程序期间控制与患者的组织202接合的器械204，从而操纵组织202。器械204通过与组织202物理关联而与组织202接合。例如，器械可能正在触摸组织202、抓紧组织202、缩回组织202、向组织202施加力、以其他方式与组织202接合或其组合。组织202的图像可以由例如图1A中的内窥镜成像系统15提供。换句话说，图像可以呈现内窥镜成像系统15的视野。
组织控制点200被显示在图像中组织202上方的所选的位置处的图像上方。以这种方式，组织控制点200可以被认为与组织202虚拟地并置。可以基于器械204相对于组织的定位来建立用于组织控制点200的所选位置。在某些情况下，器械204可能在图像中可见。在其他情况下，器械204可能在图像中不可见。换句话说，器械204可能不在内窥镜成像系统15的视野范围内。在器械204不在视野范围内的情况下，用于组织控制点200相对于图像的所选位置可以从器械204或器械204的尖端212相对于组织202的定位偏移。
在过程504中，接收输入，该输入在用户界面内移动组织控制点200。该输入可以通过输入控制设备36接收并由控制系统20处理。在一些实施例中，输入设备208可以是操纵杆。在其他实施例中，输入控制设备36可以包括触摸屏、手势跟踪系统、注视跟踪系统、手控制设备、遥控设备、鼠标或诸如用于输入设备36、37的其他某种类型的输入设备中的至少一个。
基于所接收的输入，控制系统20可以移动组织控制点200。组织控制点200可以具有选定数量的自由度。基于需要为器械204提供的相应移动的类型，选定的自由度的数量可以是任务特定的。人的手臂被认为具有七个自由度。在一个实施例中，为组织控制点200选择的自由度的数量小于人手臂提供的七个自由度，从而简化了实现器械204的期望移动所需的用户交互。
在一个实施例中，组织控制点200的移动可以包括组织控制点的左平移、右平移、向上平移、向下平移、向内平移、向外平移、旋转，或它们的组合。图3中所描绘的组织控制点200的平移是基于所接收的输入的组织控制点200的一种类型的移动的示例。在一些实施例中，组织控制点200的移动可以包括沿变化的方向和/或相同的方向的多个平移。在其他实施例中，组织控制点200可以是仅可平移的、仅可沿一个轴线平移、仅可旋转或以某种其他方式限制移动。在一个实施例中，当器械204具有抓紧组织202的钳口时，组织控制点200的移动可能受到限制，使得组织控制点200不能导致钳口打开和释放组织202。
在过程506中，基于所接收的输入来操作与组织202物理相关联的器械204，从而操纵组织202。在一个实施例中，操作器械204包括将组织控制点200的移动变换为器械204的相应运动，从而操纵组织202。除了组织控制点200的移动之外，这种变换还可以考虑其他因素。
例如，该变换可以包括基于一个或多个次要目标来优化器械204的移动。这些次要目标可以包括优化移动速度、确保移动在器械204的所选的运动极限范围内、避免与一个或多个其他器械或结构发生碰撞、在器械204与任何相邻器械之间创建足够的工作空间、避免选择区域或地带(例如，禁止区域)或它们的组合。在一个或多个实施例中，控制系统20确定器械204和连接到器械的机械手(例如机械手51)相对于其他器械和机械手的定位。控制系统20可以计算出器械204的移动路径，该移动路径既与组织控制点200的移动相对应，又防止了不同器械与机械手的相互作用。移动路径可以包括任何数量的平移移动、旋转移动或其组合。
在一些实施例中，控制系统20可以识别器械204的操作参数。这些操作参数可以包括例如器械204的几何形状、最小移动速度、最大移动速度、运动范围、自由度数量、其他类型的参数或它们的组合。控制系统20可以考虑这些可选参数来计算器械204的移动路径。此外，控制系统20可以计算器械204的移动路径，以确保器械204不进入所选区域或地带(例如，禁止区域)。
在一些实施例中，控制系统20可以对允许器械204施加的力的大小施加限制。例如，器械204通常能够在器械204的尖端212处施加大约2磅的力。然而，控制系统20可以限制能够在器械204的尖端212处施加的力的量至约0.5磅的力量。
在一个或多个实施例中，在过程506中操作器械204通过引起组织202的相应运动来操纵组织202，组织202的相应运动实现了器械204的预期运动以及次要目标。组织202的相应运动可以是例如组织202的缩回、组织202的平移、组织202的扭曲、组织202的旋转、组织202的变形或它们的组合。以这种方式，用户通过输入控制装置36可以将组织控制点200的移动变换成器械204的相应运动，这导致与器械204接合或靠近器械204的组织202被缩回、扭曲、旋转、抬起、向下推、向下拉、向上抬起、移至侧面、向上移动、变形和/或以其他方式操纵。
在一些实施例中，控制系统20可以使用成像数据或传感器数据来观察围绕组织控制点200的组织202的移动，并且可以基于组织控制点200的移动来更新用于控制器械204的移动的一个或多个控制定律，以减少观察到的组织202的移动中的误差。换句话说，控制系统20可以使用成像数据或传感器数据形式的反馈以基于组织控制点200的移动来减少在组织202的实际运动中相对于组织202的预期运动的误差。
在过程508中(其可以是可选的)，响应于器械204的操作而生成触觉反馈响应。该触觉反馈响应也可以称为触觉通信或动觉响应，可以是通过向用户施加力、振动、运动或其组合来进行物理或机械刺激。可以基于器械204在组织202上的操作的物理效应来生成触觉反馈响应，并且可以允许用户以身体某些部位上的感觉的形式从控制系统20接收信息。触觉反馈响应可以例如允许用户体验组织202的刚度、刚性或可变形性。在一些实施例中，触觉反馈响应可以允许用户体验组织202对移动的牵引力和阻力。
可以使用触觉设备来生成触觉反馈响应，该触觉设备生成可以被用户感觉到的触感。触觉设备可以包括遥控设备、操纵杆、手套、某种其他类型的手控制设备、某种其他类型的触感产生设备或其组合中的至少一个。在一些实施例中，触觉设备可以是输入控制设备36。例如，输入控制设备36可以反映通过物理力从虚拟-物理相互作用产生的力和扭矩。虚拟-物理相互作用可以是例如由于与虚拟表面、虚拟线、虚拟点或其组合的接触而遇到的约束。
图6是用于操纵组织的方法600的图示。方法600被示为一组操作或过程602至608，并且继续参考图1A、图1B、图1C和图2进行描述。在方法600的所有实施例中并非执行所有图示的过程602至608。另外，在图6中未明确说明的一个或多个过程可以在过程602至608之前、之后、之间或作为其一部分被包括在内。在一些实施例中，过程602至608中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码当由一个或多个处理器(例如，控制系统的处理器)运行时，可以使一个或多个处理器执行过程中的一个或多个。
在过程602中，虚拟地确定组织控制点200的初始位置。确定该初始位置包括在要控制的组织202、组织控制点200和器械204之间建立关系。具体来说，确定该初始位置包括在要控制的组织202、组织控制点200和器械204的尖端或末端执行器之间建立关系。
在一个实施例中，组织控制点200的初始位置可以由用户确定或选择。例如，用户可以输入用于确定组织控制点200的初始输入。用户可以使用例如器械204的尖端212或某些其他远程操作的器械或工具来选择初始位置以接触在组织202的表面上的位置，然后接合控件。接合控件可以包括例如按下在输入控制设备36上的按钮。然后可以基于器械204的尖端212已经与组织202接合的表面上的位置来确定组织控制点的初始位置。在一些实施例中，器械204可用于抓紧组织202。控制系统20可以使用命令器械204抓紧组织202的抓紧力作为信号，以建立并锁定在器械204的尖端212和组织控制点200之间的偏移。
响应于控件被接合，然后控制系统20可以在图像上方的相应虚拟位置处创建并显示组织控制点200。在其他实施例中，用户可以使用输入控制设备36来将用户界面中的组织控制点200手动移动到图像上的所选位置。在其他实施例中，输入控制装置36可以跟踪或检测用户的注视，以确定将组织控制点200定位在何处。例如，控制系统20可以在组织202的表面上的某个位置建立组织控制点200，在该位置处，检测到用户的注视被引导了选定的时间段。来自用户的左眼和右眼的注视输入可以被三角测量以产生三维固定位置。
在一个实施例中，初始位置或组织控制点200可以由控制系统20确定。例如，控制系统20可以基于从成像系统(例如激光成像系统)接收的成像数据来生成组织202的表面的稀疏或密集的三维表面重建。然后，控制系统20可以识别连接到器械204(例如，器械204的尖端或末端执行器)或由其接合的组织202的表面上的位置。控制系统20可以识别组织202的表面上的候选点，该候选点例如位于中心并且在视图中最靠前，然后可以基于候选点为组织控制点200选择初始位置。可以在内窥镜成像系统15的视野中可见的位置处选择组织控制点200，该位置不被其他器械遮挡，并且相对于控制器械204而言，组织控制点200处于接近或最佳地居中的位置。
在其他实施例中，上述组织202的表面的三维表面重建可与从单个眼睛检测到的注视结合使用。例如，从单个眼睛检测到的注视的矢量可以与三维表面重建相交，以确定组织控制点200的位置。
在一些实施例中，可以从由内窥镜成像系统15提供的图像的颜色/深度分割来计算组织控制点200的初始位置。例如，控制系统20可以使用彩色图像分割或深度图像分割来分割图像的区域。然后控制系统20可以计算图像的分割区域的质心作为组织控制点200的初始位置。
在其他实施例中，可以为图像内的组织控制点200确定二维位置。然后可以相对于内窥镜成像系统15或提供图像的其他成像设备的视野将二维位置映射到三维位置。例如，可以处理在左眼显示器32和右眼显示器32中显示的立体图像，以确定在左视图和右视图中的匹配像素位置。然后可以从在左眼像素和右眼像素之间的视差计算深度，并且该深度被用于确定组织控制点200的三维位置。因此，可以参考二维坐标系或三维坐标系来确定组织控制点200的初始位置。
在过程604中，激活所选的模式，该所选的模式锁定器械206相对于参考坐标系的位置。在一个或多个实施例中，可以使用相同的输入控制设备36(例如，相同的操纵杆)来控制器械206和组织控制点200。激活所选的模式配置输入控制设备36，以确保接收的输入用于控制组织控制点200，而不是器械206。当未激活所选的模式时，通过输入控制设备36接收的输入被用于控制器械206，而不是组织控制点200。
换句话说，如果用户已经激活了所选的模式，则可以重新配置输入控制设备36或用于远程操作器械206的输入控制设备36的某些部分，使得通过输入控制设备36或输入控制设备36的某些部分接收的输入可用于控制组织控制点200而不是器械206。然后，用户可以使用输入控制设备36移动组织控制点200，这继而导致器械204的相应操作。
在过程606中，通过输入控制设备36接收输入，该输入在用户界面内移动组织控制点200。在图3中描述的组织控制点2020的平移是发生在过程606中的组织控制点200的移动的示例。在过程608中，组织控制点200的移动被变换成器械204的相应移动，从而操纵组织202。
图7是用于将组织控制点200与要控制的组织202虚拟地并置的方法700的图示。方法700被示为一组操作或过程702至708，并且继续参考图1A、图1B、图1C和图2进行描述。在方法700的所有实施例中并非执行所有图示的过程702至708。另外，在图7中未明确说明的一个或多个过程可以在过程702至708之前、之后、之间或作为其一部分被包括在内。在一些实施例中，过程702至708中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码当由一个或多个处理器(例如，控制系统的处理器)运行时，可以使一个或多个处理器执行过程中的一个或多个。
在过程702中，计算器械204的定位和提供组织图像的成像设备的定位。在一个实施例中，在过程702中，器械204的定位可以是使用控制器械204的操纵器的运动学方程式计算出的器械204的尖端212的定位。类似地，成像设备(例如内窥镜成像系统15)的定位可以是使用控制成像设备的操纵器的运动学方程式计算出的成像设备的尖端的定位。操纵器可以被实现为例如图1B所示的装配件12的机械手51。器械204的尖端212的定位可以由Ttip表示，并且成像设备的定位可以由Timd表示。Ttip和Timd可以是由三维定位和三维旋转分量组成的三维变换矩阵。
在过程704中，基于为器械204计算的定位和偏移变换来计算组织控制点200的参考定位。偏移变换可用于维持在器械204的尖端212与组织控制点200之间的偏移，从而允许组织控制点200成为控制器械204的机械手51的运动学链的延伸。使用偏移变换允许组织控制点200在器械204或控制器械204的机械手51的参考坐标系中与器械204相关。组织控制点200的参考定位可以由TTCP表示并且可以是三维的。
在过程706中，基于为成像设备计算的定位，将组织控制点200的参考定位变换为基于成像设备的定位。该基于成像设备的定位可以在成像设备坐标系(例如，用于内窥镜成像系统15的坐标系)中。基于成像设备的定位可以为二维或三维。基于成像设备的定位可以由TTCP_IM表示。在过程708中，基于成像设备的定位被变换成显示定位。显示定位可以在用户界面的显示坐标系中。显示定位可以由TTCP_DC表示。在一些实施例中，显示定位可以是或可以用于计算组织控制点200相对于在用户界面中显示的图像的位置。因此，组织控制点200可以在许多不同的相关坐标系中与器械204相关。
图8是基于组织控制点200的移动用于生成触觉反馈响应的方法800的图示。方法800被示为一组操作或过程802至824，并且继续参考图1A、图1B、图1C和图2进行描述。在方法800的所有实施例中并非执行所有图示的过程802至824。另外，在图8中未明确说明的一个或多个过程可以在过程802至824之前、之后、之中或作为其一部分被包括在内。在一些实施例中，过程802至824中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码当由一个或多个处理器(例如，控制系统的处理器)运行时，可以使一个或多个处理器执行过程中的一个或多个。在一个或多个实施例中，过程802至824可以由医疗系统10执行。
在过程802中，计算第一器械204的尖端和第二器械206的尖端的定位。输入控制设备36可用于控制第二器械206。在一个实施例中，在过程802中计算定位包括通过计算例如连接到这些器械的机械手51的正向运动学来计算两个器械的尖端的定位。在一个或多个实施例中，输入控制设备36包括结合或连接到提供触觉反馈的触觉设备。第一器械204的尖端的定位可以由Ttip1表示，并且第二器械206的尖端的定位可以由Ttip2表示。在一个或多个实施例中，Ttip1和Ttip2都可以是使用运动学方程在操纵器坐标系中计算的三维定位。
在过程804中，基于计算出的第一器械204的尖端定位和偏移变换来计算组织控制点200的参考定位。偏移变换可用于维持在器械204的尖端与组织控制点200之间的偏移，从而允许组织控制点200成为控制器械204的机械手51的运动学链的延伸。组织控制点200的参考定位可以由TTCP表示并且可以是三维的。
在过程806中，相对于在其中执行医疗程序的医疗环境11的公共坐标系，变换组织控制点200的参考定位和第二器械206的尖端的定位。在一个实施例中，公共坐标系可以被称为世界坐标系。在世界坐标系内用于组织控制点200的世界定位可以表示为TTCP_WC，而在世界坐标系内用于第二输入控制设备36的尖端的世界定位可以表示为Ttip2_WC。组织控制点200的世界定位可以是表示组织控制点200的虚拟对象400的世界定位。
第二器械206的代理几何体402和表示组织控制点200的虚拟对象400的几何体可以是已知的。可以移动代理几何体402，使得代理几何体402与表示组织控制点200的虚拟对象400接触或以其他方式接合。代理几何体402可以用于轻推、刺戳或以其他方式操纵虚拟对象400。通过代理几何体402施加在虚拟对象400上的力可以影响第一器械204的移动，从而导致对组织202的操纵。
在其他示例中，可以使用第二器械206直接抓紧和操纵虚拟对象400。这种类型的控制提供了一种自然而直接的方式来影响收回器械的姿势，而无需更改例如远程操作界面的控制模式。以这种方式，用户可以感知到他们正在使用第二器械206以直接移动组织202。
在过程808中，计算在虚拟对象400的世界定位与器械206的代理几何体402的世界定位之间的距离404。如图4所示，代理几何体402可以是器械206的钳口的几何形状。在过程810中，确定距离404是否小于零。当存在指示在代理几何体402与虚拟对象400之间的虚拟接触的虚拟穿透或互穿时，距离404小于零。当存在该虚拟接触时，第二器械206的操作影响虚拟对象400，这继而影响第一器械204，从而导致组织202的操纵。当在代理几何体402和虚拟对象400之间的接触已经不存在时，距离404不小于零。没有这种虚拟接触，第二器械206的操作不影响虚拟对象400，因此不影响第一器械204。当距离404小于零时，距离404可以被称为穿透深度。当距离404不小于零时，距离404表示代理几何体402和虚拟对象400之间的最近距离。
再次参考过程808，如果距离404不小于零，则如上所述，方法800返回到过程802。但是如果距离404小于零，则在过程811中，计算虚拟力/扭矩。虚拟力/扭矩可以是组织控制点200上的代理几何体402的虚拟力/扭矩。触觉渲染可以用于提供与组织控制点200的稳定虚拟接触并避免当穿透深度超过虚拟对象400的厚度时发生的滑脱问题。
在已经执行过程811之后，执行子方法812和子方法814。子方法812包括用于经由与组织控制点200的相互作用来操纵组织202的过程816-820，并且子方法814包括用于在与组织控制点200进行相互作用时向用户提供触觉反馈的过程822-826。
在子方法812中，在过程816中，将计算出的虚拟力/扭矩施加到表示组织控制点200的虚拟对象400上。计算出的虚拟力/扭矩被施加为使虚拟对象400移动的反作用力。如前所述，虚拟对象400在几何上表示组织控制点200，并且可以在用户界面中与组织202虚拟地并置。该虚拟对象400也可以称为模拟组织控制点主体或模拟TCP主体。
在过程818中，更新虚拟对象400变换。该变换可以是确定虚拟物体400通过代理几何体402的移动将如何影响第一器械204的变换。在过程820中，基于更新的虚拟对象变换来操作第一器械204。第一器械204的操作操纵组织202。特别地，在过程820中，可以基于更新的虚拟对象变换来生成针对第一器械204的命令，然后将其应用于(例如发送至)第一器械204。以这种方式，可以操作第二器械206以移动代理几何体402，从而接合虚拟对象400并向其施加力/扭矩。施加到虚拟对象400的力/扭矩继而可以导致第一器械204的移动，第一器械204的移动导致组织202的操纵。力/扭矩可以由质量/阻尼器虚拟模型积分，以计算相应的速度和定位变化。
在过程822中，相对于器械/操纵器坐标系变换虚拟力/扭矩。在过程824中，然后虚拟力/扭矩从器械/操纵器坐标系变换成输入坐标系。输入坐标系用于输入控制设备36。在过程826中，然后力/扭矩被施加到输入控制设备36。将力/扭矩施加到输入控制设备36产生了可以由用户经历的触觉反馈响应。例如，基于代理几何体402对虚拟对象400的虚拟移动，用户可以感觉到对由第一器械204的操作引起的组织202的推动、刺戳、轻推或其他运动的物理响应。
以这种方式，组织控制点200可以通过将组织控制点200表示为视觉和触觉虚拟对象402来支持熟悉的物理相互作用。第二器械206的移动可以移动代理几何体402以对代表组织控制点200的虚拟对象400施加的力。施加到虚拟对象400上的力继而可以引起第一器械204的移动。在过程810中对关于距离404的确定可以确保仅当代理几何体402与虚拟对象400接触时才发生虚拟对象400的模拟的移动。这确保了组织操纵由第二器械206连续地控制，并且在代理几何体402与虚拟对象400之间失去接触时停止。
上面描述的方法800提供了一种方法，其中外科医生S或其他临床医生可以控制第一器械204的操作，而无需在用于控制第二器械206的输入控制设备36上切换模式。而是，第二器械206的操作可以用于虚拟地接触虚拟对象400并在其上施加力，这随后引起第一器械204的移动或某种其他类型的操作。
因此，上述实施例提供了一种用于使用组织控制点200来操纵组织的方法和装置。控制系统20建立组织控制点200与器械204之间的关系，使得组织控制点200的平移运动导致器械204的相应移动，器械204的相应移动也可选地考虑了实现次要目标的其他自由度，例如避免与相邻器械的碰撞。组织控制点200的使用简化了外科医生以期望的方式操纵组织所需的步骤。此外，即使当器械204部分或完全不在视野内时，使用组织控制点200也可以使外科医生控制器械204的操作以在内窥镜成像系统15的视野内操纵组织。
本发明的实施例中的一个或多个元件可以以软件实现以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实现时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，该处理器可读存储介质或设备可以通过在传输介质或通信链路上以载波形式体现的计算机数据信号来下载。处理器可读存储设备可以包括可以存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备的示例包括电子电路；半导体设备、半导体存储设备、只读存储器(ROM)、闪存、可擦可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储设备。可以经由计算机网络(例如因特网、内部网等)下载代码段。
注意，所呈现的过程和显示可能并非固有地与任何特定计算机或其他装置有关。各种通用系统可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的装置来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的要素出现。另外，没有参考任何特定的编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
尽管已经在附图中描述和示出了本发明的某些示例性实施例，但是应该理解，这样的实施例仅是示例性的，而不是限制本发明，并且由于本领域普通技术人员可以进行各种其他修改，因此本发明的实施例不限于所示出和描述的具体构造和布置。

Claims (28)

1.一种用于操纵组织的方法，所述方法包括：
在用户界面中，在所述组织的图像上方显示组织控制点；
接收在所述用户界面内移动所述组织控制点的输入；和
基于所接收的输入来操作与所述组织物理相关联的第一器械，从而操纵所述组织。
2.根据权利要求1所述的方法，其中基于所述输入的所述组织控制点的移动包括左平移、右平移、向上平移、向下平移、向内平移、向外平移或所述组织控制点相对于显示坐标系的旋转中的至少一种。
3.根据权利要求1所述的方法，其中操作所述第一器械包括：
将所述组织控制点的移动变换为所述第一器械的相应移动，从而操纵所述组织。
4.根据权利要求1所述的方法，其中接收所述输入包括：
通过触摸屏和手控制设备中的一个接收所述输入。
5.根据权利要求1所述的方法，其中操作所述第一器械包括：
计算所述第一器械的移动路径，所述移动路径防止所述第一器械或保持所述第一器械的机械手中的至少一个与另一对象发生意外相互作用。
6.根据权利要求1所述的方法，其中所述组织控制点的移动包括所述组织控制点的平移或所述组织控制点相对于所述图像的旋转中的至少一个。
7.根据权利要求1所述的方法，其中所述组织的操纵包括所述组织的缩回、所述组织的平移或所述组织的扭曲中的至少一种。
8.根据权利要求1所述的方法，进一步包括：
激活所选的模式，所述所选的模式锁定第二器械相对于参考坐标系的定位，并使所述组织控制点的所述输入得以接收。
9.根据权利要求8所述的方法，其中接收所述输入包括：
当所述所选的模式已经被激活时，通过输入设备接收在所述用户界面内移动所述组织控制点的所述输入，其中当所述所选的模式被激活时，所述输入设备控制所述第一器械的移动，并且当所述所选的模式未被激活时，所述输入设备控制第二器械的移动。
10.根据权利要求1所述的方法，进一步包括：
为所述组织控制点计算在所述图像内的初始位置。
11.根据权利要求10所述的方法，其中计算所述初始位置包括：
执行所述图像的区分割，其中，所述分割包括彩色图像分割或深度图像分割中的至少一种；和
计算所述图像的所述区的质心作为所述组织控制点的所述初始位置。
12.根据权利要求1所述的方法，进一步包括：
基于通过输入设备接收的初始输入虚拟地确定所述组织控制点的初始位置。
13.根据权利要求12所述的方法，其中所述输入设备包括触摸屏、手势跟踪系统、注视跟踪系统、手控制设备、遥控设备或鼠标中的至少一种。
14.根据权利要求1所述的方法，进一步包括：
在所述器械的尖端已经接合所述组织之后，通过输入设备接收输入；和
响应于接收所述输入，基于所述器械的所述尖端已经接合所述组织的位置来确定所述组织控制点的所述初始位置。
15.根据权利要求1所述的方法，进一步包括：
在所述图像内确定所述组织控制点的二维位置；和
相对于提供所述图像的成像设备的视野将所述二维位置映射到三维位置。
16.根据权利要求1所述的方法，进一步包括：
响应于所述第一器械的操作而生成触觉反馈响应。
17.根据权利要求16所述的方法，其中生成所述触觉反馈响应包括：
基于所述第一器械对所述组织的所述操作的物理影响，通过手控制设备或遥控设备中的至少一种来生成所述触觉反馈响应。
18.根据权利要求1所述的方法，其中操作所述第一器械包括：
计算所述第一器械的移动路径，所述移动路径既与所述组织控制点的移动相对应，又满足预定标准。
19.一种用于操纵组织的方法，所述方法包括：
在用户界面中，在所述组织的图像上方显示表示与所述组织并置的组织控制点的虚拟对象，其中所述虚拟对象偏离第一器械的定位；
操作第二器械以将表示所述第二器械的代理几何体移入与所述虚拟对象接触并在所述虚拟对象上施加力；
基于施加到所述虚拟对象上的所述力来操作所述第一器械，从而操纵所述组织；和
响应于所述第一器械的操作，在所述第二器械处生成触觉反馈响应。
20.一种装置，其包括：
显示系统，其在用户界面中显示组织的图像；和
控制系统，其通信地耦合到所述显示系统，其中所述控制系统被配置为：
在所述图像上方显示组织控制点；
接收在所述用户界面内移动所述组织控制点的输入；和
基于所接收的输入来操作与所述组织物理相关联的器械，从而操纵所述组织。
21.根据权利要求20所述的装置，其中基于所述输入的所述组织控制点的移动包括左平移、右平移、向上平移、向下平移、向内平移、向外平移或所述组织控制点的旋转中的至少一种。
22.根据权利要求20所述的装置，进一步包括：
输入设备，其中通过所述输入设备接收所述输入。
23.根据权利要求22所述的装置，其中所述输入设备包括触摸屏或手控制设备中的至少一种。
24.根据权利要求20所述的装置，其中所述控制系统进一步被配置为计算所述第一器械的移动路径，所述移动路径既与所述组织控制点的移动相对应，又满足预定标准。
25.根据权利要求20所述的装置，其中所述组织控制点的移动包括所述组织控制点的平移或所述组织控制点相对于所述图像的旋转中的至少一个。
26.根据权利要求20所述的装置，其中所述组织的操纵包括所述组织的缩回、所述组织的平移或所述组织的扭曲中的至少一种。
27.根据权利要求20所述的装置，其中所述控制系统进一步被配置为响应于所述器械的操作而生成触觉反馈响应。
28.根据权利要求20所述的装置，其中所述控制系统进一步被配置为计算所述第一器械的移动路径，所述移动路径防止所述第一器械与另一对象发生意外相互作用。
CN201980045353.4A 2018-05-15 2019-05-14 用于操纵组织的方法和装置 Pending CN112437643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862671945P 2018-05-15 2018-05-15
US62/671,945 2018-05-15
PCT/US2019/032213 WO2019222211A1 (en) 2018-05-15 2019-05-14 Method and apparatus for manipulating tissue

Publications (1)

Publication Number Publication Date
CN112437643A true CN112437643A (zh) 2021-03-02

Family

ID=68540958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980045353.4A Pending CN112437643A (zh) 2018-05-15 2019-05-14 用于操纵组织的方法和装置

Country Status (4)

Country Link
US (1) US20210068799A1 (zh)
EP (1) EP3793468A4 (zh)
CN (1) CN112437643A (zh)
WO (1) WO2019222211A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010025183A1 (en) * 2000-02-25 2001-09-27 Ramin Shahidi Methods and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
US20060058616A1 (en) * 2003-02-04 2006-03-16 Joel Marquart Interactive computer-assisted surgery system and method
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor
US20130331644A1 (en) * 2010-12-10 2013-12-12 Abhilash Pandya Intelligent autonomous camera control for robotics with medical, military, and space applications
US20170000574A1 (en) * 2014-03-17 2017-01-05 Intuitive Surgical Operations, Inc. System and method for recentering imaging devices and input controls
CN107530130A (zh) * 2015-03-17 2018-01-02 直观外科手术操作公司 用于在远程操作医疗系统中的器械的屏幕识别的系统和方法
WO2018085694A1 (en) * 2016-11-04 2018-05-11 Intuitive Surgical Operations, Inc. Reconfigurable display in computer-assisted tele-operated surgery

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US6714841B1 (en) * 1995-09-15 2004-03-30 Computer Motion, Inc. Head cursor control interface for an automated endoscope system for optimal positioning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010025183A1 (en) * 2000-02-25 2001-09-27 Ramin Shahidi Methods and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
US20060058616A1 (en) * 2003-02-04 2006-03-16 Joel Marquart Interactive computer-assisted surgery system and method
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor
US20130331644A1 (en) * 2010-12-10 2013-12-12 Abhilash Pandya Intelligent autonomous camera control for robotics with medical, military, and space applications
US20170000574A1 (en) * 2014-03-17 2017-01-05 Intuitive Surgical Operations, Inc. System and method for recentering imaging devices and input controls
CN107530130A (zh) * 2015-03-17 2018-01-02 直观外科手术操作公司 用于在远程操作医疗系统中的器械的屏幕识别的系统和方法
WO2018085694A1 (en) * 2016-11-04 2018-05-11 Intuitive Surgical Operations, Inc. Reconfigurable display in computer-assisted tele-operated surgery

Also Published As

Publication number Publication date
EP3793468A1 (en) 2021-03-24
EP3793468A4 (en) 2022-01-26
US20210068799A1 (en) 2021-03-11
WO2019222211A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7275204B2 (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
CN111315309B (zh) 用于控制机器人操纵器或相关工具的系统和方法
KR102577474B1 (ko) 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법
KR102501099B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
US10485616B2 (en) Hybrid robotic surgery with power assisted motion
JP6542252B2 (ja) 遠隔操作医療システムにおける器具のオフスクリーン表示のためのシステム及び方法
KR102482803B1 (ko) 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
EP3651677B1 (en) Systems and methods for switching control between multiple instrument arms
JP2015150425A (ja) 手術ロボット用マスター装置及びその制御方法
KR20230003408A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
CN112602157A (zh) 用于仿真医疗程序的混合仿真模型
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
US20200246084A1 (en) Systems and methods for rendering alerts in a display of a teleoperational system
CN112437643A (zh) 用于操纵组织的方法和装置
WO2020264003A1 (en) System and method related to registration for a medical procedure
US20230414307A1 (en) Systems and methods for remote mentoring
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
WO2024226481A1 (en) System and method for controlled ultrasonic sealing and cutting
WO2023192465A1 (en) User interface interaction elements with associated degrees of freedom of motion
CN118946325A (zh) 具有相关联的运动自由度的用户接口交互元素

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination