CN110944595B - 用于将内窥镜图像数据集映射到三维体积上的系统 - Google Patents

用于将内窥镜图像数据集映射到三维体积上的系统 Download PDF

Info

Publication number
CN110944595B
CN110944595B CN201880048604.XA CN201880048604A CN110944595B CN 110944595 B CN110944595 B CN 110944595B CN 201880048604 A CN201880048604 A CN 201880048604A CN 110944595 B CN110944595 B CN 110944595B
Authority
CN
China
Prior art keywords
image
dataset
vantage point
endoscopic
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880048604.XA
Other languages
English (en)
Other versions
CN110944595A (zh
Inventor
M·阿兹安
S·P·迪马奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202311468234.4A priority Critical patent/CN117503384A/zh
Publication of CN110944595A publication Critical patent/CN110944595A/zh
Application granted granted Critical
Publication of CN110944595B publication Critical patent/CN110944595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Abstract

一种方法包括从内窥镜成像系统获得患者解剖结构的内窥镜图像数据集，以及检索通过解剖成像系统获得的所述患者解剖结构的解剖模型数据集。该方法还包括将所述内窥镜图像数据集映射到所述解剖模型数据集，以及使用映射的内窥镜图像数据集来显示第一有利位置图像。所述第一有利位置图像从所述内窥镜成像系统的远端处的第一有利位置呈现。该方法还包括使用所述映射的内窥镜图像数据集的至少一部分来显示第二有利位置图像。所述第二有利位置图像从不同于所述第一有利位置的第二有利位置呈现。

Description

用于将内窥镜图像数据集映射到三维体积上的系统
相关申请的交叉引用
本申请要求2017年6月28日提交的美国临时申请62/526,103的权益，该临时申请通过引用以其全部并入本文。
技术领域
本公开涉及用于执行远程操作医疗程序的系统和方法，并且更具体地，涉及用于将内窥镜图像投影到配准的三维体积的系统和方法。
背景技术
微创医疗技术旨在减小在侵入性医疗程序期间受损的组织的量，由此减小患者的恢复时间、不适和有害的副作用。可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来执行此类微创技术。临床医生可以通过这些自然孔口或切口插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和外科手术器械的器械。微创医疗工具还可以包括成像器械(诸如内窥镜器械)。成像器械向用户提供患者解剖结构内的视野。一些微创医疗工具和成像器械可以是远程操作的，或者要不可以是由计算机辅助的。在内窥镜器械提供实时外科手术环境视图的程序期间，外科医生对超出内窥镜视图(endoscopic view)的有利位置(vantage point)的环境可能具有有限的情景意识。需要用于向外科医生提供对超出内窥镜视图的外科手术环境的增强视角的系统和方法。
发明内容
本发明的实施例由以下描述概括。
在一个实施例中，一种方法包括从内窥镜成像系统获得患者解剖结构的内窥镜图像数据集，以及检索通过解剖成像系统获得的所述患者解剖结构的解剖模型数据集。该方法还包括将所述内窥镜图像数据集映射到所述解剖模型数据集，以及使用映射的内窥镜图像数据集来显示第一有利位置图像。所述第一有利位置图像从所述内窥镜成像系统的远端处的第一有利位置呈现。该方法还包括使用所述映射的内窥镜图像数据集的至少一部分来显示第二有利位置图像。所述第二有利位置图像从不同于所述第一有利位置的第二有利位置呈现。
在另一个实施例中，一种系统包括远程操作组件，所述远程操作组件包括多个操纵器。所述多个操纵器中的第一操纵器被配置为控制内窥镜成像系统的移动。该系统还包括处理单元，所述处理单元包括一个或多个处理器。处理单元被配置为从内窥镜成像系统获得患者解剖结构的内窥镜图像数据集，以及检索通过解剖成像系统获得的所述患者解剖结构的解剖模型数据集。处理单元还被配置为将所述内窥镜图像数据集映射到所述解剖模型数据集，以及使用映射的内窥镜图像数据集来显示第一有利位置图像。所述第一有利位置图像从所述内窥镜成像系统的远端处的第一有利位置呈现。处理单元还被配置为使用所述映射的内窥镜图像数据集的至少一部分来显示第二有利位置图像。所述第二有利位置图像从不同于所述第一有利位置的第二有利位置呈现。
应当理解，前面的一般描述和下面的详细描述在本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的其他方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
当与附图一起阅读时，根据以下详细描述可以最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。实际上，为了讨论的清楚性起见，各种特征的尺寸可以任意增加或减小。此外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简化和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1A是根据本公开的实施例的远程操作医疗系统的示意图。
图1B是根据本文描述的原理的一个示例的远程操作操纵器的透视图。
图1C是根据许多实施例的用于远程操作医疗系统的外科医生的控制台的透视图。
图2示出了从不同有利位置显示配准到解剖模型的内窥镜图像的方法。
图3是对外科手术环境的显示，包括覆盖在解剖模型图像上的内窥镜图像。
图4是从不同的有利位置对图3的外科手术环境的显示，包括覆盖在解剖模型图像上的内窥镜图像。
图5是从不同的有利位置对图3的外科手术环境的显示，并且包括在患者解剖结构外部的环境。
图6是从在患者解剖结构外部的不同的有利位置对图3的外科手术环境的显示。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图所示的实施例，并且将使用特定语言来描述它们。然而，应当理解，不意图限制本公开的范围。在本发明的各方面的以下详细描述中，阐述了许多具体细节以便提供对所公开的实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，未详细描述公知的方法、程序、部件和电路，以免不必要地使本发明的实施例的各方面不清楚。
如所公开的本领域技术人员通常会想到的，对所描述的设备、器械、方法以及本公开原理的任何进一步应用的任何改变和进一步的修改都被完全预期。具体地，完全预期关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸用于特定示例，并且预期可以利用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作在适用时能够在其他说明性实施例中使用或从中省略。为了简洁起见，将不单独描述这些组合的许多迭代。为了简化起见，在一些情况下，在所有附图中使用相同的附图标记来指代相同或相似的部分。
以下实施例将根据各种器械在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指物体或物体的一部分在三维空间中的定位(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“定向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航)。如本文所使用的，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的位置以及该物体或物体的一部分在至少一个旋转自由度中的定向(最多总共六个自由度)。
参照附图的图1A，用在例如包括诊断程序、治疗程序或外科手术程序的医疗程序中的远程操作医疗系统大体由附图标记10指示。如将描述的，本公开的远程操作医疗系统在外科医生的远程操作控制下。在替代实施例中，远程操作系统医疗系统可以在被编程为执行程序或子程序的计算机的部分控制下。在又一些替代实施例中，在被编程为执行程序或子程序的计算机的完全控制下的全自动医疗系统可以用于执行程序或子程序。如图1A所示，远程操作医疗系统10通常包括安装到手术台O或其附近的远程操作组件12，患者P位于该手术台O上。远程操作组件12可以被称为患者侧推车。医疗器械系统14和内窥镜成像系统15可操作地联接到远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生S查看外科手术部位的图像或表示外科手术部位的图像以及控制医疗器械系统14和/或内窥镜成像系统15的操作。
操作员输入系统16可以位于外科医生的控制台处，该控制台通常与手术台O位于同一个房间中。然而，应当理解，外科医生S可以与患者P位于不同的房间或完全不同的建筑物中。操作员输入系统16通常包括用于控制医疗器械系统14的一个或多个控制设备。所述一个或多个控制设备可以包括任何数量的各种输入设备中的一种或多种，所述输入设备诸如手柄、操纵杆、轨迹球、数据手套、触发枪、脚踏板、手操作的控制器、语音识别设备、触摸屏、身体运动或存在传感器、非接触式手势跟踪、视线跟踪、肌电图(EMG)传感器等。在一些实施例中，将向所述一个或多个控制设备提供与远程操作组件的医疗器械相同的自由度以便为外科医生提供远程呈现、所述一个或多个控制设备与器械是一体的感知，使得外科医生具有强烈的直接控制器械的感觉，就好像存在于外科手术部位处一样。在另一些实施例中，所述一个或多个控制设备可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，所述一个或多个控制设备是以六个自由度移动并且还可包括用于致动器械(例如，用于闭合抓紧钳口末端执行器、向电极施加电势、输送药物治疗等)的可致动手柄的手动输入设备。
当外科医生S通过控制台16查看外科手术部位时，远程操作组件12支撑并操纵医疗器械系统14。外科手术部位的图像可以通过内窥镜成像系统15(诸如立体内窥镜)来获得，该内窥镜成像系统可以由远程操作组件12操纵以定向内窥镜15。一次使用的医疗器械系统14的数量通常将取决于诊断或外科手术程序和外科手术室内的空间约束条件以及其他因素。远程操作组件12可以包括由一个或多个非伺服控制的连杆(例如，可以手动定位并锁定在适当位置的一个或多个连杆，其通常被称为装配结构(set-up structure))构成的运动学结构和远程操作操纵器。远程操作组件12包括驱动医疗器械系统14上的输入的多个马达。这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包括驱动系统，所述驱动系统在联接到医疗器械系统14时可以将医疗器械推进到自然或外科手术创建的解剖孔口中。其他装有马达的驱动系统可以使医疗器械的远端以多个自由度移动，所述多个自由度可以包括三个线性运动(例如，沿X、Y、Z笛卡尔轴的线性运动)度和三个旋转运动(例如，围绕X、Y、Z笛卡尔轴的旋转)度。另外，马达可以用于致动器械的可铰接的末端执行器，以用于将组织抓紧在活检设备等的钳口中。器械14可包括具有单个工作构件(诸如手术刀、钝刀、光纤或电极)的末端执行器。其他末端执行器可以包括例如钳子、抓紧器、剪刀或施夹器。
远程操作医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22(并且通常是多个处理器)，以用于实现医疗器械系统14、操作员输入系统16和其他辅助系统26之间的控制，所述其他辅助系统可以包括例如成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统20可以用于处理来自成像系统15的外科手术环境的图像，以便随后通过外科医生的控制台16显示给外科医生S。控制系统20还包括编程指令(例如，存储指令的计算机可读介质)以实现根据本文公开的各方面描述的一些或全部方法。尽管在图1A的简化示意图中将控制系统20示为单个框，但该系统可包括两个或更多个数据处理电路，其中处理的一部分可选地在远程操作组件12上或其附近执行，处理的另一部分在操作员输入系统16处执行等。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以被实现为若干单独程序或子例程，或者它们可以被集成到本文描述的远程操作系统的若干其他方面中。在一个实施例中，控制系统20支持诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测的无线通信协议。
在一些实施例中，控制系统20可以包括从医疗器械系统14接收力和/或扭矩反馈的一个或多个伺服控制器。响应于反馈，伺服控制器将信号传输到操作员输入系统16。所述一个或多个伺服控制器还可以传输指示远程操作组件12移动经由体内的开口延伸到患者体内的内部外科手术部位的一个或多个医疗器械系统14和/或内窥镜成像系统15的信号。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件12分离或集成。在一些实施例中，伺服控制器和远程操作组件被设置为定位在患者身体附近的远程操作臂推车的部分。
控制系统20可以与内窥镜15联接，并且可以包括处理器以处理捕获的图像以供随后显示，诸如在外科医生的控制台上或在本地和/或远程定位的另一个合适显示器上显示给外科医生。例如，在使用立体内窥镜的情况下，控制系统20可以处理所捕获的图像以向外科医生呈现外科手术部位的协调的立体图像。这种协调可以包括相对图像之间的对准并且可以包括调整立体内窥镜的立体工作距离。
在替代实施例中，远程操作系统可以包括多于一个远程操作组件和/或多于一个操作员输入系统。操纵器组件的确切数量将取决于外科手术程序和手术室内的空间约束条件以及其他因素。操作员输入系统可以位于一处，或者它们可以被定位在不同位置。多个操作员输入系统允许多于一个操作员以各种组合控制一个或多个操纵器组件。多个操作员输入系统还通过为受训者演示对一个或多个操纵器组件的控制而允许一个或多个操作员充当一个或多个其他操作员的指导者。
图1B是远程操作组件12的一个实施例的透视图，该远程操作组件可以被称为患者侧推车。所示的患者侧推车12提供了对三个外科手术工具30a、30b、30c(例如，器械系统14)和诸如用于捕获程序部位图像的立体内窥镜的成像设备28(例如，内窥镜成像系统15)的操纵。成像设备可以通过电缆56将信号传输到控制系统20。由具有若干接头的远程操作机构提供操纵。成像设备28和外科手术工具30a-c可通过患者中的切口或通过自然孔口(例如，口腔)来定位和操纵，使得运动学远程中心被维持在入口处以最小化切口的大小或避免对自然孔口边界的损坏。患者解剖结构内的外科手术环境的图像可以包括当外科手术工具30a-c被定位在成像设备28的视野内时其远端的图像。
患者侧推车22包括可驱动基座58。可驱动基座58被连接到伸缩柱57，该伸缩柱允许调整臂54的高度。臂54可包括既旋转又上下移动的旋转接头55。臂54中的每一个可以被连接到定向平台53。定向平台53可以能够360度旋转。患者侧推车22还可包括用于在水平方向上移动定向平台53的伸缩水平悬臂52。
在本示例中，臂54中的每一个被连接至操纵器臂51。操纵器臂51可以直接连接到医疗器械26。操纵器臂51可以是可远程操作的。在一些示例中，连接到定向平台的臂54是不可远程操作的。而是，这样的臂54在外科医生18开始用远程操作部件进行操作之前根据需要定位。
内窥镜成像系统(例如，系统15、28)可能以包括刚性或柔性内窥镜的各种配置来设置。刚性内窥镜可以包括容纳中继透镜系统的刚性管，以用于将图像从内窥镜的远端传输到近端。柔性内窥镜可以使用一根或多根柔性光纤来传输图像。基于数字图像的内窥镜具有“尖端上芯片(chip on the tip)”设计，其中远侧数字传感器(诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)获取图像数据，并且可以通过有线或无线接口传输获取的图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可提供有限的深度感知。三维立体内窥镜图像可以向观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。内窥镜器械可以是可完全消毒的组件，其中内窥镜电缆、手柄和轴都被刚性地联接并且被气密密封。
图1C是外科医生的控制台16的透视图。外科医生的控制台16包括左眼显示器32和右眼显示器34，以用于向外科医生S呈现实现深度感知的外科手术环境的协调立体图。可以从成像系统(诸如内窥镜成像系统)获得外科手术环境的显示图像。附加地或可替代地，外科手术环境的显示图像可以包括来自根据术前或术中解剖图像数据集创建的解剖模型的图像。可以使用外部或非侵入性成像技术来获得患者解剖结构的术前或术中图像数据集，所述成像技术诸如为计算机断层扫描(CT)、单光子发射CT(SPECT)、正电子发射断层扫描(PET)、磁共振(MR)成像、MR热成像、超声、光声成像、荧光成像、光学相干断层扫描(OCT)、共聚焦内窥镜检查、红外热成像、阻抗成像、高光谱成像、X射线荧光透视法等。单独使用软件或与手动输入结合使用软件以将记录的图像转换成表示部分或整个解剖器官或解剖区域的分段的二维或三维复合模型。解剖模型图像数据集与复合表示相关联。在临床程序期间，可以在术前或术中记录用于生成复合表示的图像。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像，或者被呈现为来自根据术前或术中图像数据集创建的模型的图像。来自不同成像模态的图像可以一次显示一个(例如，外科医生可以切换不同模态图像)，可以并行显示(例如，在复合显示器的多个窗口中)，或者一个图像可以覆盖或叠加在另一个图像上。
控制台16还包括一个或多个输入控制设备36，所述一个或多个输入控制设备36进而致使远程操作组件12操纵一个或多个器械或内窥镜成像系统。输入控制设备36可以提供与其相关联的器械14相同的自由度，以便为外科医生S提供遥呈现或输入控制设备36与器械14是一体的感知，使得外科医生具有强烈的直接控制器械14的感觉。为此，可以采用位置、力和触觉反馈传感器(未示出)以通过输入控制设备36将位置、力和触觉从器械14传输回外科医生的手。输入控制设备37是从用户的脚接收输入的脚踏板。
在从内窥镜远端的有利位置查看患者解剖结构内的外科手术环境的远程操作程序期间，外科医生对超出内窥镜视图(在患者解剖结构内部和患者解剖结构外部二者)的区域可能具有有限的意识。下述技术通过合并来自与内窥镜图像数据集配准的术前或术中成像数据集的信息，为外科医生提供了扩展的情景意识。这些技术允许外科医生虚拟地从内窥镜远端的有利位置移开，并从不同的有利位置查看来自内窥镜图像数据集的图像。
图2是示出从不同有利位置显示内窥镜图像的方法100的流程图。方法100在图2中被示为一组操作或过程。并非所有所示过程可以在方法100的所有实施例中执行。另外，图2中未明确示出的一个或多个过程可以被包括在所示过程之前、之后、之间或作为所示过程的一部分被包括。在一些实施例中，方法100的过程中的一个或多个可以至少部分地以存储在非暂时性、有形、机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统20的处理器)运行时可致使所述一个或多个处理器执行所述过程中的一个或多个。
在过程102处，内窥镜系统(例如，系统15、28)在患者解剖结构中的医疗程序期间获得内窥镜图像数据集。内窥镜图像数据集可以是二维图像数据集，以用于生成单个二维图像以呈现在外科医生的控制台16的显示器上。可替代地，内窥镜图像数据集可以是一对二维图像数据集，以用于生成成对的二维图像(每个眼睛显示器34有一个)以便作为立体图像呈现给在外科医生的控制台16处的外科医生。可替代地，内窥镜图像数据集可以是经由深度相机(也称为测距相机或RGB-D相机)获取的待立体渲染并显示的三维图像数据集，以用于作为立体图像呈现给在外科医生的控制台16处的外科医生。立体图像使用成对的二维图像来创建三维图像的印象。内窥镜图像数据集可以是来自内窥镜远端的当前位置的有利位置的实时图像数据集，或来自内窥镜远端的先前位置的有利位置的先前记录的图像数据集。内窥镜图像数据集也可以被认为包括实时图像数据和先前记录的图像数据两者，从而允许重放或回顾来自内窥镜远端的可选历史有利位置的患者解剖结构。
在过程104处，从存储器(例如，存储器24)检索患者解剖结构的解剖模型数据集。可以使用外部或非侵入性成像技术(诸如计算机断层扫描(CT)或磁共振成像(MRI))来获得患者解剖结构的术前或术中解剖模型数据集。存储解剖模型数据集以供稍后检索。在该示例中，图像数据集与部分或整个解剖器官或解剖区域的复合模型表示相关联。
在过程106处，将内窥镜图像数据集配准到解剖模型数据集。例如在以下专利申请中已经描述了各种配准技术，这些专利申请通过引用以其全部并入本文：2015年9月23日提交的公开了“图像捕获设备和可操纵设备活动臂的受控运动期间的防撞(CollisionAvoidance During Controlled Movement of Image Capturing Device andManipulatable Device Movable Arms)”的美国专利申请No.14/862,692；2016年3月4日提交的公开了“用于定位可移动目标的形状传感器系统(Shape Sensor Systems ForLocalizing Movable Targets)”的美国专利申请No.14/916,854；2016年9月15日提交的公开了“用于远程手术台配准的方法和设备(Methods and Devices for Tele-SurgicalTable Registration)”的美国专利申请No.15/126,480；2017年1月6日提交的公开了“增强现实图像组件的配准和协调操纵(Registration and Coordinated Manipulation ofAugmented Reality Image Component)”的美国临时专利申请No.62/443,460；以及2015年2月5日提交的公开了“用于解剖标记的系统和方法(System and Method For AnatomicalMarkers)”的美国临时专利申请No.62/112,416。将内窥镜图像数据集与解剖模型数据集配准允许将二维立体内窥镜图像数据投影或映射到在空间中由解剖模型定义的三维体积上。在一个实施例中，将由内窥镜图像数据集生成的二维像素或点云投影到由解剖模型定义的三维体积上。也可以使用用于将二维图像数据集映射到三维体积的替代方法。例如，可以基于深度传感器或其他点深度映射数据对由内窥镜图像数据集生成的二维像素或点云进行三维映射。配准的内窥镜图像数据集是三维映射的数据集。
在过程108处，三维映射的内窥镜图像数据集被用于从有利位置生成并显示可辅助外科医生的图像。例如，初始有利位置可以是在患者解剖结构内的从内窥镜远端的视点(即，从内窥镜的常规内窥镜视图)。可以基于三维点云来构造初始有利位置图像。图3示出了外科医生在操作员控制台处或另一个显示屏上可见的显示150。显示150包括外科手术环境的内窥镜图像152，该外科手术环境包括器械156、157、158。图像152由映射的内窥镜图像数据集生成。可选地，显示150包括由解剖模型数据集生成的解剖模型图像154。在该示例中，内窥镜图像152被覆盖、叠加、融合或以其他方式映射到解剖模型图像154上。显示150还包括覆盖或叠加在解剖模型图像154上的器械图示156'、157'、158'。基于根据运动链、位置或形状传感器信息、基于视觉的跟踪或这些的组合知道或确定的器械姿势和相对比例，可以生成器械图示156'、157'、158'。例如在以下专利申请中已经描述了各种工具跟踪技术，这些专利申请通过引用以其全部并入本文：2007年9月30日提交的公开了“用于利用运动学信息和图像信息的自适应融合进行机器人器械工具跟踪的方法和系统(METHODS ANDSYSTEMS FOR ROBOTIC INSTRUMENT TOOL TRACKING WITH ADAPTIVE FUSION OFKINEMATICS INFORMATION AND IMAGE INFORMATION)”的美国专利申请No.11/865,014，以及2005年5月16日提交的公开了“用于在微创机器人手术过程中通过融合传感器和/或源于相机的数据来执行3-D工具跟踪的方法和系统(Methods and system for performing 3-Dtool tracking by fusion of sensor and/or camera derived data during minimallyinvasive robotic surgery)”的美国专利申请No.11/130,471。因此，显示150为外科医生提供了超出仅由内窥镜图像152所提供的额外的环境背景。例如，解剖模型图像154示出了在内窥镜图像152上不可见的额外的器官、骨骼和肿瘤，并且器械图示156'、157'、158'提供了关于在内窥镜图像上不可见的器械轨迹的信息。在一些实施例中，内窥镜图像152可以通过边界图示、色差(例如，内窥镜图像在色彩方面以及解剖模型图像在灰度方面的差别)、亮度或其他区别特征与解剖模型图像154区别开。
在各种实施例中，覆盖的内窥镜图像可以具有不同水平的透明度。例如，覆盖的内窥镜图像可以允许解剖模型图像通过内窥镜图像可见。透明度水平可以由用户调整，可以基于场景解剖模型的内容进行调整(即，以使关键结构或目标病变在图像中突出显示)，或可以基于内窥镜视图中的障碍物(例如，血液、碎屑)进行调整。
再次参考图2，在过程110处，三维映射的内窥镜图像数据集被用于从有利位置生成并显示可辅助外科医生的图像。外科医生可以从多个可选有利位置中选择另一个有利位置，或者可以虚拟地旋转或以其他方式远离初始有利位置移动以从不同视角(例如，正交于初始有利位置或从初始有利位置倾斜的视角)可视化三维映射的内窥镜图像数据集。当从第二有利位置查看内窥镜图像数据集时，一些解剖结构和/或器械(即，形成解剖结构和/或器械的图像的像素)可能不再可见。图4从第二有利位置示出了图3的外科手术环境的显示160，该第二有利位置大体在初始有利位置的侧面。显示160包括来自第二有利位置的外科手术环境的内窥镜图像162。图像162由用于从初始有利位置生成图像152的相同映射内窥镜图像数据集生成。因为图像数据集已被三维映射，所以除了在内窥镜端部处的原始有利位置之外，还可以从多个视角或有利位置生成图像。从第二有利位置，内窥镜图像162允许外科医生更接近地查看器械156和周围组织。来自第二有利位置的内窥镜图像不包括器械157、158，因为它们由于介入组织而从第二有利位置不可见。换句话说，用于生成内窥镜图像152的像素云的子部分可以用于生成图像162。
可选地，显示160包括由解剖模型数据集生成的解剖模型图像164。在该示例中，内窥镜图像162被覆盖、叠加、融合或以其他方式映射到解剖模型图像164上。显示160还包括覆盖或叠加在解剖模型图像164上的器械图示166。基于根据运动链、位置或形状传感器信息、基于视觉的跟踪或这些的组合知道或确定的器械姿势和缩放，可以生成器械图示166。因此，显示160为外科医生提供了超出仅由内窥镜图像162所提供的额外的环境背景。例如，解剖模型图像164示出了在内窥镜图像162上不可见的额外的器官和骨骼，并且器械图示166提供了关于在内窥镜图像上不可见的器械轨迹的信息。从第二有利位置，外科医生能够观察到更广阔的解剖区域，同时仍保持对来自内窥镜的直接视图的意识。解剖模型图像164的显示是可选的，因为在一些示例中，仅内窥镜图像162(其呈现来自第二有利位置的三维映射的内窥镜图像数据集)就可以为外科医生提供足够的空间视角。
图5从第三有利位置示出了图3的外科手术环境的显示170。在该示例中，还示出了在患者解剖结构外部的外科手术环境。显示170包括来自第三有利位置的外科手术环境的内窥镜图像172。图像172由用于生成图像152、162的相同映射内窥镜图像数据集生成。因为图像数据集已被三维映射，所以除了在内窥镜端部处的原始有利位置之外，还可以从多个视角或有利位置生成图像。从第三有利位置，内窥镜图像172本身为外科医生提供了相对较少的内容，但在帮助外科医生相对于更大的外科手术环境保持对内窥镜视图的意识这方面是有用的。
可选地，显示170包括由解剖模型数据集生成的解剖模型图像174。在该示例中，内窥镜图像172被覆盖、叠加、融合或以其他方式映射到解剖模型图像174上。显示170还包括覆盖或叠加在解剖模型图像174上的器械156的图示176。基于根据运动链、位置或形状传感器信息、基于视觉的跟踪或这些的组合知道或确定的器械156的一个和/或多个姿势，可以生成所示的器械176。因此，显示170为外科医生提供了超出仅由内窥镜图像172所提供的额外的环境背景。例如，解剖模型图像174示出了在内窥镜图像172上不可见的额外的器官和骨骼，并且器械图示176提供了关于在内窥镜图像上不可见的器械轨迹的信息。可选地，显示170包括在患者解剖结构外部的外科手术环境的图示178。在该示例中，显示170包括器械图示176，该器械图示示出了器械延伸穿过患者解剖壁180的图像。患者解剖壁的图像可以是解剖模型图像174的一部分。在外部环境图示178中，在患者解剖壁174外部的是器械156的延伸到患者解剖结构外面的近端的图示182。器械156的近端被联接到远程操作操纵器臂184(例如，操纵器臂51)。基于根据运动链、位置或形状传感器信息、基于在患者解剖结构外部的相机的视觉跟踪或这些的组合知道或确定的器械和操纵器臂位置，可以生成外部环境图示178。例如，在远程操作操纵器、患者、内窥镜系统和解剖模型全部被配准到共同的外科手术坐标系的情况下，可以基于解剖模型数据集以及远程操作系统的部件的已知运动学和/或结构关系来生成超出有利位置内窥镜图像的外科手术环境的复合虚拟图像。因此，显示170为外科医生提供了超出仅由内窥镜图像172所提供的环境额外的环境背景。从图5的第三有利位置，外科医生能够观察到更广阔的内部和外部解剖区域，同时仍保持对来自内窥镜远端的视图的意识。
图6是从在患者解剖结构外部的第四有利位置对图3的外科手术环境的显示190。在该示例中，示出了患者解剖结构的横截面部分，包括解剖壁180。显示190包括来自第四有利位置的外科手术环境的内窥镜图像192。图像192由用于生成图像152、162、172的相同映射内窥镜图像数据集生成。因为图像数据集已被三维映射，所以除了在内窥镜端部处的原始有利位置之外，还可以从多个视角或有利位置生成图像。从第四有利位置，内窥镜图像192向外科医生提供背景图像，其允许外科医生理解内窥镜视图与更广阔的外科手术环境之间的关系。
可选地，显示190包括由解剖模型数据集生成的解剖模型图像194。在该示例中，内窥镜图像192被覆盖、叠加、融合或以其他方式映射到解剖模型图像194上。显示190还包括覆盖或叠加在解剖模型图像194上的器械156的图示196和内窥镜器械(例如，内窥镜15、28)的图示198。基于根据运动链和/或位置传感器信息知道或确定的器械的位置和/或姿势，可以生成所示的器械196、198。因此，显示190为外科医生提供了超出仅由内窥镜图像192所提供的额外的环境背景。例如，解剖模型图像194示出了在内窥镜图像192上不可见的额外的器官和骨骼的表面或剖面图，并且器械图示196、198提供了关于在内窥镜图像上不可见的器械轨迹的信息。例如，根据显示190，外科医生可以对内窥镜器械远端的位置以及从内窥镜器械远端的有利位置截取的内窥镜图像192周围的区域有更好的背景理解。因此，显示190为外科医生提供了超出仅由内窥镜图像192所提供的额外的环境背景。从图6的第四有利位置，外科医生能够观察到更广阔的内部和外部解剖区域，同时仍保持对来自内窥镜远端的视图的意识。
本发明的实施例中的一个或多个元素可以以软件实现以在计算机系统的处理器(诸如控制处理系统)上执行。当以软件实现时，本发明的实施例的元素本质上是用于进行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，其可以在传输介质或通信链路上通过以载波形式体现的计算机数据信号来下载。处理器可读存储设备可以包括能够存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备示例包括：电子电路；半导体设备、半导体存储设备、只读存储器(ROM)、闪存存储器、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储设备。可以通过诸如互联网、内联网等的计算机网络来下载代码段。
应当注意，所呈现的过程和显示可能并非固有地与任何特定计算机或其他装置有关。各种通用系统可以与根据本文教导的程序一起使用，或者可以证明构造更专用的装置来进行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的元素出现。此外，未参考任何特定的编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
尽管已经在附图中描述和示出了本发明的某些示例性实施例，但应当理解，此类实施例仅是对本发明的说明而不是对本发明的限制，并且本发明的实施例不限于所示出和描述的具体结构和布置，因为本领域普通技术人员可以想到各种其他修改。

Claims (12)

1.一种用于将内窥镜图像数据集映射到三维体积上的系统，包括：
包括多个操纵器的远程操作组件，其中所述多个操纵器中的第一操纵器被配置为控制内窥镜成像系统的移动；以及
包括一个或多个处理器的处理单元，其中所述处理单元被配置为：
从内窥镜成像系统获得患者解剖结构的内窥镜图像数据集；
检索通过解剖成像系统获得的所述患者解剖结构的解剖模型数据集；
将所述内窥镜图像数据集映射到所述解剖模型数据集定义的三维体积上；
使用映射的内窥镜图像数据集来显示第一有利位置图像，所述第一有利位置图像从所述内窥镜成像系统的远端处的第一有利位置呈现；
通过将所述第一有利位置图像覆盖到由所述解剖模型数据集生成的第一三维解剖模型图像上，来与所述第一有利位置图像一起显示所述第一三维解剖模型图像；以及
使用所述映射的内窥镜图像数据集的至少一部分来显示第二有利位置图像，所述第二有利位置图像从不同于所述第一有利位置的第二有利位置呈现。
2.根据权利要求1所述的系统，其中所述第一有利位置和所述第二有利位置在所述患者解剖结构内部。
3.根据权利要求1所述的系统，其中所述第二有利位置在所述患者解剖结构外部。
4.根据权利要求1所述的系统，其中将所述内窥镜图像数据集映射到所述解剖模型数据集包括将来自所述内窥镜图像数据集的二维点云映射到基于所述解剖模型数据集的三维点云中。
5.根据权利要求4所述的系统，其中显示所述第一有利位置图像包括由所述三维点云构造所述第一有利位置图像。
6.根据权利要求1所述的系统，其中所述处理单元被进一步配置为：
与所述第二有利位置图像一起显示由所述解剖模型数据集生成的第二三维解剖模型图像。
7.根据权利要求1所述的系统，其中与所述第一有利位置图像一起显示所述第一三维解剖模型图像包括将所述内窥镜图像数据集与所述解剖模型数据集进行深度匹配。
8.根据权利要求1所述的系统，其中与所述第一有利位置图像一起显示所述第一三维解剖模型图像包括将所述第一三维解剖模型图像缩放到所述第一有利位置图像。
9.根据权利要求1所述的系统，其中所述内窥镜图像数据集包括第一二维图像数据集，并且所述解剖模型数据集包括三维解剖模型数据集，其中映射包括将所述第一二维图像数据集映射到所述三维解剖模型数据集。
10.根据权利要求9所述的系统，其中所述内窥镜图像数据集包括第二二维图像数据集，使得所述第一二维图像数据集和所述第二二维图像数据集形成立体图像数据集，其中映射包括将所述第二二维图像数据集映射到所述三维解剖模型数据集。
11.根据权利要求1所述的系统，其中所述第二有利位置图像来自所述内窥镜成像系统的所述远端的先前有利位置的记录的图像。
12.根据权利要求1所述的系统，其中所述处理单元被进一步配置为：
跟踪被定位在所述患者解剖结构内的医疗器械，所述医疗器械被联接到所述多个操纵器中的第二操纵器；以及
与所显示的第二有利位置图像一起显示从所述患者解剖结构延伸的被跟踪的医疗器械的模拟图像。
CN201880048604.XA 2017-06-28 2018-06-27 用于将内窥镜图像数据集映射到三维体积上的系统 Active CN110944595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311468234.4A CN117503384A (zh) 2017-06-28 2018-06-27 用于将内窥镜图像数据集映射到三维体积上的系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762526103P 2017-06-28 2017-06-28
US62/526,103 2017-06-28
PCT/US2018/039856 WO2019006028A1 (en) 2017-06-28 2018-06-27 SYSTEMS AND METHODS FOR PROJECTING AN ENDOSCOPIC IMAGE ON A THREE-DIMENSIONAL VOLUME

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311468234.4A Division CN117503384A (zh) 2017-06-28 2018-06-27 用于将内窥镜图像数据集映射到三维体积上的系统

Publications (2)

Publication Number Publication Date
CN110944595A CN110944595A (zh) 2020-03-31
CN110944595B true CN110944595B (zh) 2023-11-24

Family

ID=64742218

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311468234.4A Pending CN117503384A (zh) 2017-06-28 2018-06-27 用于将内窥镜图像数据集映射到三维体积上的系统
CN201880048604.XA Active CN110944595B (zh) 2017-06-28 2018-06-27 用于将内窥镜图像数据集映射到三维体积上的系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311468234.4A Pending CN117503384A (zh) 2017-06-28 2018-06-27 用于将内窥镜图像数据集映射到三维体积上的系统

Country Status (4)

Country Link
US (2) US11583349B2 (zh)
EP (1) EP3644889A4 (zh)
CN (2) CN117503384A (zh)
WO (1) WO2019006028A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11583349B2 (en) * 2017-06-28 2023-02-21 Intuitive Surgical Operations, Inc. Systems and methods for projecting an endoscopic image to a three-dimensional volume
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11284955B2 (en) 2017-06-29 2022-03-29 Verb Surgical Inc. Emulation of robotic arms and control thereof in a virtual reality environment
JP7007139B2 (ja) * 2017-09-20 2022-01-24 オリンパス株式会社 内視鏡装置、内視鏡システム及び検査方法
US10925598B2 (en) 2018-07-16 2021-02-23 Ethicon Llc Robotically-assisted surgical suturing systems
US20210378748A1 (en) * 2018-10-30 2021-12-09 Intuitive Surgical Operations, Inc. Anatomical structure visualization systems and methods
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
CN114206251A (zh) * 2019-05-31 2022-03-18 直观外科手术操作公司 用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法
EP4013334A1 (en) * 2019-08-16 2022-06-22 Intuitive Surgical Operations, Inc. Systems and methods for performance of external body wall data and internal depth data-based performance of operations associated with a computer-assisted surgical system
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
DE102019134352B4 (de) * 2019-12-13 2023-03-30 Albert-Ludwigs-Universität Freiburg Chirurgieroboter für endoskopische Anwendungen
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
DE102020203034A1 (de) 2020-03-10 2021-09-16 Siemens Healthcare Gmbh Von Hand bedienbares Eingabegerät für eine medizinische Einrichtung
US20210330395A1 (en) * 2020-04-23 2021-10-28 Johnson & Johnson Surgical Vision, Inc. Location pad surrounding at least part of patient eye for tracking position of a medical instrument
DE102020213348A1 (de) 2020-10-22 2022-04-28 Siemens Healthcare Gmbh Medizinische Vorrichtung und System
US20240033005A1 (en) * 2020-12-01 2024-02-01 Intuitive Surgical Operations, Inc. Systems and methods for generating virtual reality guidance
US20240029368A1 (en) * 2021-01-19 2024-01-25 Covidien Lp System and method for transparent overlay in surgical robotic system
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
EP4104745A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
US20240289971A1 (en) * 2021-06-29 2024-08-29 Nec Corporation Image processing device, image processing method, and storage medium
CN113925441B (zh) * 2021-12-17 2022-05-03 极限人工智能有限公司 一种基于内窥镜的成像方法及成像系统
CN114533280A (zh) * 2022-02-11 2022-05-27 青岛大学附属医院 一种小型手术机器人的主手控制系统
CN116129112A (zh) * 2022-12-28 2023-05-16 深圳市人工智能与机器人研究院 一种核酸检测机器人的口腔三维点云分割方法及机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
EP2942029A1 (en) * 2014-05-08 2015-11-11 Samsung Electronics Co., Ltd Surgical robots and control methods thereof
CN105992568A (zh) * 2014-02-12 2016-10-05 皇家飞利浦有限公司 手术仪器可见性的机器人控制
CN106535806A (zh) * 2014-03-28 2017-03-22 直观外科手术操作公司 来自多端口视角的手术场景的定量三维成像

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
DE102004008164B3 (de) * 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
EP1715788B1 (en) 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP6559956B2 (ja) * 2011-12-03 2019-08-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 内視鏡手術における超音波プローブのロボット誘導
KR102218244B1 (ko) 2012-12-10 2021-02-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
DE102013109677A1 (de) * 2013-09-05 2015-03-05 MAQUET GmbH Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs
EP3043738B1 (en) 2013-09-12 2019-12-11 Intuitive Surgical Operations, Inc. Shape sensor systems for localizing movable targets
US11173005B2 (en) 2014-03-17 2021-11-16 Intuitive Surgical Operations, Inc. Methods and devices for tele-surgical table registration
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
JP2017517355A (ja) * 2014-03-28 2017-06-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 定量的３次元イメージング及び手術用インプラントのプリント
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10314513B2 (en) * 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
WO2016126914A1 (en) 2015-02-05 2016-08-11 Intuitive Surgical Operations, Inc. System and method for anatomical markers
EP3566212A4 (en) 2017-01-06 2020-08-19 Intuitive Surgical Operations Inc. SYSTEM AND PROCEDURE FOR REGISTRATION AND COORDINATED MANIPULATION OF IMAGE COMPONENTS WITH EXTENDED REALITY
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
US11583349B2 (en) * 2017-06-28 2023-02-21 Intuitive Surgical Operations, Inc. Systems and methods for projecting an endoscopic image to a three-dimensional volume

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
CN105992568A (zh) * 2014-02-12 2016-10-05 皇家飞利浦有限公司 手术仪器可见性的机器人控制
CN106535806A (zh) * 2014-03-28 2017-03-22 直观外科手术操作公司 来自多端口视角的手术场景的定量三维成像
EP2942029A1 (en) * 2014-05-08 2015-11-11 Samsung Electronics Co., Ltd Surgical robots and control methods thereof

Also Published As

Publication number Publication date
EP3644889A4 (en) 2021-04-07
CN110944595A (zh) 2020-03-31
EP3644889A1 (en) 2020-05-06
WO2019006028A1 (en) 2019-01-03
US11583349B2 (en) 2023-02-21
CN117503384A (zh) 2024-02-06
US20200253673A1 (en) 2020-08-13
US20230218356A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
CN110944595B (zh) 用于将内窥镜图像数据集映射到三维体积上的系统
US11766308B2 (en) Systems and methods for presenting augmented reality in a display of a teleoperational system
US20240108426A1 (en) Systems and methods for master/tool registration and control for intuitive motion
KR102698268B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
JP5372225B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
US12011236B2 (en) Systems and methods for rendering alerts in a display of a teleoperational system
US20220323157A1 (en) System and method related to registration for a medical procedure
US11850004B2 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
KR102720969B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
EP4384984A1 (en) Systems and methods for a differentiated interaction environment
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system
WO2023220108A1 (en) Systems and methods for content aware user interface overlays
CN118806424A (zh) 用于在远程操作系统的显示器中呈现增强现实感的系统和方法
KR20230029999A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant