CN111281534A - 生成手术部位的三维模型的系统和方法 - Google Patents

生成手术部位的三维模型的系统和方法 Download PDF

Info

Publication number
CN111281534A
CN111281534A CN201911254697.4A CN201911254697A CN111281534A CN 111281534 A CN111281534 A CN 111281534A CN 201911254697 A CN201911254697 A CN 201911254697A CN 111281534 A CN111281534 A CN 111281534A
Authority
CN
China
Prior art keywords
surgical site
scan data
time
model
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911254697.4A
Other languages
English (en)
Inventor
J·W·库普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111281534A publication Critical patent/CN111281534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)

Abstract

本公开涉及生成手术部位的三维模型的系统和方法。用于生成手术部位的3D模型的系统包括3D内窥镜和耦合到3D内窥镜的计算设备。3D内窥镜包括用于扫描手术部位的表面的扫描仪和用于产生手术部位的图像的相机源。使用扫描数据和图像数据生成手术部位(包括其中的物体)的3D模型。通过检测手术部位中的变化、隔离手术部位的检测到该变化的区域、通过扫描隔离区域的表面生成第二扫描数据以及使用隔离区域的表面的第二扫描数据更新生成的3D模型，更新3D模型。

Description

生成手术部位的三维模型的系统和方法
相关申请的交叉引用
本申请要求2018年12月10日提交的第62/777,623号美国临时专利申请的权益和优先权，所述申请的全部公开内容以引用的方式并入本文中。
技术领域
本公开涉及手术系统，更具体地，涉及执行内窥镜胸腔成像和治疗并生成手术部位和其中的物体的三维(3D)模型的系统和方法。
背景技术
当前用于在微创手术(例如腹腔镜)和视觉诊断程序(例如结肠镜、支气管镜)中观察手术视野的单眼光学设备(例如内窥镜、支气管镜、结肠镜)只能提供有限的关于手术工具的绝对位置和解剖特征的参考信息，因为图像没有景深。为了补偿，外科医生可以使手术工具前进，直到它与特征或其他工具接触为止。这导致运动效率低下，并可能穿孔重要的解剖结构。双目(也称为立体)光学设备提供有限的景深，为外科医生提供有关光学设备视场内物件之间距离的视觉信息。距离信息的准确性受光路提供的视差量(由光路之间的距离以及两个光路之间的重叠量确定)的限制。
发明内容
本公开涉及手术系统，更具体地，涉及生成手术部位和其中物体的3D模型以及生成或调整3D模型以补偿诸如手术部位中的物体例如工具的运动或解剖学的系统和方法。
在一方面，提供了一种用于生成手术部位的3D模型的方法。该方法包括使用扫描仪和相机源基于投影到手术部位的表面上的反射IR投影来生成第一扫描数据，以及使用第一扫描数据和手术部位的图像数据来生成手术部位的3D模型。该方法进一步包括检测手术部位的变化，隔离手术部位的检测到该变化的区域，基于使用扫描仪和相机源投影到隔离区域上的反射IR投影，生成隔离区域的第二扫描数据，使用隔离区域的表面的第二扫描数据更新生成的3D模型，并在显示器上显示更新的3D模型。
检测手术部位的变化可以包括检测物体在手术部位中的运动。在一个方面，检测手术部位的变化包括将在时间t由相机源捕获的手术部位的一部分的图像与在时间t-1由相机源捕获的手术部位的所述部分的图像进行比较，并且当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定手术部位存在变化。另外地或可替代地，检测手术部位的变化包括将在时间t的手术部位的一部分的扫描数据与在时间t-1的手术部位的所述部分的扫描数据进行比较，并当在时间t的扫描数据不同于在时间t-1的扫描数据时确定存在手术部位的变化。
在一方面，使用扫描仪和相机源基于投影到手术部位的表面上的反射IR投影生成第一扫描数据包括使用3D内窥镜的扫描仪和相机源。
使用扫描仪和相机源基于投影到隔离区域上的反射IR投影来生成隔离区域的第二扫描数据可以包括减小扫描仪的视场。在一方面，使用第一扫描数据和图像数据生成手术部位的3D模型包括将图像数据弯曲(warp)到第一扫描数据上。
在一方面，该方法进一步包括显示3D模型，其中3D模型的与隔离区域对应的部分被平坦化。
在本公开的又一方面，提供了一种用于生成手术部位的3D模型的系统。该系统包括3D内窥镜和可操作地耦合到3D内窥镜的计算设备。3D内窥镜包括相机源和扫描仪。计算设备被配置为使用由3D内窥镜获取的扫描数据和图像数据来生成手术部位的3D模型，检测手术部位的变化，隔离手术部位的检测到该变化的区域，引起扫描仪扫描隔离区域的表面以生成隔离区域的第二扫描数据，并使用隔离区域的第二扫描数据更新生成的3D模型。
在一方面，计算设备还被配置为在图形用户界面上显示3D模型，其中3D模型的与隔离区域对应的部分被平坦化，并显示更新的3D模型。
计算设备可以通过检测物体在手术部位中的运动来检测手术部位的变化。另外地或替换地，计算设备通过以下检测手术部位的变化：将在时间t由相机源捕获的手术部位的一部分的图像与在时间t-1由相机源捕获的手术部位的所述部分的图像进行比较，并且当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定手术部位存在变化。在一方面，计算设备通过以下检测手术部位的变化：将在时间t的手术部位的一部分的扫描数据与在时间t-1的手术部位的所述部分的扫描数据进行比较，并如果在时间t的扫描数据不同于在时间t-1的扫描数据则确定存在手术部位的变化。
计算设备可以使用扫描仪来扫描隔离区域的表面，以通过减小扫描仪的视场来生成第二扫描数据。另外地或可替代地，计算设备通过将图像数据弯曲到第一扫描数据上来生成手术部位的3D模型。在一方面，3D模型包括等距数据点的矩阵，该等距数据点的矩阵表示手术部位的当前视野中的固定点，并且数据点的值表示物体在空间中的数据点处的存在。
在本公开的又一方面，提供了一种非暂时性计算机可读存储介质。非暂时性计算机可读存储介质用程序编码，该程序在由处理器执行时执行本文所述的任何方法的步骤。在一方面，非暂时性计算机可读存储介质用程序编码，该程序在由处理器执行时使处理器使用扫描数据和图像数据生成手术部位的3D模型，扫描手术部位的与手术部位的已改变的部分相对应的隔离区域的表面以生成第二扫描数据，并使用第二扫描数据更新生成的3D模型。
在一方面，非暂时性计算机可读存储介质用程序编码，该程序在由处理器执行时，还使处理器通过检测手术部位中物体的移动来检测手术部位的变化。另外地或可替代地，检测手术部位的变化可以包括将在时间t由相机源捕获的手术部位的一部分的图像与在时间t-1由相机源捕获的手术部位的所述部分的图像进行比较，并且当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定手术部位存在变化。在一方面，检测手术部位的变化可以包括将在时间t的手术部位的一部分的扫描数据与在时间t-1的手术部位的所述部分的扫描数据进行比较，并如果在时间t的扫描数据不同于在时间t-1的扫描数据则确定存在手术部位的变化。
附图说明
下文中参考附图描述本公开的各种方面和特征，其中：
图1是根据本公开的包括3D内窥镜和计算设备的手术成像系统的示意图；
图2是图1的3D内窥镜在其中推进的患者的胸腔的侧剖视图；
图3是图1的3D内窥镜的远端部分的前透视图，示出了相对于患者的解剖结构定位的3D内窥镜；
图4是示出根据本公开的一方面的用于生成手术部位的3D模型的方法的流程图；
图5A示出了待由图1的3D内窥镜的扫描仪扫描的物体；
图5B示出了图5A的物体的所得扫描数据；
图5C示出了图5A的物体的3D模型；和
图6是配置为根据本公开使用的机器人手术系统的示意图。
具体实施方式
根据本公开，并且如下面更详细地描述的，一种用于创建手术部位的表面的真实3D图(例如，3D模型)的方法使用扫描仪，该扫描仪在手术部位的表面上绘制图案(例如IR投影)，同时捕获手术部位(包括被扫描的表面)的图像以生成扫描数据。例如，可以通过分析来自由扫描仪投射的IR投影的反射的图像的失真来生成扫描数据。所捕获的图像中的失真可以用于提取深度信息以创建3D图(例如3D模型)。当正扫描的表面或手术部位中的物体移动得比扫描时间快时，所得的3D等效物(例如3D模型中与移动的表面或物体相对应的部分)是不准确的，并且可能类似于模糊照片出现。
为了克服此问题并增加三维成像内窥镜(3D内窥镜)的表观扫描时间，如下所述，将扫描场的大小限制为仅自上次扫描以来已变化的区域是有利的。根据本公开，执行初始扫描以及捕获当前视野的图像。捕获连续图像并将其与最近(先前)的图像进行比较以寻找变化(例如，将在时间t拍摄的图像与在时间t-1拍摄的图像进行比较)。在检测到变化的情况下，执行修改后的重新扫描，其中修改后的重新扫描仅限于变化的区域。如果两个连续图像之间的变化区域超出了在用户未通知的情况下进行扫描的范围，则3D模型将在变化的区域内平坦化，直到可以完成对该区域的扫描并且3D模型可以被更新的时间。这防止在更新扫描期间丢失视觉背景。
本公开的一个方面涉及3D内窥镜和系统，其支持器官与术前图像匹配，所述术前图像例如肺、手术部位内的其他解剖学或解剖学特征的图像。3D内窥镜既可以提供视觉成像又可以提供表面映射，并且被3D内窥镜、被系统的另一部件(诸如计算设备)或被3D内窥镜和计算设备的组合用于生成3D模型。
图1-3示出了根据本公开的用于生成3D模型和增强的手术导航的系统，并且通常被描述为系统100。系统100包括计算设备150和3D内窥镜200，该3D内窥镜200被配置为对患者“P”的手术部位“S”进行扫描和成像。3D内窥镜200耦合到计算设备150，并且3D内窥镜200、计算设备150中的任何一个或两者一起被配置来生成手术部位“S”的3D模型。
3D内窥镜200包括细长主体202，该细长主体202构造成在合适的胸腔套管针(未示出)或其他能够穿透胸壁并接收穿过其中的内窥镜或胸腔导管以进入胸腔的装置内前进。3D内窥镜200可以定位成紧邻胸壁以在肺或其他解剖结构“A”(图1)与患者“P”的胸壁之间导航手术部位“S”(例如胸腔)的浅部分。可以理解的是，细长主体202可以包括任意数量的可移动段，以帮助3D内窥镜200在手术部位“S”(例如，胸腔)内的可操纵性。
3D内窥镜200包括光学相机206、光源208、扫描仪210(例如，结构化光投影源、结构化光扫描仪、激光器等)以及第二相机212(在本文中也称为“相机源”)。
光学相机206是可见光光学相机，例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)或其他本领域中已知的合适相机。在一个非限制性实施例中，光学相机206是具有1080p分辨率的CCD相机。光源208是发出白光的发光二极管(LED)，尽管可以使用本领域中已知的任何发光器件。
扫描仪210可以是本领域中已知的任何结构化光扫描仪，例如通过旋转镜、分束器、衍射光栅或扫描仪210本身的平移分散为扫描图案(线、网、点或它们的组合)的LED或LED红外(IR)激光器。可以理解，扫描器210可以采用红外光以避免来自可见光源的干扰，但是可以考虑扫描器210可以根据在手术过程中被扫描的组织而发出可见光谱或任何其他波长的光。扫描仪210包括相对于相机的已知位置，并允许计算来自扫描仪210的光线与相机之间的相交的确切位置。可以将这些信息扫描为单个点、线或阵列以创建表面的拓扑图。在一个非限制性实施例中，扫描仪210可以是具有准直光的LED激光器。扫描仪210(例如，激光扫描仪、结构化光源等)将使可视化系统能够获得所需的准确的肺部(或其他解剖结构)表面图，以将术前计算的图像(或由相机例如3D内窥镜200的光学相机206或第二相机212获取的图像数据)与传递到内窥镜相机的手术图像匹配。
扫描仪210与第二相机212协作，使得当扫描仪210沿手术部位的表面平移投影时，第二相机212获取由扫描仪210投影的扫描图案的图像。
第二相机212是能够检测反射的IR光的CCD照相机，但是考虑第二相机212可以根据被扫描的组织来检测可见光，例如可见绿光等。具体地，可见绿光与具有红色或粉红色色调的组织形成对比，从而使第二相机212能够更容易地识别组织的形貌。数字滤光器(未示出)或具有窄带光栅的滤光器(未示出)在手术过程中抑制了从扫描仪210发射的多余可见光分散外科医生的注意力。在实施例中，可见光从由光学相机206捕获的图像中滤出并传输到外科医生，使得图像清晰并且没有外来光图案。
可以考虑，第二相机212可以是本领域中已知的任何热成像相机，例如铁电、硅微辐射热计或未冷却焦平面阵列(UFPA)，或者可以是任何其他合适的可见光相机，例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)或其他本领域中已知的合适相机，其中从扫描仪210发出的光在可见光或可检测光谱的范围内。在实施例中，远侧表面204可以包括合适的透明保护罩(未示出)，其能够抑制流体或其他污染物与光学相机206、光源208、扫描仪210和第二相机212中的每一个接触。由于扫描仪210和第二相机212之间相对于光学相机206的距离是固定的，因此，由光学相机206获得的图像可以更准确地与术前图像和/或术中图像匹配，下文进一步详细描述。
在实施例中，扫描仪210可以设置在3D内窥镜200的远端部分上。可以理解，扫描仪210在3D内窥镜200的远侧部分上的位置使得能够进行三角测量，其中扫描仪210和第二相机212相对于3D内窥镜200的远侧部分的中心线成一定角度(例如，扫描器210和第二相机212以与由3D内窥镜200的远端部分限定的纵轴一入射的角度设置)。
在操作中，首先，可以使用诸如MRI、超声、CT扫描、正电子发射断层扫描(PET)等之类的任何合适的成像设备(未示出)对患者“P”(图1)成像，并且图像被存储在耦合到计算设备150的存储器(未示出)内。存储器可以包括用于存储可由处理器(未示出)执行的数据和/或软件的任何非暂时性计算机可读存储介质，例如固态、易失性、非易失性、可移动和不可移动的。
在对患者“P”成像之后，临床医生使用套管针(未示出)或其他合适的装置刺入患者“P”的胸部。3D内窥镜200的远侧部分在套管针内前进，然后在患者“P”的手术部位“S”(例如胸腔)内前进(图2)。随着3D内窥镜200在胸腔内进一步前进，临床医生在显示器(未示出)上观察由光学相机206获得的图像。一旦面对解剖结构“A”例如肺“L”的表面(例如，入射到肺表面)，扫描仪210就发射IR光并且沿着解剖结构“A”的表面或手术部位“S”移动IR光，其从解剖结构“A”的表面反射并由第二相机212检测。3D内窥镜200可以沿尾、头或横向或其组合在解剖结构“A”的表面上前进。由第二相机212获得的数据被处理(例如，由计算设备150)以生成手术部位“S”的表面的3D模型，该3D模型包括解剖结构“A”和其中存在的任何物体，例如使用任何合适的方式(例如缝合、弯曲等)的手术工具。3D内窥镜200可以在解剖结构“A”的整个表面上前进，以获得尽可能完整的图。
光源208和光学相机206可以与扫描仪210和第二相机212同时操作，以允许将从光学相机206接收的图像与先前获取的术前图像相关联。由光学相机206获得的图像与先前获取的术前图像之间的相关性允许解剖结构“A”的表面和手术部位“S”的更精确的映射。可以理解，可以使用跟踪软件跟踪3D内窥镜200的远侧尖端来进一步提高相关的准确性。
图4示出了使用系统100或其组件生成手术部位的3D模型的方法的流程图，并且被描述为方法400。尽管以特定顺序描述了方法400的步骤，但是可以以未具体描述的任何顺序来执行。另外地或可替代地，尽管方法400被描述为包括所描述的步骤，但是方法400可以包括所描述的一些或全部步骤。方法400的一些或全部步骤可以由系统100的任何单个组件部分地或完全地执行，或者替代地，可以由系统100的组件的组合部分或全部地执行。例如，方法400的一些步骤可以由3D内窥镜200执行，而其他步骤可以由计算设备150执行。
方法400开始于步骤401，其中使用扫描仪(例如，扫描仪210)扫描手术部位的表面并且使用相机源(例如，光学相机206和/或第二相机212)对手术部位成像以产生第一扫描数据。在一方面，第一扫描数据是被扫描物体的扫描模型。例如，图5A示出了将由扫描仪扫描并由相机源成像的物体500a，以及图5B示出了所扫描物体的所得扫描数据500b(例如，第一扫描数据)。在一方面，扫描仪210沿着手术部位的表面摇动IR投影，并且在被扫描表面的图像中检测到的反射IR投影用于生成第一扫描数据。特别地，扫描仪210沿手术部位的表面摇动IR投影，并且第二相机212同时获取手术部位的图像(包括IR投影从扫描仪210到手术部位的表面的反射)，并且当扫描的图像从手术部位或扫描物体的表面反射出来时，将根据平移的投影生成第一扫描数据。
在步骤403中，使用相机源(例如，光学相机206、第二相机212或两者)对手术部位成像以生成图像数据。如上所述，该图像数据还可以包括由扫描仪210沿着手术部位投影的平移图案。在一方面，在步骤401中用于生成第一扫描数据的图像与在步骤403中获取的图像相同。在步骤405中，使用在步骤401中生成的第一扫描数据和在步骤403中获取的图像数据来生成手术部位的3D模型。例如，图5C示出了由扫描仪扫描并且由相机源成像的物体500a(图5A)的3D模型500c。
在一方面，步骤405中的3D模型的生成是通过将图像数据弯曲到扫描的模型(例如，扫描数据)上来完成的。用于生成第一扫描数据的扫描仪可以与用于生成图像数据的相机源合并在同一设备(例如3D内窥镜)中，或者可以是单独的设备。在一方面，3D模型包括等距数据点的矩阵，该等距数据点的矩阵表示手术部位的当前视野中的固定点，并且数据点的值表示物体在空间中的数据点处的存在。
如上所述，手术部位可包括在3D模型的扫描、成像和生成期间移动的物体。例如，当对诸如肺的解剖结构进行成像时，呼吸或其他自然和不自然的运动可导致解剖结构或肺部改变形状。因此，在某些情况下，当物体移动时，生成的3D模型会倾斜或不准确。为了解决这个问题，并加速3D重建过程，方法400包括步骤407-413，下面将详细描述。
在步骤407，确定在手术部位中检测到变化。在一方面，在步骤407中，对由相机源(例如，第二相机212)捕获的实时图像数据执行图像处理，并且确定物体(例如，解剖结构)是否已经在手术部位内移动。特别地，步骤407可以包括将在时间t由相机源捕获的手术部位的一部分的图像与在时间t-1由相机源捕获的手术部位的所述部分的图像进行比较，并且当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定手术部位存在变化。另外地或替代地，可以对使用扫描源(例如，扫描仪210)和相机源(例如，第二相机212)生成的扫描数据执行处理。例如，步骤407可以包括将在时间t的手术部位的一部分的扫描数据与在时间t-1的手术部位的所述部分的扫描数据进行比较，并如果在时间t的扫描数据不同于在时间t-1的扫描数据则确定存在手术部位的变化。在一方面，步骤407包括在一段时间内对扫描数据和图像数据两者的分析的组合，以确定在手术部位中检测到改变。另外，在步骤407中做出的确定可以是从与3D内窥镜分开的外部源(例如，固定到患者的运动传感器的差值相机源)获得的数据(例如，图像数据)的函数。
在某些方面，用户可能想要忽略手术部位内某些物体的运动，其否则将在步骤407中触发检测。为此，用户可以选择，或者系统可以自动检测手术部位内其运动将被忽略的某些物体。例如，可以忽略在3D内窥镜视野内的手术工具的存在，从而在步骤407中不触发检测到的变化，或者可以忽略不打算在3D中重建的解剖结构的一部分的运动。
在步骤409中，将手术部位的(从步骤407)检测到变化的区域隔离。例如，将移动从而引起检测到的变化的手术部位的部分或手术部位中物体的部分隔离。方法400还可以包括步骤410，其中将3D模型的对应于隔离区域的部分平坦化。如上所述，当正扫描的表面或手术部位中的物体移动的速度比扫描时间快时，所得的3D模型将不准确，并且可能看起来类似于模糊照片。因此，在步骤410中，为了防止视觉背景的损失，在改变的区域中将3D模型平坦化，直到可以完成对该区域的扫描并且可以更新图的时间。例如，当两个连续图像之间的变化区域超出了在用户未通知的情况下进行扫描的范围时，可以有条件地执行该步骤。
在步骤411，扫描隔离区域以生成第二扫描数据。特别地，在步骤411中，通过扫描隔离区域并对手术部位进行成像来生成仅与隔离区域相对应的第二扫描数据。在一方面，扫描仪210沿着手术部位的隔离区域的表面摇动IR投影，并且在被扫描表面的图像中检测到的反射IR投影用于生成第二扫描数据。特别地，扫描仪210沿手术部位的隔离区域的表面摇动IR投影，并且第二相机212同时获取手术部位的图像(包括IR投影从扫描仪210到隔离区域的表面的反射)，并且当扫描的图像从手术部位或扫描物体的表面反射出来时，将根据平移的投影生成第二扫描数据。
在一方面，步骤411包括使用相同的扫描仪或不同的扫描仪，然后使用其在步骤401中生成第一扫描数据。在一方面，步骤411包括使用扫描仪扫描隔离区域的表面，以通过减小扫描仪的视场以匹配隔离区域来生成第二扫描数据。以这种方式，由扫描仪扫描的区域被限制为隔离区域，或换言之，被确定为具有移动物体或移动部分的区域。
在步骤413中，使用在步骤411中生成的隔离区域的第二扫描数据来更新在步骤405中生成的3D模型。为此，检测到手术部位的变化后，实时更新手术部位或其中物体的所得更新的3D模型。另外地或可替代地，在步骤413中更新3D模型的步骤可以完全代替生成3D模型的步骤(步骤405)，因为3D模型仅在步骤405中部分地生成并且在步骤413中完成，从而降低处理速度，并考虑到手术部位中物体的移动。在一方面，更新的3D模型包括等距数据点的矩阵，该等距数据点的矩阵表示手术部位的当前视野中的固定点，并且数据点的值表示物体在空间中的数据点处的存在。在步骤413完成时，或在步骤413完成之前(例如，在检测到手术部位中的另一变化/运动时)，方法400可以返回到步骤407。
在方法400中生成的3D模型以及在方法400中生成的更新的3D模型可以经由一个或多个图形用户界面显示在计算设备150或系统100的另一组件的显示器上。
除了系统100可执行的上述方法之外，系统100还可以检测坐标不匹配，并基于检测到的不匹配通知用户或修改图形用户界面的显示。所扫描的解剖结构不是静态的，并且会由于诸如外科医生的操作、自然的生物节律(例如心脏、肺部)和重力等因素而随时间变化。系统100对这种变化的检测可以包括当前视野中的物体的当前扫描位置与先前视野中的物体的当前扫描位置之间的三维坐标失配(例如，从当前视野延伸出的表面，其中视野中Y坐标与外面的不同)。
完全在当前视野之外的先前扫描的结构也可能会改变。在一方面，系统100向用户指示当前视野之外的所有物件可能已经改变。为此，系统100可以通过模糊化、去除三维效果(例如，使图像平坦化)以及去除颜色或褪色来修改当前视野之外的所有元素的显示图像。附加地或可替代地，视野内的物件可以继续由系统100实时地更新。
在特定应用中，还将通过诸如电磁跟踪系统之类的术中仪器跟踪系统来跟踪3D内窥镜200的位置或其单个部件。术中仪器跟踪系统获得的位置信息有助于简化从内窥镜获取的分段大小扫描生成大规模空间表面图所需的算法。此外，光学图像位置到表面图和术前计算的图像的这种术中直接引导提供了内窥镜的位置和取向的甚至更大的清晰度。
在一些实施例中，3D内窥镜200可由机器人系统定位。机器人系统以与术中导航系统类似的方式提供内窥镜的精确六轴定向，但是得益于主动定位以及内窥镜在患者体内的位置知识。可以理解，机器人系统可以被用来自主地移动内窥镜以完成对较大区域或整个器官的扫描。
具体地，手术器械例如内窥镜、计算设备和本文描述的系统100的各种部件也可被配置成对机器人外科手术系统起作用，且其通常被称作“遥控外科手术”。此类系统使用各种机器人元件来辅助外科医生和允许外科仪表的远程操作(或部分远程操作)。可出于此目的采用各种机器人臂、齿轮、凸轮、滑轮、电动机和机械电动机等，且可将其设计成具有机器人手术系统以在操作或治疗过程期间辅助外科医生。此类机器人系统可以包含远程可导向系统、自动灵活手术系统、远程灵活手术系统、远程铰接式手术系统、无线手术系统、模块化或选择性可配置远程操作手术系统等。
可以考虑，本文描述的内窥镜可以由机器人系统定位，并且内窥镜的精确位置可以传输到计算机，以构造被扫描器官或手术区域的3D图像。机器人系统具有自主扫描手术区域并构建完整的3D模型区域的能力，以帮助外科医生引导机器人手臂或为机器人系统提供必要的3D信息，以进一步自主进行手术步骤。在实施例中，在内窥镜包括彼此独立的相机和结构化光源的情况下，机器人系统可以分别引导相机和结构化光源。机器人系统提供了三角测量结构化光和相机视图中的点以构建手术区域的3D表面所需的各个内窥镜之间的相对坐标。以这种方式，机器人系统具有能够将结构光源自主地定位在相机或相机内窥镜的视场上的特定优点。另外地或可替代地，在机器人控制相机位置(或其他组件位置)的情况下，机器人可以移动相机(或其他组件)以扩大扫描的解剖结构的尺寸(例如，扫描的量)以创建更大的视图在没有用户输入或知识的情况下为用户(例如外科医生)提供服务。
图6示出了医疗工作站1100，其包括多个机器人手臂1102、1103，控制设备1104以及与控制设备1104耦合的操作控制台1105。操作控制台1105可以包括可以特别设置为显示3D图像的显示设备1106以及手动输入设备1107、1108，例如外科医师的人(未示出)可以能够借助它们遥控机器人手臂1102、1103。
根据本文公开的几个实施例中的任一个，每个机器人臂1102、1103可以包括通过关节连接的多个构件，以及可以连接例如支撑末端执行器1120的手术工具“ST”(例如3D内窥镜200)的连接装置1109、1111，如将在下面更详细地描述的。
机器人臂1102、1103可以由连接到控制设备1104的电动驱动器(未示出)驱动。可以设置控制设备1104(例如，计算机)以激活驱动器，尤其是通过计算机程序来激活驱动器，方式是使机器人臂1102、1103，其连接设备1109、1111以及因此手术工具(包括末端执行器1120)根据由手动输入设备1107、1108定义的运动执行期望的运动。控制设备1104还可以被设置成使得其调节机器人臂1102、1103和/或其驱动器的移动。
医疗工作站1100可以被配置用在躺在手术台1112上的患者“P”上，该患者“P”将通过末端执行器1120以微创方式进行治疗。医疗工作站1100还可以包括两个以上的机器人臂1102、1103，该另外的机器人臂同样连接到控制设备1104，并且可以通过操作控制台1105进行远程操作。医疗仪器或手术工具(包括末端执行器1120)也可以连接到该另外的机器人臂。医疗工作站1100可以包括特别地与控制设备1104耦合的数据库1114，例如，来自患者/活体为“P”的术前数据和/或解剖图谱存储在其中。
虽然已经在附图中示出本公开的若干实施例，但是本公开并不旨在受其限制，因为本公开的范围旨在如领域将允许的一样广泛并且说明书同样以此方式阅读。因此，上述描述不应解释为限制性的，而仅仅是作为特定实施例的例示。
如上文所用，术语“临床医师”是指医生、护士或任何其它护理提供者并且可包含辅助人员。贯穿本说明书，术语“近侧”是指装置或其部件的距临床医师较近的部分，并且术语“远侧”是指装置或其部件的距临床医师较远的部分。另外，在附图以及上面的描述中，使用“前”、“后”、“上”、“下”、“顶部”、“底部”以及类似的方向术语等术语仅仅是为了方便描述并且不希望限制本公开。在本文上面的描述中，未详细描述众所周知的功能或构造以免用不必要的细节混淆本公开。

Claims (20)

1.一种用于生成手术部位的3D模型的方法，包括：
使用扫描仪和相机源基于投影到所述手术部位的表面上的反射IR投影生成第一扫描数据；
使用第一扫描数据和所述手术部位的图像数据生成所述手术部位的3D模型；
检测所述手术部位中的变化；
隔离所述手术部位的检测到变化的区域；
使用所述扫描仪和所述相机源，基于投影到所述隔离区域上的反射IR投影，生成所述隔离区域的第二扫描数据；
使用所述隔离区域的表面的第二扫描数据更新所述生成的3D模型；和
在显示器上显示所述更新的3D模型。
2.根据权利要求1所述的方法，其中检测所述手术部位中的变化包括检测物体在所述手术部位中的运动。
3.根据权利要求1所述的方法，其中检测所述手术部位中的变化包括：
将在时间t由所述相机源捕获的所述手术部位的一部分的图像与在时间t-1由所述相机源捕获的所述手术部位的所述部分的图像进行比较；和
当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定所述手术部位中存在变化。
4.根据权利要求1所述的方法，其中检测所述手术部位中的变化包括：
将在时间t的所述手术部位的一部分的扫描数据与在时间t-1的所述手术部位的所述部分的扫描数据进行比较；和
当在时间t的扫描数据与时间t-1的扫描数据不同时，确定所述手术部位中存在变化。
5.根据权利要求1所述的方法，其中：
使用扫描仪和相机源基于投影到所述手术部位的表面上的反射IR投影生成第一扫描数据包括使用3D内窥镜的扫描仪和相机源。
6.根据权利要求1所述的方法，其中使用所述扫描仪和所述相机源基于投影到所述隔离区域上的反射IR投影生成所述隔离区域的第二扫描数据包括减小所述扫描仪的视野。
7.根据权利要求1所述的方法，其中使用第一扫描数据和所述图像数据生成所述手术部位的3D模型包括将所述图像数据弯曲到第一扫描数据上。
8.根据权利要求1所述的方法，还包括显示所述3D模型，其中所述3D模型的与所述隔离区域对应的部分被平坦化。
9.一种用于生成手术部位的3D模型的系统，包括：
3D内窥镜，其包括相机源和扫描仪；和
计算设备，其可操作地连接到所述3D内窥镜并配置为：
使用由所述3D内窥镜获取的扫描数据和图像数据生成手术部位的3D模型；
检测所述手术部位中的变化；
隔离所述手术部位的检测到变化的区域；
使所述扫描仪扫描所述隔离区域的表面以生成所述隔离区域的第二扫描数据；和
使用所述隔离区域的第二扫描数据更新所述生成的3D模型。
10.根据权利要求9所述的系统，其中所述计算设备被进一步配置成：
在图形用户界面上显示所述3D模型，其中所述3D模型的与所述隔离区域对应的部分被平坦化；和
显示所述更新的3D模型。
11.根据权利要求9所述的系统，其中所述计算设备通过检测物体在所述手术部位中的运动检测所述手术部位中的变化。
12.根据权利要求9所述的系统，其中所述计算设备通过以下检测所述手术部位中的变化：
将在时间t由所述相机源捕获的所述手术部位的一部分的图像与在时间t-1由所述相机源捕获的所述手术部位的所述部分的图像进行比较；和
当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定所述手术部位中存在变化。
13.根据权利要求9所述的系统，其中所述计算设备通过以下检测所述手术部位中的变化：
将在时间t的所述手术部位的一部分的扫描数据与在时间t-1的所述手术部位的所述部分的扫描数据进行比较；和
当在时间t的扫描数据与时间t-1的扫描数据不同时，确定所述手术部位中存在变化。
14.根据权利要求9所述的系统，其中所述计算设备使用所述扫描仪扫描所述隔离区域的表面，以通过减小所述扫描仪的视场生成第二扫描数据。
15.根据权利要求9所述的系统，其中所述计算设备通过将所述图像数据弯曲到所述扫描数据上生成所述手术部位的3D模型。
16.根据权利要求9所述的系统，其中所述3D模型包括等距数据点的矩阵，其表示所述手术部位的当前视野中的固定点，并且数据点的值表示物体在空间中的所述数据点处的存在。
17.一种用程序编码的非暂时性计算机可读存储介质，所述程序在由处理器执行时使所述处理器：
使用扫描数据和图像数据生成手术部位的3D模型；
扫描所述手术部位的与所述手术部位的已改变的部分对应的隔离区域的表面以生成第二扫描数据；和
使用第二扫描数据更新所述生成的3D模型。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述程序在由所述处理器执行时还使所述处理器通过检测所述手术部位中物体的移动检测所述手术部位中的变化。
19.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述程序在由所述处理器执行时还使所述处理器：
通过以下方式检测所述手术部位中的变化：
将在时间t由所述相机源捕获的所述手术部位的一部分的图像与在时间t-1由所述相机源捕获的所述手术部位的所述部分的图像进行比较；和
当在时间t捕获的图像不同于在时间t-1捕获的图像时，确定所述手术部位中存在变化。
20.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述程序在由所述处理器执行时还使所述处理器：
通过以下方式检测所述手术部位中的变化：
将在时间t的所述手术部位的一部分的扫描数据与在时间t-1的所述手术部位的所述部分的扫描数据进行比较；和
当在时间t的扫描数据与时间t-1的扫描数据不同时，确定所述手术部位中存在变化。
CN201911254697.4A 2018-12-10 2019-12-10 生成手术部位的三维模型的系统和方法 Pending CN111281534A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862777623P 2018-12-10 2018-12-10
US62/777,623 2018-12-10
US16/682,285 US11045075B2 (en) 2018-12-10 2019-11-13 System and method for generating a three-dimensional model of a surgical site
US16/682,285 2019-11-13

Publications (1)

Publication Number Publication Date
CN111281534A true CN111281534A (zh) 2020-06-16

Family

ID=68835099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911254697.4A Pending CN111281534A (zh) 2018-12-10 2019-12-10 生成手术部位的三维模型的系统和方法

Country Status (3)

Country Link
US (2) US11045075B2 (zh)
EP (1) EP3666166B1 (zh)
CN (1) CN111281534A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151169A (zh) * 2020-09-22 2020-12-29 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034300A1 (en) * 2002-08-19 2004-02-19 Laurent Verard Method and apparatus for virtual endoscopy
US20100249506A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for assisting an operator in endoscopic navigation
CN102811655A (zh) * 2010-03-17 2012-12-05 富士胶片株式会社 内窥镜观察支持系统、方法、设备和程序
CN103313675A (zh) * 2011-01-13 2013-09-18 皇家飞利浦电子股份有限公司 用于内窥镜手术的术中照相机校准
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP2017176773A (ja) * 2016-03-31 2017-10-05 国立大学法人浜松医科大学 手術支援システム、手術支援方法、手術支援プログラム
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
CN107580716A (zh) * 2015-05-11 2018-01-12 西门子公司 2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和系统

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687737A (en) 1992-10-09 1997-11-18 Washington University Computerized three-dimensional cardiac mapping with interactive visual displays
US6413981B1 (en) 1999-08-12 2002-07-02 Ortho-Mcneil Pharamceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
US7559895B2 (en) 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
US6472372B1 (en) 2000-12-06 2002-10-29 Ortho-Mcneil Pharmaceuticals, Inc. 6-O-Carbamoyl ketolide antibacterials
US20030069502A1 (en) 2001-05-29 2003-04-10 Makin Inder Raj. S. Ultrasound feedback in medically-treated patients
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US6986739B2 (en) 2001-08-23 2006-01-17 Sciperio, Inc. Architecture tool and methods of use
US7756305B2 (en) 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
US7474407B2 (en) 2003-02-20 2009-01-06 Applied Science Innovations Optical coherence tomography with 3d coherence scanning
US7949385B2 (en) 2003-03-11 2011-05-24 Siemens Medical Solutions Usa, Inc. System and method for reconstruction of the human ear canal from optical coherence tomography scans
EP3009815B1 (en) 2003-10-27 2022-09-07 The General Hospital Corporation Method and apparatus for performing optical imaging using frequency-domain interferometry
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
EP1933710B1 (en) 2005-10-11 2017-03-15 Carnegie Mellon University Sensor guided catheter navigation
EP2659852A3 (en) 2006-02-01 2014-01-15 The General Hospital Corporation Apparatus for applying a plurality of electro-magnetic radiations to a sample
US9055906B2 (en) 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
EP3120752A1 (en) 2007-01-19 2017-01-25 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
US8460195B2 (en) 2007-01-19 2013-06-11 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
WO2008137710A1 (en) 2007-05-03 2008-11-13 University Of Washington High resolution optical coherence tomography based imaging for intraluminal and interstitial use implemented with a reduced form factor
US8335359B2 (en) 2007-07-20 2012-12-18 General Electric Company Systems, apparatus and processes for automated medical image segmentation
US8983580B2 (en) 2008-01-18 2015-03-17 The Board Of Trustees Of The University Of Illinois Low-coherence interferometry and optical coherence tomography for image-guided surgical treatment of solid tumors
EP2358278B1 (en) 2008-12-08 2021-05-12 Acist Medical Systems, Inc. System and catheter for image guidance and methods thereof
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US20180009767A9 (en) 2009-03-19 2018-01-11 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
JP5380348B2 (ja) 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US8494794B2 (en) 2010-06-13 2013-07-23 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US20130131505A1 (en) 2011-10-28 2013-05-23 Navident Technologies, Inc. Surgical location monitoring system and method using skin applied fiducial reference
EP2809249B1 (en) 2012-02-03 2018-12-26 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
US20130303945A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Electromagnetic tip sensor
US10299698B2 (en) 2012-05-14 2019-05-28 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using a reduced search space
US10376178B2 (en) 2012-05-14 2019-08-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using rapid pose search
EP2849669B1 (en) 2012-05-14 2018-11-28 Intuitive Surgical Operations Inc. Systems and methods for deformation compensation using shape sensing
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
US9801551B2 (en) 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
JP6074587B2 (ja) 2012-08-06 2017-02-08 株式会社Ｊｏｌｅｄ 表示パネル、表示装置ならびに電子機器
CN104540439B (zh) 2012-08-14 2016-10-26 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
CN108042092B (zh) 2012-10-12 2023-02-28 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
US10588597B2 (en) 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US9918659B2 (en) 2013-03-15 2018-03-20 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments and mehods of use
US11266466B2 (en) 2013-07-29 2022-03-08 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
KR102356881B1 (ko) 2013-08-15 2022-02-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 카테터 위치설정 및 삽입을 위한 그래픽 사용자 인터페이스
US11166646B2 (en) 2013-08-15 2021-11-09 Intuitive Surgical Operations Inc. Systems and methods for medical procedure confirmation
EP3060157B1 (en) 2013-10-24 2019-12-11 Auris Health, Inc. System for robotic-assisted endolumenal surgery
CN105979899B (zh) 2013-12-09 2019-10-01 直观外科手术操作公司 用于设备感知柔性工具配准的系统和方法
WO2015101948A2 (en) 2014-01-06 2015-07-09 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US10314656B2 (en) 2014-02-04 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US20150223765A1 (en) 2014-02-07 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for using x-ray field emission to determine instrument position and orientation
CN106456272B (zh) 2014-03-17 2020-03-31 直观外科手术操作公司 包括非白光总体照明器的外科手术系统
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
JP6716538B2 (ja) 2014-07-28 2020-07-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のインターベンショナル処置を計画するシステム及び方法
KR20170038012A (ko) 2014-07-28 2017-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
JP6548730B2 (ja) 2014-08-23 2019-07-24 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置における病理学的データの表示のためのシステム及び方法
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10314513B2 (en) 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
EP3206556A4 (en) 2014-10-17 2018-07-18 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
CA2965091A1 (en) 2014-10-20 2016-05-06 Dorian Averbuch Surgical devices and methods of use thereof
EP4140432A1 (en) 2014-11-13 2023-03-01 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
US10512510B2 (en) 2014-12-22 2019-12-24 Intuitive Surgical Operations, Inc. Flexible electromagnetic sensor
WO2016164311A1 (en) 2015-04-06 2016-10-13 Intuitive Surgical Operations, Inc. Systems and methods of registration compensation in image guided surgery
JP6797834B2 (ja) 2015-05-22 2020-12-09 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための位置合わせのシステム及び方法
CN108024698B (zh) 2015-08-14 2020-09-15 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
EP3334325A4 (en) 2015-08-14 2019-05-01 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR RECORDING FOR IMAGE-GUIDED SURGERY
US11278354B2 (en) 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
CN108778113B (zh) 2015-09-18 2022-04-15 奥瑞斯健康公司 管状网络的导航
US20180296080A1 (en) * 2015-10-08 2018-10-18 Carestream Dental Technology Topco Limited Adaptive tuning of 3d acquisition speed for dental surface imaging
US10405753B2 (en) 2015-11-10 2019-09-10 Intuitive Surgical Operations, Inc. Pharmaceutical compositions of near IR closed chain, sulfo-cyanine dyes
US10480926B2 (en) 2015-12-14 2019-11-19 Intuitive Surgical Operations, Inc. Apparatus and method for generating 3-D data for an anatomical target using optical fiber shape sensing
US9996361B2 (en) 2015-12-23 2018-06-12 Intel Corporation Byte and nibble sort instructions that produce sorted destination register and destination index mapping
CN108024838B (zh) 2016-02-12 2021-10-01 直观外科手术操作公司 用于在图像引导手术中使用配准荧光透视图像的系统和方法
EP3413829B1 (en) 2016-02-12 2024-05-22 Intuitive Surgical Operations, Inc. Systems of pose estimation and calibration of perspective imaging system in image guided surgery
WO2017153839A1 (en) 2016-03-10 2017-09-14 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation
US10702137B2 (en) 2016-03-14 2020-07-07 Intuitive Surgical Operations, Inc.. Endoscopic instrument with compliant thermal interface
US20170296679A1 (en) 2016-04-18 2017-10-19 Intuitive Surgical Operations, Inc. Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands
WO2017218552A1 (en) 2016-06-15 2017-12-21 Intuitive Surgical Operations, Inc. Systems and methods of integrated real-time visualization
KR102607065B1 (ko) 2016-06-30 2023-11-29 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
EP4238490A3 (en) 2016-06-30 2023-11-01 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
CN109414155B (zh) 2016-08-16 2022-04-29 直观外科手术操作公司 使用第一和第二光纤感测柔性工具的形状
US11628013B2 (en) 2016-08-23 2023-04-18 Intuitive Surgical Operations, Inc. Systems and methods for monitoring patient motion during a medical procedure
US11980344B2 (en) 2016-09-21 2024-05-14 Intuitive Surgical Operations, Inc. Systems and methods for instrument buckling detection
WO2018064566A1 (en) 2016-09-30 2018-04-05 Intuitive Surgical Operations, Inc. Systems and methods for entry point localization
WO2018075911A1 (en) 2016-10-21 2018-04-26 Intuitive Surgical Operations, Inc. Shape sensing with multi-core fiber sensor
KR20230031371A (ko) 2016-11-02 2023-03-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 수술을 위한 연속 정치 시스템 및 방법
CN116421309A (zh) 2016-12-08 2023-07-14 直观外科手术操作公司 用于图像引导医疗程序中导航的系统和方法
CN115363537A (zh) 2016-12-09 2022-11-22 直观外科手术操作公司 用于身体组织的分布式热通量感测的系统和方法
CN116128937A (zh) 2017-01-09 2023-05-16 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
EP3576662A4 (en) 2017-02-01 2020-12-23 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR DATA FILTERING OF CONTINUOUS SENSOR DATA
EP3576663A4 (en) 2017-02-01 2020-12-23 Intuitive Surgical Operations Inc. IMAGE GUIDED PROCEDURE RECORDING SYSTEMS AND METHODS
WO2018144636A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
WO2018183727A1 (en) 2017-03-31 2018-10-04 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
WO2018195221A1 (en) 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
EP3612121A4 (en) 2017-04-18 2021-04-07 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE TO MONITOR AN IMAGE GUIDED PROCEDURE
CA3064678A1 (en) 2017-05-24 2018-11-29 Dorian Averbuch Methods for using radial endobronchial ultrasound probes for three-dimensional reconstruction of images and improved target localization
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3641686A4 (en) 2017-06-23 2021-03-24 Intuitive Surgical Operations, Inc. SYSTEMS AND PROCEDURES FOR NAVIGATION TO A DESTINATION DURING A MEDICAL OPERATION
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
KR102558063B1 (ko) 2017-06-28 2023-07-25 아우리스 헬스, 인코포레이티드 전자기장 생성기 정렬
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
CN110831534B (zh) 2017-12-08 2023-04-28 奥瑞斯健康公司 用于医疗仪器导航和瞄准的系统和方法
JP7322026B2 (ja) 2017-12-14 2023-08-07 オーリス ヘルス インコーポレイテッド 器具の位置推定のシステムおよび方法
EP3684283A4 (en) 2017-12-18 2021-07-14 Auris Health, Inc. METHODS AND SYSTEMS FOR MONITORING AND NAVIGATION OF INSTRUMENTS IN LUMINAL NETWORKS
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US20190298451A1 (en) 2018-03-27 2019-10-03 Intuitive Surgical Operations, Inc. Systems and methods for delivering targeted therapy
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
JP2021112220A (ja) 2018-04-17 2021-08-05 ソニーグループ株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
US10898275B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Image-based airway analysis and mapping
US20200015924A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
US11117054B2 (en) 2018-08-01 2021-09-14 Sony Interactive Entertainment LLC Player induced counter-balancing of loads on a character in a virtual environment
US11080902B2 (en) 2018-08-03 2021-08-03 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomical tree structures
CA3109584A1 (en) 2018-08-13 2020-02-20 Body Vision Medical Ltd. Methods and systems for multi view pose estimation using digital computational tomography
US11896316B2 (en) 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US11633623B2 (en) 2019-04-19 2023-04-25 University Of Maryland, Baltimore System and method for radiation therapy using spatial-functional mapping and dose sensitivity of branching structures and functional sub-volumes

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034300A1 (en) * 2002-08-19 2004-02-19 Laurent Verard Method and apparatus for virtual endoscopy
US20100249506A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for assisting an operator in endoscopic navigation
CN102811655A (zh) * 2010-03-17 2012-12-05 富士胶片株式会社 内窥镜观察支持系统、方法、设备和程序
EP2548495A1 (en) * 2010-03-17 2013-01-23 FUJIFILM Corporation System, method, device, and program for supporting endoscopic observation
CN103313675A (zh) * 2011-01-13 2013-09-18 皇家飞利浦电子股份有限公司 用于内窥镜手术的术中照相机校准
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
CN107580716A (zh) * 2015-05-11 2018-01-12 西门子公司 2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和系统
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP2017176773A (ja) * 2016-03-31 2017-10-05 国立大学法人浜松医科大学 手術支援システム、手術支援方法、手術支援プログラム
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
CN107260117A (zh) * 2016-03-31 2017-10-20 柯惠有限合伙公司 用于表面扫描的胸部内窥镜

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151169A (zh) * 2020-09-22 2020-12-29 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN112151169B (zh) * 2020-09-22 2023-12-05 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统

Also Published As

Publication number Publication date
US11045075B2 (en) 2021-06-29
US20200178774A1 (en) 2020-06-11
EP3666166A1 (en) 2020-06-17
US20210275003A1 (en) 2021-09-09
EP3666166B1 (en) 2024-01-24
US11793402B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
US11793390B2 (en) Endoscopic imaging with augmented parallax
US11801113B2 (en) Thoracic imaging, distance measuring, and notification system and method
US20230218356A1 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
JP7443353B2 (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
US11730562B2 (en) Systems and methods for imaging a patient
US10543045B2 (en) System and method for providing a contour video with a 3D surface in a medical navigation system
US11617493B2 (en) Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11406255B2 (en) System and method for detecting abnormal tissue using vascular features
US11793402B2 (en) System and method for generating a three-dimensional model of a surgical site
EP3782529A1 (en) Systems and methods for selectively varying resolutions
EP3944254A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US20230099835A1 (en) Systems and methods for image mapping and fusion during surgical procedures
Hayashibe et al. Real-time 3D deformation imaging of abdominal organs in laparoscopy
Mitsuhiro HAYASHIBE et al. Medicine Meets Virtual Reality 11 117 JD Westwood et al.(Eds.) IOS Press, 2003

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination