CN117320654A - 支气管镜检查中的基于视觉的6DoF相机姿态估计 - Google Patents

支气管镜检查中的基于视觉的6DoF相机姿态估计 Download PDF

Info

Publication number
CN117320654A
CN117320654A CN202280026004.XA CN202280026004A CN117320654A CN 117320654 A CN117320654 A CN 117320654A CN 202280026004 A CN202280026004 A CN 202280026004A CN 117320654 A CN117320654 A CN 117320654A
Authority
CN
China
Prior art keywords
depth map
depth
camera pose
instrument
depth maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280026004.XA
Other languages
English (en)
Inventor
沈马丽
叶梦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auris Health Inc
Original Assignee
Auris Surgical Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auris Surgical Robotics Inc filed Critical Auris Surgical Robotics Inc
Publication of CN117320654A publication Critical patent/CN117320654A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0437—Trolley or cart-type apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Urology & Nephrology (AREA)

Abstract

方法和系统通过提供对管状网络内的医疗器械(例如，内窥镜)的位置和取向信息的改进的估计来提供通过诸如肺气道的该管状网络的改进的导航。各种输入数据诸如图像数据和CT数据用于对该管状网络进行建模，并且模型信息用于生成表示该管状网络内的特定部位位置的相机姿态和/或用于确定包括该医疗器械的位置和取向的导航信息。

Description

支气管镜检查中的基于视觉的6DoF相机姿态估计
相关申请
本申请要求2021年3月31日提交的名称为“VISION-BASED 6DOF CAMERA POSEESTIMATION IN BRONCHOSCOPY”的美国申请17/219,804号的优先权，该美国申请的公开内容据此全文以引用方式并入本文。
背景技术
技术领域
本公开整体涉及用于医疗器械的导航和跟踪的系统和方法，并且更具体地涉及用于内腔网络内的器械的导航的基于图像的检测和定位。
相关技术
医疗规程诸如内窥镜检查(例如，支气管镜检查)可涉及出于诊断和/或治疗目的而进入患者的内腔(例如，气道)的内部并使其可视化。在规程期间，可将柔性管状工具或器械诸如内窥镜插入患者体内。在一些情况下，可将第二器械穿过内窥镜至所识别的组织部位以进行诊断和/或治疗。
支气管镜检查是允许医师检查患者的肺中的气道诸如支气管和细支气管的内部状况的医疗规程。在医疗规程期间，可将细的柔性管状工具或器械(称为支气管镜)插入患者的口中并向下穿过患者的喉道至其肺气道中，朝向所识别的组织部位，以进行后续诊断和治疗。支气管镜可具有提供通向组织部位的通路的内部内腔(“工作通道”)，并且导管和各种医疗工具可通过该工作通道插入组织部位。
在一些医疗规程中，人类操作员控制或机器人使能的系统可用于控制所使用的器械的插入和/或操纵。机器人使能的医疗系统可包括至少一个机器人臂或其他器械定位装置，该至少一个机器人臂或其他器械定位装置包括用于在规程期间控制器械的定位的操纵器组件。
发明内容
机器人使能的医疗系统可被配置用于在医疗或外科规程期间跟踪和导航器械。系统可用于执行多种规程，包括微创规程(例如，腹腔镜检查)和非侵入规程(例如，内窥镜检查)两者。在内窥镜检查规程中，系统可用于执行支气管镜检查、输尿管镜检查、肠胃病学等。在此类规程期间，医师可引导器械通过患者的内腔网络。内腔网络可包括多个分支内腔(诸如在支气管或肾网络中)或单个内腔(诸如胃肠道)。
机器人使能的医疗系统可包括用于在内腔网络内定位和/或引导医疗器械的定位系统(也称为导航系统)。在一些实施方案中，定位系统可确定或估计器械在内腔网络内的位置和/或取向。定位系统可接收和处理各种类型的定位或位置数据以确定器械的位置和/或取向。例如，定位系统可处理图像数据、电磁(EM)数据、运动学数据、惯性测量数据、形状感测数据等以确定器械的位置。定位系统可从这些数据输入中的一个或组合导出或估计器械的位置。
例如，当器械移动通过内腔网络时，定位系统可使用包括由器械上的EM传感器生成的EM数据的数据输入的组合来确定器械的位置和取向。基于EM数据的导航可提供器械末端的实时六个自由度(6DoF)姿态，而不管相机的图像质量如何。然而，EM导航和跟踪的准确性取决于EM场坐标系与相关联的坐标系(诸如从术前CT图像导出的计算机断层扫描(CT)坐标系)之间的良好初始配准。此外，由于由手术室中的金属器械和CT扫描器引起的铁磁干扰，EM读数可能是有噪声的和失真的。此外，当存在大的呼吸运动影响时，尤其是在外围内腔(例如，气道)处，由EM跟踪估计的器械姿态的准确性可能受到损害。不准确的器械姿态估计可能导致诸如深度失配、虚拟内腔视图中的不正确滚动或导航失败的问题。当这种情况发生时，由于定位系统所使用的EM数据输入，所确定的器械的位置和/或取向可能是不可靠的。如果所确定的位置正被显示给医师，则当定位系统尝试确定位置和取向时，医师可能感知到位置和/或取向的不准确。
本文描述的跟踪和导航方法和系统可用于例如减少、减轻或消除基于EM的定位中的缺点。在一个示例中，这可通过基于视觉的方法来实现，该方法基于视频图像数据和至少部分地从术前CT扫描确定的一个或多个内腔模型来估计CT空间中的6DoF相机姿态。表征内腔结构的第一模型可至少部分地根据可见内腔的视频图像来确定。可至少部分地根据CT扫描来生成多个第二模型。来自多个第二模型的具有与第一模型的最高形状相似性的候选模型可用于生成示出器械在内腔内的位置和取向的定位相机姿态。这种相机姿态可为医师提供改进的体验，从而改进对机器人使能的医疗系统的控制。
所描述的用于确定或估计器械在内腔网络内的位置的系统、装置和方法还可促进基于使用窥镜装置或其他医疗器械获得的各种解剖特征的图像来识别和跟踪这些特征。例如，这种特征识别和/或跟踪可促进结合医疗规程(诸如支气管镜检查或接近支气管解剖结构的其他规程)对特定解剖特征的瞄准。本公开的系统、方法和装置各自具有若干创新方面，这些创新方面中没有一个独自负责本文所公开的期望属性。
在一个方面，本发明涉及一种生成表示内部解剖结构内的空间位置的相机姿态的方法。该方法包括：至少部分地基于表示内部解剖结构的图像数据来确定表征内部解剖结构的第一深度图；至少部分地基于计算机断层扫描(CT)图像数据来生成多个第二深度图，该第二深度图中的每个第二深度图表示内部解剖结构的虚拟模型；识别多个第二深度图中的与第一深度图具有最高形状相似性的一个第二深度图；以及至少部分地基于多个第二深度图中的所识别的一个第二深度图来生成相机姿态。
该方法还可包括使用卷积神经网络(CNN)从视频图像数据确定第一深度图。在另一实施方案中，该方法还包括通过求解内部解剖结构的虚拟模型的3D点云与从第一深度图反向投影的点云之间的变换矩阵来估计相机姿态参数。在一个示例中，采用卷积神经网络(CNN)来求解变换矩阵并且估计相机姿态参数。在另一示例中，估计相机姿态参数还包括使用第一深度图来识别多个第二深度图中的一个第二深度图中的期望位置，该期望位置对应于一个或多个视频图像中的位置。
在一些实施方案中，生成多个第二深度图并且识别多个第二深度图中的表示期望位置的一个第二深度图是迭代或连续过程。例如，迭代过程可包括使用先前迭代的多个第二深度图中的一个第二深度图来初始化生成多个第二深度图。在其他实施方案中，该方法还包括使用多个虚拟相机姿态来生成多个第二深度图。
在实施方案中，相机姿态包括表示内部解剖结构内的物理空间位置的虚拟空间估计。在实施方案中，该方法还可包括在相对于CT图像数据的坐标中定义相机姿态。
在另一方面，本发明涉及一种生成表示支气管气道内的空间位置的相机姿态的方法。该方法包括：至少部分地基于表示支气管气道的内部解剖形状结构的视频图像数据来确定表征支气管气道的内部解剖形状结构的第一深度图；根据表示支气管气道的内部解剖形状结构的计算机断层扫描(CT)图像数据来生成表示支气管气道内的估计位置和取向的虚拟相机姿态；至少部分地基于该虚拟相机姿态来生成多个第二深度图，该第二深度图中的每个第二深度图表示支气管气道的内部解剖形状结构的虚拟模型；识别多个第二深度图中的与第一深度图具有最高形状相似性的一个第二深度图；以及至少部分地基于多个第二深度图中的所识别的一个第二深度图来生成表示在支气管气道内具有六个自由度(6DoF)的位置和取向的相机姿态。
该方法还可包括利用执行域自适应的卷积神经网络(CNN)使用视频图像数据来形成第一深度图。在一个示例中，该方法还可包括由CNN通过使视频图像数据与对应的第一深度图成对而利用监督学习来学习映射函数，其中第一深度图形成为视频图像数据的函数。在另一示例中，该方法还可包括由CNN利用带有不需要成对数据的循环一致性的无监督生成对抗学习来学习映射函数，其中第一深度图形成为视频图像数据的函数。
在一个实施方案中，该方法还包括相对于第一深度图预先计算由成对的第二深度图和虚拟相机姿态组成的数据集。在一个示例中，该方法还可包括应用图像配准技术来找到相对于数据集具有与第一深度图的最高形状相似性的候选第二深度图。在一个实施方案中，该方法包括使用候选第二深度图的虚拟相机姿态值作为相机姿态或作为候选虚拟相机姿态的初始值，以迭代地生成接下来的多个第二深度图。在另一实施方案中，该方法包括通过将候选第二深度图和第一深度图传递到空间变换网络中来估计候选第二深度图与第一深度图之间的相对姿态，该空间变换网络被配置为回归候选第二深度图与第一深度图之间的相对变换。
在另一方面，本公开涉及医疗系统。该医疗系统包括医疗器械，该医疗器械具有与该医疗器械的远侧端部相关联的相机；以及控制电路，该控制电路通信地耦合到医疗器械。在一个实施方案中，该控制电路被配置为：生成内部解剖结构的图像数据；至少部分地基于该图像数据来确定表征内部解剖结构的第一深度图；至少部分地基于该内部解剖结构的计算机断层扫描(CT)图像数据来生成表示内部解剖结构内的估计位置和取向的虚拟相机姿态；至少部分地基于该虚拟相机姿态来生成多个第二深度图，该第二深度图中的每个第二深度图表示内部解剖结构的虚拟模型；识别多个第二深度图中的与第一深度图具有最高形状相似性的一个第二深度图；以及至少部分地基于多个第二深度图中的所识别的一个第二深度图来生成表示在内部解剖结构内具有六个自由度(6DoF)的位置和取向的相机姿态。
在一个实施方案中，控制电路进一步被配置为利用第一点云来表示第一深度图并且利用第二点云来表示第二深度图。控制电路可进一步被配置为使用第一神经网络至少部分地基于第一点云和第二点云来确定深度几何特征。另外地或另选地，控制电路可进一步被配置为在第一点云的多个关键点与第二点云的相关联的多个关键点之间建立逐点对应关系。
在一个示例中，控制电路进一步被配置为通过使用第二神经网络在共享特征空间中搜索来建立逐点对应关系，该共享特征空间相对于深度几何特征。在另一示例中，控制电路进一步被配置为将逐点对应关系传递到另一网络中以输出第二逐点对应关系。在一个实施方案中，另一网络包括可区分的随机样本一致性(RANSAC)网络。控制电路可进一步被配置为至少部分地基于第二逐点对应关系来生成相机姿态。
在另外方面，本公开涉及医疗系统。该医学系统包括：用于至少部分地基于表示内部解剖结构的图像数据来确定表征内部解剖结构的第一深度图的部件；用于至少部分地基于计算机断层扫描(CT)图像数据来生成多个第二深度图的部件，该第二深度图中的每个第二深度图表示内部解剖结构的虚拟模型；用于识别多个第二深度图中的与第一深度图具有最高形状相似性的一个第二深度图的部件；以及用于至少部分基于多个第二深度图中的所识别的一个第二深度图来生成相机姿态的部件。
在各种实施方案中，医疗系统包括用于使用电磁(EM)数据、运动学数据、惯性测量数据或形状感测数据中的至少一者来形成相机姿态的附加部件。医疗系统还可包括用于实时计算相对于内部解剖结构的相机姿态的部件。例如，内部解剖结构可间歇地运动。
出于概括本公开的目的，已经描述了特定方面、优点和新颖特征。将理解，根据任何特定实施方案，可实现不一定所有此类优点。因此，可通过实现或优化本文教导的一个优点或一组优点而不一定实现本文可教导或提出的其他优点的方式执行所公开的实施方案。
附图说明
出于说明性目的在附图中描绘了各种实施方案，并且绝不应被解释为限制本发明的范围。另外，可组合不同的所公开的实施方案的各种特征以形成作为本公开的部分的附加实施方案。在整个附图中，可重复使用附图标记以指示参考元件之间的对应关系。
图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人系统的实施方案。
图2描绘了图1的机器人系统的另外方面。
图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方案。
图4示出了被布置用于血管规程的图1的机器人系统的实施方案。
图5示出了被布置用于内窥镜检查规程的基于台的机器人系统的实施方案。
图6示出了带有成对器械驱动器的示例性医疗器械。
图7-1和图7-2示出了示例性器械驱动器。
图8描绘了根据示例性实施方案的框图，该框图示出了估计图1至图7的机器人系统的一个或多个元件的位置(诸如图6的器械的位置)的定位系统。
图9示出了导航内腔网络的器械的示例。
图10示出了医疗器械的实施方案的远侧端部。
图11描绘了示出用于基于图像的定位的示例性方法的流程图。
图12示出了用于图像处理的示例性定位模块的一部分的框图。
图13示出了视频图像和CT图像的示例，每个图像都带有相关联的深度图。
图14示出了示例性图像转换过程的框图。
图15示出了示例性医疗装置系统的示例相机姿态估计过程的框图。
图16描绘了示出用于基于图像的定位的示例性方法的流程图。
具体实施方式
1.概述
尽管下文公开了特定优选实施方案和示例，但是本发明主题超出具体公开的实施方案延伸到其他替代实施方案和/或用途以及其修改和等同物。因此，本文可能出现的权利要求的范围不受下文描述的特定实施方案中的任一特定实施方案限制。例如，在本文公开的任何方法或过程中，方法或过程的动作或操作可以任何合适的序列执行，并且不一定限于任何特定公开的序列。继而可通过可能有助于理解特定实施方案的方式将各种操作描述为多个分立的操作；然而，描述的顺序不应被解释为暗示这些操作依赖于顺序。另外，本文描述的结构、系统和/或装置可体现为集成部件或单独部件。出于比较各种实施方案的目的，描述了这些实施方案的特定方面和优点。不一定通过任何特定实施方案实现所有此类方面或优点。因此，例如，可通过实现或优化本文教导的一个优点或一组优点而不一定实现本文也可能教导或提出的其他方面或优点的方式来执行各种实施方案。
在本文中使用特定标准的位置解剖术语来指代动物的解剖结构，并且该动物相对于优选实施方案即为人类。尽管在本文中使用特定空间相对术语，诸如“外部”、“内部”、“上部”、“下部”、“下方”、“上方”、“竖直”、“水平”、“顶部”、“底部”和类似术语来描述一个装置/元件或解剖结构与另一装置/元件或解剖结构的空间关系，但是应理解，在本文中是出于描述方便起见而使用这些术语，以描述元件/结构之间的位置关系，如附图中示出的。应当理解，空间相对术语旨在涵盖元件/结构在使用中或操作中的除了附图中所描绘的取向之外的不同取向。例如，描述为在另一元件/结构“上方”的元件/结构可表示相对于受试者患者或元件/结构的替代取向在此类其他元件/结构下方或旁边的位置，且反之亦然。
本公开的各方面可集成到机器人使能的医疗系统中，该机器人使能的医疗系统能够执行多种医疗规程，包括微创规程诸如腹腔镜检查，以及非侵入规程诸如内窥镜检查两者。在内窥镜检查规程中，系统可能能够执行支气管镜检查、输尿管镜检查、胃肠病学等。
除了执行广泛的规程之外，系统可以提供附加的益处，诸如增强的成像和指导以帮助医师。另外，该系统可以为医师提供从人体工程学位置执行规程的能力，而不需要笨拙的臂运动和位置。另外，该系统可以为医师提供以改进的易用性执行规程的能力，使得系统的器械中的一个或多个可由单个用户控制。
出于说明的目的，下文将结合附图描述各种实施方案。应当理解，所公开的概念的许多其他具体实施是可能的，并且利用所公开的具体实施可实现各种优点。标题包括在本文中以供参考并且有助于定位各个节段。这些标题并非旨在限制相对于其所述的概念的范围。此类概念可在整个说明书中具有适用性。
术语“窥镜”和“内窥镜”在本文中根据其广泛和普通含义来使用，并且可指具有图像生成、查看和/或捕获功能并且被配置为引入到身体的任何类型的器官、腔、内腔、腔室或空间中的任何类型的细长医疗器械。例如，本文提及窥镜或内窥镜可指支气管镜、输尿管镜、膀胱镜、肾镜、关节镜、结肠镜、腹腔镜、管道镜等。在一些情况下，窥镜/内窥镜可包括刚性或柔性管，并且尺寸可被设定成在外护套、导管、导引器或其他内腔类型装置内通过，或者可在没有此类装置的情况下使用。
机器人辅助式经皮规程可结合诸如支气管规程的各种医疗规程来实施，其中机器人工具可使医师能够执行内窥镜目标接近(例如，支气管镜)以及经皮接近或治疗。然而，在操作医师依赖于固定的经皮接近目标位置的情况下，在操作期间移动目标解剖特征可成问题。有利的是，本公开的各方面涉及医疗规程中的实时目标跟踪/指导，操作医师也可利用该实时目标跟踪/指导诸如通过响应于此类实时目标跟踪信息而自动调整内窥镜位置和/或对准来引导经皮接近器械(例如，针或其他刚性工具)和/或指导机器人仪表化。为了促进此类功能性，本公开的实施方案可有利地提供用于自动目标检测、跟踪和/或三维定位估计的机构，以在各种外科手术操作期间辅助医师。尽管本文出于方便起见而在支气管镜指导的规程的背景下描述本公开的各方面，但是应当理解，本公开的发明方面可在任何合适或期望类型的经皮和/或内窥镜医疗规程中实施，而无论是不是机器人。
A.机器人系统–推车
机器人使能的医疗系统可以按多种方式配置，这取决于特定规程。图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人使能系统10的实施方案。在支气管镜检查期间，系统10可包括推车11，该推车具有一个或多个机器人臂12，以将医疗器械诸如可操纵内窥镜52(其可以是用于支气管镜检查的规程专用支气管镜)递送至自然孔口进入点(即，在本示例中定位在台上的患者的口)，以递送诊断和/或治疗工具。如图所示，推车11可被定位在患者的上躯干附近，以便提供到进入点的通路。类似地，可致动机器人臂12以相对于进入点来定位支气管镜。当利用胃镜(用于胃肠道(GI)规程的专用内窥镜52)执行GI规程时，也可利用图1中的布置。图2更详细地描绘了推车的示例性实施方案。
继续参考图1，一旦推车11被正确定位，机器人臂12就可以机器人地、手动地或以它们的组合将可操纵内窥镜52插入患者中。如图所示，可操纵内窥镜52可包括至少两个伸缩部分，诸如内引导件部分和外护套部分，每个部分耦合到来自一组器械驱动器的单独的器械驱动器86，每个器械驱动器86耦合到单独的机器人臂12的远侧端部。有利于将引导件部分与护套部分同轴对准的器械驱动器86的这种线性布置产生“虚拟轨道”29，该“虚拟轨道”可以通过将一个或多个机器人臂12操纵到不同角度和/或位置而在空间中被重新定位。本文描述的虚拟轨道在附图中使用虚线描绘，并且因此虚线未描绘系统的任何物理结构。器械驱动器86沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜52从患者推进或回缩。虚拟轨道29的角度可基于临床应用或医师偏好来调节、平移和枢转。例如，在支气管镜检查中，如图所示的虚拟轨道29的角度和位置表示在向医师提供到内窥镜52的通路同时使由内窥镜52弯曲到患者的口中引起的摩擦最小化之间的折衷。
在插入之后，内窥镜52可使用来自机器人系统的精确命令向下导向患者的气管和肺，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，可操纵内窥镜52以从外护套部分伸缩地延伸内引导件部分，以获得增强的关节运动和更大的弯曲半径。使用单独的器械驱动器86也允许引导件部分和护套部分彼此独立地被驱动。
例如，可引导内窥镜52以将活检针递送到目标，诸如例如患者肺内的病变或结节。针可沿工作通道向下部署，该工作通道延伸内窥镜52的长度以获得待由病理学家分析的组织样本。根据病理结果，可沿内窥镜52的工作通道向下部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜52可通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在单独的规程中递送。在这些情况下，内窥镜52也可用于递送基准以“标记”目标结节的位置。在其他情况下，诊断和治疗处理可在相同的规程期间递送。
系统10也可包括可动塔30，该可动塔可经由支撑缆线连接到推车11以向推车11提供控制、电子、流体、光学、传感器和/或电力的支持。将此类功能放置在塔30中允许可由操作医师5和他/她的工作人员更容易地调节和/或重新定位的更小形状因子的推车11。另外，在推车/台与支撑塔30之间划分功能减少了手术室混乱并且有利于改善临床工作流程。虽然推车11可被定位成靠近患者7，但是塔30可在远程位置中被收起以在规程期间不挡道。
为了支持上述机器人系统，塔30可包括基于计算机的控制系统50的部件，该基于计算机的控制系统将计算机程序指令存储在例如非暂态计算机可读存储介质诸如永磁存储驱动器、固态驱动器等内。无论执行是发生在塔30中还是发生在推车11中，这些指令的执行都可控制整个系统或其子系统。例如，当由计算机系统的处理器执行时，指令可致使机器人系统10的部件致动相关托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂12的关节中的马达可将臂12定位成特定姿势。
塔30还可包括泵、流量计、阀控制器和/或流体通路，以便向可通过内窥镜52部署的系统提供受控的冲洗和抽吸能力。这些部件也可使用塔30的控制系统50来控制。在一些实施方案中，冲洗和抽吸能力可通过单独的缆线直接递送到内窥镜52。
塔30可包括电压和浪涌保护器，该电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更可移动的推车11。
塔30还可包括用于在整个机器人系统10中部署的传感器的支撑装备。例如，塔30可包括用于在整个机器人系统10中检测、接收和处理从光学传感器或相机接收的数据的光电装备。结合控制系统50，此类光电装备可用于生成实时图像，以用于在整个系统中部署的任何数量的控制台中显示(包括在塔30中显示)。类似地，塔30还可包括用于接收和处理从部署的电磁(EM)传感器接收的信号的电子子系统。塔30也可用于容纳和定位EM场发生器，以供医疗器械之中或之上的EM传感器进行检测。
除了系统的其余部分中可用的其他控制台(例如，安装在推车顶部上的控制台)之外，塔30还可包括控制台31。控制台31可包括用于医师操作员的用户界面和显示屏，诸如触摸屏。显示器可包括电子监视器(例如，LCD显示器、LED显示器或触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方案中，显示器中的一者或多者显示关于器械的位置信息，例如，如由定位系统90(图8)确定的位置信息。在一些实施方案中，显示器中的一者或多者示出患者的内腔网络130的术前模型。位置信息可叠加在术前模型上。显示器还可显示从相机(例如，成像装置315)或定位在内腔网络130内的器械上的另一感测装置接收的图像信息。在一些实施方案中，器械的模型或表示与术前模型一起显示以帮助指示外科或医疗规程的状态。
系统10中的控制台通常设计成提供机器人控制以及规程的术前信息和实时信息两者，诸如内窥镜52的导航和定位信息。操作员可提供用于控制机器人系统10的输入，例如，经由控制台31将器械导航或引导至感兴趣区域。当控制台31不是医师5可用的唯一控制台时，其可由第二操作员(诸如护士)使用以监测患者的健康或生命体征和系统的操作，以及提供规程专用数据，诸如导航和定位信息。控制台31可以各种布置或配置体现。在例示的示例中，控制台31包括控制台基部、显示器(例如，监视器)和一个或多个I/O控制器(例如，键盘、操纵杆等)。用户(例如，操作员或医师)可使用控制台31从便利的位置远程控制医疗机器人系统10(例如，参考图1至图16描述的系统)。
塔30可通过一个或多个缆线或连接件(未示出)耦合到推车11和内窥镜52。在一些实施方案中，可通过单根缆线向推车11提供来自塔30的支撑功能，从而简化手术室并消除手术室的混乱。在其他实施方案中，特定功能可耦合在单独的布线和连接中。例如，尽管可以通过单根缆线向推车提供电力，但也可以通过单独的缆线提供对控制、光学、流体和/或导航的支持。
图2提供了来自图1所示的基于推车的机器人使能的系统的推车的实施方案的详细图示。推车11通常包括细长支撑结构14(通常称为“柱”)、推车基部15以及在柱14的顶部处的控制台16。柱14可包括一个或多个托架，诸如用于支持一个或多个机器人臂12(图2中示出三个)的部署的托架17(另选地为“臂支撑件”)。托架17可包括可单独构造的臂安装件，该臂安装件沿垂直轴线旋转以调节机器人臂12的基部，以相对于患者更好地定位。托架17也包括托架接口19，该托架接口允许托架17沿着柱14竖直地平移。
托架接口19通过狭槽诸如狭槽20连接到柱14，这些狭槽被定位在柱14的相对侧上以引导托架17的竖直平移。狭槽20包含竖直平移接口以将托架相对于推车基部15定位并保持在各种竖直高度处。托架17的竖直平移允许推车11调节机器人臂12的到达范围以满足多种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独构造的臂安装件允许机器人臂12的机器人臂基部21以多种构型成角度。
在一些实施方案中，狭槽20可补充有狭槽盖，该狭槽盖与狭槽表面齐平且平行，以防止灰尘和流体在托架17竖直平移时进入柱14的内部腔以及竖直平移接口。狭槽盖可通过定位在狭槽20的竖直顶部和底部附近的成对弹簧卷轴进行部署。盖盘绕在卷轴内，直到被部署成，随着托架17竖直地上下平移，从盖的盘绕状态开始延伸和回缩。当托架17朝向卷轴平移时，卷轴的弹簧负载提供了将盖回缩到卷轴中的力，同时在托架17平移远离卷轴时也保持紧密密封。可使用例如托架接口19中的支架将盖连接到托架17，以确保在托架17平移时盖的适当延伸和回缩。
柱14可在内部包括机构诸如齿轮和马达，这些机构被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如，来自控制台16的输入)生成的控制信号来以机械化方式平移托架17。
机器人臂12通常可包括由一系列连杆23分开的机器人臂基部21和端部执行器(器械驱动器)75，该一系列连杆由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括可独立控制的马达。每个可独立控制的关节24表示机器人臂可用的独立自由度。臂12中的每个臂具有七个关节24，并且因此提供七个自由度。多个关节24导致多个自由度，从而允许“冗余”的自由度。冗余的自由度允许机器人臂12使用不同的连杆方位和关节角度将其相应的端部执行器75定位在空间中的特定方位、取向和轨迹处。这允许系统从空间中的期望点定位和导向医疗器械，同时允许医师使臂关节运动到远离患者的临床有利方位，以产生更大的接近，同时避免臂碰撞。
推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容纳较重的部件，诸如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在规程之前容易地围绕房间运动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在规程期间将推车11保持在适当位置。
定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户界面和显示屏(或两用装置，诸如例如触摸屏)两者向医师用户提供术前和术中数据两者。触摸屏上的潜在术前数据可包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，诸如呼吸、心率和/或脉搏。控制台16可被定位和倾斜成允许医师从柱14的与托架17相对的侧面接近控制台。从该位置，医师5可在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如图所示，控制台16也包括用于辅助操纵和稳定推车11的柄部27。
图3示出了被布置用于输尿管镜检查的机器人使能的系统10的实施方案。在输尿管镜规程中，推车11可被定位成将输尿管镜(被设计成横穿患者的尿道和输尿管的规程专用内窥镜52)递送到患者的下腹部区域。在输尿管镜检查中，可期望输尿管镜直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如图所示，推车11可在台的脚部处对准，以允许机器人臂12定位输尿管镜，以用于直接线性进入患者的尿道。机器人臂12可从台的脚部沿着虚拟轨道29将输尿管镜通过尿道直接插入患者的下腹部中。
在插入尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜可被导航到膀胱60、输尿管和/或肾70中以用于诊断和/或治疗应用。例如，可将输尿管镜引导至输尿管和肾70中以使用沿输尿管镜的工作通道向下部署的激光或超声碎石装置来打碎积聚的肾结石。在碎石完成之后，可使用沿输尿管镜向下部署的篮移除所得的结石碎片。
图4示出了类似地布置用于血管规程的机器人使能的系统的实施方案。在血管规程中，系统10可被构造成使得推车11可将医疗器械34(诸如可操纵导管)递送到患者的腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者的心脏的相对较少的迂回且曲折的路径两者，这简化了导航。如在输尿管镜规程中，推车11可被定位成朝向患者的腿部和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道29。在插入到动脉中之后，可通过平移器械驱动器86来导向和插入医疗器械34。另选地，推车11可被定位在患者的上腹部周围，以到达另选的血管进入点，诸如例如肩部和腕部附近的颈动脉和臂动脉。
B.机器人系统–台
机器人使能的医疗系统10的实施方案还可结合患者的台13。结合台13通过移除推车减少了手术室内的资本装备的量，这允许更多地接近患者。图5示出了被布置用于支气管镜检查规程的这样的机器人使能系统的实施方案。系统36包括用于将平台38(示出为“台”或“床”)支撑在地板上的支撑结构或柱37。与基于推车的系统非常相似，系统36的机器人臂39的端部执行器包括器械驱动器42，其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，诸如图5中的支气管镜。在实践中，用于提供荧光镜成像的C形臂可以通过将发射器和检测器放置在台38周围而定位在患者的上腹部区域上方。
C.器械驱动器和接口
图6示出了根据一个或多个实施方案的与机器人臂76相关联的示例性器械装置操纵器组件70的分解图。器械操纵器组件70包括与机器人臂76的远侧端部相关联的器械驱动器75(例如，端部执行器)。器械操纵器组件70还包括与导管相关联的器械柄部/基部72。器械柄部72可结合用于致动器械轴71的机电部件。在该示例中，器械被描述为导管，但器械可以是任何类型的医疗/外科器械。本文对朝上和朝下的表面、板、面、部件和/或其他特征部或结构的描述可参考图6所示的装置操纵器组件70的特定取向来理解。也就是说，尽管器械驱动器75一般来讲可能能够被配置为面向一系列方向和取向和/或沿一系列方向和取向进行取向，但为了方便起见，本文对此类部件的描述可在图6所示的器械驱动器75的大致竖直面向取向的背景下进行。
在一些实施方案中，器械装置操纵器组件70还包括适配器8，该适配器被配置为在器械驱动器75与器械柄部72之间提供驱动器接口。在一些实施方案中，适配器8和/或器械柄部72可以是能够从机器人臂76移除或拆卸的，并且可以没有任何机电部件，诸如马达。该二分法可能是由以下所驱动的：对医疗规程中使用的医疗器械进行灭菌的需要；以及/或者由于昂贵的资本装备的复杂机械组件和敏感电子器件而不能对昂贵的资本设备进行充分灭菌。因此，器械柄部72和/或适配器8可被设计成从器械驱动器75(并且因此从系统)拆卸、移除和/或互换，以便单独灭菌或处置。相比之下，器械驱动器75在一些情况下不需要被改变或灭菌，并且/或者可被覆盖以便保护。
适配器8(有时称为“无菌适配器8”)可包括用于将气动压力、电力、电信号、机械致动和/或光学信号从机器人臂76和/或器械驱动器75传递到器械柄部72的连接器。例如，适配器8可包括驱动输入组件和驱动输出组件，该驱动输入组件耦合到端部执行器75的驱动输出组件，该驱动输出组件被配置为耦合到器械柄部72的驱动输入组件。适配器8的驱动输入组件和驱动输出组件可耦合在一起以将控制/致动从器械驱动器75传递到器械柄部72。
器械柄部72可被配置为使用一个或多个直接驱动、谐波驱动、齿轮驱动、皮带和滑轮、磁驱动和/或其他操纵器部件或机构来操纵导管。机器人臂76可使所耦合的导管前移/插入治疗部位中或从治疗部位缩回。在一些实施方案中，可移除器械柄部72并替换成不同类型的器械柄部，诸如以操纵不同类型的器械。
机器人臂76的端部执行器75(例如，器械驱动器)可包括被配置为连接到适配器8、柄部72和/或导管的部件和/或与这些部件对准的各种部件/元件。例如，端部执行器75可包括用于控制医疗器械/使医疗器械进行关节运动的驱动输出组件(例如，驱动样条、齿轮或具有接合特征部的可旋转盘)、用于从医疗器械读取数据的读取器(例如，用于从医疗器械读取序列号和/或其他数据/信息的射频识别(RFID)读取器)、用于将导管和/或适配器8附接到器械驱动器75的一个或多个紧固件74、以及用于与手动附接到患者的器械(例如，进入护套)对准和/或用于限定装置操纵器组件70的前表面的标志。一个或多个紧固件74可被配置为耦合到适配器8的一个或多个附接机构303和/或柄部72的一个或多个附接机构。在一些实施方案中，端部执行器75和/或机器人臂76包括按钮以启用导纳控制模式，其中机器人臂76可手动移动。
在一些配置中，无菌盖布(诸如塑料片等)可设置在器械驱动器75与适配器8之间，以在机器人臂76与导管之间提供无菌屏障。例如，盖布可以允许机械扭矩从驱动器75转移到适配器8的方式耦合到适配器8。适配器8一般来讲可被配置为维持围绕其致动部件的密封，使得适配器8本身提供无菌屏障。使用耦合到适配器8和/或装置操纵器组件70的更多个其他部件的盖布可在机器人臂76和外科手术区域之间提供无菌屏障，从而允许在无菌的外科手术区域中使用与臂76相关联的机器人系统。驱动器75可被配置为耦合到各种类型的无菌适配器，这些无菌适配器可被装载到机器人臂76的驱动器75上和/或从机器人臂的驱动器移除。在臂76覆盖在塑料中的情况下，医师和/或其他技术人员可在规程期间与臂76和/或机器人推车的其他部件(例如，屏幕)交互。覆盖还可防止设备生物危害污染和/或最小化规程后的清理。
尽管图6所示的特定适配器8可被配置用于与导管柄部72(诸如抽吸导管柄部)耦合，但是用于与根据本公开的各方面的装置操纵器组件一起使用的适配器可被配置用于与任何类型的外科手术或医疗装置或器械(诸如内窥镜(例如，输尿管镜)、装篮装置、激光光纤驱动器等)耦合。
如图7-1至图7-2所示，机器人可控导管88还可包括驱动输入组件89，该驱动输入组件被配置为耦合到机器人臂的驱动输出组件和/或另一装置/接口。图7-1示出了带有顶部部分80的器械基部87，而图7-2示出了顶部部分80被移除以示出驱动输入组件89和其他特征部的器械基部87。驱动输出组件可与驱动输入组件89介接以控制导管的轴88的关节运动。例如，驱动输入组件89可耦合到一个或多个细长移动构件(在图7-2中示出)。一个或多个细长移动构件可以以能够滑动的方式设置在轴88的一部分内并附接到轴88的远侧端部部分。一个或多个细长移动构件可退出器械基部87中的轴88(例如，朝向近侧端部部分)并耦合到器械基部87内的驱动输入组件89。一个或多个细长移动构件可经由轴88的外壁中的一个或多个孔退出轴88。驱动输出组件可致动(例如，旋转)驱动输入组件89以拉动一个或多个细长移动构件(和/或释放该一个或多个细长移动构件的张力)，从而导致轴88的远侧端部部分的致动。尽管各种示例示出了花键接口耦合件，其中输出部和输入部的外径和内径上的一系列齿配合，但驱动输出组件和驱动输入组件89可经由多种齿、突起或其他配合接合特征部和布置中的任一者来耦合。
在该示例中，驱动输入组件89包括一个或多个滑轮/卷轴，该一个或多个滑轮/卷轴被配置为耦合到一个或多个细长移动构件。细长移动构件(例如，其可以被实施为线)退出器械基部87内的轴88并围绕卷轴卷绕以附接到卷轴和/或消除拉线中的松弛度。拉线可在适当位置处退出轴88以避免与器械基部87的其他内部部件接触。例如，轴88可包括轴88的外壁中距轴88的近侧端部特定距离处的一个或多个孔，使得一根或多根拉线可从轴88外壁中的一个或多个线内腔退出并附接到一个或多个滑轮而不干扰器械基部88的其他部件。一根或多根拉线可在相对于轴88的近侧端部的相同或不同距离处退出轴88。
在卷轴的顶端处，拉线可卷绕到通道/凹槽中，并且可使用止动件/扩大件/端部特征部在拉线的远侧端部处固定/锚定到腔。然而，也可使用其他类型的附接机构，诸如任何类型的紧固件、粘合剂、夹持/夹紧线、在端部处焊接金属球以形成锚定件、将端部激光熔化成可用作锚定件的球形等。例如，环可被放置在顶端上方以维持/固定拉线。由于拉线与卷轴的摩擦、拉线的张力、止动件、和/或环，拉线可耦合到卷轴。在卷轴的底端处，卷轴可包括耦合机构/耦合器，该耦合机构/耦合器被配置为与驱动输出组件介接。例如，耦合机构可包括齿轮或其他机构。尽管针对驱动输入组件89示出了各种示例性特征部，但驱动输入组件89可以多种其他方式实施。
为了控制轴88的关节运动，可旋转一个或多个卷轴以拉动附接到该一个或多个卷轴的一根或多根拉线(或释放该一个或多个拉线的张力)。例如，将卷轴沿逆时针方向旋转可导致拉线围绕卷轴更充分地卷绕，从而导致拉线的拉动运动。因此，卷轴可被旋转以控制拉线中的松弛度/张力的量。在一些示例中，多个卷轴同时旋转(例如，以配合方式)以便于轴88沿特定方向进行关节运动。卷轴可沿相同或不同方向旋转以便于特定移动。如上所述，诸如图6所示的驱动输出组件可控制一个或多个卷轴的旋转。在一些实施方案中，导管被配置为基于一个或多个细长移动构件的操纵而沿两个方向(诸如向上和向下或向左和向右)移动。在其他实施方案中，导管被配置为基于一个或多个细长移动构件的操纵而沿四个方向(诸如向上、向下、向左和向右)移动。在任何情况下，导管还可被配置为基于器械基部87的移动(例如，附接到器械基部87的机器人臂的移动)而诸如沿着虚拟轨道插入/缩回。
参考图6，医疗器械可与器械驱动器75成对。与被设计成与机器人系统一起使用的其他器械类似，医疗器械可包括细长轴71(或细长主体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械柄部”的器械基部72通常可以包括可旋转驱动输入部73(例如，插座、滑轮或卷轴)，该驱动输入部被设计成与延伸通过机器人臂76的远侧端部处的器械驱动器75上的驱动接口8的驱动输出部配合。当物理连接、闩锁和/或耦合时，器械基部72的配合的驱动输入部73可以与器械驱动器75中的驱动输出部共享旋转轴线，以允许扭矩从驱动输出部传递到驱动输入部73。在一些实施方案中，驱动输出部可包括花键，这些花键被设计成与驱动输入部73上的插孔配合。
细长轴71被设计成通过解剖开口或内腔(例如，如在内窥镜检查中)或通过微创切口(例如，如在腹腔镜检查中)来递送。细长轴71可以是柔性的(例如，具有类似于内窥镜52的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计用于腹腔镜检查时，刚性细长轴的远侧端部可以连接到端部执行器，该端部执行器包括由具有旋转轴线的连接叉形成的关节腕和外科工具(例如，抓握器或剪刀)，当驱动输入部响应于从器械驱动器75的驱动输出部接收到的扭矩而旋转时，该外科工具可以基于来自腱的力来致动。当设计用于内窥镜检查时，柔性细长轴的远侧端部可包括可操纵或可控制的弯曲节段，该弯曲节段以基于从器械驱动器75的驱动输出部接收到的扭矩而进行关节运动和弯曲。
使用轴71内的腱沿着细长轴71向下传递来自器械驱动器75的扭矩。这些单独的腱(诸如牵拉线)可单独地锚定到器械柄部72内的各个驱动输入部73。从柄部72，沿细长轴71内的一个或多个牵拉腔向下导向腱并且将其锚定在细长轴71的远侧部分处。在腹腔镜检查中，这些腱可以耦合到远侧安装的端部执行器，诸如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入部73上的扭矩将张力传递到腱，从而引起端部执行器以某种方式致动。在腹腔镜检查中，腱可以致使关节围绕轴线旋转，从而致使端部执行器沿一个方向或另一个方向移动。另选地，腱可连接到细长轴71的远侧端部处的抓握器的一个或多个钳口，其中来自腱的张力使抓握器闭合。
在内窥镜检查中，腱可经由粘合剂、控制环或其他机械固定件耦合到沿着细长轴71定位(例如，在远侧端部处)的弯曲或关节运动节段。当固定地附接到弯曲节段的远侧端部时，施加在驱动输入部73上的扭矩将沿腱向下传输，从而使较软的弯曲节段(有时称为可关节运动节段或区域)弯曲或进行关节运动。沿着不弯曲节段，可以有利的是，使单独的牵拉腔螺旋或盘旋，该牵拉腔沿着内窥镜轴的壁(或在内部)导向单独的腱，以平衡由牵拉线中的张力引起的径向力。为了特定目的，可以改变或设计螺旋的角度和/或其间的间隔，其中更紧的螺旋在负载力下呈现较小的轴压缩，而较低的螺旋量在负载力下引起更大的轴压缩，但也呈现限制弯曲。在另一种情况下，可平行于细长轴71的纵向轴线来引导牵拉腔以允许在期望的弯曲或可关节运动节段中进行受控式关节运动。
在内窥镜检查中，细长轴71容纳多个部件以辅助机器人规程。轴可以在轴71的远侧端部处包括用于部署外科工具、对手术区域进行冲洗和/或抽吸的工作通道。轴71也可容纳线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号，该光学组件可包括光学相机。轴71也可容纳光纤，以将来自位于近侧的光源(诸如发光二极管)的光载送到轴的远侧端部。
在器械70的远侧端部处，远侧末端也可包括用于将供诊断和/或治疗、冲洗和抽吸的工具递送到手术部位的工作通道的开口。远侧末端还可以包括用于相机(诸如纤维镜或数码相机)的端口，以捕获内部解剖空间的图像。相关地，远侧末端还可以包括用于光源的端口，该光源用于在使用相机时照亮解剖空间。
在一个示例中，驱动轴的轴线以及因此驱动输入部轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。在保持驱动输入部73静止的同时沿着其轴线滚动细长轴71会引起当腱从驱动输入部73延伸出去并且进入到细长轴71内的牵拉腔时，腱的不期望的缠结。所得到的这样的腱的缠结可能破坏旨在在内窥镜规程期间预测柔性细长轴的移动的任何控制方法。
在器械驱动器和器械的另选设计中，驱动单元的轴线平行于器械的细长轴的轴线。圆形器械驱动器可包括四个驱动单元，其驱动输出部在机器人臂的端部处平行对准。驱动单元和它们各自的驱动输出部容纳在由组件内的驱动单元中的一个驱动单元驱动的器械驱动器的旋转组件中。响应于由旋转驱动单元提供的扭矩，旋转组件沿着圆形轴承旋转，该圆形轴承将旋转组件连接到器械驱动器的非旋转部分。可通过电接触将电力和控制信号从器械驱动器的非旋转部分传送至旋转组件，该电接触可通过电刷滑环连接(未示出)的旋转来保持。在其他实施方案中，旋转组件可响应于集成到非旋转部分中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构允许器械驱动器使驱动单元及其相应的驱动输出部作为单个单元围绕器械驱动器轴线旋转。
与先前所公开的实施方案类似，器械可包括细长轴部分88和器械基部87，该器械基部包括被配置成接收器械驱动器中的驱动输出部的多个驱动输入部89(诸如插座、滑轮和卷轴)。与先前公开的实施方案不同，器械轴88从器械基部87的中心延伸，该器械基部的轴线基本平行于驱动输入部89的轴线，而不是如图7-2的设计中那样正交。
当耦合到器械驱动器的旋转组件时，包括器械基部87和器械轴88的医疗器械86与旋转组件组合地围绕器械驱动器轴线旋转。由于器械轴88被定位在器械基部87的中心处，因此当附接时器械轴88与器械驱动器轴线85同轴。因此，旋转组件的旋转使器械轴88围绕其自身的纵向轴线旋转。此外，在器械基部87与器械轴88一起旋转时，连接到器械基部87中的驱动输入部89的任何腱在旋转期间都不缠结。因此，驱动输出部、驱动输入部89和器械轴88的轴线的平行允许轴在不会使任何控制腱缠结的情况下旋转。
E.导航和控制
传统的内窥镜检查可涉及使用荧光透视(例如，可通过如在图5处示出的C形臂递送的)和其他形式的基于辐射的成像模态，以向操作医师提供腔内指导。相比之下，本公开所设想的机器人系统可以提供基于非辐射的导航和定位部件，以减少医师暴露于辐射并且减少手术室内的装备的量。如本文所用，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。诸如术前标测、实时视频成像、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下，可以单独地或组合地使用术前标测、实时视频成像、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。
图8是示出了根据示例性实施方案的估计机器人系统的一个或多个元件的位置(诸如医疗器械(诸如例如内窥镜52)的位置)的定位系统90的框图。定位系统90可以是一组被配置成执行一个或多个指令的一个或多个计算机装置。计算机装置可以由上文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例而非限制，计算机装置可位于图1所示的塔30和推车11、图5所示的床等中。
如在图8处所示，定位系统90可包括定位模块95，该定位模块处理输入数据91-94以生成用于医疗器械的远侧末端的位置数据96。位置数据96可以是表示医疗器械的远侧端部相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者解剖结构或已知对象(诸如术前CT扫描、EM场发生器等)的参考系(参见下文对于EM场发生器的讨论)。
现在更详细地描述各种输入数据91-94。术前标测可以通过使用低剂量CT扫描的集合来完成。术前CT扫描生成二维图像，每个二维图像表示患者的内部解剖结构的剖面图的“切片”。当总体上分析时，可以生成用于患者的解剖结构(诸如患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以形成患者的解剖结构的三维体积，其被称为术前模型数据91。中心线几何形状的使用在美国专利申请序列14/523,760号中有所讨论，其内容全文并入本文中。网络拓扑模型也可以从CT图像中导出，并且特别适合于支气管镜检查。
在一些实施方案中，器械可配备有相机以提供视频或视觉数据(或图像数据)92。定位模块95可处理视觉数据92以实现一个或多个基于视觉的(或基于图像的)位置跟踪模块或特征部。例如，术前模型数据91可与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜52或推进通过内窥镜52的工作通道的器械)的基于计算机视觉的跟踪。例如，使用术前模型数据91，机器人系统可基于内窥镜52的行进预期路径根据模型生成预期内窥镜图像的库，每个图像连接到模型内的位置。在操作中，机器人系统10可参考该库，以便将在相机(例如，在内窥镜52的远侧端部处的相机)处捕获的实时图像与图像库中的那些图像进行比较，以辅助定位。
其他基于计算机视觉的跟踪技术使用特征跟踪来确定相机的运动，并且因此确定内窥镜52的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖内腔，以及跟踪相机的相对旋转和/或平移运动。拓扑图的使用可进一步增强基于视觉的方法或技术。
光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断相机运动。通过对经多次迭代的多个帧进行比较，可确定相机(以及因此内窥镜52)的移动和位置。
定位模块95可使用实时EM跟踪来生成内窥镜52在全局坐标系中的实时位置，该全局坐标系可被配准到由术前模型数据91表示的患者的解剖结构。在EM跟踪中，包括嵌入在医疗器械(例如，内窥镜工具)中的一个或多个位置和取向中的一个或多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或多个静态EM场发生器产生的EM场的变化。由EM传感器检测的位置信息被存储为EM数据93。EM场发生器(或发射器)可以靠近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中“配准”到患者解剖结构(例如，手术前模型)，以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦配准，医疗器械的一个或多个位置(例如，内窥镜52的远侧末端)中的嵌入式EM跟踪器可提供医疗器械通过患者的解剖结构的进展的实时指示。
机器人命令和运动学数据94也可以由定位模块95使用以提供用于机器人系统的方位数据96。可以在术前校准期间确定从关节运动命令得到的装置俯仰和偏航。在手术中，这些校准测量可以与已知的插入深度信息结合使用，以估计器械的位置。另选地，这些计算可以结合EM、视觉和/或拓扑建模进行分析，以估计医疗器械在网络内的位置。
如图8所示，定位模块95可使用多项其他输入数据。例如，尽管图15中未示出，但利用了形状感测纤维的器械可提供形状数据，定位模块95可使用该形状数据来确定器械的位置和形状。另外地或另选地，可提供超声成像系统，或者一个或多个陀螺仪和/或加速计可被设置在器械处或器械中并且提供惯性测量数据，定位模块95还可结合EM、视觉、拓扑建模和/或任何其他数据源使用该惯性测量数据中的任一者来估计医疗器械在网络内的位置。
定位模块95可以组合地使用输入数据91-94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91-94中的每个输入数据确定的位置分配置信度权重。因此，在EM数据可能不可靠(如可能存在EM干扰的情况)的情况下，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能更重地依赖于视觉数据92和/或机器人命令和运动学数据94。
如上文讨论的，本文讨论的机器人系统10可被设计成结合以上技术中的一种或多种的组合。位于塔30、床和/或推车11中的机器人系统的基于计算机的控制系统50可将计算机程序指令存储在例如非暂态计算机可读存储介质(诸如永久性磁存储驱动器、固态驱动器等)内，该计算机程序指令在执行时致使控制系统50接收并且分析传感器数据和用户命令，生成整个机器人系统10的控制信号并且显示导航和定位数据，诸如器械在全局坐标系内的位置、解剖图等。
控制系统50可被配置为提供各种功能性以辅助执行医疗规程。在一些实施方案中，控制系统50可耦合到机器人系统10并且与机器人系统10协同操作以对患者执行医疗规程。例如，控制系统50可经由无线或有线连接与机器人系统10通信(例如，以控制机器人系统10和/或窥镜52、接收由窥镜52捕获的图像等)，经由一个或多个流体通道向机器人系统10提供流体，经由一个或多个电连接向机器人系统10提供电力，经由一根或多根光纤或其他部件向机器人系统10提供光学。此外，在一些实施方案中，控制系统50可与针和/或内窥镜52通信以从其接收位置数据94。此外，在一些实施方案中，控制系统50可与台通信以将台定位成特定取向或以其他方式控制台。此外，在一些实施方案中，控制系统50可与EM场发生器(未示出)通信以控制患者周围的区域中的EM场的生成。
控制系统50可包括各种I/O装置，该I/O装置被配置为辅助医师或其他人执行医疗规程。例如，控制系统50可包括某些输入/输出(I/O)部件，该输入/输出部件被配置为允许用户输入来控制窥镜52，诸如以在患者体内导航窥镜52。在一些实施方案中，例如，医师可向控制系统50和/或机器人系统10提供输入，其中响应于此类输入，可将控制信号发送到机器人系统10以操纵窥镜52。为了促进控制系统50的功能，该控制系统可包括各种部件(有时称为“子系统”)。例如，控制系统50可包括控制电子器件/电路60，以及一个或多个电源、气动装置、光源、致动器、数据存储装置和/或通信接口。在一些实施方案中，控制系统50包括控制电路60，该控制电路包括基于计算机的控制系统，该基于计算机的控制系统被配置为存储在被执行时致使实现各种操作的可执行指令。在一些实施方案中，控制系统50是可移动的，而在其他实施方案中，控制系统50是基本上静止的系统。尽管将各种功能性和部件讨论为由控制系统50实施，但是这种功能性和/或部件中的任一者可被集成到诸如机器人系统10的其他系统和/或装置中和/或由该其他系统和/或装置执行。
机器人系统10的各个部件可通过网络彼此通信地耦合，该网络可包括无线和/或有线网络。示例性网络包括一个或多个个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、互联网区域网络(IAN)、蜂窝网络、互联网等。此外，在一些实施方案中，机器人系统10的各种部件可经由一根或多根支撑电缆、管等进行连接以用于数据通信、流体/气体交换、电力交换等。
机器人系统10可包括特定控制电路60，该特定控制电路被配置为执行本文描述的特定功能性。控制电路60可以是机器人系统10、控制系统50或以上两者的一部分。也就是说，本文提及控制电路60可指体现在机器人系统10、控制系统50或诸如在图1中示出的机器人医疗系统10的医疗系统的任何其他部件中的电路。术语“控制电路系统”在本文中根据其广泛和普通含义而使用，并且可指以下各项的任何集合：处理器、处理电路系统、处理模块/单元、芯片、管芯(例如，包括一个或多个有源和/或无源装置和/或连接性电路系统的半导体管芯)、微处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机(例如，硬件状态机)、逻辑电路系统、模拟电路系统、数字电路系统和/或基于电路系统和/或操作指令的硬编码来操纵信号的任何装置。本文提及的控制电路60还可包括一个或多个电路衬底(例如，印刷电路板)、导电迹线和通孔和/或安装垫、连接器和/或部件。本文提及的控制电路60还可包括一个或多个存储装置，该一个或多个存储装置可体现在单个存储器装置、多个存储器装置和/或装置的嵌入式电路中。此类数据存储装置可包括只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、缓存、数据存储寄存器和/或存储数字信息的任何装置。应当注意，在控制电路60包括硬件和/或软件状态机、模拟电路、数字电路和/或逻辑电路的实施方案中，存储任何相关联的操作指令的数据存储装置/寄存器可嵌入在包括该状态机、该模拟电路、该数字电路和/或该逻辑电路的电路内或在该电路外部。
控制电路60可包括计算机可读介质，该计算机可读介质存储对应于在本图中的一个或多个图中绘示和/或在本文描述的步骤和/或功能中的至少一些步骤和/或功能的硬编码和/或操作指令。在一些情况下，此类计算机可读介质可包括在制品中。控制电路系统60可完全在本地维护/设置或者可至少部分地远程定位(例如，经由局域网和/或广域网间接地通信地耦合)。
在一些实施方案中，控制电路60的至少一部分与机器人系统10集成或与通信地耦合到机器人系统10的另一系统集成。在一些实施方案中，控制电路60的至少一部分与控制系统50集成。因此，本文对功能控制电路的任何描述可理解为体现于机器人系统10、控制系统50或以上两者中，和/或至少部分地体现于一个或多个其他本地或远程系统/装置中。
控制电路60可使用患者的三维(3D)地图和患者的至少一部分的预先确定的计算机模型来控制医疗器械(例如，内窥镜52)。例如，控制电路60可被配置为向机器人系统10的机器人臂12、76提供控制信号以操纵相关器械，以在目标位置、位置和/或取向/对准下定位该相关器械。
在一些实施方案中，用户可在不使用用户控件的情况下手动地操纵机器人系统10的机器人臂12、76。例如，在外科手术室中的设置期间，用户可移动机器人臂12、76和/或任何其他医疗器械以提供对患者的期望进入。机器人系统10可依赖来自用户的力反馈和惯性控制来确定机器人臂12、76和相关联的器械的适当配置。
控制系统50的显示装置可与用户控件集成，例如，作为带有用于用户输入的触摸屏的平板装置。显示装置可被配置为使用集成的显示触摸控件向机器人系统10提供数据和输入命令。显示装置可被配置为显示图形用户界面，该图形用户界面基于由一个或多个位置传感器提供的信息而示出关于在患者体内和/或系统内操作的各种器械的位置和取向的信息。在一些实施方案中，与医疗器械(例如，内窥镜52)相关联的位置传感器可被配置为生成指示位置的信号并且在耦合到该传感器的电线和/或传输器上传输该信号。此类连接性部件可被配置为将位置信息传输到控制台基部，以便由控制电路60对该位置信息进行处理并且经由显示装置呈现。
2.内腔网络的导航
可采用上文讨论的各种机器人系统来执行各种医疗规程，诸如内窥镜和腹腔镜规程。在某些规程期间，医疗器械诸如机器人控制的医疗器械被插入患者体内。在患者体内，器械可定位在患者的内腔网络内。如本文所用，术语内腔网络是指身体内的任何腔体结构，无论是包括多个内腔或分支(例如，多个分支内腔，如在肺或血管中)还是单个内腔或分支(例如，在胃肠道内)。在规程期间，可将器械移动(例如，导航、引导、驱动等)穿过内腔网络至一个或多个感兴趣区域。可由上文讨论的导航或定位系统90来辅助器械移动穿过系统，该导航或定位系统可向控制机器人系统的医师提供关于器械的位置信息。
图9示出了患者的示例性内腔网络130。在例示的实施方案中，内腔网络130是患者的肺的气道150(即，内腔、分支)的支气管网络。尽管例示的内腔网络130是患者的肺内的气道150的支气管网络，但本公开不仅限于例示的示例。本文描述的机器人系统和方法可用于导航任何类型的内腔网络，诸如支气管网络、肾网络、心血管网络(例如，动脉和静脉)、胃肠道、泌尿道等。
如图所示，内腔网络130包括以分支结构布置的多个内腔150。一般来讲，内腔网络130包括三维结构。为了便于说明，图9将内腔网络130表示为二维结构。这不应被理解为以任何方式将本公开限制为二维内腔网络。
图9还示出了定位在内腔网络130内的医疗器械的示例。医疗器械被朝向感兴趣区域(例如，结节155)导航通过内腔网络130，以进行诊断和/或治疗。在例示的示例中，结节155位于气道150的外围处，尽管感兴趣区域可根据患者和规程定位在内腔网络130内的任何位置。
在例示的示例中，医疗器械包括内窥镜52。内窥镜52可包括护套115和引导件145。在一些实施方案中，护套115和引导件145可以伸缩方式布置。例如，引导件145可滑动地定位在护套115的工作通道内。护套115可具有第一直径，并且可能不能穿过围绕结节155的较小直径气道150定位其远侧端部。因此，引导件145可被配置为从护套115的工作通道延伸通往结节155的剩余距离。引导件145可具有内腔，器械例如活检针、细胞检查用刷和/或组织取样钳可穿过该内腔传递到结节155的目标组织部位。在此类具体实施中，护套115的远侧端部和引导件145的远侧端部都可设置有光学传感器或相机(例如，图10中的成像装置315)、EM器械传感器(例如，图10中的EM器械传感器305)和/或用于跟踪其在气道150内的位置的其他传感器。护套115和引导件145的此伸缩式布置可允许内窥镜52的较薄设计，并且可改善内窥镜52的弯曲半径，同时经由护套115提供结构支撑。
在其他实施方案中，内窥镜52的总直径可足够小以到达外围而无需伸缩式布置，或者可足够小以接近外围(例如，在2.5cm至3cm内)以通过不可操控导管部署医疗器械。通过内窥镜52部署的医疗器械可配备有光学传感器或相机(例如，图10中的成像装置315)、EM器械传感器(例如图10中的EM器械传感器305)，并且下文描述的基于图像的分支检测和标测导航技术可应用于此类医疗器械。
如图所示，为了到达结节155，必须通过内腔网络的内腔或分支150导航或引导器械(例如，内窥镜52)。操作员(诸如医师)可控制机器人系统以将器械导航至结节155。操作员可提供用于控制机器人系统10的输入。
图10示出了示例性医疗器械300的远侧端部的细部图。图10的医疗器械300可表示图9的内窥镜52或可操控导管145。医疗器械300可表示在整个本公开中描述的任何医疗器械，诸如图1的内窥镜52、图3的输尿管镜32、腹腔镜等。在图10中，器械300的远侧端部包括成像装置315、照明源310和EM传感器线圈305的形成EM器械传感器的端部。远侧端部还包括通往器械300的工作通道320的开口，通过该开口，外科器械诸如活检针、细胞学刷、镊子等可沿着器械轴插入，从而允许接近器械末端附近的区域。
成像装置315、EM线圈305和/或位于器械300的远侧端部上的其他部件可与位置跟踪系统一起使用，以在器械300定位在内腔网络130内时检测该器械的远侧端部的位置和取向。在一些实施方案中，线圈305可成角度以沿着不同轴线提供对EM场的灵敏度，从而赋予所公开的导航系统测量全部6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方案中，仅单个线圈305可设置在远侧端部上或内，其中其轴线沿着器械轴取向。由于这种系统的旋转对称性，它可能对围绕其轴线的滚动不灵敏，因此在此类具体实施中可仅检测到五个自由度。另选地或除此之外，可采用其他类型的位置传感器。
照明源310提供光以照明解剖空间的一部分。例如，由照明源310提供的光可与成像装置315或其他相机或视频捕获装置组合使用。照明源可各自为被配置为发射选定波长或波长范围的光的一个或多个发光装置。波长可以是任何合适的波长，例如可见光谱光、红外光、x射线(例如，用于荧光镜透视检查)，仅举几个示例。在一些实施方案中，照明源310可包括位于器械300的远侧端部处的发光二极管(LED)。在一些实施方案中，照明源310可包括延伸穿过内窥镜52的长度的一条或多条光纤，以将光从远程光源(例如x射线发生器)传输穿过远侧端部。在远侧端部包括多个照明源310的情况下，这些照明源可各自被配置成发射彼此相同或不同波长的光。
成像装置315可包括被配置成将表示所接收的光的能量转换成电信号的任何光敏衬底或结构，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可括一条或多条光纤，例如光纤束，光纤被配置为将表示来自内窥镜52的远侧端部的图像的光传输到内窥镜52的近侧端部附近的目镜和/或图像传感器。成像装置315可另外包括一个或多个透镜和/或波长通过或截止滤波器，如各种光学设计所要求。从照明源310发射的光允许成像装置315捕获患者的内腔网络的内部的静止或视频图像数据92。随后，这些图像可作为单个帧或一系列连续帧(例如，视频)传输到计算机系统，诸如控制系统50。如上所述并且如下文将更详细地描述，导航或定位系统90可利用成像装置315所捕获的图像(例如，图8的视频数据92)，以确定或估计器械300在内腔网络130内的位置(例如，器械300的远侧末端的位置)。
3.基于图像的定位
本公开的实施方案涉及用于基于图像的定位的系统和技术。如本文所用，基于图像的定位(其还包括基于视觉的相机姿态估计)可指对内腔网络130的一个或多个分支150的内部解剖特征进行建模。例如，基于图像的定位系统90可至少部分地基于使用定位在内腔网络130内的器械300上的成像装置315捕获的内腔网络130的内部的图像数据92来生成内腔网络130的内部解剖结构的模型。基于图像的定位系统90可分析模型以估计器械300在内腔网络130内的位置。例如，基于图像的定位系统90可被配置为识别使用来自第二成像技术的数据(例如，CT扫描数据91)生成的多个第二模型中的哪一者与使用来自第一成像技术的数据(例如，在基于视觉的相机姿态估计的情况下，视频数据92)生成的第一模型具有最高相似性。这些系统和技术可用于至少部分地基于所识别的第二模型来确定或估计器械300在内腔网络130内的位置和取向。在某些具体实施中，这些系统和技术可与各种其他导航和定位模式(例如，如上文参考图8所述)结合使用。
A.基于图像的定位的概述
在内腔网络130内部导航的能力可以是本文描述的机器人控制的外科系统10的特征。如本文所用，定位可指定位或确定器械300在内部解剖结构诸如内腔网络130内的位置。所确定的位置可用于帮助将器械300引导至内腔网络130内的一个或多个特定感兴趣区域。在一些实施方案中，机器人控制的外科系统10利用一个或多个独立感测模态为器械300提供术中导航。如图8所示，独立感测模态可提供独立数据(例如，CT图像数据91、视觉数据92、EM数据93、机器人命令和运动学数据94等等)。这些独立感测模态可向定位模块95提供源数据，该定位模块被配置为提供位置和取向的估计。估计可用于生成导航输出96，例如，该导航输出可由系统10使用或显示给用户。在一个示例中，基于视觉数据92的基于图像的定位(其可包括参考术前CT图像数据91)可至少部分地基于由成像装置315捕获的一个或多个图像来提供对器械300的成像装置315的内腔网络130的内腔或分支150内的位置的估计。在一些实施方案中，由基于图像的定位提供的估计可单独使用或与其他位置估计一起使用以确定可由系统10使用或显示给用户的最终位置估计。
在一些实施方案中，可存在向定位模块95提供视觉数据92以输出位置估计(至少部分地基于视觉数据92)的多个成像数据源。本公开涉及基于图像的定位模块95，该基于图像的定位模块基于视觉数据92(例如，基于来自多个图像的数据)生成内部解剖模型并且通过将模型映射到内腔网络130的解剖分支150内的特定位置来估计器械300的当前位置。如下文将更详细描述的，在一些实施方案中，定位模块95可使用由导航或由定位系统90确定的当前或先前位置估计(其可基于一个或多个感测模态)来初始化系统90以用于后续估计。换句话说，本文描述的基于图像的定位系统和方法可被配置为向导航或定位模块95提供器械300在内腔网络130中所处位置的位置估计。在一些实施方案中，本文描述的基于图像的定位系统和方法可独立于任何其他模态。在一些实施方案中，本文描述的基于图像的定位系统和方法可基于使用多个感测模态确定的先前位置估计来实施估计。
B.基于图像的数据捕获
图11示出了生成表示内部解剖结构内(诸如内腔网络130内)的空间位置的相机姿态的示例性方法400。可在相对于术前CT图像数据91的坐标中定义相机姿态。换句话讲，示出了用于基于图像的定位的示例性方法400。方法400可在如本文描述的各种机器人控制的外科系统10中实施。方法400可包括如本文参考图12描述的多个步骤或框。
在框402处，方法400包括至少部分地基于表示内部解剖结构的图像数据来确定表征内部解剖结构的第一深度图435。如上所述，在医疗规程期间，器械可定位在内腔网络130内(参见图9)。如在图10处所示，器械可包括定位在该器械上的成像装置315(诸如相机)。成像装置315可捕获内腔网络130的内部的图像。例如，在特定时刻，成像装置315可捕获内腔网络130的特定分支150的内部的图像，器械当前定位在该内腔网络中。所捕获的图像产生表示内腔网络130的内部解剖结构的所捕获的图像数据92。在各种实施方案中，成像装置315包括摄像机，并且所捕获的图像数据92包括视频数据。所捕获的图像数据92由如上所述的定位模块95处理，并且将在下面进一步描述。例如，第一深度图435由定位模块95使用所捕获的图像数据92来生成。在一些情况下，卷积神经网络(CNN)可用于由定位模块95生成第一深度图435。
在框404处，方法400包括至少部分地基于图像数据(诸如计算机断层扫描(CT)图像数据91)来生成多个第二深度图455，其中第二深度图455中的每个第二深度图表示内部解剖结构的虚拟模型。如上所述，可收集内腔网络130的多个术前CT图像91以形成内腔网络130的内部解剖结构的虚拟模型。术前CT图像91由如上所述的定位模块95处理，并且将在下面进一步描述。例如，多个第二深度图455由定位模块95使用术前CT图像数据92来生成。在一些实施方案中，第二深度图455的生成是迭代过程。例如，迭代过程可包括使用先前迭代的多个第二深度图中的一个第二深度图来初始化生成用于当前迭代的多个第二深度图455。
在框406处，方法400包括识别多个第二深度图455中的与第一深度图435具有最高形状相似性的一个第二深度。如下文进一步描述的，针对形状相似性，对照第一深度图435分析多个第二深度图455中的每个第二深度图。将与第一深度图435具有最高形状相似性的第二深度图455识别为“候选深度图”465以用于生成输出(相机姿态估计475)。
在框408处，方法400包括至少部分地基于多个第二深度图455中的所识别的一个第二深度图来生成相机姿态475。换句话讲，所估计的相机姿态475至少部分地基于候选深度图465来确定，并且可输出到用户或经处理以生成实时导航/定位输出数据96，该实时导航/定位输出数据可经进一步处理以生成用于机器人臂12、76或机器人系统10的其他部件的控制信号，在显示器上以视觉形式输出到操作员，或以其他方式用于引导机器人系统10、另一外围系统或操作员。为了方便起见，可在相对于术前CT图像数据91的坐标中定义所估计的相机姿态475。在一些具体实施中，可针对多个第二深度图中的第二深度图455中的每个第二深度图生成虚拟相机姿态475。
在一些实施方案中，如下文进一步论述，通过求解内部解剖结构的虚拟模型的3D点云与从第一深度图435反向投影的点云之间的变换矩阵来估计相机姿态475参数。可采用卷积神经网络(CNN)来求解变换矩阵并且估计相机姿态475参数。可识别多个第二深度图455中的一个第二深度图中的期望位置以用于与第一深度图435配准，该期望位置对应于一个或多个视频图像92中的位置。
C.基于图像的数据分析
图12示出了定位模块95的一些数据处理的示例性高级概述框图。参考图12，定位模块95使用来自分离源的不同数据生成内腔网络130的内部解剖结构的分离模型。例如，基于来自设置在定位于内腔网络130内的器械的远侧端部的成像装置315的图像数据92来生成内腔网络130(或感兴趣的内腔网络130的分支150)的至少一个第一模型435。图像数据92可以是反映器械在内腔网络130内的实时位置的实时图像数据。由图像数据92形成的模型435也可以是在器械位置处的内腔网络130的分支150的实时模型。该模型435可被称为“深度图”，因为该模型有效地包括感兴趣的内腔网络130的部分的3D标测图，给出了分支150的3D意义上的相对空间信息(例如带有x、y和z维度或坐标)。例如，第一深度图435由定位模块95生成并且包括可存储在数据存储装置415中的位置数据96。
另外，至少部分地基于来自CT扫描装置335的术前CT图像的图像数据91来生成内腔网络130(或感兴趣的内腔网络130的一部分)的多个第二模型455(第二深度图455)，如先前所讨论的。可从所收集的内腔网络130的多个CT图像生成多个模型455。由于CT图像数据91是术前的，因此CT图像数据91可提供用于坐标系的参考或用于导航和定位的其他参考。此外，如下文讨论的，从成像装置315收集到的图像数据92可参考CT图像数据91。例如，第二深度图455由定位模块95生成并且包括也可存储在数据存储装置415中的位置数据96。
通过经由深度图435和455对内腔网络130的至少一部分进行建模，方法400可提供内腔网络130的部分的虚拟渲染或虚拟模型，通过虚拟渲染或虚拟模型可确定器械的位置的估计。例如，使用方法400，系统或器械可识别器械“看到”的特征，并且使用该信息来估计器械在内腔网络130内的位置。在一些实施方案中，器械包括内窥镜52。在一些实施方案中，内腔网络130包括肺的支气管网络、胃肠道、或肾的肾网络，尽管其他内腔网络的导航也是可能的。
参考图13，图像数据92(例如，视频数据92)的示例被示出为由诸如内腔网络130(例如，气道)内的摄像机的成像装置315捕获。视频图像数据92示出了带有分支150以及轮廓、纹理、特征、湿气小滴等的内腔网络130的示例性部分。从视频图像数据92提取对应深度图435。使用深度图435而不是视频图像92的优点在于，深度图435提供比对应视频图像92更好的概括性。例如，相对于气道，支气管内表面的外观通常因患者而异。还可能在视频图像92中具有包括水泡的一些图像伪影。因此，生成带有纹理(诸如血管、血斑或气泡)的腔内表面的患者专用的虚拟渲染可能是具有挑战性的。深度图435保留气道结构并且移除视频图像92的不必要的表面纹理。
在图13处还示出了使用由CT成像装置335捕获的术前CT图像数据91生成的内腔网络130的相对相同区域的虚拟相机图像93的示例。虚拟相机图像93是使用由原始术前CT扫描91重建的3D CT气道模型而生成的并且可在内腔网络130的相对相同区域周围的多个位置和取向中捕获。还可使用虚拟渲染方法来生成多个虚拟相机图像93中的每个虚拟相机图像的对应第二深度图455。在图13处示出了对应于示例性虚拟相机图像93的第二深度图455。第二深度图455中的一者或多者可具有与由视频图像数据92生成的第一深度图435类似的形状。定位模块95分析第二深度图455中的每个第二深度图并且将其与第一深度图435进行比较，以找到与第一深度图435具有最大相似性的第二深度图455。
定位模块95可利用执行域自适应的卷积神经网络(CNN)来执行从视频图像92到深度图435的转换。例如，使用机器学习，定位模块95可从诸如视频图像92的数字图像提取多维信息。可利用映射函数将多维信息形成为深度图435。如果已知的成对视频图像和对应深度图可用，则可利用监督学习来学习映射函数Z＝G(I)。由先前成对的图像和深度图组成的数据集可用于基于深度特征空间训练从源域(视频图像92)到目标域(深度图435)的映射函数。另选地，当难以获得完全成对的数据时，还可通过无监督学习方法来实现映射函数，诸如具有不需要成对数据的循环一致性的生成对抗学习。所生成的第一深度图435和第二深度图455可被存储为位置数据96。
定位模块95，特别是转换过程可体现在特定控制电路60中，该特定控制电路包括一个或多个处理器、数据存储装置、连接性特征、衬底、无源和/或有源硬件电路装置、芯片/管芯等。例如，定位模块95可体现于在图1中示出并且在上文描述的控制电路60中。定位模块95可采用机器学习功能来执行相对于患者内部解剖结构的自动定位和导航。定位模块95可被配置为对特定图像类型数据结构进行操作，诸如表示与一种或多种医疗规程相关联的内腔网络130的至少一部分的图像数据92。可通过与定位模块95的图像处理部分相关联的特定控制电路60以某种方式操作此类输入数据/数据结构。控制电路60可包括任何合适或期望的变换和/或分类架构，诸如任何合适或期望的人工神经网络架构诸如卷积神经网络。例如，定位模块95可实施深度学习架构，该深度学习架构接受输入图像，应用带有可学习权重/偏差的滤波器层以将图像变换到另一域中或者将该滤波器层彼此区分以用于分类。所使用的滤波器/特性可以是手工设计的或可通过机器学习来学习。
D.相机姿态估计
如所讨论的，多个第二深度图455中的一个第二深度图可比其他第二深度图455中的任一第二深度图具有与第一深度图435更高的形状相似性。参考图14，由定位模块95进行的基于图像的数据分析(例如，图像配准技术)可包括与由定位在内腔网络130内的器械的成像装置315捕获的第一深度图435(即，图像数据92)相比，分析由术前CT扫描生成的第二深度图455(即，图像数据91)中的每个第二深度图。例如，针对形状相似性，对照由视频图像数据92生成的第一深度图435来分析由CT图像数据91生成的多个第二深度图(455A,455B,455C…455N)中的每个第二深度图。该分析可包括将第二深度图455的所识别的特征与第一深度图435的对应所识别的特征进行相似性比较。作为分析/比较的一部分，识别与第一深度图435具有最高形状相似性的第二深度图(455A,455B,455C…455N)。该第二深度图455由定位模块95识别为“候选”第二深度图465。候选第二深度图465用于生成相机姿态估计475，该相机姿态估计被输出为内腔网络130内的医疗器械34的位置(和取向)的虚拟表示。
CT坐标空间中的虚拟相机姿态475可被定义为
T(x,y,z,q)
其中x,y,z是所估计的相机位置475的笛卡尔坐标，而q是表示相机取向的四元数。例如，医疗器械(例如，内窥镜52)可以是诸如相对于窥视镜52的至少远侧部分可进行关节运动，使得可在人体解剖结构内使窥视镜52转向。在一些实施方案中，窥镜52被配置为以例如五个自由度进行关节运动，包括平移中的XYZ坐标移动以及定向中的俯仰和偏航。在一些实施方案中，针传感器提供六个自由度，包括X、Y和Z坐标位置，以及俯仰、滚动和偏航。窥镜52的位置传感器(如果存在)可同样相对于该位置传感器产生/提供的位置信息具有类似的自由度。窥镜52的末端可相对于其纵向轴线(还称为“滚动轴线”)定向为零偏转。
每个时间点的相机姿态T可被视为虚拟(即，第二)深度图455的函数ZCT。给定启动时相机姿态的初始猜测，优化过程输出给出虚拟(即，第二)深度图455与视频(即，第一)深度图435之间的最高相似性的最佳ΔT’为
Tt+1＝Tt+ΔT′t+1|t (2)
其中时间t、Tt处的相机姿态用于初始化时间t+1、Tt+1处的姿态。S是相似性度量。
在医疗规程开始时，当医疗器械(例如，支气管镜52)指向内腔网络130(例如，在气管的主隆凸处)时，为了方便起见，可利用气管的中心线中的中点来初始化相机姿态。在该规程期间，使用基于视觉的方法估计的前一视频图像92的最佳姿态值475可用于初始化当前视频帧的姿态优化过程。另选地，诸如EM数据、位置传感器数据或形状感测数据的其他可用传感输入也可被结合用于初始化姿态优化过程以实现更好的鲁棒性和准确性。
迭代优化方法或基于CNN的姿态估计器适用于求解以上公式(1)。包括鲍威尔(Powell)优化、基于卡尔曼(Kalman)滤波器的优化和粒子群(Particle Swarm)优化的离散优化方法可在给定相机姿态的搜索空间的情况下迭代地找到标量相似性函数的最小值。产生最小值的第二深度图455是所识别的候选第二深度图455，该候选第二深度图的对应相机姿态接着被识别为最佳姿态475。例如，归一化互相关或互信息可被用作相似性函数以将第二深度图455与第一深度图435进行比较。
另选地，可采用CNN以通过求解气道模型的3D点云与从第一深度图435反向投影的点云之间的变换矩阵来估计相机姿态475参数。例如，如图15所示，控制电路60可进一步被配置为利用第一点云710来表示第一深度图435并且利用第二点云720来表示多个第二深度图455。第二深度图455的点云可被组合/合并成一个点云(即，第二点云720)。控制电路60可进一步被配置为使用第一神经网络至少部分地基于第一点云710和第二点云720来确定深度特征730。例如，CNN编码器740可用于从点云710和720提取深度特征730，其中深度特征730表示点云710和720的几何特征。然后，另一CNN编码器745可用于通过在共享特征空间中搜索来提出点云710和720的关键点730之间的对应关系。例如，控制电路60可被配置为通过使用第二神经网络745在共享特征空间中搜索来建立逐点对应关系，其中共享特征空间相对于深度特征730。逐点对应关系然后可被传递到另一网络750(例如可区分的RANSAC网络)中以输出最佳逐点对应关系755，该最佳逐点对应关系可用于计算要应用于第二点云的最佳变换以实现第一点云与所变换的第二点云之间的最佳配准以及第一深度图435与第二深度图455N之间的最高相似性。可由最佳逐点对应关系755计算最佳相机姿态475。在一些情况下，基于CNN的姿态估计可提供比迭代离散优化方法快的收敛。
CNN还可用于生成有效图像编码以通过搜索候选第二深度图465来找到最佳相机姿态475。给定气道模型(例如，第一深度图435)，可相对于第一深度图435预先计算成对的虚拟(第二)深度图455和相机姿态475的数据集。图像检索技术可被应用于在数据集中找到与视频深度图435具有最高相似性的深度图455，该视频深度图变为候选深度图465。候选深度图465的相机姿态值475可用作用于视频帧的最佳(即，输出)相机姿态475，或者用作用于微调姿态值以便更快收敛的良好初始值。可通过将候选深度图465和视频深度图435传递到空间变换网络来估计该候选深度图与该视频深度图之间的相对姿态，该空间变换网络回归该候选深度图与该视频深度图之间的相对变换。
参考图16，在各种实施方案中，生成第二深度图455和识别多个第二深度图455中的一个候选深度图465的过程是迭代或连续过程1600。例如，过程1600可包括使用来自先前时间戳的多个第二深度图455的候选深度图465的相机姿态来初始化生成用于当前时间戳的多个第二深度图455。此外，先前时间戳的相机姿态估计475的结果初始化用于当前时间戳的相机姿态估计过程。参考过程1600，对于实时定位/导航，成像装置315(例如，相机)可连续地捕获视频图像92。例如，在时间t处捕获视频图像92(It)。由视频图像92(It)生成第一深度图435(Zt)。由先前捕获的术前CT图像91生成多个第二深度图455。基于用以初始化过程的初始猜测相机姿态估计495(针对第一迭代)，针对形状相似性，将多个第二深度图455与第一深度图435(Zt)进行比较。多个第二深度图455中的与第一深度图435具有最高形状相似性的一个第二深度图被识别为候选第二深度图465和候选相机姿态估计。至少部分地基于所识别的候选第二深度图465来生成相机姿态475(Tt)。在下一迭代中，在时间t+1处捕获下一视频图像92(It+1)。由视频图像92(It+1)生成第一深度图435(Zt+1)。由先前捕获的术前CT图像91生成多个第二深度图455。来自时间t处的先前迭代的相机姿态475(Tt)用于初始化时间t+1处的当前迭代。基于用以初始化过程的相机姿态475(Tt)，针对形状相似性，将多个第二深度图455与当前迭代(在时间t+1处)的第一深度图435进行比较。多个第二深度图455中的与第一深度图435具有最高形状相似性的一个第二深度图(Zt+1)被识别为候选第二深度图465和候选相机姿态估计。至少部分地基于所识别的候选第二深度图465来生成相机姿态475(Tt+1)。如果期望，则迭代过程可使用当前相机姿态475(Tt+1)继续以初始化下一迭代。
4.实施系统和术语
本文所公开的具体实施提供了用于机器人控制的或用户控制的医疗器械的基于图像的定位和导航的系统、方法和设备。本文描述的各种具体实施提供了改进的内腔网络的导航。
应当指出的是，如本文所用，术语“耦合”或词语耦合的其他变型形式可以指示间接连接或直接连接。例如，如果第一部件“耦合”到第二部件，则第一部件可经由另一个部件间接连接到第二部件或直接连接到第二部件。
本文描述的位置估计和机器人运动致动功能可作为一个或多个指令存储在处理器可读或计算机可读的介质上。术语“计算机可读介质”是指可由计算机或处理器访问的任何可用介质。通过示例而非限制，此类介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、致密盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置，或可以用于存储呈指令或数据结构的形式的期望的程序代码并且可以由计算机访问的任何其他介质。应当指出的是，计算机可读介质可为有形的和非暂态的。如本文所用，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
本文所公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可彼此互换。换句话讲，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
如本文所用，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”涵盖多种动作，并且因此，“确定”可包括计算、运算、处理、导出、调查、查找(例如，在表格、数据库或另一种数据结构中查找)、查明等。另外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。另外，“确定”可包括解析、选择、挑选、建立等。
除非另有明确指明，否则短语“基于”并不意味着“仅基于”。换句话讲，短语“基于”描述“仅基于”和“至少基于”两者。
提供对所公开的具体实施的前述描述以使得本领域的任何技术人员能够制作或使用本发明。对这些具体实施的各种修改对于本领域的技术人员而言将是显而易见的，并且在不脱离本发明的范围的情况下，本文所定义的一般原理可应用于其他具体实施。例如，应当理解，本领域的普通技术人员将能够采用多个对应的替代和等同的结构细节，诸如紧固、安装、耦合或接合工具部件的等同方式、用于产生特定致动运动的等同机构、以及用于递送电能的等同机构。因此，本发明并非旨在限于本文所示的具体实施，而是被赋予符合本文所公开的原理和新颖特征的最广范围。
附加实施方案
依据实施方案，可按照不同的顺序执行、可添加、合并或完全忽视本文描述的过程或算法中的任一者的特定动作、事件或功能。因此，在特定实施方案中，不是所有描述的动作或事件对于过程的实践都是必要的。
除非另外特别说明或在所使用的上下文内以其他方式理解，否则本文所用的条件语言，诸如“可”、“能够”、“可能”、“可以”、“例如”等，是指其普通意义，并且一般旨在传达特定实施方案包括而其他实施方案不包括特定特征、元件和/或步骤。因此，此类条件语言一般不旨在暗示一个或多个实施方案无论如何都需要特征、元件和/或步骤，或者一个或多个实施方案一定包括用于在有或没有作者输入或提示的情况下决定这些特征、元件和/或步骤是否包括在任何特定实施方案中或者是否将在任何特定实施方案中执行的逻辑。术语“包括”、“包含”、“具有”等是同义的，并且在它们的普通意义上使用，并且以开放式方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。而且，术语“或”在其包含性意义上(而不是在其排他性意义上)使用，使得当用于例如连接一系列元件时，术语“或”是指该系列的元件中的一个、一些或全部。除非另有特别说明，否则诸如措辞“X、Y和Z中的至少一者”的结合语言在一般使用的背景下被理解为传达项目、术语、元件等可以是X、Y或Z。因此，此类结合语言一般不旨在暗示特定实施方案需要X中的至少一者、Y中的至少一者和Z中的至少一者各自都要存在。
应当理解，在以上对实施方案的描述中，为了简化本公开并辅助理解各种发明方面中的一个或多个发明方面，有时将各种特征在单个实施方案、图或其描述中分组在一起。然而，本公开的此方法不应理解为反映了以下意图：任何权利要求要求比那项权利要求中所明确叙述的特征更多的特征。此外，本文的特定实施方案中说明和/或描述的任何部件、特征或步骤可应用于任何其他实施方案或与任何其他实施方案一起使用。此外，对于每个实施方案，没有部件、特征、步骤或部件、特征或步骤的组是必需的或不可缺少的。因此，期望本文公开和下文要求保护的本发明的范围不受上文描述的特定实施方案限制，而是应仅通过公正地阅读随附权利要求书来确定。
应当理解，为了便于参考，可提供特定序数术语(例如，“第一”或“第二”)，并且不一定暗示物理特性或排序。因此，如本文所用，用于修改诸如结构、部件、操作等元件的序数术语(例如，“第一”、“第二”、“第三”等)不一定指示该元件相对于任何其他元件的优先级或顺序，而是可大体上将该元件与具有类似或相同名称(但是用于使用序数术语)的另一元件区分开来。另外，如本文所用，不定冠词(“一个”)可指示“一个或多个”而不是“一个”。此外，“基于”某一条件或事件而执行的操作还可基于未明确叙述的一个或多个其他条件或事件来执行。
除非另有定义，否则本文所用的所有术语(包括技术和科技术语)具有与示例性实施方案所属领域的普通技术人员通常理解的相同含义。将进一步理解，术语，诸如在常用字典中定义的术语，应当被解释为具有与它们在相关领域的背景下的含义一致的含义，并且不以理想化或过于正式的意义进行解释，除非本文明确如此定义。
为了便于描述，在本文中可使用空间相对术语“外部”、“内部”、“上部”、“下部”、“下方”、“上方”、“竖直”、“水平”和类似术语来描述在附图中绘示的一个元件或部件与另一元件或部件之间的关系。应当理解，空间相对术语旨在涵盖装置在使用中或操作中的除附图中描绘的取向之外的不同取向。例如，在附图中示出的装置被翻转的情况下，位于另一装置“下方”或“之下”的装置可放置在另一装置“上方”。因此，说明性术语“下方”可包括下部位置和上部位置两者。装置还可在另一方向上定向，并且因此空间相对术语可根据取向进行不同解释。
除非另有明确说明，否则比较和/或定量术语，诸如“更少”、“更多”、“更大”等，旨在涵盖等式概念。例如，“更少”可不仅是指在最严格的数学意义上的“较少”，而且可指“小于或等于”。

Claims (30)

1.一种生成表示内部解剖结构内的空间位置的相机姿态的方法，包括：
至少部分地基于表示内部解剖结构的图像数据来确定表征所述内部解剖结构的第一深度图；
至少部分地基于计算机断层扫描(CT)图像数据来生成多个第二深度图，所述第二深度图中的每个第二深度图表示所述内部解剖结构的虚拟模型；
识别所述多个第二深度图中的与所述第一深度图具有最高形状相似性的一个第二深度图；以及
至少部分地基于所述多个第二深度图中的所识别的一个第二深度图来生成相机姿态。
2.根据权利要求1所述的方法，还包括使用卷积神经网络(CNN)从视频图像数据来确定所述第一深度图。
3.根据权利要求2所述的方法，还包括通过求解所述内部解剖结构的所述虚拟模型的3D点云与从所述第一深度图反向投影的点云之间的变换矩阵来估计相机姿态参数。
4.根据权利要求3所述的方法，其中，采用卷积神经网络(CNN)来求解所述变换矩阵并且估计所述相机姿态参数。
5.根据权利要求3所述的方法，还包括使用所述第一深度图来识别所述多个第二深度图中的所述一个第二深度图中的期望位置，所述期望位置对应于一个或多个视频图像中的位置。
6.根据权利要求1所述的方法，其中，所述生成所述多个第二深度图以及所述识别所述多个第二深度图中的一个第二深度图是迭代或连续过程。
7.根据权利要求6所述的方法，其中，所述迭代过程包括使用先前迭代的所述多个第二深度图中的一个第二深度图的所述相机姿态来初始化生成所述多个第二深度图。
8.根据权利要求1所述的方法，还包括使用多个虚拟相机姿态来生成所述多个第二深度图。
9.根据权利要求1所述的方法，其中，所述相机姿态包括表示所述内部解剖结构内的物理空间位置的虚拟空间估计。
10.根据权利要求9所述的方法，还包括在相对于CT图像数据的坐标中定义所述相机姿态。
11.一种生成表示支气管气道内的空间位置的相机姿态的方法，包括：
至少部分地基于表示支气管气道的内部解剖形状结构的视频图像数据来确定表征所述支气管气道的所述内部解剖形状结构的第一深度图；
根据表示所述支气管气道的所述内部解剖形状结构的计算机断层扫描(CT)图像数据来生成表示所述支气管气道内的估计位置和取向的虚拟相机姿态；
至少部分地基于所述虚拟相机姿态来生成多个第二深度图，所述第二深度图中的每个第二深度图表示所述支气管气道的所述内部解剖形状结构的虚拟模型；
识别所述多个第二深度图中的与所述第一深度图具有最高形状相似性的一个第二深度图；以及
至少部分地基于所述多个第二深度图中的所识别的一个第二深度图来生成表示在所述支气管气道内具有六个自由度(6DoF)的位置和取向的相机姿态。
12.根据权利要求11所述的方法，还包括利用执行域自适应的卷积神经网络(CNN)使用所述视频图像数据来形成所述第一深度图。
13.根据权利要求12所述的方法，还包括由所述CNN通过使视频图像数据与对应的第一深度图成对而利用监督学习来学习映射函数，其中，所述第一深度图形成为所述视频图像数据的函数。
14.根据权利要求12所述的方法，还包括由所述CNN利用带有不需要成对数据的循环一致性的无监督生成对抗学习来学习映射函数，其中，所述第一深度图形成为所述视频图像数据的函数。
15.根据权利要求12所述的方法，还包括相对于所述第一深度图预先计算由成对的第二深度图和虚拟相机姿态组成的数据集。
16.根据权利要求15所述的方法，还包括应用图像配准技术来找到相对于所述数据集具有与所述第一深度图的最高形状相似性的候选第二深度图。
17.根据权利要求16所述的方法，还包括使用所述候选第二深度图的虚拟相机姿态值作为所述相机姿态或作为候选虚拟相机姿态的初始值，以迭代地生成接下来的多个第二深度图。
18.根据权利要求16所述的方法，还包括通过将所述候选第二深度图和所述第一深度图传递到空间变换网络中来估计所述候选第二深度图与所述第一深度图之间的相对姿态，所述空间变换网络被配置为回归所述候选第二深度图与所述第一深度图之间的相对变换。
19.一种医疗系统，包括：
医疗器械，所述医疗器械具有与所述医疗器械的远侧端部相关联的相机；以及
控制电路，所述控制电路通信地耦合到所述医疗器械，所述控制电路被配置为：
生成内部解剖结构的图像数据；
至少部分地基于所述图像数据来确定表征所述内部解剖结构的第一深度图；
至少部分地基于所述内部解剖结构的计算机断层扫描(CT)图像数据来生成表示所述内部解剖结构内的估计位置和取向的虚拟相机姿态；
至少部分地基于所述虚拟相机姿态来生成多个第二深度图，所述第二深度图中的每个第二深度图表示所述内部解剖结构的虚拟模型；
识别所述多个第二深度图中的与所述第一深度图具有最高形状相似性的一个第二深度图；以及
至少部分地基于所述多个第二深度图中的所识别的一个第二深度图来生成表示在所述内部解剖结构内具有六个自由度(6DoF)的位置和取向的相机姿态。
20.根据权利要求19所述的医疗系统，其中，所述控制电路进一步被配置为利用第一点云来表示所述第一深度图并且利用第二点云来表示所述多个第二深度图中的第二深度图。
21.根据权利要求20所述的医疗系统，其中，所述控制电路进一步被配置为使用第一神经网络至少部分地基于所述第一点云和所述第二点云来确定深度几何特征。
22.根据权利要求21所述的医疗系统，其中，所述控制电路进一步被配置为在所述第一点云的多个关键点与所述第二点云的相关联的多个关键点之间建立逐点对应关系。
23.根据权利要求22所述的医疗系统，其中，所述控制电路进一步被配置为通过使用第二神经网络在共享特征空间中搜索来建立所述逐点对应关系，所述共享特征空间相对于所述深度几何特征。
24.根据权利要求22所述的医疗系统，其中，所述控制电路进一步被配置为将所述逐点对应关系传递到另一网络中以输出第二逐点对应关系。
25.根据权利要求24所述的医疗系统，其中，所述另一网络包括可区分的随机样本一致性(RANSAC)网络。
26.根据权利要求24所述的医疗系统，其中，所述控制电路进一步被配置为至少部分地基于所述第二逐点对应关系来生成所述相机姿态。
27.一种医疗系统，包括：
用于至少部分地基于表示内部解剖结构的图像数据来确定表征所述内部解剖结构的第一深度图的部件；
用于至少部分地基于计算机断层扫描(CT)图像数据来生成多个第二深度图的部件，所述第二深度图中的每个第二深度图表示所述内部解剖结构的虚拟模型；
用于识别所述多个第二深度图中的与所述第一深度图具有最高形状相似性的一个第二深度图的部件；以及
用于至少部分基于所述多个第二深度图中的所识别的一个第二深度图来生成相机姿态的部件。
28.根据权利要求27所述的医疗系统，还包括用于使用电磁(EM)数据、运动学数据、惯性测量数据或形状感测数据中的至少一者来形成所述相机姿态的附加部件。
29.根据权利要求27所述的医疗系统，还包括用于实时传送相对于所述内部解剖结构的所述相机姿态的部件。
30.根据权利要求29所述的医疗系统，其中，所述内部解剖结构间歇地运动。
CN202280026004.XA 2021-03-31 2022-03-24 支气管镜检查中的基于视觉的6DoF相机姿态估计 Pending CN117320654A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/219,804 US20220319031A1 (en) 2021-03-31 2021-03-31 Vision-based 6dof camera pose estimation in bronchoscopy
US17/219804 2021-03-31
PCT/IB2022/052730 WO2022208253A1 (en) 2021-03-31 2022-03-24 Vision-based 6dof camera pose estimation in bronchoscopy

Publications (1)

Publication Number Publication Date
CN117320654A true CN117320654A (zh) 2023-12-29

Family

ID=83449987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280026004.XA Pending CN117320654A (zh) 2021-03-31 2022-03-24 支气管镜检查中的基于视觉的6DoF相机姿态估计

Country Status (4)

Country Link
US (1) US20220319031A1 (zh)
EP (1) EP4312856A1 (zh)
CN (1) CN117320654A (zh)
WO (1) WO2022208253A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787050B1 (en) * 2019-01-01 2023-10-17 Sanctuary Cognitive Systems Corporation Artificial intelligence-actuated robot
CN117496074B (zh) * 2023-12-29 2024-03-22 中国人民解放军国防科技大学 一种适应相机快速移动的高效三维场景重建方法
CN117911540A (zh) * 2024-03-18 2024-04-19 安徽大学 一种用于事件相机标定装置与方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236622B2 (en) * 1999-08-25 2007-06-26 Eastman Kodak Company Method for forming a depth image
KR101035103B1 (ko) * 2003-07-11 2011-05-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 3차원 모델을 스케일링하기 위한 방법 및 스케일링 디바이스
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20070161854A1 (en) * 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
EP2424422B1 (en) * 2009-04-29 2019-08-14 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
JP5836267B2 (ja) * 2009-05-18 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
US11022433B2 (en) * 2010-02-12 2021-06-01 Koninklijke Philips N.V. Laser enhanced reconstruction of 3D surface
DE112010006052T5 (de) * 2010-12-08 2013-10-10 Industrial Technology Research Institute Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
US10621738B2 (en) * 2011-03-16 2020-04-14 Siemens Healthcare Gmbh 2D/3D registration for abdominal aortic aneurysm intervention
US9125556B2 (en) * 2012-05-14 2015-09-08 Mazor Robotics Ltd. Robotic guided endoscope
US8977026B2 (en) * 2012-05-30 2015-03-10 General Electric Company Methods and systems for locating a region of interest in an object
US20140320392A1 (en) * 2013-01-24 2014-10-30 University Of Washington Through Its Center For Commercialization Virtual Fixtures for Improved Performance in Human/Autonomous Manipulation Tasks
BR112014028811B1 (pt) * 2013-03-19 2020-11-17 Koninklijke Philips N.V. sistema de imagem, método para registrar uma imagem de um objeto em uma faixa espectral de radiação de terahertz através da radiografia e visualização da imagem em luz visível, e meio de armazenamento
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
KR102377626B1 (ko) * 2015-03-27 2022-03-24 주식회사바텍 엑스선 영상 처리 시스템 및 그 사용 방법
US20180174311A1 (en) * 2015-06-05 2018-06-21 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
WO2017027638A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3d reconstruction and registration of endoscopic data
US10839487B2 (en) * 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
KR102451377B1 (ko) * 2015-10-08 2022-10-06 (주)바텍이우홀딩스 깊이 정보를 강조하는 의료 영상 재구성 장치 및 방법
CN111915663B (zh) * 2016-09-15 2024-04-30 谷歌有限责任公司 图像深度预测神经网络
US11357575B2 (en) * 2017-07-14 2022-06-14 Synaptive Medical Inc. Methods and systems for providing visuospatial information and representations
US10772701B2 (en) * 2017-08-29 2020-09-15 Intuitive Surgical Operations, Inc. Method and apparatus to project light pattern to determine distance in a surgical scene
US10270962B1 (en) * 2017-12-13 2019-04-23 North Of You Llc Automatic camera settings configuration for image capture
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device
US20200046436A1 (en) * 2018-08-13 2020-02-13 Body Vision Medical Ltd. Methods and systems for multi view pose estimation using digital computational tomography
WO2020102584A2 (en) * 2018-11-14 2020-05-22 Intuitive Surgical Operations, Inc. Convolutional neural networks for efficient tissue segmentation
US11419491B2 (en) * 2019-02-26 2022-08-23 Optecks, Llc Colonoscopy system and method
US20220113804A1 (en) * 2019-06-26 2022-04-14 Fvrvs Limited Virtual reality surgical training systems with advanced haptic feedback
US20220249168A1 (en) * 2019-06-28 2022-08-11 Formus Labs Limited Orthopaedic pre-operative planning system
US11191423B1 (en) * 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
US20220262023A1 (en) * 2019-07-22 2022-08-18 Toyota Motor Europe Depth maps prediction system and training method for such a system
KR102630074B1 (ko) * 2019-09-23 2024-01-29 보스톤 싸이엔티픽 싸이메드 인코포레이티드 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
US11682110B2 (en) * 2019-09-27 2023-06-20 Rensselaer Polytechnic Institute Modularized adaptive processing neural network (MAP-NN) for low-dose CT
EP4057933A4 (en) * 2019-11-12 2022-12-28 Pathkeeper Surgical Ltd SYSTEM, PROCEDURE AND COMPUTER PROGRAM PRODUCT FOR IMPROVED MINI-SURGICAL USE CASES
US11596481B2 (en) * 2019-12-24 2023-03-07 Biosense Webster (Israel) Ltd. 3D pathfinder visualization
US11918178B2 (en) * 2020-03-06 2024-03-05 Verily Life Sciences Llc Detecting deficient coverage in gastroenterological procedures
US11495346B2 (en) * 2020-09-09 2022-11-08 Siemens Medical Solutions Usa, Inc. External device-enabled imaging support
US11385292B2 (en) * 2020-09-10 2022-07-12 Volkswagen Aktiengesellschaft Battery materials screening
CN116457883A (zh) * 2020-09-14 2023-07-18 苹果公司 3d环境中的内容回放和修改
CN114663575A (zh) * 2020-12-23 2022-06-24 日本电气株式会社 图像处理的方法、设备和计算机可读存储介质
US11295460B1 (en) * 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
EP4070285A1 (en) * 2021-01-15 2022-10-12 Google LLC System and method for simulating light-in-flight
EP4043072A1 (en) * 2021-02-16 2022-08-17 Siemens Healthcare GmbH Radiation-induced toxicity and machine learning

Also Published As

Publication number Publication date
US20220319031A1 (en) 2022-10-06
EP4312856A1 (en) 2024-02-07
WO2022208253A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11759090B2 (en) Image-based airway analysis and mapping
US11850008B2 (en) Image-based branch detection and mapping for navigation
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
CN110831535B (zh) 配置用于导航路径跟踪的机器人系统
CN110831534B (zh) 用于医疗仪器导航和瞄准的系统和方法
KR102489198B1 (ko) 위치 센서의 정합을 위한 시스템 및 방법
CN114340540B (zh) 器械图像可靠性系统和方法
US20220319031A1 (en) Vision-based 6dof camera pose estimation in bronchoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination