CN110832544B - 用于导航的基于图像的分支检测和映射 - Google Patents

用于导航的基于图像的分支检测和映射 Download PDF

Info

Publication number
CN110832544B
CN110832544B CN201880044524.7A CN201880044524A CN110832544B CN 110832544 B CN110832544 B CN 110832544B CN 201880044524 A CN201880044524 A CN 201880044524A CN 110832544 B CN110832544 B CN 110832544B
Authority
CN
China
Prior art keywords
instrument
openings
image
opening
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880044524.7A
Other languages
English (en)
Other versions
CN110832544A (zh
Inventor
里特维克·乌马拉内尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auris Health Inc
Original Assignee
Auris Surgical Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auris Surgical Robotics Inc filed Critical Auris Surgical Robotics Inc
Publication of CN110832544A publication Critical patent/CN110832544A/zh
Application granted granted Critical
Publication of CN110832544B publication Critical patent/CN110832544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00—Surgical drapes
    • A61B46/10—Surgical drapes specially adapted for instruments, e.g. microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B50/00—Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
    • A61B50/10—Furniture specially adapted for surgical or diagnostic appliances or instruments
    • A61B50/13—Trolleys, e.g. carts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/02—Adjustable operating tables; Controls therefor
    • A61G13/04—Adjustable operating tables; Controls therefor tiltable around transverse or longitudinal axis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/02—Adjustable operating tables; Controls therefor
    • A61G13/08—Adjustable operating tables; Controls therefor the table being divided into different adjustable sections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/10—Parts, details or accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/10—Parts, details or accessories
    • A61G13/12—Rests specially adapted therefor; Arrangements of patient-supporting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00039—Electric or electromagnetic phenomena other than conductivity, e.g. capacity, inductivity, Hall effect
    • A61B2017/00044—Sensing electrocardiography, i.e. ECG
    • A61B2017/00048—Spectral analysis
    • A61B2017/00053—Mapping
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477—Coupling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2210/00—Devices for specific treatment or diagnosis
    • A61G2210/50—Devices for specific treatment or diagnosis for radiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

腔网络内的器械的导航可以包括基于图像的分支检测和基于图像的分支映射。基于图像的分支检测可以包括在图像内识别与腔网络的一个或更多个分支相关联的一个或更多个开口。基于图像的分支映射可以包括将检测到的一个或更多个开口映射到腔网络的相应分支。映射可以包括将开口的特征与一组预期开口的特征进行比较。可以根据映射的开口确定器械的位置状态估计，这可以有利于腔网络的导航。

Description

用于导航的基于图像的分支检测和映射
技术领域
本公开内容一般地涉及用于医疗器械的导航的系统和方法，并且更具体地涉及用于受导航机器人控制的医疗器械的基于图像的分支检测和映射。
背景技术
医疗过程例如内窥镜检查(例如，支气管镜检查)可以涉及进入并可视化患者的腔(例如，气道)的内部以用于诊断和/或治疗目的。在过程期间，柔性管状工具或器械例如内窥镜可以被插入到患者身体内。在一些情况下，第二器械可以通过内窥镜被传递至被识别为用于诊断和/或治疗的组织部位。
支气管镜检查是允许医生检查患者肺中的气道例如支气管和细支气管的内部状况的医疗过程。在医疗过程期间，可以将被称为支气管镜的细薄柔性的管状工具或器械插入患者的口腔中，并且朝向被识别为用于随后诊断和治疗的组织部位通过患者的喉部向下传递进入他或她的肺气道。支气管镜可以具有向组织部位提供通路的腔(“工作通道”)，并且导管和各种医疗工具可以通过工作通道插入到组织部位。
在某些医疗过程中，可以使用手术机器人系统来控制手术工具的插入和/或操作。手术机器人系统可以包括至少一个机器人臂或其他器械定位装置，该器械定位装置包括用于在过程期间控制手术工具的定位的操纵器组件。
发明内容
机器人使能医疗系统可以用于执行各种医疗过程，包括微创过程诸如腹腔镜检查过程，以及无创过程诸如内窥镜检查过程。在内窥镜检查过程中，机器人使能医疗系统可用于执行支气管镜检查、输尿管镜检查、胃肠病学等。在这样的过程期间，医生和/或计算机系统可以将医疗器械导航通过患者的腔网络。腔网络可以包括多个分支的腔(例如在支气管网络中或肾网络中)，或者单个腔(例如胃肠道)。机器人使能医疗系统可以包括用于引导(或协助引导)医疗器械通过腔网络的导航系统。
本公开内容的实施方式涉及用于基于图像的分支检测和映射的系统和技术。基于图像的分支检测和映射可以有助于导航通过腔网络。基于图像的分支检测可以包括在使用器械上的成像装置捕获的图像内识别与腔网络的一个或更多个分支相关联的一个或更多个开口。基于图像的分支映射可以包括将检测到的一个或更多个开口映射到腔网络的相应分支。这些系统和技术可以用于确定或估计器械在腔网络中的位置。本公开内容的系统、方法和装置各自都具有若干创新方面，本公开内容的系统、方法和装置中的没有单独一个独自地负责本文中公开的期望属性。
因此，第一方面涉及非暂态计算机可读存储介质，在非暂态计算机可读存储介质上存储有指令，指令在被执行时使装置的处理器至少进行如下步骤：确定位于腔网络的当前分支内的器械的位置状态估计；至少部分地基于位置状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获当前分支的图像；在图像内检测将腔网络的后续分支连接到当前分支的多个开口，；将检测到的所述多个开口的一个或更多个特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到一组预期后续分支中的一个分支；以及至少部分地基于该比较，提供更新的位置状态估计。
第一方面还可以以任意组合包括以下特征中的一个或更多个特征：(a)其中更新的位置状态估计包括位置状态估计为正确的概率；(b)其中部分地基于检测到的所述多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率；(c)其中部分地基于检测到的所述多个开口的一个或更多个特征与一组预期后续分支匹配的程度来确定概率；(d)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(e)其中指令在被执行使装置的处理器确定检测到的所述多个开口中的哪个开口更靠近图像的中心；(f)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(g)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，其中概率通过将图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定；(h)其中所位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中指令在被执行时使装置的处理器通过将图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(i)其中指令在被执行时使装置的处理器确定检测到的开口的一个或更多个特征；(j)其中一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(k)其中指令在被执行时使装置的一个或更多个处理器从术前模型获得与一组预期后续分支有关的信息，其中信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一；(l)其中指令在被执行时使装置的处理器通过以下方式将检测到的多个开口的一个或更多个特征与一组预期后续分支进行比较：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(m)其中指令在被执行时使装置的处理器通过以下方式检测图像内的多个开口：生成图像的像素强度值的直方图；分析直方图以识别图像内的多个开口；和/或(n)其中分析直方图包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；将中点的第一侧的像素分类为开口。
第二方面涉及用于对患者的腔网络进行导航的机器人系统，该机器人系统包括：器械，该器械具有被配置成插入到腔网络中的细长本体以及位于细长本体的末端部分上的成像装置；附接于器械的器械定位装置，该器械定位装置被配置成移动器械通过腔网络；上面存储有可执行指令的至少一个计算机可读存储器；一个或更多个处理器，所述一个或更多个处理器与至少一个计算机可读存储器通信并且被配置成执行指令以使系统至少进行如下步骤：确定位于腔网络的当前分支内的器械的位置状态估计；至少部分地基于初始状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获腔网络的当前分支的图像；在图像内检测将腔网络的后续分支连接到当前分支的多个开口；将检测到的多个开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一；以及至少部分地基于比较，提供更新的位置状态估计。
第二方面还可以以任意组合包括以下特征的一个或更多个：(a)其中器械包括内窥镜；(b)其中器械定位装置包括机器人臂；(c)其中腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络；(d)其中更新的位置状态估计包括位置状态估计为正确的概率；(e)部分地基于检测到的多个开口的特征与一组预期后续分支之间的比较来确定概率；(f)其中概率是部分地基于检测到的多个开口的特征与一组预期后续分支匹配的程度来确定；(g)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(h)其中指令在被执行时使一个或更多个处理器确定检测到的多个开口中的哪个开口更靠近图像的中心；(i)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(j)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，其中通过将所述图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定概率；(k)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中指令在被执行时使一个或更多个处理器通过将图像内检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(l)其中指令在被执行时使一个或更多个处理器确定检测到的开口的一个或更多个特征；(m)一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(n)其中指令在被执行时使装置的一个或更多个处理器从术前模型获得与一组预期后续分支相关的信息，其中信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；(o)其中指令在被执行时使一个或更多个处理器通过以下方式将检测到的多个开口的一个或更多个特征与一组预期后续分支进行比较：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(p)其中指令在被执行时使一个或更多个处理器通过以下方式检测图像内的多个开口：生成图像的像素强度值的直方图；分析直方图以识别图像内的多个开口；和/或(q)其中分析直方图包括：识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；以及将中点的第一侧的像素分类为开口。
第三方面涉及用于对腔网络进行导航的方法，该方法包括：将器械插入到腔网络的当前分支中；接收器械的位置状态估计；至少部分地基于初始状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获当前分支的图像；分析图像以检测将后续分支连接到当前分支的多个开口；将检测到的多个开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一；以及至少部分地基于该比较，提供更新的位置状态估计。
第三方面还可以以任意组合包括以下特征的一个或更多个：(a)其中器械包括内窥镜；(b)其中器械定位装置包括机器人臂；(c)其中腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络；(d)其中更新的位置状态估计包括位置状态估计为正确的概率；(e)其中部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率；(f)其中部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支匹配的程度来确定概率；(g)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(h)其中还包括确定检测到的多个开口中的哪个开口更靠近图像的中心；(i)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(j)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，该方法还包括：将所述图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定概率；(k)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中该方法还包括：通过将图像内检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(l)确定检测到的开口的一个或更多个特征；(m)其中一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(n)从术前模型获得与一组预期后续分支相关的信息，其中信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；(o)其中将检测到的多个开口的特征与一组预期后续分支进行比较包括：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(p)其中检测图像内的多个开口包括：生成图像的像素强度值的直方图；以及分析直方图以识别图像内的多个开口；和/或(q)其中分析直方图包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；将中点的第一侧的像素分类为开口。
第四方面涉及用于识别腔网络的分支的开口的方法，该方法包括使用位于分支内的成像装置捕获腔网络的分支的内部的图像；生成图像的像素强度值的直方图；以及将低于阈值的像素识别为指示图像内的开口。
第四方面还可以以任意组合包括以下特征的一个或更多个：(a)基于直方图确定阈值；(b)其中确定阈值包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；并且将阈值设置为等于中点的强度值；(c)对于图像内的识别的开口中的每个开口，确定开口的形心；(d)对于图像内的识别的开口中的每个开口，确定开口的轮廓；(e)将图像中的识别的开口的数目与坏帧检测器阈值进行比较；以及如果识别的开口的数目超过坏帧检测器阈值：则捕获分支的内部的第二图像；以及分析第二图像以确定第二图像内的开口；(f)其中腔网络是肺的支气管网络、胃肠道或肾脏的肾网络。
附图说明
下文将结合附图描述所公开的方面，提供附图是为了说明而不是限制所公开的方面，其中，相同的标记表示相同的元件。
图1示出了被布置成用于诊断和/或治疗性支气管镜检查过程的基于推车的机器人系统的实施方式。
图2描绘了图1的机器人系统的另外方面。
图3示出了被布置成用于输尿管镜检查的图1的机器人系统的实施方式。
图4示出了被布置成用于血管过程的图1的机器人系统的实施方式。
图5示出了被布置成用于支气管镜检查过程的基于台的机器人系统的实施方式。
图6提供了图5的机器人系统的替选视图。
图7示出了被配置成收放机器人臂的示例系统。
图8示出了被配置成用于输尿管镜检查过程的基于台的机器人系统的实施方式。
图9示出了被配置成用于腹腔镜检查过程的基于台的机器人系统的实施方式。
图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方式。
图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。
图12示出了示例性器械驱动器。
图13示出了具有成对的器械驱动器的示例性医疗器械。
图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。
图15描绘了示出根据示例实施方式的定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或更多个元件的位置，例如图13和图14的器械的位置。
图16示出了对腔网络进行导航的器械的示例。
图17示出了用于机器人控制的手术系统的示例性命令控制台。
图18示出了医疗器械的实施方式的末端。
图19描绘了示出用于基于图像的分支检测和映射的示例方法的流程图。
图20示出了腔网络的分支的内部的示例性图像。
图21描绘了示出用于基于图像的分支检测的示例性方法的流程图。
图22示出了像素强度值的示例性直方图。
图23A和图23B示出了说明基于图像的分支检测的示例性图像。
图24描绘了示出用于基于图像的分支检测的示例性方法的流程图。
图25示出了腔网络的简化视图。
图26描绘了示出用于基于图像的分支映射的示例性方法的流程图。
图27A至图27C示出了用于基于图像的分支映射的方法中的示例性步骤。
图28示出了说明基于图像的分支预测的示例性图像。
图29描绘了示出用于基于图像的分支检测和映射的示例性方法的流程图。
具体实施方式
1.概述。
本公开内容的各方面可以被集成到机器人使能医疗系统中，该机器人使能医疗系统能够执行各种医疗过程，包括微创过程诸如腹腔镜检查，以及无创过程诸如内窥镜检查。在内窥镜检查过程中，该系统可以执行支气管镜检查、输尿管镜检查、胃镜检查等。
除了执行广泛的过程之外，系统还可以提供另外的益处，例如增强成像和引导以帮助医生。此外，系统可以为医生提供如下能力：在不需要笨拙的手臂运动和定位的情况下，从人体工程学位置执行过程。此外，系统还可以向医生提供如下能力：以改进的易用性来执行过程，使得系统的器械中的一个或更多个器械可以由单个用户控制。
出于说明的目的，下面将结合附图来描述各种实施方式。应当理解的是，所公开的概念的许多其他实现是可能的，并且利用所公开的实现可以获得各种优点。本文包含标题以用于参考并帮助定位各个部分。这些标题并非旨在限制相对于其所描述的概念的范围。这种概念可以适用于整个说明书。
A.机器人系统-推车。
取决于具体过程，可以以各种方式配置机器人使能医疗系统。图1示出了被布置成用于诊断和/或治疗支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，推车11具有一个或更多个机器人臂12，以将医疗器械(例如可操纵的内窥镜13，其可以是用于支气管镜检查的过程专用支气管镜)递送至自然孔口进入点(即，在本示例中为定位在台上的患者的口腔)，以递送诊断和/或治疗工具。如图所示，推车11可以被定位在患者的上躯干附近，以便提供至进入点的入径。类似地，机器人臂12可以被致动以相对于进入点定位支气管镜。当利用胃镜(一种用于胃肠(GI)过程的专用内窥镜)执行GI过程时，也可以利用图1中的装置。图2更详细地描述了推车的示例性实施方式。
继续参照图1，一旦推车11被合适地定位，机器人臂12就可以自动地、手动地或以其组合的方式将可操纵内窥镜13插入到患者身体内。如图所示，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接至来自该组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接至单独的机器人臂的末端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置而在空间中重新定位。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医生偏好来调整、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在使医生接近内窥镜13与使由于内窥镜13弯曲到患者的口腔中而产生的摩擦最小化之间的折衷。
可以使用来自机器人系统的精确命令在插入之后沿着患者的气管和肺引导内窥镜13，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可以被操纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。
例如，内窥镜13可以被引导以将活检针递送至目标，例如，患者肺内的病变或结节。可以沿着工作通道部署沿着内窥镜的长度延伸的针以获得要由病理学家分析的组织样本。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在单独的过程中递送。在那些情况下，内窥镜13也可以用于递送基准物以“标记”目标结节的位置。在其他情况下，诊断和治疗处理可以在相同的过程期间被递送。
系统10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供控制、电子、流控学、光学、传感器和/或电力的支持。将这样的功能性放置在塔30中允许可以由操作医生和他/她的工作人员更容易地调整和/或重新定位的更小形状因子的推车11。此外，推车/台与支持塔30之间的功能性的分配减轻了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以定位成靠近患者，但是塔30可以收放在远程位置以在过程期间不挡道。
在上述机器人系统的支持中，塔30可以包括基于计算机的控制系统的(一个或多个)部件，基于计算机的控制系统例如在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论该执行在塔30中还是在推车11中发生——都可以控制整个系统或其(一个或多个)子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂定位成特定姿势。
塔30还可以包括泵、流量计、阀控制器和/或流体入口，以便向可以通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机系统来控制。在一些实施方式中，冲洗和抽吸能力可以通过(一个或更多个)单独的线缆直接递送至内窥镜13。
塔30可以包括电压和浪涌保护器，电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更加可移动的推车11。
塔30还可以包括用于遍及机器人系统10部署的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人系统10的光学传感器或摄像装置接收到的数据的光电子设备。与控制系统结合，这样的光电子设备可以用于生成实时图像以显示在遍及系统部署的任何数量的控制台(包括在塔30中的)中。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以用于容置和定位EM场发生器，以用于医疗器械中或医疗器械上的EM传感器的检测。
除了在系统的其余部分中可用的其他控制台(例如，安装在推车顶部的控制台)之外，塔30还可以包括控制台31。控制台31可以包括用于医生操作员的用户接口和显示屏，例如触摸屏。系统10中的控制台通常被设计成提供机器人控制以及过程的术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是医生可用的唯一控制台时，控制台31可以由诸如护士的第二操作者使用，以监测患者的健康或生命体征以及系统的操作，以及提供过程专用数据，例如，导航和定位信息。在其他的实施方式中，控制台30容置在与塔30分离的物体中。
塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能性可以耦接在单独的线缆和连接中。例如，尽管可以通过单个电力线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。
图2提供了图1所示的基于推车的机器人使能系统的推车的实施方式的详细图示。推车11通常包括细长的支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂支架”)。托架17可以包括可单独配置的臂安装件，该臂安装件沿着竖直轴旋转以调整机器人臂12的基部，以相对于患者更好地定位。托架17还包括托架接口19，其允许托架17沿着柱14竖直平移。
托架接口19通过诸如槽20的槽连接至柱14，所述槽被定位在柱14的相对侧以引导托架17的竖直平移。槽20包含用于将托架定位和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机器人臂12的可达范围以满足各种台高度、患者尺寸和医生偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成角度。
在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入柱14的内部腔室和竖直平移接口。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖盘绕在卷轴内直到被部署成随着托架17竖直地上下平移而从盖的盘绕状态延伸和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，同时当托架17平移远离卷轴时也保持紧密密封。盖可以使用例如托架接口19中的托架连接至托架17，以确保盖在托架17平移时适当地延伸和缩回。
柱14可以在内部包括诸如齿轮和马达的机构，所述机构被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如，来自控制台16的输入)而生成的控制信号而以机械化方式平移托架17。
机器人臂12通常可以包括由一系列连杆23分开的机器人臂基部21和端部受动器22，上述一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控马达。每个独立可控关节表示机器人臂可用的独立自由度。臂12中的每一个具有七个关节，因此提供七个自由度。多个关节引起多个自由度，从而允许“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆位置和关节角度将它们各自的端部受动器22定位在空间中的特定位置、取向和轨迹处。这允许系统从空间中的期望点定位和引导医疗器械，同时允许医生将臂关节移动到远离患者的临床有利位置，以产生更好的接近，同时避免臂碰撞。
推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容置较重的部件，例如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在过程之前容易地在手术室中移动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在过程期间将推车11保持在适当位置。
定位在柱14的竖直端部的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者向医生用户提供术前和手术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机化断层层析成像(CT)扫描得出的术前计划、导航和映射数据和/或来自术前患者面谈的注释。显示器上的手术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，例如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜，以允许医生从柱14的与托架17相对的侧面接近控制台。从该位置，医生可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。
图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被定位成将输尿管镜32——即，被设计成横穿患者的尿道和输尿管的过程专用内窥镜——递送至患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12定位输尿管镜32，以用于直接线性进入患者的尿道。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接插入患者的下腹部。
在插入尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置将输尿管镜32引导到输尿管和肾中以打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的网篮移除所得到的结石碎片。
图4示出了类似地被布置成用于血管过程的机器人使能系统的实施方式。在血管过程中，系统10可以被配置成使得推车11可以将诸如可操纵导管的医疗器械34递送至患者腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者心脏的相对较少迂回和曲折路径两者，这简化了导航。如在输尿管镜检查过程中，推车11可以被定位成朝向患者的腿和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入动脉后，可以通过平移器械驱动器28来引导和插入医疗器械34。替选地，推车可以被定位在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。
B.机器人系统-台。
机器人使能医疗系统的实施方式还可以结合患者的台。通过移除推车，台的结合减少了手术室内的主要设备的量，这允许对患者的更好的进入。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于在地板上支承平台38(示出为“台”或“床”)的支承结构或柱37。与基于推车的系统非常相似，系统36的机器人臂39的端部受动器包括器械驱动器42，器械驱动器42被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，例如图5中的支气管镜40。在实践上，可以通过将发射器和检测器放置在台38周围来在患者的上腹部区域上方放置用于提供荧光透视成像的C形臂。
图6提供了出于讨论的目的而没有患者和医疗仪器的系统36的替选视图。如所示出的，柱37可以包括在系统36中示出为环形形状的一个或更多个托架43，一个或更多个机器人臂39可以基于上述一个或更多个托架43。托架43可以沿着在柱37的长度上延伸的竖直柱接口44平移以提供不同的有利点，机器人臂39可以从这些有利点被定位成到达患者。(一个或多个)托架43可以使用定位在柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧面，诸如例如患者的两侧。在具有多个托架的实施方式中，托架可以单独地定位在柱上，并且可以独立于其他托架而平移和/或旋转。虽然托架43不需要围绕柱37或者甚至无需是圆形的，但所示的环形形状有利于托架43绕柱37的旋转，同时保持结构平衡。托架43的旋转和平移允许系统将诸如内窥镜和腹腔镜的医疗器械对准到患者上的不同进入点中。在其他的实施方式中(未示出)，系统36可以包括病人的台或床，该病人的台或床具有沿其延伸的杆或轨道形式的可调节臂支撑件。一个或更多个机器人臂39(例如，通过带有肘关节的肩部)可以附接到可以垂直调节的可调节臂支撑件。通过提供垂直调节，机器人臂39有利地能够紧凑地收放在病人的台或床下方，并且随后在过程中被升起。
臂39可以通过包括一系列关节的一组臂安装件45安装在托架上，上述一系列关节可以单独地旋转和/或可伸缩地延伸，以向机器人臂39提供附加的可配置性。另外，臂安装件45可以被定位在托架43上，使得当托架43适当地旋转时，臂安装件45可以被定位在台38的相同侧(如图6中所示)，定位在台38的相对侧(如图9中所示)，或者定位在台38的相邻侧(未示出)。
柱37在结构上提供用于台38的支承以及用于托架的竖直平移的路径。在内部，柱37可以配备有用于引导托架的竖直平移的导引螺杆以及基于导引螺杆使所述托架的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架43上的机器人臂39。
台基部46起到与图2中示出的推车11中的推车基部15类似的作用，容置较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46还可以并入刚性脚轮以用于在过程期间提供稳定性。从台基部46的底部部署的脚轮可以在基部46的两侧沿相对方向延伸，并且当系统36需要被移动时缩回。
继续图6，系统36还可以包括塔(未示出)，该塔在台与塔之间分配系统36的功能性以减小台的形状因子和体积。如在先前公开的实施方式中，塔可以向台提供各种支持功能，例如处理、计算和控制能力、电力、流控和/或光学以及传感器处理。塔还可以是可移动的，以被定位成远离患者，以改善医生的接近并且使手术室不杂乱。另外，将部件放置在塔中能够实现在台基部中有更多的储存空间，以用于机器人臂的潜在收放。塔还可以包括主控器或控制台，该主控器或控制台提供用于用户输入的诸如键盘和/或悬架式操纵台的用户接口以及用于手术前和手术中信息诸如实时成像、导航和跟踪信息的显示屏(或触摸屏)二者。在一些实施方式中，塔还可以包含用于注气法要使用的气罐的保持器。
在一些实施方式中，台基部可以将机器人臂在不使用时收放并存放。图7示出了基于台的系统的实施方式中的收放机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以将机器人臂50、臂安装件51和托架48收放在基部49内。基部盖52可以被平移和缩回地打开以绕柱53展开托架48、臂安装件51和臂50，以及被关闭以收放托架48、臂安装件51和臂50，以在不使用它们时保护它们。基部盖52可以用膜54沿着所述基部盖52的开口的边缘密封，以防止在关闭时灰尘和流体进入。
图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角的转动部分55。转动部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以便将转动部分55的底部部分定位成远离柱37。例如，转动部分55的枢转使C形臂(未示出)能够定位在患者的下腹部上方，而不与台38下方的柱(未示出)竞争空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以沿着虚拟轨道57将输尿管镜56直接插入到患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以固定至台38的转动部分55，以在过程期间支承患者的腿的位置并且实现对患者的腹股沟区域的畅通的进入。
在腹腔镜检查过程中，通过患者的腹壁中的(一个或多个)小切口，微创器械可以插入到患者的解剖结构中。在一些实施方式中，微创器械包括细长的刚性构件，例如轴，该刚性构件用于进入患者内的解剖结构。在患者的腹腔膨胀之后，通常称为腹腔镜的器械可以被定向成执行外科任务，例如抓握、切割、切除、缝合等。图9示出了被配置成用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如图9中所示，系统36的托架43可以被旋转并且竖直调整成将成对的机器人臂39定位在台38的相对侧上，使得可以使用臂安装件45将器械(诸如腹腔镜)59定位成穿过患者的两侧上的小切口以到达他/她的腹腔。
为了适应腹腔镜检查过程，机器人使能台系统还可以将平台倾斜成期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗系统的实施方式。如图10中所示，系统36可以适应台38的倾斜，以将台的一部分定位在比另一部分距地面更远的距离处。另外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。
图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱-台接口处来实现，每个轴线由单独的马达3、4响应于电俯仰角命令而致动。沿一个螺杆5的旋转将实现在一个轴线1上的倾斜调整，而沿另一个螺杆6的旋转将实现沿另一个轴线2的倾斜调整。在一些实施方式中，球形接头可用于以多个自由度改变台38相对于柱37的俯仰角。
例如，当试图将台定位成头低脚高(Trendelenburg)位置，即，将患者的下腹部定位在比患者的下腹部距地板更高的位置处以用于下腹部手术时，俯仰调整特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹部，从而清理腹腔以使微创工具进入并执行下腹部手术过程，例如腹腔镜前列腺切除术。
C.器械驱动器和接口。
系统的机器人臂的端部受动器包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有诸如马达的任何机电部件。该二分法可能由如下因素驱使：对医疗过程中使用的医疗器械进行消毒的需要；以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而无法对昂贵的资本设备进行充分消毒。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以用于由医生或医生的工作人员进行单独的消毒或处置。相比之下，器械驱动器不需要被改变或消毒，并且可以被覆盖(drape)以进行保护。
图12示出了示例器械驱动器。定位在机器人臂的末端处的器械驱动器62包括一个或更多个驱动单元63，所述一个或更多个驱动单元63被布置有平行轴线以经由驱动轴64向医疗器械提供受控的扭矩。每个驱动单元63包括：用于与器械相互作用的单独的驱动轴64；用于将马达轴旋转转换成期望扭矩的齿轮头65；用于生成驱动扭矩的马达66；用于测量马达轴的速度并且向控制电路系统提供反馈的编码器67；以及用于接收控制信号并致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12中所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号发送至马达66，将如由编码器67测量的得到的马达速度与期望速度进行比较，并且调制马达信号以生成期望的扭矩。
对于需要无菌环境的过程，机器人系统可以结合位于器械驱动器与医疗器械之间的驱动接口，例如连接至无菌披盖(drape)的无菌适配器。无菌适配器的主要目的是将来自器械驱动器的驱动轴的角运动传递至器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的包括薄的柔性材料例如透明或半透明塑料的无菌披盖被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。该披盖的使用将允许资本设备被定位在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)中。在无菌披盖的另一侧，医疗器械可以与在需要消毒的区域(即无菌区)中的患者对接。
D.医疗器械。
图13示出了具有成对的器械驱动器的示例医疗器械。与被设计成用于与机器人系统一起使用的其他器械一样，医疗器械70包括细长轴71(或细长体)和器械基部72。由于其用于由医生进行的手动交互的预期设计而也被称为“器械手柄”的器械基部72通常可以包括例如容座、滑轮或卷轴的可旋转的驱动输入73，其被设计成与驱动输出74配合，该驱动输出74延伸穿过机器人臂76的末端处的器械驱动器75上的驱动接口。当物理连接、闩锁和/或耦接时，器械基部72的配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转的轴线，以允许扭矩从驱动输出74传递至驱动输入73。在一些实施方式中，驱动输出74可以包括花键，所述花键被设计成与驱动输入73上的容座配合。
细长轴71被设计成通过例如如在内窥镜检查中的解剖结构开口或腔或者通过例如如在腹腔镜检查中的微创切口来递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计成用于腹腔镜检查时，刚性细长轴的末端可以被连接至端部受动器和诸如抓握器或剪刀的手术工具或医疗器械，上述端部受动器从由具有至少一个自由度的U形夹形成的有关节的腕部延伸，上述手术工具或医疗器械可以当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时基于来自腱部的力来致动。当被设计成用于内窥镜检查时，柔性细长轴的末端可以包括可操纵或可控制的弯曲段，该弯曲段可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。
使用沿着轴71的腱部沿着细长轴71传送来自器械驱动器75的扭矩。这些单独的腱部例如牵引线可以单独地锚定至器械手柄72内的单独的驱动输入73。从手柄72，腱部沿着细长轴71顺着一个或更多个牵引腔引导锚定在细长轴71的末端部分处，或者锚定在细长轴的末端部分的腕部中。在诸如腹腔镜检查、内窥镜检查或混合过程中，这些腱部可以被耦接至末端安装的端部受动器例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩会将张力传递至腱部，从而使端部受动器以某种方式致动。在一些实施方式中，在手术过程期间，腱部可以使关节围绕轴线旋转，从而使端部受动器在一个方向或另一个方向上移动。可替选地，腱部可以连接至细长轴71的末端处的抓握器的一个或更多个钳口，其中来自腱部的张力使抓握器闭合。
在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件耦接至沿细长轴71(例如，在末端处)定位的弯曲或接合段。当固定地附接至弯曲段的末端时，将沿着腱部传送施加在驱动输入73上的扭矩，从而使较软的弯曲段(有时被称为可接合段或区域)弯曲或接合。沿非弯曲段，可以有利的是，使各个牵引腔盘旋或螺旋，所述牵引腔沿内窥镜轴的壁(或在内窥镜轴的壁内部)引导各个腱部，以平衡由牵引线中的张力产生的径向力。为了特定目的，可以改变或设计盘旋的角度和/或其间的间隔，其中，更紧的盘旋在负载力下呈现更小的轴压缩，而更小的盘旋量在负载力下得到更大的轴压缩，而且呈现有限弯曲。在范围(spectrum)的另一端，牵引腔可以平行于细长轴71的纵向轴线定向以允许在期望的弯曲或可接合段中的受控接合。
在内窥镜检查中，细长轴71容置多个部件以辅助机器人过程。轴可以包括工作通道，用于将手术工具(或医疗器械)、冲洗和/或抽吸部署至轴71的末端处的手术区域。轴71还可以容纳线和/或光纤以向远侧尖端处的光学组件/从远侧尖端处的光学组件传递信号，该光学组件可以包括光学摄像机。轴71还可以容纳光纤，以将来自位于近端的光源例如发光二极管的光传播至轴的末端。
在器械70的末端处，远侧尖端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧尖端还可以包括用于捕获内部解剖空间的图像的摄像机例如纤维镜或数码摄像机的端口。相关地，远侧尖端还可以包括用于在使用摄像机时照亮解剖空间的光源的端口。
在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动操纵性复杂化。当腱部从驱动输入73延伸出并且进入细长轴71内的牵引腔时，在保持驱动输入73静止的同时沿细长轴71的轴线滚动细长轴71会导致腱部的不期望的缠结。所得到的这样的腱部的缠结可能扰乱旨在在内窥镜检查过程期间预测柔性细长轴的运动的任何控制方法。
图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示地，圆形器械驱动器80包括四个驱动单元，其中四个驱动单元的驱动输出81在机器人臂82的端部处平行对准。驱动单元及其各自的驱动输出81被容置在器械驱动器80的旋转组件83中，该旋转组件83由组件83内的驱动单元之一驱动。响应于由旋转的驱动单元提供的扭矩，旋转组件83沿圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传达至旋转组件83，所述电接触可以通过由电刷滑环连接(未示出)的旋转来保持。在其他实施方式中，旋转组件83可以响应于单独的驱动单元，该单独的驱动单元集成至不可旋转部分84中并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及其各自的驱动输出81作为单个单元围绕器械驱动器轴线85旋转。
与先前公开的实施方式一样，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，被示出为具有透明的外壳)，该器械基部87包括被配置成接收器械驱动器80中的驱动输出81的多个驱动输入89(例如，容座、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中器械轴88的轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。
当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处，因此当附接时器械轴88与器械驱动器轴线85同轴。因此，旋转组件83的旋转使器械轴88围绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行结构在不会使任何控制腱部缠结的情况下允许轴旋转。
E.导航和控制。
传统的内窥镜检查可以涉及使用荧光检查(例如，如可以通过C形臂递送的)以及其他形式的基于辐射的成像模式，以向操作医生提供腔内指导。相比之下，由本公开内容设想的机器人系统可以提供基于非辐射的导航和定位装置，以减少医生暴露于辐射并且减少手术室内的设备的量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。可以单独地或组合地使用诸如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术以实现无辐射操作环境。在仍使用基于辐射的成像模式的其他情况下，可以单独地或组合地使用手术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以对仅通过基于辐射的成像模式获得的信息进行改进。
图15是示出了根据示例实施方式的估计机器人系统的一个或更多个元件的位置例如器械的位置的定位系统90的框图。定位系统90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的组。计算机装置可以由以上讨论的一个或更多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例的方式而非限制，计算机装置可以在图1中所示的塔30、图1至图4中所示的推车、图5至图10中所示的床等中。
如图15中所示，定位系统90可以包括定位模块95，该定位模块95处理输入数据91至94以生成医疗器械的远侧尖端的位置数据96。位置数据96可以是表示器械的末端相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知的对象例如EM场发生器(参见以下关于EM场发生器的讨论)的参考系。
现在更详细地描述各个输入数据91至94。可以通过使用一组低剂量CT扫描来完成手术前映射。手术前CT扫描被重建为三维图像，这些三维图像例如，作为患者的内部解剖结构的剖面图的“切片”被视觉化。当整个分析时，可以生成用于患者的解剖结构例如患者肺网络的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以开发患者的解剖结构的三维体积，该三维体积被称为模型数据91(当仅使用手术前CT扫描生成时也被称为“手术前模型数据”)。中心线几何形状的使用在美国专利申请第14/523,760号中讨论，其全部内容并入本文中。网络拓扑模型也可以从CT图像中得到，并且特别适合于支气管镜检查。
在一些实施方式中，器械可以配备有摄像机以提供视觉数据(或图像数据)92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉(或基于图像)的位置跟踪模块或特征。例如，手术前模型数据可以与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道的器械前进)的基于计算机视觉的跟踪。例如，使用手术前模型数据91，机器人系统可以基于内窥镜的行进的期望路径从模型来生成期望的内窥镜图像的库，每个图像链接至模型内的位置。在手术中，该库可以由机器人系统参考，以将在摄像机(例如，在内窥镜的末端处的摄像机)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。
其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像机的运动，并且因此确定内窥镜的运动。定位模块95中的一些特征可以识别手术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的改变以确定哪个解剖腔被选择，以及跟踪摄像机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的方法或技术。
光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像机移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过在多次迭代中比较多个帧，可以确定摄像机(以及因此内窥镜)的移动和位置。
定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，该实时位置可以与由手术前模型表示的患者的解剖结构配准。在EM跟踪中，包括嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个位置和取向中的一个或更多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或更多个静态EM场发生器创建的EM场的变化。由EM传感器检测到的位置信息被存储为EM数据93。EM场发生器(或发送器)可以靠近患者放置，以创建嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中与患者解剖结构(例如，手术前模型)“配准”，以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦被配准，医疗器械的一个或更多个位置(例如，内窥镜的远侧尖端)中的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的进展的实时指示。
机器人命令和运动学数据94也可以由定位模块95使用以为机器人系统提供定位数据96。可以在手术前校准期间确定由接合命令产生的装置俯仰和横摆。在手术中，这些校准测量可以与已知的插入深度信息结合使用，以估计器械的位置。可替选地，这些计算可以结合EM、视觉和/或拓扑建模进行分析，以估计医疗器械在网络内的位置。
如图15所示，多个其他输入数据可以由定位模块95使用。例如，尽管在图15中未示出，但是利用形状感测光纤的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的位置和形状。
定位模块95可以以(一个或多个)组合使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91至94中的每个确定的位置分配置信度权重。因此，在EM数据可能不可靠的情况下(如可能是存在EM干扰的情况)，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能更侧重地依赖于视觉数据92和/或机器人命令和运动学数据94。
如以上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一个或更多个的组合。基于塔、床和/或推车的机器人系统的基于计算机的控制系统可以将计算机程序指令存储例如在诸如永久性磁存储驱动器、固态驱动器等的非暂时计算机可读存储介质内，所述计算机程序指令在执行时使系统接收并分析传感器数据和用户命令，生成整个系统的控制信号并且显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。
2.腔网络的导航。
上面讨论的各种机器人系统可以用于执行各种医疗过程，例如内窥镜检查过程和腹腔镜检查过程。在某些过程期间，医疗器械例如机器人控制的医疗器械被插入到患者身体内。在患者身体内，器械可以位于患者的腔网络内。如本文所使用的，术语腔网络是指体内的任何腔结构，无论是包括多个腔或分支(例如，如在肺或血管中的多个分支腔)，还是单个腔或分支(例如，在胃肠道中)。在过程期间，器械可以移动(例如，导航、引导、驱动等)通过腔网络至一个或更多个关注的区域。通过系统的器械的移动可以由上面讨论的导航或定位系统90来辅助，该导航或定位系统90可以向控制机器人系统的医生提供关于器械的位置信息。
图16示出了患者的示例腔网络130。在所示的实施方式中，腔网络130是患者肺的气道150的支气管网络(即腔、分支)。尽管所示的腔网络130是患者肺中的气道的支气管网络，但是本公开内容不仅仅限于所示的示例。本文描述的机器人系统和方法可以用于导航任何类型的腔网络，例如支气管网络、肾网络、心血管网络(例如动脉和静脉)、胃肠道、尿道等。
如图所示，腔网络130包括以分支结构布置的多个腔150。通常，腔网络130包括三维结构。为了便于说明，图16将腔网络130表示为二维结构。这不应该被解释为以任何方式将本公开内容限制于二维腔网络。
图16还示出了位于腔网络130内的医疗器械的示例。医疗器械被导航通过腔网络130至关注的区域(例如，结节155)，以用于诊断和/或治疗。在所示的示例中，结节155位于气道150的边缘处，但是根据患者和过程，关注的区域可以位于腔网络130内的任何地方。
在示出的示例中，医疗器械包括内窥镜115。内窥镜115可以包括护套120和引导件145。在一些实施方式中，护套120和引导件145可以以可伸缩的方式布置。例如，引导件145可以可滑动地位于护套120的工作通道内。护套120可以具有第一直径，并且护套120的末端不能被定位成通过结节155周围的更小直径的气道150。因此，引导件145可以被配置成从护套120的工作通道延伸到结节155的剩余距离。引导件145可以具有腔，器械例如活检针、细胞学刷和/或组织取样钳可以通过该腔而被传递到结节155的目标组织部位。在这样的实现方式中，护套120的末端和引导件145的末端都可以设置有EM器械传感器(例如，图18中的EM器械传感器305)，用于跟踪护套120的末端和引导件145的末端在气道150内的位置。护套120和引导件145的这种可伸缩的布置可以允许内窥镜115的更薄设计，并且可以在经由护套120提供结构支撑的同时改善内窥镜115的弯曲半径。
在其他实施方式中，内窥镜115的总直径可以足够小以在没有可伸缩装置的情况下到达边缘，或者内窥镜115的总直径可以足够小以接近边缘(例如，在2.5cm至3cm内)从而通过不可操纵的导管来部署医疗器械。通过内窥镜115部署的医疗器械可以配备有EM器械传感器(例如，图18中的EM器械传感器305)，并且下面描述的基于图像的分支检测和映射导航技术可以应用于这样的医疗器械。
如图所示，为了到达结节155，必须通过腔网络的腔或分支150来导航或引导器械(例如，内窥镜)。操作员(例如医生)可以控制机器人系统以将器械导航到结节155。操作员可以提供用于控制机器人系统的输入。
图17示出了示例性命令控制台200，该命令控制台200可以与本文描述的机器人系统的一些实现方式一起使用。操作员可以提供用于控制机器人系统的输入，例如，经由命令控制台200将器械导航或引导到关注的区域例如结节155。命令控制台200可以以很多种布置或配置来实施。在所示示例中，命令控制台200包括：控制台基座201、显示器202(例如，监视器)以及一个或更多个控制模块(例如，键盘203和操纵杆204)。用户205(例如，操作员或医生)可以使用命令控制台200从人体工程学位置远程地控制医疗机器人系统(例如，参照图1至图15描述的系统)。
显示器202可以包括：电子监视器(例如，LCD显示器、LED显示器、触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方式中，显示器202中的一个或更多个器显示例如由定位系统90(例如，图15)确定的关于器械的位置信息。在一些实施方式中，显示器202中的一个或更多个器显示患者腔网络130的术前模型。位置信息可以叠加在术前模型上。显示器202还可以显示从位于腔网络130内的器械上的相机或另外的感测装置接收的图像信息。在一些实施方式中，器械的模型或表示与术前模型一起显示，以帮助指示手术或医疗过程的状况。
在一些实施方式中，控制台基座201包括：中央处理单元(CPU或处理器)、存储单元(计算机可读存储器)、数据总线和相关联的数据通信端口，这些端口负责解释和处理信号，例如来自位于患者的腔网络内的医疗器械的相机影像和跟踪传感器数据。
控制台基座201还可以处理由用户205通过控制模块203、204提供的命令和指令。除了图20中所示的键盘203和操纵杆204之外，控制模块可以包括其他装置，例如计算机鼠标、触控板、跟踪球、控制板、诸如手持远程控制器的控制器以及捕捉手姿势和手指姿势的传感器(例如，运动传感器或相机)。控制器可以包括一组用户输入(例如，按钮、操纵杆、方向板等)，上述一组用户输入映射到器械的操作(例如，接合、驱动、水冲洗等)。使用控制台基座200的控制模块203、204，用户205可以将器械导航通过腔网络130。
图18示出了示例性医疗器械300的末端的详细视图。图18的医疗器械300可以代表图16的内窥镜115或可操纵导管145。医疗器械300可以代表遍及本公开内容描述的任何医疗器械，例如图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等。图18中，器械300的末端包括：成像装置315、照明源310以及形成EM器械传感器的EM传感器线圈305的端部。末端还包括通向器械300的工作通道320的开口，诸如活检针、细胞学刷、钳子等手术器械可以通过此开口沿着器械轴被插入，允许进入器械尖端附近的区域。
位于器械300的末端的EM线圈305可以与EM跟踪系统一起使用，以在EM线圈305位于腔网络中时检测器械300的末端的位置和方向。在一些实施方式中，线圈305可以成角度以对沿着不同轴线的EM场提供灵敏度，给所公开的导航系统测量全部6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方式中，只有单个线圈305可以被设置在末端上或末端内，线圈305的轴线沿着器械轴定向。由于这种系统的旋转对称性，系统可以对绕其轴线滚动不敏感，因此在这种实现方式中只能检测到五个自由度。替选地或另外地，可以采用其他类型的位置传感器。
照明源310提供光来照射解剖空间的一部分。照明源各自可以是被配置成发射选定的波长或波长的范围的光的一个或更多个发光器件。波长可以是任何合适的波长，举一些例子，例如可见光谱光、红外光、x射线(例如，用于荧光透视)。在一些实施方式中，照明源310可以包括位于器械300的末端处的发光二极管(LED)。在一些实施方式中，照明源310可以包括延伸通过内窥镜的长度的一个或更多个光纤光学的光纤，以将光从远程光源例如x射线发生器发送通过末端。在末端包括多个照明源310的情况下，照明源310各自可以被配置成发射彼此相同或不同波长的光。
成像装置315可以包括被配置成将代表接收的光的能量转换成电信号的任何光敏基板或结构，例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可以包括一个或更多个光学光纤例如光学光纤束，被配置成将代表图像的光从内窥镜的末端300传输到内窥镜的近端附近的目镜和/或图像传感器。此外，成像装置315可以包括一个或更多个关于各种光学设计需要的透镜和/或波长通过滤波器或波长截止滤波器。从照明源310发射的光允许成像装置315捕获患者的腔网络的内部的图像。然后，这些图像可以作为单个帧或连续帧系列(例如，视频)被传输到诸如命令控制台200的计算机系统。如上所述并且如下面将更详细描述的，导航或定位系统95可以利用成像装置315捕获的图像(例如，图15的视觉数据92)来确定或估计器械在腔网络内的位置(例如，器械300的末端的位置)。
3.基于图像的用于导航的分支检测和映射。
本公开内容的实施方式涉及用于基于图像的分支检测和映射的系统和技术。如本文所使用的，基于图像的分支检测可以指在图像中识别与腔网络的一个或更多个分支相关联的一个或更多个开口。例如，基于图像的分支检测系统可以使用位于腔网络内的器械上的成像装置来捕获腔网络的内部的图像，并且基于图像的分支检测系统可以进行分析以检测与腔网络的后续分支相关联的一个或更多个开口。如本文所使用的，基于图像的分支映射可以指将检测到的一个或更多个开口映射到腔网络的相应分支。例如，基于图像的分支映射系统可以被配置成识别腔网络的哪些一个或更多个分支对应于图像内的一个或更多个检测到的开口。这些系统和技术可以用于确定或估计器械在腔网络中的位置。在某些实现方式中，这些系统和技术可以与各种其他导航和定位模式(例如，如上参照图15所述)结合使用。
A.用于导航的基于图像的分支检测和映射的概述。
在腔网络内导航的能力可以是本文描述的机器人控制的手术系统的特征。如本文所使用的，导航可以是指定位或确定器械在腔网络中的位置。所确定的位置可以用于帮助将器械引导至腔网络内的一个或更多个关注的特定区域。在一些实施方式中，机器人控制的手术系统利用一个或更多个独立的感测模式来为器械提供手术期间的导航。如图15中所示，独立感测模式可以定位数据(例如，EM数据93)、视觉数据92和/或机器人命令和运动学数据94。这些独立的感测模式可以包括被配置成提供位置的独立估计的估计模块。然后，例如使用定位模块95，可以将独立估计组合到一个导航输出中，上述导航输出可以被系统使用或者被显示给用户。基于图像的分支检测和映射可以基于视觉数据92提供独立感测模式，独立感测模式可以提供位置的独立估计。特别地，在一些情况下，基于图像的分支检测和映射提供了感测模式和状态/位置估计模块的组合，该状态/位置估计模块基于由成像装置捕获的一个或多个图像来估计器械的成像装置处于腔网络的哪个腔或分支中。在一些实施方式中，由基于图像的分支检测和映射提供的估计可以单独使用或者与其他位置估计一起使用以确定可以由系统使用或者被显示给用户的最终位置估计。
在一些实施方式中，可以存在基于相同感测模式来并行工作的多个状态估计模块。作为一个示例，可以存在处理视觉数据92的多个(例如，三个)不同的状态估计模块，每个模块以不同的方式输出多个(例如，三个)不同的位置估计(均基于视觉数据92)。本公开内容涉及一种这样的模块——基于图像的分支检测和映射模块——所述模块基于视觉数据92(例如，基于单个图像)来检测分支开口，并且通过将那些检测到的分支开口映射到腔网络中的特定解剖分支来估计器械的当前位置。如下面将更详细描述的，在一些实施方式中，基于图像的分支检测和映射模块可以使用由导航或定位系统90确定的当前位置估计或先前位置估计(可以基于一个或多个感测模式)来将检测到的开口映射到腔网络中的特定解剖分支。换言之，本文中描述的基于图像的分支检测和映射系统和方法可以被配置成向导航或定位模块95提供腔网络中器械所定位的地方的位置估计。在一些实施方式中，本文中描述的基于图像的分支检测和映射系统和方法可以独立于任何其他模式。在一些实施方式中，本文中描述的基于图像的分支检测和映射系统和方法可以将其估计基于使用多个感测模式确定的先前的位置估计。
图19示出了用于基于图像的分支检测和映射的示例性方法400。方法400可以在如本文中描述的各种机器人控制的手术系统中实现。方法400可以包括两个步骤或框：检测图像中的分支开口(框402)以及将检测到的开口映射到腔网络的分支(框404)。
在框402处，方法400检测图像内的分支开口。如以上所指出的，在医疗过程期间，器械可以被定位在腔网络中(见图16)。如图18中所示，器械可以包括位于其上的成像装置315(例如相机)。成像装置315可以捕获腔网络的内部的图像。例如，在特定时刻，成像装置315可以捕获器械当前所位于的腔网络的特定分支的内部的图像。在框402处，方法400可以分析图像以检测图像中的一个或更多个开口。所述一个或更多个开口可以将腔网络的一个或更多个后续分支连接到器械所位于的当前分支。一般而言，框402可以包括图像分析，该图像分析处理图像以确定该图像是否包含一个或更多个分支开口。在某些实现方式中，如果图像被确定为包含一个或更多个分支开口，则还可以确定开口的各种特征。这些特征可以包括：识别检测到的一个或更多个分支开口的形心和/或识别检测到的一个或更多个分支开口的形状或轮廓。框402(图像中的分支开口的检测)在本文中可以被称为基于图像的分支检测，并且下面在3.B节中更详细地描述。
在框404处，方法400将一个或更多个检测到的分支开口映射到腔网络的特定分支。一般而言，在框404处，方法400确定腔网络的哪些分支与检测到的开口相关联。在某些实现方式中，框404可以包括：确定一组预期后续分支(例如，基于当前位置估计和腔网络的术前模型)，并将预期后续分支的特征与检测到的分支开口相匹配。框404(将检测到的开口映射到腔网络的分支)在本文中可以被称为基于图像的分支映射，并且下面在3.C节中更详细地描述。
通过将检测到的开口映射到腔网络的特定分支，方法400可以提供器械的位置估计。例如，使用方法400，系统或器械可以识别器械“看到”哪些分支并使用该信息来估计器械在腔网络中的位置。
B.基于图像的分支检测。
基于图像的分支检测可以分析由位于腔网络内的器械的成像装置315捕获的图像，以检测图像中的一个或更多个分支开口。例如，基于图像的分支检测对分支的内部的图像进行分析，以检测图像中是否存在将腔网络的后续分支连接到当前分支的一个或更多个开口。
图20提供了腔网络的分支的内部的示例性图像500。在示出的示例中，图像500是肺的气道的内部图像，但是图像500可以代表任何类型的腔网络。图像500中存在两个分支开口502。分支开口502将后续分支(例如，后续气道)连接到当前分支。
基于图像的分支检测可以包括计算机系统可以凭借其计算地识别分支开口502的方法。在一些情况下，图像500包括两类像素：(1)代表腔网络的壁(例如，组织)的像素，以及(2)代表开口的像素。根据某些实施方式，基于图像的分支检测可以系统地检测这两类像素，以识别和检测图像中的分支开口。
图21示出了用于基于图像的分支检测的示例性方法600。方法600开始于框602，在框602处，利用位于分支内的成像装置捕获腔网络的分支内部的图像。可以由如上所述的位于腔网络内的器械上的成像装置315来捕获图像或者可以从成像装置315接收图像。
在框604处，生成图像的像素强度值的直方图。例如，框604可以包括绘制每个强度值处的像素数。像素强度可以在例如暗和亮之间变化。暗/亮标度可以例如数字地表示为范围，例如，在0和1之间(0表示完全暗(黑)以及1表示完全亮(白))，或者在0和256之间(0表示完全暗(黑)以及1表示完全亮(白))。其他标度也是可能的。尽管本公开内容涉及基于像素强度(亮度)生成直方图的示例，但是直方图也可以基于图像的其他特征(例如颜色)来生成。
图22示出了包含一个或更多个分支开口的图像(例如，图20的图像500)的示例性直方图700。在图22中，像素强度已经被均等并且被表示在0到256之间的数字标度上。直方图的均等化可以产生线性直方图。条代表图像中每个强度值处的像素数。如图所示，直方图700是双峰的。也就是，直方图700包括两个不同的峰值702、704。第一峰值702可以代表表示腔网络的壁(例如，组织)的像素，并且第二峰值704可以代表表示图像内的开口的像素。在许多情况下，腔网络的分支的内部的直方图将是双峰的，包括所示的两个峰值。这可能是因为，在类似隧道的视图中(例如在腔网络中)，像素将通常是暗的(代表开口)或亮的(代表分支壁)。
回到图21的方法600，在框606处，低于阈值的像素被识别为指示图像内的开口。可选地或另外地，高于或低于阈值的像素被识别为或分类为指示分支开口。可选地或另外地，高于或低于阈值的像素可以被识别为或分类为指示腔网络的组织或壁。一般而言，在框606处确定阈值，该阈值将图像的像素在代表分支开口的像素和代表分支壁的像素之间分配。通过将像素指定为或识别为代表分支开口或代表分支壁，可以检测图像中的分支开口。
图23A和图23B示出了示例性图像800a、800b，图像800a、800b示出了如何检测分支开口802。参照图23A，在确定的阈值处的像素被突出显示，产生围绕开口802的轮廓805。参照图23B，像素被分割成高于阈值和低于阈值以识别开口802。例如，高于阈值所有像素被分割并以白色示出，同时低于阈值的所有像素被分割并以黑色示出。在图23B的示例中，黑色像素代表开口802。
图24示出了示例性子程序或方法900，子程序或方法900可以在方法600(图21)的框606的一些实施方式中实现以将高于阈值/低于阈值的像素识别为/分类为指示分支开口。方法900可以包括四个步骤或框。在框902处，识别直方图中的峰值。如以上所指出的，通常，腔的内部的图像的直方图可以是双峰的，包含两个可识别的峰值。例如，在图22的直方图700中，第一峰值702出现在强度值60处，并且第二峰值702出现在强度值180处。
在框904处，识别峰值之间的中点值。继续参照图22的示例，直方图700的峰值702之间的中点704出现在强度140处。系统地，中点704可以通过找到划分(例如，相等地)直方图700的两个峰值702之间的值来确定。回到图24，在框906处，阈值被设置为等于中点704。因此，高于中点704或阈值的任何像素可以被确定为是组织，并且低于中点704或阈值的任何像素可以被确定为是开口。如图23A所示，阈值处的像素可以被突出显示，以示出开口802的轮廓805。
最后，在框906处，高于/低于阈值的像素被识别为或分类为指示分支开口。如图23B所示，通过给高于阈值的像素指定最大强度(例如，白色)并给低于阈值像素指定最小强度(例如，黑色)，阈值可用于将图像分割成亮区域和暗区域。如此，开口802可以被检测和可视化。
如所述，基于图像的分支检测可以被配置成分析图像以检测分支开口。本文中描述的基于图像的分支检测方法可用于遍及本公开内容描述的机器人控制的手术系统的各种实施方式中。在一些实施方式中，基于图像的分支检测包括实现用于识别腔网络的分支的开口的方法。该方法可以包括利用位于分支内的成像装置来捕获腔网络的分支内部的图像。可以使用位于腔网络的分支内的器械上的成像装置315来捕获图像。该方法还可以包括生成图像的像素强度值的直方图。通常，直方图可以是双峰的，并且峰值出现代表组织(例如，腔网络的壁)和分支开口。该方法还可以包括将低于阈值的像素识别为指示图像中的开口。
在一些实施方式中，该方法还包括基于直方图来确定阈值。阈值可以是直方图的两个峰值之间的中点值。例如，确定阈值可以包括：识别直方图内的至少两个峰值，识别至少两个峰值之间的中点，以及将阈值设置成等于中点的强度值。在其他实施方式中，阈值可以通过其他方法来确定。例如，阈值可以是存储在存储器中的预定值。
基于图像的分支检测方法可以包括各种其他特征。例如，在一些实施方式中，基于图像的分支检测方法可以包括识别检测到的分支开口的其他特征。例如，基于图像的分支检测方法还可以包括：对于图像内的识别的开口的每一个，确定开口的形心。作为另外的示例，基于图像的分支检测方法还可以包括：对于图像内的识别的开口的每一个，确定开口的轮廓。可以通过识别阈值处的像素来确定轮廓。
在一些实施方式中，基于图像的分支检测方法还可以包括：将图像中的识别的开口的数目与坏帧检测器阈值进行比较。在一些实施方式中，坏帧检测器阈值被设置成三、四、五、六或更多。如果基于图像的分支检测方法检测到大于或等于坏帧检测器值的开口的数目，则该方法可以确定坏帧或错误并丢弃图像。例如，在一些情况下，图像中的气泡或其他特征可能显现为开口并产生假阳性。如果检测到的开口的数目超过由坏帧检测器阈值代表的开口的可能数目，则该方法可以确定它已经识别出假阳性(例如，不是真正开口的开口)。在这种情况下，该方法可以丢弃当前图像，重新检测第二图像内的开口。例如，如果识别的开口的数目超过坏帧检测器阈值，则该方法还可以包括：捕获分支的内部的第二图像，并分析第二图像以确定第二图像内的开口。
C.基于图像的分支映射。
基于图像的分支映射确定或识别腔网络的哪些分支与检测到的开口相关联。也就是说，基于图像的分支映射可以确定腔网络的哪些后续分支在检测到的分支开口处连接到当前分支。通过将检测到的开口映射到腔网络的分支，可以确定器械在腔网络内的位置。此外，还可以获得器械将移动到哪个分支中的估计或预测。
广义而言，通过将检测到的开口的特征与腔网络的分支的特征进行比较，可以将检测到的开口映射到腔网络的分支。检测到的开口的特征可以通过如上所述的图像分析来确定。腔网络的分支的特征可以从腔网络的模型诸如腔网络的术前模型来确定。此外，在某些实施方式中，将检测到的开口映射到腔网络的分支可以基于器械在腔网络内的当前位置估计。当前位置估计可以基于如上参照图15所述的各种感测模式来确定。基于当前位置估计将检测到的开口映射到腔网络的分支可以提高映射过程的效率、速度和/或准确性。例如，给定当前位置估计，可以将检测到的开口的特征与预期后续分支的特征进行比较。这可以使执行映射所需的计算负荷最小化并且提高映射速度。
图25示出了腔网络1000的简化表示。腔网络1000包括多个分支(例如，腔、段等)1002、1004、1006、1008、1010、1012、1014、1016。腔网络1000还包括将各种分支相互连接的分支点1020、1022、1024。腔网络1000可以代表肺的支气管网络的一部分，并且分支可以代表气道。腔网络1000可以由模型表示。该模型可以在术前确定。术前模型数据91(即，关于术前模型的信息)可以被存储并可用于导航和定位系统90(例如，图15)。如下文将作为示例描述的，基于图像的分支映射可以被配置成将检测到的开口映射到腔网络1000的分支。
图26示出了基于图像的分支映射的示例性方法1100。方法1100可以由本文中描述的机器人控制的手术系统的各种部件来实现。方法1100将参照图25的腔网络1000通过示例的方式描述，但不限于此。
在框1102处，方法1100接收或者确定位于腔网络1000内的器械的位置状态估计。位置状态估计可以包括器械当前位于哪个分支的标识。位置状态估计可以由例如图15的导航和定位系统90来确定。位置状态估计可以基于各种和/或多种位置感测模式和信息来确定，例如术前模型数据91、视觉数据92、EM数据93(或其他位置感测数据)、形状感测数据和/或机器人命令和运动学数据94。
例如，参照图25，位置状态估计可以包括器械当前位于腔网络1000的任何分支(例如，分支1002、分支1004、分支1006等)内的指示。
位置状态估计还可以包括另外的信息。这种另外的信息可以包括：当前段内深度的确定或估计和/或当前器械滚动(例如，围绕器械的纵向轴线的旋转)的确定或估计。在一些实施方式中，系统或方法可以维护或生成多个位置状态估计，并且可以向位置状态估计的每一个指定概率。在多个位置状态估计中，可以向用户提供最可能的位置状态估计。例如，系统或方法可以生成第一位置状态估计(包括例如器械以第一深度和滚动角定位在第一分支1002内的指示)和第二位置状态估计(包括例如器械以第二深度和滚动角定位在第二分支1004内的指示)。系统可以确定每一个位置状态估计的概率。例如，系统可以确定器械在第一位置状态估计处的概率为60％，并且器械在第二位置状态估计处的概率为40％。因为第一位置状态估计的概率更高，所以系统可以在方法1100的一个或更多个另外的步骤中向用户提供第一位置状态估计或者使用第一位置状态估计。
在框1104处，方法1100基于在框1102处确定的位置状态估计来确定一组预期后续分支。例如，如果位置状态估计指示器械在分支1002中，则一组预期后续分支可以包括连接到分支1002的那些分支：分支1004和分支1006。作为另一个示例，如果位置状态估计指示器械在分支1004中，则一组预期后续分支可以包括分支1008和分支1010。作为另一个示例，如果位置状态估计指示器械在分支1006中，则一组预期后续分支可以包括分支1012、分支1014和分支1016。关于一组后续分支的信息可以从存储为术前模型数据91的术前模型导出(例如，图15)。
除了后续分支的指示之外，还可以确定关于一组预期后续分支的另外的数据。例如，也可以从术前模型中确定预期后续分支的开口的形心和/或一组后续分支的开口的轮廓。
在框1106处，方法1100可以执行对器械滚动的校正。当器械对腔网络1000导航时，器械可能经历滚动(例如，绕器械的纵向轴线滚动)。这种滚动可以是促进通过腔网络的移动的命令的滚动或者是非有意的滚动。关于器械的滚动的信息可以从例如机器人命令和运动学数据94和/或器械的物理特性诸如扭转刚度等来确定。在一些情况下，可能有必要对器械滚动进行校正，使得检测到的开口的特征可以与一组预期后续开口的特征进行比较，如以下框1108所述。下面参照图27A至图27C描述框1106、1108、1110的示例。
在框1108处，方法1100将检测到的开口的特征与在框1104处确定的一组检测到的后续分支的开口的特征进行比较。在一个示例中，将连接检测到的开口的形心的向量与连接一组预期后续开口中的开口的形心的向量进行比较。在另外的实施方式中，将每一个检测到的开口的形状或轮廓与一组检测到的后续开口中的每一个开口的形状或轮廓进行比较。也可以比较其他特征。
在框1110处，方法1100将检测到的开口映射到腔网络1000的分支。映射可以基于框1108的比较，使用最接近的匹配来将检测到的开口映射到腔网络1000的分支。
例如，图27A示出了包括两个检测到的开口的图像1202。已经标识了每个检测到的开口的形心1204，并且确定了连接形心1204的向量Vi。在图27B的左侧面板中，已经基于器械的当前位置估计确定了一组预期后续分支。在这个示例中，一组预期后续分支包括分支2和分支119。示出了将分支119连接到分支2的向量VM。如图27B的右侧面板所示，向量VM可以针对器械滚动而被校正，以产生向量Vv。尽管未示出，但是将分支2连接到分支119的第二向量也可以被确定并针对滚动而被校正。第二向量将与向量Vv大小相等但方向相反。然后，这两个向量可以与向量Vi进行比较。在某些情况下，比较这些向量包括取点积。然后，可以使用最接近的匹配(例如，在一些示例中，最接近1的点积)来将检测到的开口映射到一组预期后续分支。如图27C所示，两个检测到的分支已经被映射到所示的分支2和分支119。
作为另外的示例，用于基于图像的分支映射的方法可以包括以下步骤：(1)识别图像内的检测到的分支的位置(例如，x坐标和y坐标)；(2)确定或接收器械当前位于哪个分支的估计；(3)使用当前分支的该估计，基于术前模型生成存在于估计分支的所有直接子分支(即，连接到当前分支的分支)的列表以及所有直接子分支的位置(例如，直接子分支的x坐标和y坐标)；(4)迭代地将这些子分支的变换的(例如，滚动校正)坐标匹配到在步骤1处确定的位置，并计算关于每次迭代(或多对迭代)的成本(度量)；以及(5)使用最低成本的匹配以将这些子分支指定给检测到的分支。
D.基于图像的分支预测。
在某些实现方式中，本公开内容的系统和方法还可以基于器械的当前位置来预测或估计器械下一步可能进入哪个气道。在一些实现中，本公开内容的系统和方法可以提供关于进入检测到的和映射的分支中的每个分支的概率的预测或估计。在某些示例中，这可以通过确定检测到的和映射的分支中的哪一个分支最靠近图像的中心来实现。
图28提供了图像1300，其示出了图像1300的中心与两个被检测到的和映射的开口2和开口119的形心之间的距离d2和d119。如图所示，因为开口2的形心更靠近图像的中心，因此距离d2小于距离d119。因此，方法或系统可以提供器械可能进入分支2的估计或预测。在一些情况下，方法或系统可以提供关于进入分支2和分支119的概率。概率可以与距离d2和d119成比例地相关。较短的距离可能与较高的概率相关。这可能是因为较短的距离可能指示器械面对相应的开口或者器械朝向相应的开口。
这些估计或概率可以被提供给定位模块95(例如，图15)，并且用于提供更新的定位数据96。因此，在一些实施方式中，未来位置状态估计可以有利地至少部分基于先前确定的位置状态估计，先前确定的位置状态估计可以包括器械可能进入多个分支中的哪一个分支的概率。系统可以确定器械最有可能进入最靠近图像的中心的开口。这可以促进导航，因为未来位置状态估计考虑了以先前位置状态估计确定的概率。在一些情况下，这可以有利地减少估计位置所需的计算负荷。在一些实施方式中，这可以有利地减少确定位置状态估计所需的时间。在一些实施方式中，这可以提高位置状态估计的准确性。
E.基于图像的分支检测和映射导航方法和系统的示例。
图29示出了用于实现如上所述的基于图像的分支检测和映射的示例性方法1400。方法1400可以在遍及本公开内容描述的各种机器人控制的系统中实现。方法1400可以使用机器人系统来实现，该机器人系统包括具有细长体的器械，该细长体被配置成插入腔网络中。成像装置可以被定位在细长体上(例如，在细长体的末端上)。器械可以附接到被配置成移动器械通过腔网络的器械定位装置(例如，机器人臂)。采用方法1400的系统可以包括处理器，该处理器配置有使处理器执行方法1400的指令。方法1400仅作为示例的方式被提供，并且基于图像的分支检测和映射可以使用与图29所示的那些步骤不同的步骤来实现。
在框1401处，方法1400将器械插入到腔网络的当前分支中。在框1402处，方法1400接收器械的位置状态估计。在一些实施方式中，框1402确定位于腔网络的当前分支内的器械的位置状态估计，其中位置状态估计可以由图15的导航和定位系统90基于各种感测模式中的一个或更多个来确定。
在框1404处，方法1400至少部分地基于腔网络的初始状态估计和术前模型来确定一组预期后续分支。
在框1406处，方法1400使用位于器械上的成像装置(例如，成像装置315)来捕获当前分支的图像。
在框1408处，方法1400分析图像以检测将腔网络的后续分支连接到当前分支的开口。在一些实施方式中，检测图像内的多个开口包括执行图像分析。在一些实施方式中，图像分析包括：生成图像的像素强度值的直方图，以及分析直方图以识别图像内的多个开口。在一些实施方式中，分析直方图包括：识别直方图内的至少两个峰值，识别至少两个峰值之间的中点，以及将中点的第一侧上的像素分类为开口。
在一些实施方式中，在框1408处，方法1400还确定检测到的开口的一个或更多个特征。所述一个或更多个特征可以选自有开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。
在框1410处，方法1400将检测到的开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一。在一些实施方式中，方法1400还包括从术前模型获得与一组预期后续分支有关的信息。信息可以包括以下中至少之一：开口的形心、开口的轮廓以及连接两个开口的形心的向量。在一些实施方式中，对于检测到的开口中的每个检测到的开口，将检测到的多个开口的特征与一组预期后续分支进行比较包括：迭代地将检测到的开口的一个或更多个特征与和一组预期后续分支有关的信息进行匹配。在一些实施方式中，最高匹配用于将该检测到的开口映射到预期后续分支之一。
在框1412处，方法1400至少部分基于比较来提供更新的位置状态估计。在一些实施方式中，至少部分基于比较，框1412提供更新的位置状态估计。在一些实施方式中，更新的位置状态估计包括位置状态估计为正确的概率。在一些实施方式中，部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率。在一些实施方式中，部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支相匹配的程度来确定概率。在一些实施方式中，更新的位置状态估计包括器械将被移动到哪个后续分支的估计。
在一些实施方式中，方法1400还包括确定多个检测到的开口中的哪个开口更靠近图像的中心。在一些实施方式中，更新的位置状态估计包括器械将被移动到被确定为更靠近图像中心的开口中的概率。
在一些实施方式中，器械包括内窥镜。在一些实施方式中，腔网络包括肺的支气管网络、胃肠道或肾脏的肾网络，但是其他腔网络的导航也是可能的。
4.实现系统和术语。
本文公开的实现方式提供了用于导航机器人控制的医疗器械的用于基于图像的分支检测和映射的系统、方法和设备。本文描述的各种实现提供了关于改进的腔网络的导航。
应当注意，本文所使用的术语“耦接(couple)”、“耦接的(coupling)”、“被耦接(coupled)”或单词“耦接(couple)”的其他变体可以表示间接的连接或者直接的连接。例如，如果第一部件“耦接”到第二部件，则第一部件可以经由另外的部件间接得连接到第二部件，或者第一部件直接地连接到第二部件。
本文中描述的位置估计和机器人运动致动功能可以作为一个或更多个指令被存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指计算机或处理器可以访问的任何可用介质。举例而非限制的，这种介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、光盘只读存储器(CD-ROM)或其他光盘存储器、磁盘存储器或其他磁存储装置，或者可以用于存储指令形式或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。应当注意的是计算机可读介质可以是有形的和非暂态的。如本文所使用的，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
本文公开的方法包括用于实现所述方法的一个或更多个步骤或动作。方法步骤和/或动作在不偏离权利要求的范围的情况下可以彼此互换。换言之，除非所描述的方法的正确操作需要步骤或动作的特定顺序，否则在不偏离权利要求的范围的情况下可以修改特定步骤和/或动作的顺序和/或使用。
本文所使用的术语“多个”表示两个或更多个。例如，多个部件表示两个或更多个部件。术语“确定”包含各种各样的动作，因此，“确定”可以包括计算(calculating)、计算(processing)、处理、导出、调查、查找(例如，在表、数据库或另外的数据结构中查找)、确定等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择(selecting)、选择(choosing)、建立等。
除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换言之，短语“基于”描述了“仅基于”和“至少基于”
提供对所公开的实现方式的先前描述以使本领域的任何技术人员能够制造或使用本发明。对这些实现方式的各种修改对于本领域技术人员来说将是明显的，并且在不偏离本发明的范围的情况下，本文限定的一般性原理可以应用于其他实现方式。例如，应当理解，本领域普通技术人员将能够采用许多相应的可替选的和等效的结构细节，例如紧固、安装、耦接或接合工具部件的等效方式、用于产生特定致动运动的等效机构以及用于传递电能的等效机构。因此，本发明并不意味着限于本文所示的实现方式，而是符合与本文公开的原理和新特征相一致的最宽范围。

Claims (22)

1.一种非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上存储有指令，所述指令在被执行时使装置的处理器至少进行如下步骤：
确定位于腔网络的当前分支内的器械的位置状态估计，所述器械具有被配置成插入到所述腔网络的细长本体和位于所述细长本体的末端部分上的成像装置，所述器械附接到被配置成移动所述器械穿过所述腔网络的器械定位装置；
至少部分地基于所述位置状态估计和所述腔网络的术前模型来确定一组预期后续分支；
使用位于所述器械上的成像装置捕获所述当前分支的图像；
在所述图像内检测将所述腔网络的后续分支连接到所述当前分支的多个开口；
基于所述图像内检测到的开口的取向与所述一组预期后续分支的取向的比较来确定所述器械的滚动的估计；
确定检测到的多个开口的第一特征；
确定所述一组预期后续分支的第二特征；
基于对所述器械的滚动的估计计算滚动校正值；
基于所述滚动校正值校正所述第二特征；
将所述第一特征与校正后的第二特征进行比较以确定所述多个开口中的每个开口到所述一组预期后续分支中的一个预期后续分支的映射；以及
至少部分地基于所述映射，提供更新的位置状态估计。
2.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述更新的位置状态估计包括所述位置状态估计为正确的概率。
3.根据权利要求2所述的非暂态计算机可读存储介质，其中，部分地基于所述第一特征与所述校正后的第二特征之间的比较来确定所述概率。
4.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述更新的位置状态估计包括所述器械将被移动到哪个后续分支内的估计。
5.根据权利要求1所述的非暂态计算机可读存储介质，其中：
所述指令在被执行时使所述装置的所述处理器确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心，
所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。
6.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述装置的所述处理器确定检测到的开口的所述第一特征，所述第一特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。
7.根据权利要求6所述的非暂态计算机可读存储介质，其中所述指令在被执行时使所述装置的所述处理器从所述术前模型确定所述一组预期后续分支的所述第二特征，其中所述第二特征包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一。
8.根据权利要求7所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述装置的所述处理器通过如下方式将检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支进行比较：
对于所述检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的所述第一特征与所述一组预期后续分支的所述校正后的第二特征进行匹配，
其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。
9.一种用于对患者的腔网络进行导航的机器人系统，所述机器人系统包括：
器械，所述器械具有：
细长本体，所述细长本体被配置成插入到所述腔网络中，以及
成像装置，所述成像装置位于所述细长本体的末端部分上；
附接至所述器械的器械定位装置，所述器械定位装置被配置成移动所述器械通过所述腔网络；
上面存储有可执行指令的至少一个计算机可读存储器；以及
一个或更多个处理器，所述一个或更多个处理器与所述至少一个计算机可读存储器通信并且被配置成执行所述指令以使所述系统至少进行如下步骤：
确定位于所述腔网络的当前分支内的器械的位置状态估计；
至少部分地基于初始状态估计和所述腔网络的术前模型确定一组预期后续分支；
使用位于所述器械上的成像装置捕获所述腔网络的所述当前分支的图像；
在所述图像内检测将所述腔网络的后续分支连接到所述当前分支的多个开口；
基于所述图像内检测到的开口的取向与所述一组预期后续分支的取向的比较来确定所述器械的滚动的估计；
确定检测到的多个开口的第一特征；
确定所述一组预期后续分支的第二特征；
基于对所述器械的滚动的估计计算滚动校正值；
基于所述滚动校正值校正所述第二特征；
将所述第一特征与校正后的第二特征进行比较，以确定所述多个开口中的每个开口到所述一组预期后续分支之一的映射；以及
至少部分地基于所述映射，提供更新的位置状态估计。
10.根据权利要求9所述的系统，其中，所述器械包括内窥镜。
11.根据权利要求9所述的系统，其中，所述器械定位装置包括机器人臂。
12.根据权利要求9所述的系统，其中，所述腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络。
13.根据权利要求9所述的系统，其中，所述指令在被执行时使所述一个或更多个处理器确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心，并且其中所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。
14.根据权利要求9所述的系统，其中所述指令在被执行时使所述一个或更多个处理器确定检测到的开口的所述第一特征，其中所述第一特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。
15.根据权利要求14所述的系统，其中所述指令在被执行时使所述装置的所述一个或更多个处理器从所述术前模型获得与所述一组预期后续分支有关的信息，其中所述信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一。
16.根据权利要求15所述的系统，其中，所述指令在被执行时使所述一个或更多个处理器通过如下方式将检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支进行比较：
对于所述检测到的开口的每个检测到的开口，迭代地将该检测到的开口的所述一个或更多个特征和与所述一组预期后续分支的所述校正后的第二特征进行匹配，
其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。
17.一种医疗系统，包括：
器械，其具有被配置成插入到腔网络的细长本体和位于所述细长本体的末端部分上的成像装置，所述器械附接到被配置成移动所述器械穿过所述腔网络的器械定位装置；以及
控制电路，其被配置成：
接收器械的位置状态估计；
至少部分地基于初始状态估计和所述腔网络的术前模型确定一组预期后续分支；
使用位于所述器械上的成像装置捕获当前分支的图像；
分析所述图像以检测将后续分支连接到所述当前分支的多个开口；
基于所述图像内检测到的开口的取向与所述一组预期后续分支的取向的比较来确定所述器械的滚动的估计；
确定检测到的多个开口的第一特征；
确定所述一组预期后续分支的第二特征；
基于对所述器械的滚动的估计计算滚动校正值；
基于所述滚动校正值校正所述第二特征；
将所述第一特征与校正后的第二特征进行比较，以确定所述多个开口中的每个开口到所述预期后续分支之一的映射；以及
至少部分地基于所述映射，提供更新的位置状态估计。
18.根据权利要求17所述的系统，其中所述更新的位置状态估计包括所述位置状态估计为正确的概率。
19.根据权利要求18所述的系统，其中部分地基于所述第一特征与所述校正后的第二特征之间的比较来确定所述概率。
20.根据权利要求19所述的系统，其中，部分地基于检测到的所述多个开口的所述一个或更多个特征和所述一组预期后续分支匹配的程度来确定所述概率。
21.根据权利要求17所述的系统，其中，所述控制电路还被配置成：
确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心；并且
其中所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。
22.根据权利要求17所述的系统，还包括：
确定检测到的开口的所述第一特征，其中所述第一特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；以及
从所述术前模型确定所述一组预期后续分支的所述第二特征，其中所述第二特征包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；
其中将检测到的所述第一特征与所述校正后的第二特征进行比较包括：
对于所述检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的所述第一特征和与所述一组预期后续分支的所述校正后的第二特征进行匹配，
其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。
CN201880044524.7A 2017-10-13 2018-09-21 用于导航的基于图像的分支检测和映射 Active CN110832544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/783,903 US10555778B2 (en) 2017-10-13 2017-10-13 Image-based branch detection and mapping for navigation
US15/783,903 2017-10-13
PCT/US2018/052268 WO2019074650A2 (en) 2017-10-13 2018-09-21 DETECTION AND MAPPING OF IMAGE-BASED BRANCHES FOR NAVIGATION

Publications (2)

Publication Number Publication Date
CN110832544A CN110832544A (zh) 2020-02-21
CN110832544B true CN110832544B (zh) 2024-05-17

Family

ID=66096810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880044524.7A Active CN110832544B (zh) 2017-10-13 2018-09-21 用于导航的基于图像的分支检测和映射

Country Status (7)

Country Link
US (3) US10555778B2 (zh)
EP (1) EP3676799A4 (zh)
JP (1) JP7350726B2 (zh)
KR (1) KR20200073245A (zh)
CN (1) CN110832544B (zh)
AU (1) AU2018347464B2 (zh)
WO (1) WO2019074650A2 (zh)

Families Citing this family (227)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8414505B1 (en) 2001-02-15 2013-04-09 Hansen Medical, Inc. Catheter driver system
US7972298B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
US9232959B2 (en) 2007-01-02 2016-01-12 Aquabeam, Llc Multi fluid tissue resection methods and devices
JP5506702B2 (ja) 2008-03-06 2014-05-28 アクアビーム エルエルシー 流体流れ内を伝達される光学エネルギーによる組織切除および焼灼
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9254123B2 (en) 2009-04-29 2016-02-09 Hansen Medical, Inc. Flexible and steerable elongate instruments with shape control and support elements
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US20120071752A1 (en) 2010-09-17 2012-03-22 Sewell Christopher M User interface and method for operating a robotic medical system
US20130030363A1 (en) 2011-07-29 2013-01-31 Hansen Medical, Inc. Systems and methods utilizing shape sensing fibers
EP2819599B1 (en) 2012-02-29 2018-05-23 Procept Biorobotics Corporation Automated image-guided tissue resection and treatment
US20130317519A1 (en) 2012-05-25 2013-11-28 Hansen Medical, Inc. Low friction instrument driver interface for robotic systems
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US9668814B2 (en) 2013-03-07 2017-06-06 Hansen Medical, Inc. Infinitely rotatable tool with finite rotating drive shafts
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
US9452018B2 (en) 2013-03-15 2016-09-27 Hansen Medical, Inc. Rotational support for an elongate member
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
US10376672B2 (en) 2013-03-15 2019-08-13 Auris Health, Inc. Catheter insertion system and method of fabrication
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
EP3200718A4 (en) 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
US10499999B2 (en) 2014-10-09 2019-12-10 Auris Health, Inc. Systems and methods for aligning an elongate member with an access site
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US11819636B2 (en) 2015-03-30 2023-11-21 Auris Health, Inc. Endoscope pull wire electrical circuit
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
US9622827B2 (en) 2015-05-15 2017-04-18 Auris Surgical Robotics, Inc. Surgical robotics system
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
EP4137034A1 (en) 2015-09-09 2023-02-22 Auris Health, Inc. Instrument device manipulator for a surgical robotics system
KR20240064004A (ko) 2015-09-18 2024-05-10 아우리스 헬스, 인크. 관형 조직망의 탐색
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10463439B2 (en) 2016-08-26 2019-11-05 Auris Health, Inc. Steerable catheter with shaft load distributions
US11241559B2 (en) 2016-08-29 2022-02-08 Auris Health, Inc. Active drive for guidewire manipulation
AU2016422171B2 (en) 2016-08-31 2022-01-20 Auris Health, Inc. Length conservative surgical instrument
US11103990B2 (en) 2016-09-16 2021-08-31 Mobius Imaging Llc System and method for mounting a robotic arm in a surgical robotic system
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
US10792466B2 (en) 2017-03-28 2020-10-06 Auris Health, Inc. Shaft actuating handle
EP3600031A4 (en) 2017-03-31 2021-01-20 Auris Health, Inc. ROBOTIC NAVIGATION SYSTEMS IN LUMINAL NETWORKS COMPENSATION FOR PHYSIOLOGICAL NOISE
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
US10987174B2 (en) 2017-04-07 2021-04-27 Auris Health, Inc. Patient introducer alignment
EP3622528A1 (en) * 2017-05-09 2020-03-18 Boston Scientific Scimed, Inc. Operating room devices, methods, and systems
CN110831498B (zh) 2017-05-12 2022-08-12 奥瑞斯健康公司 活检装置和系统
AU2018270785B2 (en) 2017-05-17 2023-11-23 Auris Health, Inc. Exchangeable working channel
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
AU2018292284B2 (en) 2017-06-28 2023-03-23 Auris Health, Inc. Electromagnetic field generator alignment
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
WO2019005872A1 (en) 2017-06-28 2019-01-03 Auris Health, Inc. INSTRUMENT INSERTION COMPENSATION
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US10987179B2 (en) 2017-12-06 2021-04-27 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
EP3684281A4 (en) 2017-12-08 2021-10-13 Auris Health, Inc. SYSTEM AND PROCEDURE FOR NAVIGATION AND TARGETING OF MEDICAL INSTRUMENTS
KR102473254B1 (ko) 2017-12-08 2022-12-06 아우리스 헬스, 인코포레이티드 지향된 유체 공학
CN111770736A (zh) 2017-12-11 2020-10-13 奥瑞斯健康公司 用于基于器械的插入架构的系统和方法
KR20200100613A (ko) * 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
WO2019143458A1 (en) * 2018-01-17 2019-07-25 Auris Health, Inc. Surgical robotics systems with improved robotic arms
USD901018S1 (en) 2018-01-17 2020-11-03 Auris Health, Inc. Controller
USD924410S1 (en) 2018-01-17 2021-07-06 Auris Health, Inc. Instrument tower
USD873878S1 (en) 2018-01-17 2020-01-28 Auris Health, Inc. Robotic arm
WO2019143459A1 (en) 2018-01-17 2019-07-25 Auris Health, Inc. Surgical platform with adjustable arm supports
USD901694S1 (en) 2018-01-17 2020-11-10 Auris Health, Inc. Instrument handle
USD932628S1 (en) 2018-01-17 2021-10-05 Auris Health, Inc. Instrument cart
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
KR20200122337A (ko) 2018-02-13 2020-10-27 아우리스 헬스, 인코포레이티드 의료 기구를 구동시키기 위한 시스템 및 방법
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
WO2019190657A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
WO2019204012A1 (en) * 2018-04-20 2019-10-24 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays
CN112218595A (zh) 2018-05-18 2021-01-12 奥瑞斯健康公司 用于机器人使能的远程操作的系统的控制器
KR102499906B1 (ko) 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
EP3801189A4 (en) 2018-05-31 2022-02-23 Auris Health, Inc. PATH-BASED NAVIGATION OF TUBULAR NETWORKS
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人系统和方法
US10751140B2 (en) 2018-06-07 2020-08-25 Auris Health, Inc. Robotic medical systems with high force instruments
JP7366943B2 (ja) 2018-06-27 2023-10-23 オーリス ヘルス インコーポレイテッド 医療器具のための位置合わせ及び取り付けシステム
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
JP7391886B2 (ja) 2018-06-28 2023-12-05 オーリス ヘルス インコーポレイテッド 滑車共有を組み込んだ医療システム
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
WO2020033318A1 (en) 2018-08-07 2020-02-13 Auris Health, Inc. Combining strain-based shape sensing with catheter control
US10828118B2 (en) 2018-08-15 2020-11-10 Auris Health, Inc. Medical instruments for tissue cauterization
US10639114B2 (en) 2018-08-17 2020-05-05 Auris Health, Inc. Bipolar medical instrument
WO2020041619A2 (en) 2018-08-24 2020-02-27 Auris Health, Inc. Manually and robotically controllable medical instruments
US11197728B2 (en) 2018-09-17 2021-12-14 Auris Health, Inc. Systems and methods for concomitant medical procedures
WO2020068853A2 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Articulating medical instruments
EP3813716A4 (en) 2018-09-26 2022-07-13 Auris Health, Inc. SYSTEMS AND INSTRUMENTS FOR SUCTION AND IRRIGATION
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
WO2020069430A1 (en) 2018-09-28 2020-04-02 Auris Health, Inc. Systems and methods for docking medical instruments
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11576738B2 (en) 2018-10-08 2023-02-14 Auris Health, Inc. Systems and instruments for tissue sealing
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
WO2020131186A1 (en) 2018-12-20 2020-06-25 Auris Health, Inc. Systems and methods for robotic arm alignment and docking
US11950863B2 (en) 2018-12-20 2024-04-09 Auris Health, Inc Shielding for wristed instruments
EP3870023A4 (en) 2018-12-28 2022-07-27 Auris Health, Inc. MEDICAL INSTRUMENT WITH AN ARTICULABLE SEGMENT
WO2020140072A1 (en) 2018-12-28 2020-07-02 Auris Health, Inc. Percutaneous sheath for robotic medical systems and methods
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
EP3883492A4 (en) 2019-01-25 2022-11-30 Auris Health, Inc. VESSEL SEALING DEVICE HAVING HEATING AND COOLING CAPABILITIES
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11857277B2 (en) 2019-02-08 2024-01-02 Auris Health, Inc. Robotically controlled clot manipulation and removal
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
WO2020185516A1 (en) 2019-03-08 2020-09-17 Auris Health, Inc. Tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and
US11638618B2 (en) 2019-03-22 2023-05-02 Auris Health, Inc. Systems and methods for aligning inputs on medical instruments
WO2020197625A1 (en) 2019-03-25 2020-10-01 Auris Health, Inc. Systems and methods for medical stapling
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
CN114173698A (zh) 2019-04-08 2022-03-11 奥瑞斯健康公司 用于伴随规程的系统、方法和工作流程
US11369386B2 (en) 2019-06-27 2022-06-28 Auris Health, Inc. Systems and methods for a medical clip applier
WO2020264418A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Console overlay and methods of using same
WO2020263949A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Medical instruments including wrists with hybrid redirect surfaces
JP2022544554A (ja) 2019-08-15 2022-10-19 オーリス ヘルス インコーポレイテッド 複数の屈曲部を有する医療デバイス
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
USD978348S1 (en) 2019-08-15 2023-02-14 Auris Health, Inc. Drive device for a medical instrument
USD975275S1 (en) 2019-08-15 2023-01-10 Auris Health, Inc. Handle for a medical instrument
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
EP4021331A4 (en) * 2019-08-30 2023-08-30 Auris Health, Inc. SYSTEMS AND METHODS FOR WEIGHT-BASED REGISTRATION OF POSITION SENSORS
CN114340540B (zh) * 2019-08-30 2023-07-04 奥瑞斯健康公司 器械图像可靠性系统和方法
JP7494290B2 (ja) 2019-09-03 2024-06-03 オーリス ヘルス インコーポレイテッド 電磁歪み検出及び補償
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
WO2021048707A1 (en) 2019-09-10 2021-03-18 Auris Health, Inc. Systems and methods for kinematic optimization with shared robotic degrees-of-freedom
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN114502094A (zh) 2019-09-26 2022-05-13 奥瑞斯健康公司 用于碰撞检测和避免的系统和方法
WO2021064536A1 (en) 2019-09-30 2021-04-08 Auris Health, Inc. Medical instrument with capstan
US11737835B2 (en) 2019-10-29 2023-08-29 Auris Health, Inc. Braid-reinforced insulation sheath
EP4076247A4 (en) * 2019-12-19 2024-02-28 Noah Medical Corporation SYSTEMS AND METHODS FOR ROBOTIC BRONCHOSCOPY
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
KR20220123273A (ko) 2019-12-31 2022-09-06 아우리스 헬스, 인코포레이티드 해부학적 특징부 식별 및 표적설정
EP4084717A4 (en) 2019-12-31 2024-02-14 Auris Health, Inc. DYNAMIC PULLEY SYSTEM
EP4084724A4 (en) 2019-12-31 2023-12-27 Auris Health, Inc. ADVANCED BASKET TRAINING MODE
WO2021137108A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment interfaces for percutaneous access
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
WO2022003485A1 (en) 2020-06-29 2022-01-06 Auris Health, Inc. Systems and methods for detecting contact between a link and an external object
US11357586B2 (en) 2020-06-30 2022-06-14 Auris Health, Inc. Systems and methods for saturated robotic movement
EP4171428A1 (en) 2020-06-30 2023-05-03 Auris Health, Inc. Robotic medical system with collision proximity indicators
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
DE102020210849A1 (de) 2020-08-27 2022-03-03 Siemens Healthcare Gmbh Positionsbestimmungsverfahren, Verfahren zur Ansteuerung eines Röntgengeräts und medizinisches System
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract
WO2022211501A1 (ko) * 2021-03-31 2022-10-06 서울대학교병원 굴곡성기관지내시경 이미지를 이용하여 해부학적 위치를 판별하는 장치 및 방법
CN113274228A (zh) * 2021-04-30 2021-08-20 华中科技大学同济医学院附属协和医院 一种介入造影成像装置和方法
WO2023052940A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
WO2023052929A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
WO2023052936A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Systems for controlling cooperative surgical instruments with variable surgical site access trajectories
WO2023052949A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052943A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods for control of one visualization with another
US20230116781A1 (en) 2021-09-29 2023-04-13 Cilag GmbH Intemational Surgical devices, systems, and methods using multi-source imaging
WO2023052934A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Methods and systems for controlling cooperative surgical instruments
WO2023052947A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods for control of one visualization with another
US20230107857A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing devices for a natural body orifice
EP4210623A1 (en) 2021-09-29 2023-07-19 Cilag GmbH International Surgical devices, systems, and methods using multi-source imaging
WO2023052962A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Methods and systems for controlling cooperative surgical instruments
WO2023052946A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Coordinated instrument control systems
WO2023052961A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems with port devices for instrument control
US20230096268A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US20230109848A1 (en) 2021-09-29 2023-04-13 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052941A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical system for delivering energy to tissue in an anatomic space and monitoring a tissue parameter in a different anatomic space
US20230103005A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US20230100698A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
WO2023052935A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods for control of one visualization with another
WO2023052938A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Methods and systems for controlling cooperative surgical instruments
WO2023052937A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical system for altering the body's sensing of food
WO2023052932A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing devices for a natural body orifice
EP4262574A1 (en) 2021-09-29 2023-10-25 Cilag GmbH International Surgical systems with devices for both intraluminal and extraluminal access
US20230110791A1 (en) 2021-09-29 2023-04-13 Cilag Gmbh International Instrument Control Imaging Systems for Visualization of Upcoming Surgical Procedure Steps
WO2023052951A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems with intraluminal and extraluminal cooperative instruments
EP4267015A1 (en) 2021-09-29 2023-11-01 Cilag GmbH International Surgical anchoring systems for endoluminal access
WO2023052955A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Instrument control surgical imaging systems
WO2023052931A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing systems for instrument stabilization
EP4271295A1 (en) 2021-09-29 2023-11-08 Cilag GmbH International Surgical devices, systems, and methods for control of one visualization with another
WO2023052960A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052953A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems and methods for selectively pressurizing a natural body lumen
WO2023052952A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems for independently insufflating two separate anatomic spaces
US20230181275A1 (en) 2021-12-15 2023-06-15 Cilag Gmbh International Robotic surgical instruments having onboard generators
US20230233270A1 (en) * 2022-01-26 2023-07-27 Covidien Lp Autonomous endobronchial access with an em guided catheter

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222882A (zh) * 2005-05-16 2008-07-16 直观外科手术公司 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与系统
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法

Family Cites Families (365)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745908A (en) 1987-05-08 1988-05-24 Circon Corporation Inspection instrument fexible shaft having deflection compensation means
JP2750201B2 (ja) 1990-04-13 1998-05-13 オリンパス光学工業株式会社 内視鏡の挿入状態検出装置
US5550953A (en) 1994-04-20 1996-08-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line method and apparatus for coordinated mobility and manipulation of mobile robots
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6059718A (en) 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
ATE228338T1 (de) 1994-10-07 2002-12-15 Univ St Louis Chirurgische navigationsanordnung einschliesslich referenz- und ortungssystemen
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
DE69622764T2 (de) 1995-09-20 2003-04-24 Texas Heart Inst Houston yNZEIGE VON THERMISCHEN UNSTETIGKEITEN AN GEFÄSSWÄNDEN
CA2246341C (en) 1996-02-15 2007-05-01 Biosense, Inc. Precise position determination of endoscopes
ES2212079T3 (es) 1996-02-15 2004-07-16 Biosense, Inc. Sonda marcadora de posicion.
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5831614A (en) 1996-07-01 1998-11-03 Sun Microsystems, Inc. X-Y viewport scroll using location of display with respect to a point
DE69815260T2 (de) 1997-01-24 2004-05-13 Koninklijke Philips Electronics N.V. Bildanzeigevorrichtung
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
AU1525400A (en) 1998-11-18 2000-06-05 Microdexterity Systems, Inc. Medical manipulator for use with an imaging device
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
FI114282B (fi) 1999-11-05 2004-09-30 Polar Electro Oy Menetelmä, järjestely ja sykemittari sydämen lyönnin tunnistamiseksi
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
DE10011790B4 (de) 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
US7181289B2 (en) 2000-03-20 2007-02-20 Pflueger D Russell Epidural nerve root access catheter and treatment methods
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
DE10033723C1 (de) 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
US6865498B2 (en) 2001-11-30 2005-03-08 Thermwood Corporation System for calibrating the axes on a computer numeric controlled machining system and method thereof
US6812842B2 (en) 2001-12-20 2004-11-02 Calypso Medical Technologies, Inc. System for excitation of a leadless miniature marker
TW200304608A (en) 2002-03-06 2003-10-01 Z Kat Inc System and method for using a haptic device in combination with a computer-assisted surgery system
DE10210646A1 (de) 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US20050256398A1 (en) 2004-05-12 2005-11-17 Hastings Roger N Systems and methods for interventional medicine
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
EP2380487B1 (en) 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
US7822466B2 (en) 2002-04-25 2010-10-26 The Johns Hopkins University Robot for computed tomography interventions
DE60328983D1 (de) 2002-06-04 2009-10-08 Koninkl Philips Electronics Nv Hybride dreidimensionale rekonstruktion der koronararterien mittels rotationsangiographie
AU2003231915A1 (en) 2002-06-17 2003-12-31 Mazor Surgical Technologies Ltd. Robot for use with orthopaedic inserts
WO2004000151A1 (en) 2002-06-25 2003-12-31 Michael Nicholas Dalton Apparatus and method for superimposing images over an object
KR100449765B1 (ko) 2002-10-12 2004-09-22 삼성에스디아이 주식회사 리튬전지용 리튬메탈 애노드
US6835177B2 (en) * 2002-11-06 2004-12-28 Sonosite, Inc. Ultrasonic blood vessel measurement apparatus and method
US6899672B2 (en) 2002-11-08 2005-05-31 Scimed Life Systems, Inc. Endoscopic imaging system including removable deflection device
AU2003278465A1 (en) 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040186349A1 (en) 2002-12-24 2004-09-23 Usgi Medical Corp. Apparatus and methods for achieving endoluminal access
FR2852226B1 (fr) 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP2005192632A (ja) 2003-12-26 2005-07-21 Olympus Corp 被検体内移動状態検出システム
US8021301B2 (en) 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
US20050193451A1 (en) 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
US20060100610A1 (en) 2004-03-05 2006-05-11 Wallace Daniel T Methods using a robotic catheter system
US7972298B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
WO2005094665A2 (en) 2004-03-23 2005-10-13 Boston Scientific Limited In-vivo visualization system
EP1731093B1 (en) 2004-03-29 2013-01-09 Olympus Corporation System for detecting position in examinee
US7462175B2 (en) 2004-04-21 2008-12-09 Acclarent, Inc. Devices, systems and methods for treating disorders of the ear, nose and throat
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060025668A1 (en) 2004-08-02 2006-02-02 Peterson Thomas H Operating table with embedded tracking technology
US8239002B2 (en) 2004-08-12 2012-08-07 Novatek Medical Ltd. Guiding a tool for medical treatment by detecting a source of radioactivity
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9049954B2 (en) 2004-11-03 2015-06-09 Cambridge International, Inc. Hanger bar assembly for architectural mesh and the like
JP4874259B2 (ja) 2004-11-23 2012-02-15 ヌームアールエックス・インコーポレーテッド 標的部位にアクセスするための操縦可能な装置
US8611983B2 (en) 2005-01-18 2013-12-17 Philips Electronics Ltd Method and apparatus for guiding an instrument to a target in the lung
US8335357B2 (en) 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US20060258935A1 (en) 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
WO2007011654A1 (en) 2005-07-14 2007-01-25 Enhanced Medical System Llc Robot for minimally invasive interventions
US8583220B2 (en) 2005-08-02 2013-11-12 Biosense Webster, Inc. Standardization of catheter-based treatment for atrial fibrillation
US8657814B2 (en) 2005-08-22 2014-02-25 Medtronic Ablation Frontiers Llc User interface for tissue ablation system
WO2007025081A2 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
EP1931237A2 (en) 2005-09-14 2008-06-18 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US20070073136A1 (en) 2005-09-15 2007-03-29 Robert Metzger Bone milling with image guided surgery
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
DE102005059271B4 (de) 2005-12-12 2019-02-21 Siemens Healthcare Gmbh Kathetervorrichtung
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US9266239B2 (en) 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8191359B2 (en) 2006-04-13 2012-06-05 The Regents Of The University Of California Motion estimation using hidden markov model processing in MRI and other applications
WO2007129616A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
DE102006021373A1 (de) 2006-05-08 2007-11-15 Siemens Ag Röntgendiagnostikeinrichtung
JP5103658B2 (ja) 2006-06-05 2012-12-19 テクニオン リサーチ アンド ディベロップメント ファンデーション リミテッド 柔軟な針の制御された操作
EP2037794B1 (en) 2006-06-13 2021-10-27 Intuitive Surgical Operations, Inc. Minimally invasive surgical system
US7505810B2 (en) 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
US8040127B2 (en) 2006-08-15 2011-10-18 General Electric Company Multi-sensor distortion mapping method and system
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
CN100546540C (zh) 2006-09-19 2009-10-07 上海宏桐实业有限公司 心内膜三维导航系统
EP2068716B1 (en) 2006-10-02 2011-02-09 Hansen Medical, Inc. Systems for three-dimensional ultrasound mapping
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
WO2008125910A2 (en) 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
EP2087469A2 (en) 2006-12-01 2009-08-12 Thomson Licensing Estimating a location of an object in an image
US9220439B2 (en) 2006-12-29 2015-12-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Navigational reference dislodgement detection method and system
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080183064A1 (en) 2007-01-30 2008-07-31 General Electric Company Multi-sensor distortion detection method and system
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
WO2008097540A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Robotic surgical instrument and methods using bragg fiber sensors
JP4914735B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 処置具の位置制御を行う内視鏡システム
US20080243142A1 (en) 2007-02-20 2008-10-02 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US8821376B2 (en) 2007-03-12 2014-09-02 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20090030307A1 (en) 2007-06-04 2009-01-29 Assaf Govari Intracorporeal location system with movement compensation
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
US8086781B2 (en) * 2007-06-22 2011-12-27 Apple Inc. Serial pass-through device
EP2626006B1 (en) 2007-08-14 2019-10-09 Koninklijke Philips N.V. Robotic instrument systems utilizing optical fiber sensors
US20130165945A9 (en) 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
KR100927096B1 (ko) 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US8781630B2 (en) 2008-10-14 2014-07-15 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
EP2349563B1 (en) 2008-10-31 2014-12-03 Chevron Phillips Chemical Company LP System and method of deactivating and quenching an oligomerization catalyst
US20100121139A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Systems
US20100125284A1 (en) 2008-11-20 2010-05-20 Hansen Medical, Inc. Registered instrument movement integration
WO2010068783A1 (en) 2008-12-12 2010-06-17 Corindus Inc. Remote catheter procedure system
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
JP4585048B2 (ja) 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
CN102413756B (zh) 2009-04-29 2015-04-01 皇家飞利浦电子股份有限公司 从单目内窥镜图像估计实时深度
CN102439631A (zh) 2009-05-08 2012-05-02 皇家飞利浦电子股份有限公司 不具有电磁跟踪和术前扫描路线图的实时镜跟踪和分支标记
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
US8817039B2 (en) 2009-05-15 2014-08-26 Sharp Kabushiki Kaisha Image processing device and image processing method
US20100292565A1 (en) 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
BRPI1007726A2 (pt) 2009-05-18 2017-01-31 Koninl Philips Electronics Nv método para registro baseado em imagem entre as imagens, sistema para registro baseado em imagem entre imagens, método para calibração de posição de câmera para endoscopia guiada e sistema para calibração de câmera para endoscopia guida
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
GB0915200D0 (en) 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
US20110092808A1 (en) 2009-10-20 2011-04-21 Magnetecs, Inc. Method for acquiring high density mapping data with a catheter guidance system
WO2011055245A1 (en) 2009-11-04 2011-05-12 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
JP2013517909A (ja) 2010-01-28 2013-05-20 ザ ペン ステイト リサーチ ファンデーション 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録
WO2011102012A1 (ja) 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US8425455B2 (en) 2010-03-30 2013-04-23 Angiodynamics, Inc. Bronchial catheter and method of use
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8494794B2 (en) 2010-06-13 2013-07-23 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US8460236B2 (en) 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US20120071753A1 (en) 2010-08-20 2012-03-22 Mark Hunter Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping
US20120071752A1 (en) 2010-09-17 2012-03-22 Sewell Christopher M User interface and method for operating a robotic medical system
JP5669529B2 (ja) 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
WO2012075631A1 (en) 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
US8812079B2 (en) 2010-12-22 2014-08-19 Biosense Webster (Israel), Ltd. Compensation for magnetic disturbance due to fluoroscope
US20120191079A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
EP2670291A4 (en) * 2011-02-04 2015-02-25 Penn State Res Found METHOD AND DEVICE FOR DETERMINING THE LOCATION OF AN ENDOSCOPE
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
JP6138699B2 (ja) 2011-02-18 2017-05-31 デピュイ・シンセス・プロダクツ・インコーポレイテッド 一体化されたナビゲーション及び誘導システムを備えるツール、並びに関連する装置及び方法
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
US9572481B2 (en) 2011-05-13 2017-02-21 Intuitive Surgical Operations, Inc. Medical system with multiple operating modes for steering a medical instrument through linked body passages
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9675304B2 (en) 2011-06-27 2017-06-13 Koninklijke Philips N.V. Live 3D angiogram using registration of a surgical tool curve to an X-ray image
US20130030363A1 (en) 2011-07-29 2013-01-31 Hansen Medical, Inc. Systems and methods utilizing shape sensing fibers
US9173683B2 (en) 2011-08-31 2015-11-03 DePuy Synthes Products, Inc. Revisable orthopedic anchor and methods of use
CN102973317A (zh) 2011-09-05 2013-03-20 周宁新 微创手术机器人机械臂布置结构
EP2753236B1 (en) 2011-09-08 2017-11-29 APN Health, LLC R-wave detection method
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
US8700561B2 (en) 2011-12-27 2014-04-15 Mcafee, Inc. System and method for providing data protection workflows in a network environment
EP2809249B1 (en) 2012-02-03 2018-12-26 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
JP6261516B2 (ja) 2012-02-09 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リアルタイムナビゲーショントラッキングのためのシャフトトラッカー
EP2816966B1 (en) 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Steerable surgical catheter comprising a biopsy device at the distal end portion thereof
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
RU2686954C2 (ru) 2012-06-28 2019-05-06 Конинклейке Филипс Н.В. Навигация с помощью оптоволоконного датчика для визуализации и мониторинга сосудов
DE102012220116A1 (de) 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
US9183354B2 (en) 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
CN104718054B (zh) 2012-08-15 2017-03-01 直观外科手术操作公司 操纵机械体的活动的假想自由度(dof)
CA2893369A1 (en) 2012-08-24 2014-02-27 University Of Houston Robotic device and systems for image-guided and robot-assisted surgery
US20140107390A1 (en) 2012-10-12 2014-04-17 Elekta Ab (Publ) Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch)
JP6219396B2 (ja) * 2012-10-12 2017-10-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 分岐した解剖学的構造における医療デバイスの位置決定
US9121455B2 (en) 2012-11-07 2015-09-01 Dana Automotive Systems Group, Llc Clutch management system
US20150313503A1 (en) * 2012-11-20 2015-11-05 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
LU92104B1 (en) 2012-11-28 2014-05-30 Iee Sarl Method and system for determining a ventilatory threshold
JP6045417B2 (ja) 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US11172809B2 (en) 2013-02-15 2021-11-16 Intuitive Surgical Operations, Inc. Vision probe with access port
CN105283144B (zh) 2013-02-26 2018-06-05 阿梅·西纳·卡巴克奇 机器人操纵器系统
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
JP5715311B2 (ja) 2013-03-06 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US20140296655A1 (en) 2013-03-11 2014-10-02 ROPAMedics LLC Real-time tracking of cerebral hemodynamic response (rtchr) of a subject based on hemodynamic parameters
WO2014141968A1 (ja) 2013-03-12 2014-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US20170303941A1 (en) 2013-03-14 2017-10-26 The General Hospital Corporation System and method for guided removal from an in vivo subject
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9364167B2 (en) * 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20170238807A9 (en) 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
EP2983579A2 (en) 2013-04-12 2016-02-17 NinePoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140364739A1 (en) 2013-06-06 2014-12-11 General Electric Company Systems and methods for analyzing a vascular structure
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
JP6037964B2 (ja) 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
JP6785656B2 (ja) 2013-08-15 2020-11-18 インテュイティブ サージカル オペレーションズ， インコーポレイテッド カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス
US10098566B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
CN105592790A (zh) 2013-10-02 2016-05-18 皇家飞利浦有限公司 用于光学形状感测配准的集线器设计和方法
US9993313B2 (en) 2013-10-24 2018-06-12 Auris Health, Inc. Instrument device manipulator with roll mechanism
WO2015061756A1 (en) 2013-10-24 2015-04-30 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
US9314191B2 (en) 2013-11-19 2016-04-19 Pacesetter, Inc. Method and system to measure cardiac motion using a cardiovascular navigation system
WO2015089013A1 (en) 2013-12-09 2015-06-18 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
CN103735313B (zh) 2013-12-11 2016-08-17 中国科学院深圳先进技术研究院 一种手术机器人及其状态监测方法
EP3085324B1 (en) 2013-12-20 2019-02-20 Olympus Corporation Guide member for flexible manipulator, and flexible manipulator
WO2015095715A1 (en) 2013-12-20 2015-06-25 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
EP3096692B1 (en) 2014-01-24 2023-06-14 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
KR20160118295A (ko) 2014-02-04 2016-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법
US20150223902A1 (en) 2014-02-07 2015-08-13 Hansen Medical, Inc. Navigation with 3d localization using 2d images
US10039605B2 (en) 2014-02-11 2018-08-07 Globus Medical, Inc. Sterile handle for controlling a robotic surgical system from a sterile field
JP6270537B2 (ja) 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
KR20150103938A (ko) 2014-03-04 2015-09-14 현대자동차주식회사 리튬황 배터리 분리막
US10952751B2 (en) 2014-03-17 2021-03-23 Marksman Targeting, Inc. Surgical targeting systems and methods
CN104931059B (zh) 2014-03-21 2018-09-11 比亚迪股份有限公司 车载救援导航系统和方法
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
CN104055520B (zh) 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航系统
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US20160270865A1 (en) 2014-07-01 2016-09-22 Auris Surgical Robotics, Inc. Reusable catheter with disposable balloon attachment and tapered tip
US20170007337A1 (en) 2014-07-01 2017-01-12 Auris Surgical Robotics, Inc. Driver-mounted torque sensing mechanism
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US10159533B2 (en) 2014-07-01 2018-12-25 Auris Health, Inc. Surgical system with configurable rail-mounted mechanical arms
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
EP4233707A3 (en) * 2014-07-02 2023-10-11 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
EP3200718A4 (en) 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
CA2964459A1 (en) 2014-10-15 2016-04-21 Vincent Suzara Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
EP3217977A1 (en) 2014-11-11 2017-09-20 Vanderbilt University Methods for limiting acute kidney injury
EP4140432A1 (en) 2014-11-13 2023-03-01 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
US9931168B2 (en) 2015-01-12 2018-04-03 Biomet Manufacuturing. LLC Plan implementation
EP3636149B1 (en) 2015-02-20 2023-06-07 Teleflex Life Sciences Limited Medical device position location systems, devices and methods
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
US9622827B2 (en) 2015-05-15 2017-04-18 Auris Surgical Robotics, Inc. Surgical robotics system
CN107613839B (zh) 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
US10347904B2 (en) 2015-06-19 2019-07-09 Solidenergy Systems, Llc Multi-layer polymer coated Li anode for high density Li metal battery
EP3795061A1 (en) 2015-08-14 2021-03-24 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017040700A2 (en) 2015-08-31 2017-03-09 Masimo Corporation Wireless patient monitoring systems and methods
EP4137034A1 (en) 2015-09-09 2023-02-22 Auris Health, Inc. Instrument device manipulator for a surgical robotics system
JP6878416B2 (ja) 2015-09-17 2021-05-26 エンドマスター・プライベート・リミテッドＥｎｄｏｍａｓｔｅｒ Ｐｔｅ Ｌｔｄ 改善された軟性ロボット内視鏡システム
KR20240064004A (ko) 2015-09-18 2024-05-10 아우리스 헬스, 인크. 관형 조직망의 탐색
CN108135488B (zh) 2015-10-13 2021-11-26 光学实验室成像公司 确定侧支的剖面视角的血管内成像系统和方法
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
CN105559850B (zh) 2015-12-17 2017-08-25 天津工业大学 一种用于机器人辅助外科具有力传感功能的手术钻器械
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
CN108883301B (zh) 2016-03-24 2020-11-10 皇家飞利浦有限公司 处置评估设备
JP7232051B2 (ja) 2016-03-31 2023-03-02 コーニンクレッカ フィリップス エヌ ヴェ カテーテル配置のための画像誘導ロボット
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US10806516B2 (en) 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
CN114027987A (zh) 2016-06-30 2022-02-11 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
AU2016422171B2 (en) 2016-08-31 2022-01-20 Auris Health, Inc. Length conservative surgical instrument
US10238455B2 (en) 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US10792466B2 (en) 2017-03-28 2020-10-06 Auris Health, Inc. Shaft actuating handle
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
EP3600031A4 (en) 2017-03-31 2021-01-20 Auris Health, Inc. ROBOTIC NAVIGATION SYSTEMS IN LUMINAL NETWORKS COMPENSATION FOR PHYSIOLOGICAL NOISE
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
US10987174B2 (en) 2017-04-07 2021-04-27 Auris Health, Inc. Patient introducer alignment
US20180308247A1 (en) 2017-04-25 2018-10-25 Best Medical International, Inc. Tissue imaging system and method for tissue imaging
CN110831498B (zh) 2017-05-12 2022-08-12 奥瑞斯健康公司 活检装置和系统
AU2018270785B2 (en) 2017-05-17 2023-11-23 Auris Health, Inc. Exchangeable working channel
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
WO2019005872A1 (en) 2017-06-28 2019-01-03 Auris Health, Inc. INSTRUMENT INSERTION COMPENSATION
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
AU2018292284B2 (en) 2017-06-28 2023-03-23 Auris Health, Inc. Electromagnetic field generator alignment
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10593052B2 (en) 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US10987179B2 (en) 2017-12-06 2021-04-27 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
EP3684281A4 (en) 2017-12-08 2021-10-13 Auris Health, Inc. SYSTEM AND PROCEDURE FOR NAVIGATION AND TARGETING OF MEDICAL INSTRUMENTS
KR102473254B1 (ko) 2017-12-08 2022-12-06 아우리스 헬스, 인코포레이티드 지향된 유체 공학
CN111770736A (zh) 2017-12-11 2020-10-13 奥瑞斯健康公司 用于基于器械的插入架构的系统和方法
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
WO2019143459A1 (en) 2018-01-17 2019-07-25 Auris Health, Inc. Surgical platform with adjustable arm supports
KR20200122337A (ko) 2018-02-13 2020-10-27 아우리스 헬스, 인코포레이티드 의료 기구를 구동시키기 위한 시스템 및 방법
CN112087981A (zh) 2018-03-01 2020-12-15 奥瑞斯健康公司 用于标测和导航的方法和系统
JP2019154816A (ja) 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
WO2019190657A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
MX2020010220A (es) 2018-03-29 2021-01-15 Auris Health Inc Sistemas médicos activados robóticamente con efectores de extremo multifunción que tienen desviaciones rotacionales.
KR102499906B1 (ko) 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
EP3801189A4 (en) 2018-05-31 2022-02-23 Auris Health, Inc. PATH-BASED NAVIGATION OF TUBULAR NETWORKS
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人系统和方法
US10744981B2 (en) 2018-06-06 2020-08-18 Sensata Technologies, Inc. Electromechanical braking connector
US10751140B2 (en) 2018-06-07 2020-08-25 Auris Health, Inc. Robotic medical systems with high force instruments
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
JP7391886B2 (ja) 2018-06-28 2023-12-05 オーリス ヘルス インコーポレイテッド 滑車共有を組み込んだ医療システム
WO2020033318A1 (en) 2018-08-07 2020-02-13 Auris Health, Inc. Combining strain-based shape sensing with catheter control
US10828118B2 (en) 2018-08-15 2020-11-10 Auris Health, Inc. Medical instruments for tissue cauterization
US10639114B2 (en) 2018-08-17 2020-05-05 Auris Health, Inc. Bipolar medical instrument
WO2020041619A2 (en) 2018-08-24 2020-02-27 Auris Health, Inc. Manually and robotically controllable medical instruments
EP3813716A4 (en) 2018-09-26 2022-07-13 Auris Health, Inc. SYSTEMS AND INSTRUMENTS FOR SUCTION AND IRRIGATION
WO2020068853A2 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Articulating medical instruments
WO2020069430A1 (en) 2018-09-28 2020-04-02 Auris Health, Inc. Systems and methods for docking medical instruments
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
KR20210069670A (ko) 2018-09-28 2021-06-11 아우리스 헬스, 인코포레이티드 동시 내시경술 및 경피 의료 절차를 위한 로봇 시스템 및 방법
US11576738B2 (en) 2018-10-08 2023-02-14 Auris Health, Inc. Systems and instruments for tissue sealing
US11950863B2 (en) 2018-12-20 2024-04-09 Auris Health, Inc Shielding for wristed instruments
WO2020140072A1 (en) 2018-12-28 2020-07-02 Auris Health, Inc. Percutaneous sheath for robotic medical systems and methods
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222882A (zh) * 2005-05-16 2008-07-16 直观外科手术公司 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与系统
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法

Also Published As

Publication number Publication date
US11850008B2 (en) 2023-12-26
EP3676799A2 (en) 2020-07-08
US20240065780A1 (en) 2024-02-29
JP7350726B2 (ja) 2023-09-26
WO2019074650A3 (en) 2019-05-31
KR20200073245A (ko) 2020-06-23
CN110832544A (zh) 2020-02-21
EP3676799A4 (en) 2021-03-03
US10555778B2 (en) 2020-02-11
US20200170720A1 (en) 2020-06-04
AU2018347464B2 (en) 2022-11-17
US20190110843A1 (en) 2019-04-18
WO2019074650A2 (en) 2019-04-18
JP2020536654A (ja) 2020-12-17
AU2018347464A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN110832544B (zh) 用于导航的基于图像的分支检测和映射
US11759090B2 (en) Image-based airway analysis and mapping
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
US11969217B2 (en) Robotic system configured for navigation path tracing
CN110831534B (zh) 用于医疗仪器导航和瞄准的系统和方法
CN110809453B (zh) 用于腔网络内的器械跟踪和导航的方法和系统
CN110891469B (zh) 用于定位传感器的配准的系统和方法
US11944422B2 (en) Image reliability determination for instrument localization
CN114340542A (zh) 用于位置传感器的基于权重的配准的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant