CN114901194A - 解剖特征识别和瞄准 - Google Patents

解剖特征识别和瞄准 Download PDF

Info

Publication number
CN114901194A
CN114901194A CN202080091098.XA CN202080091098A CN114901194A CN 114901194 A CN114901194 A CN 114901194A CN 202080091098 A CN202080091098 A CN 202080091098A CN 114901194 A CN114901194 A CN 114901194A
Authority
CN
China
Prior art keywords
target
image
anatomical feature
location
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091098.XA
Other languages
English (en)
Inventor
叶梦龙
王彦炜
E·艾瓦利
D·P·努南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auris Health Inc
Original Assignee
Auris Surgical Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auris Surgical Robotics Inc filed Critical Auris Surgical Robotics Inc
Publication of CN114901194A publication Critical patent/CN114901194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40494—Neural network for object trajectory prediction, fuzzy for robot path

Abstract

定位外科手术器械的方法可涉及：将第一医疗器械前移到患者的治疗部位，该第一医疗器械包括相机；记录与该治疗部位处的目标解剖特征相关联的目标位置；使用该第一医疗器械的该相机生成该治疗部位的第一图像；使用预先训练的神经网络识别该第一图像中的该目标解剖特征；以及至少部分地基于该识别的目标解剖特征在该第一图像中的位置来调整该目标位置。

Description

解剖特征识别和瞄准
相关申请
本申请要求2019年12月31日提交的名称为解剖特征识别和瞄准(ANATOMICALFEATURE IDENTIFICATION AND TARGETING)的美国临时申请号62/955,991的优先权，该申请的公开内容在此以全文引用的方式并入。
背景技术
技术领域
本发明涉及医疗手术领域。
相关技术
各种医疗手术涉及使用配置有特定图像捕获功能性的一个或多个窥镜类型装置，可利用该一个或多个窥镜类型装置提供与相应的医疗手术相关联的特定解剖特征的可视化。特定操作过程可至少部分地通过使用此类装置捕获的图像数据来指导。
发明内容
本文描述了基于使用窥镜装置或其他医疗器械获得的此类特征的图像来促进识别和跟踪各种解剖特征的系统、装置和方法。例如，这种特征识别和/或跟踪可促进结合医疗手术对特定解剖特征的瞄准，该医疗手术诸如肾镜检查或接近肾解剖结构的其他手术。
在一些具体实施中，本公开涉及一种定位外科手术器械的方法。该方法包括：将第一医疗器械前移到患者的治疗部位，该第一医疗器械包括相机；记录与该治疗部位处的目标解剖特征相关联的目标位置；使用该第一医疗器械的该相机生成该治疗部位的第一图像；使用预先训练的神经网络识别该第一图像中的该目标解剖特征；以及至少部分地基于该第一图像中的该识别的目标解剖特征的位置来调整该目标位置。
该方法还可包括至少部分地基于该第一图像中的该识别的目标解剖特征的该位置来调整该第一医疗器械的取向。例如，调整该第一医疗器械的该取向可涉及使该识别的目标解剖特征在与该相机相关联的视野中居中。
在一些实施方案中，记录该目标位置涉及使该目标解剖特征与该第一医疗器械的远侧端部接触；生成指示该目标解剖特征的接触位置和该第一医疗器械的该远侧端部的位置数据；以及使该位置数据存储在一个或多个数据存储装置中。例如，该方法还可包括在该生成该第一图像之前将该第一医疗器械的该远侧端部缩回远离该目标解剖特征。
在一些实施方案中，该方法还包括在生成该第一图像之后使用该第一医疗器械的该相机生成该治疗部位的第二图像；使用该预先训练的神经网络识别该第二图像中的解剖特征；确定该第二图像的该解剖特征和该第一图像的该目标解剖特征表示相同特征；以及响应于该确定，至少部分地基于该第二图像中的该识别的解剖特征的位置来调整该目标位置。例如，确定该第二图像的该解剖特征和该第一图像的目标解剖特征表示相同特征可涉及确定该第二图像的该解剖特征的至少一部分与该第一图像的该目标解剖特征的至少一部分之间的重叠量；以及确定该重叠量大于预定阈值。该方法还可包括生成该第一图像的第一掩模，该第一掩模遮掩该第一图像的该目标解剖特征的该至少一部分；以及生成该第二图像的第二掩模，该第二掩模遮掩该第二图像的该解剖特征的该至少一部分，其中确定该重叠量是使用该第一掩模和该第二掩模执行。在一些实施方案中，确定该第二图像的该解剖特征和该第一图像的该目标解剖特征表示相同特征可涉及跟踪该第一图像与该第二图像之间的特征的移动。在一些实施方案中，该方法还包括至少部分地基于该第一图像和该第二图像来估计该第二图像的该解剖特征的三维位置。例如，估计该解剖特征的该三维位置是基于以下各项中的一者或多者：相机焦距、相机主点、第一医疗器械的相对运动、第一医疗器械的旋转以及电磁、结构化照明和/或飞行时间传感器读数。
在一些实施方案中，调整该目标位置进一步至少部分地基于第一医疗器械的所确定的移动。该方法还可包括将第二医疗器械朝向目标位置经皮引导通过患者的组织。例如，可使用由第一医疗器械和第二医疗器械两者的对准传感器提供的传感器数据来执行朝向目标位置引导第二医疗器械通过患者的组织。在一些实施方案中，该方法至少部分地由机器人系统执行。
在一些具体实施中，本公开涉及一种瞄准解剖特征的方法。该方法包括：接收指示与患者的目标解剖特征相关联的目标位置的目标位置数据；将该目标位置数据存储在一个或多个数据存储装置中；接收患者体内的外科手术部位的第一图像；使用人工神经网络识别该第一图像中表示该目标解剖特征的第一形态；以及基于该第一图像中的该识别的形态而存储指示该目标位置的更新后的目标位置数据。
该方法还可包括响应于该更新后的目标位置数据而致使医疗器械进行铰接。在一些实施方案中，该方法由医疗系统的控制电路系统执行，并且从该医疗系统的内窥镜接收该目标位置数据和该第一图像。该目标解剖特征可以是患者肾盏内的乳突的暴露部分。可基于已知图像和标记数据对该人工神经网络进行预先训练。例如，该人工神经网络可包括多层特征金字塔网络。
该更新后的目标位置数据可至少部分地基于与患者相关的已知呼吸信息。在一些实施方案中，该方法还包括：接收该外科手术部位的第二图像；使用人工神经网络识别该第二图像中表示该目标解剖特征的第二形态；以及至少部分地基于该第一形态和该第二形态而确定该目标解剖特征的三维位置。例如，确定该目标解剖特征的该三维位置可至少部分地基于该第二形态的相对大小。在一些实施方案中，确定该目标解剖特征的该三维位置是基于由一个或多个诸如结构化光传感器、飞行时间传感器等外部相机传感器生成的数据。
在一些实施方案中，本公开涉及一种医疗系统，该医疗系统包括：内窥镜，该内窥镜具有与该内窥镜的远侧端部相关联的相机和电磁位置传感器；机器人医疗子系统，该机器人医疗子系统包括多个铰接臂；以及控制电路系统，该控制电路系统通信地耦合到该内窥镜和该机器人医疗子系统。该控制电路系统被配置为：响应于用户输入而将该内窥镜前移到患者的治疗部位；记录该内窥镜的该远侧端部在电磁场内的位置；生成指示该位置作为目标解剖位置的用户界面数据；从该内窥镜的该相机接收第一图像；使用预先训练的神经网络来识别该第一图像中的该目标解剖特征；以及至少部分地基于该第一图像中的该识别的目标解剖特征的位置来调整该目标解剖位置。
该控制电路系统还可被配置为在电磁场中校准该内窥镜的该远侧端部。在一些实施方案中，该医疗系统还包括机器人肾镜，该机器人肾镜通信地耦合到该控制电路系统。
在一些具体实施中，本公开涉及一种计算装置，该计算装置包括内窥镜界面和控制电路系统，该控制电路系统包括一个或多个处理器和一个或多个数据存储装置。该控制电路系统被配置为在该内窥镜界面上接收指示耦合到该控制电路系统的内窥镜的远侧端部的位置的对准传感器数据；生成指示该内窥镜的该远侧端部的该位置作为目标肾镜检查位置的第一用户界面数据；在该内窥镜界面上接收医疗部位的第一图像；识别该第一图像中的第一解剖形态；在该内窥镜界面上接收该医疗部位的第二图像；识别该第二图像中的第二解剖形态；确定该第一解剖形态和该第二解剖形态表示相同的目标解剖特征；以及基于该确定而更新该目标肾镜检查位置。
该控制电路系统还可被配置为确定该第一图像和该第二图像的重叠中的该第一形态和该第二形态的重叠量大于预定阈值。在一些实施方案中，该控制电路系统被配置为响应于该更新该目标肾镜检查位置而生成指示更新后的目标肾镜检查位置的第二用户界面数据。
出于概括本公开的目的，已经描述了特定方面、优点和新颖特征。将理解，根据任何特定实施方案，可实现不一定所有此类优点。因此，可通过实现或优化本文教导的一个优点或一组优点而不一定实现本文可教导或提出的其他优点的方式执行所公开的实施方案。
附图说明
出于说明性目的在附图中描绘了各种实施方案，并且绝不应被解释为限制本发明的范围。另外，可组合不同的所公开的实施方案的各种特征以形成作为本公开的部分的附加实施方案。在整个附图中，可重复使用附图标记以指示参考元件之间的对应关系。
图1绘示了根据一个或多个实施方案的机器人医疗系统的实施方案。
图2绘示了根据一个或多个实施方案的可在图1的医疗系统中实施的示例性装置。
图3绘示了根据一个或多个实施方案的泌尿系统的输尿管镜安置部分。
图4是说明根据一个或多个实施方案的用于执行引导式经皮肾结石切除的过程的流程图。
图5示出了根据一个或多个实施方案的对应于与图4的过程相关联的各种块、状态和/或操作的某些图像。
图6是绘示根据一个或多个实施方案的用于瞄准解剖特征的过程的流程图。
图7绘示了根据一个或多个实施方案的目标识别和/或分类架构。
图8绘示了根据一个或多个实施方案的基于神经网络的图像分割架构。
图9是绘示根据一个或多个实施方案的用于跟踪目标解剖特征的过程的流程图。
图10-1和图10-2提供了绘示根据一个或多个实施方案的用于跟踪目标解剖特征的过程的流程图。
图11示出了根据一个或多个实施方案的对应于与图10-1和图10-2的过程相关联的各种块、状态和/或操作的某些图像。
图12绘示了根据一个或多个实施方案的三维位置估计框架。
具体实施方式
本文提供的标题仅出于方便起见，并且不一定影响要求保护的发明的范围或含义。尽管下文公开了某些优选实施方案和示例，但是本发明主题超出具体公开的实施方案延伸到其他替代实施方案和/或用途以及其修改和等同物。因此，本文可能出现的权利要求的范围不受下文描述的特定实施方案中的任一特定实施方案限制。例如，在本文公开的任何方法或过程中，方法或过程的动作或操作可以任何合适的序列执行，并且不一定限于任何特定公开的序列。继而可通过可能有助于理解某些实施方案的方式将各种操作描述为多个分立的操作。然而，描述的顺序不应被解释为暗示这些操作依赖于顺序。另外，本文描述的结构、系统和/或装置可体现为集成部件或单独部件。出于比较各种实施方案的目的，描述了这些实施方案的某些方面和优点。不一定通过任何特定实施方案实现所有此类方面或优点。因此，例如，可通过实现或优化本文教导的一个优点或一组优点而不一定实现本文也可能教导或提出的其他方面或优点的方式来执行各种实施方案。
在本文中使用某些标准的位置解剖术语来指代动物的解剖结构，并且该动物相对于优选实施方案即为人类。尽管在本文中使用某些空间相对术语，诸如“外部”、“内部”、“上部”、“下部”、“下方”、“上方”、“竖直”、“水平”、“顶部”、“底部”和类似术语来描述一个装置/元件或解剖结构与另一装置/元件或解剖结构的空间关系，但是应理解，在本文中是出于描述方便起见而使用这些术语，以描述元件/结构之间的位置关系，如附图中绘示。应当理解，空间相对术语旨在涵盖元件/结构在使用中或操作中的除了附图中所描绘的取向之外的不同取向。例如，描述为在另一元件/结构“上方”的元件/结构可表示相对于受试者患者或元件/结构的替代取向在此类其他元件/结构下方或旁边的位置，且反之亦然。
本公开涉及用于识别和跟踪患者的目标解剖特征以辅助某些医疗手术的系统、装置和方法。尽管本文中在肾、泌尿和/或肾脏手术(诸如肾结石去除/治疗手术)的背景中详细描述了本公开的某些方面，但是应当理解，提供这种背景是出于方便和清楚起见，并且本文公开的解剖特征识别和跟踪概念适用于任何合适的医疗手术。然而，如所述，下文呈现了对肾/泌尿解剖结构和相关联的医疗问题和手术的描述，以辅助描述本文公开的发明概念。
肾结石疾病，也称为尿石病，是相对常见的医学病症，涉及在泌尿道中形成一块固体材料，该固体材料被称为“肾结石(kidney stones)”、“尿结石”、“肾结石(renalcalculi)”、“肾结石(renal lithiasis)”或“肾结石(nephrolithiasis)”。可在肾、输尿管和膀胱(称为“膀胱结石”)中形成和/或发现尿结石。此类尿结石由于浓缩矿物质而形成，并且一旦它们达到足以阻止尿液流过输尿管或尿道的大小便可引起显著的腹痛。尿结石可由钙、镁、氨、尿酸、半胱氨酸或其他化合物形成。
为了从膀胱和输尿管去除尿结石，外科医生可通过尿道将输尿管镜插入到尿路中。通常，输尿管镜包括在其远侧端部处的内窥镜，该内窥镜被配置为使该尿路能够可视化。该输尿管镜还可包括截石机构来捕获或打散尿结石。在输尿管镜检查手术期间，一位医师/技术人员可控制输尿管镜的位置，同时另一位医师/技术人员可控制该截石机构。
为了从肾中去除相对较大的结石(即，“肾结石”)，医师可使用经皮肾镜取石术(“PCNL”)技术，该经皮肾镜取石术技术包括将肾镜插入穿过皮肤以打碎和/或去除结石。可使用荧光镜检查来实现肾结石的定位，以提供用于插入肾镜的目标。然而，由于荧光镜本身的成本以及技术人员操作荧光镜的成本，荧光镜检查增加了肾镜取石手术的成本。荧光镜检查还使患者长时间暴露于辐射。即使使用荧光镜检查，准确地形成经皮切口来接近肾结石也可能比较困难并且是不合意地不精确的。此外，一些肾镜取石术技术涉及两天或三天的住院。总之，某些肾镜取石术技术可能相对昂贵并且对患者而言是有困难的。
根据某些外科手术，内窥镜(例如，输尿管镜)可配备有位置传感器，其中该传感器的位置用作经皮接近的目标，诸如对于PCNL而言。例如，可使用配备有电磁传感器的输尿管镜和/或配备有电磁传感器的经皮进入针来引导经皮肾接近进行肾结石去除等。在此类手术中，外科医生/医师可将输尿管镜驱动到肾的目标盏，并且使用与输尿管镜的远侧端部/顶端相关联的电磁传感器(例如，信标)作为该针的经皮进入目标。一般来讲，到目标盏的经皮轴线的功效可至少部分地取决于医师相对于(例如)输尿管镜相对于可通过其对目标盏进行经皮接近的乳突的位置和/或前进方向在哪里定位/停泊输尿管镜。对于其中输尿管镜的远侧/顶端用作经皮接近目标的一些手术，可能期望输尿管镜的远侧顶端在经皮接近/逼近期间尽可能接近乳突/盏界面。
术语“窥镜”和“内窥镜”在本文中根据其广泛和普通含义来使用，并且可指具有图像生成、查看和/或捕获功能性并且被配置为引入到身体的任何类型的器官、腔、内腔、腔室或空间中的任何类型的细长医疗器械。例如，本文提及窥镜或内窥镜可指输尿管镜、膀胱镜、肾镜、支气管镜、关节镜、结肠镜、腹腔镜、管道镜等。在一些情况下，窥镜/内窥镜可包括刚性或柔性管，并且尺寸可被设定成在外护套、导管、导引器或其他内腔类型装置内通过，或者可在没有此类装置的情况下使用。
机器人辅助式经皮手术可结合诸如肾结石去除手术的各种医疗手术来实施，其中机器人工具可使医师/泌尿科医师能够执行内窥镜目标接近(例如，输尿管镜)以及经皮接近或治疗。然而，在操作医师依赖于固定的经皮接近目标位置的情况下，在操作期间移动目标解剖特征可成问题。有利的是，本公开的各方面涉及医疗手术中的实时目标跟踪/指导，操作医师可利用该实时目标跟踪/指导诸如通过响应于此类实时目标跟踪信息而自动调整内窥镜位置和/或对准来引导经皮接近器械(例如，针或其他刚性工具)和/或指导机器人仪表化。为了促进此类功能性，本公开的实施方案可有利地提供用于自动目标检测、跟踪和/或三维定位估计的机制，以辅助医师(例如，泌尿科医师)实现诸如肾镜检查的各种外科手术操作的相对高效且准确的经皮接近。尽管本文出于方便起见而在输尿管镜指导的肾镜检查的背景下描述本公开的各方面，但是应当理解，本公开的发明方面可在任何合适或期望类型的经皮和/或内窥镜医疗手术中实施，而无论是不是机器人。
医疗系统
图1绘示了根据本公开的各方面的用于执行各种医疗手术的示例性医疗系统10。医疗系统10包括机器人系统11，该机器人系统被配置为接合和/或控制医疗器械32以对患者13执行手术。医疗系统10还包括控制系统50，该控制系统被配置为与机器人系统11介接，提供关于该手术的信息和/或执行多种其他操作。例如，控制系统50可包括显示器42以呈现某些信息来辅助医师5。医疗系统10可包括被配置为托住患者130的台面15。系统10还可包括电磁(EM)场发生器(未示出；参见图3)，该电磁场发生器可由机器人系统11的机器人臂12中的一个或多个机器人臂保持，或者可以是独立装置。
在一些具体实施中，系统10可用于执行经皮手术，例如经皮肾镜取石术(PCNL)。为了说明，如果患者13具有太大而不能通过尿路去除的肾结石80，则医师可执行通过患者13身上的经皮进入点去除肾结石的手术。在一些实施方案中，医师可与控制系统50和/或机器人系统11交互以控制机器人系统11从尿道67前移和导航医疗器械32(例如，窥镜)，通过膀胱65，沿输尿管63向上并进入结石80所在的肾70中。控制系统50可经由显示器42提供关于医疗器械32的信息，诸如由该医疗器械捕获的实时内窥镜图像，以辅助医师5导航该医疗器械。
在此参考与本发明概念的方面相关的某些医疗手术来描述肾解剖结构。大致在图1中的典型解剖位置示出的肾一般包括在腹膜后腔位于左右的两个豆形器官。在成年人类中，肾的长度一般是约11cm。肾从成对的肾动脉接收血液；血液退出到成对的肾脏静脉中，出于视觉清晰起见而未示出该成对的肾静脉。每个肾70附接到输尿管63，该输尿管是将分泌出的尿液从肾载运到膀胱65的管子。
肾通常在腹腔中相对高地定位并且以轻微斜角位于腹膜后位置。由肝的位置引起的腹腔内的不对称性通常导致右肾略微低于且小于左肾，并且放置成比左肾略微更靠中间。每个肾的顶部是肾上腺。肾的上部部分被第11根肋骨和第12根肋骨部分地保护。每个肾，其肾上腺被两层脂肪包围：存在于肾筋膜与肾小囊之间的肾周围脂肪和在肾筋膜之上的肾旁脂肪。
肾参与控制各种体液隔室、流体渗透压、酸碱平衡、各种电解质浓度和毒素去除的量。肾通过分泌某些物质并再吸收其他物质来提供过滤功能性。分泌到尿液中的物质的示例是氢、铵、钾和尿酸。另外，肾还执行各种其他功能，诸如激素合成等。
肾70的凹边界上的凹入区域是肾门78，其中肾动脉(未示出)进入肾，并且肾静脉(未示出)和输尿管63离开。肾被坚韧的纤维组织包围，肾小囊74本身被肾周围脂肪、肾筋膜和肾旁脂肪包围。这些组织的前(前方)表面是腹膜，而后(后方)表面是腹横筋膜。
肾的功能物质或实质分为两个主要结构：外部肾皮质77和内部肾髓质87。这些结构采取多个锥形肾瓣的形状，每个锥形肾瓣包含包围被称为肾锥体72的髓质的一部分的肾皮质。在肾锥体72之间是被称为肾柱73的皮质突起。肾元(图1中未详细示出)(肾的尿液产生功能结构)跨越皮质和髓质。肾元的初始过滤部分是位于皮质中的肾丝球体。这之后是从皮质深入到延髓锥体中的肾小管。肾皮质的部分，髓射线是排入单个集尿管中的肾小管集合。
每个锥体的顶端或乳突79将尿液清空到相应的肾小盏75中；肾小盏75清空到肾大盏76中，并且肾大盏76清空到肾盂71中，该肾盂过渡到输尿管63。在肾门78处，输尿管63和肾静脉离开肾并且肾动脉进入。肾门脂肪和具有淋巴结的淋巴组织包围这些结构。肾门脂肪与被称为肾窦的充满脂肪的腔邻接。肾窦共同包含肾盂和肾盏并将这些结构与肾髓组织分离。
进一步参考医疗系统10，医疗器械(例如，窥镜)32可通过尿路前移到肾70中。一旦在肾结石80的部位处(例如，在结石80可进入的肾70的盏内)，便可使用医疗器械32指定/标识用于经皮进入肾70的目标位置。为了使对肾和/或周围解剖结构的损伤最小化，医师5可将肾70的特定乳突79指定为用于使用经皮进入器械(例如，针；未示出)进入肾中的目标位置。然而，可指定或确定其他目标位置。一旦经皮进入器械已经到达该目标位置(例如，肾盏)，就可使用所利用的经皮进入路径从患者13抽取肾结石80。
在图1的示例中，医疗器械32被实施为窥镜。然而，医疗器械32可各自被实施为任何合适类型的医疗器械，诸如导管、导丝、碎石机、篮取回装置等。在一些实施方案中，医疗器械是可操控装置，而其他实施方案，医疗器械是非可操控装置。在一些实施方案中，外科手术工具是指被配置为穿刺或插入通过人类解剖结构的装置，诸如针、解剖刀、导丝等。然而，外科手术工具可指其他类型的医疗器械。
诸如窥镜32的窥镜可被配置为在人类解剖结构内导航，诸如在人类解剖结构的天然孔口或内腔内导航。窥镜可包括(例如)输尿管镜(例如，用于进入尿路)、腹腔镜、肾镜(例如，用于进入肾)、支气管镜(例如，用于进入气道，诸如支气管)、结肠镜(例如，用于进入结肠)、关节镜(例如，用于进入关节)、膀胱镜(例如，用于进入膀胱)等。
机器人系统11可被配置为至少部分地促进执行医疗手术。机器人系统11可按照多种方式配置，这取决于特定手术。机器人系统11可包括一个或多个机器人臂12，该机器人臂被配置为接合和/或控制窥镜32以执行手术。如图所示，每个机械臂12可包括联接到关节的多个臂段，该多个臂段可提供多个移动度。在图1的示例中，机器人系统110被定位成靠近患者的腿，并且机器人臂12被致动以接合并定位窥镜32以便进入入口点，诸如患者13的尿道67。当机器人系统110正确定位时，可通过机器人使用机器人臂12、由医师5手动地或其组合将窥镜120插入患者13体内。
机器人系统11可联接到医疗系统100的任何部件，诸如控制系统50、台面15、EM场发生器(未示出；参见图3)、窥镜32和/或经皮进入器械(例如，针；参见图3)的水平。在一些实施方案中，机器人系统11通信地耦合到控制系统50。例如，机器人系统11可被配置为从控制系统50接收控制信号以执行操作，以便以特定方式定位机器人臂12，操纵窥镜32等。作为响应，机器人系统11可控制机器人系统11的部件以执行操作。在一些实施方案中，机器人系统11被配置为从窥镜32接收表示患者13的内部解剖结构的图像和/或图像数据，即，关于图1的特定描绘的泌尿系统，和/或将图像/图像数据发送到控制系统50(然后可在显示器43或其他输出装置上显示)。此外，在一些实施方案中，机器人系统11以允许从其接收流体、光学、电力等的方式联接到医疗系统10的部件，诸如控制系统50。在下文参考图2更详细地论述机器人系统的附加的示例性细节。
控制系统50可被配置为提供各种功能性以辅助执行医疗手术。在一些实施方案中，控制系统50可联接到机器人系统11并且与机器人系统11协同操作以对患者13执行医疗手术。例如，控制系统50可经由无线或有线连接与机器人系统11通信(例如，以控制机器人系统11和/或窥镜32、接收由窥镜32捕获的图像等)，经由一个或多个流体通道向机器人系统11提供流体，经由一个或多个电连接向机器人系统11提供电力，经由一根或多根光纤或其他部件向机器人系统11提供光学。此外，在一些实施方案中，控制系统50可与针和/或肾镜通信以从其接收位置数据。此外，在一些实施方案中，控制系统50可与台面15通信以将台面15定位成特定取向或以其他方式控制台面15。此外，在一些实施方案中，控制系统50可与EM场发生器(未示出)通信以控制患者13周围的区域中的EM场的生成。
控制系统50可包括各种I/O装置，该I/O装置被配置为辅助医师5或其他人执行医疗手术。例如，控制系统50可包括特定输入/输出(I/O)部件，该特定输入/输出部件被配置为允许用户输入控制窥镜32，以便在患者13体内导航窥镜32。在一些实施方案中，示例，医师5可向控制系统和/或机器人系统提供输入，其中，作为响应，可将控制信号发送到机器人系统11以操纵窥镜32。还如图1中所示，控制系统50可包括显示器42以提供关于手术的各种信息。例如，显示器42可提供关于窥镜32的信息。例如，控制系统50可接收由窥镜32捕获的实时图像，并且经由显示器42显示实时图像。另外或替代地，控制系统140可从与患者13相关联的医疗监控器和/或传感器接收信号(例如，模拟、数字、电、声学/声波、气动、触觉、液压等)，并且显示器42可呈现关于患者13的健康状况或环境的信息。此类信息可包括经由医疗监控器显示的信息，包括(例如)心率(例如，ECG、HRV等)、血压/血率、肌肉生物信号(例如，EMG)、体温、血氧饱和度(例如，SpO2)、CO2、脑波(例如，EEG)、环境和/或局部或核心体温等。)、CO2、脑波(例如，EEG)、环境和/或局部或核心体温等。
为了促进控制系统50的功能性，该控制系统可包括各种部件(有时称为“子系统”)。例如，控制系统50可包括控制电子器件/电路系统系统，以及一个或多个电源、气动装置、光源、致动器、数据存储装置和/或通信接口。在一些实施方案中，控制系统50包括控制电路系统，该控制电路系统包括基于计算机的控制系统，该基于计算机的控制系统被配置为存储在被执行时致使实施各种操作的可执行指令。在一些实施方案中，控制系统50是可移动的，而在其他实施方案中，控制系统50是基本上静止的系统。尽管将各种功能性和部件讨论为由控制系统50实施，但是这种功能性和/或部件中的任一者可被集成到诸如机器人系统11、台面15的其他系统和/或装置中和/或由该其他系统和/或装置执行。下文参考图2更详细地论述示例性机器人系统的部件。
医疗系统10可提供多种益处，诸如提供指导以辅助医师执行手术(例如，器械跟踪、器械对准信息等)，使得医师能够从人体工程学位置执行手术而不需要不方便的手臂运动和/或位置，使得单个医师能够用一个或多个医疗器械执行手术，避免辐射暴露(例如，与荧光镜检查技术相关联)，使得能够在单个操作设置中执行手术，提供连续吸力以更高效地去除物体(例如，去除肾结石)等。例如，医疗系统10可提供指导信息以辅助医师使用各种医疗器械进入目标解剖特征，同时最少化出血和/或对解剖结构(例如，关键器官、血管等)的损伤。此外，医疗系统10可提供非基于辐射的导航和/或定位技术，以减少医师和患者暴露于辐射和/或减少手术室中的设备的数量。此外，医疗系统10可提供分布在至少控制系统50与机器人系统11之间的功能性，该功能性可以能够独立地移动。功能性和/或移动性的这种分布可使控制系统50和/或机器人系统11能够放置在对于特定医疗手术最佳的位置处，该位置可最大化患者周围的工作区域，和/或提供让医师执行手术的优化位置。
系统10的各种部件可在网络上彼此通信地耦合，该网络可包括无线网络和/或有线网络。示例性网络包括一个或多个个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、互联网区域网络(IAN)、蜂窝网络、互联网等。此外，在一些实施方案中，系统10的各种部件可经由一根或多根支撑电缆、管等进行连接以用于数据通信、流体/气体交换、电力交换等。
图2提供了在图1中示出的机器人系统11(例如，基于推车的机器人启用系统)和控制系统50的实施方案的详细图解。机器人系统11一般包括细长支撑结构14(还称为“柱”)、机器人系统基座25以及在柱14的顶部处的控制台16。柱14可包括用于支持一个或多个机器人臂12(在图2中示出三个)的部署的一个或多个肘支架17(还称为“托架”)。肘支架17可包括可单独配置的臂支座，该臂支座沿垂直轴线旋转以调整机器人臂12的基座，以便相对于患者更好地定位。肘支架17还包括柱接口19，该柱接口允许肘支架17沿着柱14竖直地平移。
柱接口19通过诸如狭槽20的狭槽连接到柱14，该狭槽定位在柱14的相对侧上以引导肘支架17的竖直平移。狭槽20包含竖直平移接口以将肘支架17相对于机器人系统基座25定位并保持在各种竖直高度处。肘支架17的竖直平移允许机器人系统11调整机器人臂12的范围以满足多种台面高度、患者体形和医师偏好。类似地，肘支架17上的可单独配置的臂支座允许机器人臂12的机器人臂基座21以多种配置成角度。
机器人臂12一般可包括被一系列连杆23分隔的机器人臂基座21和末端执行器22，该一系列连杆由一系列关节24连接，每个关节包括一个或多个独立的致动器。每个致动器可包括可独立控制的马达。每个可独立控制的关节24可提供或表示机器人臂可用的独立自由度。在一些实施方案中，该臂12中的每个臂具有七个关节，并且因此提供七个自由度，包括“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆方位和关节角度将其相应的端部执行器22定位在空间中的特定方位、取向和轨迹处。这允许系统从空间中的期望点定位和导向医疗器械，同时允许医师使臂关节运动到远离患者的临床有利方位，以产生更大的接近，同时避免臂碰撞。
机器人系统基座25在地板上平衡柱14、肘支架17和臂12的重量。因此，机器人系统基座25可容纳较重的部件，诸如电子器件、马达、电源以及选择性地使该机器人系统能够移动和/或固定的部件。例如，机器人系统基座25包括允许机器人系统在手术之前容易地围绕房间移动的轮形脚轮28。在到达适当位置之后，可使用轮锁将脚轮28固定，以在手术期间将机器人系统11保持在适当位置。
定位在柱14的上端处的控制台16允许用于接收用户输入的用户界面和向医师用户提供术前和术中数据的显示屏(或两用装置，诸如触摸屏26)两者。触摸屏26上的潜在术前数据可包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，诸如呼吸、心率和/或脉搏。控制台16可被定位和倾斜成允许医师从柱14的与肘支架17相对的侧面接近控制台。从此位置，医师可在从机器人系统11后面操作控制台16的同时查看控制台16、机器人臂12和患者。如图所示，控制台16还可包括辅助操纵和稳定机器人系统11的手柄27。
机器人臂12中的每个机器人臂的末端执行器22可包括器械装置操纵器(IDM)，该器械装置操纵器可使用机构转换器接口(MCI)附接。在一些实施方案中，可移除IDM并且替换成不同类型的IDM，例如，第一类型的IDM可操纵内窥镜，而第二类型的IDM可操纵腹腔镜。MCI可包括用于将气动压力、电力、电信号和/或光学信号从机器人臂12传递到IDM的连接器。IDM可被配置为使用包括(例如)直接驱动、谐波驱动、齿轮驱动、皮带和滑轮、磁驱动等的技术操纵诸如窥镜32的医疗器械(例如，外科手术工具/器械)。
在图2中示出的控制系统50可用作用于示例性外科手术机器人系统11的命令控制台。控制系统50可包括控制台基座51和一个或多个显示装置42。
系统10可包括特定控制电路系统60，该特定控制电路系统被配置为执行本文描述的特定功能性。控制电路系统60可以是机器人系统、控制系统50或以上两者的一部分。也就是说，本文提及控制电路系统可指体现在机器人系统、控制系统或诸如在图1中示出的医疗系统10的医疗系统的任何其他部件中的电路系统。术语“控制电路系统”在本文中根据其广泛和普通含义而使用，并且可指以下各项的任何集合：处理器、处理电路系统、处理模块/单元、芯片、管芯(例如，包括一个或多个有源和/或无源装置和/或连接性电路系统的半导体管芯)、微处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机(例如，硬件状态机)、逻辑电路系统、模拟电路系统、数字电路系统和/或基于电路系统和/或操作指令的硬编码来操纵信号的任何装置。本文提及的控制电路系统还可包括一个或多个电路衬底(例如，印刷电路板)、导电迹线和通孔和/或安装垫、连接器和/或部件。本文提及的控制电路系统还可包括一个或多个存储装置，该一个或多个存储装置可体现在单个存储器装置、多个存储器装置和/或装置的嵌入式电路系统中。此类数据存储装置可包括只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、缓存、数据存储寄存器和/或存储数字信息的任何装置。应当注意的是，在控制电路系统包括硬件和/或软件状态机、模拟电路系统、数字电路系统和/或逻辑电路系统的实施方案中，存储任何相关联的操作指令的数据存储装置/寄存器可嵌入在包括该状态机、该模拟电路系统、该数字电路系统和/或该逻辑电路系统的电路系统内或在该电路系统外部。
进一步参考图2，控制电路系统60可包括计算机可读介质，该计算机可读介质存储对应于在本图中的一个或多个图中绘示和/或在本文描述的步骤和/或功能中的至少一些步骤和/或功能的硬编码和/或操作指令。在一些情况下，此类计算机可读介质可包括在制品中。控制电路系统60可完全在本地维护/设置或者可至少部分地远程定位(例如，经由局域网和/或广域网间接地通信地耦合)。
在一些实施方案中，控制电路系统60的至少一部分与机器人系统11集成(例如，集成在基座25、柱14和/或控制台14中)或与通信地耦合到机器人系统11的另一系统集成。在一些实施方案中，控制电路系统60的至少一部分与控制系统50集成(例如，集成在控制台基座51和/或显示单元42中)。因此，本文对功能控制电路系统的任何描述可理解为体现于机器人系统11、控制系统50或以上两者中，和/或至少部分地体现于一个或多个其他本地或远程系统/装置中。
系统10还包括特定用户控件65，该特定用户控件可包括任何类型的用户输入(和/或输出)装置或装置接口，诸如一个或多个按钮、键、操纵杆、手持式控制器(例如，视频游戏类型控制器)、计算机鼠标、触控板、跟踪球、控制垫和/或捕获手势和手指姿势的传感器(例如，运动传感器或相机)，和/或为此的接口/连接器。用户控件65通信地和/或物理地耦合到控制电路系统60中的至少一些控制电路系统。
在一些实施方案中，用户控件65和/或控制电路系统60被配置为接收用户输入以允许用户控制医疗器械，诸如内窥镜或肾镜，诸如能够由机器人系统在速度模式或位置控制模式下至少部分地操纵的器械。在速度模式下，可准许用户使用控件65基于直接手动控制来直接控制(例如)内窥镜或其他器械的远侧端部的俯仰和偏航运动。例如，可将操纵杆上的移动映射到窥镜/装置的远侧端部中的偏航和俯仰运动。在一些实施方案中，用户控件65被配置为向用户提供触觉反馈。例如，操纵杆或其他控制机构可振动以指示无效或潜在有问题的输入。在一些实施方案中，控制系统50和/或机器人系统11还可提供视觉反馈(例如，弹出消息)和/或音频反馈(例如，蜂鸣声)以指示与机器人操作相关联的问题。
在位置控制模式下，控制电路系统60可使用患者的三维(3D)地图和患者的预先确定的计算机模型来控制医疗器械(例如，内窥镜)。例如，控制电路系统60可被配置为向机器人系统11的机器人臂12提供控制信号以操纵相关器械以在目标位置、位置和/或取向/对准下定位该相关器械。对于实施3D映射的实施方案，位置控制模式可能需要对患者解剖结构的充分准确的映射。
在一些实施方案中，用户可在不使用命令控件65的情况下手动地操纵机器人系统11的机器人臂12。例如，在外科手术手术室中的设置期间，用户可移动机器人臂12和/或任何其他医疗器械以提供对患者的期望的进入。机器人系统11可依赖来自用户的力反馈和惯性控制来确定机器人臂12和相关联器械的适当配置。
控制系统50的显示装置42可与用户控件65集成，例如，作为具有用于用户输入的触摸屏的平板计算机装置。显示装置42可被配置为使用集成的显示触摸控件向机器人系统11提供数据和输入命令。显示装置42可被配置为显示图形用户界面，该图形用户界面基于由一个或多个位置传感器提供的信息而示出关于在患者体内和/或系统内操作的各种器械的位置和取向的信息。在一些实施方案中，与医疗器械(例如，内窥镜)相关联的位置传感器可被配置为生成指示位置的信号并且在耦合到该传感器的电线和/或传输器上传输该信号。此类连接性部件可被配置为将位置信息传输到控制台基座51，以便由控制电路系统60对该位置信息进行处理并且经由显示装置呈现。
图3绘示了根据本公开的一个或多个实施方案的设置在患者的泌尿系统的部分中的输尿管镜340。如上文所提及，可实施输尿管镜手术以调查人类输尿管的异常和/或治疗该异常。例如，可实施输尿管镜手术以治疗和/或去除肾结石。可至少部分地手动地和/或至少部分地使用机器人技术来执行此类手术，该机器人技术诸如在图1和图2中示出的机器人系统11。例如，与完全手动手术相比，将机器人装置和/或系统用于特定内窥镜手术可提供相对较高的精度、控制和/或协调。在一些实施方案中，窥镜340包括用于部署医疗器械(例如，碎石机、装篮装置、镊子等)、冲洗和/或抽吸到窥镜的远侧端部处的操作区域的工作通道344。
窥镜340可诸如相对于该窥镜的至少远侧部分是可铰接的，使得可在人类解剖结构内使窥镜转向。在一些实施方案中，窥镜340被配置为使用(例如)五个自由度进行铰接，包括XYZ坐标移动，以及俯仰和偏航。在一些实施方案中，针传感器提供六个自由度，包括X、Y和Z坐标位置，以及俯仰、横滚和偏航。窥镜340的位置传感器可同样相对于该位置传感器产生/提供的位置信息具有相似的自由度。图绘示根据一些实施方案的窥镜340的多个运动程度。如图3中所示，窥镜340的顶端342可相对于其纵轴线306(还称为“横滚轴线”)定向为零偏转。
为了在顶端342的不同取向下捕获图像，机器人系统可被配置为在正偏航轴线302、负偏航轴线303、正俯仰轴线304、负俯仰轴线305或横滚轴线306上偏转顶端342。窥镜342的顶端342或主体345可在纵轴线306、x轴线308或y轴线309中伸长或平移。窥镜340可包括参考结构(未示出)以校准窥镜的位置。例如，机器人系统可测量窥镜340相对于参考结构的偏转。该参考结构可位于(例如)内窥镜340的近端上，并且可包括键、狭槽或凸缘。该参考结构可联接到第一驱动机构以用于初始校准并且联接到第二驱动机构以执行外科手术。
对于机器人具体实施，机器人系统的机器人臂可被配置为/能够被配置为使用细长移动构件来操纵窥镜340。该细长移动构件可包括一根或多根拉线((例如，拉线或推线)、缆线、纤维或柔性轴。例如，机器人臂可被配置为致动联接到窥镜340的多根拉线以使窥镜118的顶端342偏转。拉线可包括任何合适的或合意的材料，诸如金属和非金属材料，诸如不锈钢、Kevlar、钨、碳纤维等。在一些实施方案中，窥镜340被配置为响应于由细长移动构件施加的力而展现出非线性行为。该非线性行为可基于窥镜的刚度和压缩系数，以及不同的细长移动构件之间的松弛度或刚度的变化性。
窥镜(例如，内窥镜/输尿管镜)340可包括管状和柔性医疗器械，该管状和柔性医疗器械被配置为插入到患者的解剖结构中以捕获该解剖结构的图像。在一些实施方案中，窥镜340可容纳电线和/或光纤以传递去往/来自光学组件和窥镜340的远侧端部342的信号，该远侧端部可包括成像装置348，诸如光学相机。
相机/成像装置348可用于捕获内部解剖空间的图像，诸如肾70的目标盏/乳突。窥镜340还可被配置为容纳光纤，以将来自位于近侧的光源(诸如，发光二极管)的光载送到该窥镜的远侧端部342。窥镜340的远侧端部342可包括在使用相机/成像装置时供光源照亮解剖空间的端口。在一些实施方案中，窥镜340被配置为由机器人系统控制，该机器人系统在一个或多个方面类似于在图1和图2中示出的机器人系统11。成像装置可包括光纤、光纤阵列和/或镜头。光学部件与窥镜340的顶端一起移动，使得该窥镜的该顶端的移动导致由成像装置348捕获的图像的变化。
对于经皮肾镜取石术(PCNL)手术，通过患者的皮肤和中间组织进入目标盏。一般来讲，对肾的盏的优选进入是通过软组织乳突结构，其中通过此类组织进入一般可与出血和/或其他并发症的降低的风险相关联。在针通过乳突结构插入的情况下，除了免于出血之外，此类路径可提供对肾的互连内部通道(例如，盏)的完全进入。
尽管PCNL表示用于治疗较大的肾结石的相对有效的方法，但许多医师部分地由于难以准确地瞄准目标乳突/盏而选择其他手术。更具体地，执行PCNL涉及使用针通过患者的肋腹获得对肾的目标盏的经皮进入。此步骤对于手术的最终成功可被认为是极其重要的，因为医师必须选择到肾的针路径，该针路径不会横穿周围的器官并且还允许刚性器械到达和治疗尿结石。如果医师无法有效地进行，则他们会承受导致内脏或胸膜损伤或不能完全治疗结石的风险。由于这些挑战，与在合适的患者位置(例如，修改后的仰卧位置)处获得经皮针进入以执行PCNL相关联的学习曲线非常高。
在一些手术中，医师研究患者的术前计算机断层扫描(CT)图像以确定尿结石的位置、周围器官和骨性结构的位置，并且检查盏的形态测定。利用此知识，医师可在心里生成经皮针路径的术前计划。通常，医师必须识别进行穿刺以容纳刚性器械的后盏。具体地，后盏一般提供进入肾盂的相对笔直的途径。医师必须尝试通过乳突将针插入肾中，以避免损坏肾脉管系统并引起出血。在手术进行时，医师在一些手术中依赖于荧光镜检查或超声，以引导针与目标盏的对准和插入。然而，与此类成像技术相关联的分辨率和解译难题可导致相对比较困难地令人满意地执行针穿刺。因此，提供对诸如乳突和盏的目标解剖特征的改进的跟踪和可视化的本公开的实施方案可提高操作结果，并且与其他PCNL方法相比对更多的医师有吸引力。
在一些实施方案中，医疗器械(例如，窥镜)340包括传感器，该传感器被配置为生成传感器位置数据和/或将传感器位置数据发送到另一装置。传感器位置数据可指示医疗器械340(例如，其远侧端部342)的位置和/或取向，和/或可用于确定/推断医疗器械的位置/取向。例如，传感器(有时称为“位置传感器”)可包括具有导电材料线圈或天线的其他形式/实施方案的电磁(EM)传感器。
图3示出了EM场发生器315，该EM场发生器被配置为广播EM场90，由医疗器械上的EM传感器检测该EM场。磁场90可在EM位置传感器的线圈中感应出小电流，可对该小电流进行分析以确定EM传感器与EM场发生器315之间的距离和/或角度/取向。此外，医疗器械/窥镜340可包括其他类型的传感器，诸如形状感测光纤、加速度计、陀螺仪、基于卫星的定位传感器(例如，全球定位系统(GPS)传感器)、射频收发器等。在一些实施方案中，医疗器械上的传感器可向控制系统提供传感器数据，该传感器数据然后用于确定医疗器械的位置和/或取向。在一些实施方案中，位置传感器定位在医疗器械340的远侧端部342上，而在其他实施方案中，该传感器定位在医疗器械上的另一位置处。可将输尿管镜驱动到接近目标乳突的位置。
在一些实施方案中，如在下文更详细地描述，可将输尿管镜340的远侧端部前移以接触目标解剖特征(例如，乳突)。在与窥镜340的远侧端部相关联的位置传感器接触和/或接近目标解剖特征的情况下，可将窥镜340的远侧端部的位置记录为经皮进入器械(例如，针)可被引导通过乳突进入目标盏的目标经皮进入位置。
本公开的某些实施方案有利地帮助使医师自动化和引导医师经过用于获得对目标解剖特征的经皮进入的过程。例如，可一起使用电磁定位和窥镜图像以引导将针插入患者体内。此解决方案可允许非专家医师在例如修改后的仰卧位置获得对肾的进入并且能够执行PCNL。
本公开的某些实施方案涉及对目标治疗部位(诸如肾中的目标位置)的位置传感器引导式经皮进入。例如，在窥镜340装配有一个或多个电磁传感器并且肾镜进入针也包括一个或多个电磁传感器并且此类传感器经受由场发生器315产生的电磁场90的情况下，相关联的系统控制电路系统可被配置为检测和跟踪它们的位置。在一些实施方案中，输尿管镜340的顶端在用户插入经皮进入针时充当引导信标。此解决方案可允许用户从多种途径命中目标，从而避免需要依赖于荧光检查或超声成像模态。
在一些实施方案中，与窥镜340相关联的控制系统(在图3中未示出)被配置为实施定位(localization)/定位(positioning)技术以确定和/或跟踪诸如窥镜340和/或经皮进入针(未示出)的医疗器械的位置(location)/位置(position)。在一些示例中，如上所述，EM场发生器315被配置为在患者的环境内提供EM场90。窥镜340和/或经皮进入针可包括EM传感器，该EM传感器被配置为检测EM信号并将关于检测到的EM信号的传感器数据发送到控制系统。该控制系统可分析传感器数据以确定窥镜340的位置和/或取向(例如，EM传感器与EM场发生器315之间的距离和/或角度/取向)。替代地或另外地，在一些示例中，控制系统可使用其他技术来确定窥镜340的位置和/或取向。例如，窥镜340(和/或针)可包括形状感测光纤、加速度计、陀螺仪、加速度计、基于卫星的定位传感器(例如，全球定位系统(GPS))、射频收发器等。该控制系统可从窥镜340接收传感器数据并确定其位置和/或取向。在一些实施方案中，该控制系统可相对于患者的坐标系和/或解剖结构实时跟踪窥镜340的位置和/或取向。
窥镜340可以是能够基于用户输入或自动地以任何合适或合意的方式控制的。控件311、312提供可用于接收用户输入的示例。在一些实施方案中，窥镜340的控件位于窥镜的近侧手柄上，该近侧手柄可能相对难以在输尿管镜的取向改变时以一些手术姿势/位置抓握。在一些实施方案中，如图像312中，使用双手控制器控制窥镜340。尽管控制器311、312被示出为手持式控制器，但是可使用任何类型的I/O装置接收用户输入，该I/O装置诸如触摸屏/垫、鼠标、键盘、麦克风等。
图4(以部分4-1和4-2表示)是说明根据本公开的一个或多个实施方案的用于进入患者的目标盏或其他器官的过程400的流程图。图5(以部分5-1和5-2表示)示出了根据一个或多个实施方案的对应于与图4的过程相关联的各种块、状态和/或操作的特定图像。过程400可涉及经皮进入肾70以去除肾结石(例如，PCNL)。这种经皮进入对于抽取经由输尿管镜去除是不切实际的或不合意的充分大的结石可为合意的。例如，结石的直径可大于2cm，而某些输尿管镜具有可借以去除结石或碎片的直径为约1.2mm的工作通道。尽管在许多情况下将结石破裂为较小的碎片以经由输尿管镜检查进行去除是行之有效的，但研究已经表明，残留的结石碎屑常常是新结石形成源，从而需要将来的类似治疗。
在框402处，过程400涉及使用输尿管镜440通过患者的输尿管进入肾，如上文描述。具体地，框402的操作可涉及将窥镜440前移通过输尿管63，经过肾盂71，并且进入一个或多个盏处或附近的区域。
在框404处，过程400涉及使用与内窥镜的远侧端部442相关联的图像捕获装置(例如，相机)定位待治疗的患者的肾结石480。例如，可至少部分地抽取肾结石480作为过程400的目的。
在框406处，过程400涉及识别暴露于目标盏475内的目标乳突479，可通过该目标盏实现对肾结石480的接近。识别目标乳突479对于产生可经由经皮进入来接近肾结石480所通过的可行道可为重要的。例如，可能需要确定适合于通过相对刚性的肾镜进入的角度，以便进入可到达肾结石480所通过的盏(例如，肾小盏475)。在一些具体实施中，可能期望或需要通过后盏到达肾结石480，以便提供对输尿管肾盂结点71的充分笔直的通道。一般来讲，可将目标肾小盏视为相对小的目标。例如，这种盏的直径可以是大约4mm-8mm。因此，精确的瞄准可能是关键的，以便有效地抽取肾结石。
实现针/肾镜对目标盏475的进入所通过的路径可有利地尽可能直，以便避免碰到在与针/肾镜可穿过其定位的乳突479相关联的肾锥体476周围的血管。此外，患者的各种关键解剖结构的位置可能需要导航穿过患者的组织/解剖结构的受约束窗。例如，在第12根肋骨下方的下极盏可提供避开肺胸膜的合适的进入。此外，进入路径可有利地在后腋线的内侧(例如，在第12根肋骨的顶端下方大约1cm以及在该顶端内侧1cm)，以避开结肠和/或椎旁肌。另外，该进入路径可有利地避免紧密接近肋骨，以避开肋间神经。此外，通过瞄准在盏475的轴向中心的区域中的入口，在一些情况下可避开大动脉和/或其他血管。
在框408处，过程400涉及标识/记录将实现期望的进入所通过的目标盏479内的暴露乳突479的位置例如，可在诸如电磁场空间的三维空间中表示/识别位置信息/数据。
为了记录乳突179的位置，可将窥镜440前移以物理地触摸/接触目标乳突479，如前移的窥镜顶端443所示出，窥镜440和/或操作者可结合此将此类接触位置识别和/或以其他方式指示为目标位置。在一些具体实施中，与输尿管镜的远侧端部/顶端442相关联的电磁信标或其他传感器装置可指示目标位置，从而记录电磁场空间中的目标位置。在接触/触碰乳突479并记录位置之后，可缩回窥镜的端部442，并且以某种方式测量此类缩回的深度。在一些具体实施中，可通过监控一般在进行接触时会被遮挡/变黑的由此生成的相机图像而向操作者告知窥镜440的远侧端部443已经接触乳突479。
在框410处，过程400涉及将诸如针的医疗器械450经皮引入患者体内。例如，在一些具体实施中，可经由患者的肋腹进行此类进入。在框412处，过程400涉及将经皮前移的医疗器械450引导向目标位置以最终横穿目标乳突479并且穿过其进入目标盏475。
在一些实施方案中，可通过窥镜440的相机提供针450的顶端进入目标盏475的视觉确认。例如，如上文所描述，窥镜440可从目标位置后退，从而提供包括盏475内的乳突479的视野，使得针450的顶端在穿过乳突479的表面突出时可看到该顶端。
在记录了目标位置的情况下，经皮插入的医疗器械(例如，针450)可被引导向记录的位置。然而，在此类记录的位置是静态的情况下，在记录目标位置之后发生的解剖运动可能导致该目标位置未准确地反映与期望进入所通过的目标解剖特征相关联的实时位置。例如，将针450插入患者体内的动作可能导致目标器官(例如，肾70)周围的特定解剖结构和/或目标器官本身以某种方式迁移和/或变形/弄成畸形，从而使目标解剖特征(例如，乳突479)呈现与在记录目标进入位置时不同的位置/形状。关于肾手术，输尿管镜440可固定到肾盂71的位置，使得肾70相对于输尿管镜的变形和/或运动可能导致此类目标位置破坏。因此，一旦将解剖运动引入到系统中，就可能不准确地跟踪乳突479。
一旦针已进入盏475，就可为针450更换更大直径的装置以提供用于去除结石的更大端口。在一些具体实施中，针450包括管心针和套管。在针顶端前移到盏475中的情况下，可移除管心针，从而留下套管形成到肾结石位置的开放端口。通过该套管，可放置导丝并将该导丝用于执行去除结石480的过程的剩余部分。例如，可使用该导丝沿着该导丝传递无气球囊或扩张器。可使该球囊或扩张器膨胀以产生大到足以将中空抽吸管(诸如肾盂引流管)直接引入到盏475中的端口。此时，可将肾镜或许多其他器械中的任一者引入到抽吸管中以辅助去除结石480。例如，可使用碎石机、激光、超声、篮、抓手、引流管等去除结石或其碎片，和/或可沿着抽吸管部署诸如肾造口术导管的引流管以减小肾内压力。此类功能性的任何组合可体现于肾镜(未示出)和/或输尿管镜440中。
图像处理增强型器械指导和自动化
本文描述的过程虽然在输尿管镜的背景下进行了描述，但可应用于利用位置传感器(例如，电磁场传感器)和/或相机来跟踪诸如乳突或尿结石的目标解剖特征的任何其他类型的外科手术。如所描述，可配准/记录静态位置标志以识别与目标解剖特征/界标相关联的目标位置。在一些实施方案中，本公开提供了用于鉴于特定目标识别和/或目标跟踪图像处理技术至少部分地基于静态位置标志来引导和/或自动化内窥镜和/或经皮进入器械的系统、装置和方法。根据本公开的实施方案的目标识别和跟踪可应用于任何类型的机器人内窥镜手术。
在一些具体实施中，可收集特定图像数据并用于识别目标解剖特征。可至少部分地使用机器学习框架来实现此类识别。例如，本公开的系统、装置和方法可提供在实时内窥镜图像中对目标解剖特征的识别，其中识别图像中的目标解剖特征可促成特定响应动作。例如，通信地耦合到机器人内窥镜和/或经皮进入装置的控制电路系统可被配置为跟踪目标特征的移动并采取动作，诸如铰接内窥镜的一个或多个部分(例如，远侧端部部分)或调整目标位置数据。例如，该控制电路系统可被配置为使内窥镜铰接以便在内窥镜相机的界面和/或图像场的视野中心处或附近使目标位置/点居中。
通过利用机器人辅助式经皮进入，医师可能够执行操作目标进入和治疗。此外，根据在下文更详细地描述的本公开的方面，可利用自动目标识别和跟踪来进一步辅助经皮进入，可依赖此来准确地维持用于经皮进入引导的目标位置。根据本公开的方面的由窥镜赋能的目标跟踪引导的皮肤进入可以是相对不技能密集型的。在一些具体实施中，单个操作员或机器人系统可执行该过程。此外，可避免对荧光镜检查的需要。
自动目标检测
图6是说明根据一个或多个实施方案的用于瞄准解剖特征的过程600的流程图。类似于本文公开的某些其他过程，过程600涉及在框610处将医疗器械(诸如窥镜(例如，输尿管镜))前移到治疗部位，诸如至少部分地设置在目标器官内的内腔或腔室。例如，框610的操作可涉及将医疗器械前移到患者的肾的目标盏。医疗器械与目标之间的相对位置可由于解剖运动和/或在经皮针器械根据本文公开的某些过程接近目标时略微变化。位置上的此相对变化可导致用于跟踪目标器官的位置的需求或必要性。例如，可在二维空间中跟踪该位置，并且可在三维空间中恢复该位置，如下文更详细地描述。
如上文所提及，根据本公开的方面的机器人内窥镜引导式经皮进入可利用相对于实现对治疗部位的进入所通过的目标解剖特征的位置跟踪技术。例如，可实施与医疗器械的远侧端部(例如，窥镜)和/或经皮进入器械(例如，针)相关联的位置跟踪机构/传感器，以便指导医师/技术人员将经皮进入器械与治疗部位(例如，目标盏)对准。如通过本公开的方面赋能的准确、实时目标跟踪可赋能对治疗部位的相对精确的单棍进入。
在框620处，过程600涉及标识目标解剖结构的位置，这一点最好说清楚，当图像处理方法能够给出目标的3D位置时，不需要此手动标识过程。例如，标识目标解剖位置的位置可涉及确定和/或记录(例如，如本文所示出和描述，在特定控制电路系统的易失性和/或非易失性数据存储装置中捕获)。可通过任何合适或合意的方式，诸如使用至少部分手动标识的子过程622或至少部分基于图像的标识子过程621，来结合框620标识目标解剖特征的位置，在下文分别结合框624和623进行描述。
关于特定手动标识过程，在框622处，过程600涉及使用医疗器械的远侧端部接触治疗部位中的目标解剖特征。例如，该医疗器械可包括传感器装置，诸如电磁传感器/信标，该电磁传感器/信标可指示医疗器械的远侧端部的位置，并且因此，在该医疗器械的远侧端部抵靠着和/或邻近于目标解剖特征而安置的情况下，可依赖此类位置读数来指示目标解剖特征的位置。作为示例，用户可通过以某种方式标识/配准目标解剖特征的暴露面(例如，暴露于目标盏内的乳突面)来提供输入以向相关计算/医疗系统通知目标解剖特征的特征接触位置。此类标识可通过以某种方式提供用户输入来实施，或者可基于感知的组织接触等而是基本上自动的。
关于特定的基于图像的标识过程，在框623处，过程600涉及使用图像数据输入和特定神经网络功能性来确定目标解剖特征的位置，如下文关于图7和图8详细描述。在一些具体实施中，将卷积神经网络用于目标位置识别/标识。
结合框620的操作而记录的特征接触位置可被视为相对于目标解剖特征的潜在动态相对位置的静态位置，该潜在动态相对位置可随时间变化。可通过任何合适或合意的方式记录和/或维持该特征接触位置，诸如存储在一个或多个数据存储装置中。
过程600前进到子过程630，该子过程可涉及在手术时期内在目标解剖特征的方向上前移诸如针等的经皮进入器械的同时跟踪目标解剖特征。对目标解剖特征的动态相对位置的实时跟踪可有利地促进将经皮进入器械准确地引导到治疗部位。
可通过各种方式实施子过程630。例如，如子过程632所示，可实施实况器械(例如，窥镜)跟踪以提供对目标解剖特征的手术跟踪。例如，在整个相关手术时期内，可维持医疗器械的远侧端部与目标解剖特征接触(框634)，使得由医疗器械指示的位置传感器数据可提供目标解剖特征的实时准确位置。因此，如框636处所示，可瞄准医疗器械的实况位置以提供期望的经皮进入路径。然而，在医疗器械的远侧端部与目标解剖特征紧密接近/接触的情况下，由于特征本身在相机的视野中阻挡目标解剖特征，对目标解剖特征的实时可视化可能是不可能的或充分清晰的。也就是说，与局部器械相关联的相机可被大部分目标解剖特征充分阻挡或遮挡，从而阻止医师/用户对经皮进入器械(例如，针)穿透目标解剖特征进行视觉确认。
示出用于跟踪目标解剖特征同时仍然在经皮进入器械接近期间维持目标解剖特征的清晰视觉的替代性子过程631。此子过程631可利用目标解剖特征的静态标识位置，如结合框620的操作。例如，在框633处，子过程631可涉及记录与和上文描述的框620的操作结合实施的与目标解剖特征的接触相关联的特征接触位置。
不再继续将医疗器械维持成与目标解剖特征接触/接近以提供手术跟踪，与子过程632一样，子过程631可涉及将医疗器械从目标解剖特征缩回一定距离(例如，在近侧方向上)，从而允许医疗器械在如框635处所指示的与其相关联的相机的视野中清楚地捕获目标解剖特征。例如，在一些具体实施中，在医疗器械已经停放在远离目标解剖特征的期望距离处时，医师/用户可通过某种方式告知系统。
通过澄清的方式，应注意，子过程631、632表示子过程630的替代性具体实施。也就是说，过程600可大体上涉及子过程632或子过程631而不是两者的具体实施。例如，子过程632大体上说明一种解决方案，该解决方案涉及将与丝线或窥镜相关联的位置跟踪装置(例如，电磁信标)留在目标解剖特征(例如，乳突)的位置/表面处，其中可致使/允许位置跟踪装置在针插入期间与乳突一起移动。因此，当传感器与目标解剖特征一起移动时，可连续地更新目标位置。子过程632一般可不需要/需要任何实时图像数据。然而，由于遮挡，子过程632的解决方案可能提供不了对目标乳突的针穿刺的即时视觉确认。
在一些情况下，可假设窥镜保持在目标盏内部，并且保留乳突-窥镜的配准。在目标解剖特征相对于窥镜位置传感器不存在相对移动的情况下，可基于所确定的当前窥镜位置连续地更新目标位置。例如，与框634相关联的操作可涉及不连续地维持器械/传感器与目标解剖特征之间的接触，可将窥镜缩回远离目标以允许相机对目标的查看。可使用在缩回窥镜期间收集的位置数据(例如，EM数据)来配准/记录相对于窥镜的乳突位置。例如，根据一个用例，窥镜的缩回/定位可在乳突前面大约5mm并且向左2mm。此类位置偏移可用于确定相对于窥镜的当前位置的目标的位置。然而，目标解剖特征与窥镜之间的相对移动可导致位置偏移计算的不可靠性，并且因此，此类过程可能是不充分的，补偿不了相对移动。
在特定方面，子过程631可表示与子过程632相比之下的改进。例如，对静态位置数据和/或窥镜偏移数据的依赖一般可能自身提供不了稳健的解决方案来补偿相对于目标解剖特征和/或其他运动的解剖移位，这可能是由于例如插入经皮进入器械和/或其他因素。除了解剖移动之外，与在治疗部位处驱动/定位医疗器械相关联的机器人机构和/或其他部件的物理定位的变化还可能引入关于目标解剖特征和医疗器械的远侧端部的相对定位的不准确性。在目标解剖特征的非所要的移动的情况下，可能不安心地依赖其静态记录位置来提供目标解剖特征的实际跟踪位置。因此，可能需要对在框620处记录的静态目标位置进行更新以适应解剖运动和/或如上文描述的其他引入的不准确性。
在医疗器械不再与目标解剖特征接触/接近的情况下，医疗器械的远侧端部的实时位置因此可能自身不指示目标解剖特征的实时位置。而是，子过程631可实施用于基于结合框633的操作而记录/标识的静态位置来跟踪目标解剖特征的位置的各种解决方案。例如，在框637处，子过程631可涉及通过使用由根据本公开的实施方案的特定系统控制电路系统实施的神经网络电路系统和/或其他图像跟踪功能性来处理目标解剖特征的实时图像来跟踪目标解剖特征的位置。例如，该神经网络和/或其他图像跟踪机制可接收目标解剖特征的实时图像作为输入，其中该神经网络电路系统和/或其他图像跟踪机制被配置为在其中识别和确定目标解剖特征的位置。这种特征识别功能性可用于相对于结合框633而记录的静态位置来实时跟踪目标解剖特征。
子过程631可包括或不包括接触624步骤和缩回635步骤，其中用户物理地接触目标乳突位置并缩回窥镜以在窥镜的视野中示出乳突。例如，在结合框620实施基于图像的标识621的情况下，可能不需要物理地接触目标解剖特征以确定其位置/定位。而是，可使用本文公开的目标识别机制基于由窥镜/器械的一个或多个相机捕获/生成的图像数据来确定位置/定位。例如，在一些实施方案中，使用多个图像/视觉和/或位置(例如，EM)数据帧来识别和跟踪目标。在下文结合图12描述此类目标位置确定的示例。在一些具体实施中，通过从两个不同位置和/或比对观察目标解剖特征(例如，乳突)，可相对于三维空间估计/确定目标位置。
在框639处，子过程631涉及使用经皮进入器械瞄准目标解剖特征的跟踪位置。例如，可在经皮进入器械的目标位置处使用治疗部位的实时图像中的识别的乳突形状或形态的质心。
在框640处，过程600涉及对目标解剖特征进行穿刺，其中相对于子过程632没有对目标解剖特征的视觉确认，或者根据子过程631进行视觉确认，这取决于过程600的特定具体实施。
结合本公开的实施方案而使用的各种位置传感器，诸如用于在框633处记录特征接触位置或在框636处瞄准实况器械位置的位置传感器，可以是任何类型的位置传感器。作为示例，此类传感器可以是电磁(EM)传感器/探针。关于窥镜，该位置传感器可与其顶端附接或集成、在该顶端的近侧。替代地，传感器可包括线圈，该线圈连接到延伸了窥镜长度的电线，该线圈连接到外部控制电路系统，该外部控制电路系统被配置为解译在该线圈处生成的电信号并且沿该电线传递。可结合本公开的实施方案实施的位置传感器装置的类型的示例包括(但不限于)加速度计、陀螺仪、磁力计、光纤形状感测(例如，经由布拉格光栅、瑞利散射、干涉测量或相关技术)等。依据具体实施，对诸如CT扫描的单独形态的患者影像的配准可能需要或可能不需要提供用于在患者体内定位尿结石的参考系。
为了参考，描述了可在一些公开的实施方案中实施的特定位置确定/定位机制。关于EM型传感器，诸如线圈或其他天线，此类传感器装置可被配置为在EM传感器在场内(例如，在肾内)移动时检测EM场的变化。因此，使用被配置为发射由EM传感器拾取的EM场的一个或多个EM发生器来实施某些实施方案。可以任何合适或合意的方式调制EM发生器，使得当它们发射的场被EM传感器捕获并且由适当的控制电路系统处理时，来自不同EM发生器的信号可分离以提供位置信息的额外维度。EM发生器可在时间上或在频率上经过调制，并且可使用正交调制，使得每个信号尽管有可能在时间上重叠也可与每个其他信号完全分离。此外，单独的EM发生器可在笛卡尔空间中以非零非正交角度相对于彼此定向，使得EM传感器的取向的变化将导致EM传感器在任何时刻从EM发生器中的至少一个EM生成器接收至少某一信号。
进一步参考图6的框633处的对特征接触位置的记录，可将EM位置数据配准到使用除EM(或用于捕获对准传感器数据的任何机制)之外的不同技术(诸如CT扫描)捕获的患者的图像，以便为EM数据建立参考帧。除了窥镜之外，经皮进入针可包括一个或多个位置/对准传感器，诸如EM传感器。可与如上文描述的窥镜位置数据类似地接收和处理从针EM传感器接收的位置/对准数据。本文描述的各种过程可完全或部分手动地执行和/或完全或部分使用机器人来执行。
本文公开的过程可结合除肾结石去除手术之外的手术来实施，诸如胆囊结石去除、肺(肺部/经胸腔)肿瘤活检等。一般来讲，可通过使用根据本公开的实施方案的被配置为捕获图像数据以便使用神经网络处理进行特征识别和跟踪的内窥镜来执行任何类型的经皮手术。附加的示例包括胃手术、食道手术和肺手术等。此外，将要去除的物体不一定需要是尿结石，它们可以是任何物体，诸如外来物或在人体内产生的物体。
基于神经网络的解剖特征识别和跟踪
图7绘示了根据本公开的一个或多个实施方案的用于识别内窥镜相机图像中的一个或多个目标解剖特征以便动态地更新目标位置数据的特征识别框架。特征识别框架700可体现在特定控制电路系统中，该特定控制电路系统包括一个或多个处理器、数据存储装置、连接性特征、衬底、无源和/或有源硬件电路装置、芯片/管芯等。例如，框架700可体现于在图2中示出并且在上文描述的控制电路系统60中。特征识别框架700可采用机器学习功能性对例如内部肾解剖结构的输尿管镜图像执行自动目标检测。
特征识别框架700可被配置为对特定图像类型数据结构进行操作，诸如表示与一种或多种医疗手术相关联的治疗部位的至少一部分的图像数据。可通过与框架700的图像处理部分相关联的特定变换电路系统720以某种方式操作此类输入数据/数据结构。变换电路系统720可包括任何合适或合意的变换和/或分类架构，诸如任何合适或合意的人工神经网络架构。
可根据已知的解剖图像712和对应于相应图像712的作为输入/输出对的目标标记732来训练变换电路系统720，其中变换/分类框架720被配置为调整与其相关联的一个或多个参数或权重以使已知的输入和输出图像数据相关。例如，可使用标记的数据集和/或机器学习来训练变换电路系统720(例如，卷积神经网络)。在一些具体实施中，机器学习框架可被配置为以任何合适或合意的方式执行学习/训练。
可至少部分地通过在已知的解剖图像712中手动地标记解剖特征来生成已知的目标标记732。例如，可由相关医疗专家确定手动标记和/或应用该手动标记来标记例如乳突解剖结构在盏间解剖图像之间何处。已知的输入/输出对可指示变换电路系统720的参数，该参数能够在一些实施方案中动态地更新。
已知的目标标记732可描绘存在于其中的目标解剖特征的边界和/或内部区域。在一些实施方案中，框架700可被配置为通过以二进制方式指示实时解剖图像715的特定图像是否包括目标解剖特征的方式生成实时目标标记735，其中可对被识别为包含目标解剖特征的一个或多个实例的图像执行进一步处理以进一步识别目标解剖特征的位置和/或其他方面。在一些实施方案中，可执行进一步处理以确定识别的目标解剖特征和/或其一个或多个部分的三维位置。
框架700可进一步被配置为使用变换电路系统720的训练过的版本来生成与实时解剖图像715相关联的实时目标标记735。例如，在医疗手术期间，可使用变换电路系统720处理与设置在治疗部位处的内窥镜或其他医疗器械相关联的治疗部位的实时图像，以生成识别实时图像中的一个或多个目标解剖特征的存在和/或位置的实时目标标记735。例如，在一些实施方案中，可由变换电路系统720处理输尿管镜图像以识别目标乳突的存在、位置和/或形状，可如本文详细描述使用经皮进入器械瞄准该目标乳突。关于输尿管镜应用，乳突状解剖结构一般在受试者之间在外观上类似地呈现，并且因此可以能够在广泛的人口统计中识别乳突解剖结构。
在一些实施方案中，变换电路系统720可被配置为识别目标解剖特征(例如，乳突)以及包含识别的解剖特征和/或包围图像中的识别的解剖特征的段外区域。变换框架720可包括人工神经网络，诸如卷积神经网络。例如，框架720可实施接受输入图像的深度学习架构，将可学习的权重/偏差分配给图像中的各个方面/对象以将彼此区分。框架720的过滤器/特性可以是手工设计的或可通过机器学习来学习。
框架720可包括与覆盖输入图像的视觉区域的输入图像的重叠区域相对应的多个神经元(例如，神经元层，如图7中所示)。框架720可进一步操作以通过某种方式使输入图像或其部分整平。框架720可被配置为通过应用特定过滤器来捕获输入图像715中的空间和/或时间相依性。此类过滤器可在各种卷积操作中执行以实现期望的输出数据。此类卷积操作可用于提取特征，诸如边缘、轮廓等。框架720可包括任何数目个卷积层，其中更多的层可提供对更高级特征的识别。框架720还可包括一个或多个合并层，该一个或多个合并层可被配置为减小卷积特征的空间大小，这可用于提取旋转和/或位置不变的特征，如特定解剖特征。一旦通过整平、合并和/或其他过程制备，便可通过多级感知器和/或前馈神经网络处理图像数据。此外，可将反向传播应用于训练的每次迭代。框架可能够在输入图像中的主要和特定低级特征之间进行区分，并且使用任何合适或合意的技术对它们进行分类。在一些实施方案中，神经网络架构包括以下已知的卷积神经网络架构中的任一卷积神经网络架构：LeNet、AlexNet、VGGNet、GoogLeNet、ResNet或ZFNet。
框架720的输入可以是视频或静态图像。在一些实施方案中，输入包括视频，其中框架720被配置为产生指示该视频的特定特征如何变化(例如，实施时间模型)的输出。在一些实施方案中，一旦神经网络720已经被训练，神经网络框架的操作输入可包括多个(例如，两个)图像，其中输出735包括(例如，随时间)指示图像上的一个或多个目标的位置的数据。输入715可包括图像或图像数据，和/或可包括指示单独(例如，连续)图像之间的差异的数据。例如，框架720可检测像素之间的运动或空间变化，其中像素位置的变化指示图像之间和/或随时间的运动。输出可指示图像之间的差异。在一些实施方案中，对神经网络框架720进行训练以估计光流。
图8绘示了根据本公开的一个或多个实施方案的示例性神经网络特征-分类/识别框架800。框架800可表示卷积神经网络架构，并且可包括所绘示的部件中的一个或多个部件，该部件可表示特定功能部件，其中每个功能部件可体现在与本公开的系统、装置和/或方法中的任何系统、装置和/或方法相关联的控制电路系统的一个或多个部分或部件中。框架800可表示图7的变换电路系统720或其一部分的实施方案。
神经网络框架800可包括预训练的神经网络821，诸如ResNet 50神经网络等。框架800还可包括特征提取部件822(例如，特征提取网络(SDN))，诸如特征金字塔网络。特征提取部件822可被配置为提取输入图像和/或工程师特征-检测器轮廓的一个或多个特征图。在实施特征金字塔网络功能性的实施方案中，可在不同的分辨率水平下处理多个图像以提供输出变体。
框架800还可包括区域提议网络部件823。区域提议网络823可被配置为提议图像上的特定边界框，该边界框包封在由特征提取部件822生成和/或提供的特征图上指示/识别的目标。
在一些实施方案中，可执行粗细处理图以在图像中提取目标。可由一个或多个附加部件827使用由区域提议网络823提供的提议的边界框。例如，二元分类网络部件826可被配置为基于它们是否包含所关注的目标特征来对边界框进行分类。此外，框回归网络825可被定位和配置成细化由区域提议网络823提议的边界框。另外，掩模预测网络部件824可被配置为计算和/或表示识别的目标特征的体形或形状/形态。
目标解剖特征跟踪
正确识别目标解剖特征和其位置的能力可有利地允许医疗器械在医疗手术期间瞄准目标解剖特征。然而，在确定目标解剖特征的目标位置之后的解剖运动的发生可使目标解剖特征移动远离已知的目标位置。因此，提供目标位置数据的实时更新的本公开的实施方案可帮助避免与术间解剖运动相关联的问题。
在一些实施方案中，可实施定位系统(例如，如本文描述的电磁定位系统)以确定一个或多个医疗器械的位置。在一些实施方案中，可使用相机图像校准该定位系统，以确定相机图像中表示的特征在定位场中的位置。
可根据各种方法实现目标解剖特征跟踪。例如，在一些实施方案中，可通过比较治疗部位的两个连续或循序捕获的图像的神经网络(或其他图像处理)电路系统的输出来实现目标跟踪。例如，倘若目标解剖特征的体形或掩模作为神经网络或其他类型的目标识别电路系统相对于在不同时间捕获的图像的输出，可诸如在重叠百分比的背景下确定此类体形/掩模(例如，成对交-并(IOU))的重叠。一般来讲，可假设连续图像之间的内容差异至少相对于在足够高的采样率下的图像捕获无显著不同。因此，如果重叠百分比高于预定义/预定阈值，则连续捕获的图像的掩模可被视为表示相同的目标解剖特征，其中阈值涉及目标在采样上的最大移动。
图9是说明根据本公开的一个或多个实施方案的用于跟踪治疗部位处的目标解剖特征的过程900的流程图。在框902处，过程900涉及使用标记的图像数据训练神经网络。例如，该神经网络可包括在某些方面分别与在图7和图8中示出的框架700、800类似的框架。
在框904处，过程900涉及从设置在治疗部位处或附近的内窥镜或其他医疗器械接收该治疗部位的第一图像。在框906处，过程900涉及使用神经网络架构/框架来识别第一图像中的第一特征。例如，该第一特征可以是存在于治疗部位处的目标乳突。例如，可实施一个或多个机器学习部件或模块以执行相对于第一图像的第一特征的分割。
在框908处，过程900涉及接收治疗部位的第二图像。可相对于第一图像连续和/或循序地捕获该第二图像。在框910处，过程900涉及使用神经网络识别该第二图像中的第二特征。例如，该第二特征可以是目标盏治疗部位中的乳突。在框912处，过程900涉及确定第一特征和第二特征表示治疗部位处的相同目标解剖特征，诸如相同的目标乳突。可诸如通过比较第一特征和第二特征和/或其部分的所确定的重叠或移动来以任何方式作出该第一特征和该第二特征表示相同目标解剖特征的确定。
在框914处，过程900涉及基于识别的第二特征和/或器械位置数据而修改与目标解剖特征相关联的目标跟踪位置。例如，器械位置数据可对应于医疗器械和/或其铰接或相对移动的初始标识位置。对目标跟踪位置的修改可用于通过补偿目标解剖特征的动态相对移动来跟踪该目标解剖特征。此外，用于捕获第一图像和第二图像的内窥镜或其他医疗器械可具有与其相关联的电磁传感器或其他位置传感器。此类位置传感器可用于引入对医疗器械移动到目标跟踪位置数据的补偿。
基于目标解剖特征在捕获第一图像的时间与捕获第二图像的时间之间的相对运动，可需要和/或期望对目标跟踪位置的修改。如上文描述，此类运动可由在治疗部位的一般区域中插入和/或操纵诸如针的经皮进入器械引起。由于该运动，目标解剖特征(例如，乳突)一般可能不会相对于窥镜保持固定，该窥镜可用于确定初始目标位置。因此，结合本公开的系统、装置和方法而公开的特征识别和跟踪功能性可允许使用相机图像随时间跟踪目标解剖特征。此类跟踪可用于动态地预测目标解剖特征的三维位置，其中该三维位置可用作经皮进入器械的目标跟踪位置，如本文描述。如本文描述，动态目标估计可极大地辅助实现经皮进入器械与目标解剖特征之间的会合。
可相对于与医疗器械的远侧端部相关联的位置传感器的位置来确定医疗器械(例如，内窥镜)的相机的位置。利用此类相机位置信息，可相对于与位置传感器相关联的位置空间(例如，电磁场空间)来确定出现在图像空间中的对象/特征的位置。因此，可在三维空间中确定第二图像中的第二特征的位置，并且可提供该位置来引导经皮进入器械(例如，针)。
尽管图9描述了基于第二特征识别和/或位置来修改目标跟踪位置，但是应当理解，可至少部分地基于更新后的解剖特征识别来实施任何类型的响应动作。例如，可实施通信地耦合到控制内窥镜的位置的机器人的特定控制电路系统，从而基于目标解剖特征的移动来调整/铰接该窥镜。例如，可移动窥镜，使得目标解剖特征的质心或其他部分是相机、接口或治疗部位的其他视觉表示的视野的中心处或附近的位置。
本文公开的神经网络和掩蔽概念可根据公布“Mask R-CNN”(He、Kaiming、GeorgiaGkioxari、Piotr Dollár和Ross Girshick.“Mask r-cnn”In Computer Vision(ICCV),2017IEEE International Conference on，第2980-2988页。IEEE,2017)来实施，该公布的整个内容在此明确以引用的方式并入本文。
图10是说明根据本公开的一个或多个实施方案的用于在治疗部位处跟踪目标解剖特征的过程的流程图。图10的跟踪过程1000可被视为直接跟踪实施方案。图11示出了与在图10中示出的过程1000的各个步骤相关的特定特征掩模和相关图像。
在框1002处，过程1000涉及针对在第一时间(t)拍摄的治疗部位的第一图像121生成目标掩模122。如图像121中所示，该第一图像包括目标解剖特征111的至少一部分，该目标解剖特征可表示从盏/肾治疗部位可见的乳突。图像122表示目标解剖特征的掩模。尽管根据本公开的实施方案可使用任何掩模，但是所说明的掩模122是二元掩模，该二元掩模包括表示目标解剖特征111的可见部分的形状或形态的特征区域112，以及表示不对应于目标解剖特征111的图像121的区域的背景部分119。可使用任何类型的分割和/或机器学习机制来生成掩模122，其中分割区域分叉以提供区域掩模，如所示。
在框1004处，过程1000涉及为在捕获第一图像121时的时间(t)之后的时间(t+1)拍摄的第二图像123生成目标掩模124。通过根据本公开的各方面的神经网络图像处理或其他目标识别机制，可在图像123中识别目标解剖特征113。图像123相对于目标特征113的掩模124被示出为图像124，该图像包括表示目标解剖特征113和图像123的可见部分的形状/体形或形态的特征区域114，和表示不对应于目标解剖特征113的图像123的区域的背景部分127。
在框1006处，过程1000涉及使用其相应掩模122、124确定第一图像121和第二图像123中的目标或特征重叠。图像125表示第一掩模122和第二掩模124的重叠。所得图像125包括对应于第一图像121和第二图像123两者的背景的部分115、对应于相对于第一图像121的背景但相对于第二图像123的特征区域的部分116，和对应于相对于第二图像123的背景但相对于第一图像121的特征区域的部分117。剩余区域118表示识别的解剖特征111、113之间的重叠区域。出于清楚起见，重叠区域/形状被单独地示出为图像126，并且表示不大于掩模122、124的特征区域中的任一者的区域。
过程1000可前进到决策框1008，其中可相对于第一特征区域112、第二特征区域114或以上两者的区域确定重叠量118、126是否大于预定阈值重叠量。如果确定是肯定的，则过程1000前进到框1010，其中可采取响应动作。例如，在框1010处，可假设第一识别的解剖特征111和第二识别的解剖特征113表示相同的目标解剖特征。例如，两个识别的特征可表示患者肾内的相同乳突。因此，图像121与123之间的位置的任何变化可表示解剖移动，并且因此响应动作可涉及调整与目标解剖特征相关联的目标位置和/或调整所利用的医疗器械的位置，该医疗器械诸如用于捕获图像121、123的器械(例如，内窥镜和/或其相机)。例如，一个或多个机器人臂可被配置为通过调整臂和/或由机器人臂控制的内窥镜位置来作出响应。相关区域的重叠的确定可基于二维X/Y轴线。尽管图像121、123之间的差异被描述为归因于解剖移动，但是应当理解，此类差异可至少部分地归因于一个或多个操作工具或器械的移动。
如果特征重叠不符合预定阈值，则过程1000可前进到框1012，该框可与或可不与任何响应动作相关联。例如，在框1012处，可假设特征111、113表示单独的解剖特征和/或其部分。因此，可不依赖特征111、113之间的位置的差异来表示目标解剖特征的特定解剖移动。在一些实施方案中，预定阈值可以是能够动态调谐的，并且可被选择和/或确定为产生合意的或最佳的区分性能。例如，可基于对先前已知数据的分析来确定阈值，如本文描述。在一些实施方案中，可滤除可归因于循环性呼吸动作的移动，使得此类移动不归于目标解剖特征的移动。例如，可执行图像121、123的采样，使得它们对应于呼吸循环周期中的类似点。在一些具体实施中，以每秒约30帧或任何其他合适或合意的采样速率对图像进行采样。
除了如上文描述的直接跟踪方法之外，可根据本公开实施间接跟踪方法。例如，可实施光流跟踪，以便跨多个图像跟踪目标解剖特征部分和/或其对应像素表示的移动。例如，跟踪表示共同图像特征的像素可提供目标解剖特征移动信息。此外，可实施其他特征跟踪机制，诸如跟踪拐角、日志、像素组和/或任何其他图像特征。
尽管可使用如本文描述的包括神经网络框架等的图像处理方法来执行分割/掩蔽，但在一些具体实施中，由医师或其他技术人员/操作员至少部分地手动地执行分割/掩蔽。例如，技术人员可选择目标解剖特征并识别后续图像中的类似特征，其中根据本公开可通过任何合适或合意的方式考虑由连续特征识别/分割表示的移动。在一些实施方案中，特征描述符可在该识别的特征区域中局部运行，该识别的特征区域可被视为在后续图像中存在特征的高可能性的区域。
尽管在输尿管镜的背景下呈现了本发明公开的方面，但是应当理解，此类概念适用于任何类型的内窥镜应用。例如，可利用本文所描述的特征识别和跟踪技术来用于识别和跟踪息肉或其他目标解剖特征。关于支气管镜检查手术，可利用本公开的目标解剖特征识别和跟踪概念来识别肿瘤和/或管理窥镜位置以用于收集样品等。关于呼吸道手术，可利用根据本公开的特征识别和瞄准来识别和/或跟踪目标气道、气道本身和/或其他特征内部的结节。
关于本文公开的实施方案中的任一实施方案，应当理解，可相对于目标解剖特征识别和/或跟踪来补偿已知的窥镜移动数据。此外，位置传感器信息可进一步提供指示可为了目标特征跟踪目的而对其作出补偿的移动的信息。进一步参考图10，在一些实施方案中，在框1010处发起任何响应动作之前，过程1000可涉及确定用户发起的窥镜移动或无意的窥镜移动是否已发生。如果是，则可调整生成的掩模以补偿此类移动，使得在重叠确定和/或响应动作中不反映此类移动。
关于本文公开的各种实施方案，可使用任何合适或合意类型的传感器、装置或其组合来确定和/或生成位置信息。例如，本公开的位置传感器/装置可包括以下各项中的任一者中的一者或多者：电磁传感器、阻抗光谱传感器、同轴传感器、惯性测量传感器、加速度计、磁力计、陀螺仪和/或提供指示位置、距离、取向、加速度、对准等的信息的任何其他类型的传感器。
三维目标位置估计
根据本公开的各方面的用于跟踪目标解剖特征的三维(3D)位置估计可根据任何合适或合意的技术或机制来实施。例如，在一些实施方案中，可基于图像中的解剖特征的代表性大小来估计内窥镜相机与目标解剖特征之间的距离。
在一些实施方案中，可使用与窥镜和/或解剖特征的移动角度有关的信息来确定3D位置。例如，电磁场/空间中的电磁传感器/信标可提供此类移动角度信息。通过将电磁传感器数据与图像数据组合，在此距离的移动之后捕获的所得图像中的距目标解剖特征的距离与目标解剖特征的大小之间的映射可用于估计后续图像中的特征的深度/距离。在一些实施方案中，当接触目标解剖特征(例如，乳突)并将窥镜缩回远离此类特征以将窥镜停放在提供合意的视野的位置时，可使用例如电磁传感器数据对行进的距离进行配准。此外，后续图像和提供关于解剖特征在此类图像中显得有多大的信息，并且因此可确定特征大小与距离之间的关系/映射并用于将来的位置确定。在一些具体实施中，可利用机器学习对图像进行分类并且基于此类图像中的特征的大小来确定位置信息。
在一些实施方案中，可利用机器学习来训练神经网络框架以解译图像数据并产生指示图像像素的3D深度的输出。可根据本文描述的任何合适或合意的过程或机制来实施此类机器学习。在一些实施方案中，可利用与医疗器械相关联的外部相机传感器(例如，窥镜)来获得目标的3D位置。例如，结构化照明传感器和/或飞行时间传感器可用于确定3D定位。
根据一些实施方案，可实施几何平移方法以检测目标解剖特征的3D位置。例如，与本公开的某些其他实施方案一样，可捕获与单独的时间戳相关联的潜在图像。结合此类图像，可使用可基于来自任何合适或合意的传感器或装置的传感器信息而确定的相对于相机的旋转平移信息来进行三角测量和/或确定此类图像在3D空间中的位置，从而提供指示目标解剖特征在3D空间中的3D位置的信息。该旋转平移信息可基于机器人致动器移动和/或位置传感器信息，该机器人致动器移动和/或位置传感器信息诸如来自与相机和/或窥镜相关联的电磁信标装置，并且指示相机在电磁场空间中的位置。
图12是绘示了3D位置估计过程的方面的图，该3D位置估计过程涉及在单独的时间(即，分别对应于时间(t)和时间(t+1)的时间(被称为Ct和Ct+1))拍摄的第一图像91和第二图像92。
在给出相机的固有和非固有参数(主点、焦距和失真因子、相对运动)的情况下，然后可至少部分地基于图像上的跟踪的目标二维(2D)位置来计算目标解剖特征的3D位置。对于固有参数，可考虑相机主点和焦距。可考虑的额外数据可包括径向和切向失真因子。基于传感器读数(例如，基于机器人或EM的传感器读数)，还可获得非固有参数，包括窥镜在拍摄两个图像的位置之间的旋转R和平移T。出于方便起见，可将K表示为包含固有参数的矩阵，将H表示为包含Ct与Ct+1之间的非固有旋转和平移的4乘4矩阵。
对于Ct，可将3D-2D的投影关系表达为xt＝KX，其中X是3D坐标w.r.t.Ct和xt图像t上的2D坐标(目标的检测到的质心)。此处，K是可表达为下式的三乘4矩阵：
Figure BDA0003722889000000381
其中K(n)是K中的第n行。
类似地，对于Ct+1，xt+1＝K′X，其中：
Figure BDA0003722889000000382
因为xt和KX是平行向量,所以xt×KX＝0，并且类似地，xt+1×K′X＝0。此处，‘×’是交叉乘积操作符。因此：
Figure BDA0003722889000000383
以上可产生：i(vtK(3)X-K(2)X)-j(utK(3)X-K(1)X)+k(utK(2)X-vtK(1)X)＝0，其中ut和vt是xt的2D坐标。因此：
Figure BDA0003722889000000391
Figure BDA0003722889000000392
Figure BDA0003722889000000393
在此，仅可需要前两个方程，因为第三方程是前两个方程的线性组合。类似地，对于Ct+1，可获得以下两个方程：
Figure BDA0003722889000000394
Figure BDA0003722889000000395
在堆叠Ct和Ct+1的方程之后，可产生以下结果：
AX＝0，
其中，A是4乘4矩阵：
Figure BDA0003722889000000396
由于A中的元素是已知的(检测到的2D坐标、固有和非固有参数)，因此可通过对A执行单数值分解(SVD)来计算X：
A＝U∑VT,
并且V的最后一列是X的解。
因此，鉴于前述公开内容，可利用本文公开的各种发明概念来执行自动目标检测、目标跟踪和/或三维位置估计。在一些实施方案中，本公开的方面有利地允许在不需要与目标解剖特征的物理接触的情况下跟踪目标解剖特征，这可促进输尿管镜使用的改进的人体工程学。
被配置为实施图12的系统的控制电路系统可有利地生成与两个(例如，时间上连续)图像中存在的目标相关联的三维(3D)位置信息。在一些具体实施中，可使用神经网络框架生成3D信息，该神经网络框架可在一个或多个方面类似于在图7中示出并且在上文作为上述计算具体实施的替代方案或补充而描述的框架720。例如，该神经网络的输入可包括指示目标解剖结构的3D大小、3D位置(例如，xyz坐标)或与图像参数有关的其他数据的图像、标记或其他数据。深度信息可从CT确定，或者可从其他信息得到。例如，深度和/或像素坐标信息可从神经网络输出。
附加实施方案
依据实施方案，可按照不同的顺序执行、可添加、合并或完全忽视本文描述的过程或算法中的任一者的特定动作、事件或功能。因此，在某些实施方案中，不是所有描述的动作或事件对于过程的实践都是必要的。
除非另外特别说明或在所使用的上下文内以其他方式理解，否则本文所用的条件语言，诸如“可”、“能够”、“可能”、“可以”、“例如”等，是指其普通意义，并且一般旨在传达某些实施方案包括而其他实施方案不包括某些特征、元件和/或步骤。因此，此类条件语言一般不旨在暗示一个或多个实施方案无论如何都需要特征、元件和/或步骤，或者一个或多个实施方案一定包括用于在有或没有作者输入或提示的情况下决定这些特征、元件和/或步骤是否包括在任何特定实施方案中或者是否将在任何特定实施方案中执行的逻辑。术语“包括”、“包含”、“具有”等是同义的，并且在它们的普通意义上使用，并且以开放式方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。而且，术语“或”在其包含性意义上(而不是在其排他性意义上)使用，使得当用于例如连接一系列元件时，术语“或”是指该系列的元件中的一个、一些或全部。除非另有特别说明，否则诸如措辞“X、Y和Z中的至少一者”的结合语言在一般使用的背景下被理解为传达项目、术语、元件等可以是X、Y或Z。因此，此类结合语言一般不旨在暗示某些实施方案需要X中的至少一者、Y中的至少一者和Z中的至少一者各自都要存在。
应当理解，在以上对实施方案的描述中，为了简化本公开并辅助理解各种发明方面中的一个或多个发明方面，有时将各种特征在单个实施方案、图或其描述中分组在一起。然而，本公开的此方法不应理解为反映了以下意图：任何权利要求要求比那项权利要求中所明确叙述的特征更多的特征。此外，本文的特定实施方案中说明和/或描述的任何部件、特征或步骤可应用于任何其他实施方案或与任何其他实施方案一起使用。此外，对于每个实施方案，没有部件、特征、步骤或部件、特征或步骤的组是必需的或不可缺少的。因此，期望本文公开和下文要求保护的本发明的范围不受上文描述的特定实施方案限制，而是应仅通过公正地阅读随附权利要求书来确定。
应当理解，为了便于参考，可提供某些序数术语(例如，“第一”或“第二”)，并且不一定暗示物理特性或排序。因此，如本文所用，用于修改诸如结构、部件、操作等元件的序数术语(例如，“第一”、“第二”、“第三”等)不一定指示该元件相对于任何其他元件的优先级或顺序，而是可大体上将该元件与具有类似或相同名称(但是用于使用序数术语)的另一元件区分开来。另外，如本文所用，不定冠词(“一个(a)”和“一个(an)”)可指示“一个或多个”而不是“一个”。此外，“基于”某一条件或事件而执行的操作还可基于未明确叙述的一个或多个其他条件或事件来执行。
除非另有定义，否则本文所用的所有术语(包括技术和科技术语)具有与示例性实施方案所属领域的普通技术人员通常理解的相同含义。将进一步理解，术语，诸如在常用字典中定义的术语，应当被解释为具有与它们在相关领域的背景下的含义一致的含义，并且不以理想化或过于正式的意义进行解释，除非本文明确如此定义。
为了便于描述，在本文中可使用空间相对术语“外部”、“内部”、“上部”、“下部”、“下方”、“上方”、“竖直”、“水平”和类似术语来描述在附图中绘示的一个元件或部件与另一元件或部件之间的关系。应当理解，空间相对术语旨在涵盖装置在使用中或操作中的除附图中描绘的取向之外的不同取向。例如，在附图中示出的装置被翻转的情况下，位于另一装置“下方”或“之下”的装置可放置在另一装置“上方”。因此，说明性术语“下方”可包括下部位置和上部位置两者。装置还可在另一方向上定向，并且因此可依据取向不同地解释空间相对术语。
除非另有明确说明，否则比较和/或定量术语，诸如“更少”、“更多”、“更大”等，旨在涵盖等式概念。例如，“更少”可不仅是指在最严格的数学意义上的“较少”，而且可指“小于或等于”。

Claims (30)

1.一种定位外科手术器械的方法，所述方法包括：
将第一医疗器械前移到患者的治疗部位，所述第一医疗器械包括相机；
记录与所述治疗部位处的目标解剖特征相关联的目标位置；
使用所述第一医疗器械的所述相机生成所述治疗部位的第一图像；
使用预先训练的神经网络来识别所述第一图像中的所述目标解剖特征；以及
至少部分地基于所识别的目标解剖特征在所述第一图像中的位置来调整所述目标位置。
2.根据权利要求1所述的方法，还包括至少部分地基于所识别的目标解剖特征在所述第一图像中的所述位置来调整所述第一医疗器械的取向。
3.根据权利要求2所述的方法，其中所述调整所述第一医疗器械的所述取向涉及使所识别的目标解剖特征在与所述相机相关联的视野中居中。
4.根据权利要求1所述的方法，其中所述记录所述目标位置涉及：
使所述目标解剖特征与所述第一医疗器械的远侧端部接触；
生成指示所述目标解剖特征和所述第一医疗器械的所述远侧端部的接触位置的位置数据；以及
使所述位置数据存储在一个或多个数据存储装置中。
5.根据权利要求4所述的方法，还包括在所述生成所述第一图像之前将所述第一医疗器械的所述远侧端部缩回远离所述目标解剖特征。
6.根据权利要求1所述的方法，还包括：
在所述生成所述第一图像之后，使用所述第一医疗器械的所述相机生成所述治疗部位的第二图像；
使用所述预先训练的神经网络来识别所述第二图像中的解剖特征；
确定所述第二图像的所述解剖特征和所述第一图像的所述目标解剖特征表示相同的特征；以及
响应于所述确定，至少部分地基于所识别的解剖特征在所述第二图像中的位置来调整所述目标位置。
7.根据权利要求6所述的方法，其中所述确定涉及：
确定所述第二图像的所述解剖特征的至少一部分与所述第一图像的所述目标解剖特征的至少一部分之间的重叠量；以及
确定所述重叠量大于预定阈值。
8.根据权利要求7所述的方法，还包括：
生成所述第一图像的第一掩模，所述第一掩模掩蔽所述第一图像的所述目标解剖特征的所述至少一部分；以及
生成所述第二图像的第二掩模，所述第二掩模掩蔽所述第二图像的所述解剖特征的所述至少一部分；
其中使用所述第一掩模和所述第二掩模执行所述确定所述重叠量。
9.根据权利要求6所述的方法，其中所述确定涉及跟踪所述第一图像与所述第二图像之间的特征的移动。
10.根据权利要求6所述的方法，所述方法还包括至少部分地基于所述第一图像和所述第二图像来估计所述第二图像的所述解剖特征的三维位置。
11.根据权利要求10所述的方法，其中所述估计所述解剖特征的所述三维位置基于以下各项中的一者或多者：相机焦距、相机主点、所述第一医疗器械的相对运动、所述第一医疗器械的旋转和电磁传感器读数。
12.根据权利要求1所述的方法，其中所述调整所述目标位置进一步至少部分地基于所述第一医疗器械的确定的移动。
13.根据权利要求1所述的方法，还包括朝向所述目标位置经皮引导第二医疗器械通过所述患者的组织。
14.根据权利要求13所述的方法，其中使用由所述第一医疗器械和所述第二医疗器械两者的对准传感器提供的传感器数据来执行所述引导。
15.根据权利要求1所述的方法，其中至少部分地由机器人系统执行所述方法。
16.一种瞄准解剖特征的方法，所述方法包括：
接收指示与患者的目标解剖特征相关联的目标位置的目标位置数据；
将所述目标位置数据存储在一个或多个数据存储装置中；
接收患者体内的外科手术部位的第一图像；
使用人工神经网络来识别表示所述目标解剖特征的所述第一图像中的第一形态；以及
基于所述第一图像中的所识别的形态而存储指示所述目标位置的更新后的目标位置数据。
17.根据权利要求16所述的方法，还包括响应于所述更新后的目标位置数据而使医疗器械进行铰接。
18.根据权利要求16所述的方法，其中：
由医疗系统的控制电路系统执行所述方法；以及
从所述医疗系统的内窥镜接收所述目标位置数据和所述第一图像。
19.根据权利要求16所述的方法，其中所述目标解剖特征是所述患者的肾的盏内的乳突的暴露部分。
20.根据权利要求16所述的方法，其中基于已知图像和标记数据来预先训练所述人工神经网络。
21.根据权利要求20所述的方法，其中所述人工神经网络包括多层特征金字塔网络。
22.根据权利要求16所述的方法，其中所述更新后的目标位置数据至少部分地基于与所述患者相关的已知呼吸信息。
23.根据权利要求16所述的方法，还包括：
接收所述外科手术部位的第二图像；
使用所述人工神经网络来识别表示所述目标解剖特征的所述第二图像中的第二形态；以及
至少部分地基于所述第一形态和所述第二形态而确定所述目标解剖特征的三维位置。
24.根据权利要求23所述的方法，其中所述确定所述目标解剖特征的所述三维位置是至少部分地基于所述第二形态的相对大小。
25.一种医疗系统，包括：
内窥镜，所述内窥镜具有与所述内窥镜的远侧端部相关联的相机和电磁位置传感器；
机器人医疗子系统，所述机器人医疗子系统包括多个铰接臂；和
控制电路系统，所述控制电路系统通信地耦合到所述内窥镜和所述机器人医疗子系统，所述控制电路系统被配置为：
响应于用户输入而将所述内窥镜前移到患者的治疗部位；
记录所述内窥镜的所述远侧端部在电磁场内的位置；
生成指示所述位置作为目标解剖位置的用户界面数据；
从所述内窥镜的所述相机接收第一图像；
使用预先训练的神经网络来识别所述第一图像中的目标解剖特征；以及
至少部分地基于所识别的目标解剖特征在所述第一图像中的位置来调整所述目标解剖位置。
26.根据权利要求25所述的医疗系统，其中所述控制电路系统还被配置为在所述电磁场中校准所述内窥镜的所述远侧端部。
27.根据权利要求25所述的医疗系统，还包括通信地耦合到所述控制电路系统的机器人肾镜。
28.一种计算装置，包括：
内窥镜界面；和
控制电路系统，所述控制电路系统包括一个或多个处理器以及一个或多个数据存储装置，所述控制电路系统被配置为：
在所述内窥镜界面上接收指示耦合到所述控制电路系统的内窥镜的远侧端部的位置的对准传感器数据；
生成指示所述内窥镜的所述远侧端部的所述位置作为目标肾镜检查位置的第一用户界面数据；
在所述内窥镜界面上接收医疗部位的第一图像；
识别所述第一图像中的第一解剖形态；
在所述内窥镜界面上接收所述医疗部位的第二图像；
识别所述第二图像中的第二解剖形态；
确定所述第一解剖形态和所述第二解剖形态表示相同的目标解剖特征；以及
基于所述确定而更新所述目标肾镜检查位置。
29.根据权利要求28所述的计算装置，其中所述控制电路系统还被配置为确定所述第一图像和所述第二图像的重叠中的所述第一形态和所述第二形态的重叠量大于预定阈值。
30.根据权利要求28所述的计算装置，其中所述控制电路系统被配置为响应于所述更新所述目标肾镜检查位置而生成指示更新后的目标肾镜检查位置的第二用户界面数据。
CN202080091098.XA 2019-12-31 2020-12-14 解剖特征识别和瞄准 Pending CN114901194A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962955991P 2019-12-31 2019-12-31
US62/955991 2019-12-31
PCT/IB2020/061908 WO2021137072A1 (en) 2019-12-31 2020-12-14 Anatomical feature identification and targeting

Publications (1)

Publication Number Publication Date
CN114901194A true CN114901194A (zh) 2022-08-12

Family

ID=76545636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091098.XA Pending CN114901194A (zh) 2019-12-31 2020-12-14 解剖特征识别和瞄准

Country Status (6)

Country Link
US (2) US11298195B2 (zh)
EP (1) EP4084721A4 (zh)
JP (1) JP2023508521A (zh)
KR (1) KR20220123273A (zh)
CN (1) CN114901194A (zh)
WO (1) WO2021137072A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116919593A (zh) * 2023-08-04 2023-10-24 溧阳市中医医院 一种胆囊切除手术用胆囊取出器

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2732344B1 (en) 2011-07-11 2019-06-05 Board of Regents of the University of Nebraska Robotic surgical system
EP4357083A2 (en) 2012-05-01 2024-04-24 Board of Regents of the University of Nebraska Single site robotic device and related systems and methods
EP2882331A4 (en) 2012-08-08 2016-03-23 Univ Nebraska ROBOTIC SURGICAL DEVICES, SYSTEMS AND CORRESPONDING METHODS
JP6479790B2 (ja) 2013-07-17 2019-03-06 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ ロボット外科的デバイス、システムおよび関連する方法
JP6961146B2 (ja) 2015-08-03 2021-11-05 バーチャル インシジョン コーポレイションVirtual Incision Corporation ロボット外科的デバイス、システムおよび関連する方法
JP7176757B2 (ja) 2016-05-18 2022-11-22 バーチャル インシジョン コーポレイション ロボット手術装置、システム及び関連する方法
JP7405432B2 (ja) * 2017-09-27 2023-12-26 バーチャル インシジョン コーポレイション 追跡カメラ技術を有するロボット手術デバイスならびに関連するシステムおよび方法
EP3735341A4 (en) 2018-01-05 2021-10-06 Board of Regents of the University of Nebraska ROBOTIC DEVICE HAVING A SINGLE ARM OF A COMPACT JOINT DESIGN AND RELATED SYSTEMS AND PROCESSES
CA3125742A1 (en) 2019-01-07 2020-07-16 Virtual Incision Corporation Robotically assisted surgical system and related devices and methods
US20220151708A1 (en) * 2020-11-18 2022-05-19 The Board Of Regents Of The University Of Oklahoma Endoscopic Guidance Using Neural Networks
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
CN117580531A (zh) * 2021-07-15 2024-02-20 波士顿科学医学有限公司 远侧尖端跟踪和标测
WO2023060198A1 (en) * 2021-10-08 2023-04-13 Intuitive Surgical Operations, Inc. Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods
CN114176775B (zh) * 2022-02-16 2022-05-10 武汉大学 Ercp选择性胆管插管的校验方法、装置、设备及介质
WO2023168306A2 (en) * 2022-03-01 2023-09-07 Kaliber Labs Inc. Arthroscopic surgery assistance apparatus and method
WO2023244659A1 (en) * 2022-06-16 2023-12-21 Intuitive Surgical Operations, Inc. Non-visible-spectrum light image-based training and use of a machine learning model
CN115245387B (zh) * 2022-09-22 2022-12-20 深圳市爱博医疗机器人有限公司 细长型医疗器械递送系统、递送方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040267477A1 (en) * 2001-05-24 2004-12-30 Scott Michael J. Methods and apparatus for data analysis
CN105208960A (zh) * 2013-05-16 2015-12-30 直观外科手术操作公司 用于与外部成像集成的机器人医疗系统的系统和方法
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN107997778A (zh) * 2016-10-31 2018-05-08 西门子保健有限责任公司 在计算机断层扫描血管造影术中基于深度学习的骨移除
CN108430373A (zh) * 2015-10-28 2018-08-21 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
US20190000568A1 (en) * 2017-06-28 2019-01-03 Auris Health, Inc. Instrument insertion compensation
CN109753866A (zh) * 2017-11-03 2019-05-14 西门子保健有限责任公司 机器学习中具有密集特征金字塔网络架构的医学图像对象检测
WO2019174953A1 (en) * 2018-03-12 2019-09-19 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods

Family Cites Families (635)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4644237A (en) 1985-10-17 1987-02-17 International Business Machines Corp. Collision avoidance system
US4748969A (en) 1987-05-07 1988-06-07 Circon Corporation Multi-lumen core deflecting endoscope
US4745908A (en) 1987-05-08 1988-05-24 Circon Corporation Inspection instrument fexible shaft having deflection compensation means
EP0347098B1 (en) 1988-06-13 1996-02-28 Samuel Shiber Atherectomy system with a guide-wire
JP2750201B2 (ja) 1990-04-13 1998-05-13 オリンパス光学工業株式会社 内視鏡の挿入状態検出装置
US5194791A (en) 1990-07-19 1993-03-16 Mcdonnell Douglas Corporation Compliant stereo vision target
US5199417A (en) 1990-12-21 1993-04-06 Circon Corporation Endoscope having a deflectable distal section and a semi-rigid proximal section
US5251611A (en) 1991-05-07 1993-10-12 Zehel Wendell E Method and apparatus for conducting exploratory procedures
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
JP3067346B2 (ja) 1991-10-30 2000-07-17 株式会社町田製作所 内視鏡用重力方向指示装置
US5550953A (en) 1994-04-20 1996-08-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line method and apparatus for coordinated mobility and manipulation of mobile robots
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5408263A (en) 1992-06-16 1995-04-18 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US5403276A (en) 1993-02-16 1995-04-04 Danek Medical, Inc. Apparatus for minimally invasive tissue removal
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
NL9301210A (nl) 1993-07-09 1995-02-01 Robert Philippe Koninckx Beeldweergavestelsel met beeldpositiecorrectie.
US6059718A (en) 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
DE69532829T2 (de) 1994-10-07 2005-01-27 St. Louis University Vorrichtung zur benutzung mit einem chirurgischen navigationssystem
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
JP2000511786A (ja) 1995-09-20 2000-09-12 テキサス・ハート・インスティチュート 管壁における温度差の検出
US5769086A (en) 1995-12-06 1998-06-23 Biopsys Medical, Inc. Control system and method for automated biopsy device
ES2241037T3 (es) 1996-02-15 2005-10-16 Biosense Webster, Inc. Determinacion precisa de la posicion de endoscopios.
IL125757A (en) 1996-02-15 2003-09-17 Biosense Inc Medical procedures and apparatus using intrabody probes
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US5672877A (en) 1996-03-27 1997-09-30 Adac Laboratories Coregistration of multi-modality data in a medical imaging system
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5831614A (en) 1996-07-01 1998-11-03 Sun Microsystems, Inc. X-Y viewport scroll using location of display with respect to a point
US6004016A (en) 1996-08-06 1999-12-21 Trw Inc. Motion planning and control for systems with multiple mobile objects
US8182469B2 (en) 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
US8206406B2 (en) 1996-12-12 2012-06-26 Intuitive Surgical Operations, Inc. Disposable sterile surgical adaptor
DE69815260T2 (de) 1997-01-24 2004-05-13 Koninklijke Philips Electronics N.V. Bildanzeigevorrichtung
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
EP2362285B1 (en) 1997-09-19 2015-03-25 Massachusetts Institute of Technology Robotic apparatus
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
AU5391999A (en) 1998-08-04 2000-02-28 Intuitive Surgical, Inc. Manipulator positioning linkage for robotic surgery
US6198974B1 (en) 1998-08-14 2001-03-06 Cordis Webster, Inc. Bi-directional steerable catheter
WO2000028882A2 (en) 1998-11-18 2000-05-25 Microdexterity Systems, Inc. Medical manipulator for use with an imaging device
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6179776B1 (en) 1999-03-12 2001-01-30 Scimed Life Systems, Inc. Controllable endoscopic sheath apparatus and related method of use
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US10820949B2 (en) 1999-04-07 2020-11-03 Intuitive Surgical Operations, Inc. Medical robotic system with dynamically adjustable slave manipulator characteristics
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
US8442618B2 (en) 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
US8271130B2 (en) 2009-03-09 2012-09-18 Intuitive Surgical Operations, Inc. Master controller having redundant degrees of freedom and added forces to create internal motion
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US7037258B2 (en) 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US7366562B2 (en) 2003-10-17 2008-04-29 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
FI114282B (fi) 1999-11-05 2004-09-30 Polar Electro Oy Menetelmä, järjestely ja sykemittari sydämen lyönnin tunnistamiseksi
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6755797B1 (en) 1999-11-29 2004-06-29 Bowles Fluidics Corporation Method and apparatus for producing oscillation of a bladder
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
US6458076B1 (en) 2000-02-01 2002-10-01 5 Star Medical Multi-lumen medical device
CN1364275A (zh) 2000-02-10 2002-08-14 索尼公司 自动装置、信息提供装置、机器人装置和交易方法
DE10011790B4 (de) 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
US7181289B2 (en) 2000-03-20 2007-02-20 Pflueger D Russell Epidural nerve root access catheter and treatment methods
US6858005B2 (en) 2000-04-03 2005-02-22 Neo Guide Systems, Inc. Tendon-driven endoscope and methods of insertion
US6837846B2 (en) 2000-04-03 2005-01-04 Neo Guide Systems, Inc. Endoscope having a guide tube
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US7559895B2 (en) * 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
DE10033723C1 (de) 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
JP4133319B2 (ja) 2000-07-14 2008-08-13 ノバダック テクノロジーズ インコーポレイテッド コンパクトな蛍光内視鏡映像システム
US8253779B2 (en) * 2000-10-11 2012-08-28 University of Pittsbugh—Of The Commonwealth System of Higher Education System for remote guidance by expert for imaging device
JP4153305B2 (ja) 2001-01-30 2008-09-24 ゼット − キャット、インコーポレイテッド 器具較正器および追跡システム
JP2002336190A (ja) 2001-03-12 2002-11-26 Olympus Optical Co Ltd 内視鏡
JP3808321B2 (ja) 2001-04-16 2006-08-09 ファナック株式会社 ロボット制御装置
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US20060178556A1 (en) 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
US6835173B2 (en) 2001-10-05 2004-12-28 Scimed Life Systems, Inc. Robotic endoscope
US6865498B2 (en) 2001-11-30 2005-03-08 Thermwood Corporation System for calibrating the axes on a computer numeric controlled machining system and method thereof
US6812842B2 (en) 2001-12-20 2004-11-02 Calypso Medical Technologies, Inc. System for excitation of a leadless miniature marker
US7277833B2 (en) 2002-02-06 2007-10-02 Siemens Corporate Research, Inc. Modeling of the workspace and active pending behavior of an endscope using filter functions
US7206627B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for intra-operative haptic planning of a medical procedure
DE10210646A1 (de) 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US20050256398A1 (en) 2004-05-12 2005-11-17 Hastings Roger N Systems and methods for interventional medicine
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
EP1499235B1 (en) 2002-04-17 2016-08-17 Covidien LP Endoscope structures and techniques for navigating to a target in branched structure
AU2003247338A1 (en) 2002-04-25 2003-11-10 The John Hopkins University Robot for computed tomography interventions
CN100443050C (zh) 2002-06-04 2008-12-17 皇家飞利浦电子股份有限公司 基于旋转血管造影术的冠状动脉结构混合3d重建
EP1534141B1 (en) 2002-06-17 2013-08-07 Mazor Robotics Ltd. Robot for use with orthopaedic inserts
WO2004000151A1 (en) 2002-06-25 2003-12-31 Michael Nicholas Dalton Apparatus and method for superimposing images over an object
US20040176751A1 (en) 2002-08-14 2004-09-09 Endovia Medical, Inc. Robotic medical instrument system
EP1581100A4 (en) 2002-09-30 2009-01-21 Stereotaxis Inc METHOD AND DEVICE FOR IMPROVED SURGICAL NAVIGATION WITH ELECTRONIC IDENTIFICATION AND AUTOMATICALLY ACTUATED FLEXIBLE MEDICAL DEVICES
KR100449765B1 (ko) 2002-10-12 2004-09-22 삼성에스디아이 주식회사 리튬전지용 리튬메탈 애노드
US6899672B2 (en) 2002-11-08 2005-05-31 Scimed Life Systems, Inc. Endoscopic imaging system including removable deflection device
JP4804005B2 (ja) 2002-11-13 2011-10-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 境界構造を検出するための医用ビューイングシステム及び方法
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040186349A1 (en) 2002-12-24 2004-09-23 Usgi Medical Corp. Apparatus and methods for achieving endoluminal access
FR2852226B1 (fr) 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
WO2004114037A2 (en) 2003-06-20 2004-12-29 Fanuc Robotics America, Inc. Multiple robot arm tracking and mirror jog
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7379769B2 (en) * 2003-09-30 2008-05-27 Sunnybrook Health Sciences Center Hybrid imaging method to monitor medical device delivery and patient support for use in the method
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US7280863B2 (en) 2003-10-20 2007-10-09 Magnetecs, Inc. System and method for radar-assisted catheter guidance and control
US20050107917A1 (en) 2003-11-14 2005-05-19 Smith Paul E. Robotic system for sequencing multiple specimens between a holding tray and a microscope
TW200523703A (en) 2003-12-01 2005-07-16 Unisearch Ltd A method for controlling a system formed from interdependent units
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP2005192632A (ja) 2003-12-26 2005-07-21 Olympus Corp 被検体内移動状態検出システム
US8021301B2 (en) 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
US20050193451A1 (en) 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
FI20040255A (fi) 2004-02-18 2005-08-19 Jurilab Ltd Oy Menetelmä pre-eklampsian riskin havaitsemiseksi
US8046049B2 (en) 2004-02-23 2011-10-25 Biosense Webster, Inc. Robotically guided catheter
US8021326B2 (en) 2004-03-05 2011-09-20 Hansen Medical, Inc. Instrument driver for robotic catheter system
WO2005087128A1 (en) 2004-03-05 2005-09-22 Hansen Medical, Inc. Robotic catheter system
US7974681B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
EP1737335B1 (en) 2004-03-23 2013-05-15 Boston Scientific Limited In-vivo visualization system
US9345456B2 (en) 2004-03-24 2016-05-24 Devicor Medical Products, Inc. Biopsy device
WO2005092188A1 (ja) 2004-03-29 2005-10-06 Olympus Corporation 被検体内位置検出システム
JP3922284B2 (ja) 2004-03-31 2007-05-30 有限会社エスアールジェイ 保持装置
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US7462175B2 (en) 2004-04-21 2008-12-09 Acclarent, Inc. Devices, systems and methods for treating disorders of the ear, nose and throat
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
US7303528B2 (en) 2004-05-18 2007-12-04 Scimed Life Systems, Inc. Serialization of single use endoscopes
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7197354B2 (en) 2004-06-21 2007-03-27 Mediguide Ltd. System for determining the position and orientation of a catheter
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060025668A1 (en) 2004-08-02 2006-02-02 Peterson Thomas H Operating table with embedded tracking technology
JP4709513B2 (ja) 2004-08-19 2011-06-22 オリンパス株式会社 電動湾曲制御装置
US7395116B2 (en) 2004-08-19 2008-07-01 Medtronic, Inc. Lead body-to-connector transition zone
JP2006061214A (ja) 2004-08-24 2006-03-09 Olympus Corp 手術システム
JP4695420B2 (ja) 2004-09-27 2011-06-08 オリンパス株式会社 湾曲制御装置
US7831294B2 (en) 2004-10-07 2010-11-09 Stereotaxis, Inc. System and method of surgical imagining with anatomical overlay for navigation of surgical devices
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9049954B2 (en) 2004-11-03 2015-06-09 Cambridge International, Inc. Hanger bar assembly for architectural mesh and the like
JP4874259B2 (ja) 2004-11-23 2012-02-15 ヌームアールエックス・インコーポレーテッド 標的部位にアクセスするための操縦可能な装置
JP4674214B2 (ja) 2004-12-03 2011-04-20 オリンパス株式会社 挿入部着脱式電動湾曲内視鏡装置
US20060200026A1 (en) 2005-01-13 2006-09-07 Hansen Medical, Inc. Robotic catheter system
CA2588002A1 (en) 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
US7763015B2 (en) 2005-01-24 2010-07-27 Intuitive Surgical Operations, Inc. Modular manipulator support for robotic surgery
US8182433B2 (en) 2005-03-04 2012-05-22 Endosense Sa Medical apparatus system having optical fiber load sensing capability
US8335357B2 (en) 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US8945095B2 (en) 2005-03-30 2015-02-03 Intuitive Surgical Operations, Inc. Force and torque sensing for surgical instruments
WO2006119495A2 (en) 2005-05-03 2006-11-09 Hansen Medical, Inc. Robotic catheter system
WO2006122061A1 (en) 2005-05-06 2006-11-16 Acumen Medical, Inc. Complexly shaped steerable catheters and methods for making and using them
US7860609B2 (en) 2005-05-06 2010-12-28 Fanuc Robotics America, Inc. Robot multi-arm control system
US20060258935A1 (en) 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
EP1945123A1 (en) 2005-07-14 2008-07-23 Enhanced Medical System LLC Robot for minimally invasive interventions
US20070043455A1 (en) 2005-07-26 2007-02-22 Viswanathan Raju R Apparatus and methods for automated sequential movement control for operation of a remote navigation system
US8583220B2 (en) 2005-08-02 2013-11-12 Biosense Webster, Inc. Standardization of catheter-based treatment for atrial fibrillation
CN101282760A (zh) 2005-08-11 2008-10-08 纳沃特克医药有限公司 利用基于放射性的位置传感器的医疗系统和方法
US8657814B2 (en) 2005-08-22 2014-02-25 Medtronic Ablation Frontiers Llc User interface for tissue ablation system
US9661991B2 (en) 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
US20070073136A1 (en) 2005-09-15 2007-03-29 Robert Metzger Bone milling with image guided surgery
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US7835785B2 (en) 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
JP2009516574A (ja) 2005-11-22 2009-04-23 ネオガイド システムズ， インコーポレイテッド 曲げ可能な装置の形状を決定する方法
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US8498691B2 (en) 2005-12-09 2013-07-30 Hansen Medical, Inc. Robotic catheter system and methods
DE102005059271B4 (de) 2005-12-12 2019-02-21 Siemens Healthcare Gmbh Kathetervorrichtung
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US9586327B2 (en) 2005-12-20 2017-03-07 Intuitive Surgical Operations, Inc. Hook and pivot electro-mechanical interface for robotic medical arms
US9266239B2 (en) 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8469945B2 (en) 2006-01-25 2013-06-25 Intuitive Surgical Operations, Inc. Center robotic arm with five-bar spherical linkage for endoscopic camera
US8161977B2 (en) 2006-01-31 2012-04-24 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
EP1815950A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Robotic surgical system for performing minimally invasive medical procedures
EP1815949A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Medical robotic system with manipulator arm of the cylindrical coordinate type
US8191359B2 (en) 2006-04-13 2012-06-05 The Regents Of The University Of California Motion estimation using hidden markov model processing in MRI and other applications
US8112292B2 (en) 2006-04-21 2012-02-07 Medtronic Navigation, Inc. Method and apparatus for optimizing a therapy
JP4822142B2 (ja) 2006-05-02 2011-11-24 国立大学法人名古屋大学 内視鏡挿入支援システム及び内視鏡挿入支援方法
US8628520B2 (en) 2006-05-02 2014-01-14 Biosense Webster, Inc. Catheter with omni-directional optical lesion evaluation
DE102006021373A1 (de) 2006-05-08 2007-11-15 Siemens Ag Röntgendiagnostikeinrichtung
ATE472980T1 (de) 2006-05-17 2010-07-15 Hansen Medical Inc Roboterinstrumentensystem
WO2007141784A2 (en) 2006-06-05 2007-12-13 Technion Research & Development Foundation Ltd. Controlled steering of a flexible needle
WO2007146984A2 (en) 2006-06-13 2007-12-21 Intuitive Surgical, Inc. Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
KR101477121B1 (ko) 2006-06-13 2014-12-29 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
US7505810B2 (en) 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
US8040127B2 (en) 2006-08-15 2011-10-18 General Electric Company Multi-sensor distortion mapping method and system
JP4878526B2 (ja) 2006-09-05 2012-02-15 国立大学法人 名古屋工業大学 可撓性線状体の圧縮力計測装置
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
CN100546540C (zh) 2006-09-19 2009-10-07 上海宏桐实业有限公司 心内膜三维导航系统
US8660635B2 (en) * 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
US20080108870A1 (en) 2006-11-06 2008-05-08 Wiita Bruce E Apparatus and method for stabilizing an image from an endoscopic camera
WO2008125910A2 (en) 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
US20140163664A1 (en) 2006-11-21 2014-06-12 David S. Goldsmith Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
JP2010511932A (ja) 2006-12-01 2010-04-15 トムソン ライセンシング 画像内のオブジェクトの位置推定
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
US7783133B2 (en) 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
US9220439B2 (en) 2006-12-29 2015-12-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Navigational reference dislodgement detection method and system
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US20080183064A1 (en) 2007-01-30 2008-07-31 General Electric Company Multi-sensor distortion detection method and system
EP2124798B1 (en) 2007-01-30 2019-04-10 Auris Health, Inc. Robotic instrument systems controlled using kinematics and mechanics models
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US20080218770A1 (en) 2007-02-02 2008-09-11 Hansen Medical, Inc. Robotic surgical instrument and methods using bragg fiber sensors
JP4914735B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 処置具の位置制御を行う内視鏡システム
WO2008103383A1 (en) 2007-02-20 2008-08-28 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
EP2129294A4 (en) * 2007-03-05 2011-04-27 Univ Pittsburgh COMBINING TOMOGRAPHIC IMAGES IN SITU WITH DIRECT VISION IN STERILE ENVIRONMENTS
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
WO2008111070A2 (en) 2007-03-12 2008-09-18 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
JP4550849B2 (ja) 2007-03-22 2010-09-22 株式会社東芝 アーム搭載移動ロボット
EP1972416B1 (en) 2007-03-23 2018-04-25 Honda Research Institute Europe GmbH Robots with occlusion avoidance functionality
US8391957B2 (en) 2007-03-26 2013-03-05 Hansen Medical, Inc. Robotic catheter systems and methods
EP2142133B1 (en) 2007-04-16 2012-10-10 NeuroArm Surgical, Ltd. Methods, devices, and systems for automated movements involving medical robots
WO2009034477A2 (en) 2007-04-16 2009-03-19 The Governors Of The University Of Calgary Frame mapping and force feedback methods, devices and systems
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20090030307A1 (en) 2007-06-04 2009-01-29 Assaf Govari Intracorporeal location system with movement compensation
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9096033B2 (en) 2007-06-13 2015-08-04 Intuitive Surgical Operations, Inc. Surgical system instrument sterile adapter
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
WO2008155828A1 (ja) 2007-06-20 2008-12-24 Olympus Medical Systems Corp. 内視鏡システム、撮像システム及び画像処理装置
EP2184079B1 (en) 2007-07-26 2015-09-09 Kyoto University Suction device, suction system, and suction method
EP2626030A3 (en) 2007-08-14 2017-03-08 Koninklijke Philips N.V. Robotic instrument systems and methods utilizing optical fiber sensors
US20130165945A9 (en) 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
JP2009055955A (ja) 2007-08-29 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
EP3281671A1 (en) 2007-09-13 2018-02-14 ProCure Treatment Centers, Inc. Patient positioner system
US8180428B2 (en) 2007-10-03 2012-05-15 Medtronic, Inc. Methods and systems for use in selecting cardiac pacing sites
US10498269B2 (en) 2007-10-05 2019-12-03 Covidien Lp Powered surgical stapling device
US8396595B2 (en) 2007-11-01 2013-03-12 Honda Motor Co., Ltd. Real-time self collision and obstacle avoidance using weighting matrix
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
KR100927096B1 (ko) 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US20090228020A1 (en) 2008-03-06 2009-09-10 Hansen Medical, Inc. In-situ graft fenestration
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8343096B2 (en) 2008-03-27 2013-01-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US20090259099A1 (en) 2008-04-10 2009-10-15 Georgia Tech Research Corporation Image-based control systems
JP5424570B2 (ja) 2008-04-10 2014-02-26 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ、ビデオスコープ及び電子内視鏡装置
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US9125562B2 (en) 2009-07-01 2015-09-08 Avinger, Inc. Catheter-based off-axis optical coherence tomography imaging system
KR101479233B1 (ko) 2008-05-13 2015-01-05 삼성전자 주식회사 로봇 및 그 협조작업 제어방법
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US7720322B2 (en) 2008-06-30 2010-05-18 Intuitive Surgical, Inc. Fiber optic shape sensor
US20100030061A1 (en) 2008-07-31 2010-02-04 Canfield Monte R Navigation system for cardiac therapies using gating
US20100256812A1 (en) 2008-08-08 2010-10-07 Yuko Tsusaka Control device and control method for cleaner, cleaner, control program for cleaner, and integrated electronic circuit
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US8126114B2 (en) 2008-09-12 2012-02-28 Accuray Incorporated Seven or more degrees of freedom robotic manipulator having at least one redundant joint
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
US8781630B2 (en) 2008-10-14 2014-07-15 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
US9610131B2 (en) 2008-11-05 2017-04-04 The Johns Hopkins University Rotating needle driver and apparatuses and methods related thereto
US8720448B2 (en) 2008-11-07 2014-05-13 Hansen Medical, Inc. Sterile interface apparatus
US8083691B2 (en) 2008-11-12 2011-12-27 Hansen Medical, Inc. Apparatus and method for sensing force
US20100121139A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Systems
US8317746B2 (en) 2008-11-20 2012-11-27 Hansen Medical, Inc. Automated alignment
EP2376175B1 (en) 2008-12-12 2019-01-30 Corindus, Inc. Remote catheter procedure system
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US8374723B2 (en) 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
CN102123651B (zh) 2009-01-15 2014-02-26 奥林巴斯医疗株式会社 内窥镜系统
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
EP2241179B1 (en) 2009-04-16 2017-05-17 DeLaval Holding AB A milking parlour and method for operating the same
CN102413756B (zh) 2009-04-29 2015-04-01 皇家飞利浦电子股份有限公司 从单目内窥镜图像估计实时深度
US20100280320A1 (en) 2009-04-29 2010-11-04 Hansen Medical, Inc. Flexible and steerable elongate instruments with shape control and support elements
US20120062714A1 (en) 2009-05-08 2012-03-15 Koninklijke Philips Electronics N.V. Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
WO2010131500A1 (ja) 2009-05-15 2010-11-18 シャープ株式会社 画像処理装置および画像処理方法
JP5836267B2 (ja) 2009-05-18 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
US20100292565A1 (en) 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
CN102368944B (zh) 2009-06-11 2015-07-08 奥林巴斯医疗株式会社 医疗用控制装置
CN102448683B (zh) 2009-07-02 2014-08-27 松下电器产业株式会社 机器人、机器人手臂的控制装置及机器人手臂的控制程序
KR101180665B1 (ko) 2009-07-03 2012-09-07 주식회사 이턴 하이브리드 수술용 로봇 시스템 및 수술용 로봇 제어방법
US20110015484A1 (en) 2009-07-16 2011-01-20 Alvarez Jeffrey B Endoscopic robotic catheter system
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
GB0915200D0 (en) 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
KR101609281B1 (ko) 2009-10-01 2016-04-05 마코 서지컬 코포레이션 도구, 다기능 도구용 부품들의 키트 및 다기능 도구용 로봇 시스템
US20110092808A1 (en) 2009-10-20 2011-04-21 Magnetecs, Inc. Method for acquiring high density mapping data with a catheter guidance system
JP5077323B2 (ja) 2009-10-26 2012-11-21 株式会社安川電機 ロボット制御システム
CN102595998A (zh) 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 利用距离传感器的碰撞避免和检测
EP2382939B1 (en) 2009-11-10 2013-09-04 Olympus Medical Systems Corp. Multi-joint manipulator device and endoscope system having the same
BR112012011422B1 (pt) 2009-11-13 2020-09-29 Intuitive Surgical Operations, Inc Sistema cirúrgico minimamente invasivo
KR101948703B1 (ko) 2009-11-13 2019-02-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 곡선형 캐뉼라 및 로봇 조작기
US20120283747A1 (en) 2009-11-16 2012-11-08 Koninklijke Philips Electronics N.V. Human-robot shared control for endoscopic assistant robot
US8374819B2 (en) 2009-12-23 2013-02-12 Biosense Webster (Israel), Ltd. Actuator-based calibration system for a pressure-sensitive catheter
US9675302B2 (en) 2009-12-31 2017-06-13 Mediguide Ltd. Prolapse detection and tool dislodgement detection
WO2011094518A2 (en) 2010-01-28 2011-08-04 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
JP5750122B2 (ja) 2010-02-11 2015-07-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボット内視鏡の作動制御方法およびシステム
EP2377457B1 (en) 2010-02-22 2016-07-27 Olympus Corporation Medical apparatus
JP5048158B2 (ja) 2010-03-17 2012-10-17 オリンパスメディカルシステムズ株式会社 内視鏡システム
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US8425455B2 (en) 2010-03-30 2013-04-23 Angiodynamics, Inc. Bronchial catheter and method of use
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
JP4679668B1 (ja) 2010-04-21 2011-04-27 日本ライフライン株式会社 カテーテル
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
CN102869295B (zh) 2010-05-21 2015-09-09 奥林巴斯医疗株式会社 带第二弯曲部的内窥镜
DE102010029745A1 (de) 2010-06-07 2011-12-08 Kuka Laboratories Gmbh Werkstück-Handhabungssystem und Verfahren zum Manipulieren von Werkstücken mittels kooperierender Manipulatoren
US20120101369A1 (en) 2010-06-13 2012-04-26 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US20120130217A1 (en) 2010-11-23 2012-05-24 Kauphusman James V Medical devices having electrodes mounted thereon and methods of manufacturing therefor
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8460236B2 (en) 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US10737398B2 (en) 2010-07-08 2020-08-11 Vanderbilt University Continuum devices and control methods thereof
EP2605693B1 (en) 2010-08-20 2019-11-06 Veran Medical Technologies, Inc. Apparatus for four dimensional soft tissue navigation
US20120071752A1 (en) 2010-09-17 2012-03-22 Sewell Christopher M User interface and method for operating a robotic medical system
US9101379B2 (en) 2010-11-12 2015-08-11 Intuitive Surgical Operations, Inc. Tension control in actuation of multi-joint medical instruments
US20130274783A1 (en) 2010-11-15 2013-10-17 Jason B. Wynberg Percutaneous renal access system
JP5669529B2 (ja) 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
DE112010006052T5 (de) 2010-12-08 2013-10-10 Industrial Technology Research Institute Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
US9186219B2 (en) 2010-12-17 2015-11-17 Ethicon Endo-Surgery, Inc. Surgical system and methods for mimicked motion
WO2012088167A2 (en) 2010-12-20 2012-06-28 Spine View, Inc. Articulating tissue removal systems and methods
US8812079B2 (en) 2010-12-22 2014-08-19 Biosense Webster (Israel), Ltd. Compensation for magnetic disturbance due to fluoroscope
EP2476455A1 (de) 2011-01-13 2012-07-18 BIOTRONIK SE & Co. KG Implantierbare Elektrodenleitung
US20120191083A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
WO2012109760A1 (en) 2011-02-18 2012-08-23 Traumis Surgical Systems Inc. Tool with integrated navigation and guidance system and related apparatus and methods
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
FR2972915B1 (fr) 2011-03-24 2013-04-19 Gen Electric Systeme d'imagerie medicale multiplan
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
US10918307B2 (en) 2011-09-13 2021-02-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Catheter navigation using impedance and magnetic field measurements
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9572481B2 (en) 2011-05-13 2017-02-21 Intuitive Surgical Operations, Inc. Medical system with multiple operating modes for steering a medical instrument through linked body passages
WO2013001388A1 (en) 2011-06-27 2013-01-03 Koninklijke Philips Electronics N.V. Live 3d angiogram using registration of a surgical tool curve to an x-ray image
US20130018306A1 (en) 2011-07-13 2013-01-17 Doron Moshe Ludwin System for indicating catheter deflection
US9173683B2 (en) 2011-08-31 2015-11-03 DePuy Synthes Products, Inc. Revisable orthopedic anchor and methods of use
CN102973317A (zh) 2011-09-05 2013-03-20 周宁新 微创手术机器人机械臂布置结构
EP2753241B1 (en) 2011-09-08 2016-11-09 APN Health, LLC Automatically determining 3d catheter location and orientation using 2d fluoroscopy only
US9173551B2 (en) 2011-09-09 2015-11-03 Children's National Medical Center Enhanced control of flexible endoscopes through human-machine interface
WO2013038313A1 (en) 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Vascular outlining with ostia visualization
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
EP2768373B1 (en) 2011-10-21 2018-06-13 Viking Systems, Inc. Steerable endoscope comprising a brake
CA2856519C (en) 2011-11-22 2020-11-03 Ascension Technology Corporation Tracking a guidewire
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
US8920368B2 (en) 2011-12-22 2014-12-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Multi-user touch-based control of a remote catheter guidance system (RCGS)
US20130246334A1 (en) 2011-12-27 2013-09-19 Mcafee, Inc. System and method for providing data protection workflows in a network environment
JP5826862B2 (ja) 2012-01-16 2015-12-02 オリンパス株式会社 挿入装置
JP6290099B2 (ja) 2012-02-03 2018-03-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 埋め込み型形状感知機能を有する操縦可能な可撓性針
US20130218005A1 (en) 2012-02-08 2013-08-22 University Of Maryland, Baltimore Minimally invasive neurosurgical intracranial robot system and method
WO2013118090A2 (en) 2012-02-09 2013-08-15 Koninklijke Philips N.V. Shaft tracker for real-time navigation tracking
US9314926B2 (en) 2012-02-15 2016-04-19 Intuitive Surgical Operations, Inc. Compact needle manipulator for targeted interventions
US9129417B2 (en) 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction
US9138165B2 (en) 2012-02-22 2015-09-22 Veran Medical Technologies, Inc. Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
DE102012207707A1 (de) 2012-05-09 2013-11-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Minimalinvasives Instrument für die robotische Chirurgie
EP2849668B1 (en) 2012-05-14 2018-11-14 Intuitive Surgical Operations Inc. Systems and methods for registration of a medical device using rapid pose search
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
CN104540548B (zh) 2012-05-15 2017-02-22 皇家飞利浦有限公司 近距放射治疗装置
EP2854687B1 (en) 2012-06-01 2022-08-24 Intuitive Surgical Operations, Inc. Systems for avoiding collisions between manipulator arms using a null-space
US20150045675A1 (en) 2012-06-01 2015-02-12 Ary Chernomorsky Percutaneous methods and devices for carotid body ablation
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US10194801B2 (en) 2012-06-28 2019-02-05 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
US20140001234A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Coupling arrangements for attaching surgical end effectors to drive systems therefor
DE102012220116A1 (de) 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
US9603666B2 (en) 2012-08-02 2017-03-28 Koninklijke Philips N.V. Controller definition of a robotic remote center of motion
US9226796B2 (en) 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
US9183354B2 (en) 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
WO2014028557A1 (en) 2012-08-15 2014-02-20 Intuitive Surgical Operations, Inc. Phantom degrees of freedom for manipulating the movement of mechanical bodies
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
MX2015002400A (es) 2012-08-24 2015-11-09 Univ Houston Dispositivo robotico y sistemas para cirugia guiada por imagen y asistida por robot.
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US20140107390A1 (en) 2012-10-12 2014-04-17 Elekta Ab (Publ) Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch)
CN104736085B (zh) 2012-10-12 2018-01-30 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
US9121455B2 (en) 2012-11-07 2015-09-01 Dana Automotive Systems Group, Llc Clutch management system
GB201220688D0 (en) 2012-11-16 2013-01-02 Trw Ltd Improvements relating to electrical power assisted steering systems
US20150313503A1 (en) 2012-11-20 2015-11-05 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
LU92104B1 (en) 2012-11-28 2014-05-30 Iee Sarl Method and system for determining a ventilatory threshold
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
US8894610B2 (en) 2012-11-28 2014-11-25 Hansen Medical, Inc. Catheter having unirail pullwire architecture
JP6045417B2 (ja) 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
DE102013100605A1 (de) 2013-01-22 2014-07-24 Rg Mechatronics Gmbh Robotersystem und Verfahren zum Steuern eines Robotersystems für die minimal invasive Chirurgie
US11172809B2 (en) 2013-02-15 2021-11-16 Intuitive Surgical Operations, Inc. Vision probe with access port
EA033708B1 (ru) 2013-02-26 2019-11-19 Ahmet Sinan Kabakci Роботизированная манипуляционная система
US9186142B2 (en) 2013-02-28 2015-11-17 Ethicon Endo-Surgery, Inc. Surgical instrument end effector articulation drive with pinion and opposing racks
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
JP5715311B2 (ja) 2013-03-06 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム
US10431438B2 (en) 2013-03-06 2019-10-01 Jx Nippon Mining & Metals Corporation Titanium target for sputtering and manufacturing method thereof
US9839481B2 (en) 2013-03-07 2017-12-12 Intuitive Surgical Operations, Inc. Hybrid manual and robotic interventional instruments and methods of use
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US20140296655A1 (en) 2013-03-11 2014-10-02 ROPAMedics LLC Real-time tracking of cerebral hemodynamic response (rtchr) of a subject based on hemodynamic parameters
WO2014141968A1 (ja) 2013-03-12 2014-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US20170303941A1 (en) 2013-03-14 2017-10-26 The General Hospital Corporation System and method for guided removal from an in vivo subject
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
WO2014151952A1 (en) 2013-03-14 2014-09-25 Sri International Compact robotic wrist
US9498601B2 (en) 2013-03-14 2016-11-22 Hansen Medical, Inc. Catheter tension sensing
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
US9668768B2 (en) 2013-03-15 2017-06-06 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
US9174024B1 (en) 2013-03-15 2015-11-03 St. Jude Medical Luxembourg Holdings S.À.R.L. Steering control mechanisms for catheters
JP6396987B2 (ja) 2013-03-15 2018-09-26 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 超精巧外科システム
US20170238807A9 (en) 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9782198B2 (en) 2013-03-28 2017-10-10 Koninklijke Philips N.V. Localization of robotic remote center of motion point using custom trocar
US10271810B2 (en) 2013-04-02 2019-04-30 St. Jude Medical International Holding S.à r. l. Enhanced compensation of motion in a moving organ using processed reference sensor data
CN105283119B (zh) 2013-04-12 2018-09-21 皇家飞利浦有限公司 形状感测超声探头
WO2014169103A2 (en) 2013-04-12 2014-10-16 Ninepoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
US9414859B2 (en) 2013-04-19 2016-08-16 Warsaw Orthopedic, Inc. Surgical rod measuring system and method
US9387045B2 (en) 2013-05-14 2016-07-12 Intuitive Surgical Operations, Inc. Grip force normalization for surgical instrument
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140364739A1 (en) 2013-06-06 2014-12-11 General Electric Company Systems and methods for analyzing a vascular structure
WO2014201165A1 (en) 2013-06-11 2014-12-18 Auris Surgical Robotics, Inc. System for robotic assisted cataract surgery
CN105377131B (zh) 2013-07-02 2018-05-25 奥林巴斯株式会社 医疗设备
JP6037964B2 (ja) 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
CN109954196B (zh) 2013-08-15 2021-11-09 直观外科手术操作公司 用于导管定位和插入的图形用户界面
US10098565B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
JP6506295B2 (ja) 2013-09-20 2019-04-24 ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッドThe Brigham and Women’s Hospital, Inc. 制御装置、及び腱駆動装置
US20160213432A1 (en) 2013-10-02 2016-07-28 Koninklijke Philips N.V. Hub design and methods for optical shape sensing registration
DE102013220798A1 (de) 2013-10-15 2015-04-16 Kuka Laboratories Gmbh Verfahren zum Handhaben von Objekten mittels wenigstens zweier Industrieroboter, und zugehöriger Industrieroboter
US9737373B2 (en) 2013-10-24 2017-08-22 Auris Surgical Robotics, Inc. Instrument device manipulator and surgical drape
WO2015061756A1 (en) 2013-10-24 2015-04-30 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
CA2931755A1 (en) 2013-10-30 2015-05-07 Faculty Physicians And Surgeons Of Loma Linda University School Of Medicine Controlled pressure endoscopic and percutaneous surgery
CN103565529B (zh) 2013-11-11 2015-06-17 哈尔滨工程大学 一种机器人辅助微创外科手术多功能器械臂
US9314191B2 (en) 2013-11-19 2016-04-19 Pacesetter, Inc. Method and system to measure cardiac motion using a cardiovascular navigation system
US10610306B2 (en) 2013-12-09 2020-04-07 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
CN103705307B (zh) 2013-12-10 2017-02-22 中国科学院深圳先进技术研究院 手术导航系统及医疗机器人
CN103735313B (zh) 2013-12-11 2016-08-17 中国科学院深圳先进技术研究院 一种手术机器人及其状态监测方法
JP6261612B2 (ja) 2013-12-20 2018-01-17 オリンパス株式会社 軟性マニピュレータ用ガイド部材および軟性マニピュレータ
US10510267B2 (en) 2013-12-20 2019-12-17 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
CN103767659B (zh) 2014-01-02 2015-06-03 中国人民解放军总医院 消化内窥镜机器人
WO2015110928A1 (en) 2014-01-24 2015-07-30 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
JP2017511707A (ja) 2014-01-24 2017-04-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 経食道心エコープローブ用のセンサレス力制御
KR20160118295A (ko) 2014-02-04 2016-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법
JP6246383B2 (ja) 2014-02-06 2017-12-13 セント・ジュード・メディカル，カーディオロジー・ディヴィジョン，インコーポレイテッド 面取りされたリング電極および可変シャフトを備えた細長医療機器
US20150223902A1 (en) 2014-02-07 2015-08-13 Hansen Medical, Inc. Navigation with 3d localization using 2d images
EP3104803B1 (en) 2014-02-11 2021-09-15 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
US10548630B2 (en) 2014-02-11 2020-02-04 Vanderbilt University System, method, and apparatus for configuration, design, and operation of an active cannula robot
CN106456269B (zh) 2014-02-18 2019-09-24 西门子保健有限责任公司 对包括心脏的电传导系统的影响在内的患者特定心脏电生理的实时仿真的系统和方法
JP6353665B2 (ja) 2014-02-21 2018-07-04 オリンパス株式会社 マニピュレータの初期化方法、マニピュレータ、およびマニピュレータシステム
JP6138071B2 (ja) 2014-02-26 2017-05-31 オリンパス株式会社 弛み補正機構、マニピュレータ及びマニピュレータシステム
JP6270537B2 (ja) 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
WO2015128218A1 (en) 2014-02-27 2015-09-03 Koninklijke Philips N.V. System for performing a therapeutic procedure
KR20150103938A (ko) 2014-03-04 2015-09-14 현대자동차주식회사 리튬황 배터리 분리막
JP2017516507A (ja) 2014-03-17 2017-06-22 インテュイティブ サージカル オペレーションズ， インコーポレイテッド イメージング器具の向きの制御のためのシステム及び方法
US10952751B2 (en) 2014-03-17 2021-03-23 Marksman Targeting, Inc. Surgical targeting systems and methods
CN104931059B (zh) 2014-03-21 2018-09-11 比亚迪股份有限公司 车载救援导航系统和方法
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
WO2015149042A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Alignment of q3d models with 3d images
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
WO2015161677A1 (en) 2014-04-22 2015-10-29 Bio-Medical Engineering (HK) Limited Single access surgical robotic devices and systems, and methods of configuring single access surgical robotic devices and systems
AU2015258819B2 (en) 2014-05-16 2019-12-12 Applied Medical Resources Corporation Electrosurgical system
US9549781B2 (en) 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
EP3166527B1 (en) 2014-06-05 2020-08-05 Medrobotics Corporation Articulating robotic probes and systems
CN104055520B (zh) 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航系统
US20160270865A1 (en) 2014-07-01 2016-09-22 Auris Surgical Robotics, Inc. Reusable catheter with disposable balloon attachment and tapered tip
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US10159533B2 (en) 2014-07-01 2018-12-25 Auris Health, Inc. Surgical system with configurable rail-mounted mechanical arms
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US20170007337A1 (en) 2014-07-01 2017-01-12 Auris Surgical Robotics, Inc. Driver-mounted torque sensing mechanism
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
CN106659374B (zh) 2014-07-02 2021-04-02 柯惠有限合伙公司 在3d导航时提供距离和取向反馈的系统和方法
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
KR102628063B1 (ko) 2014-07-22 2024-01-23 엑시미스 서지컬 인코포레이티드 대용적 조직 감소 및 제거 시스템 및 방법
WO2016025440A1 (en) 2014-08-12 2016-02-18 Intuitive Surgical Operations, Inc. Detecting uncontrolled movement
US20160051221A1 (en) 2014-08-25 2016-02-25 Covidien Lp System and Method for Planning, Monitoring, and Confirming Treatment
US9931651B2 (en) 2014-08-28 2018-04-03 Nebia Inc. Immersive showerhead
JP6460690B2 (ja) 2014-09-16 2019-01-30 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
EP3193727A1 (en) 2014-09-18 2017-07-26 Koninklijke Philips N.V. Ultrasound imaging apparatus
EP3200718A4 (en) 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
CN106604687B (zh) 2014-09-30 2019-08-16 莎·卡西玛尔·瓦拉巴达斯 用于包含抽吸、冲洗和材料去除的不同领域的内窥镜式外科手术的鞘套组件和多孔导管
US10441374B2 (en) 2014-10-08 2019-10-15 Mohammad Ali Tavallaei System for catheter manipulation
EP3206577A1 (en) 2014-10-15 2017-08-23 Vincent Suzara Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure
GB201418368D0 (en) 2014-10-16 2014-12-03 Creo Medical Ltd Surgical snare
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
KR20170088883A (ko) 2014-11-11 2017-08-02 벤더르빌트 유니버시티 급성 신장 손상을 제한하기 위한 방법
EP3217911B1 (en) 2014-11-13 2023-01-04 Intuitive Surgical Operations, Inc. Systems for filtering localization data
EP3226762B1 (en) 2014-12-01 2021-05-19 Koninklijke Philips N.V. Virtually-oriented electromagnetic tracking coil for catheter based navigation
US20160166320A1 (en) 2014-12-11 2016-06-16 Boston Scientific Scimed, Inc. Medical device and methods of use
DE112014007273T5 (de) 2014-12-19 2017-11-02 Olympus Corporation Einfügung/Entfernung-Unterstützungsapparat und Einfügung/Entfernung-Unterstützungsverfahren
DE112014007269T5 (de) 2014-12-19 2017-10-12 Olympus Corporation Einfügung/Entfernung-Unterstützungsapparat und Einfügung/Entfernung-Unterstützungsverfahren
US9931168B2 (en) 2015-01-12 2018-04-03 Biomet Manufacuturing. LLC Plan implementation
EP3636149B1 (en) 2015-02-20 2023-06-07 Teleflex Life Sciences Limited Medical device position location systems, devices and methods
CN106794023A (zh) 2015-02-26 2017-05-31 奥林巴斯株式会社 医疗用处置器具
JP6348078B2 (ja) 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
GB2555921B (en) * 2015-03-06 2021-09-15 Micromass Ltd Endoscopic tissue identification tool
AU2016229897B2 (en) 2015-03-10 2020-07-16 Covidien Lp Measuring health of a connector member of a robotic surgical system
US10413377B2 (en) 2015-03-19 2019-09-17 Medtronic Navigation, Inc. Flexible skin based patient tracker for optical navigation
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US9302702B1 (en) 2015-03-27 2016-04-05 Proterra Inc. Steering control mechanisms for an electric vehicle
JP6360455B2 (ja) 2015-03-30 2018-07-18 富士フイルム株式会社 検査画像閲覧支援装置、その作動方法及び作動プログラム
US10226193B2 (en) 2015-03-31 2019-03-12 Medtronic Ps Medical, Inc. Wireless pressure measurement and monitoring for shunts
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
CN105030331A (zh) 2015-04-24 2015-11-11 长春理工大学 位置传感器与三维腹腔镜摄像机标定装置及方法
CN104758066B (zh) 2015-05-06 2017-05-10 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
WO2016187054A1 (en) 2015-05-15 2016-11-24 Auris Surgical Robotics, Inc. Surgical robotics system
US20160354057A1 (en) 2015-06-08 2016-12-08 General Electric Company Ultrasound imaging system and ultrasound-based method for guiding a catheter
US20170071456A1 (en) 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
WO2016199273A1 (ja) 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6289755B2 (ja) 2015-06-18 2018-03-07 オリンパス株式会社 医療システム
US10347904B2 (en) 2015-06-19 2019-07-09 Solidenergy Systems, Llc Multi-layer polymer coated Li anode for high density Li metal battery
GB2540757B (en) 2015-07-22 2021-03-31 Cmr Surgical Ltd Torque sensors
CN111887786A (zh) 2015-08-14 2020-11-06 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
CN107920861B (zh) 2015-08-28 2021-08-17 皇家飞利浦有限公司 用于确定运动关系的装置
EP4173554A1 (en) 2015-08-31 2023-05-03 Masimo Corporation Wireless patient monitoring system
US20170056215A1 (en) 2015-09-01 2017-03-02 Medtronic, Inc. Stent assemblies including passages to provide blood flow to coronary arteries and methods of delivering and deploying such stent assemblies
CN113274140B (zh) 2015-09-09 2022-09-02 奥瑞斯健康公司 手术覆盖件
US11311343B2 (en) 2015-09-17 2022-04-26 Endomaster Pte Ltd Flexible robotic endoscopy system
AU2016323982A1 (en) 2015-09-18 2018-04-12 Auris Health, Inc. Navigation of tubular networks
EP3352695B1 (en) 2015-09-25 2024-04-17 Covidien LP Robotic surgical assemblies and electromechanical instruments thereof
US10441371B2 (en) 2015-10-02 2019-10-15 Vanderbilt University Concentric tube robot
AU2016339822B9 (en) 2015-10-13 2021-07-08 Lightlab Imaging, Inc. Intravascular imaging system and methods to determine cut plane view angle of side branch
US20170106904A1 (en) 2015-10-16 2017-04-20 Ford Global Technologies, Llc Control Method For Vehicle With Electronic Steering Column Lock
US10779976B2 (en) 2015-10-30 2020-09-22 Ram Medical Innovations, Llc Apparatus and method for stabilization of procedural catheter in tortuous vessels
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10231793B2 (en) 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10413316B2 (en) 2015-11-17 2019-09-17 Covidien Lp Articulating ultrasonic surgical instruments and systems
WO2017091704A1 (en) 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
CN105511881A (zh) 2015-12-10 2016-04-20 中国航空工业集团公司西安航空计算技术研究所 一种通用机载交互数据的管理方法
CN105559850B (zh) 2015-12-17 2017-08-25 天津工业大学 一种用于机器人辅助外科具有力传感功能的手术钻器械
US10154886B2 (en) 2016-01-06 2018-12-18 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
WO2017127595A1 (en) 2016-01-22 2017-07-27 Boston Scientific Scimed, Inc. Retrieval system
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
US10485579B2 (en) 2016-02-25 2019-11-26 Indian Wells Medical, Inc. Steerable endoluminal punch
CN108472086B (zh) 2016-02-26 2021-07-09 直观外科手术操作公司 使用虚拟边界避免碰撞的系统和方法
JP6637195B2 (ja) 2016-03-24 2020-01-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 治療評価装置
EP3435904A1 (en) 2016-03-31 2019-02-06 Koninklijke Philips N.V. Image guided robot for catheter placement
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10786224B2 (en) 2016-04-21 2020-09-29 Covidien Lp Biopsy devices and methods of use thereof
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US10806516B2 (en) 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
KR102420386B1 (ko) 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US20180036033A1 (en) * 2016-08-03 2018-02-08 Anthony R. Ignagni Systems and methods for electrode placement in deep muscles and nerves using ultrasound guidance
US10238455B2 (en) 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
AU2016422171B2 (en) 2016-08-31 2022-01-20 Auris Health, Inc. Length conservative surgical instrument
US20180055576A1 (en) 2016-09-01 2018-03-01 Covidien Lp Respiration motion stabilization for lung magnetic navigation system
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10342410B2 (en) * 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
WO2018098477A1 (en) 2016-11-28 2018-05-31 University Of Florida Research Foundation, Incorporated Urologic sheath with photodiode and coaxial grabber for suctioning of larger kidney stones
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
CN107028659B (zh) 2017-01-23 2023-11-28 新博医疗技术有限公司 一种ct图像引导下的手术导航系统及导航方法
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
EP3600112A4 (en) 2017-03-22 2020-10-28 Intuitive Surgical Operations Inc. SYSTEMS AND PROCEDURES FOR INTELLIGENT SEEDING A REGISTRATION
KR102545869B1 (ko) 2017-03-28 2023-06-23 아우리스 헬스, 인코포레이티드 샤프트 작동 핸들
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
KR102558061B1 (ko) 2017-03-31 2023-07-25 아우리스 헬스, 인코포레이티드 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
EP3606400B1 (en) 2017-04-07 2022-03-09 Auris Health, Inc. Patient introducer alignment
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
WO2018188466A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
US20180308247A1 (en) 2017-04-25 2018-10-25 Best Medical International, Inc. Tissue imaging system and method for tissue imaging
CN110831498B (zh) 2017-05-12 2022-08-12 奥瑞斯健康公司 活检装置和系统
JP7301750B2 (ja) 2017-05-17 2023-07-03 オーリス ヘルス インコーポレイテッド 交換可能な作業チャネル
US11259878B2 (en) 2017-05-29 2022-03-01 Intellijoint Surgical Inc. Systems and methods for surgical navigation with a tracker instrument
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3644885B1 (en) 2017-06-28 2023-10-11 Auris Health, Inc. Electromagnetic field generator alignment
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
WO2019005696A1 (en) 2017-06-28 2019-01-03 Auris Health, Inc. DETECTION OF ELECTROMAGNETIC DISTORTION
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10593052B2 (en) 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
WO2019076086A1 (zh) 2017-10-19 2019-04-25 以诺康医疗科技（苏州）有限公司 一种超声波手术刀头、刀杆及超声波手术刀
JP7362610B2 (ja) 2017-12-06 2023-10-17 オーリス ヘルス インコーポレイテッド コマンド指示されていない器具の回動を修正するシステムおよび方法
KR20200099138A (ko) 2017-12-08 2020-08-21 아우리스 헬스, 인코포레이티드 의료 기구 항행 및 표적 선정을 위한 시스템 및 방법
JP7208237B2 (ja) 2017-12-08 2023-01-18 オーリス ヘルス インコーポレイテッド 医療手技を行うシステム及び医療機器
US10470830B2 (en) 2017-12-11 2019-11-12 Auris Health, Inc. Systems and methods for instrument based insertion architectures
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
KR20200101334A (ko) 2017-12-18 2020-08-27 아우리스 헬스, 인코포레이티드 관강내 조직망 내 기구 추적 및 항행을 위한 방법 및 시스템
EP3509013A1 (en) * 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
JP6999824B2 (ja) 2018-01-17 2022-01-19 オーリス ヘルス インコーポレイテッド 調節可能なアーム支持体を有する外科用プラットフォーム
EP3752085A4 (en) 2018-02-13 2021-11-24 Auris Health, Inc. SYSTEM AND METHOD FOR TRAINING A MEDICAL INSTRUMENT
CN112087981A (zh) 2018-03-01 2020-12-15 奥瑞斯健康公司 用于标测和导航的方法和系统
JP2019154816A (ja) 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
KR102500422B1 (ko) 2018-03-28 2023-02-20 아우리스 헬스, 인코포레이티드 기구의 추정된 위치를 디스플레이하기 위한 시스템 및 방법
JP7214747B2 (ja) 2018-03-28 2023-01-30 オーリス ヘルス インコーポレイテッド 位置センサの位置合わせのためのシステム及び方法
WO2019190657A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
MX2020010220A (es) 2018-03-29 2021-01-15 Auris Health Inc Sistemas médicos activados robóticamente con efectores de extremo multifunción que tienen desviaciones rotacionales.
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
MX2020012898A (es) 2018-05-31 2021-02-26 Auris Health Inc Navegacion de redes tubulares basada en trayecto.
EP3801280A4 (en) 2018-05-31 2022-03-09 Auris Health, Inc. ROBOTIC SYSTEMS AND LUMINAL NETWORK NAVIGATION METHODS THAT DETECT PHYSIOLOGICAL NOISE
KR102455671B1 (ko) 2018-05-31 2022-10-20 아우리스 헬스, 인코포레이티드 이미지-기반 기도 분석 및 매핑
US10744981B2 (en) 2018-06-06 2020-08-18 Sensata Technologies, Inc. Electromechanical braking connector
WO2019236450A1 (en) 2018-06-07 2019-12-12 Auris Health, Inc. Robotic medical systems with high force instruments
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
WO2020005854A1 (en) 2018-06-28 2020-01-02 Auris Health, Inc. Medical systems incorporating pulley sharing
CN112804946A (zh) 2018-08-07 2021-05-14 奥瑞斯健康公司 将基于应变的形状感测与导管控制相结合
EP3806772A4 (en) 2018-08-15 2022-03-30 Auris Health, Inc. MEDICAL INSTRUMENTS FOR TISSUE CAUTERIZATION
EP3806758A4 (en) 2018-08-17 2022-04-06 Auris Health, Inc. BIPOLAR MEDICAL DEVICE
US10881280B2 (en) 2018-08-24 2021-01-05 Auris Health, Inc. Manually and robotically controllable medical instruments
JP7427654B2 (ja) 2018-09-17 2024-02-05 オーリス ヘルス インコーポレイテッド 付随する医療処置を行うためのシステム及び方法
CN112770689A (zh) 2018-09-26 2021-05-07 奥瑞斯健康公司 用于抽吸和冲洗的系统和器械
EP3813634A4 (en) 2018-09-26 2022-04-06 Auris Health, Inc. ARTICULATING MEDICAL INSTRUMENTS
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
EP3856065A4 (en) 2018-09-28 2022-06-29 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
EP3856064A4 (en) 2018-09-28 2022-06-29 Auris Health, Inc. Systems and methods for docking medical instruments
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
US11950863B2 (en) 2018-12-20 2024-04-09 Auris Health, Inc Shielding for wristed instruments
JP2022515835A (ja) 2018-12-28 2022-02-22 オーリス ヘルス インコーポレイテッド ロボット医療用システム及び方法のための経皮的シース
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
JP2022525037A (ja) 2019-03-08 2022-05-11 オーリス ヘルス インコーポレイテッド 医療システム用の傾斜機構及び用途
EP3908224A4 (en) 2019-03-22 2022-10-19 Auris Health, Inc. SYSTEMS AND METHODS FOR INLET ALIGNMENTS ON MEDICAL DEVICES
WO2020197625A1 (en) 2019-03-25 2020-10-01 Auris Health, Inc. Systems and methods for medical stapling
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
US11369448B2 (en) 2019-04-08 2022-06-28 Auris Health, Inc. Systems, methods, and workflows for concomitant procedures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040267477A1 (en) * 2001-05-24 2004-12-30 Scott Michael J. Methods and apparatus for data analysis
CN105208960A (zh) * 2013-05-16 2015-12-30 直观外科手术操作公司 用于与外部成像集成的机器人医疗系统的系统和方法
CN108430373A (zh) * 2015-10-28 2018-08-21 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN107997778A (zh) * 2016-10-31 2018-05-08 西门子保健有限责任公司 在计算机断层扫描血管造影术中基于深度学习的骨移除
US20190000568A1 (en) * 2017-06-28 2019-01-03 Auris Health, Inc. Instrument insertion compensation
CN109753866A (zh) * 2017-11-03 2019-05-14 西门子保健有限责任公司 机器学习中具有密集特征金字塔网络架构的医学图像对象检测
WO2019174953A1 (en) * 2018-03-12 2019-09-19 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116919593A (zh) * 2023-08-04 2023-10-24 溧阳市中医医院 一种胆囊切除手术用胆囊取出器
CN116919593B (zh) * 2023-08-04 2024-02-06 溧阳市中医医院 一种胆囊切除手术用胆囊取出器

Also Published As

Publication number Publication date
US20220296312A1 (en) 2022-09-22
EP4084721A4 (en) 2024-01-03
KR20220123273A (ko) 2022-09-06
US11298195B2 (en) 2022-04-12
US20210196398A1 (en) 2021-07-01
JP2023508521A (ja) 2023-03-02
WO2021137072A1 (en) 2021-07-08
EP4084721A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
US11298195B2 (en) Anatomical feature identification and targeting
CN110891469B (zh) 用于定位传感器的配准的系统和方法
US11660147B2 (en) Alignment techniques for percutaneous access
US11602372B2 (en) Alignment interfaces for percutaneous access
CN110832544A (zh) 用于导航的基于图像的分支检测和映射
CN112087981A (zh) 用于标测和导航的方法和系统
US11737663B2 (en) Target anatomical feature localization
US11147633B2 (en) Instrument image reliability systems and methods
CN114340542A (zh) 用于位置传感器的基于权重的配准的系统和方法
CN117320654A (zh) 支气管镜检查中的基于视觉的6DoF相机姿态估计
US20220096183A1 (en) Haptic feedback for aligning robotic arms
US20240127399A1 (en) Visualization adjustments for instrument roll
US20230225802A1 (en) Phase segmentation of a percutaneous medical procedure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination