CN111419152A - 增强视差的内镜成像 - Google Patents

增强视差的内镜成像 Download PDF

Info

Publication number
CN111419152A
CN111419152A CN202010024119.8A CN202010024119A CN111419152A CN 111419152 A CN111419152 A CN 111419152A CN 202010024119 A CN202010024119 A CN 202010024119A CN 111419152 A CN111419152 A CN 111419152A
Authority
CN
China
Prior art keywords
light
image
camera
scanner
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010024119.8A
Other languages
English (en)
Other versions
CN111419152B (zh
Inventor
J·W·库普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111419152A publication Critical patent/CN111419152A/zh
Application granted granted Critical
Publication of CN111419152B publication Critical patent/CN111419152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

一种用于成像的方法涉及扫描患者体内的解剖对象并利用与扫描仪分离的多个摄像头捕获反射的IR光。由IR摄像头捕获的IR图像关联在一起以基于所述IR摄像头与所述扫描仪之间的视差来创建集成图像。所述集成图像与所述解剖对象的单独的或可见光图像相关联以生成可以实时创建的术中3D图像。用于实现此类成像的系统可以包括多种手术仪器，所述手术仪器支持被定位成捕获不同视野并增加视差的各种摄像头。

Description

增强视差的内镜成像
相关申请的交叉引用
本申请要求于2019年1月10日提交的美国临时专利申请第62/790,839号的权益和优先权，所述申请的全部内容通过引用整体并入本文。
背景技术
因为图像没有景深，所以当前用于在微创手术(例如，腹腔镜检查)和视觉诊断程序(例如，结肠镜检查、支气管镜检)期间观察手术部位的单目光学装置(例如，内镜、支气管镜、结肠镜)提供的关于手术工具的绝对位置和解剖特征的参考信息有限。双目(也称为立体)光学装置提供有限的景深，景深为外科医生提供关于光学装置视野内的物品之间距离的视觉信息。距离信息的准确度基于由光路提供的视差量(由光路之间的距离以及两个光路之间的重叠量确定)而受到限制。
发明内容
本公开涉及一种在患者体内成像的方法。所述方法包括利用至少两个IR摄像头捕获从解剖对象反射回来的IR光，所述至少两个IR摄像头相对于投影所述IR光的扫描仪成间隔关系定位。所述方法进一步包括生成多个IR光图像，其中所述多个IR光图像中的每个IR光图像是基于由所述至少两个IR摄像头中的相应IR摄像头捕获的IR光而生成。另外，所述方法包括确定每个IR摄像头相对于所述扫描仪的视差；基于所述确定的视差将所述多个IR光图像中的每个IR光图像彼此相关联以创建集成IR光图像；将所述集成IR光图像与由可见光摄像头捕获的可见光图像相关联；基于所述集成IR光图像与所述可见光图像的关联来生成术中3D图像；以及在显示器上显示所述生成的术中3D图像。
将所述多个IR光图像中的每个IR光图像彼此相关联可以包括生成3D点云。在一个实施例中，所述至少两个IR摄像头包括排列在所述患者体内的三个IR摄像头，并且捕获从所述解剖对象反射回来的IR光包括利用所述三个IR摄像头捕获IR光。每个IR摄像头可以具有不同视野。所述不同视野可以重叠。
在一个实施例中，所述至少两个IR摄像头中的第一IR摄像头耦合到第一手术仪器，并且所述至少两个IR摄像头中的第二IR摄像头耦合到第二手术仪器，并且捕获从所述解剖对象反射回来的IR光包括捕获从第一视野和第二视野内的所述解剖对象反射回来的IR光。所述第一视野与所述第一IR摄像头相关联，并且所述第二视野与所述第二IR摄像头相关联。所述方法可以进一步包括使所述第一和第二视野重叠。
在一个实施例中，所述方法进一步包括利用第二扫描仪以与由所述扫描仪投影的所述IR光不同的频率、交错定时或其组合将IR光投影到所述患者体内的所述解剖对象上。
另外或可选地，生成所述术中3D图像实时地实现并且在由所述可见光摄像头捕获新的可见光图像时进行更新。
根据本公开的另一方面，一种用于在患者体内成像的系统包括：光学摄像头；具有扫描仪的手术装置，所述扫描仪被配置为在所述患者体内发射红外(IR)光；第一手术仪器，其具有第一IR摄像头；第二手术仪器，其具有第二IR摄像头；以及计算装置。所述第一和第二手术仪器与所述手术装置分离使得所述第一和第二IR摄像头彼此以及与所述扫描仪以间隔关系设置。所述计算装置与所述扫描仪以及所述第一和第二IR摄像头通信。所述计算装置具有处理器和其上存储有指令的存储器，当在所述处理器上执行时，所述指令使得所述系统：确定所述第一和第二IR摄像头之间相对于彼此和所述扫描仪的视差；基于所述确定的视差、由所述第一IR摄像头捕获的第一IR图像和由所述第二IR摄像头捕获的第二IR图像，生成集成IR图像；将所述集成IR图像与由所述光学摄像头捕获的光学图像相关联；以及基于所述集成IR图像与所述光学图像的关联来生成术中3D图像。
在一些实施例中，所述手术装置可以是内镜。所述内镜可以包括可见光发射器，所述可见光发射器被配置为将可见光朝向所述一个或多个解剖对象投影。所述存储器可以进一步在其上存储有指令，当由所述处理器执行时，所述指令使得所述系统显示所述生成的术中3D图像。
在实施例中，所述系统可以包括具有第三IR摄像头的第三手术仪器。所述第一、第二和第三手术仪器可以被定位成使得在所述患者体内保持不同视野。
在一些实施例中，所述扫描仪是第一扫描仪，并且所述系统可以进一步包括第二扫描仪，所述第二扫描仪被配置为以与所述第一扫描仪不同的频率发射IR光。另外或可选地，所述存储器可以进一步在其上存储有指令，当由所述处理器执行时，所述指令使得所述系统在所述第二扫描仪以与第一频率不同的第二频率发射IR光时以所述第一频率从所述第一扫描仪发射IR光和/或以相对于所述第一扫描仪的交错定时从所述第一扫描仪和所述第二扫描仪发射IR光。
根据本公开的又一方面，一种存储程序的非暂时性计算机可读存储介质，当由计算机执行时，所述程序使得所述计算机：生成由扫描仪投影并从解剖对象反射回来的IR光的IR光图像，其中所述IR光图像中的每一个由多个IR摄像头捕获；确定所述多个IR摄像头与所述扫描仪之间的视差；基于所述确定的视差，将所述IR光图像相关联以创建集成IR光图像；以及将所述集成IR光图像与所述解剖对象的可见光图像相关联以生成所述解剖对象的实时术中3D图像。当由所述计算机执行时，所述程序可以使得所述计算机生成所述实时术中3D图像和/或显示所述生成的实时术中3D图像。
在实施例中，当由所述计算机执行时，所述程序使得所述计算机基于所述集成IR光图像生成3D点云。在实施例中，可以将所述点云渲染为体积形状，诸如网格或其它3D结构。在一些实施例中，可以将分割的CT对象覆盖在解剖对象上的手术视野中。另外或可选地，当由所述计算机执行时，所述程序使得所述计算机将所述可见光图像扭曲到所述集成IR图像上。
根据描述、附图及所附权利要求，其它方面、特征和优点将变得显而易见。
附图说明
下面参考附图描述本公开的各个方面和特征，其中：
图1A是根据本公开的系统的一个实施例的示意图；
图1B是根据本公开的系统的另一个实施例的示意图；
图2是图1A的系统的内镜的远侧部分的前透视图；
图3A和3B是示出图1B的系统的渐进图，所述系统使用交错定时对患者体内的解剖对象进行成像；
图3C是示出图1B的系统的侧视图，所述系统使用可变频率扫描对患者体内的解剖对象进行成像；
图4是示出图1A和1B的系统的扫描仪和IR摄像头之间的视差的示意图；
图5是图1A和1B的系统的计算装置的框图；
图6是用于对患者体内的解剖对象成像的方法的流程图；
图7是根据本公开的系统的又一实施例的示意图；
图8是根据本公开的系统的再一实施例的示意图；
图9是示出图8的系统的光学摄像头之间的视差的示意图；
图10是用于对患者体内的解剖对象成像的方法的流程图；以及
图11是被配置为与本公开的系统和方法一起使用的手术机器人的示意图。
具体实施方式
参考附图详细描述了所公开的系统、装置和方法的各方面，其中相同的附图标记在若干视图的每个视图中指示相同或对应的元件。众所周知，术语“临床医生”是指医生、护士或任何其他护理提供者，并且可以包括辅助人员。另外，术语“近侧”是指更靠近临床医生的结构部分，而术语“远侧”是指更远离临床医生的结构部分。另外，术语“向头侧”用于指示朝向患者头部的方向，而术语“向尾侧”用于指示朝向患者脚部的方向。更进一步地，术语“内侧”指示朝向患者身体的中部的方向，而术语“外侧”指示朝向患者的身体的侧面的方向(例如，远离患者身体的中部)。术语“后部”指示朝向患者背部的方向，而术语“前部”指示朝向患者正面的方向。短语“在一实施例中”、“在实施例中”或“在其它实施例中”可以各自指代根据本公开的相同或不同实施例中的一个或多个。另外，在整个公开中，术语“手术装置”、“手术工具”、“手术仪器”和“手术器械”可以互换使用。此外，尽管可以单数形式提及元件，但是这种区别仅旨在简化此类描述，而不旨在限制本公开的主题。本文所用的术语“靶标”是指患者体内被指定为诊断或治疗递送目标的组织(软的或硬的)或区域。类似地，术语“解剖特征”或其变型是指患者身体的器官、组织、血管或其它离散部分。另外，诸如前、后、上、下、顶部、底部等的方向性术语仅是为了便于描述而使用的，而不旨在限制本公开。
在以下描述中，没有详细描述公知的功能或结构，以避免在不必要的细节上模糊本公开。
本公开涉及用于使用光学和/或扫描图像从多个摄像头创建和显示3D内镜图像的系统和方法。
创建表面的3D图的一种方法是使用扫描仪，所述扫描仪在表面上绘制图案，同时捕获图像失真。捕获的图像中的失真用于提取深度信息以创建3D图。这种方法使用创建扫描图案的固定投影仪以及单个专用摄像头执行图像捕获。所得信息形成位于3D空间(例如，x,y,z坐标)中的数据点的点云。扫描仪和成像器的这种配置定义了系统的构造方式。从这种系统导出的位置信息的准确度取决于视差，即，扫描仪视野(FOV)与摄像头视野之间的距离和角度，其中较大距离和角度产生更好的结果。
对于医疗内镜，可以实现的视差量受到内镜的物理性质的限制，所述物理性质在设计上必须是线性的，以允许便于插入套管针或体腔中。一种实施方式是将摄像头放置在示波器的远端，并将扫描仪放置在距远侧尖端一定距离的位置并从内镜主体的侧面突出。通过设计扫描仪和摄像头的FOV光学器件，可以管理重叠。这创建视差梯度，其中几乎没有视差朝向远侧尖端，但是有大量视差远离远侧尖端。
为了解决上述问题，根据本公开的各方面，将摄像头在空间上从内镜主体移除或以其它方式与内镜主体分离。成像器附加到可以看到扫描靶标的一个或多个仪器或其它对象上，而非与内镜相关联。更具体地，对体内场景中的对象或靶标进行成像的所述系统和方法利用投影到体内的靶标上的一个或多个扫描仪，而摄像头在体内相对于彼此和扫描仪排列在不同位置，由此捕获同一场景的不同方面(例如，不同角度)。所获取的数据由所公开的系统进行处理以生成术中3D图像。一种示例性实施方式是将摄像头附接到每个腹腔镜仪器和套管针，以提供多个成像器，所述多个成像器同时观察其中每个摄像头提供场景信息的扫描靶标。
这种方法与传统的独立式内镜设计相比具有多种优势，所述传统的独立式内镜设计在同一装置上同时包括扫描仪和摄像头，因此具有有限的视差。由于仪器与内镜之间的自然分隔，将摄像头放置在每台手术仪器上提高了在摄像头与扫描仪之间获得宽视差的能力。当然，应当理解，当不使用支持摄像头的仪器时，仍可以在内镜上在靠近扫描仪的远侧尖端处提供成像摄像头以支持传统的单目视觉。
为一台以上的配备摄像头的仪器提供与扫描仪FOV重叠的FOV允许同时收集来自多个角度的多个视图。经由使仪器摄像头FOV重叠从多个角度查看由扫描仪输出的IR光可提高生成的3D点云的准确度，并减少特定摄像头被中间结构阻挡扫描仪FOV的一部分的盲点的数量。
这可以被扩展为用扫描仪替换一些摄像头，或在每台仪器上放置扫描仪/摄像头对。这允许同时从多个方向进行扫描和成像，从而加快了以3D方式完全捕获场景的能力，同时减少了由于中间结构或手术环境的临时变化(例如，消融产生的烟雾)干扰唯一扫描仪或摄像头FOV而遗留未扫描的区域的数量。因为随着扫描仪接近结构，细节层次会增加，所以默认缩放模式在仪器的FOV覆盖的特定区域中变得可用。为了避免扫描仪之间的干扰，每个扫描仪可以使用不同频率的光或交错定时。
图1A示出了通常称为系统10的内镜系统的一个实施例，所述内镜系统10被配置为生成手术部位和/或一个或多个解剖对象的3D空间图。内镜系统10包括与任何数量或类型的手术器械(例如，第一手术仪器14、第二手术仪器16、第三手术仪器18和/或第四手术仪器20等)电通信的计算装置12，以及内镜22，所述内镜22可以是3D内镜。手术仪器14、16、18和20可以包括任何合适的手术仪器，诸如与发电机(未示出)、手术吻合器、抓钳、缝合装置、导管、内镜、创孔/套管针等耦合的电外科手术钳或电外科手术笔。手术仪器14、16、18中的每一个包括被配置为捕获红外光的IR摄像头形式的成像器。例如，可以为手术钳形式的手术仪器14包括IR摄像头14i。类似地，可以为手术钳穿过其中的套管针形式的手术仪器16包括IR摄像头16i。同样地，可以为抓钳穿过其中的创孔形式的手术仪器18包括IR摄像头18i。所公开的任何手术仪器都可以可选地或另外地包括光学摄像头，诸如与手术仪器18耦合的光学摄像头18c。内镜22包括光学摄像头22c、IR光扫描仪22s和光源22l(参见图2)。
图1B示出了通常称为系统10'的内镜系统的另一个实施例，所述内镜系统10'包括计算装置12以及手术仪器14'、16'、18'、20'和22'，每个手术仪器都可以是内镜。手术仪器14'、16'、18'、20'、22'中的一个或多个可以各自包括扫描仪(例如，扫描仪14s、16s、18s、20s、22s)、光学摄像头(例如，14c、16c、18c、20c、22c)、光源或可见光发射器(例如，14l、16l、22l)或其组合，并且它们可以任何合适的配置布置在一个或多个手术仪器上。
图5示出了计算装置12的简化框图。计算装置12可以包括存储器12a、处理器12b、显示器12c、网络接口12d、输入装置12e和/或输出模块12f。存储器12a可以存储一个或多个应用程序12h和/或图像数据12g。应用程序12h(可以是可执行指令集)在由处理器12b执行时可以使显示器12c基于图形用户界面(GUI)指令来呈现GUI12i和/或执行使处理器12b执行与存储在其上的指令相关联的任何其它操作。应用程序12h还可以通过例如蓝牙和/或Wi-Fi在系统的一个或多个部件(例如，一个或多个手术仪器)与计算装置12之间提供接口。在执行任何公开的方法期间，GUI 12i可以显示在显示器12c上。显示器12c可以包括可以经由GUI 12i显示的手术数据，诸如在外科手术期间患者“P”的状态(例如，心率、血压等)和/或一个或多个手术器械的状态(例如，术中、使用中、错误或当前操作参数或模式)等。显示器12c可以包括AR/VR耳机。
存储器12a可以包括任何非暂时性计算机可读存储介质以存储数据和/或软件(指令)，所述数据和/或软件(指令)可由处理器12b执行并且在与部件(例如，与光学摄像头、光源、扫描仪、IR摄像头等)通信时控制计算装置12和/或系统的各种部件。在实施例中，存储器12a可以包括一个或多个固态存储装置，诸如快闪存储器芯片。可选地，或者除了一个或多个固态存储装置之外，存储器12a还可以包括通过大容量存储控制器(未示出)和通信总线(未示出)与处理器12b连接的一个或多个大容量存储装置。尽管对本文中包含的计算机可读介质的描述是指固态存储，但是本领域技术人员应当明白，计算机可读存储介质可以是处理器12b可以访问的任何可用介质。即，计算机可读存储介质包括以任何方法或技术实施的用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质包括RAM、ROM、EPROM、EEPROM、快闪存储器或其它固态存储器技术、CD-ROM、DVD、蓝光光碟或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储装置，或可以用于存储所需信息并且可以由计算装置12访问的任何其它介质。
网络接口12d可以被配置为连接到网络，诸如局域网(LAN)(包括有线网络和/或无线网络)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。输入装置12e可以是用户可以通过其与计算装置12交互的任何装置，诸如例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块12f可以包括任何连接性端口或总线，诸如例如并行端口、串行端口、通用串行总线(USB)或任何其它类似的连接性端口。
任何公开的扫描仪(诸如扫描仪22s)均包括结构化光(或激光)扫描仪。结构化光扫描仪可以采用红外光以便避免来自可见光源的干扰，但是也可以预期，结构化光扫描仪可以发射可见光谱或任何其它波长或频带的光，这取决于在手术期间要扫描的组织。在实施例中，可以提供在可见光谱或IR光谱的范围内的光。例如，在可见光谱中，频带可以是整个可见光谱(例如，白光)或特定色频(例如，绿色)。相对于所公开系统(例如，系统10、10')的一个或多个摄像头(例如，IR摄像头14i、16i、18i和/或光学摄像头16c、18c)，结构化光源可选择性地定位在可以是预定的一个或多个位置中。结构化光源使得能够计算来自结构化光源的光线与系统的一个或多个摄像头之间的精确相交位置。可以将这种信息扫描为单点、线或阵列以创建表面的形态图。在实施例中，结构化光源是通过旋转镜、分束器、衍射光栅和/或平移分散成扫描图案(例如，线、网格、点等)的发光二极管(LED)或LED红外激光器的结构化光源。在一个实施例中，结构化光源可以是具有准直光的LED激光器。激光扫描仪将使得可视化系统能够实现所需的解剖对象(诸如肺部)的准确表面图，以便使术前计算图像与由所公开系统的一个或多个摄像头生成的术中图像匹配。在实施例中，临床医生可以使用任何合适的用户输入装置(例如，触摸屏、鼠标、键盘等)输入命令或控制从所公开的任何扫描仪投影的结构化光图案。
IR光还可以预定图案(例如，网格或成形图案)投影和/或可以朝向诸如组织表面的靶标投影，所述组织表面可以包括靶标、周围组织或患者“P”体内的其它组织以及手术对象等。IR光可以被配置为照射在靶标和/或周围组织上。可以彼此不同的距离投影一个或多个光束以增加或降低每个IR图像的精度。例如，在实施例中，IR光可以形成一个或多个图案，诸如预选定的几何图像(例如，条带、点的随机或结构化放置)。基于所需准确度水平，所述图案可以在复杂度方面进行改变，具有更多角度、被定位成彼此更靠近等。IR光一旦被捕获，还可以选择图案以优化IR光的后续分析。
所公开的任何光学摄像头都可以是可见光光学摄像头，诸如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)或本领域已知的其它合适的摄像头。在实施例中，光学摄像头可以是具有1080p分辨率的CCD摄像头。在一些实施例中，所公开的任何系统都可以包括数字滤波器(未示出)或具有窄带光栅(未示出)的滤波器，所述窄带光栅在外科手术期间抑制外来光(例如，可见光)以避免分散临床医生的注意力。在一些实施例中，可见光从由所公开的一个或多个光学摄像头捕获的图像中滤出，并且被透射给临床医生，使得任何捕获的图像都是清晰的并且没有外来的光图案。尽管可见光发射器可以是发射白光的LED，但是也可以利用任何合适的发光装置。在一些实施例中，可见光发射器可以包括RGB LED，以提供生成无限范围的不同可见光谱的能力。在本公开的一些方面，可见光发射器被配置为在可见光谱的各个子集之间衰减和/或离散地切换。在某些实施例中，可见光发射器可以提供RGB、IR、UV或其组合(例如，RGB与IR组合LED、RGB与UV组合LED和/或IR与UV组合LED)。
尽管所公开的任何IR摄像头都可以是能够检测IR光(例如，反射的IR光)的CCD摄像头，但是也可以预期，IR摄像头可以具有足够宽的光学捕获光谱以检测可见光，诸如可见绿光等，这取决于被扫描的组织。具体地，可见绿光与具有红色或粉红色色调的组织形成对比，从而使得IR摄像头能够更轻松地识别组织形态。同样，被血红蛋白吸收的可见蓝光可以使得系统能够检测血管结构以及血管形态，以在对齐捕获的图像时充当待匹配的附加参考点。
可以预期，所公开的任何摄像头都可以是本领域中已知的任何热成像摄像头，诸如例如铁电、硅微测热辐射计或非致冷焦平面阵列(UFPA)，或者可以是任何其它合适的可见光摄像头，诸如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)或其中从所公开的任何扫描仪发射的光都在可见光谱或可检测光谱内的其它合适的摄像头。
在实施例中，所公开的摄像头、扫描仪或发射器中的任一个都可以包括能够抑制流体或其它污染物与所公开的摄像头、扫描仪或发射器接触的一个或多个透明保护盖(未示出)。在一些实施例中，所公开的摄像头、扫描仪或发射器中的任一个都可以包括具有疏水性质的一个或多个涂层或层，诸如硅树脂或HDMSO等离子体沉积。在某些实施例中，覆盖物可以包括脱落或洗涤喷射到覆盖物上的体液的凸起几何体。
在操作中，可以使用诸如MRI、超声、CT扫描、正电子发射断层扫描(PET)等任何合适的标准成像装置(未示出)来对患者“P”(图3A)进行成像，并且可以将那些图像存储在计算装置12的存储器12a(参见图5)中。在胸腔手术中，例如，在对患者“P”成像之后，临床医生使用一个或多个手术仪器16(参见图1A、1B)(诸如套管针或其它合适的装置进入装置)穿透患者“P”的身体或胸部的组织“T”，使得可以将诸如内镜、抓钳、手术钳等其它手术仪器定位在体内。例如，内镜的远侧部分可以通过一根套管针推进，并且抓钳可以通过另一根套管针推进，使得抓钳和手术钳可以定位在手术部位(诸如患者“P”的胸腔)中或附近。
为了使得临床医生能够例如实时地观察计算装置12的显示器12c(图5)上的图像，可以将包括内镜22的手术仪器14、16、18、20排列在诸如肺部“L”的解剖对象周围，使得手术仪器(即，摄像头和/或其扫描仪)具有不同的肺部“L”视野。例如，手术仪器14的IR摄像头14i可以具有第一视野14f(从第一角度看)、手术仪器16的IR摄像头16i可以具有第二视野16f(从第二角度看)，并且手术仪器18的IR摄像头18i可以具有第三视野18f(从第三角度看)。这些视野中的一个或多个可以被一个或多个手术和/或解剖对象(诸如对象“O1”、“O2”和“O3”)全部或部分抑制。尽管可以将一个或多个手术仪器(例如，IR摄像头16i)选择性地固定就位以保持恒定的视野，诸如固定到由连接器16x所示的肋“R”，但是一个或多个其它手术仪器(例如，IR摄像头14i、18i和/或光学摄像头18c、22c)可以在体内可移动地定位以捕获不同和/或变化的视野。此类移动(可以在任何方向上，诸如在前部、后部、外侧、内侧、向尾侧、向头侧等方向中的一个或多个)由图4中所示的箭头“A”和“B”示出并且可以包括平移和/或缩放。
图6示出了概述对手术部位和/或其中的对象成像、生成术中3D图像和/或3D模型以及显示术中3D图像和/或3D模型中的至少一个的示例性方法的流程图。尽管所述方法包括以特定顺序描述的各个步骤，但是在不脱离本公开的范围的情况下，所描述的步骤可以不同的顺序执行、重复和/或省略。另外，所述方法的以下描述指代由计算装置12执行的各种动作，但是这些动作可以在被配置为以类似方式操作的各种计算装置上执行，或者由本文描述的系统的任何部件执行。所执行的动作还可以响应于存储在一个或多个存储器12a中的指令而发生，所述指令被配置为在计算装置12(图5)的一个或多个处理器12b上执行。
在步骤100中，为了对诸如患者体内的解剖对象(诸如肺部“L”)的靶标成像，将红外(IR)光(例如，激光)(例如，多个IR光束或覆盖整个观察窗的大IR光束)从所公开的一个系统的一个或多个扫描仪投影到达患者体内的靶标(例如，解剖对象)上。可以任何配置或图案(例如，网格和/或其它形状)投影光束，并且可以将光束投影到任何数量的距离，所述距离可以是相对于扫描仪和/或其它光束的一个或多个预定距离。如图3A和3B中所示，IR光可以交错定时被投影，其中交错时间间隔可以由计算装置12定义和/或在仪器之间协商，并且其中第一扫描仪22s投影IR光持续第一时间段“TM1”，并且第二扫描仪20s投影IR光持续第二时间段“TM2”。时间段可以相同，可以不同，可以部分重叠或不重叠和/或可以是连续的。扫描仪20s、22s可以被配置为以相同和/或不同的频率投影IR光。在本公开的一些方面，IR光可以由相同的扫描仪在两个时间段内使用相同和/或不同的频率投影，例如，以防止干扰可见光或彼此干扰。参考图3C，第一扫描仪20s和第二扫描仪22s可以使用相同和/或不同的频率同时投影IR光，如所示的第一频率“Hz1”和第二频率“Hz2”所指示。一旦IR光接触到靶标，光就会从靶标反射回到患者“P”体内的一个或多个IR摄像头。
尽管本文所述的系统和方法可以涉及使用IR光来确定距离和使用可见光来捕获光学图像以用于后续分析和显示，但是也可以互换使用IR光和可见光，例如以创建光图案和/或照亮部分或整个手术空间。IR光和可见光均可以被多个传感器接收，以使得被配置为捕获光的相应传感器能够对反射光进行立体成像。
在步骤110中，两个或更多个IR摄像头捕获从解剖对象(未示出)反射回来的IR光。两个或更多个IR摄像头与一个或多个扫描仪分开定位，例如，定位在与支持一个或多个扫描仪的手术仪器不同的手术仪器上。两个或更多个IR摄像头可以相对于一个或多个扫描仪以间隔关系设置，并且可以围绕解剖对象排列使得每个IR摄像头相对于其它IR摄像头具有不同的视野。视野可以至少部分地重叠。在某些方面，可以提供三个或更多个分开的IR摄像头。
IR光可以作为彼此相距不同距离的多个点被接收。还参考图5，一个或多个IR摄像头响应于接收到从靶标反射的光而将包括反射光的图像作为IR图像数据传输到计算装置12。IR图像数据可以基于检测到的红外能量(例如，辐射)的变化量和位置。计算装置12将IR图像数据存储在计算装置12的存储器12a中，并且可以诸如2D阵列、3D模型等的任何合适的数据结构存储IR图像数据。在实施例中，IR图像数据的存储和分析可以被称为计算装置12基于接收到的IR图像数据而计算出的距离测量值的3D阵列。
在步骤120中，对于每个IR摄像头，例如，由计算装置12基于相应IR摄像头的所捕获的IR光来生成IR光图像。
在步骤130中，可以例如通过计算装置12和/或任何数量或类型的位置传感器(未示出)或与相应的IR摄像头(或其仪器)耦合的跟踪软件基于相应的IR摄像头相对于一个或多个扫描仪以及相对于彼此的位置来确定每个IR摄像头相对于其它IR摄像头和/或扫描仪的视差(例如，距离和角度)(例如，参见相对于肺部“L”上的点“Z”的不同的视差“P1”、“P2”和“P3”)。例如，定位传感器可以包括电磁传感器。在一些实施例中，各种传感器可以是具有相关联的硬件和/或软件的分离且不同的部件，或者可以是诸如英特尔公司开发的
Figure BDA0002361820300000141
RealSenseTM技术系统的商业平台的一部分。可选地或另外地，也可以使用其它外部成像模态，诸如MRI、荧光检查法等、RFID等。
在特定应用中，手术装置或其部件的定位也可以通过术中仪器跟踪系统(例如电磁(EM)导航系统)进行跟踪。术中仪器跟踪系统获得的位置信息有助于简化从节段大小的扫描产生大规模空间表面图所需的算法。
在步骤140中，基于所确定的视差，将IR光图像(例如，一些和/或全部)相关联以创建集成IR光图像。在实施例中，计算装置12根据来自针对创建集成IR光图像所捕获的每个IR光图像的数据的处理(和收敛)来创建3D数据点云。在实施例中，可以术中3D模型的形式提供3D数据点云。在实施例中，术中3D模型可以与术前3D模型和/或术前图像数据的一部分(例如，术前3D模型包含的或以其它方式与其相关联的点)匹配。可以通过在术前3D模型和术中3D模型两者中识别某些基准标记来发生匹配，并且基于所述匹配，可以使术前3D模型和术中3D模型对准或以其它方式彼此相关联。基准标记可以是自然发生的解剖或机械标记，并在由CT或其它模式成像之前由临床医生放置。计算装置12基于集成IR光图像数据来生成3D模型(例如，术中3D模型)或3D模型的渲染以显示在2D显示器(例如，显示器12c)上，并且可以将3D模型存储在存储器12a中。3D模型可以任何合适的数据结构(例如，距公共平面的距离的2D阵列或点的3D阵列)存储在存储器12a中。
在步骤150中，一个或多个光学摄像头(例如20c、22c)捕获反射的可见光以创建可见光图像。例如，一个或多个可见光发射器(例如，光源22l)发射可见光，所述可见光从靶标反射回来并被各种手术仪器中的一个或多个的光学摄像头20c、22c捕获。光学摄像头将检测到的光转换为可见光数据，所述可见光数据由可见光摄像头和/或计算装置12处理以形成可见光图像。可见光图像数据可以存储在计算装置12的存储器12a上。可以在从一个或多个扫描仪投影IR光之前、期间和/或之后实现由一个或多个可见光摄像头对可见光的投影。
在步骤160中，将集成IR光图像与可见光图像相关联。例如，集成IR光图像数据与存储在计算装置12的存储器12a中的可见光图像数据相关联，使得集成IR光图像数据和可见光图像数据被组合和/或扭曲在一起。在实施例中，可见光图像数据可以在将IR光图像集成之前、期间、之后和/或代替其与IR光图像和/或集成IR光图像中的一个或多个相关联。
在步骤170中，基于集成IR光图像(或一个或多个IR光图像)与可见光图像的关联(基于IR和可见光图像数据的组合或扭曲数据)，生成术中3D图像(和/或3D模型)。例如，计算装置12将光学图像数据映射到3D模型中的对应点。可以通过将可见光图像数据与集成IR图像数据(或一个或多个IR光图像)对齐(例如，调整像素以解决一个或多个光学摄像头与一个或多个IR摄像头之间的空间差异和/或视差)，并且一旦对齐就将光学图像数据与集成IR图像数据(或一个或多个IR光图像)相关联来映射这些点。例如，当将光学图像数据捕获为2D点阵列时，可以将2D点阵列朝向3D模型推进或以其它方式投影，其中3D模型的每个对应点(沿其中包含的对象的表面)与2D阵列中的远离光学图像数据的点相关联。每个点都可以包括图像数据，诸如颜色值、辉度、色度、亮度等。由于将随后捕获的光学图像数据映射到3D模型，因此可以将较早捕获的光学图像数据与最近捕获的光学图像数据进行比较并根据需要进行更新。一旦光学图像数据被映射到集成IR图像数据(或一个或多个IR光图像)，计算装置12就可以基于将光学图像数据映射到集成IR图像数据(或一个或多个IR光图像)生成术中3D模型(或者，在2D显示器可用的情况下，生成术中3D图像的2D渲染)以显示在计算装置12的显示器12c上。在实施例中，一旦生成术中3D模型和/或术中3D图像，计算装置12就使输出模块12f输出2D和/或3D图像。
在步骤180中，将生成的图像显示在计算装置12的显示器12c上。所生成的图像可以包括捕获和/或组合和/或以其它方式拼接在一起以提供解剖对象、手术部位的多个部分或整体的3D空间图的任意数量的图像，所述手术部位可以包括任何解剖部位和/或设置在其中的对象(例如，手术工具)。成像可以实现一次和/或重复实现(例如，连续地实现)以便创建术中3D图像的视频流。在本公开的各方面，可以包括轴向CT图像切片。具体地，通过在3D模型中识别位置，可以确定3D模型上的特殊点来自CT图像的哪个切片，使得可以将轴向CT图像叠加到视图中。图像将在角度上发生扭曲以表示FOV相对于CT图像法线的旋转以及深度，因为CT图像的一侧比另一侧更靠近FOV。用户可以滚动查看轴向视图，并且所述视图将继续显示被覆盖或插入到FOV中的单个CT图像切片。
图7-10示出了通常称为10"的内镜系统的另一个实施例，所述内镜系统10"类似于系统10和10'，但是被配置为在没有任何扫描仪的情况下生成手术部位和/或一个或多个解剖对象的3D空间图。
传统的3D或立体内镜利用在远侧内镜尖端上彼此相邻的光学端口，并且从端口之间的小视差创建了原始的3D图像。根据本公开，将摄像头放置在每个仪器上提供明显更宽的视差，并允许准确地测量重叠FOV内的对象位置。
更具体地，内镜系统10"包括各种手术仪器(例如，仪器14"、16"、18"、20"和22")，所述各种手术仪器具有围绕解剖对象排列并且在可以至少部分重叠的不同视野(诸如视野14f、16f和18f)处捕获可见光图像的光学摄像头。与光学摄像头耦合的计算装置12(包括用于存储捕获的或预定的数据的存储器12a)(例如，经由其一个或多个处理器12b)将可见光图像相关联以创建用于在显示器12c(图5)上显示的集成图像。在实施例中，扫描仪可以被配置为生成光束移动通过定义弧长的条带作为所有摄像头都可以观察到的标准，并且所述长度可以用于校准从多个摄像头创建的自组织坐标系(例如，不使用EM导航系统或类似系统)。
图10示出了概述对手术部位和/或其中的对象成像、生成术中3D图像和/或3D模型以及显示术中3D图像或3D模型中的至少一个的示例性方法的流程图。尽管所述方法包括以特定顺序描述的各个步骤，但是在不脱离本公开的范围的情况下，所描述的步骤可以不同的顺序执行、重复和/或省略。另外，所述方法的以下描述涉及由计算装置12执行的各种动作，但是这些动作可以在被配置为以类似方式操作的各种计算装置上执行，或者由本文描述的系统的任何部件或部件组合来执行。所执行的动作还可以响应于存储在一个或多个存储器12a中的指令而发生，所述指令被配置为在计算装置12(图5)的一个或多个处理器12b上执行。
在步骤200中，为了对患者体内的解剖对象(诸如肺部“L”)进行成像，将可见光从一个或多个可见光发射器(诸如系统10”的内镜22”的光源22l)投影到患者体内的靶标(例如，解剖对象)上。
在步骤210-230中，系统10”的第一摄像头14c、第二摄像头16c和第三摄像头18c分别捕获从靶标反射回来的光，以创建相应的第一、第二和第三图像。
在步骤240中，例如，通过计算装置12和/或任何数量或类型的位置传感器(未示出)和/或与相应的摄像头和/或仪器耦合的跟踪软件，确定每个摄像头相对于其它摄像头的视差(例如，距离和角度)。
在步骤250中，基于所确定的视差将第一、第二和第三图像(即，其对应数据)相关联(例如，由计算装置12处理)以生成术中3D图像和/或3D模型。
在步骤260中，将生成的图像显示在显示器12c上。所生成的图像可以与任何术前成像相关。所生成的图像可以包括可以被组合或以其它方式拼接在一起的任意数量的图像，并且可以被提供为解剖对象或手术部位的至少多个部分的3D空间图(包括设置在其中的解剖部位或对象(例如，手术仪器))。
根据本公开的各方面，所生成的3D图像可以与从术前图像数据生成的术前3D模型相关联。更具体地，应用程序12h在执行期间可以使计算装置12将与所生成的3D图像相关联的图像数据存储在3D模型中的对应位置处。这种关联可以使得计算装置12能够更新例如在EM导航期间生成的图像，或者显示在外科手术的计划或复查阶段期间生成的术中3D模型(在实施例中为术前3D模型)。
在某些实施例中，所公开的手术系统的部件可以由机器人系统定位。机器人系统可以类似于导航系统的方式来提供所公开系统的手术仪器的精确的六轴定向，但是得益于患者体内的手术仪器的主动定位以及位置知识。可以理解的是，机器人系统可以用来自主地移动手术仪器以完成较大区域或整个器官的成像。
更具体地，本文描述的系统和/或其部件可以被配置为与机器人手术系统以及通常被称为“远程手术”的机器一起工作。此类系统采用各种机器人元件来协助外科医生并允许手术仪器的远程操作(或部分远程操作)。为此，可以采用各种机械臂、齿轮、凸轮、皮带轮、电动和机械马达等，并且它们可以被设计成具有机器人手术系统以在手术或治疗的过程中协助外科医生。此类机器人系统可以包括远程可操纵系统、自动柔性手术系统、远程柔性手术系统、远程关节运动式手术系统、无线手术系统、模块化或可选择性配置的远程手术系统等。
机器人手术系统可以与邻近手术室或位于远程位置中的一个或多个控制台一起使用。在这种情况下，一个外科医生或护士团队可以为患者做好手术准备，并且为机器人手术系统配置本文公开的一个或多个手术仪器，而另一位外科医生(或一组外科医生)经由机器人手术系统远程控制手术仪器。可以理解的是，熟练的外科医生可以在多个位置执行多种操作而无需离开他/她的远程控制台，这在经济上是有利的，并且对患者或一系列患者是有益的。
手术系统的机械臂通常通过控制器耦合到一对操纵柄。外科医生可以移动操纵柄以产生任何类型的手术仪器(例如，末端执行器、抓钳、刀、剪刀、内镜等)的工作端的对应移动，这可以补充使用本文描述的一个或多个实施例。可以按比例调整操纵柄的移动使得工作端具有与由外科医生的操作手执行的移动不同、更小或更大的对应移动。比例因子或传动比可以是可调的使得操作员可以控制手术仪器的工作端的分辨率。
可以预期，本文描述的手术仪器可以由机器人系统定位，并且内镜的精确位置可以传输到计算机以构造扫描器官或手术区域的3D图像。机器人系统具有自主扫描手术区域并构造手术区域的完整3D模型的能力，以协助外科医生引导机械臂或为机器人系统提供必要的3D信息以进一步自主进行手术步骤。在实施例中，在手术仪器包括彼此独立的摄像头和/或结构化光源的情况下，机器人系统可以单独地引导摄像头和结构化光源。机器人系统提供在将结构化光和/或摄像头视图中的点进行三角化以构造手术区域的3D表面所需的相应手术仪器之间的相对坐标。
操纵柄可以包括各种传感器以向外科医生提供与各种组织参数或病情有关的反馈，例如由于操纵、切割或其它治疗而引起的组织阻力、仪器对组织的压力、组织温度、组织阻抗等。可以理解的是，此类传感器为外科医生提供了模拟实际操作条件的增强的触觉反馈。操纵柄还可以包括各种不同的致动器以用于精细的组织操纵或治疗，从而进一步增强外科医生模仿实际操作条件的能力。
参考图11，医疗工作站通常被示为工作站1000，并且通常可以包括多个机械臂1002、1003；控制装置1004；以及与控制装置1004耦合的操作控制台1005。操作控制台1005可以包括显示装置1006，所述显示装置1006可以具体地被设置为显示三维图像；以及手动输入装置1007、1008，人员(未示出)(例如外科医生)可以通过其在第一操作模式下遥控机械臂1002、1003。
根据本文公开的几个实施例中的任一个，机械臂1002、1003中的每一个可以包括通过接头连接的多个构件，以及可以附接到其上的附接装置1009、1011，例如，支撑末端执行器1100的手术仪器或手术工具“ST”。
机械臂1002、1003可以由连接到控制装置1004的电驱动器(未示出)驱动。可以设置控制装置1004(例如，计算机)来激活驱动器，具体是通过计算机程序来激活驱动器，使得机械臂1002、1003、其附接的装置1009、1011以及由此手术工具(包括末端执行器1100)根据由手动输入装置1007、1008定义的移动执行所需移动。控制装置1004也可以被设置为使得其调节机械臂1002、1003和/或驱动器的移动。
医疗工作站1000可以被配置为供躺在患者手术台1012上的将通过末端执行器1100以微创方式治疗的患者“P”使用。医疗工作站1000还可以包括两个以上的机械臂1002、1003，其它机械臂同样连接到控制装置1004，并且可通过操作控制台1005进行遥控。手术工具(包括末端执行器1100)也可以附接到其它机械臂。医疗工作站1000可以包括数据库1014，所述数据库1014具体地与控制装置1004耦合，例如在所述数据库1014中存储有来自患者/活体“P”的术前数据和/或解剖图集。
本公开的一方面涉及一种内镜系统，所述内镜系统支持器官与术前图像(例如，手术部位内的肺部、其它解剖部位或解剖特征的图像)匹配。内镜系统可以提供视觉成像和表面映射，以提供3D模型或3D图像的2D渲染(其中显示器是2D显示器)。内镜系统包括可以用于生成3D空间图的手术器械。内镜系统包括利用3D空间图来提供增强的导航指导的计算装置。
本公开的一个优点是使得能够对手术部位中的器官以及其它解剖特征和对象进行3D表面化，这可以与以对诸如肺下切除术或肺癌中的相邻结构和解剖边界的特殊了解对靶标病变的术前计算成像以及术前计划信息(诸如计划切除线)的覆盖相匹配。这种系统的主要用途是用于胸腔，但是也可以将这种系统用于或经修改用于与深部骨盆手术、直肠手术或其它手术应用结合使用。
本文所述的系统和方法可以用于各种外科手术，其中例如在腔体(吹气或以其它方式建立)、发光结构等中诊断和/或治疗患者。例如，在其中临床医生正在对患者的胸部区域中的靶标执行诊断的一个实施例中，所公开的系统和方法可以用于在相对于体内的解剖特征或靶标移动的手术仪器的导航期间进行辅助。具体地，所描述的系统和方法使得能够进行体内成像，以便稍后在术中3D模型上显示或进行二维3D渲染(其中3D显示器不可用)。另外，所公开的系统和方法可以为临床医生提供查看和/或确定解剖特征、结构和/或其它靶标的各种特性以及一个或多个手术装置、工具和/或器械相对于患者身体以及设置在患者体内或周围的其它手术器械的位置的能力。
本领域技术人员将理解，本文中具体描述并在附图中示出的结构和方法是非限制性的示例性实施例，并且该描述、公开内容和附图应仅被解释为特定实施例的示例。因此，应当理解，本公开不限于所描述的精确实施例，并且在不脱离本公开的范围或精神的情况下，本领域的技术人员可以进行各种其它改变和修改。另外，可以预见，在不脱离本公开的范围的情况下，结合一个示例性实施例示出或描述的元件和特征可以与另一个示例性实施例的元件和特征组合，并且此类修改和变化也旨在包括在本公开的范围内。实际上，所公开的元件和特征中的任一个的任何组合都涵盖在本公开的范围内。因此，本公开的主题不受已经具体示出和描述的内容的限制。

Claims (20)

1.一种在患者体内成像的方法，所述方法包括：
利用至少两个IR摄像头捕获从解剖对象反射回来的IR光，所述至少两个IR摄像头相对于投影所述IR光的扫描仪成间隔关系定位；
生成多个IR光图像，所述多个IR光图像中的每个IR光图像基于由所述至少两个IR摄像头中的相应IR摄像头捕获的IR光而生成；
确定每个IR摄像头相对于所述扫描仪的视差；
基于所述确定的视差将所述多个IR光图像中的每个IR光图像彼此相关联以创建集成IR光图像；
将所述集成IR光图像与由可见光摄像头捕获的可见光图像相关联；
基于所述集成IR光图像与所述可见光图像的关联来生成术中3D图像；以及
在显示器上显示所述生成的术中3D图像。
2.根据权利要求1所述的方法，其中将所述多个IR光图像中的每个IR光图像彼此相关联包括生成3D点云。
3.根据权利要求1所述的方法，其中所述至少两个IR摄像头包括排列在所述患者体内的三个IR摄像头，并且捕获从所述解剖对象反射回来的IR光包括利用所述三个IR摄像头捕获IR光，每个IR摄像头具有不同视野。
4.根据权利要求3所述的方法，其进一步包括使所述不同视野重叠。
5.根据权利要求1所述的方法，其中所述至少两个IR摄像头中的第一IR摄像头耦合到第一手术仪器，并且所述至少两个IR摄像头中的第二IR摄像头耦合到第二手术仪器，并且捕获从所述解剖对象反射回来的IR光包括捕获从第一视野和第二视野内的所述解剖对象反射回来的IR光，所述第一视野与所述第一IR摄像头相关联，所述第二视野与所述第二IR摄像头相关联。
6.根据权利要求5所述的方法，其进一步包括使所述第一和第二视野重叠。
7.根据权利要求1所述的方法，其进一步包括利用第二扫描仪以与由所述扫描仪投影的所述IR光不同的频率、交错定时或其组合将IR光投影到所述患者体内的所述解剖对象上。
8.根据权利要求1所述的方法，其中生成所述术中3D图像实时地实现并且在由所述可见光摄像头捕获新的可见光图像时进行更新。
9.一种用于在患者体内成像的系统，所述系统包括：
光学摄像头；
具有扫描仪的手术装置，所述扫描仪被配置为在所述患者体内发射红外(IR)光；
第一手术仪器，其具有第一IR摄像头；
第二手术仪器，其具有第二IR摄像头，所述第一和第二手术仪器与所述手术装置分离使得所述第一和第二IR摄像头彼此以及与所述扫描仪以间隔关系设置；以及
与所述手术装置以及所述第一和第二手术仪器通信的计算装置，所述计算装置具有处理器和其上存储有指令的存储器，当在所述处理器上执行时，所述指令使得所述系统：
确定所述第一和第二IR摄像头之间相对于彼此和所述扫描仪的视差；
基于所述确定的视差、由所述第一IR摄像头捕获的第一IR图像和由所述第二IR摄像头捕获的第二IR图像，生成集成IR图像；
将所述集成IR图像与由所述光学摄像头捕获的光学图像相关联；以及
基于所述集成IR图像与所述光学图像的关联来生成术中3D图像。
10.根据权利要求9所述的系统，其中所述手术装置是内镜。
11.根据权利要求10所述的系统，其中所述内镜包括可见光发射器，所述可见光发射器被配置为将可见光朝向所述患者体内的至少一个解剖对象投影。
12.根据权利要求9所述的系统，其中所述存储器还在其上存储有指令，当由所述处理器执行时，所述指令使得所述系统显示所述生成的术中3D图像。
13.根据权利要求9所述的系统，其进一步包括具有第三IR摄像头的第三手术仪器，所述第一、第二和第三手术仪器被配置为在所述患者体内保持不同视野。
14.根据权利要求9所述的系统，其中所述扫描仪是第一扫描仪，并且所述系统可以进一步包括第二扫描仪，所述第二扫描仪被配置为以与所述第一扫描仪不同的频率发射IR光。
15.根据权利要求14所述的系统，其中所述存储器进一步在其上存储有指令，当由所述处理器执行时，所述指令使得所述系统：
相对于所述第一扫描仪以交错定时从所述第一扫描仪和所述第二扫描仪发射IR光。
16.一种存储程序的非暂时性计算机可读存储介质，当由计算机执行时，所述程序使得所述计算机：
生成由扫描仪投影并从解剖对象反射回来的IR光的IR光图像，所述IR光图像中的每一个由多个IR摄像头捕获；
确定所述多个IR摄像头与所述扫描仪之间的视差；
基于所述确定的视差，将所述IR光图像相关联以创建集成IR光图像；以及
将所述集成IR光图像与所述解剖对象的可见光图像相关联以生成所述解剖对象的实时术中3D图像。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中当由所述计算机执行时，所述程序使得所述计算机生成所述实时术中3D图像。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中当由所述计算机执行时，所述程序使得所述计算机显示所述生成的实时术中3D图像。
19.根据权利要求16所述的非暂时性计算机可读存储介质，其中当由所述计算机执行时，所述程序使得所述计算机基于所述集成IR光图像生成3D点云。
20.根据权利要求16所述的非暂时性计算机可读存储介质，其中当由所述计算机执行时，所述程序使得所述计算机将所述可见光图像扭曲到所述集成IR图像上。
CN202010024119.8A 2019-01-10 2020-01-10 增强视差的内镜成像 Active CN111419152B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962790839P 2019-01-10 2019-01-10
US62/790,839 2019-01-10
US16/707,280 US11357593B2 (en) 2019-01-10 2019-12-09 Endoscopic imaging with augmented parallax
US16/707,280 2019-12-09

Publications (2)

Publication Number Publication Date
CN111419152A true CN111419152A (zh) 2020-07-17
CN111419152B CN111419152B (zh) 2024-06-14

Family

ID=69156308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010024119.8A Active CN111419152B (zh) 2019-01-10 2020-01-10 增强视差的内镜成像

Country Status (3)

Country Link
US (3) US11357593B2 (zh)
EP (1) EP3679851A1 (zh)
CN (1) CN111419152B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017833A (zh) * 2021-02-25 2021-06-25 南方科技大学 脏器定位方法、装置、计算机设备及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11369366B2 (en) 2018-07-16 2022-06-28 Cilag Gmbh International Surgical visualization and monitoring
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11903557B2 (en) * 2019-04-30 2024-02-20 Psip2 Llc Endoscope for imaging in nonvisible light
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) * 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
DE102020201070A1 (de) 2020-01-29 2021-07-29 Siemens Healthcare Gmbh Darstellungsvorrichtung
US20220200748A1 (en) * 2020-02-12 2022-06-23 Apple Inc. Downlink control information for reduced-complexity device
US10958342B1 (en) * 2020-03-23 2021-03-23 Wipro Limited Method and system for managing interference caused by rogue node in optical camera communication network
US11790671B2 (en) * 2020-10-05 2023-10-17 Crazing Lab, Inc. Vision based light detection and ranging system using multi-fields of view
US20240099572A1 (en) * 2020-11-11 2024-03-28 New View Surgical, Inc. Multi-camera imaging system
WO2023052960A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052951A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems with intraluminal and extraluminal cooperative instruments
WO2023052955A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Instrument control surgical imaging systems
WO2023052929A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
US20230098670A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
WO2023052946A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Coordinated instrument control systems
WO2023079509A1 (en) * 2021-11-05 2023-05-11 Cilag Gmbh International Surgical visualization image enhancement
CN116211260B (zh) * 2023-05-09 2023-07-21 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050020910A1 (en) * 2003-04-30 2005-01-27 Henley Quadling Intra-oral imaging system
US20090192349A1 (en) * 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
CN102197990A (zh) * 2008-04-26 2011-09-28 直观外科手术操作公司 用于手术机器人的放大立体可视化
US20140005487A1 (en) * 2012-06-27 2014-01-02 CamPlex LLC Optics for video cameras on a surgical visualization system
US20150077529A1 (en) * 2012-06-14 2015-03-19 Olympus Corporation Image-processing device and three-dimensional-image observation system
CN106264458A (zh) * 2016-07-29 2017-01-04 上海衣得体信息科技有限公司 一体式人体扫描仪及方法
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
CN107260117A (zh) * 2016-03-31 2017-10-20 柯惠有限合伙公司 用于表面扫描的胸部内窥镜
WO2018049215A1 (en) * 2016-09-09 2018-03-15 Intuitive Surgical Operations, Inc. Simultaneous white light and hyperspectral light imaging systems
WO2018132804A1 (en) * 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
CN108537879A (zh) * 2018-03-29 2018-09-14 东华智业（北京）科技发展有限公司 三维模型重建系统及方法
US20180325618A1 (en) * 2017-05-05 2018-11-15 OrbisMV LLC Surgical projection system and method

Family Cites Families (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5057494A (en) 1988-08-03 1991-10-15 Ethicon, Inc. Method for preventing tissue damage after an ischemic episode
US5321113A (en) 1993-05-14 1994-06-14 Ethicon, Inc. Copolymers of an aromatic anhydride and aliphatic ester
US6139490A (en) 1996-02-22 2000-10-31 Precision Optics Corporation Stereoscopic endoscope with virtual reality viewing
US6009189A (en) 1996-08-16 1999-12-28 Schaack; David F. Apparatus and method for making accurate three-dimensional size measurements of inaccessible objects
US6003517A (en) 1998-04-30 1999-12-21 Ethicon Endo-Surgery, Inc. Method for using an electrosurgical device on lung tissue
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6608081B2 (en) 1999-08-12 2003-08-19 Ortho-Mcneil Pharmaceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
US6413981B1 (en) 1999-08-12 2002-07-02 Ortho-Mcneil Pharamceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
US6750034B1 (en) 2000-06-30 2004-06-15 Ortho-Mcneil Pharmaceutical, Inc. DNA encoding human serine protease D-G
US20020147462A1 (en) 2000-09-11 2002-10-10 Closure Medical Corporation Bronchial occlusion method and apparatus
US6472372B1 (en) 2000-12-06 2002-10-29 Ortho-Mcneil Pharmaceuticals, Inc. 6-O-Carbamoyl ketolide antibacterials
WO2002092773A2 (en) 2001-05-15 2002-11-21 Ortho-Mcneil Pharmaceutical, Inc. Ex-vivo priming for generating cytotoxic t lymphocytes specific for non-tumor antigens to treat autoimmune and allergic disease
US20030013960A1 (en) 2001-05-29 2003-01-16 Makin Inder Raj. S. Guiding ultrasound end effector for medical treatment
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US20060178556A1 (en) 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
US7170677B1 (en) 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
MXPA03006874A (es) 2002-07-31 2004-09-03 Johnson & Johnson Sistema de terapia con oxigeno de duracion prolongada.
US20040120981A1 (en) 2002-12-20 2004-06-24 Aruna Nathan Crosslinked alkyd polyesters for medical applications
CN101955524A (zh) 2003-04-30 2011-01-26 森托科尔奥索生物科技公司 Cngh0010特异性的多核苷酸、多肽、抗体、组合物、方法和用途
US7482376B2 (en) 2003-07-03 2009-01-27 3-Dimensional Pharmaceuticals, Inc. Conjugated complement cascade inhibitors
EP1644519B1 (en) 2003-07-04 2008-12-31 Johnson & Johnson Research Pty Limited Method for detection of alkylated cytosine in dna
EP2545874B1 (en) 2004-11-16 2017-09-20 Uptake Medical Technology Inc. Device for lung treatment
BRPI0518734A2 (pt) 2004-11-30 2008-12-02 Veridex Llc prognàstico de cÂncer de pulmço
WO2006081198A2 (en) 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
US9055906B2 (en) 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
US11389235B2 (en) 2006-07-14 2022-07-19 Neuwave Medical, Inc. Energy delivery systems and uses thereof
US9473766B2 (en) 2006-12-28 2016-10-18 David Byron Douglas Method and apparatus for three dimensional viewing of images
US7655004B2 (en) 2007-02-15 2010-02-02 Ethicon Endo-Surgery, Inc. Electroporation ablation apparatus, system, and method
US8335359B2 (en) 2007-07-20 2012-12-18 General Electric Company Systems, apparatus and processes for automated medical image segmentation
WO2009094646A2 (en) 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8442355B2 (en) 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
SE532644C2 (sv) 2008-07-03 2010-03-09 Aamic Ab Förfarande för att analysera cirkulerande antikroppar
US8361066B2 (en) 2009-01-12 2013-01-29 Ethicon Endo-Surgery, Inc. Electrical ablation devices
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US20180009767A9 (en) 2009-03-19 2018-01-11 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5380348B2 (ja) 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2011140087A2 (en) 2010-05-03 2011-11-10 Neuwave Medical, Inc. Energy delivery systems and uses thereof
US9066086B2 (en) 2010-12-08 2015-06-23 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9766441B2 (en) 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
DE102011084920B4 (de) 2011-10-20 2014-03-20 Digital Endoscopy OEM GmbH Endoskopiesystem, steuersystem und verwendung eines steuersystems bei einem endoskopiesystem
EP3666162A1 (en) 2011-10-21 2020-06-17 Viking Systems, Inc. Steerable electronic stereoscopic endoscope
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
EP3488803B1 (en) 2012-02-03 2023-09-27 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
JP5740045B2 (ja) 2012-03-30 2015-06-24 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
WO2013168667A1 (ja) 2012-05-09 2013-11-14 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
EP3470003A3 (en) 2012-05-14 2019-04-24 Intuitive Surgical Operations Inc. Systems for deformation compensation using shape sensing
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US10376178B2 (en) 2012-05-14 2019-08-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using rapid pose search
CN104302241B (zh) 2012-05-14 2018-10-23 直观外科手术操作公司 用于使用减小的搜索空间的医疗设备的配准系统和方法
US20130303945A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Electromagnetic tip sensor
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US9801551B2 (en) 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
JP6074587B2 (ja) 2012-08-06 2017-02-08 株式会社Ｊｏｌｅｄ 表示パネル、表示装置ならびに電子機器
WO2014028394A1 (en) 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
EP4296963A3 (en) 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
IL221863A (en) 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
KR102196291B1 (ko) 2012-10-12 2020-12-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US20140188440A1 (en) 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
EP2968857B1 (en) 2013-03-15 2022-05-04 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US11266466B2 (en) 2013-07-29 2022-03-08 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
KR101572487B1 (ko) 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
US11166646B2 (en) 2013-08-15 2021-11-09 Intuitive Surgical Operations Inc. Systems and methods for medical procedure confirmation
JP6785656B2 (ja) 2013-08-15 2020-11-18 インテュイティブ サージカル オペレーションズ， インコーポレイテッド カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス
CN111166274A (zh) 2013-10-24 2020-05-19 奥瑞斯健康公司 机器人辅助腔内外科手术系统及相关方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP3079625B1 (en) 2013-12-09 2023-09-13 Intuitive Surgical Operations, Inc. Systems and non-surgical methods for device-aware flexible tool registration
CN111481292A (zh) 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
JP6525436B2 (ja) 2014-01-31 2019-06-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多焦点表示システムおよび方法
EP3979210A1 (en) 2014-02-04 2022-04-06 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US20150223765A1 (en) 2014-02-07 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for using x-ray field emission to determine instrument position and orientation
KR102358967B1 (ko) 2014-03-17 2022-02-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 이미징 기기의 방향 제어 시스템 및 방법
WO2015142800A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
CN106535812B (zh) 2014-03-28 2020-01-21 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术系统
CN112987307B (zh) 2014-05-30 2022-06-28 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
WO2016010811A1 (en) 2014-07-18 2016-01-21 Ethicon, Inc. Methods and devices for controlling the size of emphysematous bullae
EP3169247B1 (en) 2014-07-18 2020-05-13 Ethicon, Inc. Mechanical retraction via tethering for lung volume reduction
JP6722652B2 (ja) 2014-07-28 2020-07-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術中のセグメンテーションについてのシステム及び方法
KR102419094B1 (ko) 2014-07-28 2022-07-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 다중 중재 절차를 계획하기 위한 시스템과 방법
EP3182875B1 (en) 2014-08-23 2021-04-07 Intuitive Surgical Operations, Inc. Systems for display of pathological data in an image guided procedure
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10314513B2 (en) 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
EP3206556A4 (en) 2014-10-17 2018-07-18 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
WO2016067092A2 (en) 2014-10-20 2016-05-06 Averbuch, Dorian Surgical devices and methods of use thereof
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN107111684A (zh) 2014-11-13 2017-08-29 直观外科手术操作公司 用于过滤局部化数据的系统和方法
US10512510B2 (en) 2014-12-22 2019-12-24 Intuitive Surgical Operations, Inc. Flexible electromagnetic sensor
US10448692B2 (en) 2015-03-06 2019-10-22 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
WO2016157623A1 (ja) 2015-03-30 2016-10-06 オリンパス株式会社 内視鏡装置
US11759262B2 (en) 2015-04-06 2023-09-19 Intuitive Surgical Operations, Inc. Systems and methods of registration compensation in image guided surgery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
JP2016212177A (ja) 2015-05-01 2016-12-15 セイコーエプソン株式会社 透過型表示装置
US10413369B2 (en) 2015-05-19 2019-09-17 Sony Corporation Device, method, and system for image guided surgical resection
EP3297529A4 (en) 2015-05-22 2019-01-09 Intuitive Surgical Operations Inc. SYSTEMS AND METHOD FOR REGISTERING IMAGED SURGERY
US10598914B2 (en) 2015-07-14 2020-03-24 Massachusetts Institute Of Technology Enhancement of video-rate fluorescence imagery collected in the second near-infrared optical window
EP3795061A1 (en) 2015-08-14 2021-03-24 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
EP3334325A4 (en) 2015-08-14 2019-05-01 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR RECORDING FOR IMAGE-GUIDED SURGERY
US10569071B2 (en) 2015-08-31 2020-02-25 Ethicon Llc Medicant eluting adjuncts and methods of using medicant eluting adjuncts
US10245034B2 (en) 2015-08-31 2019-04-02 Ethicon Llc Inducing tissue adhesions using surgical adjuncts and medicants
US11278354B2 (en) 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
MX2018005116A (es) 2015-10-26 2018-09-05 Neuwave Medical Inc Sistemas de suministro de energia y sus usos.
US10405753B2 (en) 2015-11-10 2019-09-10 Intuitive Surgical Operations, Inc. Pharmaceutical compositions of near IR closed chain, sulfo-cyanine dyes
EP3391030A4 (en) 2015-12-14 2019-06-12 Intuitive Surgical Operations Inc. APPARATUS AND METHOD FOR GENERATING ANATOMIC TARGET 3D DATA USING OPTICAL FIBER SHAPE DETECTION
US9996361B2 (en) 2015-12-23 2018-06-12 Intel Corporation Byte and nibble sort instructions that produce sorted destination register and destination index mapping
US10614555B2 (en) 2016-01-13 2020-04-07 Sony Corporation Correction processing of a surgical site image
US11399895B2 (en) 2016-02-12 2022-08-02 Intuitive Surgical Operations, Inc. Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
EP3413830B1 (en) 2016-02-12 2022-06-15 Intuitive Surgical Operations, Inc. Computer program for using registered fluoroscopic images in image-guided surgery
CN109069009B (zh) 2016-03-10 2022-09-23 博迪维仁医疗有限公司 用于使用多视图位姿估计的方法和系统
US10702137B2 (en) 2016-03-14 2020-07-07 Intuitive Surgical Operations, Inc.. Endoscopic instrument with compliant thermal interface
CA3016346A1 (en) 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
US20170296679A1 (en) 2016-04-18 2017-10-19 Intuitive Surgical Operations, Inc. Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands
US11266387B2 (en) 2016-06-15 2022-03-08 Intuitive Surgical Operations, Inc. Systems and methods of integrated real-time visualization
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR102420386B1 (ko) 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
WO2018010040A1 (zh) 2016-07-11 2018-01-18 王民良 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US11324393B2 (en) 2016-08-16 2022-05-10 Intuitive Surgical Operations, Inc. Augmented accuracy using large diameter shape fiber
CN106132122B (zh) * 2016-08-16 2019-02-26 华为技术有限公司 一种机柜
WO2018038999A1 (en) 2016-08-23 2018-03-01 Intuitive Surgical Operations, Inc. Systems and methods for monitoring patient motion during a medical procedure
EP3515281A4 (en) 2016-09-21 2020-05-27 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR DETECTING INSTRUMENT BUCKLES
EP3518807A4 (en) 2016-09-30 2020-05-27 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR LOCALIZING AN ENTRY POINT
WO2018075911A1 (en) 2016-10-21 2018-04-26 Intuitive Surgical Operations, Inc. Shape sensing with multi-core fiber sensor
KR20230031371A (ko) 2016-11-02 2023-03-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 수술을 위한 연속 정치 시스템 및 방법
US20180144092A1 (en) 2016-11-21 2018-05-24 Johnson & Johnson Vision Care, Inc. Biomedical sensing methods and apparatus for the detection and prevention of lung cancer states
EP3551114A4 (en) 2016-12-08 2020-07-22 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR NAVIGATION IN IMAGE-GUIDED MEDICAL PROCESSES
EP3551031B1 (en) 2016-12-09 2022-08-03 Intuitive Surgical Operations, Inc. System and method for distributed heat flux sensing of body tissue
CN110087576B (zh) 2017-01-09 2023-03-17 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
WO2018144698A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
CN110225710B (zh) 2017-02-01 2022-12-30 直观外科手术操作公司 用于图像引导的程序的配准的系统和方法
US11882990B2 (en) 2017-02-01 2024-01-30 Intuitive Surgical Operations, Inc Systems and methods for data filtering of passageway sensor data
US10262453B2 (en) 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
JP7282685B2 (ja) 2017-03-31 2023-05-29 オーリス ヘルス インコーポレイテッド 生理学的ノイズを補償する管腔ネットワークのナビゲーション用ロボットシステム
EP3612121A4 (en) 2017-04-18 2021-04-07 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE TO MONITOR AN IMAGE GUIDED PROCEDURE
EP3613057A4 (en) 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
US10299880B2 (en) 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
EP3629882A4 (en) 2017-05-24 2021-05-19 Body Vision Medical Ltd. METHODS OF USING RADIAL ENDOBRONCHIC ULTRASONIC PROBES FOR THREE-DIMENSIONAL IMAGE RECONSTRUCTION AND IMPROVED TARGET LOCATION
EP3641686A4 (en) 2017-06-23 2021-03-24 Intuitive Surgical Operations, Inc. SYSTEMS AND PROCEDURES FOR NAVIGATION TO A DESTINATION DURING A MEDICAL OPERATION
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
JP7317723B2 (ja) 2017-06-28 2023-07-31 オーリス ヘルス インコーポレイテッド 電磁場の歪み検出
EP4245246A3 (en) 2017-08-16 2023-12-06 Intuitive Surgical Operations, Inc. Systems for monitoring patient motion during a medical procedure
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
JP2019083501A (ja) * 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US11903777B2 (en) 2017-11-14 2024-02-20 Intuitive Surgical Operations, Inc. Systems and methods for cleaning endoscopic instruments
US10850013B2 (en) 2017-12-08 2020-12-01 Auris Health, Inc. Directed fluidics
AU2018378810B2 (en) 2017-12-08 2024-02-22 Auris Health, Inc. System and method for medical instrument navigation and targeting
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
AU2018390476B2 (en) 2017-12-18 2024-03-28 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
EP3749239A4 (en) 2018-02-05 2021-11-03 Broncus Medical Inc. PULMONARY TUMOR PLANNING AND ABLATION IMAGE GUIDED SYSTEM
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US10980913B2 (en) 2018-03-05 2021-04-20 Ethicon Llc Sealant foam compositions for lung applications
US20190269819A1 (en) 2018-03-05 2019-09-05 Ethicon Llc Sealant foam compositions for lung applications
US20190298451A1 (en) 2018-03-27 2019-10-03 Intuitive Surgical Operations, Inc. Systems and methods for delivering targeted therapy
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
CN110831486B (zh) 2018-05-30 2022-04-05 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和方法
CN110831538B (zh) 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
US11192027B2 (en) 2018-08-01 2021-12-07 Sony Interactive Entertainment LLC Terrain radar and gradual building of a route in a virtual environment of a video game
US11080902B2 (en) 2018-08-03 2021-08-03 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomical tree structures
CN113164149A (zh) 2018-08-13 2021-07-23 博迪维仁医疗有限公司 使用数字计算机断层扫描的多视图姿态估计的方法和系统
WO2020036685A1 (en) 2018-08-15 2020-02-20 Auris Health, Inc. Medical instruments for tissue cauterization
WO2020036686A1 (en) 2018-08-17 2020-02-20 Auris Health, Inc. Bipolar medical instrument
US11896316B2 (en) 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
US11737823B2 (en) 2018-10-31 2023-08-29 Intuitive Surgical Operations, Inc. Antenna systems and methods of use
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US11280863B2 (en) 2018-11-02 2022-03-22 Intuitive Surgical Operations, Inc. Coiled antenna with fluid cooling
US20200138514A1 (en) 2018-11-02 2020-05-07 Intuitive Surgical Operations, Inc. Tissue penetrating device tips
US11730537B2 (en) 2018-11-13 2023-08-22 Intuitive Surgical Operations, Inc. Cooled chokes for ablation systems and methods of use
US11172184B2 (en) * 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11553969B1 (en) * 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11633623B2 (en) 2019-04-19 2023-04-25 University Of Maryland, Baltimore System and method for radiation therapy using spatial-functional mapping and dose sensitivity of branching structures and functional sub-volumes
US11432828B1 (en) * 2019-07-23 2022-09-06 Onpoint Medical, Inc. Controls for power tools or instruments including bone saws and drills including safety and directional control and haptic feedback
US11521345B2 (en) * 2019-09-30 2022-12-06 GE Precision Healthcare LLC Method and system for providing rotation previews for three-dimensional and four-dimensional ultrasound images

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050020910A1 (en) * 2003-04-30 2005-01-27 Henley Quadling Intra-oral imaging system
US20090192349A1 (en) * 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
CN102197990A (zh) * 2008-04-26 2011-09-28 直观外科手术操作公司 用于手术机器人的放大立体可视化
US20150077529A1 (en) * 2012-06-14 2015-03-19 Olympus Corporation Image-processing device and three-dimensional-image observation system
US20140005487A1 (en) * 2012-06-27 2014-01-02 CamPlex LLC Optics for video cameras on a surgical visualization system
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
CN107260117A (zh) * 2016-03-31 2017-10-20 柯惠有限合伙公司 用于表面扫描的胸部内窥镜
CN106264458A (zh) * 2016-07-29 2017-01-04 上海衣得体信息科技有限公司 一体式人体扫描仪及方法
WO2018049215A1 (en) * 2016-09-09 2018-03-15 Intuitive Surgical Operations, Inc. Simultaneous white light and hyperspectral light imaging systems
WO2018132804A1 (en) * 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
US20180325618A1 (en) * 2017-05-05 2018-11-15 OrbisMV LLC Surgical projection system and method
CN108537879A (zh) * 2018-03-29 2018-09-14 东华智业（北京）科技发展有限公司 三维模型重建系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017833A (zh) * 2021-02-25 2021-06-25 南方科技大学 脏器定位方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111419152B (zh) 2024-06-14
EP3679851A1 (en) 2020-07-15
US11793390B2 (en) 2023-10-24
US20200222146A1 (en) 2020-07-16
US20220313385A1 (en) 2022-10-06
US11357593B2 (en) 2022-06-14
US20240041298A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN111419152B (zh) 增强视差的内镜成像
US11801113B2 (en) Thoracic imaging, distance measuring, and notification system and method
US11730562B2 (en) Systems and methods for imaging a patient
JP7443353B2 (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
JP6534693B2 (ja) 表面走査のための胸部内視鏡
US11617493B2 (en) Thoracic imaging, distance measuring, surgical awareness, and notification system and method
CN106456267B (zh) 器械在视野中的定量三维可视化
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
US11793402B2 (en) System and method for generating a three-dimensional model of a surgical site
EP3782529A1 (en) Systems and methods for selectively varying resolutions
US20220287776A1 (en) Systems and methods for performance of external body wall data and internal depth data-based performance of operations associated with a computer-assisted surgical system
US20230099835A1 (en) Systems and methods for image mapping and fusion during surgical procedures
Hayashibe et al. Real-time 3D deformation imaging of abdominal organs in laparoscopy
Mitsuhiro HAYASHIBE et al. Medicine Meets Virtual Reality 11 117 JD Westwood et al.(Eds.) IOS Press, 2003

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant