CN111317569A - 用于对患者进行成像的系统和方法 - Google Patents

用于对患者进行成像的系统和方法 Download PDF

Info

Publication number
CN111317569A
CN111317569A CN201911278587.1A CN201911278587A CN111317569A CN 111317569 A CN111317569 A CN 111317569A CN 201911278587 A CN201911278587 A CN 201911278587A CN 111317569 A CN111317569 A CN 111317569A
Authority
CN
China
Prior art keywords
image
operative
model
patient
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911278587.1A
Other languages
English (en)
Inventor
J·W·库普
J·萨尔托尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111317569A publication Critical patent/CN111317569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Abstract

用于对患者进行成像的系统和方法包括从内窥镜朝向至少一个解剖特征(例如，肝脏或肺的外部)投射红外(IR)光，捕获所述IR光，从所述内窥镜朝向所述解剖特征的类似部分投射光学光，以及捕获所述光学光。一旦所述IR光和所述光学光被捕获，两者彼此相关联以生成手术中3D图像。IR和光学光的这种投射和捕获能够在成像过程期间的离散时间发生，或者同时发生。

Description

用于对患者进行成像的系统和方法
相关申请的交叉引用
本申请要求于2018年12月20日提交的美国临时申请序列号62/782,683 的权益，并且涉及并要求于2018年12月13日提交的美国临时申请序列号 62/779,242和2018年12月13日提交的美国临时申请序列号62/779,229的权益， 其各自的全部内容通过引用并入本文。
技术领域
本公开内容涉及与外科手术过程相关联执行的成像技术，更具体地，涉及 2D图像数据与3D图像数据的关联。
背景技术
微创外科手术过程已经成为诊断和治疗各种医学病症的既常用又有效的方 法。例如，依赖于内窥镜外科手术器械的腹腔镜外科手术过程允许减小进入组 织的切口长度以允许接近外科手术部位，以及在某些外科手术过程中的创伤。 类似地，机器人外科手术过程允许临床医生以最小的努力维持相对于外科手术 部位的内窥镜外科手术器械的位置和取向。
发明内容
根据本公开内容的各方面提供了用于在患者的体内进行成像的系统和方 法。在一个方面中，所述方法可以包括：分析第一图像，所述第一图像包括由 与内窥镜相关联的IR相机捕获的反射IR光的第一图像；分析第二图像，所述 第二图像包括由与内窥镜相关联的光学光相机捕获的反射光学光；将所述第一 图像与所述第二图像相关联；以及基于所述第一图像与所述第二图像的关联来 生成手术中3D图像。
根据一个方面，将第一图像和第二图像相关联包括通过将第一图像的点平 移到第二图像的相对应的点来将第一图像映射到第二图像。
所述方法可以进一步包括朝向患者的至少一个解剖特征投射多个IR光束。 在一个方面，所述多个IR光束以彼此间隔的关系朝向至少一个解剖特征投射。 附加地或可替换地，朝向至少一个解剖特征投射的多个IR光束以网格图案投 射。
根据一个方面，所述方法进一步包括基于第一图像确定多个3D坐标。
在一个方面中，进一步基于多个3D坐标生成手术中3D图像。
根据一个方面，所述方法可以进一步包括在显示器上显示手术中3D图像。
根据本公开内容的另一方面，提供了一种用于在患者体内进行成像的系统。 所述系统包括内窥镜和与所述内窥镜通信的计算设备。所述内窥镜包括：红外 (IR)光源，其被配置为将多个IR光束投射到至少一个解剖特征上；IR相机， 其被配置为捕获第一图像；光学光源，其被配置为将光学光投射到至少一个解 剖特征上；以及光学相机，其被配置为捕获第二图像。第一图像包括多个IR光 束的反射，第二图像包括由光学光源照射的至少一个解剖特征。所述计算设备 包括处理器和上面存储有指令的存储器，所述指令当由所述处理器执行时，使 得所述计算设备将第一图像与第二图像相关联，基于第一图像与第二图像的关 联而生成手术中3D图像，并且显示所述手术中3D图像。
在一个方面中，所述计算设备被配置为通过将第一图像的点平移到第二图 像的相对应点来将第一图像映射到第二图像。
投射到至少一个解剖特征上的多个IR光束可以限定网格图案。
在一个方面中，所述计算设备被配置为基于第一图像确定多个3D坐标。 附加地，或可替换地，所述计算设备被配置为基于第一图像与第二图像的关联 并且进一步基于多个3D坐标来生成手术中3D图像。在一个方面中，所述计算 设备可以将所生成的手术中3D图像与先前获取的手术前图像相关联。
根据一个方面，所述计算设备被配置为基于所生成的手术中3D图像与先 前获取的手术前图像的关联来生成3D模型，并显示所生成的3D模型。
在本公开内容的又一方面中，提供了一种非暂时性计算机可读存储介质。 所述非暂时性计算机可读存储介质利用程序编码，所述程序当由所述处理器执 行时，使得所述处理器将包括投射在其上的红外光的至少一个解剖特征的第一 图像与所述至少一个解剖特征的第二图像相关联，基于所述第一图像与所述第 二图像的关联来生成手术中3D图像，并且将所生成的手术中3D图像与先前获 取的手术前图像相关联。
在一个方面中，进一步使得处理器基于所生成的手术中3D图像与先前获 取的手术前图像的关联来生成3D模型，并显示所生成的3D模型。附加地，或 可替换地，进一步使得处理器通过将第一图像的点平移到第二图像的相对应点 来将第一图像映射到第二图像。
根据一方面，使得处理器基于第一图像确定多个3D坐标。附加地，或可 替换地，使得处理器基于第一图像与第二图像的关联并且进一步基于多个3D 坐标来生成手术中3D图像。
附图说明
下面参照附图描述本公开内容的各个方面和特征，其中：
图1是根据本公开内容的实施例的患者的胸腔的侧横截面图视，其中内窥 镜具有部分设置在其中的表面扫描能力；
图2是根据本公开内容的实施例的内窥镜的远端部分的前透视图；
图3A至3C是根据本公开内容的实施例的与用于进行外科手术部位的成像 的说明性方法相关联的流程图；
图4是示出根据本公开内容的实施例的示出手术中3D模型的图形用户界 面的视图；
图5A和图5B是根据本公开内容的实施例的捕获和分割的红外图像的视 图；
图6是根据本公开内容的实施例的计算设备的框图；
图7示出了根据本公开内容的实施例的用于计划外科手术过程的说明性任 选的方法的流程图；
图8示出了根据本公开内容的实施例的用于在外科手术过程期间导航外科 手术器械的说明性任选的方法的流程图；以及
图9是根据本公开内容的实施例的外科手术系统的透视图。
具体实施方式
本公开内容涉及用于基于在外科手术过程期间收集的2D图像数据和3D图 像数据生成3D图像的系统和方法。公开这些系统和方法是为了响应对适于包 含在微创外科手术过程中的改进图像捕获系统的持续需求。更具体地，需要在 这些外科手术过程期间捕获2D和3D图像的更稳健的系统和方法。
本文公开了用于捕获和关联在患者体内捕获的2D图像数据和3D图像数据 以供稍后在2D或3D显示设备上显示的系统和方法。这些系统和方法通常包括 基于红外(IR)图像生成手术中3D模型，所述红外(IR)图像在时间上接近 于捕获的2D图像或者与其同时捕获。通过将2D图像与手术中3D模型相关联， 可以在外科手术过程期间结合其他数据和/或除其它数据之外生成或绘制并显 示3D图像(例如，患者解剖结构的3D模型)。这使得临床医生能够在外科手 术过程期间更好地显现在内窥镜或其它类似外科手术设备附近的患者的内部解 剖特征。
本文所述的系统和方法可用于对患者进行诊断和/或治疗的各种外科手术 过程中，例如在空腔(吹入或以其他方式建立)、发光结构等中。例如，在临床 医生正在执行对患者胸部区域中的目标的诊断的实施例中，所公开的系统和方 法可以用于在内窥镜朝向身体内的解剖特征或目标移动的导航期间进行辅助。 具体地，所描述的系统和方法使得能够对特征进行成像以便稍后在手术中3D 模型或二维3D渲染(其中3D显示不可用)上显示。附加地，如将进一步详细 描述的，所公开的系统和方法可以向临床医生提供观察和/或确定解剖特征、结 构和目标的各种特征，以及相对于患者身体(包括前述界标)的一个或多个外科手术工具的位置以及布置在患者内或患者周围的其它外科手术工具的能力。 下面详细描述本公开内容的这些方面和其它方面。
在整个说明书中，术语“临床医生”在本文中被称为向患者提供或帮助提 供治疗性治疗的个体，所述个体例如但不限于医生、外科医生、护士和其它此 类支持人员。本文使用的术语“远端”描述远离临床医生的对象设备或部件的 部分，而本文使用的术语“近端”描述靠近临床医生的对象设备或部件的部分。 短语“在实施例中”，“在这些实施例中”或“在其它实施例中”可以各自指代 根据本公开内容的相同或不同实施例中的一个或多个。另外，虽然可以参考单 数的元件，但是这种区别仅旨在简化这种描述，而不旨在限制本公开内容的主 题。本文所用的术语“目标”是指被指定为诊断或治疗交付关注点的患者体内的组织(软的或硬的)或区/区域。类似地，术语“解剖特征”或其变体是指器 官、组织、血管或患者身体的其它分离部分。
图1绘示了患者100的横截面视图，其由经胸腔定位在其中的内窥镜200 描绘。内窥镜200被配置成经由切口或经由现有开口(例如，经由患者的嘴和/ 或鼻(参见图9))通过患者“P”中的开口插入。
图1和图2绘示了患者的胸腔的侧横截面视图，其中内窥镜200具有部分 地布置在其中的表面扫描能力。虽然关于图1和图2中所示环境的内窥镜200 的描述是指在没有套管针或其它这种输送系统的帮助下使用内窥镜200，但是 应当理解，内窥镜200可以被配置为延伸通过这种系统。内窥镜200包括细长 主体202。在实施例中，细长主体202被配置成在合适的套管针或能够接收内 窥镜并随后将内窥镜输送到身体内的其它设备(例如，支气管内导管、胸腔导 管、套管针等)内推进。细长主体202可以分别包括第一段202a、第二段202b和第三段202c，每个段彼此连接并且能够被操纵以相对于彼此移动。以这种方 式，内窥镜200可以在导航通过患者“P”期间(例如，通过患者“P”的肋104) 紧密接近或通过患者“P”的胸壁定位。如可以理解的，内窥镜200的细长主体202可以包括任何数量的段，以辅助在患者“P”的身体(例如，通过胸腔或内 腔结构)内的内窥镜200的可操作性。
内窥镜200包括光学相机206、光源208、结构化光投射源或结构化光扫描 仪或激光器210(例如，IR光源)和第二相机212。尽管总体上示出为围绕内 窥镜200的远端表面204以圆形结构布置，但是可以设想的是，光学相机206、 光源208、激光器210和/或第二相机212可以以任何合适的结构布置。光学相 机206可以是可见光光学相机，诸如电荷耦合器件(CCD)、互补金属氧化物半 导体(CMOS)、N型金属氧化物半导体(NMOS)或本领域已知的任何其它这 种合适的相机传感器。在一个非限制性实施例中，光学相机206是具有预定分 辨率(例如1080p)的CCD相机。内窥镜200还可以具有一个或多个EM传感 器214，所述一个或多个EM传感器围绕内窥镜200的远端部分(例如，远端 表面204)布置，或者在沿着内窥镜200或在其内的任何期望的点处布置，以 促进在EM导航期间定位一个或多个EM传感器214以及内窥镜200的任何相 关联的部件。所述EM传感器214被配置为与EM跟踪系统(例如，EM跟踪 系统708(参见图7))通信。
光源208是被配置为发射白光的发光二极管(LED)，尽管预期可以利用被 配置为沿着任何光频率发射光的任何发光器件。激光器210可以是本领域已知 的任何结构性光扫描器，诸如通过旋转镜、分束器分散成扫描图案(例如，线、 格网、点阵等)的LED或LED红外激光器。在实施例中，激光器210是具有 准直光的LED激光器。第二相机212是能够检测IR光的CCD相机，尽管可以 设想的是，第二相机212可以根据被扫描的组织或目标检测可见光(诸如可见 绿光等)。具体地，可见绿光与具有红色或粉红色色调的组织形成对比，使得第二相机212能够更容易地识别组织或目标的形貌。同样地，被血红蛋白吸收的 可见蓝光可以使得系统能够检测血管结构以及血管拓扑结构，以当对准由第二 相机212捕获的图像时充当待匹配的附加的参考点。可以使用具有窄带光栅(未 明确示出)的数字滤波器(未明确示出)或滤波器(未明确示出)来抑制从激 光器210发射的外来可见光，由此限制来自由激光210以预定波长发射的光的 第二相机212曝光量，从而减少或防止在外科手术过程期间由这种光引起的临 床医生的分心。在实施例中，从由光学相机206捕获的图像中过滤可见光并且 经由计算设备400(图6)传输到外科医生，使得图像是清晰的并且不受外来光 图案影响。
在实施例中，第二相机212可以是本领域中已知的任何热成像相机(诸如 铁电、硅微测辐射热计或非制冷焦平面阵列(UFPA)、或者可以是任何其它合 适的可见光传感器(例如CCD、CMOS、NMOS等))，其被配置为感测由激光 器210传输的光(例如，如被反射)。在实施例中，远端表面204可以包括合适 的透明保护盖(未示出)，其能够抑制流体和/或其它污染物与光学相机206、光 源208、激光器210和/或第二相机212接触。由于激光器210与第二相机212 之间的相对于光学相机206的距离是固定的(例如，光学相机206相对于激光 器210和第二相机212的偏移)，因此由光学相机206获得的图像可以更精确地 与手术前图像匹配，这将在下面进一步详细地讨论。可以设想的是，布置在第 三段202c的远端部分内或周围的各种传感器可以是与硬件和/或软件相关联的 单独且不同的部件，或者可以是诸如由Intel开发的
Figure BDA0002316010470000071
RealsenseTM技术系统 的商业平台的一部分。
在实施例中，激光器210可以布置在第三段202c的外部表面上。如可以理 解的，激光器210在第三段202c的外部表面上的位置使得能够进行三角测量， 其中激光器210和第二相机212被引导成与第三段202c的中心线成一定角度 (例如，激光器210和第二相机212被布置成与由第三段202c限定的纵向轴线 成一定角度)。
图3A至3C所示的流程图概述了使用内窥镜(例如，内窥镜200)来显示 患者“P”的选定目标组织的方法(图1和图9)。这些方法通常被称为过程302。 虽然过程302包括以特定顺序描述的各种步骤，但是本领域技术人员将理解的 是，所描述的步骤可以以不同的顺序执行、重复和/或省略，而不脱离本公开内 容的范围。例如，在不期望导航的情况下，内窥镜200可以用于生成或再现图 像并将图像的数据信号传输到显示器406用于向临床医生显示。附加地，以下 对过程302的描述涉及由计算设备400执行的各种动作，但是对于本领域技术 人员显而易见的是，这些动作可以在被配置为以类似方式操作的各种计算设备 上执行。所执行的动作还可以响应于存储在一个或多个存储器402中的指令而 发生，所述存储器被配置为在计算设备400(图6)的一个或多个处理器404 上执行。
交错手术中图像捕获
当内窥镜200前进通过患者“P”的身体或以其它方式定位在患者“P”的 身体内时，内窥镜200对其中的一个或多个区域执行成像(过程302)。如上所 述，这种成像可以独立于EM导航或结合其而发生。更具体地，内窥镜200可 以接收2D和/或3D图像数据，生成3D图像的手术中3D模型和/或2D渲染(在 经由2D显示器406进行显示的情况下)，并且在计算设备400的显示器406上 显示所生成的手术中3D模型和/或手术中图像数据(图6)。所生成的手术中3D 模型和/或手术中图像数据可以被存储在计算设备400的存储器402中以供以后 调用。在实施例中，图像数据可以关联或映射到基于患者“P”的手术前图像数 据生成的手术前3D模型。应当理解的是，由内窥镜200执行的动作可以通过 在处理器404上执行指令(例如，应用程序416)或通过布置在内窥镜200的 各个部件上或以其它方式与其电通信的本地控制电路来引起。
如在图3A的流程图中概述的，当内窥镜200朝向患者“P”内的目标(例 如，肝脏、前列腺、肺等的内部或外部)前进或以其它方式定位在其周围时， 远离内窥镜200的远端部分(例如，远端表面204)朝向组织投射光(框304)。 更具体地，红外(IR)光从激光器210向外朝向患者“P”的一个或多个解剖特 征和周围组织投射。在实施例中，如图5A和图5B所示，激光器210以彼此相 距预定距离朝向患者102(图1)的肝脏“L”投射多个光束。IR光也可以以预定的图案(例如，网格或成形的图案；图5A和图5B)或可以朝向组织表面“S” 投射，所述组织表面“S”可以包括在内窥镜200的进入点与患者“P”的目标 (图5A和图5B)之间的患者“P”的身体内的目标、周围组织、其它组织等。 IR光可以被配置为利用彼此以变化的距离投射的每个投射的光束来撞击目标 和周围组织，以增加或降低每个IR图像的精度。例如，在实施例中，IR光可 以形成一个或多个图案，诸如预选的几何图像(例如条纹、点的随机或结构化放置)。基于期望的精确度水平，可以在复杂性(具有更大的角度量、彼此更靠 近地定位等)上对图案进行变化。还可以选择图案，以优化一旦捕获后对红外 光的后续分析。
一旦IR光接触患者“P”的组织表面“S”，光就从表面“S”朝向第二相 机212反射回来(框306)。光可以作为以彼此相距不同距离的多个点被接收。 响应于接收到从表面“S”反射的光，第二相机212将包括反射光作为IR图像 数据的图像传输到计算设备400。计算设备400将IR图像数据存储在计算设备 400的存储器402中，并且可以以任何合适的数据结构(诸如2D阵列、3D模 型等)来存储IR图像数据。为了清楚起见，IR图像数据的存储和分析将被称 为基于由计算设备400接收的IR图像数据所计算的距离测量值的2D阵列。
与IR图像数据相关联的相对应的距离(例如，由第二相机212感测的IR 光的每个点处的距离)被存储在存储器402中，用于稍后与光学图像的一部分 相关联。在实施例中，基于在IR图像数据中捕获的距离测量值来生成手术中 3D模型。在基于距离测量值生成手术中3D模型之后，所述手术中3D模型可 以与手术前3D模型和/或手术前图像数据的一部分(例如，包含在手术前3D 模型中或与其相关联的点)相匹配。匹配可以通过识别手术前3D模型和手术 中3D模型两者中的某些基准标记来发生，且基于所述匹配，手术前3D模型和 手术中3D模型可以彼此对准或以其它方式相关联。
一旦捕获到IR图像数据(参见框306)，激光器210停止朝向表面“S”投 射IR光。在IR光不再朝向表面“S”发射之后，光源208朝向患者“P”的表 面“S”投射光学光(例如可见光)(框308)。类似于在框304和框306处描述 的IR光的投射和捕获的许多方面，一旦光学光接触患者“P”的组织表面“S”， 光就从表面“S”朝向光学相机206反射(框310)。光学相机206响应于接收 从表面“S”反射的光，将包括反射的光的2D图像数据传输到计算设备400， 该图像数据被称为光学图像数据。计算设备400将光学图像数据存储在计算设 备400的存储器402中。
一旦分别由第二相机212和光学相机206捕获，IR图像数据和光学图像数 据就关联在计算设备400的存储器402中(框312)。更具体地，计算设备400 基于计算出的IR图像数据中的每个点的距离来生成3D模型(例如，手术中3D 模型)或3D模型的渲染以用于在2D显示器上显示，并且将3D模型存储在存 储器402中。从IR图像数据生成的3D模型可以以任何合适的数据结构(例如， 距公共平面的2D距离阵列或3D点阵列)存储在存储器402中。
计算设备400(图6)基于IR图像数据和光学图像数据的关联生成手术中 3D图像(框314)。更具体地，计算设备400将光学图像数据映射到3D模型中 的相对应的点。这些点可以通过将光学图像数据与IR图像数据对准(例如，调 节像素以解决光学相机206与第二相机212之间的空间差异)来映射，且一旦 对准就将光学图像数据与IR图像数据相关联。例如，当光学图像数据被捕获为 点的2D阵列时，这些点的2D阵列可以朝向3D模型前进或以其他方式投影， 其中3D模型的每个相对应的点(沿着包含在其中的对象的表面)与来自光学图像数据的2D阵列中的点相关联。每个点可以包括图像数据(诸如颜色值、 辉度、色度、亮度等)。在随后捕获的光学图像数据被映射到3D模型时，更早 捕获的光学图像数据可以与最近捕获的光学图像数据进行比较，并且根据需要 进行更新。一旦光学图像数据被映射到IR图像数据，则计算设备400可以基于 光学图像数据到IR图像数据的映射来生成要在计算设备400的显示器406上显 示的手术中3D模型(或者，在2D显示可用的情况下，手术中3D图像的2D 渲染)。在实施例中，一旦生成了手术中3D模型和/或手术中3D图像，则计算 设备400使得输出模块412输出2D和/或3D图像(框316)。
在实施例中，所生成的3D图像还可以与根据手术前图像数据生成的手术 前3D模型相关联(框318)。更具体地说，应用程序416在执行期间可以使得 计算设备400将与所生成的3D图像相关联的图像数据存储在3D模型中的相对 应的位置处。这种关联可以使得计算设备400能够更新在EM导航期间所生成 的图像，或者显示在外科手术过程的计划或检查阶段期间所生成的手术中3D 模型(在实施例中，手术前3D模型)。
应当理解的是，当生成手术中3D图像时，由EM跟踪模块(例如，EM跟 踪模块724，图9)确定的内窥镜200的位置可以与手术中3D图像中的相对应 的位置相匹配。基于这种匹配，计算设备400可以相对于手术中3D图像数据 叠加内窥镜200的虚拟表示。所修改的手术中3D图像数据随后可以显示在计 算设备400的显示器406上。还将理解的是，虽然在生成和捕获光学光(框308 和310)之前生成和捕获了IR光(框304和框306)，但是这两种类型的光生成 和捕获的顺序可以颠倒(例如，光学光可以在生成和捕获IR光之前生成和捕 获)，同时仍然遵循本公开内容的原理。
同时手术中图像捕获
在实施例中，在内窥镜200前进通过患者“P”的身体或以其它方式定位在 患者“P”的身体内时，所述内窥镜200可以对其中的一个或多个区域进行成像 (过程302')。更具体地，内窥镜200可以接收2D和/或3D图像数据，生成手 术中3D图像或手术中3D模型，并且将所生成的图像数据显示在计算设备400 的显示器406上和/或将图像数据存储在计算设备400的存储器402中。在许多 方面中，这种成像技术可以类似于在执行过程302(图3A)期间执行的成像。 在实施例中，图像数据可以与基于患者“P”的手术前图像数据生成的手术前3D模型相关联。应当理解的是，由内窥镜200执行的动作可以通过在处理器 404上执行指令(例如，应用程序416)或通过布置在内窥镜200的各个部件上 或以其它方式与其电通信的本地控制电路来引起。
如图3B的流程图中概述的，当内窥镜200朝向患者“P”内的目标前进或 以其它方式定位在其周围时，光远离内窥镜200的远端部分(例如，远端表面 204)朝向组织投射(框304')。具体地，IR光(例如，覆盖整个查看窗的多个 IR光束或大IR光束)以及光学光分别被从激光器210和光源208投射。所组 合的光指向患者“P”的一个或多个解剖特征和周围组织。在实施例中，如图 5A和图5B所示，激光器210可以相对于每个投射的光束以预定距离投射多个 光束。IR光也可以以预定的图案(例如，网格或成形的图案；图5A和图5B) 或可以朝向组织表面“S”投射，所述组织表面“S”可以包括在内窥镜200的 进入点与患者“P”的目标(图5A和图5B)之间的患者“P”的身体内的目标、 周围组织两者、以及其它组织。IR光可以被配置为撞击目标和周围组织，其中 每个投射的光束以彼此不同的距离投射，以增加或降低每个IR图像的精度。在 实施例中，可以以预定频率传输光学光，使得光学光不干扰第二相机212捕获 IR光。
一旦IR光和光学光接触患者“P”的组织表面“S”，IR光和光学光就从表 面“S”朝向光学相机206和第二相机212反射回来。光学相机捕获反射的光学 光并将其传输到计算设备400，并且第二相机捕获反射到计算设备400的IR光 (框306')。一旦被捕获，过程302'继续到框308'至310'，并且任选地继续到框 312'。框308'至312'可以分别以类似于框412至416的方式执行，并且因此出于 清楚的目的将省略其详细描述。
如在图3C的流程图中概述的，任选地，IR图像数据、光学图像数据、基 于IR图像数据和光学图像数据生成的手术中3D模型、或它们的任意组合可以 存储在存储器402中，用于以后再调用。除了在显示器上显示手术中3D模型 (或者，在实施例中，手术中图像数据)之外(框316或框312'；参见图4)， 计算设备400可以基于手术中3D模型来关联或更新手术前3D模型(框318)。 具体地，与手术中3D模型相关联的图像数据可以与手术前3D模型中的相对应 的位置相匹配。手术中3D模型可以与手术前3D模型进行比较，并且基于所述 比较，手术前3D模型可以被更新以在内窥镜200的导航期间更准确地反映环 境。例如，如果由于生成手术前3D模型，临床医生切割或以其它方式引起组 织改变，则计算设备400可以更新手术前3D模型以反映当在导航期间或以其 它方式显示手术前3D模型时患者“P”的组织改变。所述更新可以基于将所生 成的手术中3D模型与患者的手术前3D模型进行比较。在实施例中，计算设备 400可以更新显示在显示器406上的导航通路(框320)，以使得临床医生能够 导航通过患者“P”的身体，所述更新基于手术中3D模型和手术前3D模型的 关联(参见框318)。
如果计算设备400确定结合外科手术导航的帮助生成手术中3D模型(过 程302或302′)(框322，参见过程602)，则计算设备400使得显示器以显示 包括更新的导航视图和更新的轨迹的所更新的导航屏幕(下面更详细地解释的) (框324)。可替换地，如果除了导航过程之外生成了手术中3D模型(过程302 或302')，则计算设备400确定成像是以交错模式(框326处的“是”)还是以 同时模式(框326处的“否”)发生，并且重复成像过程(分别返回框304或框 304')。应当理解的是，过程302和过程302'描述了关于单个实例的成像(例如， 一次成像)，这些实例可以连续地重复以便创建手术中3D图像的视频流。
虽然本文描述的系统和方法涉及使用IR光来确定距离，并且使用光学光来 捕获光学图像用于随后的分析和显示，但是本领域技术人员应当理解，IR光和 光学光的使用可以互换。更具体地，在框304或框304'处显示的光图案可以由 光源208投射，并且用于照射整个外科手术空间的光可以由激光器210投射。 应当理解的是，IR光和光学光两者都可以由多个传感器接收，以使得能够通过 被配置为捕获光的各个传感器对反射光进行立体成像。
图4绘示了可以在执行过程302、302'期间显示的GUI 418的视图。图4包 括显示器406，其在其一部分上说明基于在过程302、302'期间感测的IR图像 数据和光学图像数据而生成的手术中3D模型。显示器406还在其单独部分上 包括在内窥镜200的任选的导航期间生成的手术前3D模型和轨迹的图示。另 外，任选的过程数据可以经由GUI 418显示，例如但不限于，在外科手术过程 期间患者“P”的状态(例如，心率、血压等)、手术设备的状态(例如，操作 的、接合的、出错的)等。如上所述，在实施例中，内窥镜200的虚拟表示可 以相对于所显示的手术中3D模型进行匹配，并且基于所述匹配覆盖在所显示 的3D模型上。
图6绘示了计算设备400的简化的框图。计算设备400可以包括存储器402、 处理器404、显示器406、网络接口408、输入设备410和/或输出模块412。存 储器402可以存储应用程序416和/或图像数据414。应用程序416(可以是一 组可执行指令)当由处理器404执行时使得显示器406基于GUI指令418呈现 图形用户界面(GUI)。应用程序416还可以提供内窥镜200与计算设备400之 间的接口。
存储器402可以包括用于存储可由处理器404执行的数据和/或软件(指令) 的任何非暂时性的计算机可读存储介质，并且当与内窥镜200(例如，与光学 相机206、光源208、激光器210、第二相机212)通信时，其控制计算设备400 和/或内窥镜200的各种部件的操作。在实施例中，存储器402可以包括一个或 多个固态存储设备，诸如闪存芯片。可替换地或除了一个或多个固态存储设备 之外，存储器402可以包括通过大容量存储控制器(未示出)和通信总线(未 示出)连接到处理器404的一个或多个大容量存储设备。尽管本文包含的计算 机可读介质的描述涉及固态存储装置，但是本领域技术人员应当意识到的，计 算机可读存储介质可以是可由处理器404访问的任何可用的介质。也就是说， 计算机可读存储介质包括以用于存储信息(诸如计算机可读指令、数据结构、 程序模块或其它数据等)的任何方法或技术实施的非暂时性、易失性和非易失 性、可移动和不可移动的介质。例如，计算机可读存储介质包括RAM、ROM、 EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、Blu-Ray 或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、或可以被用于存储期望的信息并可以由计算设备400访问的任何其它介质。
网络接口408可以被配置为连接到网络(诸如由有线网络和/或无线网络、 广域网(WAN)、无线移动网络、蓝牙网络和/或因特网组成的局域网(LAN))。 输入设备410可以是用户可以通过其与计算设备400交互的任何设备，例如鼠 标、键盘、脚踏板、触摸屏和/或语音接口。输出模块412可以包括任何连接性 端口或总线，例如并行端口、串行端口、通用串行总线(USB)、或本领域技术 人员已知的任何其它类似连接性端口。
计划
任选的计划阶段(过程502，包括框504至框514)，其包括在将患者“P” 放置在手术台702(参见，例如图9)上之前针对给定的诊断和/或治疗过程执 行的各个步骤。最初，可以使用任何合适的成像设备(未示出)对患者“P”(图 9)进行成像，以捕获手术前扫描数据或手术前图像数据(诸如以上讨论的手术 前2D和/或3D图像数据)。一旦获得手术前2D和/或3D图像数据(在整个公 开内容中称为手术前图像数据)，就可以生成手术前3D模型。应当理解的是， 手术前图像数据可以与多个手术前扫描相关联。附加地，手术前图像数据可以 从同一区域的多个扫描中选择，其中选择最近的扫描以供使用。手术前图像数 据可以以统一数据格式接收或转换为统一数据格式，诸如医学数字成像和通信 (DICOM)标准。例如，手术前图像数据可以包括来自CT扫描、CBCT扫描，MRI扫描、PET扫描，X射线扫描等的图像数据(框504)。
计算设备400处理手术前图像数据和/或手术前3D模型以从手术前图像数 据中识别一个或多个解剖结构(例如，肝脏、肺、目标组织、肿瘤等)(框506)。 例如，计算设备400可以识别患者“P”的肝脏以及其上的潜在目标(例如，病 变、已知结构等)。虽然将讨论通常涉及与患者“P”的肝脏相关联的图像数据 的处理，但是应当理解的是，计算设备400可以识别患者“P”的任何已知解剖 特征(包括但不限于一个或多个血液系统的脉管、淋巴系统的一个或多个淋巴 结和/或导管、其它器官(例如，任何特定器官的表面的外部或范围，或其相应 的内部结构)、标记、囊肿、病变部位、或由手术前扫描捕获的其它异常结构)。 手术前图像数据和/或手术前3D模型的处理可以包括自动或用户辅助的图像分 析，以识别手术前图像数据中的解剖特征。
一旦由计算设备400接收到手术前图像数据，则在来自计算设备400的存 储器402的处理器404上执行的应用程序416生成外科手术部位的手术前3D 模型，更具体地，生成其中布置的解剖特征的手术前3D模型(框508)。操作 前3D模型包括随后可以由应用程序416分析并在计算设备400的显示器406 上显示的数据。例如，数据可以包括外科手术部位(例如，诸如患者的肝脏) 的2D和/或3D图形表示，并且可以示出布置在其中的解剖特征的特征的位置 (例如，肺的目标区域)。计算设备400可以进一步标记一个或多个所识别的特 征，诸如一个或多个器官的元素和子元素(框510)。
可以选择一个或多个内窥镜200朝向其导航的目标(例如，肿瘤、病变、 沿器官的位置等)(框512)。例如，可以从在手术前图像数据和/或生成的手术 前3D模型中识别的结构中选择目标(参见框506)。附加地，或可替换地，可 以手动选择目标(例如，临床医生可以复查手术前图像数据并确定患者“P”的 组织内或沿着患者“P”的组织的特定区域以朝向内窥镜200导航)。在实施例 中，计算设备400可以突出(或以某种其它方式显示)作为潜在病变部位和/ 或肿瘤的一个或多个区域，所述潜在病变和/或肿瘤经由手术前3D模型和/或手术前图像数据的图像分析检测到的，用于临床医生复查。然后，临床医生可以 确认所突出的区域是否是外科手术过程期间要访问的目标，并向计算设备400 提供输入以将确认的病变部位标记为手术前3D模型中的目标。临床医生还可 以通过查看手术前图像数据和/或手术前3D模型来选择一个或多个病变部位和/ 或目标(框512)。例如，通过使用输入设备410和计算设备400的显示器406， 临床医生可以查看手术前图像数据和/或手术前3D模型，并且沿着手术前图像 数据或3D模型内的指定的区域识别一个或多个病变部位和/或目标。临床医生 还可以选择和/或标记手术前3D模型内捕获的、作为需要诊断和/或治疗的解剖 特征的各个区域。
一旦选择了(多个)目标，则计算设备400确定到(多个)目标的通路(框 514)。更具体地，计算设备400可以识别内窥镜200可以沿着其平移以到达目 标的轨迹。例如，计算设备400可以确定经由沿着患者“P”的身体的表面的切 口穿过患者“P”的组织朝向肝脏的途径。计算设备400可以选择通过组织的途 径或“路径”，以便最小化通过患者“P”的身体的行进距离，减少潜在伤害的 机会等。在实施例中，在肺导航过程期间，计算设备400确定从患者“P”的嘴 或鼻通过患者“P”的内腔网络(例如通过患者“P”的呼吸道)到达一个或多 个目标的通路。在手术前图像数据中存在并选择多个目标的情况下，可以识别 到一个或多个目标的多个通路。附加地，计算设备400可以自动地或利用来自 临床医生的输入，基于所识别的结构、所选择的目标和/或所识别的通路来生成 诊断和/或治疗计划。如本领域技术人员将理解的，这种诊断和/或治疗计划生成 也可以在通过简单地查看手术前图像数据生成手术前3D模型之前发生。
EM导航
在实施例中，内窥镜200可以结合导管引导组件(参见，例如图9)操作。 导管引导组件可以是成对的或以其他方式配置为当在内窥镜200被布置在导管 引导组件内时，在外科手术过程中控制内窥镜200的操作。
可以使用六自由度EM跟踪系统708来执行导航，尽管可以设想的是，本 文所描述的原理可以与任何已知的导航系统和方法一起使用。
EM跟踪系统708可以被配置成在内窥镜200相对于患者的身体移动时， 跟踪内窥镜200的位置，所述内窥镜具有布置在其上的至少一个EM传感器 718。在实施例中，EM跟踪系统708包括EM跟踪模块724、多个参考传感器 726和EM场发生器722。如图9所示，EM场发生器722被定位在患者下方。 EM场发生器722以及多个参考传感器726与EM跟踪模块724互连，所述EM 跟踪模块导出每个参考传感器726在六个自由度上的位置。一个或多个参考传 感器726被放置或附接到患者的胸部。参考传感器726的六自由度坐标作为数 据被发送到计算设备400，所述计算设备包括可执行的指令集或应用程序216 (图2)，所述指令集或应用程序处理从参考传感器726接收的数据以计算患者 坐标参照系。
计算设备400(图6)包括硬件和/或软件(诸如应用程序416)，以促进外 科手术过程的各个阶段。例如，计算设备400可以使用来自CT扫描、锥束计 算机断层摄影(CBCT)扫描、磁共振成像(MRI)扫描、正电子发射断层摄影 (PET)扫描、X射线扫描和/或任何其它合适的成像模态获取的射线照相图像数 据来生成和显示患者的解剖特征的子元素和某些元素的手术前3D模型(自动 地、半自动地或手动地)识别在射线照相图像数据和/或手术前3D模型上的目 标，并且使得能够确定和选择通过患者朝向目标的路径。在操作期间，手术前3D模型可以呈现在与计算设备400相关联的显示设备或显示器406上，或者以 任何其它合适的方式呈现。
可以经由显示器406(图6)显示手术前3D模型的各种生成的视图。在显 示时，临床医生可以经由输入设备410(例如，鼠标、键盘或触摸屏(未明确 示出))来操纵所显示的手术前3D模型，以识别一个或多个目标。如上所述， 目标可以是解剖特征、病变部位或淋巴结(例如，肝脏、肺、前列腺等)、进行 治疗的外科手术部位或需要治疗的患者的其它已知区域的一个或多个区域。在 实施例中，手术前3D模型尤其可以包括与患者的实际解剖特征相对应的模型 解剖特征(例如，模型可以替换手术前3D模型中或以其它方式代替其)，并且 示出患者“P”的解剖特征的各种元素(例如，目标组织的形状、结构等)。
手术前3D模型可以包括病变部位、标记、血管、血管结构、淋巴结构(例 如淋巴结)、器官、其它生理结构、和/或患者的肺的胸膜表面和裂缝的3D渲染。 可以选择性地显示上述元素中的一些或全部，使得临床医生可以选择在观看3D 模型时应该显示哪些元素。另外，如下所述，可以基于手术前3D模型和/或在 外科手术过程之前或期间生成的手术中3D模型来生成一个或多个3D渲染。
在手术期间，内窥镜200的EM传感器718结合EM跟踪系统708可以用 于跟踪和确定内窥镜200在前进穿过和/或围绕患者“P”的身体时的位置。跟 踪可以结合预先计划的导航计划进行。作为手术的初始步骤，将3D模型与患 者的某些解剖特征(例如器官的范围、肺的支气管结构等)配准。一种潜在的 配准方法涉及将内窥镜200导航到患者的身体的已知区域中。在这个配准阶段 期间，由EM跟踪系统708跟踪内窥镜200的位置，并且基于内窥镜200在实 际身体内的跟踪位置以及在某些情况下患者的解剖特征来迭代更新3D模型。 虽然配准过程可以集中于对准患者的器官并验证手术前3D模型的连续准确性， 但是配准可以类似地在器官内(例如，在患者的呼吸道内)执行。
当内窥镜200前进或导航通过体腔或器官内部时，经由显示器投射给临床 医生的图像可以从术前成像数据以及2D或3D成像数据的任意组合中导出，所 述2D或3D成像数据在内窥镜200的远端部分定位在相对于身体或器官的类似 位置时之前(例如，在更早的外科手术过程期间)获得。在显示包括先前获得 的图像数据的图像时，计算设备400可以基于识别解剖特征的位置来更新所显 示的图像(例如，通过将自然基准标记与术前图像数据中的基准标记相匹配)。 作为存储在计算设备400的存储器402中的手术前图像数据的这种更新的结果， 在内窥镜200的导航期间可以重建被显示以辅助的虚拟图像，以反映手术前图像数据与即时捕获的图像数据之间的任何改变。这种手术中更新使得计算设备 400能够提供响应于自然基准标记的移动的连续图像流。附加地，如果布置内 窥镜200的环境的实时图像的显示被延迟、阻碍等，则可以显示更新的手术前 图像数据以补偿这种失真。
计算设备400可以基于内窥镜200相对于患者“P”到手术前3D模型的配 准来更新和/或增强手术前3D模型。然后，计算设备400可以生成用于对对象 外科手术过程的(多个)器官进行成像的计划。更具体地，计算设备400可以 确定沿着手术中3D模型中包含的解剖特征穿过患者“P”的一个或多个轨迹。
除了光学成像阶段之外或在光学成像阶段(过程302、302')期间，可以执 行任选的EM导航阶段(过程602，包括框604至616)。本领域技术人员将认 识到，计划阶段可以与导航阶段分离和分开地发生(例如，在执行外科手术过 程之前的某个日期或时间)。导航阶段可以包括EMN系统700的内窥镜200经 由所确定的通路(参见框540)朝向所识别的解剖结构和/或目标的导航(参见 框432)。在实施例中，EM导航阶段可以结合经由对患者“P”非具体的一个或 多个预定的路径的导航而发生。另外，虽然将有关朝向一个或多个所识别的目标的预定路径来描述EM导航，但是应当理解的是，在实施例中，计算设备400 可以独立于任何可能的导航阶段，基于在外科手术过程期间从内窥镜200获得 的手术中图像数据来执行图像生成。
最初，在EM导航期间，选择并加载导航计划用于在3D模型上显示目标 和通路(框604)。在实施例中，计算设备400可以使得显示设备(诸如显示器 406)以显示其上指示具有目标和通路的手术前3D模型。EM跟踪系统708的 EM场发生器722在患者“P”的身体周围，并且更具体地是在患者“P”的胸 部周围生成EM场，如图9所示(框606)。然后，EM跟踪系统708检测内窥 镜200的EM传感器718在EM场中的位置(框608)，并且基于EM传感器718 的位置，EM跟踪系统708向计算设备400提供指示EM传感器718的位置的 EM跟踪数据，并且通过扩展，向内窥镜200提供EM跟踪数据。
任选地，一旦接收到EM跟踪数据，就可以基于相对于患者“P”的身体的 内窥镜200的位置以及更早捕获的手术前图像数据来生成手术中3D模型，如 上所述(框610)。可替换地，或附加地，光学图像数据和/或手术中3D图像数 据可以与手术前3D模型进行比较以确定内窥镜200的位置。在内窥镜200前 进通过患者“P”的身体时，2D和/或3D图像数据可以与手术前3D模型配准。 这种配准可以使得计算设备400能够更新手术前3D模型(在外科手术过程期 间被称为手术中3D模型)，以使得能够更真实地可视化在内窥镜200附近的解 剖特征。在实施例中，手术前图像数据被获得为与外科手术过程呈紧密相关的 时间关系(例如，在手术之前)，并且因此，手术前3D模型可能不需要与患者 “P”配准。在这样的实施例中，手术前3D模型与手术台702上的患者“P”的 身体对准。对准可以通过在获得手术前图像数据之前分析参考传感器726或围 绕患者“P”的身体放置的其它标记的位置来实现。应当理解的上，手术前3D 模型可以不被更新，并且因此，随后参考的手术中3D模型可以指手术前3D模 型。
在手术中3D模型与患者“P”的身体配准和/或对准之后，计算设备400 基于从EM跟踪系统接收的EM跟踪数据来确定内窥镜200的位置(框612)。 计算设备400在患者“P”的手术中3D模型上显示内窥镜200的所跟踪的位置， 从而指示相对于患者“P”的解剖特征的内窥镜200的位置(框614)。附加地， 或可替换地，内窥镜200可以收集2D和3D图像数据并生成手术间图像数据(例 如，交错模式(参见过程302)，或同时模式(参见过程302'))，而无需将内窥 镜200与患者“P”配准。这个所生成的3D图像数据还可以被映射到手术中的 3D模型以更新手术中3D模型。
在实施例中，计算设备400使得显示器406在手术中3D模型上显示内窥 镜200的跟踪位置，同时显示在显示器406上。在实施例中，计算设备400还 可以使得显示器406沿着手术中3D模型显示相对于患者“P”的解剖特征的内 窥镜200(或其任何合适的部分)的虚拟表示。这种虚拟表示基于由EM跟踪 模块724导出的相对于患者“P”的内窥镜200的已知位置。显示器406可以示 出附加的位置信息，在该位置信息中包括内窥镜200被引导的方向，以及相对 于患者“P”的内窥镜200的位置和取向(以下称为“姿势”)。
在EM导航期间，计算设备400确定内窥镜200是否到达目标(框616)。 例如，计算设备400可以确定从EM跟踪模块724接收的EM跟踪数据是否指 示内窥镜200的EM传感器718接近目标的位置(例如，EM传感器718是否 在目标的预定距离内)。如果计算设备400确定内窥镜200还未达到目标(框 616处为否)，则过程600返回到框612。如果计算设备400确定内窥镜200已 到达目标(框616处的“是”)，则过程600继续到框608。
图9绘示了可以结合上述系统和方法使用的较大的外科手术系统(例如， 肺导航系统)。在这些实施例中，手术前图像可以对支气管、血管和/或淋巴树 结构的通路、布置在其周围或其中的生长以及诸如血管的亚解剖特征进行成像。 手术前成像可以捕获与位于患者体内(例如，患者肺内)的胸膜表面和裂缝相 关联的信息。这些手术前3D模型可以经由图3的计算设备400以类似于上述 关于手术前3D模型的方式生成。这样的软件应用程序可以例如基于射线照相 获得的图像(诸如计算机断层摄影(CT)图像、磁共振成像(MRI)图像、正 电子发射断层摄影(PET)图像、X射线图像、锥束计算机断层摄影(CBCT) 图像和/或任何其它可应用的成像模态)，生成患者的解剖特征的虚拟表示。可 以处理图像以创建患者的胸部、腹部等的图像数据的量。基于图像数据的量， 生成患者的解剖特征的3D模型，称为手术前3D模型。可以进一步处理图像数 据和/或手术前3D模型，以识别建模的患者的区域中的一个或多个目标(诸如 肿瘤、病变部位或其它异常结构)。例如，应用程序可以识别沿着患者的肝脏、 前列腺、肺等的生长位置。类似地，所述应用程序可以从射线照相图像数据中识别内腔(例如呼吸道、血管和/或淋巴结构)的位置，并且进一步确定一个或 多个诊断或治疗目标的位置。
在实施例中，所述应用程序然后可以接收或加载预先存在的手术前3D模 型，例如但不限于原型患者的肝脏、前列腺等的预扫描模型。类似地，所述应 用程序可以接收或加载模型淋巴结图谱(诸如国际肺癌研究协会(IASLC)图 谱)，其包括典型患者的身体的模型中的淋巴结的位置。此后，所述应用程序可 以将预先存在的3D模型拟合到手术前3D模型，以将预先存在的3D模型与患 者的身体对准，并且更具体地，将所识别的患者的解剖结构与其中包含的结构 对准。在要在患者的肺中执行成像的实施例中，可以基于拟合到3D模型的模 型淋巴结图谱生成患者的淋巴系统的一个或多个淋巴树图谱。所生成的手术前 3D模型可以进一步基于患者的解剖特征的已知位置来拟合和/或更新。
然后，3D模型、射线照相图像数据和/或淋巴树图谱可以在外科手术过程 的计划阶段或外科手术阶段期间(诸如在诊断或治疗过程期间)显示给临床医 生并由其观察。例如，临床医生可以识别在随后的活检、消融、放射、切除、 外科手术或其它这种介入过程期间要访问的一个或多个关注的区域。临床医生 可以复查3D模型、射线照相图像数据和/或淋巴树图谱，以识别一个或多个结 构(诸如器官(例如，肝脏、肺、前列腺等))、淋巴结、病变部位和/或用于诊 断和/或采样的其它目标。然后，所述应用程序可以确定到所识别的结构的路径， 以帮助临床医生利用一个或多个外科手术工具通过患者的身体导航到如下面进一步描述的目标或解剖特征。导航可通过沿患者到身体形成的切口(例如，在 腹腔镜介入期间，参见图1)，通过患者的嘴和/或鼻(用于支气管介入)或可以 以将内窥镜引入患者到身体的任何其它已知方式进行。
在实施例中，可以生成手术中3D模型，并将其与手术前3D模型配准或关 联。在配准期间图像数据和手术前3D模型、射线照相图像数据和/或淋巴树图 谱的关联可以基于外科手术工具相对于手术前3D模型的已知位置，所述已知 位置是在获得手术中图像数据时识别的。然后可以更新和/或增强3D渲染和/ 或手术中3D模型、以及手术中3D模型与患者身体的关联。然后可以在随后的 诊断或治疗过程期间显示3D渲染、手术中3D模型、手术前3D模型和/或其融 合。EMN系统(诸如目前由Covidien LP销售的ElectrochromagneticNAVIGATION BRONCHOSCOPY(ENB)系统)、Medtronic PLC的一个分部被 认为引入了所描述的系统和方法。
图9绘示了适于实施用于执行治疗过程的方法的EMN系统700。如所示的 EMN系统700被用于对支撑在手术台702的患者执行一个或多个治疗过程。在 这点上，EMN系统700通常包括支气管镜704、监视装置706、EM跟踪系统 708、内窥镜200(图2)和计算设备400(图3)。
支气管镜704被配置用于通过患者的嘴和/或鼻子插入，以获得进入患者的 呼吸道。支气管镜704包括被配置用于选择性接合(例如，响应于由计算设备 400接收的信号)的光源和视频成像系统(两者都未明确示出)。支气管镜704 的视频成像系统包括至少一个光学传感器(诸如相机传感器)，其与监视装置 706(例如视频显示器)可操作地通信，用于显示从支气管镜704的视频成像系 统接收的视频图像。在实施例中，支气管镜704包括超声波传感器(未示出)。 支气管镜704可以结合导管引导组件710进行操作。导管引导组件710包括延 伸的工作通道(EWC)712，其被配置用于通过支气管镜704的工作通道插入 到患者的呼吸道中(尽管导管引导组件710也可以在没有支气管镜704的情况 下使用)。导管引导组件710进一步包括连接到EWC 712的手柄714，所述手 柄714被配置用于在外科手术过程期间进行操纵(例如，旋转、压缩等)，以转 向或引导EWC 712。在导管引导组件710的操作期间中，包括EM传感器718 (类似于EM传感器214，参见图2)的LG 716被插入到EWC 712中并且被锁 定就位，使得EM传感器718延伸超过EWC 712的远端部分720所期望的距离。 电磁传感器718的位置，以及扩展到由EM场发生器722生成的EM场内的EWC 712的远端部分720(其在实施例中可以具体地指代EWC 712的远端尖端)，可 以由电磁跟踪模块724和计算设备400导出。
EM跟踪系统708可以被配置用于与导管引导组件710一起使用以在EM 传感器718结合EWC712移动穿过患者的身体时跟踪所述EM传感器的位置。 在实施例中，EM跟踪系统708包括EM跟踪模块724、多个参考传感器726 和EM场发生器722。如图1所示，EM场发生器722被定位在患者下方。EM 场发生器722以及多个参考传感器726与EM跟踪模块724互连，所述EM跟 踪模块导出每个参考传感器726在六个自由度上的位置。一个或多个参考传感 器726被放置或附接到患者的胸部。将参考传感器726的六自由度坐标作为数 据发送到计算设备400，所述计算设备包括应用程序216，其中来自参考传感器 726的数据被用于计算患者坐标参考系。
尽管EM传感器718在上面被描述为包括在可定位的引导件(LG)716中， 但是还可以设想的是，EM传感器718可以被嵌入或并入在治疗工具(诸如支 气管内超声波(EBUS)工具(未示出)、消融工具728、或者内窥镜200(图1)、 以及诊断工具(诸如相机工具、光传感器、线性超声波工具等))内，其中治疗 工具可替代地用于导航而无需LG 716或LG 716所需的必要工具交换。EM传 感器718还可以被嵌入或并入在EWC 712(例诸如在EWC 712的远端部分) 内，由此使得能够跟踪EWC 712的远端部分而不需要单独的LG 716。根据实 施例，消融工具728和内窥镜200被配置为在随着导航到目标并移除LG 716 之后可插入到导管引导组件710中。EBUS包括至少一个配置为捕获超声波图 像的超声波传感器。超声波传感器可以被配置为使用各种频率和/或操作模式来 捕获超声波图像数据，如本领域技术人员已知的。操作的一个实例模式包括多 普勒。在实施例中，EBUS可以进一步包括活检工具(诸如针和/或刷)，其可以 被用于在外科手术过程期间从目标收集一个或多个组织样本。EBUS可以进一 步包括一个或多个可膨胀气囊，所述气囊可以被用于在超声波成像期间和/或在 执行活检过程时锁定EBUS的位置。在实施例中，EBUS被配置用于结合EM 跟踪系统708使用，以通过跟踪EM传感器718的位置并且通过扩展EBUS来 促进EBUS到目标的导航，在EBUS被导航通过患者的呼吸道是和/或在其相对 于目标的操纵期间。EBUS可以附加地耦合到超声波工作站(未示出)和/或计 算设备400，以促进由超声波传感器获取的超声波图像到捕获、处理和分析。 消融工具728被配置为与发生器730(诸如射频发生器或微波发生器)一起操 作，并且可以包括各种消融工具和/或导管中的任何一种。除了上述和/或并入的 文献中描述的工具之外，本领域技术人员将认识到到是，在不脱离本公开内容 的范围的情况下，可以类似地部署和跟踪其他工具，包括例如RF消融工具、 近距放射治疗工具和其它工具。
计算设备400包括用于促进EMN过程的各个阶段的硬件和/或软件(诸如 应用程序416)。例如，计算设备400利用来自CT扫描、锥束计算机断层摄影 (CBCT)扫描、磁共振成像(MRI)扫描、正电子发射断层摄影(PET)扫描、 X射线扫描和/或任何其它合适的成像模态获取的射线照相图像数据来生成和 显示患者到呼吸道的3D模型，(自动地、半自动地或手动地)识别在射线照相 图像数据和/或3D模型上的目标，并且允许确定和选择通过患者到呼吸道朝向 目标的通路。3D模型可以呈现在与计算设备400相关联的显示设备上，或者以 任何其它合适的方式呈现。
使用计算设备400，手术前3D模型的各种视图可以显示给临床医生并由临 床医生操纵，以促进在外科手术过程期间识别目标。如上所述，目标可以是解 剖特征(例如，肝脏、肺、前列腺等)、病变部位或淋巴结、进行治疗的外科手 术部位、和/或需要治疗的患者的肺的一部分、或整个叶、或多个叶的一个或多 个区域。手术前3D模型尤其可以包括与患者的实际解剖特征相对应的模型解 剖特征，并示出患者的解剖特征(例如，血管结构、血管结构、形状、组织等) 的各种元素。附加地，手术前3D模型可以包括病变部位、标记、血管和血管 结构、淋巴结和其它淋巴结构、器官、其它生理结构、和/或患者的肺的胸膜表 面和裂缝的3D渲染。可以选择性地显示上述元素中的一些或全部，使得临床 医生可以选择在观看3D模型时应该显示哪些元素。另外，如下所述，可以基 于手术前3D模型和/或在外科手术过程之前或期间生成的手术中3D模型来生 成一个或多个3D渲染。
在过程期间，在EM传感器718随着在EMN过程的计划阶段期间计划的 通路前进通过患者的身体(参见图7)时，EM传感器718结合EM跟踪系统 708使得能够跟踪EM传感器718(并且因此跟踪EWC 712、消融工具728或 内窥镜200的远端部分720)。作为所述过程的初始步骤，将3D模型与患者的 某些解剖特征(例如器官的范围、肺的支气管结构等)配准。一种潜在的配准 方法涉及将LG 716(或包括EM传感器718的另一工具)导航到患者身体的已 知区域中。在这个配准阶段期间，跟踪LG 716的位置，并且基于可定位引导件 在实际身体内的跟踪位置以及在某些情况下患者的解剖特征迭代更新3D模型。 虽然配准过程可以集中于将患者的实际呼吸道与3D模型的气呼吸道对准，但 是配准也可以集中于对准患者的实际器官并验证手术前3D模型的连续准确性。
在手术期间的各个时间处，EBUS可以获取患者到身体的各个部分的超声 波图像数据(例如解剖特征、病变部位、淋巴结和/或其它结构)。然后，计算 设备400可以基于超声波图像数据生成解剖特征、病变部位、淋巴结和/或其它 结构的成像部分的前述手术中3D模型和/或手术中3D图像数据。然后，在获 得超声波图像数据时(基于耦合到EBUS的EM传感器718)，计算设备400可 以基于EBUS的已知位置将手术中3D模型配准到手术前3D模型。
然后，计算设备400可以基于超声波图像数据和/或手术中3D图像数据来 更新和/或增强手术前3D模型和/或手术中3D模型。计算设备400可以进一步 更新和/或增强3D渲染到3D模型的配准。例如，超声波图像数据可以提供附 加的清晰度和/或识别在射线照相图像数据和/或3D模型中不可见的结构，并且 这种附加结构的位置可以用于改善手术前3D模型与患者身体的配准。然后， 计算设备400可以生成用于从生成3D渲染的一个或多个病变部位或淋巴结获 得的活检样本的计划。应当理解的是，可以根据关于图3A至3C描述的方法采 用图7描述的系统。
虽然本文已经描述了系统和方法的详细实施例，但是这些实施例仅仅是说 明本公开内容所公开的原理的实例。因此，本文公开的具体的结构和/或功能细 节不应被解释为限制性的，而仅仅是作为权利要求的基础和作为允许本领域技 术人员以适当的详细结构不同地使用本公开内容的代表性基础。虽然根据对诸 如患者的器官(例如，肝脏、肺等)的解剖特征进行成像来描述前述实施例， 但是本领域技术人员将认识到，可以使用相同或类似的系统和方法来对利用内 窥镜或其它类似尺寸的外科手术器械可触及的身体区域进行成像。并且，虽然 讨论了IR光的使用，但是应当理解的是，可以设想其它测距系统，例如雷达、 激光雷达、超声波传感器等。
虽然在附图中示出了本公开的几个实施例，但并不旨在将本公开内容限于 此，因为本公开旨在与本领域所允许的范围一样宽并且说明书应同样阅读。因 此，上述描述不应被解释为限制性的，而仅仅是特定实施例的示例。本领域技 术人员可在其所附权利要求的范围和精神范围内进行其它修改。

Claims (20)

1.一种在患者的身体内成像的方法，所述方法包含：
分析第一图像，所述第一图像包括由与内窥镜相关联的IR相机捕获的反射的IR光；
分析第二图像，所述第二图像包括由与所述内窥镜相关联的光学光相机捕获的反射的光学光；
将所述第一图像与所述第二图像相关联；以及
基于所述第一图像与所述第二图像的所述关联生成手术中3D图像。
2.根据权利要求1所述的方法，其中，将所述第一图像与所述第二图像相关联包括通过将所述第一图像的点平移到所述第二图像的相对应的点来将所述第一图像映射到所述第二图像。
3.根据权利要求1所述的方法，其进一步包含朝向所述患者的至少一个解剖特征投射多个IR光束。
4.根据权利要求3所述的方法，其中，所述多个IR光束以彼此间隔的关系朝向所述至少一个解剖特征投射。
5.根据权利要求3所述的方法，其中，朝向所述至少一个解剖特征投射的所述多个IR光束以网格图案投射。
6.根据权利要求1所述的方法，其进一步包含基于所述第一图像确定多个3D坐标。
7.根据权利要求6所述的方法，其中，进一步基于所述多个3D坐标生成手术中3D图像。
8.根据权利要求1所述的方法，其进一步包含在显示器上显示所述手术中3D图像。
9.一种用于在患者的身体内成像的系统，所述系统包含
内窥镜，所述内窥镜包含：
红外(IR)光源，其被配置为将多个IR光束投射到至少一个解剖特征上；
IR照相机，其被配置为捕获第一图像，所述第一图像包括所述多个IR光束的反射；
光学光源，其被配置为将光学光投射到所述至少一个解剖特征上；以及
光学相机，其被配置为捕获第二图像，所述第二图像包括由所述光学光源照明的所述至少一个解剖特征；以及
计算设备，其与内窥镜通信，所述计算设备具有处理器和上面存储有指令的存储器，所述指令在由所述处理器执行时使得所述计算设备：
将所述第一图像与所述第二图像相关联；
基于所述第一图像与所述第二图像的所述关联生成手术中3D图像；以及
显示所述手术中3D图像。
10.根据权利要求9所述的系统，其中，所述存储器上还存储有指令，所述指令在由所述处理器执行时使得所述计算设备：
通过将所述第一图像的点平移到所述第二图像的相对应的点来将所述第一图像映射到所述第二图像。
11.根据权利要求9所述的系统，其中，投射到所述至少一个解剖特征上的所述多个IR光束限定网格图案。
12.根据权利要求9所述的系统，其中，所述存储器上还存储有指令，所述指令在由所述处理器执行时使得所述计算设备：
基于所述第一图像确定多个3D坐标。
13.根据权利要求12所述的系统，其中，所述存储器上还存储有指令，所述指令在由所述处理器执行时使得所述计算设备：
基于所述第一图像与所述第二图像的所述关联且进一步基于所述多个3D坐标来生成所述手术中3D图像。
14.根据权利要求9所述的系统，其中，所述存储器上还存储有指令，所述指令在由所述处理器执行时使得所述计算设备：
将所生成的手术中3D图像与先前获取的手术前图像相关联。
15.根据权利要求14所述的系统，其中，所述存储器上还存储有指令，所述指令在由所述处理器执行时使得所述计算设备：
基于所述所生成的手术中3D图像与先前获取的手术前图像的所述关联来生成3D模型；以及
显示所述生成的3D模型。
16.一种利用程序进行编码的非暂时性计算机可读存储介质，所述程序在由处理器执行时使所述处理器：
将包括投射在其上的IR光的至少一个解剖特征的第一图像与所述至少一个解剖特征的第二图像相关联；
基于所述第一图像与所述第二图像的所述关联生成手术中3D图像；以及
将所述生成的手术中3D图像与先前获取的手术前图像相关联。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述程序在由所述处理器执行时进一步使得所述处理器：
基于所述生成的手术中3D图像与先前获取的手术前图像的所述关联来生成3D模型；以及
显示所述生成的3D模型。
18.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述程序在由所述处理器执行时进一步使得所述处理器：
通过将所述第一图像的点平移到所述第二图像的相对应的点来将所述第一图像映射到所述第二图像。
19.根据权利要求17所述的非暂时性计算机可读存储介质，其中，所述程序在由所述处理器执行时进一步使得所述处理器：
基于所述第一图像确定多个3D坐标。
20.根据权利要求19所述的非暂时性计算机可读存储介质，其中，所述程序在由所述处理器执行时进一步使得所述处理器：
基于所述第一图像与所述第二图像的所述关联并且进一步基于所述多个3D坐标来生成所述手术中3D图像。
CN201911278587.1A 2018-12-13 2019-12-13 用于对患者进行成像的系统和方法 Pending CN111317569A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862779229P 2018-12-13 2018-12-13
US201862779242P 2018-12-13 2018-12-13
US62/779,229 2018-12-13
US62/779,242 2018-12-13
US201862782683P 2018-12-20 2018-12-20
US62/782,683 2018-12-20
US16/682,801 2019-11-13
US16/682,801 US11172184B2 (en) 2018-12-13 2019-11-13 Systems and methods for imaging a patient

Publications (1)

Publication Number Publication Date
CN111317569A true CN111317569A (zh) 2020-06-23

Family

ID=68887253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911278587.1A Pending CN111317569A (zh) 2018-12-13 2019-12-13 用于对患者进行成像的系统和方法

Country Status (3)

Country Link
US (2) US11172184B2 (zh)
EP (1) EP3666218A1 (zh)
CN (1) CN111317569A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023115707A1 (zh) * 2021-12-21 2023-06-29 广东欧谱曼迪科技有限公司 一种双源内窥手术导航系统及方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054566A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 医療用観察システム、医療用観察装置及び医療用観察方法
US11172184B2 (en) * 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US20210052146A1 (en) * 2019-08-19 2021-02-25 Covidien Lp Systems and methods for selectively varying resolutions
WO2022066781A1 (en) * 2020-09-23 2022-03-31 Proprio, Inc. Endoscopic imaging systems for generating three‑dimensional images, and associated systems and methods
US11298047B1 (en) * 2020-10-06 2022-04-12 Asensus Surgical Us, Inc. Method for displaying relative position information of an endoscope image
WO2022146919A1 (en) * 2021-01-04 2022-07-07 Intuitive Surgical Operations, Inc. Systems for image-based registration and associated methods
EP4333682A1 (en) * 2021-05-06 2024-03-13 Covidien LP Endoscope navigation system with updating anatomy model
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
US20230068745A1 (en) * 2021-09-02 2023-03-02 Covidien Lp Real-time registration using near infrared fluorescence imaging
US20230097906A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical methods using multi-source imaging
US20240099805A1 (en) * 2022-09-26 2024-03-28 Medos International Sarl Method and apparatus for guiding a surgical access device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013163391A1 (en) * 2012-04-25 2013-10-31 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20140336461A1 (en) * 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
CN105979900A (zh) * 2014-02-04 2016-09-28 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
WO2017059860A1 (en) * 2015-10-09 2017-04-13 3Dintegrated Aps A depiction system
CN107260117A (zh) * 2016-03-31 2017-10-20 柯惠有限合伙公司 用于表面扫描的胸部内窥镜

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3928925A (en) 1969-07-15 1975-12-30 Jr Sylvester Parker Gay Method and means for producing stereoscopic contour maps
US5687737A (en) 1992-10-09 1997-11-18 Washington University Computerized three-dimensional cardiac mapping with interactive visual displays
US7559895B2 (en) 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
WO2003017745A2 (en) 2001-08-23 2003-03-06 Sciperio, Inc. Architecture tool and methods of use
US7756305B2 (en) 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
WO2004073501A2 (en) 2003-02-20 2004-09-02 Gutin Mikhail Optical coherence tomography with 3d coherence scanning
US7949385B2 (en) 2003-03-11 2011-05-24 Siemens Medical Solutions Usa, Inc. System and method for reconstruction of the human ear canal from optical coherence tomography scans
US7381183B2 (en) 2003-04-21 2008-06-03 Karl Storz Development Corp. Method for capturing and displaying endoscopic maps
CN1875242A (zh) 2003-10-27 2006-12-06 通用医疗公司 用于使用频域干涉测量法进行光学成像的方法和设备
US7901348B2 (en) 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
AU2006302057B2 (en) 2005-10-11 2013-03-21 Carnegie Mellon University Sensor guided catheter navigation system
EP2659851A3 (en) 2006-02-01 2014-01-15 The General Hospital Corporation Apparatus for applying a plurality of electro-magnetic radiations to a sample
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
CN104367300B (zh) 2007-01-19 2017-05-31 桑尼布鲁克健康科学中心 具有组合的超声和光学成像装置的成像探头
US8460195B2 (en) 2007-01-19 2013-06-11 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
WO2008137710A1 (en) 2007-05-03 2008-11-13 University Of Washington High resolution optical coherence tomography based imaging for intraluminal and interstitial use implemented with a reduced form factor
US8983580B2 (en) 2008-01-18 2015-03-17 The Board Of Trustees Of The University Of Illinois Low-coherence interferometry and optical coherence tomography for image-guided surgical treatment of solid tumors
EP2358278B1 (en) 2008-12-08 2021-05-12 Acist Medical Systems, Inc. System and catheter for image guidance and methods thereof
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
JP5535725B2 (ja) 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US8494794B2 (en) 2010-06-13 2013-07-23 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
WO2015029318A1 (ja) 2013-08-26 2015-03-05 パナソニックＩｐマネジメント株式会社 ３次元表示装置および３次元表示方法
JP6656148B2 (ja) 2013-10-24 2020-03-04 オーリス ヘルス インコーポレイテッド ロボット支援管腔内手術のためのシステムおよび関連する方法
KR102387096B1 (ko) 2014-03-28 2022-04-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 시계 내의 기기들의 정량적 3차원 시각화
EP3125806B1 (en) 2014-03-28 2023-06-14 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
KR20170038012A (ko) 2014-07-28 2017-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
WO2017079732A1 (en) 2015-11-07 2017-05-11 Ji-Xin Cheng An intraoperative optoacoustic guide apparatus and method
EP3413829B1 (en) * 2016-02-12 2024-05-22 Intuitive Surgical Operations, Inc. Systems of pose estimation and calibration of perspective imaging system in image guided surgery
JP6824078B2 (ja) 2017-03-16 2021-02-03 富士フイルム株式会社 内視鏡位置特定装置、方法およびプログラム
WO2018201155A1 (en) 2017-04-28 2018-11-01 The Brigham And Women's Hospital, Inc. Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment
US11896441B2 (en) 2018-05-03 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for measuring a distance using a stereoscopic endoscope
JP7023196B2 (ja) 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
US11457981B2 (en) 2018-10-04 2022-10-04 Acclarent, Inc. Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
US11172184B2 (en) * 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013163391A1 (en) * 2012-04-25 2013-10-31 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20140336461A1 (en) * 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
CN105979900A (zh) * 2014-02-04 2016-09-28 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
WO2017059860A1 (en) * 2015-10-09 2017-04-13 3Dintegrated Aps A depiction system
CN108289598A (zh) * 2015-10-09 2018-07-17 3D集成公司 描绘系统
CN107260117A (zh) * 2016-03-31 2017-10-20 柯惠有限合伙公司 用于表面扫描的胸部内窥镜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023115707A1 (zh) * 2021-12-21 2023-06-29 广东欧谱曼迪科技有限公司 一种双源内窥手术导航系统及方法

Also Published As

Publication number Publication date
EP3666218A1 (en) 2020-06-17
US20200195903A1 (en) 2020-06-18
US20220070428A1 (en) 2022-03-03
US11730562B2 (en) 2023-08-22
US11172184B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
US11730562B2 (en) Systems and methods for imaging a patient
US11622815B2 (en) Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
CN110741414B (zh) 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
US10238455B2 (en) Pathway planning for use with a navigation planning and procedure system
US20240050166A1 (en) Integration of multiple data sources for localization and navigation
US11737827B2 (en) Pathway planning for use with a navigation planning and procedure system
US20190247127A1 (en) 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
US11779192B2 (en) Medical image viewer control from surgeon's camera
CN111568544A (zh) 用于使医疗装置相对于目标的导航视觉化的系统和方法
US20210052240A1 (en) Systems and methods of fluoro-ct imaging for initial registration
EP3910591B1 (en) Mapping disease spread
CN111513844A (zh) 用于荧光镜确认病变中工具的系统和方法
US20190246946A1 (en) 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
CN115843232A (zh) 用于目标覆盖的缩放检测和荧光镜移动检测
EP3782529A1 (en) Systems and methods for selectively varying resolutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination