CN113950279B - 用于医疗成像的系统和方法 - Google Patents

用于医疗成像的系统和方法 Download PDF

Info

Publication number
CN113950279B
CN113950279B CN202080041975.2A CN202080041975A CN113950279B CN 113950279 B CN113950279 B CN 113950279B CN 202080041975 A CN202080041975 A CN 202080041975A CN 113950279 B CN113950279 B CN 113950279B
Authority
CN
China
Prior art keywords
optical
optical adapter
camera
image sensor
housing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080041975.2A
Other languages
English (en)
Other versions
CN113950279A (zh
Inventor
斯蒂芬·塔利
约翰·奥伯林
伊曼纽尔·德马约
利亚姆·奥谢
瓦西里·布哈林
托马斯·卡列夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecotifer Surgical Co
Original Assignee
Ecotifer Surgical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecotifer Surgical Co filed Critical Ecotifer Surgical Co
Publication of CN113950279A publication Critical patent/CN113950279A/zh
Application granted granted Critical
Publication of CN113950279B publication Critical patent/CN113950279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00105Constructional details of the endoscope body characterised by modular construction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00121Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00126Connectors, fasteners and adapters, e.g. on the endoscope handle optical, e.g. for light supply cables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00121Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00128Connectors, fasteners and adapters, e.g. on the endoscope handle mechanical, e.g. for tubes or pipes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本公开提供了用于医疗成像的系统和方法。该系统可以包括光学适配器。该光学适配器可以包括壳体,其包括(1)被配置为可释放地耦合到观测镜上的第一端部和(2)被配置为可释放地耦合到相机上的第二端部。该光学适配器可以包括耦合到壳体上的图像传感器。该光学适配器可以包括被布置在壳体中的光学组件。该光学组件可以被配置为(1)接收从受检者体内的目标部位反射并通过观测镜传输的光信号,以及(2)将光信号的第一部分反射到图像传感器上,同时允许光信号的第二部分传给相机。

Description

用于医疗成像的系统和方法
交叉引用
本申请要求提交于2019年4月8日、序列号为62/830,934的美国临时专利申请和提交于2019年12月23日、序列号为62/952,892的美国临时专利申请的优先权,其全部内容通过引用合并于此。
背景技术
医疗成像技术(例如,一种诸如内窥镜的观测镜组件)可用于在医疗或外科手术过程中捕获受检者或患者的内部解剖特征或生理特征的图像或视频数据。所捕获的图像或视频数据可被处理和操控以向医疗从业者(例如,外科医生、医疗操作员、技术员等)提供对患者或受检者的内部结构或内部处理的可视化。
由内窥镜所捕获的内部解剖特征或生理特征的图像或视频数据可能受到限制,从而经常无法提供组织表面下复杂的解剖结构或关键结构。这些图像或视频数据还可能无法实时显示目标部位的不可见特征,例如血液灌注、心输出量、肝功能等。因此,可能会对目标部位做出不完整或不正确的分析,这样是危险的,可能会在手术过程中导致意外的组织损伤。在一些情况下,至少2%的子宫切除术可能会导致手术并发症和意外伤害,这可能导致美国每年至少10亿美元的医疗保健费用。
可以结合使用其他诊断工具,例如基于荧光染料的血管造影术(例如,吲哚菁绿(ICG)血管造影术),以提供一些复杂解剖结构或关键结构的可视化。然而,ICG血管造影术在资源和时间上可能成本高昂(例如,ICG染料可能需要几分钟到24小时才能到达目标部位),准确度有限(例如,染料可能会在手术过程中消散到非目标部位),在某些患者中引发过敏反应,和/或缺乏实时可视化能力。此外,单独使用成像工具进行内窥镜检查和血管造影术可能会导致进一步的手术并发症,例如因为手术时间延长或污染机会增加。
发明内容
本公开至少解决了传统医疗成像系统的上述缺点。在一个方案中,本公开提供了一种光学适配器,其与一种或多种医疗成像技术(例如,观测镜组件)相兼容。在一些情况下,光学适配器可以允许可视化目标部位的附加特征或多个特征,而无需使用染料。
本公开的一方面提供了一种光学适配器,包括:壳体,其包括(1)第一端部,其被配置为可释放地耦合到观测镜(scope)上;和(2)第二端部,其被配置为可释放地耦合到相机上;图像传感器,其在所述壳体中;以及光学组件,其被布置所述壳体中,其中所述光学组件被配置为(i)接收从受检者体内的目标部位反射并通过观测镜传输的光信号,和(ii)将所述光信号的第一部分反射到图像传感器或相机中的一个上,同时允许所述光信号的第二部分传给图像传感器或相机中的另一个上。
在一些实施方式中,图像传感器可释放地耦合到壳体上。
在一些实施方式中,图像传感器被配置为从光信号的第一部分生成第一组成像数据,而相机被配置为从光信号的第二部分生成第二组成像数据。在一些实施方式中,第一组成像数据包括激光散斑图案(laser speckle pattern),而第二组成像数据包括照片或视频图像。
在一些实施方式中,图像传感器用于激光散斑成像。
在一些实施方式中,光学组件包括分束器。在一些实施方式中,分束器包括二向色镜。
在一些实施方式中,光学组件被配置为将光信号的第一部分反射到图像传感器上,同时允许光信号的第二部分传给相机。在一些实施方式中,光学组件包括短通二向色镜。
在一些实施方式中,光学组件被配置为将光信号的第一部分反射到相机上,同时允许光信号的第二部分传给图像传感器。在一些实施方式中,光学组件包括长通二向色镜。
在一些实施方式中,光信号的第一部分包括背向散射光,其在目标部位被经由观测镜传输的相干激光照射时生成。在一些实施方式中,相干激光由具有基本单一波长的单一激光源提供。在一些实施方式中,相干激光由具有多个不同波长的多个激光源提供。
在一些实施方式中,光信号的第二部分包括反射光,其在目标部位被经由观测镜传输的白光照射时生成。在一些实施方式中,单一波长处于不可见光谱中。在一些实施方式中,多个不同波长处于不可见光谱中。在一些实施方式中,反射光在可见光谱中。
在一些实施方式中,壳体的第一端部被配置为使用快速释放机构可释放地耦合到观测镜上。在一些实施方式中,快速释放机构被配置为将光学适配器可释放地耦合到各种类型的具有不同尺寸的观测镜上。在一些实施方式中,快速释放机构被配置为允许用户在不使用工具的情况下将壳体的第一端部可释放地耦合到观测镜上。在一些实施方式中,快速释放机构被配置为允许用户在小于30秒内将壳体的第一端部可释放地耦合到观测镜上。
在一些实施方式中,壳体的第二端部被配置为使用快速释放机构可释放地耦合到相机上。在一些实施方式中,快速释放机构被配置为将光学适配器可释放地耦合到各种类型的具有不同尺寸的相机上。在一些实施方式中,快速释放机构被配置为允许用户在不使用工具的情况下将壳体的第二端部可释放地耦合到相机上。在一些实施方式中,快速释放机构被配置为允许用户在小于30秒内将壳体的第二端部可释放地耦合到相机上。
在一些实施方式中,光学组件进一步包括用于图像传感器的聚焦器件。
在一些实施方式中,光学组件进一步包括(i)用于图像传感器的第一聚焦器件和(ii)用于相机的第二聚焦器件。在一些实施方式中,第一聚焦器件和第二聚焦器件彼此可操作地耦合,使得可以对图像传感器和相机同时进行聚焦。在一些实施方式中,第一聚焦器件和第二聚焦器件经由齿轮机构可操作地彼此耦合。在一些实施方式中,第一聚焦器件和第二聚焦器件被分开设置并且被配置为彼此独立使用。
在一些实施方式中,观测镜被配置为(1)接收来自照明源的组合光束和(2)将组合光束引导到受检者体内的目标部位上。
在一些实施方式中,第一端部和第二端部具有相同纵向轴线。在一些实施方式中,第一端部和第二端部被设置在壳体的相对侧上。
在一些实施方式中,第一端部和第二端部不具有相同纵向轴线。在一些实施方式中,第一端部和第二端部被设置在壳体的基本正交的侧面上。
在一些实施方式中,图像传感器和相机具有不同的光轴。
在一些实施方式中,图像传感器的光轴与相机的光轴正交。
在一些实施方式中,图像传感器被配置为可释放地耦合到壳体的表面上,且其中该表面与壳体的第一端部或第二端部基本正交。在一些实施方式中,图像传感器包括被配置为可释放地耦合到壳体的表面上的外壳。
在一些实施方式中,图像传感器是一次性的并且被配置为在医疗成像过程中单次使用。
在一些实施方式中,图像传感器被配置为可重复用于多个医疗成像过程。
本公开的另一方面提供了一种成像套件,包括:本文公开的任何一种受检者光学适配器;和照明源,其被配置为将组合光束传输至观测镜,以将组合光束引导到受检者体内的目标部位上。
本公开的另一方面提供了一种方法,包括:(a)将白光与相干激光组合以生成组合光束;(b)将组合光束提供给观测镜;(c)使用观测镜将组合光束引导到受检者体内的目标部位上;(d)经由观测镜接收从目标部位反射的光信号;以及(e)将光信号的第一部分反射到(i)光学适配器中的图像传感器或(ii)相机中的一个上,同时允许光信号的第二部分传给(i)图像传感器或(ii)相机中的另一个,其中光学适配器被配置为可释放地耦合到观测镜和相机上。
在一些实施方式中,光信号的第一部分被反射到图像传感器上,同时允许光信号的第二部分传给相机。
在一些实施方式中,光信号的第一部分被反射到相机上,同时允许光信号的第二部分传给图像传感器。
在一些实施方式中,光学适配器在可释放地耦合到观测镜和相机上时被布置在观测镜和相机之间。
在一些实施方式中,观测镜和相机可释放地耦合到光学适配器的正交侧上。
本公开的另一方面提供了一种方法,包括:(a)提供光学适配器,其包括壳体,其中图像传感器在壳体中;(b)可释放地将壳体的第一端部耦合到观测镜上;(c)可释放地将壳体的第二端部耦合到相机上;(d)提供组合光束给观测镜,其中组合光束包括与相干激光组合的白光;(e)使用观测镜将组合光束引导到受检者体内的目标部位上;(f)经由观测镜接收从目标部位反射的光信号;(g)将光信号的第一部分反射到图像传感器或相机中的一个上,同时允许光信号的第二部分传给图像传感器或相机中的另一个;以及(h)使用图像传感器从光信号的第一部分生成第一组成像数据,并且使用相机从光信号的第二部分生成第二组成像数据。
在一些实施方式中,光信号的第一部分被反射到图像传感器上,同时允许光信号的第二部分传给相机。
在一些实施方式中,光信号的第一部分被反射到相机上,同时允许光信号的第二部分传给图像传感器。
在一些实施方式中,第一组成像数据包括激光散斑图案。
在一些实施方式中,第二组成像数据包括照片或视频图像。
本公开的另一方面提供了一种非暂时性计算机可读介质,其包括机器可执行代码,在由一个或多个计算机处理器执行该代码时,实现上述或本文其他地方的任何方法。
本公开的另一方面提供了一种系统,其包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码,在由一个或多个计算机处理器执行该代码时,实现上述或本文其他地方的任何方法。
根据以下详细描述,本公开的其他方案和优点对于本领域技术人员将变得容易理解,其中仅示出和描述了本公开的说明性实施方式。应当理解,本公开能够有其他不同的实施方式,并且其若干细节能够在各种明显的方面进行修改,所有这些都不背离本公开。因此,附图和描述在本质上被认为是说明性的,而不是限制性的。
援引并入
本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文,如同每一个这些出版物、专利或专利申请均具体且分别表示通过引用并入本文一样。如果通过引用并入本文的出版物和专利或专利申请与说明书中包含的公开内容相矛盾,则说明书旨在取代和/或优先于任何此类相互矛盾材料。
附图说明
本发明的新颖特征会在所附权利要求书中具体阐述。通过参考以下阐述了利用本发明原理的说明性实施方式的详细描述,将更好地理解本发明的特征和优点,且在附图(在此也称为“示图”和“图”)中:
图1A示意性地图示了根据一些实施方式的用于医疗成像的系统。
图1B示意性地图示了根据一些实施方式的观测镜组件。
图2A、图2B、图2C和图2D示意性地图示了根据一些实施方式的可操作地耦合到观测镜组件上的光学适配器的示例。
图3A、图3B和图3C示意性地图示了受检者光学适配器和观测镜装置的示例生态系统。
图4示意性地图示了根据一些实施方式的用于医疗成像的方法的示例流程图。
图5示意性地图示了根据一些实施方式的用于医疗成像的方法的一不同示例流程图。
图6示意性地图示了根据一些实施方式的用于医疗成像的方法的另一不同示例流程图。
图7A、图7B、图7C和图7D图示了根据一些实施方式的用于医疗成像的受检者系统和现有的基于染料的血管造影术装置分别获得的组织部位的比较图像。
图8A、图8B、图8C和图8D图示了基于现有外科手术过程的方法和根据一些实施方式的用于医疗成像的受检者系统的方法的比较。
图9和图10示意性地图示了可操作地耦合到根据一些实施方式的用于医疗成像的受检者系统的机器学习算法。
图11示意性地图示了被编程或以其他方式被配置为实现本文提供的方法的计算机系统。
图12图示了根据一个或多个实施方式的示例性成像系统。
图13图示了图12的根据一些实施方式的成像系统的简化框图。
图14A、图14B和图14C图示了示例性标准RGB手术图像、根据一些实施方式的激光散斑对比图像和叠加在标准图像上的激光散斑对比图像的屏幕截图。
图15图示了根据一些实施方式的用于深度和激光散斑成像的示例性相机的简化框图。
图16图示了根据一些实施方式的用于高光谱、深度和激光散斑成像示例性相机的简化框图。
图17图示了可以与本文公开的医疗成像系统结合使用的示例性计算机节点的简化框图。
具体实施方式
尽管这里已经示出和描述了本发明的各种实施方式,但是对于本领域技术人员来说,容易理解地是,这些实施方式是仅作为示例来提供。在不偏离本发明的情况下,本领域技术人员可以想到多种变型例、变化例和替换例。应当理解,可以采用本文中描述的本发明实施方式的各种替代方案。
当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前时,术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如,大于或等于1、2或3相当于大于或等于1、大于或等于2,或大于或等于3。
当术语“不大于”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值之前时,术语“不大于”、“小于”或“小于或等于”适用于该系列数值中的每个数值。例如,小于或等于3、2或1相当于小于或等于3、小于或等于2,或小于或等于1。
如本文所用术语“灌注”通常是指液体通过循环系统或淋巴系统到达器官或组织。在示例中,灌注可以指在动脉或毛细血管水平输送血液,其中在血液和组织之间发生氧气和/或营养物质的交换。在一些情况下,灌注参数可以包括液体的流速、存在于或横穿目标组织部位的液体的体积、目标组织部位处液体的流动通道的模式,或其组合。在一些情况下,在一个或多个成像处理过程中,灌注所关注的液体可以是增加液体、减少液体或保持基本不变。在一些情况下,灌注液体的流速或体积的任何变化都可能指示在目标组织部位上游、下游或基本上在目标组织部位处发生的(i)一个或多个生物学事件或(ii)一个或多个手术事件。量化时,灌注可以按照以下参数:血液输送到组织的速率,或每单位组织质量每单位时间(血流量)的血液体积,单位为立方米/秒/千克(m3/s/kg)或毫升/分钟/克(mL/min/g)来被测定。灌注程度可能指示一种或多种健康状况,例如心血管疾病,诸如冠状动脉疾病、脑血管疾病、外周动脉疾病等。
在本文中可互换使用的术语“实时”或“即时”通常指的是使用最近获得(例如,收集或接收)数据来执行的事件(例如,操作、处理、方法、技术、计算、推算、分析、可视化、最优化)。在一些情况下,实时事件可以几乎立即执行或在足够短的时间间隔内执行,诸如在至少0.0001毫秒(ms)、0.0005ms、0.001ms、0.005ms、0.01ms、0.05ms、0.1ms、0.5ms、1ms、5ms、0.01s、0.05s、0.1s、0.5s、1s或更长时间内。在一些情况下,实时事件可以几乎立即执行或在足够短的时间间隔内执行,诸如在至多1s、0.5s、0.1s、0.05s、0.01s、5ms、1ms、0.5ms、0.1ms、0.05ms、0.01ms、0.005ms、0.001ms、0.0005ms、0.0001ms或更少时间内。
本文认识到目前可用的医疗成像系统存在各种限制。常规医疗成像系统(例如,诸如内窥镜的观测镜)可以使用单一光信号(例如,白光)来可视化受检者内的目标部位(例如,内部部分)。这种可视化可能仅限于目标部位(例如,所关注组织)的表面的二维显示。在一些情况下,常规医疗过程可以采用附加成像技术或设置来可视化目标部位的附加特征,例如内部处理,诸如灌注(例如,血流量)。在一个示例中,一种或多种染料(例如,ICG染料)可以与内窥镜结合使用来可视化血流量。在另一示例中,可以使用单独的激光散斑成像设置来可视化目标部位的附加特征,例如血流量。然而,附加成像技术或设置可能(i)限制操作人员可视化附加特征变化的时间范围和/或(ii)需要附加人员(例如,技术人员或执业医师)在现场管理部件和处理过程。
本公开的光学适配器可以允许可视化目标部位中、目标部位附近和/或目标部位表面下方的结构或特征(例如,血流量),这些结构或特征通常是人眼或其他观测镜组件无法看见的。本公开的光学适配器可以允许可视化一个或多个解剖结构和/或生理特征或功能。本公开的光学适配器可以用于受检者体内的各种结构、特征和/或功能的生理性、病理性、形态学上和/或解剖学上的可视化。本公开的光学适配器可以使其不可见、可见。本公开的光学适配器可以帮助可视化不可见物。光学适配器作为带着现有观测镜组件(例如,带着现成相机的内窥镜)的单一配置,可以实现多种不同的成像模态。例如,光学适配器可以在单一配置中具备散斑成像能力以及提供照片和/或视频。在这种情况下,光学适配器可以允许用户在不同的可视化模式之间切换,例如,(i)仅基于白光的视频,(ii)仅激光散斑成像,以及(iii)基于白光的视频和激光散斑成像。
与来自基于染料的血管造影术的灌注数据的延迟可视化相比,本公开的光学适配器可以允许基本上实时地可视化所关注的组织部位处的灌注(例如,血液灌注)。在一个示例中,即时事件可以包括组织部位处的血液灌注的可视化,在可视化中指示血液灌注的数据集(例如,一个或多个光信号)由工具(例如,图像传感器)捕获,然后将数据传输到显示器以供用户可视化。在另一示例中,即时事件可以包括将指示组织部位的不同特征的两个不同数据集相组合以在显示器上同时可视化。
通过提高现有医疗成像设备的灵活性和应用性,本公开的光学适配器在医疗保健环境中可以不需要或不引起昂贵的资本设备升级。通过替换现有的基于染料的成像系统,本公开的光学适配器可以减少手术室占地面积。
本公开的光学适配器可以用于多种医学应用,例如普通外科手术、神经外科手术、整形外科手术和脊柱手术。本公开的光学适配器可以适用于各种基于内窥镜的手术,包括但不限于,胆囊切除术(例如,每年1,200,000次手术)、子宫切除术(例如,每年575,000次手术)、甲状腺切除术(例如,每年150,500次手术)和胃切除术(例如,每年225,000次手术)。
在一个方案中,本公开提供了一种用于医疗成像的光学适配器。该光学适配器可以被配置为可操作地耦合到用于医疗成像的观测镜组件上。该光学适配器可以增强观测镜组件的一种或多种功能(例如,成像功能)。该光学适配器可以将一种或多种附加功能(例如,成像功能)引入到观测镜组件中。该光学适配器可以允许用户(例如,诸如医生的执业医师、执业护士、护士、成像专家等)以任何传统的观测镜组件单独无法做到的一种或多种方式来可视化和/或分析受检者的目标部位,例如患者的内部组织。
光学适配器(或至少光学适配器的一部分)可以重复使用,并且可以与不同的观测镜组件互换。在一些情况下,光学适配器可以允许来自第一观测镜组件的观测镜可操作地耦合到不同观测镜组件的相机上,从而使现有观测镜组件的成像模态进一步多样化。
观测镜组件可以被配置为可视化受检者的组织(例如,皮肤或内部器官)的外表面和/或内表面。观测镜组件可以用来(i)检查(例如,目视检查)受检者的组织和(ii)诊断和/或协助医疗干预(例如,治疗,诸如手术)。在一些情况下,观测镜组件可以是内窥镜。内窥镜的示例可以包括但不限于膀胱镜(膀胱)、肾镜(肾)、支气管镜(支气管)、关节镜(关节)和结肠镜(结肠),以及腹腔镜(腹部或骨盆)。
光学适配器可以被配置为可操作地耦合到至少1、2、3、4、5或更多个的观测镜组件上。光学适配器可被配置为可操作地耦合到至多5、4、3、2或1个观测镜组件上。光学适配器可以是一次性的并且被配置为在医疗成像过程中单次使用。替代地,光学适配器可以被配置为可重复用于多个医疗成像过程。多个医疗成像过程可以针对同一受检者(例如,同一患者)或针对多个不同受检者。光学适配器可重复使用至少2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100、200、300、400、500、1,000或更多次医疗成像过程。光学适配器可重复使用至多1,000、500、400、300、200、100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3或2次医疗成像过程。在一些情况下,光学适配器可以进行高压灭菌,以便后续无菌使用。
光学适配器可以被配置为从受检者的目标部位接收一个或多个光信号。光学适配器可以被配置为从目标部位接收至少1、2、3、4、5、6、7、8、9、10或更多个光信号。光学适配器可以被配置为从目标部位接收至多10、9、8、7、6、5、4、3、2或1个光信号。在目标部位一暴露于或照射到光束时就可以从目标部位反射或发射一个或多个光信号。在一些示例中,目标部位的天然组织或引入目标部位的一种或多种染料可负责反射或发射一种或多种光信号。替代地或此外,在不暴露于任何光束的情况下,目标部位可以发射一个或多个光信号。在一个示例中,目标部位可以发射至少一部分电磁光谱,例如红外辐射。
由目标部位发射的红外辐射可以从可见光谱中约700纳米(nm)波长处的红边到约1毫米(mm)波长处的红边的范围,这大致相当于频率从约430太赫兹(THz)到约300千兆赫兹(GHz)的范围。红外光谱内的区域可以包括,例如,近红外(NIR)、短波红外(SWIR)、中波红外(MWIR)、中红外(IIR)、长波红外(LWIR)和远红外(FIR)。近红外信号可以从波长约0.7微米(μm)到约1.4μm的范围,这大致相当于频率从约214THz到约400THz的范围。长波红外可以从波长约8μm到约15μm的范围,这大致相当于频率从约20THz到约37THz的范围。
光束可以包括来自单一光源的单一光束。替代地,光束可以是包括多个光束的组合光束。在一些情况下,多个光束可以从相同方向被引导到目标部位上。替代地,多个光束可以从不同方向被引导到目标部位上。在一些情况下,多个光束可以包括(i)白光和(ii)一个或多个激光束。可以从单一光源或多个光源引导出多个光束。一个或多个激光束可以包括至少1、2、3、4、5、6、7、8、9、10或更多个激光束。一个或多个激光束可以包括至多10、9、8、7、6、5、4、3、2或1个激光束。
可以基于对组织部位的期望穿透深度来选择不同波长的激光束。替代地或此外,可以基于存在于或预期存在于组织部位处的所关注的组合物(例如,一种或多种分子、化合物或化学品)来选择不同波长的激光束。在一个示例中,可以选择具有第一波长的第一激光束来检测含氧血液,而可以选择具有第二波长的第二激光束来检测脱氧血液。本文提供的受检者系统和方法的用户可以根据组织部位的这样的参数来选择一个或多个所关注的激光波长。
观测镜组件可以包括观测镜和相机。观测镜和相机可以可操作地(例如,电子地或机械地)彼此耦合。观测镜和相机可以可释放地彼此耦合。观测镜可以被配置为(1)接收来自照明源的光束和(2)将光束引导到受检者身体的目标部位上。在一些情况下,观测镜可以被配置为(1)接收来自照明源的组合光束和(2)将组合光束引导到受检者体内的目标部位上。
光学适配器可以包括壳体,其包括第一端部和第二端部。第一端部可以被配置为耦合到观测镜组件的观测镜上。第二端部可以被配置为耦合到观测镜组件的相机上。任一个本公开的受检者耦合器都可以采用一个或多个耦合机构,例如,诸如磁铁(例如,电磁铁或永磁铁)、机械系绳(例如,细绳或纤维系绳)、粘合剂(例如,固体、半固体、凝胶、粘性液体等)、内外螺纹紧固件(例如,配合紧固件或互锁紧固件、钩和孔、诸如VelcroTM的钩和环、拧到外螺纹螺栓上的内螺纹螺母、插入LEGO块中内螺纹凹槽的外螺纹凸出物、安装在管道内内螺纹弯头中的外螺纹管、插入内螺纹USB插座的外螺纹通用串行总线(USB)插头等)、旋装式耦合器(例如,带或不带同轴连接器)、弹性耦合器、齿轮耦合器、流体动力耦合器和其他抓握机构,诸如相对于彼此可操作地抓住两个或多个部件的机械臂。在一些情况下,(i)壳体的第一端部和观测镜之间的耦合器和/或(ii)壳体的第二端部和相机之间的耦合器都可以是可换向的或不可换向的。在一些示例中,耦合器可以是可释放的耦合器。
在一些情况下,壳体的第一端部可以被配置为使用快速释放机构(例如,卡扣、闩锁等)可释放地耦合到观测镜上。快速释放机构可以被配置为将光学适配器可释放地耦合到各种类型的具有不同尺寸的观测镜上。在一个示例中,第一端部可以包括具有各种尺寸(例如,不同径向尺寸)的不同截面,其被配置为可释放地耦合到具有不同尺寸的不同观测镜上。在另一示例中,第一端部可以包括具有可调孔径的可调孔径机构以适应具有不同尺寸的不同观测镜。快速释放机构可以被配置为响应于快速释放机构的一次或多次移动,诸如快速释放机构的单次、非重复移动(例如,横向的或旋转的移动),而在锁定位置(即,耦合位置)和释放位置(即,非耦合位置)之间快速移动。快速释放机构可以被配置为响应于经由开关(例如,被布置在光学适配器或观测镜上的机械开关)发出的用户指令而在锁定位置和释放位置之间快速移动。
快速释放机构可以被配置为允许用户在不使用工具的情况下将壳体的第一端部可释放地耦合到观测镜上。替代地,快速释放机构可以被配置为允许用户使用一个或多个可操作地被耦合到快速释放机构上的工具(例如,一个或多个键)以激活释放快速释放机构来将壳体的第一端部可释放地耦合到观测镜上。快速释放机构可以被配置为允许用户在小于60秒内将壳体的第一端部可释放地耦合到观测镜上。快速释放机构可以被配置为允许用户在小于60秒、55秒、50秒、45秒、40秒、35秒、30秒、25秒、20秒、15秒、10秒、5秒或更短的时间内将壳体的第一端部可释放地耦合到观测镜上。
在一些情况下,壳体的第一端部和观测镜之间的耦合器可以不采用快速释放机构。在一些情况下,观测镜可以拧到壳体的第一端部上,从而防止从壳体的第一端部快速释放观测镜。在一个示例中,壳体的第一端部的耦合表面可能基本上模仿相机的耦合表面的结构,其中相机的耦合表面最初被配置为耦合到观测镜上。
在一些情况下,壳体的第二端部可以被配置为使用快速释放机构(例如,卡扣、闩锁等)可释放地耦合到观测镜组件的相机上。快速释放机构可以被配置为将光学适配器可释放地耦合到各种类型的具有不同尺寸的相机上。在一个示例中,第二端部可以包括具有各种尺寸(例如,不同径向尺寸)的不同截面,其被配置为可释放地耦合到具有不同尺寸的不同相机上。在另一示例中,第二端部可以包括具有可调孔径的可调孔径机构以适应具有不同尺寸的不同相机。快速释放机构可以被配置为响应于快速释放机构的一次或多次移动,诸如快速释放机构的单次、非重复移动(例如,横向的或旋转的移动),而在锁定位置(即,耦合位置)和释放位置(即,非耦合位置)之间快速移动。快速释放机构可以被配置为响应于经由开关(例如,被布置在光学适配器或相机上的机械开关)发出的用户指令而在锁定位置和释放位置之间快速移动。
快速释放机构可以允许两个构件的精准耦合,诸如(i)壳体的第一端部和观测镜或(ii)壳体的第二端部和相机。精准耦合可以提供两个构件之间的最佳光线路径。精准耦合可以在小于约20μm的精度内实现。在一些情况下,精准耦合可以在至多约100μm、90μm、80μm、70μm、60μm、50μm、40μm、30μm、20μm、10μm、9μm、8μm、7μm、6μm、5μm、4μm、3μm、2μm、1μm、900nm、800nm、700nm、600nm、500nm、400nm、300nm、200nm、100nm、50nm或更小的精度内实现。
快速释放机构可以被配置为允许用户在不使用工具的情况下将壳体的第二端部可释放地耦合到相机上。替代地,快速释放机构可以被配置为允许用户使用一个或多个可操作地被耦合到快速释放机构上的工具(例如,一个或多个键)以激活释放快速释放机构来将壳体的第二端部可释放地耦合到相机上。快速释放机构可以被配置为允许用户在小于60秒内将壳体的第二端部可释放地耦合到相机上。快速释放机构可以被配置为允许用户在小于60秒、55秒、50秒、45秒、40秒、35秒、30秒、25秒、20秒、15秒、10秒、5秒或更短的时间内将壳体的第二端部可释放地耦合到相机上。
在一些情况下,壳体的第二端部和相机之间的耦合器可以不采用快速释放机构。在一些情况下,相机可以拧到壳体的第二端部上,从而防止从壳体的第二端部快速释放相机。在一个示例中,壳体的第二端部的耦合表面可能基本上模仿观测镜的耦合表面的结构,其中观测镜的耦合表面最初被配置为耦合到相机上。
根据具体应用和/或执业医师的偏好,壳体可以包括一种或多种适合医疗应用的生物可接受和/或相容的材料。例如,壳体的部件可以包括以下材料或由以下材料制成,诸如:聚氯乙烯、聚偏二氯乙烯、低密度聚乙烯、线性低密度聚乙烯、聚异丁烯、聚(乙烯-醋酸乙烯酯)共聚物、轻质铝箔及其组合、不锈钢合金、商用纯钛、钛合金、银合金、铜合金、5级钛、超弹性钛合金、钴铬合金、不锈钢合金、超弹性金属合金(例如,镍钛诺、超弹塑性金属(诸如由日本丰田材料公司制造的GUM
Figure BDA0003396077830000151
))、陶瓷及其复合材料(诸如磷酸钙,(例如,由Biologix Inc.制造的SKELITETM))、热塑性塑料(诸如包括聚醚醚酮(PEEK)、聚醚酮酮(PEKK)和聚醚酮(PEK)的聚芳醚酮(PAEK))、碳-PEEK复合材料、PEEK-BaS04聚合物橡胶、聚对苯二甲酸乙二醇酯(PET)、织物、有机硅、聚氨酯、有机硅-聚氨酯共聚物、聚合橡胶、聚烯烃橡胶、水凝胶、半刚性和刚性材料、弹性体、橡胶、热塑性弹性体、热固性弹性体、弹性复合材料、刚性聚合物(包括聚苯、聚酰胺、聚酰亚胺、聚醚酰亚胺、聚乙烯、环氧树脂、玻璃及其组合)。
壳体的至少一部分可以是不透明的、半透明的或透明的。在一些情况下,壳体可以是不透明的并且被配置为阻挡任何外部光(i)通过壳体进入壳体内的一个或多个部件中和(ii)干扰由光学适配器接收的来自受检者目标部位的一个或多个光信号。
光学适配器的壳体内的压力可以与环境压力(例如,大气压力)大致相同。替代地,壳体内的压力可以被控制(或调节,例如手动地或自动地),使得壳体的内部压力低于或高于环境压力。光学适配器的壳体内的温度可以与环境温度(例如,室温)大致相同。替代地,壳体内的温度可以被控制(或调节,例如手动地或自动地),使得壳体的内部温度低于或高于环境温度。光学适配器的壳体内的湿度可以与环境湿度大致相同。替代地,壳体内的湿度可以被控制(或调节,例如,手动地或自动地),使得壳体的内部湿度低于或高于环境湿度。在一些示例中,可以调节光学适配器的压力、温度和/或湿度以实现光学适配器的最佳功能。
壳体的第一端部和观测镜可以直接彼此耦合。替代地,壳体的第一端部和观测镜可以经由一个或多个耦合装置可操作地彼此耦合。壳体的第二端部和相机可以直接彼此耦合。替代地,壳体的第二端部和相机可以经由一个或多个耦合装置(例如,耦合环)可操作地彼此耦合。在一些情况下,耦合装置的第一端部可以被配置为耦合(例如,可释放地耦合)到观测镜上,并且耦合装置的第二端部可以被配置为耦合(例如,可释放地耦合)到壳体的第一端部上。在一些情况下,耦合装置的第一端部可以被配置为耦合(例如,可释放地耦合)到相机上,并且耦合装置的第二端部可以被配置为耦合(例如,可释放地耦合)到壳体的第二端部。
壳体的第一端部和第二端部可以具有相同纵向轴线。在一些情况下,第一端部和第二端部可以被设置在壳体的相对侧上。在这种情况下,一旦光学适配器可操作地耦合到观测镜组件上时,观测镜和观测镜组件的相机就可以被布置在光学适配器的壳体的相对侧上。替代地,壳体的第一端部和第二端部可以不具有相同纵向轴线。在这种情况下,第一端部和第二端部可以被设置在壳体的正交侧上。
光学适配器可以包括一个或多个传感器。光学适配器可以包括至少1、2、3、4、5或更多个传感器。光学传感器可以包括至多5、4、3、2或1个传感器。一个或多个传感器的示例可以包括但不限于:压力传感器、温度传感器、光学传感器(例如,图像传感器)、气体成分传感器、膜片或隔膜传感器、薄膜传感器、电阻或电容传感器,或其他类型的传感器件。一个或多个传感器可以固定地耦合到光学适配器上,或者替代地,从光学适配器上可移除。
在一些情况下,光学适配器可以包括图像传感器。图像传感器可以是光学适配器的一部分。图像传感器可以固定地耦合到光学适配器上,或者替代地,从光学适配器上可移除。在一个示例中,图像传感器可以被配置为可释放地耦合到光学适配器的壳体上。图像传感器可以被配置为可释放地耦合到壳体的表面上,并且该表面可以与壳体的第一端部和/或第二端部基本正交。在这种情况下,图像传感器可以包括外壳,其被配置为可释放地耦合到壳体的表面上。替代地,该表面可以不与壳体的第一端部和/或第二端部基本正交。图像传感器可以使用一个或多个上述耦合机构来耦合(例如,可释放地耦合)到壳体上。
图像传感器可以是一次性的并且被配置为在医疗成像过程中单次使用。替代地,图像传感器可以被配置为可重复用于多个医疗成像过程。多个医疗成像过程可以针对同一受检者(例如,同一患者)或针对多个不同受检者。图像传感器可重复使用至少2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100、200、300、400、500、1,000或更多次医疗成像过程。图像传感器可重复使用至多1,000、500、400、300、200、100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3或2次医疗成像过程。在一些情况下,图像传感器可以进行高压灭菌,以便后续无菌使用
图像传感器可以被配置为接收来自受检者的目标部位的光信号以供对受检者的目标部位进行分析和/或可视化。可以从目标部位反射或发射这种光信号。图像传感器可以被配置为检测来自目标部位的光信号并且变换所检测到的光信号以生成指示目标组织的图像。所生成的图像可以是一维的或多维的(例如,二维、三维等)。替代地,图像传感器可以可操作地耦合到处理器上。在这种情况下,图像传感器可以被配置为检测来自目标部位的光信号并将所检测到的光信号转换为数字信号。图像传感器可以进一步被配置为将数字信号传送给能够生成指示目标组织的图像的处理器。
图像传感器的示例可以包括但不限于:电荷耦合器件(CCD)、金属氧化物半导体(MOS)(例如,互补MOS,即CMOS),及其变型体、及其功能变体,和及其变型体。光学适配器可以包括至少1、2、3、4、5或更多个图像传感器。光学适配器可以包括至多5、4、3、2或1个图像传感器。
根据具体应用和/或执业医师的偏好,图像传感器的外壳可以包括一种或多种适合医疗应用的生物可接受和/或相容的材料。例如,外壳的部件可以包括以下材料或由以下材料制成,诸如:聚氯乙烯、聚偏二氯乙烯、低密度聚乙烯、线性低密度聚乙烯、聚异丁烯、聚(乙烯-醋酸乙烯酯)共聚物、轻质铝箔及其组合、不锈钢合金、商用纯钛、钛合金、银合金、铜合金、5级钛、超弹性钛合金、钴铬合金、不锈钢合金、超弹性金属合金(例如,镍钛诺、超弹塑性金属(诸如由日本丰田材料公司制造的GUM
Figure BDA0003396077830000181
))、陶瓷及其复合材料(诸如磷酸钙,(例如,由Biologix Inc.制造的SKELITETM))、热塑性塑料(诸如包括聚醚醚酮(PEEK)、聚醚酮酮(PEKK)和聚醚酮(PEK)的聚芳醚酮(PAEK))、碳-PEEK复合材料、PEEK-BaS04聚合物橡胶、聚对苯二甲酸乙二醇酯(PET)、织物、有机硅、聚氨酯、有机硅-聚氨酯共聚物、聚合橡胶、聚烯烃橡胶、水凝胶、半刚性和刚性材料、弹性体、橡胶、热塑性弹性体、热固性弹性体、弹性复合材料、刚性聚合物(包括聚苯、聚酰胺、聚酰亚胺、聚醚酰亚胺、聚乙烯、环氧树脂、玻璃及其组合)。光学适配器的壳体和图像传感器的外壳可以由相同或不同的材料构成。
外壳的至少一部分可以是不透明的、半透明的或透明的。在一些情况下,外壳可以是不透明的并且被配置为阻挡任何外部光(i)通过外壳进入外壳内的一个或多个部件(例如,图像传感器的成像传感机构,诸如CCD或CMOS)中和(ii)干扰从受检者目标部位被引导到图像传感器上的一个或多个光信号。
图像传感器和相机可以具有不同的光轴。图像传感器的光轴和相机的光轴可以至少1度、2度、3度、4度、5度、6度、7度、8度、9度、10度、20度、30度,40度、50度、60度、70度、80度、90度,或者更大的角度来相交。图像传感器的光轴和相机的光轴可以至多90度、80度、70度、60度、50度、40度、30度、20度、10度、9度、8度、7度、6度、5度、4度、3度、2度、1度或更小的角度来相交。在一个示例中,图像传感器的光轴可以与相机的光轴正交。替代地,图像传感器和相机可以具有平行但不同的纵向光轴。
光学适配器可以包括布置在壳体中的光学组件。光学组件可以被配置为接收来自目标部位并通过观测镜传输的光信号。在一个示例中,可以从受检者体内的目标部位反射出光信号。光学组件可以进一步被配置为将光信号的第一部分反射到图像传感器和相机中的一个上,同时允许光信号的第二部分传给图像传感器和相机中的另一个上。在一个示例中,光学组件(例如,包括短通二向色镜)可以被配置为将光信号的第一部分反射到图像传感器上,同时允许光信号的第二部分传给相机。在另一示例中,光学组件(例如,包括长通二向色镜)可以被配置为将光信号的第一部分反射到相机上,同时允许光信号的第二部分传给图像传感器。
光信号的第一部分可以包括在用激光(例如,相干激光)照射目标部位时生成的偏转光(例如,背向散射光)。在一些情况下,相干激光可以经由观测镜组件的观测镜传输到目标部位上。相干激光可以由被配置为发射具有单一波长的相干激光的单一激光源来提供。单一激光源的非限制性示例可以包括单模激光器、带着体全息光栅(VHG)的激光二极管,或带着激光滤光片(例如,用于窄带通)的激光器。相干激光可以由具有多个不同波长的多个激光源提供。多个不同波长可以位于不可见光谱中。不可见光谱可以包括(i)大于约700nm和/或(ii)小于约400nm的波长。在一些情况下,不可见光谱可以包括(i)大于约770nm和/或(ii)小于约390nm的波长。光信号的第二部分可以包括在用不同的光(例如,白光)照射目标部位时生成的反射光。在一些情况下,不同的光可以是包括可见光谱中的多个波长(包括约400nm与约700nm之间的波长)的白光。在一些情况下,白光可以经由观测镜传输到目标部位上。在一些示例中,观测镜可以包括多个光线路径以彼此分别引导相干激光和白光。在一些示例中,观测镜可以包括单一光线路径以引导包括相干激光和白光的组合光。
在一些情况下,光学组件可以包括分束器。分束器可以被配置为接收来自目标部位的光信号并且(i)将处于第一电磁光谱范围内的光信号的第一部分反射到图像传感器上,并且(ii)允许在第二电磁光谱范围内的光信号的第二部分传给观测镜组件的相机。替代地,分束器可以被配置为接收来自目标部位的光信号并且(i)将处于第二电磁光谱范围内的光信号的第二部分反射到观测镜组件的相机上,且(ii)允许在第一电磁光谱范围内的光信号的第一部分传给图像传感器。分束器的示例可包括但不限于:半反射镜、二向色分束器(例如,短通或长通二向色镜)或多波段分束器。在一个示例中,分束器可以是包括彼此相邻布置的两个棱镜(例如,两个三角形玻璃棱镜)的立方体。
第一电磁光谱范围和第二电磁光谱范围可以不同。在一些情况下,光信号的第一部分可以包括来自不可见电磁光谱的一个或多个波长。不可见电磁光谱可以包括从约700nm(或0.7μm)到约1mm(或1000μm)的一个或多个波长。替代地或此外,不可见电磁光谱可以包括低于400nm的一个或多个波长。在一些情况下,光信号的第二部分可以包括来自可见电磁光谱的一个或多个波长,范围从约400nm(或0.4μm)到约700nm(或0.7μm)。
光信号的第一部分可以包括从约0.7μm到约1,000μm的一个或多个波长。光信号的第一部分可以包括至少约0.7μm的一个或多个波长。光信号的第一部分可以包括至多约1,000μm的一个或多个波长。光信号的第一部分可以包括从约0.7μm到约1μm、约0.7μm到约5μm、约0.7μm到约10μm、约0.7μm到约50μm、约0.7μm到约100μm、约0.7μm到约500μm、约0.7μm到约1,000μm、约1μm到约5μm、约1μm到约10μm、约1μm到约50μm、约1μm到约100μm、约1μm到约500μm、约1μm到约1,000μm、约5μm到约10μm、约5μm到约50μm、约5μm到约100μm、约5μm到约500μm、约5μm到约1,000μm、约10μm到约50μm、约10μm到约100μm、约10μm到约500μm、约10μm到约1,000μm、约50μm到约100μm、约50μm到约500μm、约50μm到约1,000μm、约100μm到约500μm、约100μm到约1,000μm或约500μm到约1,000μm的一个或多个波长。光信号的第一部分可以包括约0.7μm、约1μm、约5μm、约10μm、约50μm、约100μm、约500μm,或约1,000μm的一个或多个波长。
光信号的第二部分可以包括从约400nm到约700nm的一个或多个波长。光信号的第二部分可以包括至少约400nm的一个或多个波长。光信号的第二部分可以包括至多约700nm的一个或多个波长。光信号的第二部分可以包括从约400nm到约450nm、约400nm到约500nm、约400nm到约550nm、约400nm到约600nm、约400nm到约650nm、约400nm到约700nm、约450nm到约500nm、约450nm到约550nm、约450nm到约600nm、约450nm到约650nm、约450nm到约700nm、约500nm到约550nm、约500nm到约600nm、约500nm到约650nm、约500nm到约700nm、约550nm到约600nm、约550nm到约650nm、约550nm到约700nm、约600nm到约650nm、约600nm到约700nm,或约650nm到约700nm的一个或多个波长。光信号的第二部分可以包括约400nm、约450nm、约500nm、约550nm、约600nm、约650nm或约700nm的一个或多个波长。
在一些情况下,分束器可以是偏振分束器,例如沃拉斯顿棱镜。偏振分束器可以被配置为接收来自目标部位的光信号并且(i)将处于第一偏振的光信号的第一部分反射到图像传感器上,且(ii)允许处于第二偏振的光信号的第二部分传给观测镜组件的相机。
光学组件在分束器之前(例如,在光信号到达分束器之前)不可以包括任何聚焦器件(例如,光学孔径,诸如物镜)。替代地,光学组件可以在分束器之前包括一个或多个聚焦器件。光学组件可以包括被布置在分束器之前的至少1、2、3、4、5或更多个聚焦器件。光学组件可以包括被布置在分束器之前至多5、4、3、2或1个聚焦器件。
在一些情况下,图像传感器可以被配置为从光信号的第一部分生成第一组成像数据,而相机可以被配置为从光信号的第二部分生成第二组成像数据。第一组成像数据和第二组成像数据可以相同。在一个示例中,第一组成像数据和第二组成像数据可以相同以便确认所收集数据的有效性。替代地,第一组成像数据和第二组成像数据可以不同,例如可以代表目标部位的不同特征。第一组成像数据可以补充第二组成像数据。在一个示例中,光学适配器的图像传感器可以用于激光散斑成像。在这种情况下,第一组成像数据可以包括一个或多个激光散斑图案,而第二组成像数据可以包括一个或多个照片和/或视频图像。第一组成像数据可以包括至少1、2、3、4、5、6、7、8、9、10或更多个激光散斑图案。第一组成像数据可以包括至多10、9、8、7、6、5、4、3、2或1个激光散斑图案。
可以由图像传感器检测出并记录在第一组成像数据中的目标部位的特征的示例可以包括但不限于:温度、表面深度(即层析成像)、血流速率、氧浓度(例如,在血液中)、钙电位、电势、磁场、一种或多种所关注标记的存在状态(例如,免疫染色)等。
本公开中所用的聚焦器件可以包括任何一种透镜(例如,鱼眼形、椭圆形、圆锥形等)、反射器、光学器件、聚光器,或能够反射或聚焦光的其他器件。在一个示例中,聚焦器件可以是中继透镜。光学组件可以包括至少一个用于图像传感器的聚焦器件(例如,至少1、2、3、4、5或更多个聚焦器件)。至少一个聚焦器件可以被布置在分束器与图像传感器之间。光学组件可以包括至少一个用于相机的聚焦器件(例如,至少1、2、3、4、5或更多个聚焦器件)。至少一个聚焦器件可以被布置在分束器与相机之间。在一些情况下,光学组件可以包括至少一个被布置在观测镜与分束器之间的光线路径中的聚焦器件(例如,至少1、2、3、4、5或更多个聚焦器件)。
在一些情况下,光学组件可以包括(i)用于图像传感器的第一聚焦器件和(ii)用于相机的第二聚焦器件。第一聚焦器件可以可操作地耦合到第一聚焦旋钮上以调整第一聚焦器件的聚焦度。第一聚焦旋钮可以可操作地耦合(例如,电子地或机械地耦合)到第一聚焦器件上。在一个示例中,第一聚焦旋钮可以经由包括一个或多个齿轮的第一齿轮机构机械地耦合到第一聚焦器件上。第一聚焦旋钮可以由用户操作以调整第一聚焦器件的聚焦度。第二聚焦器件可以可操作地耦合到第二聚焦旋钮上以调整第二聚焦器件的聚焦度。第二聚焦旋钮可以可操作地耦合(例如,电子地或机械地耦合)到第二聚焦器件上。在一个示例中,第二聚焦旋钮可以经由包括一个或多个齿轮的第二齿轮机构机械地耦合到第二聚焦器件上。第二聚焦旋钮可以由用户操作以调整第二聚焦器件的聚焦度。
在一些情况下,第一聚焦器件和第二聚焦器件可以可操作地彼此耦合(例如,电子地或机械地耦合),使得对于图像传感器和相机的聚焦可以同时进行。在一个示例中,第一聚焦器件和第二聚焦器件可以经由包括一个或多个齿轮的齿轮机构彼此耦合。第一聚焦器件和第二聚焦器件可以耦合到可由用户操作的共用聚焦旋钮上。替代地,第一聚焦器件可以可操作地耦合到第一聚焦旋钮上,第二聚焦器件可以可操作地耦合到第二聚焦旋钮上,而第一聚焦旋钮和第二聚焦旋钮可以可操作地彼此耦合。在这种情况下,(i)操作第一聚焦旋钮就可以调整第一聚焦器件和第二聚焦器件两者的聚焦度,而(ii)操作第二聚焦旋钮也可以调整第一聚焦器件和第二聚焦器件两者的聚焦度。
在一些情况下,第一聚焦器件和第二聚焦器件不可以可操作地彼此耦合。第一聚焦器件和第二聚焦器件可以被分别提供并且被配置为彼此独立使用。
至少一个聚焦器件可以被手动调整以进行聚焦。在一些情况下,第一聚焦器件和第二聚焦器件中的一个或两个可以被手动调整以进行聚焦。替代地,至少一个聚焦器件可以被自动调整以进行聚焦。在一些情况下,光学组件可以能够自动聚焦至少一个聚焦器件。在一些情况下,第一聚焦器件和第二聚焦器件中的一个或两个可以被自动调整以进行聚焦。在一个示例中,对第一聚焦器件进行聚焦(例如,手动地或自动地)可以因此自动聚焦第二聚焦器件,反之亦然。在另一示例中,第一聚焦器件和第二聚焦器件可以同时被自动聚焦。
在一些情况下,壳体的光学组件可能包括至少一个用于图像传感器的聚焦器件而不包括用于相机的聚焦器件。在这种情况下,相机可能有自己的聚焦器件。光学组件的至少一个聚焦器件和相机的聚焦器件可能会或不会可操作地彼此耦合。
在一些情况下,处理器(或计算机)可以可操作地链接到图像传感器和相机上。处理器可以被配置为引导图像传感器捕获第一组成像数据并且引导相机捕获第二组成像数据。处理器可以被配置为比较第一组成像数据和第二组成像数据。至少部分地基于比较结果,处理器可以被配置为引导一个或多个可操作地耦合到图像传感器和/或相机上的聚焦器件来调整图像传感器相对于相机的对齐状态。对图像传感器和/或相机进行这样的校准可以改善第一组成像数据的图像与第二组成像数据的另一图像之间的对齐状态。该校准可以由处理器(i)在使用光学适配器对目标部位成像之前和/或(ii)在目标部位成像期间实时来进行(例如,根据用户指令或自动地)。
在一些情况下,图像传感器的透视图(即视场)和相机的透视图(即视场)可以相对于彼此对齐。处理器可以被配置为引导图像传感器捕获第一组成像数据(例如,基于来自目标部位的反射红外光或激光)并且引导相机捕获第二组成像数据(例如,基于来自目标部位的反射白光)。处理器可以进一步被配置为在空间上(和/或时间上)对齐第一组成像数据和第二组成像数据。在一个示例中,处理器可以对第一组成像数据和第二组成像数据中的一组或两组进行数字图像处理(例如,对第一组成像数据和第二组成像数据中的一个或多个像素进行仿射变换),使得图像传感器的透视图和相机的透视图对齐(或对准)并在空间上彼此对应。当建立第一组成像数据和第二组成像数据相叠加时,例如,当在标准白光手术视图(例如,来自相机)之上生成血流量和灌注量(例如,来自图像传感器)相叠加时,两个成像单元的这种对齐可能是有用的。在其他示例中,处理器可以被配置为进行图像配准。处理器可以被配置为找到第一组成像数据和第二组成像数据中的一个或多个匹配特征,然后进行第一组成像数据和第二组成像数据中的一个或两个的变换计算以供其对齐。这样的特征的非限制性示例包括边角、边线、加速鲁棒特征(SURF)和尺度不变特征变换(SIFT)特征。
图1A示意性地图示了用于医疗成像的示例生态系统。该生态系统可以包括受检者的目标部位100(例如,患者所关注的组织部位)。该生态系统可以包括观测镜组件200。该生态系统可以包括与观测镜组件200进行光通信的照明源230。照明源230可以被配置为经由观测镜组件200提供一个或多个光束(例如,组合光束)到目标部位100上。目标部位100可以与观测镜组件200进行光通信,使得(i)目标部位100可以被来自观测镜组件200的一个或多个光束照射,并且(ii)观测镜组件200可以检测到由目标部位100在这样照射下反射或发射的一个或多个光信号。观测镜组件200可以被配置为基于来自目标部位100的一个或多个光信号的至少一部分来捕获目标部位的至少一个图像或视频。该生态系统可以包括光学适配器300,其可操作地耦合到观测镜组件200的一个或多个部件上。光学适配器300可以与观测镜组件200进行光通信,使得(i)光学适配器300可以接收来自观测镜组件200的一个或多个光信号,并且(ii)观测镜组件200可以接收来自光学适配器300的一个或多个光信号。光学适配器300可以被配置为基于来自目标部位100的一个或多个光信号的至少另一部分来生成数据(例如,图像、视频、激光散斑成像等)。所生成的数据可以对目标部位的不同特征,而不是由观测镜组件200捕获的至少一个图像或视频的不同特征进行编码。观测镜组件200和光学适配器300可以可操作地耦合到成像处理器340上。成像处理器340可以被配置为分析或组合由观测镜组件200和光学适配器300所生成的数据、图像或视频。
图1B示意性地图示了在无光学适配器300的情况下观测镜组件200的示例生态系统。观测镜组件200包括可操作地彼此耦合的观测镜210和相机220。观测镜210和相机220可以从机械上和光学上彼此进行通信。观测镜210可以经由光信号路径235(例如,光纤)与照明源230进行光通信。照明源230可以引导一个或多个光束经由光信号路径235到观测镜210上,而观测镜210可以引导一个或多个光束到目标部位100上。观测镜210还可以用作由目标部位100向相机220反射或发射的任何光信号的光信号路径。相机220可以经由信号线225(例如,诸如铜线、光纤等的电线)可操作地耦合到成像处理器340上。在一些情况下,聚焦耦合装置可以被布置在观测镜210和相机220之间。聚焦耦合装置可以固定地附接到相机220上。聚焦耦合装置可以包括聚焦旋钮。
图2A和图2B示意性地图示了图1A中所示的生态系统的实施方式,其中光学适配器300可操作地耦合到观测镜组件200上。图2A示意性地图示了光学适配器300的侧视图,而图2B示意性地图示了光学适配器300的横截面图。光学适配器300可以包括壳体305。壳体305可以包括第一端部350,其被配置为可释放地耦合到观测镜210上。壳体305可以包括被配置为可释放地耦合到相机220上的第二端部360。壳体305可以包括在外壳315内的图像传感器310。图像传感器310(例如,包括图像传感器310的外壳315)可以被配置为可释放地耦合到壳体305上。
参考图2B,壳体305可以包括被布置在壳体305中的光学组件330。光学组件330可以被配置为(1)接收从受检者体内的目标部位100反射并通过观测镜210传输的光信号,和(2)将光信号的第一部分反射到图像传感器310上,同时允许光信号的第二部分传给相机220。光学组件330可以包括分束器,例如二向色镜。壳体305可以包括被布置在光学组件330和图像传感器310之间的第一聚焦器件(例如,透镜),其被配置为聚焦从光学组件330向图像传感器310传播的光信号的第一部分。壳体305可以进一步包括第一聚焦旋钮320,其被配置为调整第一聚焦器件的聚焦度。壳体305可以包括被布置在光学组件330和相机220之间的第二聚焦器件(例如,透镜),其被配置为聚焦从光学组件330向相机220传播的光信号的第二部分。壳体305可以进一步包括第二聚焦旋钮325,其被配置为调整第二聚焦器件的聚焦度。第一聚焦旋钮320和第二聚焦旋钮325可以可操作地彼此耦合,从而彼此协同操作。在一个示例中,操作第一聚焦旋钮320以使第一聚焦器件聚焦可以自动引导第二聚焦旋钮325以使第二聚焦器件聚焦。在另一示例中,操作第一聚焦旋钮320以使第一聚焦器件散焦可以自动引导第二聚焦旋钮325以使第二聚焦器件散焦。替代地,操作第一聚焦旋钮320以使第一聚焦器件聚焦可以自动引导第二聚焦旋钮325以使第二聚焦器件散焦,反之亦然。在一些情况下,第一聚焦旋钮320和第二聚焦旋钮325可以彼此独立地操作。
图2C和图2D示意性地图示了图2A和图2B中所示的生态系统的示例。壳体305的第一端部350和观测镜210可以经由耦合装置340可操作地彼此耦合。耦合装置340可以被配置为可释放地耦合到观测镜210和壳体305的第一端部350上。耦合装置340可以与观测镜210和壳体305的第一端部350进行光通信。
图3A-3B示意性地图示了用于医疗成像的生态系统的实施方式。该生态系统可以包括观测镜组件200,其包括观测镜210和相机220。该生态系统进一步包括本公开的受检者光学适配器300。例如,光学适配器300可以可释放地耦合到观测镜组件200上并且包括图像传感器和光学组件。光学组件可以被配置为(1)接收从受检者体内的组织部位反射并通过观测镜210传输的光信号,和(2)将光信号的第一部分反射到图像传感器上,同时允许光信号的第二部分传给相机220。
参考图3A,观测镜组件200可以可操作地耦合到底座模块250上。底座模块250可以包括处理器,其被配置为分析由相机220获得的数据;光源,其提供光给观测镜组件200;显示器(例如,液晶显示器(LCD)或发光二极管(LED)屏),其可视化由相机获得的数据。在一些情况下,光学适配器300也可以可操作地耦合到底座模块250上。底座模块250可以被配置为通过观测镜210提供组合光(例如,白光和一个或多个激光束)给组织部位。底座模块250的处理器可以被配置为分析和可视化来自图像传感器的第一数据集和来自相机220的第二数据集。替代地,光学适配器300可以可操作地耦合到附加成像模块370上,该附加成像模块370包括光源,其被配置为通过观测镜210提供组合光给组织部位。这种光源可以从光学上耦合到底座模块250的光源(例如,对于白光)上,以及被配置为提供一个或多个激光束的一个或多个附加光源上。附加成像模块370的处理器可以被配置为分析和可视化来自图像传感器的第一数据集。此外,附加成像模块370的处理器可以可操作地耦合到底座模块250的处理器上以生成对第一数据集和来自相机220的第二数据集的组合分析和可视化。
如图3B所示,附加成像模块370可以包括以下特征中的一个或多个:(i)一个或多个用于成像和/或视频处理的处理器,(ii)用于本地图像/视频存储的数据库,(iii)连接(例如,有线或无线)到医疗保健数据库网络,(iv)连接(例如,有线或无线)到观测镜210的底座模块250,以及(v)一个或多个光源(例如,高速激光源、高光谱光源等)。
图3C示意性地图示了由本公开的受检者光学适配器实现的多种成像模态。底座模块250和/或附加成像模块370可以通过观测镜210提供组合光(例如,白光和多个激光束的组合)给组织部位。在暴露于组合光时,组织部位可以反射或发射光信号到光学适配器300上。随后,光学适配器300的光学组件可以被配置为接收通过观测镜传输的光信号并且将光信号的至少一部分反射到光学适配器的图像传感器上。可以由图像传感器检测到并记录的光信号的至少一部分的示例可以包括但不限于:(i)作为用于识别组织类型的组织部位的唯一指纹的高光谱数据380,(ii)用于在组织部位下方灌注(例如,血流量)的激光束382的反射的一阶测量值,以及(iii)可以指示对于基于白光的成像是不可见的组织部位的结构的NIR光384的反射结果。在一些情况下,最初被引导到组织部位上的NIR光可能能够比白光穿透组织部位更深,因此这种NIR光的反射可以揭示出组织部位以前看不见的结构。
任何一个本公开的受检者光学适配器都可以作为成像套件的一部分而被并入。在一个方案中,本公开提供了一种成像套件,其包括任何一个本公开的受检者光学适配器和一个或多个照明源。一个或多个照明源可以被配置为将一个或多个光束传输到观测镜组件的观测镜上,以便将一个或多个光束通过观测镜引导到受检者身体的目标部位上。该套件可以包括至少1、2、3、4、5、6、7、8、9、10或更多个照明源。该套件可以包括至多10、9、8、7、6、5、4、3、2或1个照明源。在一些情况下,单一照明源可以被配置为将至少1、2、3、4、5、6、7、8、9、10或更多个光束传输到观测镜上。单一照明源可以被配置为将至多10、9、8、7、6、5、4、3、2或1个光束传输到观测镜上。在一些情况下,多个照明源可以被配置为将至少2、3、4、5、6、7、8、9、10或更多个光束传输到观测镜上。多个照明源可以被配置为将至多10、9、8、7、6、5、4、3或2个光束传输到观测镜上。在一个示例中,照明源可以被配置为将组合光束传输到观测镜上以便将组合光束引导到受检者体内的目标部位上。
任何一个本公开的受检者光学适配器都可以用于受检者的目标部位的医疗成像。在一个方案中,本公开提供了一种使用光学适配器进行医疗成像的方法。图4示出了使用光学适配器进行医疗成像的方法的示例流程图。该方法可以包括提供(i)光学适配器和(ii)包括观测镜和相机的观测镜组件。该方法可以包括将第一光束与第二光束组合以生成组合光束。在一些情况下,该方法可以包括将白光与相干激光组合以生成组合光束(处理步骤410)。该方法可以进一步包括提供组合光束给观测镜(处理步骤420)。该方法可以进一步包括使用观测镜将组合光束引导到受检者体内的目标部位上(处理步骤430)。该方法可以进一步包括经由观测镜接收从目标部位反射或发射的光信号(处理步骤440)。替代地,该方法可以包括经由附加光线路径接收从目标部位反射或发射的光信号。该方法可以进一步包括将光信号的第一部分反射到光学适配器中的图像传感器上,同时允许光信号的第二部分传给相机,光学适配器被配置为可操作地耦合(例如,可释放地耦合)到观测镜和相机上(处理步骤450)。在一些情况下,当可释放地耦合到观测镜和相机上时,光学适配器可以被布置在观测镜和相机之间。观测镜、光学适配器和相机可以具有相同的纵向轴线。
图5示出了使用光学适配器进行医疗成像的方法的附加示例流程图。该方法可以包括提供包括壳体的光学适配器,其中光学适配器的图像传感器可以可操作地耦合到壳体上(处理步骤510)。图像传感器可以固定地或可释放地耦合到壳体上。该方法可以进一步包括提供包括观测镜和相机的观测镜组件。该方法可以进一步包括将壳体的第一端部可操作地耦合(例如,可释放地耦合)到观测镜上(处理步骤520)。该方法可以进一步包括将壳体的第二端部可操作地耦合(例如,可释放地耦合)到相机上(处理步骤520)。该方法可以进一步包括提供组合光束给观测镜,该组合光束包括第一光束和第二光束。在一些情况下,该方法可以包括提供组合光束给观测镜,该组合光束包括与相干激光组合的白光(处理步骤530)。该方法可以进一步包括使用观测镜将组合光束引导到受检者体内的目标部位上(处理步骤540)。该方法可以进一步包括经由观测镜接收从目标部位反射或发射的光信号(处理步骤550)。替代地,该方法可以进一步包括经由附加光线路径接收从目标部位反射或发射的光信号。该方法可以进一步包括将光信号的第一部分反射到图像传感器上,同时允许光信号的第二部分传给相机(处理步骤560)。该方法可以进一步包括使用图像传感器从光信号的第一部分生成第一组成像数据,而使用相机从光信号的第二部分生成第二组成像数据(处理步骤570)。在一些情况下,第一组成像数据包括激光散斑图案。在一些情况下,第二组成像数据包括照片或视频图像。替代地,如图6所示,图像传感器可以不且不需要可释放地耦合到光学适配器上。在这种情况下,光学适配器可以包括图像传感器,而图像传感器可以集成在适配器内。
在一些实施方式中,本公开的光学适配器可以允许用户(例如,执业医师)可视化(i)目标组织部位的图像或视频(例如,由现有观测镜的相机所捕获)和(ii)在目标组织部位下方或内部的所关注的液体的灌注状态(例如,血液灌注状态)。在一些情况下,光学适配器可以允许用户基本上是实时地可视化(i)目标组织部位的图像或视频和(ii)血液灌注状态。在一些情况下,目标组织部位的血液灌注状态的变化可能指示一种或多种手术并发症(例如,意外损伤血管)或潜在的手术并发症(例如,受检者的中风、癫痫发作、过敏反应等)的发作。因此,本公开的光学适配器可以允许用户(例如,手术室中的外科医生)(1)与单独使用现有观测镜装置相比,更早地检测到一个或多个手术过程问题或与患者相关的问题,和(2)就是否继续或中止剩余的外科手术做出明智的决定。
图7A至图7D图示了通过本公开的光学适配器或现有的基于ICG的血管造影术获得的受检者的组织部位(例如,猪小肠)的比较图像。参考图7A和图7B,肠系膜中的一些血管使用电灼术阻断血供,并且组织部位通过ICG血管造影术(图7A)或可操作地耦合到观测镜上的光学适配器(图7B)实时成像。在图7A中,暗区710指示没有血液灌注,而亮区715指示存在血液灌注(例如,全灌注)。在图7B中,红色区域720指示没有血液灌注,而蓝色区域725指示存在血液灌注。ICG血管造影术和光学适配器都可以比较地且准确地区分组织部位中的消融区域(分别为710和720)。
参考图7C和图7D,阻断血供在图7A和图7B所示的组织部位处进一步延伸,并且组织部位通过ICG血管造影术(图7C)或可操作地耦合到观测镜上的光学适配器(图7D)实时成像。如图7C所示,通过ICG血管造影术,延伸的消融部位730的颜色没有明显变化。相反,由于先前注射的并且仍然存在于组织部位中的ICG染料,延神的消融部位730似乎具有血液灌注(即,假阳性)。相比之下,如图7D所示,延伸的消融部位740被清楚地捕获为红色区域,确认在该部位没有血液灌注。因此,光学适配器可以比ICG血管造影术更准确地描绘血液灌注数据。
图8A至图8D图示了本公开的光学适配器与现有的用于医疗成像的系统和方法相比较的优点。如图8A所示,手术前(例如,手术前2至6周)可能需要对组织部位进行检查(例如,术前二维(2D)计算机断层扫描(CT)扫描)。相比之下,如图8B所示,本公开的光学适配器在可操作地耦合到任何现有内窥镜系统上时,可以允许实时可视化组织部位的一个或多个特征810,这些特征810通过单独使用现有的内窥镜系统不会被捕获或区分出。此外,如图8C所示,外科医生可能经常依靠物理标尺来测量组织部位的一个或多个尺寸(例如,长度、面积等)或其特征。相比之下,如图8D所示,本公开的光学适配器可以在不需要物理标尺的情况下实时准确地测量出这种尺寸。
与现有的基于ICG染料的医疗成像系统相比,本公开的光学适配器可以提供一个或多个优点。基于ICG染料的系统曾传统上用于血液灌注数据。在一些情况下,基于ICG染料的系统可能需要不同的硬件设备来进行不同的应用。另外地,一种基于ICG染料的系统可能无法与所有的内窥镜兼容。因此,基于ICG染料的系统不可以在硬件不明确情况下使用。在一些情况下,基于ICG染料的系统的硬件或软件可能无法即时更新。在一些情况下,由于基于ICG染料的系统依赖于将染料注射进受检者(例如,患者)体内,因此ICG染料仅供单次使用,且即使是同一受检者也不得重复使用。另外地,ICG染料(或用于染料血管造影术的任何其他染料)都可能会引起一些受检者的过敏反应,因此可能不适用于所有患者。在一些情况下,ICG染料可能需要一定时间(例如,几分钟到几小时)才能到达目标部位。此外,到达目标部位后,染料可能不会长时间停留在目标部位处。替代地,染料可能会在目标部位处停留太久而提供假阳性或假阴性成像数据。因此,基于ICG染料的系统可能不是进行组织部位实时成像的可靠方法。相比之下,本公开的光学适配器(i)可以在硬件不明确情况下使用,(ii)可以接收即时软件更新,(iii)如果需要可以对同一受检者或多个受检者重复使用,(iv)不可能引起过敏反应,(v)可以用于所有患者,(vi)可以提供100%实时数据,以及(vii)可以提供传统的内窥镜系统不可见的血液灌注数据,而无需任何基于染料的血管造影术。
与现有的基于染料的医疗成像系统相比,本公开的光学适配器可以提供附加优点。光学适配器比任何现有的基于染料的医疗成像系统可能表现出更多的以下特征:(i)微创成像能力,(ii)组织部位处灌注的可视化,(iii)优化的粘膜视图,(iv)组织识别,(v)量化的多维(例如,三维)重建和传感,(vi)无染料成像,以及(vii)由光学适配器获得的图像与由传统的内窥镜相机获得的图像的大数据叠加。
在一些实施方式中,本公开的光学适配器可以可操作地耦合到处理器(例如,计算机)上,该处理器被配置为分析由光学适配器捕获的光信号数据集(例如,光谱、图像或视频)且识别组织部位的组织类型或其一个或多个特征。在一个示例中,光学适配器可以使用高光谱成像来识别组织类型。处理器可以能够采用一种或多种机器学习算法来分析数据库,该数据库包括与多个组织部位或其特征相关的多个已知的或先前收集的数据集(例如,光谱、图像或视频)。一种或多种机器学习算法可以能够分析来自光学适配器的图像传感器的光信号数据集或来自内窥镜相机的附加光信号数据集。一种或多种机器学习算法可以包括人工神经网络。该人工神经网络可能涉及由简单处理元件(即,人工神经元)组成的网络,其可以表现出复杂的全局行为,由处理元件和元件参数之间的连接决定。不管有或没有训练集(例如,先前已识别的组织部位及其特征的数据库,连同相应的光信号数据集),人工神经网络都可以增强机器学习算法的分析能力。如图9所示,本公开的一种或多种机器学习算法可以包括:(i)输入数据910,其包括至少从本公开的光学适配器收集到的图像/视频数据,(ii)机器学习模块920,其用于分析输入数据910,以及(iii)输出数据930。如图10所示,一种或多种机器学习算法的人工神经网络可以包括输入层1010、一个或多个隐藏层(例如,至少两个隐藏层1020和1025)和输出层1030。一个或多个隐藏层可以接收输入信号(例如,光信号数据)、分析它们,然后将它们转换为输出数据(例如,已识别的组织类型)。在一些情况下,光信号数据输入可以包括至少一个波长(例如,超过3个波长、多达1000个波长等)。在一些情况下,输出层1030可以包括以下的一个或多个构件:(i)利用光谱指纹和/或灌注数据的组织识别,(ii)组织部位或其特征的空间位置(例如,X、Y、Z笛卡尔坐标),(iii)定量灌注(例如,血流量),(iv)外科手术决策支持(例如,继续进行对中止),以及(v)所关注的组织部位内的关键结构的地理围栏。
在一些情况下,本公开的光学适配器可以收集与从现有成像系统(例如,内窥镜或基于染料的成像系统)收集的数据相比更密集或更详细的多个数量级的手术数据。在一个示例中,立体测量可能无法生成组织部位的三维(3D)重建,而本公开的光学适配器却可以能够生成组织部位的定量深度图(例如,具有0.5毫米或更小的深度误差)。
任何一种本公开的受检者光学适配器均可以用于可视化受检者体内的目标部位的解剖结构、形态、一个或多个生理特征,和/或一个或多个病理特征。生理和/或病理特征的示例可以包括但不限于:氧合、脱氧、动脉-静脉(A-V)分类、体液(例如,血液、淋巴、组织液、乳汁、唾液、精液、胆汁等)的流速和/或流量,诸如血液灌注或梗塞、血管生成、细胞密度、炎症、组织肿胀(例如脑肿胀)、组织死亡、组织尺寸(例如,直径、面积、体积)、病毒感染、细菌感染、肿瘤尺寸(例如,直径、面积、体积)、肿瘤切除后的肿瘤边缘、转移性生长等。
受检者体内的目标部位的示例可以包括但不限于:甲状腺、肾上腺、乳腺、前列腺、睾丸、气管、上腔静脉、内腔静脉、肺、肝脏、胆囊、肾脏、输尿管、阑尾、膀胱、尿道、心脏、食道、横膈膜、主动脉、脾脏、胃、胰腺、小肠、大肠、直肠、阴道、卵巢、骨骼、胸腺、皮肤、脂肪、眼睛、大脑、胎儿、动脉、静脉、神经、输尿管、胆管、健康组织和病变组织。
在一些情况下,病变组织可能会受到选自以下疾病群中的肿瘤或癌症的影响:棘皮瘤、腺泡细胞癌、听神经瘤、肢端着色斑性黑素瘤、肩螺旋体瘤、急性嗜酸性粒细胞白血病、急性淋巴细胞白血病、急性巨核细胞白血病、急性单核细胞白血病、成熟型急性髓母细胞白血病、急性髓系树突状细胞白血病、急性髓系白血病、急性早幼粒细胞白血病、釉质瘤、腺癌、囊性腺样癌、腺瘤、腺性成釉细胞瘤、肾上腺皮质癌、成人T细胞白血病、侵袭性NK细胞白血病、艾滋病相关癌症、艾滋病相关淋巴瘤、泡状软部肉瘤、成釉细胞纤维瘤、肛门癌、间变性大细胞淋巴瘤、间变性甲状腺癌、血管免疫母细胞T细胞淋巴瘤,血管肌脂瘤、血管肉瘤、阑尾癌、星形细胞瘤、非典型畸胎样横纹肌肿瘤、基底细胞癌、基底样癌、B细胞白血病、B细胞淋巴瘤,贝里尼导管癌、胆道癌、膀胱癌、母细胞瘤、骨癌、骨肿瘤、脑干胶质瘤、脑肿瘤、乳腺癌、Brenner肿瘤、支气管肿瘤、细支气管肺泡癌、布朗肿瘤、伯基特淋巴瘤、原发部位不明的癌症、类癌瘤、恶性肿瘤、原位癌、阴茎癌、原发部位不明的癌瘤、癌肉瘤、Castleman病、中枢神经系统胚胎肿瘤、小脑星形细胞瘤、脑星形细胞瘤、宫颈癌、胆管癌、软骨瘤、软骨肉瘤、脊索瘤、绒毛膜癌、脉络丛乳头状瘤、慢性淋巴细胞白血病、慢性单核细胞白血病、慢性粒细胞白血病、慢性骨髓增生性障碍、慢性中性粒细胞白血病、透明细胞肿瘤、结肠癌、结直肠癌、颅咽管瘤、皮肤T细胞淋巴瘤、Degos病、隆凸性皮肤纤维肉瘤、皮样囊肿、促结缔组织增生性小圆细胞瘤、弥漫性大B细胞淋巴瘤、胚胎发育不良性神经上皮瘤、胚胎癌、内胚层窦瘤、子宫内膜癌、子宫内膜子宫癌、子宫内膜样肿瘤、肠病相关T细胞淋巴瘤、室管膜母细胞瘤、室管膜瘤、上皮样肉瘤、红白血病、食道癌、神经上皮瘤、尤文氏家族肿瘤、尤文氏家族肉瘤、尤文氏肉瘤、颅外生殖细胞肿瘤、性腺外生殖细胞肿瘤、肝外胆管癌、乳房外佩吉特氏病、输卵管癌、胎内胎畸形儿、纤维瘤、纤维肉瘤、滤泡性淋巴瘤、滤泡性甲状腺癌、胆囊癌、胆癌、神经节神经胶质瘤、神经节神经瘤、胃癌、胃淋巴瘤、胃肠道癌、胃肠道类癌瘤、胃肠道间质瘤、胃肠道间质肿瘤、生殖细胞肿瘤、生殖细胞瘤、妊娠绒毛膜癌、妊娠滋养细胞肿瘤、骨巨细胞瘤、多形性胶质母细胞瘤、神经胶质瘤、脑神经胶质瘤、血管球瘤、胰升血糖素瘤、性腺母细胞瘤、颗粒细胞瘤、毛细胞白血病、毛状细胞白血病、头颈癌、头颈部癌、心脏癌、血管母细胞瘤、血管外皮细胞瘤、血管肉瘤、血液系统恶性肿瘤、肝细胞癌、肝脾T细胞淋巴瘤、遗传性乳腺-卵巢癌综合征、霍奇金淋巴瘤、霍奇金氏淋巴瘤、下咽癌、下丘脑胶质瘤、炎性乳腺癌、眼内黑色素瘤、胰岛细胞癌、胰岛细胞瘤、青少年慢性骨髓单核细胞性白血病、卡波济肉瘤、卡波济氏肉瘤、肾癌、Klatskin肿瘤、Krukenberg肿瘤、喉癌、喉部癌、恶性痣性黑色素瘤、白血病、血癌、唇和口腔癌、脂肪肉瘤、肺癌、黄体瘤、淋巴管瘤、淋巴管肉瘤、淋巴上皮瘤、淋巴样白血病、淋巴瘤、巨球蛋白血症、恶性纤维组织细胞瘤、恶性纤维性组织细胞瘤、骨恶性纤维组织细胞瘤、恶性胶质瘤、恶性间皮瘤、恶性周围神经鞘瘤、恶性横纹肌样肿瘤、恶性蝾螈瘤、MALT淋巴瘤、套细胞淋巴瘤、肥大细胞白血病、纵隔生殖细胞肿瘤、纵隔肿瘤、甲状腺髓样癌、髓母细胞瘤、成神经管细胞瘤、髓质上皮瘤、黑色素瘤、恶性皮肤瘤、脑膜瘤、默克尔细胞癌、间皮瘤、间皮组织恶性肿瘤、转移性鳞状颈癌伴隐匿性原发性、转移性尿路上皮癌、混合多勒氏瘤、单核细胞白血病、口腔癌、黏液性肿瘤、多发性内分泌肿瘤综合征、多发性骨髓瘤、多重骨髓癌、蕈样真菌病、阿利贝尔氏病、骨髓增生异常疾病、骨髓增生异常综合征、髓系白血病、髓系肉瘤、骨髓增生性疾病、粘液瘤、鼻腔癌、鼻咽癌症、鼻咽癌、肿瘤、神经鞘瘤、神经母细胞瘤、成神经细胞瘤、神经纤维瘤、神经瘤、结节性黑色素瘤、非霍奇金淋巴瘤、非霍奇金氏淋巴瘤、非黑色素瘤皮肤癌、非小细胞肺癌、眼部肿瘤学、少突星形细胞瘤、寡枝神经胶质细胞瘤、嗜酸细胞瘤、视神经鞘状脑膜瘤、口腔癌、口腔癌症、口咽癌、骨肉瘤、恶性骨瘤、卵巢癌、卵巢癌症、卵巢上皮细胞癌、卵巢生殖细胞肿瘤、低度恶性潜能卵巢肿瘤、乳腺佩吉特病、肺上沟瘤、胰腺癌、胰癌、甲状腺乳头状癌、乳头状瘤病、副神经节瘤、鼻窦癌、甲状旁腺癌、阴茎癌、血管周围上皮样细胞瘤、咽癌、嗜铬细胞瘤、中分化松果体实质肿瘤、成松果体细胞瘤、垂体细胞瘤、垂体腺瘤、垂体肿瘤、浆细胞肿瘤、胸膜肺母细胞瘤、多胚胎瘤、前体T淋巴细胞淋巴瘤、原发性中枢神经系统淋巴瘤、原发性渗出性淋巴瘤、原发性肝细胞癌、原发性肝癌、原发性腹膜癌、原始神经外胚层肿瘤、前列腺癌、腹膜假性粘液瘤、直肠癌、肾细胞癌、涉及15号染色体上NUT基因的呼吸道癌、视网膜母细胞瘤、横纹肌瘤、横纹肌肉瘤、Richter转化、骶尾部畸胎瘤、唾液腺癌、肉瘤、神经鞘瘤病、皮脂腺癌、继发性肿瘤、精原细胞瘤、浆液性肿瘤、卵巢含睾丸母细胞瘤、性索间质肿瘤、Sezary综合征、印戒细胞癌、皮肤癌、小蓝圆细胞瘤、小细胞癌、小细胞肺癌症、小细胞淋巴瘤、小肠癌、软组织肉瘤、生长抑素瘤、烟尘疣、脊髓肿瘤、脊柱肿瘤、脾边缘区淋巴瘤、鳞状细胞癌、胃癌、浅表扩散性黑色素瘤、幕上原始神经外胚层肿瘤、表面上皮-间质瘤、滑膜肉瘤、T细胞急性淋巴细胞白血病、T细胞大颗粒淋巴细胞白血病、T细胞白血病、T细胞淋巴瘤、T细胞幼淋巴细胞白血病、畸胎瘤、终末淋巴癌、睾丸癌,卵泡膜细胞瘤,喉癌、胸腺癌、胸腺瘤、甲状腺癌、肾盂和输尿管上皮细胞癌、移行细胞癌、脐尿管癌、尿道癌、泌尿生殖系统肿瘤、子宫肉瘤、葡萄膜黑色素瘤、阴道癌、Verner-Morrison综合征、疣状癌、视路胶质瘤、外阴癌、Waldenstrom巨球蛋白血症、Warthin瘤、维尔姆斯氏瘤及其组合。
计算机系统
在一个方案中,本公开提供了计算机系统,其被编程或以其他方式配置为实现本公开的方法,例如,用于医疗成像的任何受检者方法。图11示出了计算机系统1701,其被编程或以其他方式配置为实现用于医疗成像的方法。计算机系统1701可以被配置为,例如(i)引导照明源将白光与相干激光组合以生成组合光束,(ii)引导照明源提供组合光束给观测镜组件的观测镜,以及(iii)引导光学适配器的图像传感器接收受检者的目标部位经组合光束照射时反射或发射的光信号的至少一部分。计算机系统1701可以是用户的电子器件或相对于电子器件被远程定位的计算机系统。电子器件可以是移动电子器件。
计算机系统1701可以包括中央处理单元1705(CPU,也是本文的“处理器”和“计算机处理器”),其可以是一种单核或多核处理器,或可以是用于并行处理的多个处理器。计算机系统1701还包括存储器或存储器位置1710(例如,随机存取存储器、只读存储器、闪存)、电子储存单元1715(例如,硬盘)、用于与一个或多个其他系统进行通信的通信接口1720(例如,网络适配器),以及诸如高速缓存、其他存储器、数据储存器和/或电子显示适配器的外围器件1725。存储器1710、储存单元1715、接口1720和外围器件1725通过诸如母板的通信总线(实线)与CPU 1705进行通信。储存单元1715可以是用于储存数据的数据储存单元(或数据仓库)。计算机系统1701可以在通信接口1720的帮助下可操作地耦合到计算机网络1730(“网络”)上。网络1730可以是因特网、互联网和/或外联网,或与因特网通信的内联网和/或外联网。在一些情况下,网络1730是电信和/或数据网络。网络1730可以包括一个或多个计算机服务器,其可以启用分布式计算,例如云计算。在一些情况下,在计算机系统1701的帮助下,网络1730可以实现对等网络,其可以使耦合到计算机系统1701上的器件能够充当客户端部或服务器。
CPU1705可以执行一系列机器可读指令,其可以体现在程序或软件中。这些指令可以储存在诸如存储器1710的存储器位置上。这些指令可以针对CPU 1705,其随后可以编程或以其他方式配置CPU1705以实现本公开的方法。由CPU 1705进行的操作的示例可以包括取出指令、解码、执行和回写。
CPU 1705可以是电路的一部分,诸如集成电路。系统1701的一个或多个其他部件可以包括在电路中。在一些情况下,电路是专用集成电路(ASIC)。
储存单元1715可以储存文件,例如驱动程序、程序库和已保存的程序。储存单元1715可以储存用户数据,例如用户偏好和用户程序。在一些情况下,计算机系统1701可以包括一个或多个附加数据储存单元,其位于计算机系统1701的外部(例如,在通过内联网或因特网与计算机系统1701通信的远程服务器上)。
计算机系统1701可以通过网络1730与一个或多个远程计算机系统通信。举例来说,计算机系统1701可以与用户(例如,受检者、最终用户、消费者、医疗保健提供者、成像技术人员等)的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如,便携式PC)、平板计算机或平板型计算机(例如,
Figure BDA0003396077830000391
iPad、
Figure BDA0003396077830000392
Galaxy Tab)、电话、智能电话(例如,
Figure BDA0003396077830000393
iPhone、启用Android的器件、
Figure BDA0003396077830000394
),或掌上计算机。用户可以经由网络1730访问计算机系统1701。
本文所述的方法可以借助于储存在计算机系统1701的电子储存位置上(例如,诸如在存储器1710或电子储存单元1715上)的机器(例如,计算机处理器)可执行代码来实现。机器可执行代码或机器可读代码可以以软件的形式提供。在使用时,该代码可以由处理器1705执行。在一些情况下,该代码可以从储存单元1715中取回并储存在存储器1710上以供处理器1705随时访问。在一些情形下,电子储存单元1715可以排除在外,而将机器可执行指令储存在存储器1710上。
代码可以被预编译和配置为与具有适于执行代码的处理器的机器一起使用,或者可以在运行时编译。代码可以以编程语言来提供,该语言可以被选择以使代码能够以预编译或编译后的方式执行。
本文提供的系统和方法的方案,诸如计算机系统1701,可以体现在编程中。该技术的各个方案可以被视为典型地以机器(或处理器)可执行代码和/或相关数据的形式存在的“产品”或“制造品”,这些可执行代码和/或相关数据被携带或体现在一种机器可读介质中。机器可执行代码可以储存在电子储存单元上,诸如存储器(例如,只读存储器、随机存取存储器、闪存)或硬盘。“储存”型介质可以包括计算机、处理器等,或其相关模块中的任何一个或全部的有形存储器,诸如各种半导体存储器、磁带驱动器、磁盘驱动器等,其可以为软件编程随时提供非暂时性储存。所有或部分软件有时可以通过因特网或各种其他电信网络进行通信。例如,这样的通信可以使软件能够从一台计算机或处理器加载到另一台计算机或处理器中,例如,从管理服务器或主机加载到应用服务器的计算机平台中。因此,另一种可能承载软件元件的介质包括光波、电波和电磁波,诸如跨越本地器件之间的物理接口、通过有线网络和光陆线网络且经由各种空中链路而使用。携带这种波的物理元件,诸如有线链路或无线链路、光链路等,还可以被认为是承载软件的介质。如本文所用,除非限于非暂时性、有形的“储存”介质,否则诸如计算机或机器“可读介质”的术语指的是任何一种参与提供指令给处理器以供其执行的介质。
因此,机器可读介质,诸如计算机可执行代码,可以采取多种形式,包括但不限于:有形储存介质、载波介质或物理传输介质。非易失性储存介质(例如,包括光盘或磁盘,或任何一台计算机中的任何一种储存器等)均可以用于实现附图中所示的数据库等。易失性储存介质包括动态存储器,诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆;铜线和光纤,包括构成计算机系统内总线的电线。载波传输介质可以采取电信号或电磁信号,或诸如在射频(RF)和红外(IR)数据通信时生成的声波或光波的形式。因此,计算机可读介质的常见形式包括例如:软盘、磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他带有孔图案的物理储存介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁带、传输数据或指令的载波、传输这种载波的电缆或链路,或计算机可以从中读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉及将一个或多个序列的一个或多个指令携带给处理器以供其执行。
计算机系统1701可以包括电子显示器1735或与电子显示器1735进行通信,该电子显示器1735包括用户接口(UI)1740,例如,其用于给医疗保健提供者或成像技术人员提供门户以监测或跟踪光学适配器(例如,耦合到观测镜上、耦合到相机上、图像传感器、光学组件等)的一个或多个特征。门户可以通过应用程序编程接口(API)来提供。用户或实体还可以经由UI与门户中的各种元件进行交互。UI的示例包括但不限于:图形用户接口(GUI)和基于web的用户接口。
本公开的方法和系统可以借助于一种或多种算法来实现。算法可以在中央处理单元1705执行时借助于软件来实现。
在另一方面中,本公开提供了可与内窥镜器件一起使用的医疗成像的方法和系统,用于将激光散斑对比图像叠加在手术部位的标准RGB图像上。内窥镜器件可以耦合到RGB相机上以给外科医生提供患者体内手术部位的解剖结构或生理特征的高质量图像。激光散斑对比成像还可以用于即时可视化患者体内的微循环组织血液灌注状态。
本公开提供了可与市售内窥镜器件一起使用的方法和系统,用于显示除手术部位的标准图像之外的激光散斑对比图像。这些图像可以分开显示或一起显示。举例来说,激光散斑对比图像可以叠加在手术部位的标准图像上。
图12图示了根据一个或多个实施方式的示例性成像系统,其可与任何常规的内窥镜成像系统一起使用以显示除手术部位的标准图像之外的激光散斑对比图像,常规的内窥镜成像系统可以包括内窥镜2100(例如,腹腔镜或立体镜),其可以直接耦合到RGB相机2102上。耦合到相机2102上的图像处理系统2104可以在显示器2106上显示标准RGB手术图像。
在一些情况下,成像系统可以包括适配器器件2108,其可以安装在内窥镜2100和相机2102之间。成像系统可以进一步包括光源和图像处理系统2110。
图13是根据一个或多个实施方式的示例性成像系统的简化框图。光源和图像处理系统2110可以被配置为组合提供给内窥镜2100的光输入端口2112的激光和白光。二向色分束器2114可以被配置为将来自由IR激光控制器2118控制的IR激光二极管2116的激光与来自由白光控制器2122控制的白光LED 2120的白光组合。
来自光源的光可以被引导通过内窥镜2100的远端部并且可以入射在手术部位上。从手术部位返回或反射的光可以通过内窥镜传输到适配器器件2108上。适配器器件2108中的二向色分束器2124可以将波长大于800纳米(nm)的光传给单色近红外(NIR)相机2126。波长小于800nm的光可以传给RGB彩色相机2102。NIR相机2126可以生成由图像处理系统2128处理的传感器信号。RGB彩色相机2102可以生成由相机视频处理器2104处理的传感器信号,相机视频处理器2104可以使用处理后的传感器信号来生成标准RGB视频流。RGB视频流可以提供给图像处理系统2128。
图像处理系统2128可以被配置为根据从NIR相机2126接收的传感器信号进行激光散斑对比成像。图像处理系统2128可以被配置为将激光散斑对比成像与由视频处理器2104输出的标准RGB视频流相结合以产生可以在显示器2106上显示的视频输出。
激光散斑对比图像和手术部位的标准RGB图像可以分开显示或一起显示。举例来说,激光散斑对比图像可以叠加在手术部位的标准图像上。图14A是来自在显示器2106上显示的标准RGB手术视频的示例性屏幕截图。图14B示出了在显示器2106上显示的相应的激光散斑对比图像。在这个示例中,图14B中突出显示的部分可以指示场景中存在血流的一个或多个区域。图14C示出了叠加在图14A的标准图像上的图14B的激光散斑对比图像。用户可以根据需要在所显示的每种类型的图像之间进行切换。
图15是图示了根据一个或多个实施方式的用于进行深度成像和激光散斑成像的相机2130的简化框图。相机2130可以使用深度成像处理器2128从两个或多个传感器2132生成立体深度数据。可以使用来自第三传感器2134的数据来进行激光散斑对比成像。图像处理器2138可以被配置为处理来自一个或多个传感器的数据以供视频输出。
图16图示了用于进行高光谱成像、深度成像和激光散斑成像的替代相机2140的简化框图。立体深度成像可以使用现场可编程门阵列(FPGA)2142进行处理。立体深度成像可以在被FPGA处理之前进行帧同步。在一个或多个实施方式中,器件可以在一个或多个传感器2144处每隔一帧(对于有效的每秒30帧(FPS)视频)获取交替的白光和高光谱光。每秒60帧(FPS)的视频可以在未启用高光谱模式时使用。激光散斑数据可以用第三传感器2146同时采集。
现在参考图17,示出了可以与本文描述的医疗成像系统一起使用的示例性计算节点的示意图。计算节点3010仅是适合的计算节点的一个示例且并不旨在暗示对本文描述的实施方式的使用范围或功能性做任何限制。无论如何,计算节点3010都可以能够被实现和/或实行上文中阐述的任何功能。
在计算节点3010中,可以有计算机系统/服务器3012,其可与许多其他通用或专用计算系统、环境或配置一起操作。可以适用于与计算机系统/服务器3012一起使用的众所周知的计算系统、环境和/或配置的示例包括但不限于:个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持或膝上型器件、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机系统、大型计算机系统,以及包括任何上述系统或器件的分布式云计算环境等。
计算机系统/服务器3012可以在一般由计算机系统执行的计算机系统可执行指令(例如程序模块)构成的语境下被描述。一般地,程序模块可以包括进行特定任务或实现特定抽象数据类型的例行程序、程序、对象、成分、逻辑、数据结构等。计算机系统/服务器3012可以在分布式云计算环境中进行实际操作,在该环境下,任务由通过通讯网络链接的远程处理器件来进行。在分布式云计算环境中,程序模块可以定位在本地和远程的包括存储器储存器件的计算机系统储存介质中。
如图17所示,计算节点3010中的计算机系统/服务器3012采用通用计算器件的形式来示出。计算机系统/服务器3012的部件可以包括但不限于:一个或多个处理器或处理单元3016、系统存储器3028,以及总线3018,其将包括系统存储器3028在内的各种系统部件耦合到处理器3016上。
总线3018可以由若干种类型的总线结构中的任一种类型中的一个或多个组成,包括存储器总线或存储器控制器、外围总线、加速图形端口,以及处理器或使用多种总线架构中的任一种的本地总线。举例而非限制地,这种架构包括工业标准架构(ISA)总线、微型通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线,以及外围部件互连(PCI)总线。
计算机系统/服务器3012可以包括多种计算机系统可读介质。这种介质可以是计算机系统/服务器3012易访问的任何可用介质,并且可以包括易失性和非易失性介质、可拆除和不可拆除介质。
系统存储器3028可以包括采用易失性存储器(诸如随机存取存储器(RAM)3030和/或高速缓存3032)形式的计算机系统可读介质。计算机系统/服务器3012可以进一步包括其他可拆除/不可拆除、易失性/非易失性计算机系统储存介质。仅举例地,储存系统3034可以被提供用于从不可拆除、非易失性磁性介质(未示出且通常称为“硬盘驱动器”)中读取数据和向其写入数据。尽管未示出,但用于从可拆除、非易失性磁盘(例如“软盘”)中读取数据和向其写入数据的磁盘驱动器,以及用于从可拆除、非易失性光盘(诸如CD-ROM、DVD-ROM或其他光学介质)中读取数据或向其写入数据的光盘驱动器都可以被提供。在这种情况下,每个介质都可以通过一个或多个数据介质接口连接到总线3018上。如下文将进一步描绘和描述那样,存储器3028可以包括至少一个程序产品,其具有一组(例如,至少一个)程序模块,该程序模块被配置为实施本公开的实施方式的功能。
具有一组(至少一个)程序模块3042的程序/实用程序3040(举例而非限制地,还有操作系统、一个或多个应用程序、其他程序模块和程序数据)均可以储存在存储器3028中。操作系统、一个或多个应用程序、其他程序模块和程序数据中的每一个或其一些组合均可以包括对联网环境的实现。程序模块3042一般实施本文所描述的实施方式的功能和/或方法。
计算机系统/服务器3012还可以与一个或多个外部器件3014(诸如键盘、指示器件、显示器3024等;使用户能够与计算机系统/服务器3012交互的一个或多个器件;和/或使计算机系统/服务器3012能够与一个或多个其他计算器件通信的任何器件(例如,网卡、调制解调器等))进行通信。这种通信可以经由输入/输出(I/O)接口3022而发生。尽管如此计算机系统/服务器3012还可以经由网络适配器3020与一个或多个网络(诸如局域网(LAN)、通用广域网(WAN),和/或公共网络(例如,因特网))进行通信。如所述那样,网络适配器3020经由总线3018与计算机系统/服务器3012的其他部件进行通信。应当理解地是,虽然未示出,但其他硬件和/或软件部件可以与计算机系统/服务器3012相结合使用。示例包括但不限于:微代码、器件驱动程序、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据存档储存系统等。
本公开提供了一种系统、方法和/或计算机程序产品。计算机程序产品可以包括其上存有用于使处理器实施本公开的方案的计算机可读程序指令的计算机可读储存介质(或多个介质)。
计算机可读储存介质可以是能够保留和储存指令以供指令执行器件使用的有形器件。计算机可读储存介质可以是例如但不限于:电子储存器、磁储存器、光储存器、电磁储存器、半导体储存器,或前述的任何适合的组合。计算机可读储存介质的更具体示例的非详尽列表包括以下:便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码器(诸如穿孔卡或凹槽中记录有指令的凸起结构),以及前述的任何适合的组合。如本文所用,计算机可读储存介质不应被解释为本身的瞬态信号(诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,通过光纤电缆的光脉冲)或通过电线传输的电信号)。
本文所述的计算机可读程序指令可以从计算机可读储存介质下载到相应的计算/处理器件上或经由网络(例如,因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部储存器上。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理器件中的网络适配器卡或网络接口都从网络接收计算机可读程序指令并转发计算机可读程序指令以供储存在相应计算/处理器件内的计算机可读储存介质中。
用于实施本公开操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据,或者以一种或多种编程语言(包括面向对象的编程语言,例如Smalltalk、C++等)和常规过程编程语言(例如“C”编程语言或类似编程语言)的任意组合编写的源代码或对象代码。计算机可读程序指令,作为独立软件包,可以完全在用户计算机上、部分在用户计算机上、部分在用户计算机上且部分在远程计算机上,或完全在远程计算机或服务器上被执行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机上,或者可以与外部计算机建立连接(例如,通过使用因特网服务提供商的因特网)。在各种实施方式中,包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)在内的电子电路可以通过使用计算机可读程序指令的状态信息来执行计算机可读程序指令从而个性化电子电路,以便实行本公开的方案。
本文参考根据本公开的实施方式的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的方案。将理解的是,流程图图示和/或框图中的每个框,以及流程图图示和/或框图中的多个框的组合,都可以通过计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机,或其他可编程数据处理装置的处理器以带来机械手段,使得这些指令(经由计算机或其他可编程数据处理装置的处理器来执行)创造了用于实现流程图和/或框图中的一个或多个框中指定的功能/动作的手段。这些计算机可读程序指令还可以储存在计算机可读储存介质中,该计算机可读储存介质可以引导计算机、可编程数据处理装置和/或其他器件以特定方式起作用,如此,其中储存有指令的计算机可读储存介质由制造产品组成,该产品包括实现流程图和/或框图中一个或多个框中指定的功能/动作方案的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他器件上,从而引起在计算机、其他可编程装置或其他器件上进行一系列操作步骤以建立由计算机实现的处理过程,使得这些指令(在计算机,其他可编程装置或其他器件上执行)可以实现流程图和/或框图中的一个或多个框中指定的功能/动作。
附图中的流程图和框图图示了根据本公开的各种实施方式的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言,流程图或框图中的每个框都可以代表指令(由用于实现指定逻辑功能的一个或多个可执行指令组成)的模块、片段或部分。在各种替代实施方式中,框中指示的功能可以不按图中指示的顺序发生。例如,取决于所涉及的功能,实际上可以基本上同时执行连续示出的两个框,或者有时可以以相反的顺序执行这些框。还应注意到,框图和/或流程图图示中的每个框,以及框图和/或流程图图示中的多个框的组合,可以由实行指定功能或动作,或执行专用硬件和计算机指令组合的基于专用硬件的系统来实现。
本公开的各种实施方式的描述已经出于说明的目的而给出,但并不旨在穷举或限于所公开的实施方式。在不脱离所描述的实施方式的范围和精神的情况下,许多修改和变型对于本领域普通技术人员来说将是容易理解的。选择本文所用的术语是为了最好地解释实施方式的原理、对市场上发现的技术的实际应用或技术上的改进,或者是使本领域普通技术人员能够理解本文公开的实施方式。
虽然本文已经示出和描述了本发明的优选实施方式,但是对于本领域技术人员来说,容易理解地是这些实施方式仅作为示例而被提供。本发明并不旨在受限于说明书中提供的具体实施方式。虽然已经参考前述说明书描述了本发明,但是本文的实施方式的描述和说明并不意味着被解释为限制性的。在不脱离本发明的情况下,本领域技术人员现在将会想到许多变型、改变和替换。此外,应当理解地是,本发明的所有方案都不受限于本文阐述的取决于各种条件和变量的具体描述、配置或相对比例。应当理解地是,在实践本发明时可以采用本文所述的本发明的实施方式的各种替代例。因此,可以预期本发明还应涵盖任何这样的替代例、改进例、变型例或等同例。以下的权利要求旨在限定本发明的范围,则在这些权利要求及其等同物范围内的方法和结构都由此被涵盖。

Claims (27)

1.一种光学适配器,包括:
壳体,所述壳体包括(1)被配置为可释放地耦合到观测镜上的第一部分和(2)被配置为可释放地耦合到相机上的第二部分;
图像传感器,所述图像传感器可操作地耦合到所述壳体上,其中所述壳体的所述第二部分与所述相机之间的可释放耦合独立于所述图像传感器与所述壳体之间的耦合;以及
光学组件,所述光学组件被布置在所述壳体中,其中所述光学组件被配置为(i)接收从受检者体内的目标部位反射并通过所述观测镜传输的光信号,和(ii)反射所述光信号的第一部分到所述图像传感器上,同时允许所述光信号的第二部分传给所述相机,以实现所述目标部位的多波长成像,
其中反射到所述图像传感器上的所述光信号的所述第一部分包括从700nm至1mm的至少一个波长,并且传给所述相机的所述光信号的所述第二部分包括从400nm至700nm的至少一个波长。
2.根据权利要求1所述的光学适配器,其中所述图像传感器与所述壳体之间的所述耦合是可释放的,使得所述图像传感器可释放地耦合到所述壳体上。
3.根据权利要求1所述的光学适配器,其中所述图像传感器被配置为从所述光信号的所述第一部分生成第一组成像数据,而所述相机被配置为从所述光信号的所述第二部分生成第二组成像数据。
4.根据权利要求3所述的光学适配器,其中所述第一组成像数据包括激光散斑图案,而所述第二组成像数据包括照片或视频图像。
5.根据权利要求1所述的光学适配器,其中所述图像传感器被配置用于激光散斑成像。
6.根据权利要求1所述的光学适配器,其中所述光学组件包括分束器。
7.根据权利要求6所述的光学适配器,其中所述分束器包括二向色镜。
8.根据权利要求1所述的光学适配器,其中所述光学组件包括短通二向色镜。
9.根据权利要求1所述的光学适配器,其中所述光信号的所述第一部分包括背向散射光,在所述目标部位被经由所述观测镜传输的相干激光照射时生成所述背向散射光。
10.根据权利要求9所述的光学适配器,其中所述观测镜可操作地耦合到(1)具有处于不可见光谱中的基本单一波长的单一激光源,其中所述单一激光源被配置为将所述相干激光通过所述观测镜传输到所述目标部位或(2)具有处于不可见光谱中的多个不同波长的多个激光源,其中来自所述多个激光源的所述相干激光被组合并通过所述观测镜传输到所述目标部位。
11.根据权利要求1所述的光学适配器,其中所述光信号的所述第二部分包括反射光,其在所述目标部位被经由所述观测镜传输的白光照射时生成,其中所述反射光在可见光谱中。
12.根据权利要求1所述的光学适配器,其中所述壳体的所述第一部分被配置为使用快速释放机构可释放地耦合到所述观测镜上。
13.根据权利要求12所述的光学适配器,其中所述快速释放机构被配置为将所述光学适配器可释放地耦合到所述观测镜上,其中所述观测镜选自多种不同类型的具有多种不同尺寸的观测镜。
14.根据权利要求12所述的光学适配器,其中所述快速释放机构被配置为允许用户在不使用工具的情况下将所述壳体的所述第一部分可释放地耦合到所述观测镜上。
15.根据权利要求1所述的光学适配器,其中所述壳体的所述第二部分被配置为使用快速释放机构可释放地耦合到所述相机上。
16.根据权利要求15所述的光学适配器,其中所述快速释放机构被配置为将所述光学适配器可释放地耦合到所述相机上,其中所述相机选自多种不同类型的具有多种不同尺寸的相机。
17.根据权利要求15所述的光学适配器,其中所述快速释放机构被配置为允许用户在不使用工具的情况下将所述壳体的所述第二部分可释放地耦合到所述相机上。
18.根据权利要求1所述的光学适配器,其中所述光学组件进一步包括用于所述图像传感器的聚焦器件。
19.根据权利要求1所述的光学适配器,其中所述光学组件进一步包括(i)用于所述图像传感器的第一聚焦器件,和(ii)用于所述相机的第二聚焦器件。
20.根据权利要求19所述的光学适配器,其中所述第一聚焦器件和所述第二聚焦器件彼此耦合,使得能够对所述图像传感器和所述相机同时进行聚焦。
21.根据权利要求19所述的光学适配器,其中所述第一聚焦器件和所述第二聚焦器件经由齿轮机构可操作地彼此耦合。
22.根据权利要求19所述的光学适配器,其中所述第一聚焦器件和所述第二聚焦器件被分开设置并且被配置为彼此独立操作。
23.根据权利要求1所述的光学适配器,其中所述观测镜被配置为(1)接收来自照明源的组合光束,和(2)将所述组合光束引导到所述目标部位上。
24.根据权利要求1所述的光学适配器,其中所述壳体的所述第一部分和所述第二部分具有相同纵向轴线。
25.根据权利要求1所述的光学适配器,其中所述图像传感器和所述相机具有不同的光轴。
26.根据权利要求1所述的光学适配器,其中所述图像传感器的光轴与所述相机的光轴基本正交。
27.根据权利要求1所述的光学适配器,其中所述目标部位的所述多波长成像是在不使用染料的情况下实现的。
CN202080041975.2A 2019-04-08 2020-04-06 用于医疗成像的系统和方法 Active CN113950279B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962830934P 2019-04-08 2019-04-08
US62/830,934 2019-04-08
US201962952892P 2019-12-23 2019-12-23
US62/952,892 2019-12-23
PCT/US2020/026920 WO2020210168A1 (en) 2019-04-08 2020-04-06 Systems and methods for medical imaging

Publications (2)

Publication Number Publication Date
CN113950279A CN113950279A (zh) 2022-01-18
CN113950279B true CN113950279B (zh) 2023-04-14

Family

ID=72750598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080041975.2A Active CN113950279B (zh) 2019-04-08 2020-04-06 用于医疗成像的系统和方法

Country Status (7)

Country Link
US (3) US10925465B2 (zh)
EP (1) EP3952720A4 (zh)
JP (1) JP2022526626A (zh)
KR (1) KR20220021920A (zh)
CN (1) CN113950279B (zh)
CA (1) CA3132350A1 (zh)
WO (1) WO2020210168A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11268791B1 (en) * 2014-05-23 2022-03-08 Vista Outdoor Operations Llc Handgun cartridge with shear groove bullet
JP7076447B2 (ja) 2016-11-24 2022-05-27 ユニヴァーシティ オブ ワシントン ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
US10925598B2 (en) 2018-07-16 2021-02-23 Ethicon Llc Robotically-assisted surgical suturing systems
EP3667299B1 (en) * 2018-12-13 2022-11-09 Imec VZW Multimodal imaging system
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル, インコーポレイテッド 医療撮像のためのシステムおよび方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
US20210127957A1 (en) * 2019-10-31 2021-05-06 Inthesmart Co., Ltd. Apparatus for intraoperative identification and viability assessment of tissue and method using the same
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11648060B2 (en) * 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US20220061644A1 (en) * 2020-08-27 2022-03-03 Nokia Technologies Oy Holographic endoscope
US12034904B2 (en) 2020-09-23 2024-07-09 Proprio, Inc. Endoscopic imaging systems for generating three dimensional images, and associated systems and methods
EP4243672A1 (en) * 2020-11-16 2023-09-20 Alcon Inc. Ophthalmic endoscope utilizing near-infrared spectrum
CA3200540A1 (en) * 2020-12-04 2022-06-09 Bogdan MITREA Systems and methods for providing surgical guidance
WO2023091515A1 (en) * 2021-11-16 2023-05-25 Activ Surgical, Inc. Systems and methods for medical imaging
WO2023205456A1 (en) * 2022-04-22 2023-10-26 Activ Surgical, Inc. Methods and systems for medical imaging with multi-modal adaptor coupling
US12082782B2 (en) * 2022-09-30 2024-09-10 Karl Storz Imaging, Inc. Optical image stabilization and active alignment of sensors in endoscopic camera systems and methods of using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102770071A (zh) * 2009-12-15 2012-11-07 爱默蕾大学 用于在诊断或治疗程序中提供实时解剖学指导的系统和方法

Family Cites Families (277)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5652031A (en) * 1979-10-02 1981-05-09 Olympus Optical Co Endoscope system
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
GB9515311D0 (en) 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
DE19636354A1 (de) 1996-09-02 1998-03-05 Ruedger Dipl Ing Rubbert Verfahren und Vorrichtung zur Durchführung von optischen Aufnahmen
US5980450A (en) * 1997-05-07 1999-11-09 Pinotage, Llc Coupling device for use in an imaging system
US6069698A (en) 1997-08-28 2000-05-30 Olympus Optical Co., Ltd. Optical imaging apparatus which radiates a low coherence light beam onto a test object, receives optical information from light scattered by the object, and constructs therefrom a cross-sectional image of the object
US6081322A (en) 1997-10-16 2000-06-27 Research Foundation Of State Of New York NIR clinical opti-scan system
US6373963B1 (en) 1998-02-05 2002-04-16 Textile/Clothing Technology Corporation Systems, methods and computer program for measuring the surface contour of an object
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
DE19829278C1 (de) 1998-06-30 2000-02-03 Sirona Dental Systems Gmbh 3-D-Kamera zur Erfassung von Oberflächenstrukturen, insbesondere für zahnmedizinische Zwecke
IL125659A (en) 1998-08-05 2002-09-12 Cadent Ltd Method and device for three-dimensional simulation of a structure
DE19837932C2 (de) 1998-08-20 2000-09-07 Bioshape Ag Verfahren und Vorrichtung zur Ermittlung der Oberflächenform von biologischem Gewebe
US7137948B2 (en) * 1998-11-25 2006-11-21 Jory Tsai Medical inspection device
US7068825B2 (en) 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US7107116B2 (en) 1999-03-29 2006-09-12 Genex Technologies, Inc. Diffuse optical tomography system and method of use
US7099732B2 (en) 1999-03-29 2006-08-29 Genex Technologies, Inc. Sanitary sleeve or tip for intra-oral three-dimensional camera
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
CA2278108C (en) 1999-07-20 2008-01-29 The University Of Western Ontario Three-dimensional measurement method and apparatus
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
ES2180481T3 (es) 2000-04-05 2003-02-16 Brainlab Ag Referenciacion de un paciente en un sistema de navegacion medica, utilizando puntos luminosos proyectados.
US6564086B2 (en) 2000-05-03 2003-05-13 Rocky Mountain Biosystems, Inc. Prosthesis and method of making
EP1301118B1 (en) * 2000-07-14 2006-09-06 Xillix Technologies Corp. Compact fluorescence endoscopy video system
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
JP2002164066A (ja) 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP2002345733A (ja) 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
US20060178556A1 (en) 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
JP2003075137A (ja) 2001-09-04 2003-03-12 Minolta Co Ltd 撮影システム並びにそれに用いられる撮像装置および3次元計測用補助ユニット
JP3962588B2 (ja) 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
US8194122B2 (en) * 2002-03-12 2012-06-05 Karl Storz Imaging, Inc. Universal scope reader
JP4054222B2 (ja) * 2002-06-05 2008-02-27 オリンパス株式会社 内視鏡装置用光源装置
AU2003253626A1 (en) 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US20110015518A1 (en) 2002-06-13 2011-01-20 Martin Schmidt Method and instrument for surgical navigation
US6977732B2 (en) 2002-12-26 2005-12-20 National Taiwan University Miniature three-dimensional contour scanner
DE10304111B4 (de) 2003-01-31 2011-04-28 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts
JP4798945B2 (ja) 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置
EP1606576A4 (en) 2003-03-24 2006-11-22 D3D L P LASER DIGITIZER SYSTEM FOR DENTAL MEDICAL APPLICATIONS
WO2005033620A2 (en) 2003-09-12 2005-04-14 Biopticon Corporation Methods and systems for measuring the size and volume of features on live tissue
US20050096515A1 (en) 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
US7951073B2 (en) 2004-01-21 2011-05-31 Boston Scientific Limited Endoscopic device having spray mechanism and related methods of use
US7330577B2 (en) 2004-01-27 2008-02-12 Densys Ltd. Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
DE602005004332T2 (de) * 2004-06-17 2009-01-08 Cadent Ltd. Verfahren zum Bereitstellen von Daten im Zusammenhang mit der Mundhöhle
JP4589048B2 (ja) 2004-08-04 2010-12-01 オリンパス株式会社 カプセル型内視鏡
US7961912B2 (en) 2004-10-14 2011-06-14 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7620209B2 (en) 2004-10-14 2009-11-17 Stevick Glen R Method and apparatus for dynamic space-time imaging system
WO2006063246A1 (en) 2004-12-08 2006-06-15 The General Hospital Corporation System and method for normalized fluorescence or bioluminescence imaging
US8027710B1 (en) 2005-01-28 2011-09-27 Patrick Dannan Imaging system for endoscopic surgery
EP1759629B1 (en) 2005-08-31 2014-04-02 Karl Storz GmbH & Co. KG Endoscope with variable direction of view
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
WO2007043899A1 (en) 2005-10-14 2007-04-19 Applied Research Associates Nz Limited A method of monitoring a surface feature and apparatus therefor
KR100752758B1 (ko) 2005-10-19 2007-08-29 (주) 인텍플러스 영상 측정 장치 및 그 방법
US7898651B2 (en) 2005-10-24 2011-03-01 General Electric Company Methods and apparatus for inspecting an object
US20070115484A1 (en) 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
US7489408B2 (en) 2005-11-15 2009-02-10 General Electric Company Optical edge break gage
WO2007059780A1 (en) 2005-11-28 2007-05-31 3Shape A/S Coded structured light
DE102005060312A1 (de) 2005-12-16 2007-06-28 Siemens Ag Abtasteinrichtung zur optischen Abtastung von Oberflächen
DE102006004583A1 (de) 2006-02-01 2007-08-09 Siemens Ag Optische Abtasteinrichtung
JP5044126B2 (ja) 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
US8084753B2 (en) 2006-03-20 2011-12-27 Baylor College Of Medicine Method and system for non-contact fluorescence optical tomography with patterned illumination
JP4864511B2 (ja) 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム
US7435217B2 (en) 2006-04-17 2008-10-14 Microvision, Inc. Scanned beam imagers and endoscopes with positionable light collector
DE502006003187D1 (de) 2006-05-31 2009-04-30 Brainlab Ag Registrierung mittels Strahlungsmarkierungselementen
US9247865B2 (en) 2006-05-31 2016-02-02 National University Corporation Chiba University Three-dimensional-image forming device, three dimensional-image forming method and program
US20110057930A1 (en) 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
US20080107305A1 (en) 2006-11-02 2008-05-08 Northern Digital Inc. Integrated mapping system
US8556807B2 (en) 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US7995798B2 (en) 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
ES2372515B2 (es) 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US9072445B2 (en) 2008-01-24 2015-07-07 Lifeguard Surgical Systems Inc. Common bile duct surgical imaging system
US7821649B2 (en) 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis
JP2009240621A (ja) 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
US10018464B2 (en) 2008-05-06 2018-07-10 Flashscan3D, Llc System and method for structured light illumination with frame subwindows
US20100113921A1 (en) 2008-06-02 2010-05-06 Uti Limited Partnership Systems and Methods for Object Surface Estimation
DE102008040947B4 (de) 2008-08-01 2014-02-06 Sirona Dental Systems Gmbh 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation
US8593507B2 (en) 2008-08-03 2013-11-26 Microsoft International Holdings B.V. Rolling camera system
WO2010019515A2 (en) 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US9282926B2 (en) 2008-12-18 2016-03-15 Sirona Dental Systems Gmbh Camera for recording surface structures, such as for dental purposes
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
WO2010096447A2 (en) 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Quantitative imaging with multi-exposure speckle imaging (mesi)
WO2010096453A1 (en) 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Methods of producing laser speckle contrast images
US9135502B2 (en) 2009-05-11 2015-09-15 Universitat Zu Lubeck Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
US7763841B1 (en) 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
US9554692B2 (en) 2009-06-18 2017-01-31 EndoChoice Innovation Ctr. Ltd. Multi-camera endoscope
US9706903B2 (en) * 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
JP5361592B2 (ja) 2009-07-24 2013-12-04 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
KR20110018696A (ko) 2009-08-18 2011-02-24 주식회사 이턴 입체 영상 처리 장치 및 방법
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
WO2011023339A1 (de) 2009-08-27 2011-03-03 Naviswiss Ag Endoskop und verfahren zu dessen verwendung
CN102596019B (zh) 2009-09-04 2014-12-10 约翰斯·霍普金斯大学 多模激光斑点成像
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US20110080471A1 (en) 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
US10045882B2 (en) 2009-10-30 2018-08-14 The Johns Hopkins University Surgical instrument and systems with integrated optical sensor
US20110123098A1 (en) 2009-11-24 2011-05-26 Maurice Moshe Ernst System and a Method for Three-dimensional Modeling of a Three-dimensional Scene Features with a Cooling System
US20120206587A1 (en) 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8723923B2 (en) 2010-01-14 2014-05-13 Alces Technology Structured light system
WO2011098927A1 (en) 2010-02-12 2011-08-18 Koninklijke Philips Electronics N.V. Laser enhanced reconstruction of 3d surface
EP2359745A1 (en) * 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US20130253313A1 (en) 2010-08-02 2013-09-26 The Johns Hopkins University Autofocusing endoscope and system
US9833145B2 (en) * 2010-08-11 2017-12-05 Snu R&Db Foundation Method for simultaneously detecting fluorescence and raman signals for multiple fluorescence and raman signal targets, and medical imaging device for simultaneously detecting multiple targets using the method
US9157733B2 (en) 2010-09-10 2015-10-13 Dimensional Photonics International, Inc. Method of data acquisition for three-dimensional imaging
WO2012040297A2 (en) 2010-09-21 2012-03-29 The Johns Hopkins University Optical sensing system for cochlear implant surgery
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
CN102008282B (zh) 2010-10-29 2012-08-08 深圳大学 数字印模口内扫描仪及口腔内表面形貌图像实时重建系统
EP2637553A2 (en) * 2010-11-12 2013-09-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US9506749B2 (en) 2010-11-15 2016-11-29 Seikowave, Inc. Structured light 3-D measurement module and system for illuminating an area-under-test using a fixed-pattern optic
US9599461B2 (en) 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
US8649024B2 (en) 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US20120165681A1 (en) 2010-12-23 2012-06-28 Tyco Healthcare Group Lp Delineating Skin or Surface Lesions
CA2824134C (en) 2011-01-10 2019-05-14 East Carolina University Methods, systems and computer program products for noninvasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US9226673B2 (en) 2011-01-10 2016-01-05 East Carolina University Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
WO2012154578A1 (en) 2011-05-06 2012-11-15 The Trustees Of The University Of Pennsylvania Ped - endoscope image and diagnosis capture system
JP5841353B2 (ja) 2011-05-24 2016-01-13 オリンパス株式会社 内視鏡装置および画像取得方法
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
JP5846763B2 (ja) 2011-05-24 2016-01-20 オリンパス株式会社 内視鏡装置
US8699138B2 (en) * 2011-06-01 2014-04-15 Nathaniel Group, Inc. Multi-wavelength multi-lamp radiation sources and systems and apparatuses incorporating same
US8792098B2 (en) 2011-06-01 2014-07-29 Digital Light Innovations System and method for hyperspectral illumination
US8891087B2 (en) 2011-06-01 2014-11-18 Digital Light Innovations System and method for hyperspectral imaging
US9001190B2 (en) 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
KR20130011141A (ko) 2011-07-20 2013-01-30 삼성전자주식회사 내시경 및 내시경 시스템
US9444981B2 (en) 2011-07-26 2016-09-13 Seikowave, Inc. Portable structured light measurement module/apparatus with pattern shifting device incorporating a fixed-pattern optic for illuminating a subject-under-test
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
DE102011119608B4 (de) 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
EP2823462B1 (en) 2012-03-05 2019-10-16 Microsoft Technology Licensing, LLC Generation of depth images based upon light falloff
JP5654511B2 (ja) 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2013136620A1 (ja) 2012-03-14 2013-09-19 独立行政法人産業技術総合研究所 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
JP5995484B2 (ja) 2012-03-30 2016-09-21 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法、及びプログラム
KR102214789B1 (ko) 2012-04-16 2021-02-09 칠드런스 내셔널 메디컬 센터 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템
WO2013160861A1 (en) 2012-04-27 2013-10-31 Aïmago S.A. Optical coherent imaging medical device
WO2013165399A2 (en) 2012-05-01 2013-11-07 Empire Technology Development Llc Infrared scanner and projector to indicate cancerous cells
US20130296712A1 (en) 2012-05-03 2013-11-07 Covidien Lp Integrated non-contact dimensional metrology tool
JP5930531B2 (ja) 2012-05-24 2016-06-08 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
US9674436B2 (en) 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
US9471864B2 (en) 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
US8882662B2 (en) * 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140031665A1 (en) 2012-07-25 2014-01-30 Covidien Lp Telecentric Scale Projection System for Real-Time In-Situ Surgical Metrology
JP6005278B2 (ja) 2012-07-25 2016-10-12 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 特に透過性かつ散乱性の表面における三次元測定のためのカラーコーディング
EP2801315B1 (en) 2012-08-07 2018-12-05 Olympus Corporation Scanning endoscope apparatus
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US9297889B2 (en) 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
US9057784B2 (en) 2012-08-14 2015-06-16 Microsoft Technology Licensing, Llc Illumination light shaping for a depth camera
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US9070194B2 (en) 2012-10-25 2015-06-30 Microsoft Technology Licensing, Llc Planar surface detection
CN104919272B (zh) 2012-10-29 2018-08-03 7D外科有限公司 集成照明及光学表面拓扑检测系统及其使用方法
DE102012021185A1 (de) 2012-10-30 2014-04-30 Smart Optics Sensortechnik Gmbh Verfahren zur optischen 3D-Vermessung von Zähnen mit verkleinerter Point-Spread-Funktion
US9304603B2 (en) 2012-11-12 2016-04-05 Microsoft Technology Licensing, Llc Remote control using depth camera
WO2014121116A2 (en) 2013-02-01 2014-08-07 Deka Products Limited Partnership Endoscope with pannable camera
US9788903B2 (en) 2013-02-04 2017-10-17 Children's National Medical Center Hybrid control surgical robotic system
AU2014211981A1 (en) 2013-02-04 2015-08-20 D4D Technologies, Llc Intra-oral scanning device with illumination frames interspersed with image frames
DK2956084T3 (da) 2013-02-13 2022-10-31 3Shape As Fokusscanningsapparat til registrering af farve
CN104036226B (zh) 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
US9351643B2 (en) 2013-03-12 2016-05-31 Covidien Lp Systems and methods for optical measurement for in-situ surgical applications
US9375844B2 (en) 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9294758B2 (en) 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
US9407838B2 (en) 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
US9074868B2 (en) 2013-05-13 2015-07-07 General Electric Company Automated borescope measurement tip accuracy test
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
WO2014192876A1 (ja) 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
EP4105640A1 (en) * 2013-06-19 2022-12-21 The General Hospital Corporation Apparatus, devices and methods for obtaining omnidirectional viewing by a catheter
DE102013016752A1 (de) 2013-09-03 2015-03-05 Universität Stuttgart Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT)
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9799117B2 (en) 2013-09-30 2017-10-24 Lenovo (Beijing) Co., Ltd. Method for processing data and apparatus thereof
US20150099926A1 (en) 2013-10-03 2015-04-09 Endochoice, Inc. Endoscope with Integrated Sensors
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
CA2931529C (en) 2013-11-27 2022-08-23 Children's National Medical Center 3d corrected imaging
US20160302880A1 (en) 2013-12-10 2016-10-20 Koninklijke Philips N.V. Magetic resonance coil assembly for fiducial markers
CN105829829B (zh) 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
WO2015103566A2 (en) 2014-01-06 2015-07-09 The Regents Of The University Of California Spatial frequency domain imaging using custom patterns
US10438346B2 (en) 2014-01-07 2019-10-08 The Regents Of The University Of California Method for extraction of spatial frequency information for quantitative tissue imaging
CN105917358B (zh) 2014-01-10 2020-03-24 株式会社高永科技 三维形状测定装置及方法
US9720506B2 (en) 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
WO2015120020A1 (en) 2014-02-04 2015-08-13 The Trustees Of Dartmouth College Apparatus and methods for structured light scatteroscopy
WO2015123699A1 (en) 2014-02-17 2015-08-20 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
US9380224B2 (en) 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
US9545220B2 (en) 2014-03-02 2017-01-17 V.T.M (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement system and method
DE102014204243A1 (de) 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
DE102014204244A1 (de) 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
WO2015151098A2 (en) 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
DE102014207022A1 (de) 2014-04-11 2015-10-29 Siemens Aktiengesellschaft Tiefenbestimmung einer Oberfläche eines Prüfobjektes
DE102014207315A1 (de) * 2014-04-16 2015-10-22 Spheronvr Ag Kameraanordnung
DE102014210938A1 (de) 2014-06-06 2015-12-17 Siemens Aktiengesellschaft Verfahren zum Steuern eines medizinischen Gerätes sowie Steuerungssystem für ein medizinisches Gerät
US20150377613A1 (en) 2014-06-30 2015-12-31 Samsung Electronics Co., Ltd. Systems and methods for reconstructing 3d surfaces of tubular lumens
US9261358B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Chromatic confocal system
US9261356B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Confocal surface topography measurement with fixed focal positions
US9439568B2 (en) 2014-07-03 2016-09-13 Align Technology, Inc. Apparatus and method for measuring surface topography optically
US10398294B2 (en) 2014-07-24 2019-09-03 Z Square Ltd. Illumination sources for multicore fiber endoscopes
CN105509639B (zh) 2014-09-24 2019-01-01 通用电气公司 用来测量几何特征的测量系统和测量方法
US10039439B2 (en) 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
JP6813245B2 (ja) 2014-10-14 2021-01-13 イースト カロライナ ユニバーシティ 単一の画像上で解剖学的データと生理学的データとを結合するためのシステムの作動方法、コンピュータシステム、及び単一の画像上で解剖学的データと生理学的データとを結合するためのプログラムが記録された記録媒体
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
CA2963866C (en) 2014-10-14 2023-11-07 East Carolina University Methods, systems and computer program products for determining hemodynamic status parameters using signals derived from multispectral blood flow and perfusion imaging
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
JP6432770B2 (ja) 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US9841496B2 (en) 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9330464B1 (en) 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
WO2016119840A1 (en) 2015-01-28 2016-08-04 Brainlab Ag Light point identification method
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
CN107431800A (zh) 2015-02-12 2017-12-01 奈克斯特Vr股份有限公司 用于进行环境测量和/或使用此类测量的方法和装置
US9953428B2 (en) 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
KR102376954B1 (ko) 2015-03-06 2022-03-21 삼성전자주식회사 홍채를 촬영하기 위한 광을 조사하는 방법 및 그 디바이스
US9955140B2 (en) 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging
KR102306539B1 (ko) 2015-03-12 2021-09-29 삼성전자주식회사 홍채를 촬영하기 위하여 이용되는 광을 조사하는 방법 및 디바이스
US10390718B2 (en) 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
US10058256B2 (en) 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
DE102015206511B4 (de) 2015-04-13 2023-10-19 Siemens Healthcare Gmbh Ermittlung einer eindeutigen räumlichen Relation eines medizinischen Geräts zu einem weiteren Objekt
US9690984B2 (en) 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
EP3291725B1 (en) 2015-05-07 2024-07-24 Stryker Corporation Methods and systems for laser speckle imaging of tissue using a color image sensor
US10356392B2 (en) 2015-05-28 2019-07-16 University College Cork—National Univesity of Ireland, Cork Coded access optical sensor
CN107072498B (zh) 2015-06-30 2019-08-20 奥林巴斯株式会社 图像处理装置、胶囊型内窥镜系统以及内窥镜系统
WO2017006574A1 (ja) 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
CA2987058C (en) 2015-07-13 2019-03-19 Synaptive Medical (Barbados) Inc. System and method for providing a contour video with a 3d surface in a medical navigation system
US9958585B2 (en) 2015-08-17 2018-05-01 Microsoft Technology Licensing, Llc Computer vision depth sensing at video rate using depth from defocus
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US9955861B2 (en) 2015-10-16 2018-05-01 Ricoh Company, Ltd. Construction of an individual eye model using a plenoptic camera
US10402992B2 (en) 2015-10-16 2019-09-03 Capsovision Inc. Method and apparatus for endoscope with distance measuring for object scaling
US11135028B2 (en) 2015-10-31 2021-10-05 Children's National Medical Center Soft surgical tools
US10681259B2 (en) 2016-02-18 2020-06-09 Sony Corporation Imaging apparatus, imaging method, and imaging system
US10188468B2 (en) 2016-02-25 2019-01-29 Synaptive Medical (Barbados) Inc. Focused based depth map acquisition
EP3220351A1 (en) 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
US20170280970A1 (en) 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
WO2017205063A1 (en) 2016-05-27 2017-11-30 Verily Life Sciences Llc Systems and methods for surface topography acquisition using laser speckle
US11307430B2 (en) * 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10324300B2 (en) * 2016-06-07 2019-06-18 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing depth of field
US20170366773A1 (en) 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
TWI597042B (zh) 2016-06-29 2017-09-01 Endoscopic with distance measuring function and distance measuring method
US10217235B2 (en) 2016-07-11 2019-02-26 Nri R&D Patent Licensing, Llc Advanced lensless light-field imaging systems and methods for enabling a wide range of entirely new applications
US11457801B2 (en) * 2016-07-26 2022-10-04 Sony Corporation Image processing device, image processing method, and endoscope system
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US20180042466A1 (en) 2016-08-12 2018-02-15 The Johns Hopkins University Compact endoscope design for three-dimensional surgical guidance
CA3053633A1 (en) 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
US10485629B2 (en) 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
CN107124547B (zh) * 2017-04-19 2020-10-16 宇龙计算机通信科技(深圳)有限公司 双摄像头拍照方法及装置
US11432712B2 (en) * 2017-06-28 2022-09-06 Karl Storz Imaging, Inc. Fluorescence imaging scope with dual mode focusing structures
CN111295135A (zh) 2017-08-28 2020-06-16 东卡罗莱娜大学 在内窥镜设计中使用用于血流和灌注成像以及量化的激光成像方法和系统的多光谱生理可视化(mspv)
CN107510430A (zh) * 2017-09-23 2017-12-26 武汉迅微光电技术有限公司 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像方法及系统
WO2019084919A1 (en) * 2017-11-03 2019-05-09 SZ DJI Technology Co., Ltd. Methods and system for infrared tracking
US10694117B2 (en) 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
JP2021526907A (ja) 2018-06-08 2021-10-11 イースト カロライナ ユニバーシティ マルチスペクトルレーザ撮像(MSLI)方法及びシステムを使用した末梢血酸素飽和度(SpO2)及びヘモグロビン濃度の決定
EP3814754A4 (en) 2018-06-28 2022-05-04 Children's National Medical Center METHOD AND SYSTEM FOR DYE-FREE VISUALIZATION OF BLOOD FLOW AND TISSUE PERFUSION IN LAPAROSCOPY
CA3110871A1 (en) 2018-09-05 2020-04-23 East Carolina University Systems for detecting vascular and arterial disease in asymptomatic patients and related methods
US11497389B2 (en) * 2018-10-03 2022-11-15 Karl Storz Imaging, Inc. Attachment system for conditioning light between endoscope and camera
JP2022525113A (ja) 2019-03-26 2022-05-11 イースト カロライナ ユニバーシティ 血流及び灌流可視化のための近赤外蛍光イメージング及び関連するシステム並びにコンピュータプログラム製品
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル, インコーポレイテッド 医療撮像のためのシステムおよび方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
NL2026240B1 (en) 2020-08-07 2022-04-08 Limis Dev B V Device for coupling coherent light into an endoscopic system
NL2026505B1 (en) 2020-09-18 2022-05-23 Limis Dev B V Motion-compensated laser speckle contrast imaging
WO2023091515A1 (en) 2021-11-16 2023-05-25 Activ Surgical, Inc. Systems and methods for medical imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102770071A (zh) * 2009-12-15 2012-11-07 爱默蕾大学 用于在诊断或治疗程序中提供实时解剖学指导的系统和方法

Also Published As

Publication number Publication date
CA3132350A1 (en) 2020-10-15
WO2020210168A1 (en) 2020-10-15
CN113950279A (zh) 2022-01-18
US10925465B2 (en) 2021-02-23
US20210338060A1 (en) 2021-11-04
JP2022526626A (ja) 2022-05-25
US11754828B2 (en) 2023-09-12
EP3952720A4 (en) 2023-04-05
KR20220021920A (ko) 2022-02-22
US20200315432A1 (en) 2020-10-08
EP3952720A1 (en) 2022-02-16
US20220378280A1 (en) 2022-12-01
US11389051B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
CN113950279B (zh) 用于医疗成像的系统和方法
US20210093417A1 (en) Imaging and display system for guiding medical interventions
US10390718B2 (en) Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
CN114599263A (zh) 用于医疗成像的系统和方法
Zheng et al. Dual-display laparoscopic laser speckle contrast imaging for real-time surgical assistance
Clancy et al. Multispectral image alignment using a three channel endoscope in vivo during minimally invasive surgery
JP2023088989A (ja) 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化(mspv)
KR20240100446A (ko) 의료용 이미징을 위한 시스템 및 방법
CN109480776A (zh) 近红外荧光手术成像系统及其使用方法
US20230239583A1 (en) Method and system for joint demosaicking and spectral signature estimation
Garcia et al. Optical characterization of rigid endoscopes and polarization calibration methods
Pruitt et al. A high-speed hyperspectral laparoscopic imaging system
Liu et al. Bio-inspired multimodal 3D endoscope for image-guided and robotic surgery
US20240277210A1 (en) Systems and methods for closed-loop surgical imaging optimization
Vandebriel et al. Integrating hyperspectral imaging in an existing intra-operative environment for detection of intrinsic brain tumors
Pfahl et al. Switchable LED-based laparoscopic multispectral system for rapid high-resolution perfusion imaging
Clancy et al. Dual multispectral and 3D structured light laparoscope
US20240280800A1 (en) Systems and methods for medical imaging
Park et al. Towards multispectral endoscopic imaging of cardiac lesion assessment and classification for cardiac ablation therapy
US20130286407A1 (en) Apparatus
Shmuylovich et al. Frugal engineering-inspired wearable augmented reality goggle system enables fluorescence-guided cancer surgery
Mela MULTIMODAL IMAGING, COMPUTER VISION, AND AUGMENTED REALITY FOR MEDICAL GUIDANCE
Baghdadchi Spectral and Spatial Light Field Encoding for Tissue Imaging, Drug Delivery and Focused Field Shaping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant