CN116034301A - 用于同时近红外光和可见光成像的系统和方法 - Google Patents

用于同时近红外光和可见光成像的系统和方法 Download PDF

Info

Publication number
CN116034301A
CN116034301A CN202180058197.2A CN202180058197A CN116034301A CN 116034301 A CN116034301 A CN 116034301A CN 202180058197 A CN202180058197 A CN 202180058197A CN 116034301 A CN116034301 A CN 116034301A
Authority
CN
China
Prior art keywords
frame
nir
vis
degrees
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180058197.2A
Other languages
English (en)
Inventor
J·佩里
D·基特莱
J·诺瓦克
T·D·科勒
D·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blaze Bioscience Inc
Original Assignee
Blaze Bioscience Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blaze Bioscience Inc filed Critical Blaze Bioscience Inc
Publication of CN116034301A publication Critical patent/CN116034301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/42Coupling light guides with opto-electronic elements
    • G02B6/4201Packages, e.g. shape, construction, internal or external details
    • G02B6/4204Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms
    • G02B6/4214Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms the intermediate optical element having redirecting reflective means, e.g. mirrors, prisms for deflecting the radiation from horizontal to down- or upward direction toward a device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/42Coupling light guides with opto-electronic elements
    • G02B6/4201Packages, e.g. shape, construction, internal or external details
    • G02B6/4204Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms
    • G02B6/4215Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms the intermediate optical elements being wavelength selective optical elements, e.g. variable wavelength optical modules or wavelength lockers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/42Coupling light guides with opto-electronic elements
    • G02B6/4201Packages, e.g. shape, construction, internal or external details
    • G02B6/4256Details of housings
    • G02B6/4262Details of housings characterised by the shape of the housing

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Light Receiving Elements (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Abstract

本文公开了用于对样本进行同时近红外光或红外和可见光成像的成像系统和方法,所述成像系统和方法包括:检测器,所述检测器用于形成所述样本的荧光图像和所述样本的可见图像;光源,所述光源被配置为发出近红外或红外光以从所述样本诱发荧光;和多个光学器件,所述多个光学器件被布置为朝向所述样本引导所述近红外或红外光并且在所述检测器上形成所述样本的所述荧光图像和所述样本的所述可见光图像,包括用于减少重影、阴影和运动伪影的方法。

Description

用于同时近红外光和可见光成像的系统和方法
背景技术
荧光法,包括标记到诸如细胞、纳米颗粒、小分子和肽等其他结构的荧光分子的使用,可用于医学成像中的器官、器官子结构、组织和潜在细胞识别。例如,荧光染料以可见(例如,蓝色、绿色、黄色、红色)和/或红外、紫外或近红外波长来发射。尽管通常通过肉眼检测可见光荧光,但对红外(IR)光和近红外(NIR)光的检测通常需要额外的仪器来观察。红外和近红外是用于医学成像的有益波长范围。红外、近红外和长波长可见光的好处大体上与增加的穿透深度、不存在明显的固有荧光、被血液(血红蛋白)或水低吸收有关。在医学应用中,能够同时对可见和红外或近红外图像进行成像的成像系统是有利的,使得外科医生能够在例如用红外荧光团标记的组织中进行手术并且不间断地如此做而不必在成像模式之间切换。
此外,为了对来自组织的荧光进行成像,成像系统将需要具有检测少量荧光(例如来自粘附至组织或已被组织吸收的荧光染料)的能力和灵敏度。传统上,红外荧光系统使用灵敏传感器来检测红外光,同时使用传统的卤素光源来激发染料。虽然此类先前仪器从此类红外光源产生图像,但由于低效卤素或宽带光照以及激发波长周围的较低能量光源,灵敏度通常不太理想,从而导致低效和非最佳红外图像。尽管已使用激光来实现更高的吸收并且因此增加红外或近红外染料的荧光,但在至少一些情况下所产生的图像通常不太理想。
发明内容
本公开描述了用于荧光和可见光成像的系统和方法,所述系统和方法解决了先前系统中的至少一些问题。本文公开的系统和方法能够以不可察觉的延迟产生和组合可见图像与荧光图像,并且提供高荧光灵敏度,减少手术工作流程的中断,并提高手术显微镜的易用性。所述系统和方法与单独成像装置或与手术器械(诸如手术显微镜、外窥镜或手术机器人)组合有关。在一些实施方案中,激发光与从样本接收的荧光同轴地被引导至样本,从而减少阴影并帮助确保正确地识别出用荧光标记物标记的组织。在一些实施方案中,可见光成像光学器件的观察轴线与激发光轴线和荧光轴线同轴,以便改善在光学器件与被成像组织之间延伸的距离范围内荧光图像与可见图像的配准。所述系统和方法包括分束器以将可见光朝向目镜传输且将荧光朝向检测器反射,其中一部分可见光朝向检测器反射以用反射光产生可见图像。反射可见光的量远小于透射光,以便让使用者(诸如外科医生)透过目镜容易地观察组织,同时用检测器产生可见光图像以与荧光图像组合。在一些实施方案中,与用于产生可见图像的光相比,激发光和荧光包括波长长于约650nm的光,以便使穿透至组织中的深度增加。
在一些实施方案中,所述系统包括:一个或多个照明源,所述一个或多个照明源中的一者或多者是具有或没有通过器械控制的可见光照明的窄带激光;用于照明标靶的一组光学器件;用于收集所产生的荧光的一组光学器件;用于移除激光照明光的滤波器;和用于捕获荧光和可见光的一个或多个传感器。
在一个方面中,本文公开一种用于对样本进行成像的成像系统,所述系统包括:检测器,所述检测器用于形成所述样本的荧光图像和所述样本的可见图像;光源,所述光源被配置为发射激发光以从所述样本诱发荧光;以及多个光学器件,所述多个光学器件被布置为将所述激发光朝向所述样本引导并且从所述样本接收荧光和可见光以便在所述检测器上形成所述样本的荧光图像和所述样本的可见光图像,其中所述激发光与从所述样本接收到的荧光基本上同轴地被引导至所述样本以便减少阴影。在一些实施方案中,所述激发光包括红外光,并且任选地,其中所述红外光包括近红外光。在一些实施方案中,所述多个光学器件包括用于将红外光和可见光引导至检测器的双色短通分束器。在一些实施方案中,所述检测器包括多个检测器,并且任选地,其中所述可见图像包括彩色图像。在一些实施方案中,所述多个检测器包括用于产生彩色图像的第一检测器和用于产生红外图像的第二检测器。在一些实施方案中,本文的成像系统还包括ASIC或处理器,所述ASIC或处理器被配置有用于产生所述样本的复合图像的指令,所述复合图像包括与来自所述样本的可见图像重叠的荧光图像。在一些实施方案中,光源包括:激光或窄带光源;光学光导,所述光学光导联接至所述激光或窄带光源;准直透镜,所述光导终止于所述准直透镜中;激光清理滤波器;介电镜;扩散器;孔;或其组合。在一些实施方案中,所述窄带光源产生波长在700nm至800nm、650nm至900nm或700nm至900nm的范围内的光。在一些实施方案中,所述激光产生波长在650nm至4000nm或700nm至3000nm的范围内的光。在一些实施方案中,波长包括750nm至950nm、760nm至825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm、790nm至795nm或785nm。在一些实施方案中,所述准直透镜被配置为使来自光学光导的透射光准直,从而产生准直光。在一些实施方案中,所述光学光导是光缆、液体或固体/塑料光导、液体光导、波导,或能够透射红外或近红外光的任何其他光导。在一些实施方案中,所述激光清理滤波器被配置为减少红外光的带宽。在一些实施方案中,所述介电镜被配置为反射红外光,使得介电镜的入射光与反射光具有约90度的交叉角度。在一些实施方案中,所述介电镜被配置为反射红外光,使得介电镜的入射光与反射光具有约60度至约120度的交叉角度。在一些实施方案中,所述扩散器被配置为使红外光以一个或多个计算出的角度扩散。在一些实施方案中,所述一个或多个计算出的角度在30度至150度的范围内。在一些实施方案中,所述孔被配置为使至少部分红外光通过。如前述权利要求中任一项所述的系统,其中红外光引起的激发与从样本收集的荧光或可见光基本上同轴。在一些实施方案中,所述孔位于近红外镜中。在一些实施方案中,所述孔被整形和设定大小以允许在显微镜的视场内对样本进行均匀分布的照明。在一些实施方案中,所述多个光学器件包括双色短通分束器,其中所述双色短通分束器被配置为使波长不大于700nm的光以90%至95%的效率以一个或多个指定的入射角通过。在一些实施方案中,短通滤波器8仅允许约400nm至约800nm的波长通过。在一些实施方案中,可见光是从成像系统外部的显微镜、内窥镜、外窥镜、手术机器人或手术室光照进行引导。在一些实施方案中,所述多个光学器件还包括辅双色短通分束器。在一些实施方案中,本文的成像系统还包括双色长通分束器。在一些实施方案中,红外光沿着红外光路传递至样本,并且从样本接收的荧光沿着荧光光路接收,并且其中荧光光路与红外光路在分束器处重叠。在一些实施方案中,红外光路与荧光光路基本上同轴。在一些实施方案中,基本上同轴包括两个光路的交叉角度小于20度、15度、10度、5度、2度或1度。
在另一个方面中,本文公开一种用于对样本进行成像的方法,所述方法包括:通过光源发射红外或近红外光以从样本诱发荧光;通过多个光学器件将所述红外或近红外光引导至所述样本;通过所述多个光学器件在检测器处从所述样本接收荧光,其中所述红外或近红外光与从所述样本接收到的荧光基本上同轴地被引导至所述样本,以便减少阴影;以及在所述检测器上形成所述样本的荧光图像和所述样本的可见光图像。在一些实施方案中,本文的方法包括使用本文公开的成像系统。在一些实施方案中,所述样本为器官、器官子结构、组织或细胞。在一些实施方案中,对器官、器官子结构、组织或细胞进行成像的方法包括用本文的成像系统对器官、器官子结构、组织或细胞进行成像。在一些实施方案中,所述方法还包括检测癌症或患病区域、组织、结构或细胞。在一些实施方案中,所述方法还包括对受试者进行手术。在一些实施方案中,所述方法还包括治疗癌症。在一些实施方案中,所述方法还包括去除所述受试者的癌症或患病区域、组织、结构或细胞。在一些实施方案中,所述方法还包括在手术去除后对受试者的癌症或患病区域、组织、结构或细胞进行成像。在一些实施方案中,使用荧光成像来执行检测。在一些实施方案中,荧光成像检测可检测剂,所述可检测剂包括染料、荧光团、荧光生物素化合物、发光化合物或化学发光化合物。
在另一个方面中,本文公开了一种对有需要的受试者进行治疗或检测的方法,所述方法包括施用伴随诊断剂、治疗剂或成像剂,其中通过本文所述的系统和方法来检测所述伴随诊断剂或成像剂。在另一个实施方案中,施用伴随诊断的方法包括使用本文所述的系统的各种方法中的任一种。在另一个实施方案中,所述诊断剂或成像剂包括化学剂、放射性标记剂、放射增敏剂、荧光团、成像剂、光增敏剂、诊断剂、蛋白质、肽、纳米颗粒或小分子。在另一个实施方案中,所述系统结合了放射学或荧光,包括X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞分析技术、医学摄影、核医学功能成像技术、正电子发射断层摄影术(PET)、单光子发射计算机断层扫描摄影术(SPECT)、手术器械、手术显微镜、共焦显微镜、荧光镜、外窥镜或手术机器人。在另一个实施方案中,所述系统和方法用于检测治疗剂或评估剂的安全性和生理效应。在另一个实施方案中,通过所述系统和方法检测的安全性和生理效应为剂的生物利用率、摄取、浓度、存在、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液和/或组织中浓度的测量、评估治疗窗口、范围和优化。
在另一个实施方案中,本公开的方法与手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人组合或集成至其中。在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO 900)、QEVO系统、CONVIVO系统、OMPI PENTERO系统(例如PENTERO 900、PENTERO 800)、INFRARED800系统、FLOW 800系统、YELLOW 560系统、BLUE 400系统、OMPI LUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPI VARIO 700)、OMPI Pico系统、OPMI Sensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON 3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS 500和CLARUS 700)、PRIMUS 200、PLEX Elite 9000、AngioPlex、VISUCAM 524、VISUSCOUT 100、ARTEVO 800(以及购自Carl Zeiss集团的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自Leica Microsystems或Leica Biosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo系统、Leica M530系统(例如LeicaM530 OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、Leica M525系统(例如,Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、LeicaFL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如,Leica TCS SP8、SP8 FALCON、SP8 DIVE、LeicaTCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCSSPE)、Leica HyD、Leica HCS A、Leica DCM8、Leica EnFocus、Leica Proveo 8、LeicaEnvisu C2300、Leica PROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO 900、Haag-StreitAllegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜,共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自Intuitive Surgical的Intuitive Surgical da Vinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Heidelberg Engineering的Heidelberg Engineering Spectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRI OCT Triton、TRC系统(例如TRC50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnet Pike系统(例如Pike、PikeNikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Welch Allyn的Welch Allyn 3.5V系统(例如3.5V、3.5VAutostep)、CenterVue DRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige同轴plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的Metronic INVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Karl Storz的Karl Storz ENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1 S 3D,带或不带OPAL1NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
本文提供的另一个方面是一种用于对样本进行成像的成像系统,所述成像系统包括:检测器,所述检测器被配置为形成所述样本的荧光图像和形成所述样本的可见图像;光源,所述光源被配置为发射激发光以从所述样本诱发荧光;和多个光学器件,所述多个光学器件被布置为:将所述激发光朝向所述样本引导;并且将荧光和可见光从所述样本引导至所述检测器;其中所述激发光与所述荧光基本上同轴地被引导。
在一些实施方案中,所述激发光包括红外光。在一些实施方案中,所述红外光包括近红外光。在一些实施方案中,所述多个光学器件包括用于将红外光和可见光引导至检测器的双色短通分束器。在一些实施方案中,所述检测器包括多个检测器,并且其中所述可见图像包括彩色图像。在一些实施方案中,所述多个检测器包括用于产生彩色图像的第一检测器和用于产生红外图像的第二检测器。在一些实施方案中,所述系统还包括:激光;光学光导,所述光学光导联接至所述激光或窄带光源;准直透镜,所述光导终止于所述准直透镜中;激光清理滤波器;介电镜;扩散器;孔;或其组合。在一些实施方案中,所述光源发射被荧光团吸收的波长。在一些实施方案中,光源为窄带光源。
在一些实施方案中,窄带光源产生具有以下波长的光:700nm至800nm、650nm至900nm、700nm至900nm、340nm至400nm、360nm至420nm、380nm至440nm或400nm至450nm。在一些实施方案中,窄带光源产生具有约300nm至约900nm的波长的光。在一些实施方案中,窄带光源产生具有以下波长的光:约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约300nm至约550nm、约300nm至约600nm、约300nm至约650nm、约300nm至约700nm、约300nm至约750nm、约300nm至约800nm、约300nm至约900nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约350nm至约550nm、约350nm至约600nm、约350nm至约650nm、约350nm至约700nm、约350nm至约750nm、约350nm至约800nm、约350nm至约900nm、约400nm至约450nm、约400nm至约500nm、约400nm至约550nm、约400nm至约600nm、约400nm至约650nm、约400nm至约700nm、约400nm至约750nm、约400nm至约800nm、约400nm至约900nm、约450nm至约500nm、约450nm至约550nm、约450nm至约600nm、约450nm至约650nm、约450nm至约700nm、约450nm至约750nm、约450nm至约800nm、约450nm至约900nm、约500nm至约550nm、约500nm至约600nm、约500nm至约650nm、约500nm至约700nm、约500nm至约750nm、约500nm至约800nm、约500nm至约900nm、约550nm至约600nm、约550nm至约650nm、约550nm至约700nm、约550nm至约750nm、约550nm至约800nm、约550nm至约900nm、约600nm至约650nm、约600nm至约700nm、约600nm至约750nm、约600nm至约800nm、约600nm至约900nm、约650nm至约700nm、约650nm至约750nm、约650nm至约800nm、约650nm至约900nm、约700nm至约750nm、约700nm至约800nm、约700nm至约900nm、约750nm至约800nm、约750nm至约900nm,或约800nm至约900nm。在一些实施方案中,窄带光源产生具有以下波长的光:约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm或约900nm。在一些实施方案中,窄带光源产生具有以下波长的光:至少约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm或约800nm。在一些实施方案中,窄带光源产生具有以下波长的光:至多约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm或约900nm。
在一些实施方案中,窄带光源发射具有NIR相机可见的频率的光,并且其中所述系统还包括联接至所述光学光导的透镜。
在一些实施方案中,激光产生具有以下波长的光:650nm至4000nm、700nm至3000nm或340nm至450nm。在一些实施方案中,激光产生具有以下波长的光:750nm至950nm、760nm825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm或790nm至795。在一些实施方案中,激光产生具有约300nm至约1,000nm的波长的光。在一些实施方案中,激光产生具有以下波长的光:约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约300nm至约550nm、约300nm至约600nm、约300nm至约650nm、约300nm至约700nm、约300nm至约800nm、约300nm至约900nm、约300nm至约1,000nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约350nm至约550nm、约350nm至约600nm、约350nm至约650nm、约350nm至约700nm、约350nm至约800nm、约350nm至约900nm、约350nm至约1,000nm、约400nm至约450nm、约400nm至约500nm、约400nm至约550nm、约400nm至约600nm、约400nm至约650nm、约400nm至约700nm、约400nm至约800nm、约400nm至约900nm、约400nm至约1,000nm、约450nm至约500nm、约450nm至约550nm、约450nm至约600nm、约450nm至约650nm、约450nm至约700nm、约450nm至约800nm、约450nm至约900nm、约450nm至约1,000nm、约500nm至约550nm、约500nm至约600nm、约500nm至约650nm、约500nm至约700nm、约500nm至约800nm、约500nm至约900nm、约500nm至约1,000nm、约550nm至约600nm、约550nm至约650nm、约550nm至约700nm、约550nm至约800nm、约550nm至约900nm、约550nm至约1,000nm、约600nm至约650nm、约600nm至约700nm、约600nm至约800nm、约600nm至约900nm、约600nm至约1,000nm、约650nm至约700nm、约650nm至约800nm、约650nm至约900nm、约650nm至约1,000nm、约700nm至约800nm、约700nm至约900nm、约700nm至约1,000nm、约800nm至约900nm、约800nm至约1,000nm,或约900nm至约1,000nm。在一些实施方案中,激光产生具有以下波长的光:约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约800nm、约900nm,或约1,000nm。在一些实施方案中,激光产生具有以下波长的光:至少约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约800nm,或约900nm。在一些实施方案中,激光产生具有以下波长的光:至多约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约800nm、约900nm,或约1,000nm。
在一些实施方案中,准直透镜被配置为使激发光、荧光和可见光准直。在一些实施方案中,所述光学光导是光缆、固体光导、塑料光导、液体光导、波导或其任何组合。在一些实施方案中,其中所述激光清理滤波器被配置为减小激发光的带宽。在一些实施方案中,所述光源包括:宽带光源;光学光导;所述光学光导联接至所述宽带光源;或两者。在一些实施方案中,所述宽带光源包括一个或多个LED、氙气灯泡、卤素灯泡、一个或多个激光、太阳光、荧光光照或其组合。在一些实施方案中,所述宽带光源发射可见波长、被荧光团吸收的波长,或两者。在一些实施方案中,所述宽带光源发射具有NIR相机可见的频率的光,并且其中所述系统还包括联接至所述光学光导的透镜。在一些实施方案中,所述系统包括多个光源,其中所述系统还包括以下中的一者或多者以将所述多个光源组合到单个同轴路径中:光学衰减器,包括双色滤波器、双色镜、遮光片或其任何组合;每一光源处的滤波器,用于激发光的波长范围的清理滤波器;用于激发光的波长范围的短通滤波器;光学光导;或照明光学器件。在一些实施方案中,所述系统还包括:激光清理滤波器;短通(SP)镜;长通(LP)镜;介电镜;扩散器;孔;或其组合。
在一些实施方案中,所述介电镜被配置为反射激发光,使得激发光和反射激发光具有约60度至约120度的交叉角度。在一些实施方案中,所述介电镜被配置为反射激发光,使得激发光与反射激发光具有以下交叉角度:约60度至约75度、约60度至约80度、约60度至约85度、约60度至约90度、约60度至约95度、约60度至约100度、约60度至约105度、约60度至约110度、约60度至约115度、约60度至约120度、约75度至约80度、约75度至约85度、约75度至约90度、约75度至约95度、约75度至约100度、约75度至约105度、约75度至约110度、约75度至约115度、约75度至约120度、约80度至约85度、约80度至约90度、约80度至约95度、约80度至约100度、约80度至约105度、约80度至约110度、约80度至约115度、约80度至约120度、约85度至约90度、约85度至约95度、约85度至约100度、约85度至约105度、约85度至约110度、约85度至约115度、约85度至约120度、约90度至约95度、约90度至约100度、约90度至约105度、约90度至约110度、约90度至约115度、约90度至约120度、约95度至约100度、约95度至约105度、约95度至约110度、约95度至约115度、约95度至约120度、约100度至约105度、约100度至约110度、约100度至约115度、约100度至约120度、约105度至约110度、约105度至约115度、约105度至约120度、约110度至约115度、约110度至约120度,或约115度至约120度。在一些实施方案中,所述介电镜被配置为反射激发光,使得激发光与反射激发光具有以下交叉角度:约60度、约75度、约80度、约85度、约90度、约95度、约100度、约105度、约110度、约115度,或约120度。在一些实施方案中,所述介电镜被配置为反射激发光,使得激发光与反射激发光具有以下交叉角度:至少约60度、约75度、约80度、约85度、约90度、约95度、约100度、约105度、约110度,或约115度。在一些实施方案中,所述介电镜被配置为反射激发光,使得激发光与反射激发光具有以下交叉角度:至多约75度、约80度、约85度、约90度、约95度、约100度、约105度、约110度、约115度,或约120度。
在一些实施方案中,所述扩散器被配置为使激发光扩散。在一些实施方案中,所述孔被配置为使至少部分激发光通过。在一些实施方案中,所述孔位于近红外镜中。在一些实施方案中,所述孔具有形状和大小,并且其中所述孔的形状和所述孔的大小中的至少一者被配置为允许在显微镜的视场内对样本进行均匀分布的照明。在一些实施方案中,激发光包括蓝光或紫外光。
在一些实施方案中,所述蓝光或紫外光包括具有以下波长的光:10nm至约460nm、约10nm至约400nm,或约400nm至约460nm。在一些实施方案中,所述蓝光或紫外光包括具有约10nm至约500nm的波长的光。在一些实施方案中,所述蓝光或紫外光包括具有以下波长的光:约10nm至约50nm、约10nm至约100nm、约10nm至约150nm、约10nm至约200nm、约10nm至约250nm、约10nm至约300nm、约10nm至约350nm、约10nm至约400nm、约10nm至约450nm、约10nm至约500nm、约50nm至约100nm、约50nm至约150nm、约50nm至约200nm、约50nm至约250nm、约50nm至约300nm、约50nm至约350nm、约50nm至约400nm、约50nm至约450nm、约50nm至约500nm、约100nm至约150nm、约100nm至约200nm、约100nm至约250nm、约100nm至约300nm、约100nm至约350nm、约100nm至约400nm、约100nm至约450nm、约100nm至约500nm、约150nm至约200nm、约150nm至约250nm、约150nm至约300nm、约150nm至约350nm、约150nm至约400nm、约150nm至约450nm、约150nm至约500nm、约200nm至约250nm、约200nm至约300nm、约200nm至约350nm、约200nm至约400nm、约200nm至约450nm、约200nm至约500nm、约250nm至约300nm、约250nm至约350nm、约250nm至约400nm、约250nm至约450nm、约250nm至约500nm、约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约400nm至约450nm、约400nm至约500nm、或约450nm至约500nm。在一些实施方案中,所述蓝光或紫外光包括具有以下波长的光:约10nm、约50nm、约100nm、约150nm、约200nm、约250nm、约300nm、约350nm、约400nm、约450nm、或约500nm。在一些实施方案中,所述蓝光或紫外光包括具有以下波长的光:至少约10nm、约50nm、约100nm、约150nm、约200nm、约250nm、约300nm、约350nm、约400nm、或约450nm。在一些实施方案中,所述蓝光或紫外光包括具有以下波长的光:至多约50nm、约100nm、约150nm、约200nm、约250nm、约300nm、约350nm、约400nm、约450nm、或约500nm。
在一些实施方案中,所述多个光学器件包括双色短通分束器,其中所述双色短通分束器被配置为使波长至多700nm的光以90%至95%的效率以一个或多个指定入射角通过。
在一些实施方案中,所述一个或多个特定角度在30度至150度的范围内。在一些实施方案中,所述一个或多个特定角度为约30度至约150度。在一些实施方案中,所述一个或多个特定角度为约30度至约40度、约30度至约50度、约30度至约60度、约30度至约70度、约30度至约80度、约30度至约90度、约30度至约100度、约30度至约110度、约30度至约120度、约30度至约130度、约30度至约150度、约40度至约50度、约40度至约60度、约40度至约70度、约40度至约80度、约40度至约90度、约40度至约100度、约40度至约110度、约40度至约120度、约40度至约130度、约40度至约150度、约50度至约60度、约50度至约70度、约50度至约80度、约50度至约90度、约50度至约100度、约50度至约110度、约50度至约120度、约50度至约130度、约50度至约150度、约60度至约70度,约60度至约80度、约60度至约90度、约60度至约100度、约60度至约110度、约60度至约120度、约60度至约130度、约60度至约150度、约70度至约80度、约70度至约90度、约70度至约100度、约70度至约110度、约70度至约120度、约70度至约130度、约70度至约150度、约80度至约90度、约80度至约100度、约80度至约110度、约80度至约120度、约80度至约130度、约80度至约150度、约90度至约100度、约90度至约110度、约90度至约120度、约90度至约130度、约90度至约150度、约100度至约110度、约100度至约120度、约100度至约130度、约100度至约150度、约110度至约120度、约110度至约130度、约110度至约150度、约120度至约130度、约120度至约150度、或约130度至约150度。在一些实施方案中,所述一个或多个特定角度为约30度、约40度、约50度、约60度、约70度、约80度、约90度、约100度、约110度、约120度、约130度、或约150度。在一些实施方案中,所述一个或多个特定角度为至少约30度、约40度、约50度、约60度、约70度、约80度、约90度、约100度、约110度、约120度、或约130度。在一些实施方案中,所述一个或多个特定角度为至多约40度、约50度、约60度、约70度、约80度、约90度、约100度、约110度、约120度、约130度、或约150度。
在一些实施方案中,所述可见光是从所述成像系统外部的显微镜、内窥镜、外窥镜、手术机器人或手术室光照引导。在一些实施方案中,所述系统还包括锁定键,所述锁定键被配置为将成像头稳固地锁定到显微镜上。在一些实施方案中,所述多个光学器件还包括辅双色短通分束器。在一些实施方案中,所述系统还包括双色长通分束器。在一些实施方案中,激发光与荧光在所述分束器处基本上重叠。在一些实施方案中,基本上同轴包括两个光路的交叉角度小于20度、15度、10度、5度、2度或1度。在一些实施方案中,所述系统还包括物理衰减器,所述物理衰减器被配置为阻挡来自检测器、光源和多个光学器件中的一者、两者或更多者的环境光。在一些实施方案中,所述物理衰减器包括护罩、罩子、套筒、灯罩或挡板。在一些实施方案中,所述系统还包括专用集成电路(ASIC)或处理器,其中ASIC和所述处理器中的至少一者被配置有用于产生样本的复合图像的指令,所述复合图像包括与可见图像重叠的荧光图像。
本文提供的另一个方面是一种用于对样本进行成像的方法,所述方法包括:通过光源发射红外或近红外光以从样本诱发荧光;通过多个光学器件将所述红外或近红外光引导至所述样本;通过所述多个光学器件在检测器处从所述样本接收荧光,其中所述红外或近红外光与从所述样本接收到的荧光基本上同轴地被引导至所述样本,以便减少阴影;以及在所述检测器上形成所述样本的荧光图像和所述样本的可见光图像。在一些实施方案中,使用本文的系统执行所述方法。在一些实施方案中,所述样本为器官、器官子结构、组织或细胞。
本文提供的另一个方面是一种对器官、器官子结构、组织或细胞进行成像的方法,所述方法包括:用本文的系统对所述器官、器官子结构、组织或细胞进行成像。在一些实施方案中,所述方法还包括检测癌症或患病区域、组织、结构或细胞。在一些实施方案中,所述方法还包括对受试者进行手术。在一些实施方案中,所述手术包括移除受试者的癌症或患病区域、组织、结构或细胞。在一些实施方案中,所述方法还包括在手术移除后对所述受试者的癌症或患病区域、组织、结构或细胞进行成像。在一些实施方案中,成像或检测是使用荧光成像来执行。在一些实施方案中,所述荧光成像检测可检测剂,所述可检测剂包括染料、荧光团、荧光生物素化合物、发光化合物或化学发光化合物。在一些实施方案中,所述可检测剂吸收在约200mm至约900mm之间的波长。在一些实施方案中,所述可检测剂包括:DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或靛青绿(ICG)和前述各者的任何衍生物;荧光素和荧光染料(例如,异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等)、碳青、部花青素、苯乙烯基染料、氧杂菁染料、藻红素、赤藻红、曙红、玫瑰红染料(例如,四甲基羧基-玫瑰红或TAMRA、羧基玫瑰红6G、羧基-X-玫瑰红(ROX)、丽丝胺玫瑰红B、玫瑰红6G、玫瑰红绿、玫瑰红红、四甲基玫瑰红(TMR)等)、香豆素和香豆素染料(例如,甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如,俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等)、德克萨斯红、德克萨斯红-X、光谱红、光谱绿、花青染料(例如,CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如,ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXA FLUOR633、ALEXA FLUO R660、ALEXA FLUOR 680等)、BODIPY染料(例如,BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IR染料(例如,IRD40、IRD700、IRD 800等)、7-氨基香豆素、二烷基氨基香豆素反应性染料、6,8-二氟-7-羟基香豆素荧光团、羟基香豆素衍生物、烷氧基香豆素衍生物、琥珀酰亚胺酯、芘琥珀酰亚胺酯、吡啶基唑衍生物、氨基萘基染料、丹磺酰氯、dapoxyl染料、Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、二胺(bimane)染料、二胺巯基乙酸、NBD染料、QsY 35或其任何组合。在一些实施方案中,所述方法还包括治疗癌症。
本文提供的另一个方面是一种治疗或诊断检测的方法,所述方法包括:施用伴随诊断剂、治疗剂或伴随成像剂中的至少一者;和通过本文的系统检测至少一种此类剂。
本文提供的另一个方面是一种治疗或诊断检测的方法,所述方法包括:施用伴随诊断剂、光增敏剂、治疗剂或伴随成像剂中的至少一者;和通过本文的方法检测至少一种此类剂。在一些实施方案中,所述剂中的至少一者包括化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、蛋白质、肽、纳米颗粒、小分子或其任何组合。在一些实施方案中,所述系统或方法还包括使用以下一者或多者进行放射学或荧光术:X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞分析技术、医学摄影、核医学功能成像技术、正电子发射断层摄影术(PET)、单光子发射计算机断层摄影术(SPECT)、显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。在一些实施方案中,所述系统或方法进一步使用一个或多个显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合来测量荧光。在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO 900)、QEVO系统、CONVIVO系统、OMPI PENTERO系统(例如PENTERO 900、PENTERO800)、INFRARED 800系统、FLOW 800系统、YELLOW 560系统、BLUE 400系统、OMPI LUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPI VARIO 700)、OMPI Pico系统、OPMI Sensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON 3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS 500和CLARUS 700)、PRIMUS 200、PLEX Elite9000、AngioPlex、VISUCAM 524、VISUSCOUT100、ARTEVO 800(和购自Carl Zeiss集团的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自LeicaMicrosystems或Leica Biosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo、Leica M530系统(例如LeicaM530OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、Leica M525系统(例如,Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、LeicaTCS和SP8系统(例如,Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、LeicaTCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、LeicaHCS A、Leica DCM8、Leica EnFocus、Leica Proveo 8、Leica Envisu C2300、LeicaPROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit 5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO 900、Haag-Streit Allegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜,共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自Intuitive Surgical的Intuitive SurgicaldaVinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Heidelberg Engineering的Heidelberg Engineering Spectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRI OCT Triton、TRC系统(例如TRC 50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnet Pike系统(例如Pike、Pike Nikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自WelchAllyn的Welch Allyn 3.5V系统(例如3.5V、3.5V Autostep)、CenterVue DRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige同轴plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的MetronicINVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Karl Storz的Karl Storz ENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1 S 3D,带或不带OPAL1 NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
在一些实施方案中,所述方法被配置为:对治疗剂进行检测、成像或评估;对伴随诊断剂的安全性或生理效应进行检测、成像或评估;对治疗剂的安全性或生理效应进行检测、成像或评估;对伴随成像剂的安全性或生理效应进行检测、成像或评估;或其任何组合。在一些实施方案中,剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化,或其任何组合。
本文提供的另一个方面是一种在有需要的受试者体内进行治疗或检测的方法,所述方法包括施用伴随诊断剂、光增敏剂、治疗剂或成像剂,其中通过本文的系统或方法检测此类剂。在一些实施方案中,所述剂包括化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子。在一些实施方案中,所述系统或方法进一步结合放射学或荧光术,包括X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞分析技术、医学摄影、核医学功能成像技术、正电子发射断层摄影术(PET)、单光子发射计算机断层摄影术(SPECT)、手术器械、手术显微镜、共焦显微镜、荧光镜、外窥镜、或手术机器人、或其组合。在一些实施方案中,所述系统和方法用于检测治疗剂或评估剂的安全性或生理效应,或两者。在一些实施方案中,剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化,或其任何组合。在一些实施方案中,所述方法与手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人组合或者集成至其中。
在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO 900)、QEVO系统、CONVIVO系统、OMPIPENTERO系统(例如PENTERO 900、PENTERO 800)、INFRARED 800系统、FLOW 800系统、YELLOW560系统、BLUE 400系统、OMPI LUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPIVARIO 700)、OMPI Pico系统、OPMI Sensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS500和CLARUS 700)、PRIMUS 200、PLEX Elite 9000、AngioPlex、VISUCAM 524、VISUSCOUT100、ARTEVO 800(和购自Carl Zeiss集团的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自Leica Microsystems或Leica Biosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo、LeicaM530系统(例如Leica M530 OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、Leica M525系统(例如,Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如,Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、LeicaEnFocus、Leica Proveo 8、Leica Envisu C2300、Leica PROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit 5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO 900、Haag-Streit Allegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自Intuitive Surgical的Intuitive Surgical da Vinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Heidelberg Engineering的Heidelberg EngineeringSpectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRIOCT Triton、TRC系统(例如TRC 50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnetPike系统(例如Pike、Pike Nikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Welch Allyn的Welch Allyn 3.5V系统(例如3.5V、3.5V Autostep)、CenterVueDRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige coaxial-plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的Metronic INVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Karl Storz的Karl Storz ENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1S 3D,带或不带OPAL1 NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
本文提供的一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的成像系统,所述系统包括:激光,所述激光发射激发光;激发扩散器,所述激发扩散器使所述激发光扩散;可见通道,所述可见通道用于接收可见光并将可见光引导至所述样本;光学装置,所述光学装置将所述扩散激发光引导至所述样本且允许所述发射光和反射可见光从中传递至成像组件;并且所述成像组件包括:第一陷波滤波器;长通滤波器;透镜;第二陷波滤波器;和图像传感器,所述图像传感器被配置为检测来自所述样本的发射光和反射可见光并且被配置为基于所述发射光和所述反射可见光来产生图像帧。
在一些实施方案中,将发射光和反射可见光从样本引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,将发射光和反射可见光从样本顺序地引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。
在一些实施方案中,激发光具有约775nm至约792nm的波长。在一些实施方案中,激发光具有以下波长:约775nm至约776nm、约775nm至约777nm、约775nm至约778nm、约775nm至约779nm、约775nm至约780nm、约775nm至约782nm、约775nm至约784nm、约775nm至约786nm、约775nm至约790nm、约775nm至约792nm、约775nm至约792nm、约776nm至约777nm、约776nm至约778nm、约776nm至约779nm、约776nm至约780nm、约776nm至约782nm、约776nm至约784nm、约776nm至约786nm、约776nm至约790nm、约776nm至约792nm、约776nm至约792nm、约777nm至约778nm、约777nm至约779nm、约777nm至约780nm、约777nm至约782nm、约777nm至约784nm、约777nm至约786nm、约777nm至约790nm、约777nm至约792nm、约777nm至约792nm、约778nm至约779nm、约778nm至约780nm、约778nm至约782nm、约778nm至约784nm、约778nm至约786nm、约778nm至约790nm、约778nm至约792nm、约778nm至约792nm、约779nm至约780nm、约779nm至约782nm、约779nm至约784nm、约779nm至约786nm、约779nm至约790nm、约779nm至约792nm、约779nm至约792nm、约780nm至约782nm、约780nm至约784nm、约780nm至约786nm、约780nm至约790nm、约780nm至约792nm、约780nm至约792nm、约782nm至约784nm、约782nm至约786nm、约782nm至约790nm、约782nm至约792nm、约782nm至约792nm、约784nm至约786nm、约784nm至约790nm、约784nm至约792nm、约784nm至约792nm、约786nm至约790nm、约786nm至约792nm、约786nm至约792nm、约790nm至约792nm、约790nm至约792nm或约792nm至约792nm。在一些实施方案中,激发光具有以下波长:约775nm、约776nm、约777nm、约778nm、约779nm、约780nm、约782nm、约784nm、约786nm、约790nm、约792nm或约792nm。在一些实施方案中,激发光具有以下波长:至少约775nm、约776nm、约777nm、约778nm、约779nm、约780nm、约782nm、约784nm、约786nm、约790nm或约792nm。在一些实施方案中,激发光具有以下波长:至多约776nm、约777nm、约778nm、约779nm、约780nm、约782nm、约784nm、约786nm、约790nm、约792nm或约792nm。
在一些实施方案中,可见光具有约400nm至约950nm的波长。在一些实施方案中,可见光具有以下波长:约400nm至约450nm、约400nm至约500nm、约400nm至约550nm、约400nm至约600nm、约400nm至约650nm、约400nm至约700nm、约400nm至约750nm、约400nm至约800nm、约400nm至约850nm、约400nm至约900nm、约400nm至约950nm、约450nm至约500nm、约450nm至约550nm、约450nm至约600nm、约450nm至约650nm、约450nm至约700nm、约450nm至约750nm、约450nm至约800nm、约450nm至约850nm、约450nm至约900nm、约450nm至约950nm、约500nm至约550nm、约500nm至约600nm、约500nm至约650nm、约500nm至约700nm、约500nm至约750nm、约500nm至约800nm、约500nm至约850nm、约500nm至约900nm、约500nm至约950nm、约550nm至约600nm、约550nm至约650nm、约550nm至约700nm、约550nm至约750nm、约550nm至约800nm、约550nm至约850nm、约550nm至约900nm、约550nm至约950nm、约600nm至约650nm、约600nm至约700nm、约600nm至约750nm、约600nm至约800nm、约600nm至约850nm、约600nm至约900nm、约600nm至约950nm、约650nm至约700nm、约650nm至约750nm、约650nm至约800nm、约650nm至约850nm、约650nm至约900nm、约650nm至约950nm、约700nm至约750nm、约700nm至约800nm、约700nm至约850nm、约700nm至约900nm、约700nm至约950nm、约750nm至约800nm、约750nm至约850nm、约750nm至约900nm、约750nm至约950nm、约800nm至约850nm、约800nm至约900nm、约800nm至约950nm、约850nm至约900nm、约850nm至约950nm或约900nm至约950nm。在一些实施方案中,可见光具有以下波长:约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm、约850nm、约900nm或约950nm。在一些实施方案中,可见光具有以下波长:约至少约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm、约850nm或约900nm。在一些实施方案中,可见光具有以下波长:约至多约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm、约850nm、约900nm或约950nm。
在一些实施方案中,可见光具有约800nm至约950nm的波长。在一些实施方案中,可见光具有以下波长:约800nm至约825nm、约800nm至约850nm、约800nm至约875nm、约800nm至约900nm、约800nm至约925nm、约800nm至约950nm、约825nm至约850nm、约825nm至约875nm、约825nm至约900nm、约825nm至约925nm、约825nm至约950nm、约850nm至约875nm、约850nm至约900nm、约850nm至约925nm、约850nm至约950nm、约875nm至约900nm、约875nm至约925nm、约875nm至约950nm、约900nm至约925nm、约900nm至约950nm、或约925nm至约950nm。在一些实施方案中,可见光具有以下波长:约800nm、约825nm、约850nm、约875nm、约900nm、约925nm或约950nm。在一些实施方案中,可见光具有以下波长:至少约800nm、约825nm、约850nm、约875nm、约900nm或约925nm。在一些实施方案中,可见光具有以下波长:至多约825nm、约850nm、约875nm、约900nm、约925nm或约950nm。
在一些实施方案中,激发扩散器是圆形激发扩散器。在一些实施方案中,激发扩散器是矩形激发扩散器。
在一些实施方案中,圆形激发扩散器具有约4度至约25度的扩散角度。在一些实施方案中,圆形激发扩散器具有以下扩散角度:约4度至约6度、约4度至约8度、约4度至约10度、约4度至约12度、约4度至约14度、约4度至约16度、约4度至约18度、约4度至约20度、约4度至约22度、约4度至约25度、约6度至约8度、约6度至约10度、约6度至约12度、约6度至约14度、约6度至约16度、约6度至约18度、约6度至约20度、约6度至约22度、约6度至约25度、约8度至约10度、约8度至约12度、约8度至约14度、约8度至约16度、约8度至约18度、约8度至约20度、约8度至约22度、约8度至约25度、约10度至约12度、约10度至约14度、约10度至约16度、约10度至约18度、约10度至约20度、约10度至约22度、约10度至约25度、约12度至约14度、约12度至约16度、约12度至约18度、约12度至约20度、约12度至约22度、约12度至约25度、约14度至约16度、约14度至约18度、约14度至约20度、约14度至约22度、约14度至约25度、约16度至约18度、约16度至约20度、约16度至约22度、约16度至约25度、约18度至约20度、约18度至约22度、约18度至约25度、约20度至约22度、约20度至约25度或约22度至约25度。在一些实施方案中,圆形激发扩散器具有以下扩散角度:约4度、约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、约22度或约25度。在一些实施方案中,圆形激发扩散器具有以下扩散角度:至少约4度、约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度或约22度。在一些实施方案中,圆形激发扩散器具有以下扩散角度:至多约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、约22度或约25度。
在一些实施方案中,矩形激发扩散器具有第一扩散角度和垂直于第一扩散角度的第二扩散角度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约25度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约6度、约4度至约8度、约4度至约10度、约4度至约12度、约4度至约14度、约4度至约16度、约4度至约18度、约4度至约20度、约4度至约22度、约4度至约25度、约6度至约8度、约6度至约10度、约6度至约12度、约6度至约14度、约6度至约16度、约6度至约18度、约6度至约20度、约6度至约22度、约6度至约25度、约8度至约10度、约8度至约12度、约8度至约14度、约8度至约16度、约8度至约18度、约8度至约20度、约8度至约22度、约8度至约25度、约10度至约12度、约10度至约14度、约10度至约16度、约10度至约18度、约10度至约20度、约10度至约22度、约10度至约25度、约12度至约14度、约12度至约16度、约12度至约18度、约12度至约20度、约12度至约22度、约12度至约25度、约14度至约16度、约14度至约18度、约14度至约20度、约14度至约22度、约14度至约25度、约16度至约18度、约16度至约20度、约16度至约22度、约16度至约25度、约18度至约20度、约18度至约22度、约18度至约25度、约20度至约22度、约20度至约25度、或约22度至约25度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度、约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、约22度、或约25度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是至少约4度、约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、或约22度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是至多约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、约22度或约25度。在一些实施方案中,第一扩散角度是约14度,并且其中第二扩散角度是约8度。在一些实施方案中,光学装置是热镜、双色镜、短通滤波器或其任何组合。在一些实施方案中,热镜将NIR光的波长从可见光滤出。在一些实施方案中,光学装置将扩散激发光沿着第一方向引导至样本且允许激发光和反射可见光沿着与第一方向相反的第二方向从中通过。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻止激发光从中通过。
在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻挡波长约775nm至约795nm的光。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻挡具有以下波长的光:约775nm至约780nm、约775nm至约785nm、约775nm至约790nm、约775nm至约795nm、约780nm至约785nm、约780nm至约790nm、约780nm至约795nm、约785nm至约790nm、约785nm至约795nm或约790nm至约795nm。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻挡波长约775nm、约780nm、约785nm、约790nm或约795nm的光。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻挡波长至少约775nm、约780nm、约785nm或约790nm的光。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻挡波长至多约780nm、约785nm、约790nm或约795nm的光。
在一些实施方案中,成像组件还包括偏振器。在一些实施方案中,发射光和反射可见光被引导通过长通滤波器、偏振器和透镜。在一些实施方案中,发射光和反射可见光被顺序地引导通过长通滤波器、偏振器和透镜。在一些实施方案中,所述系统还包括发射可见光的白光。在一些实施方案中,所述系统还包括在成像组件与样本之间且在激发扩散器与样本之间的短通双色镜。
在一些实施方案中,短通双色镜透射约400nm至约800nm的波长。在一些实施方案中,短通双色镜透射以下波长:约400nm至约450nm、约400nm至约500nm、约400nm至约550nm、约400nm至约600nm、约400nm至约650nm、约400nm至约700nm、约400nm至约750nm、约400nm至约800nm、约450nm至约500nm、约450nm至约550nm、约450nm至约600nm、约450nm至约650nm、约450nm至约700nm、约450nm至约750nm、约450nm至约800nm、约500nm至约550nm、约500nm至约600nm、约500nm至约650nm、约500nm至约700nm、约500nm至约750nm、约500nm至约800nm、约550nm至约600nm、约550nm至约650nm、约550nm至约700nm、约550nm至约750nm、约550nm至约800nm、约600nm至约650nm、约600nm至约700nm、约600nm至约750nm、约600nm至约800nm、约650nm至约700nm、约650nm至约750nm、约650nm至约800nm、约700nm至约750nm、约700nm至约800nm、或约750nm至约800nm。在一些实施方案中,短通双色镜透射以下波长:约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、或约800nm。在一些实施方案中,短通双色镜透射以下波长:至少约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、或约750nm。在一些实施方案中,短通双色镜透射以下波长:至多约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、或约800nm。在一些实施方案中,短通双色滤波器反射大于约720nm、725nm、730nm、735nm、740nm、750nm、755nm、760nm、770nm、780nm、800nm或更大(包括其间的增量)的波长。在一些实施方案中,所述系统还包括在短通双色镜与样本之间的底部窗。在一些实施方案中,所述系统还包括在陷波滤波器与样本之间的前部窗。在一些实施方案中,激发光是红外或近红外激发光。在一些实施方案中,长通滤波器包括可见光衰减器。在一些实施方案中,可见光衰减器透射近红外波长。在一些实施方案中,所述系统还包括激光监视传感器,所述激光监视传感器包括:激发光功率计,所述激发光功率计被配置为测量激发光的功率;和扩散束形状传感器,所述扩散束形状传感器测量扩散束形状,所述扩散束形状传感器包括第一扩散束形状计和第二扩散束形状计;或两者。在一些实施方案中,所述系统还包括将一部分激发光重新引导至激发光功率计的反射器。在一些实施方案中,所述反射器位于激发通道与激发扩散器之间。在一些实施方案中,光学装置允许一部分扩散激发光沿着与所述扩散激发光平行的方向从中通过,并且其中扩散束形状传感器接收该部分扩散激发光。在一些实施方案中,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,并且其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。在一些实施方案中,激发光功率计、第一扩散束形状计、第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。在一些实施方案中,如果出现以下情况,则激光监视器关闭激光:激发光的测量功率偏离设定的激发光功率第一预定值;扩散束形状偏离设定的束形状第二预定值;或两者。在一些实施方案中,激光具有关闭模式和开启模式。
本文提供的另一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的成像平台,所述平台包括:本文的成像系统;和成像站,所述成像站包括:非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括可由处理器执行以从图像传感器接收图像帧的指令;和输入装置。
在一些实施方案中,成像站经由成像缆线、无线连接或两者从图像传感器接收图像帧。在一些实施方案中,所述平台还包括成像缆线。在一些实施方案中,成像系统还经由成像缆线从成像站接收电力。在一些实施方案中,成像系统包括激光监视传感器,其中所述平台还包括从激光监视传感器接收数据的激光监视联锁器,并且其中如果出现以下情况,则激光监视联锁器关闭激光:激发光的测量功率偏离设定的激发光功率第一预定值;扩散束形状偏离设定的束形状第二预定值;或两者。在一些实施方案中,无线连接包括蓝牙连接、Wi-Fi连接、RFID连接或其任何组合。在一些实施方案中,输入装置包括鼠标、触控板、操纵杆、触控屏幕、键盘、麦克风、相机、扫描仪、RFID读取器、蓝牙装置、手势接口、语音接口或其任何组合。
在一些实施方案中,NIR照明源(激光)处于成像站中,并且在一些情况中,它位于成像头中。它也可以位于成像缆线中(‘短停’解决方案)。
在一些实施方案中,显微镜将成像系统加热到高于环境室温(例如,经由热传导和/或从显微镜的可见照明源辐射)。
在一些实施方案中,成像系统的设计被优化以在高温(高于环境温度)下操作。由于激光发射波长随着温度而偏移,因此光学滤波器是针对热偏移波长范围来优化。
在一些实施方案中,控制激光的温度以减少温度相依发射波长偏移的范围。可使用热电致冷器(TEC)、加热器(例如,电阻性负载)来控制激光温度。
在一些实施方案中,不控制激光的温度。
在一些实施方案中,成像站是‘基于手推车’的。在其他实施方案中,成像站容纳于小的有轮单元中、悬挂在显微镜上、搁置或悬挂在显微镜上的别处、放置于显微镜附近的地面上、或放置于托盘/柱子/台子上。或者,成像站可被设计为放置于多个位置,诸如悬挂在显微镜上和悬挂在托盘上。
成像站可为成像系统和/或成像缆线提供存储。或者,这些部件可分开存储于某其他容器(例如,存储箱或类似容器)中。
本文提供的另一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的方法,所述方法包括:发射激发光;使所述激发光扩散;接收可见光且将所述可见光引导至样本;将所述扩散激发光引导至样本;将发射光和反射可见光引导至成像组件;以及对发射光和反射可见光进行滤波;从样本引导发射光和反射可见光以基于发射光和反射可见光来产生图像帧。
在一些实施方案中,对发射光和反射可见光进行滤波包括将发射光和反射可见光从样本引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,对发射光和反射可见光进行滤波包括将发射光和反射可见光从样本顺序地引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,激发光具有约775nm至约795nm的波长。在一些实施方案中,激发光具有约785nm的波长。在一些实施方案中,可见光具有约400nm至约700nm的波长。在一些实施方案中,可见光具有约800nm至约950nm的波长。在一些实施方案中,激发光通过圆形激发扩散器来扩散。在一些实施方案中,圆形激发扩散器具有约4度至约25度的扩散角度。在一些实施方案中,激发光通过矩形激发扩散器来扩散。在一些实施方案中,矩形激发扩散器具有第一扩散角度和垂直于第一扩散角度的第二扩散角度。
在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约25度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约6度、约4度至约8度、约4度至约10度、约4度至约12度、约4度至约14度、约4度至约16度、约4度至约18度、约4度至约20度、约4度至约22度、约4度至约25度、约6度至约8度、约6度至约10度、约6度至约12度、约6度至约14度、约6度至约16度、约6度至约18度、约6度至约20度、约6度至约22度、约6度至约25度、约8度至约10度、约8度至约12度、约8度至约14度、约8度至约16度、约8度至约18度、约8度至约20度、约8度至约22度、约8度至约25度、约10度至约12度、约10度至约14度、约10度至约16度、约10度至约18度、约10度至约20度、约10度至约22度、约10度至约25度、约12度至约14度、约12度至约16度、约12度至约18度、约12度至约20度、约12度至约22度、约12度至约25度、约14度至约16度、约14度至约18度、约14度至约20度、约14度至约22度、约14度至约25度、约16度至约18度、约16度至约20度、约16度至约22度、约16度至约25度、约18度至约20度、约18度至约22度、约18度至约25度、约20度至约22度、约20度至约25度、或约22度至约25度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度、约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、约22度或约25度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是至少约4度、约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度或约22度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是至多约6度、约8度、约10度、约12度、约14度、约16度、约18度、约20度、约22度或约25度。
在一些实施方案中,第一扩散角度是约14度,并且其中第二扩散角度是约8度。在一些实施方案中,通过热镜、双色镜、短通滤波器或其任何组合将扩散激发光引导至样本。在一些实施方案中,通过热镜、双色镜、短通滤波器或其任何组合将反射可见光引导至成像组件。在一些实施方案中,热镜将NIR光的波长从可见光滤出。在一些实施方案中,沿着第一方向将扩散激发光引导至样本,并且其中沿着与第一方向相反的第二方向引导发射光和反射可见光。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡激发光。
在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有约775nm至约795nm的波长的光。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有以下波长的光:约775nm至约780nm、约775nm至约785nm、约775nm至约790nm、约775nm至约795nm、约780nm至约785nm、约780nm至约790nm、约780nm至约795nm、约785nm至约790nm、约785nm至约795nm或约790nm至约795nm。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有以下波长的光:约775、约780nm、约785nm、约790nm或约795nm。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有以下波长的光:至少约775nm、约780nm、约785nm或约790nm。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有以下波长的光:至多约780nm、约785nm、约790nm或约795nm。
在一些实施方案中,所述方法还包括对发射光和反射可见光进行偏振。在一些实施方案中,所述方法还包括对扩散激发光进行滤波。在一些实施方案中,对扩散激发光进行滤波包括滤出小于约720nm、725nm、730nm、735nm、740nm、750nm、755nm、760nm、770nm、780nm、800nm或更大(包括其间的增量)的波长。在一些实施方案中,激发光为红外或近红外激发光。在一些实施方案中,对发射光和反射可见光进行滤波包括使发射光和反射可见光衰减。在一些实施方案中,使发射光和反射可见光衰减包括阻挡除了近红外波长之外的所有波长。在一些实施方案中,所述方法还包括通过以下操作来监视激光:用激发光监视器测量激发光的功率;以及用第一扩散束形状计和第二扩散束形状计测量扩散激发光的扩散束形状;或两者。在一些实施方案中,激发光监视器通过接收激发光的重定向部分来测量激发光的功率。在一些实施方案中,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,并且其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。在一些实施方案中,激发光监视器、第一扩散束形状计、第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。在一些实施方案中,所述方法还包括如果出现以下情况则关闭激光:激发光的测量功率偏离设定的激发光功率第一预定值;扩散束形状偏离设定的束形状第二预定值;或两者。在一些实施方案中,激光具有关闭模式和开启模式。在一些实施方案中,所述方法还包括通过非暂时性计算机可读存储介质从图像传感器接收图像帧,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括可由处理器执行的指令。在一些实施方案中,从图像传感器接收图像帧是通过成像缆线、无线连接或两者来执行。在一些实施方案中,无线连接包括蓝牙连接、WIFI连接、RFID连接或其任何组合。
本文提供的一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的成像系统,所述系统包括:激发通道,所述激发通道用于接收激发光;激发扩散器,所述激发扩散器使所述激发光扩散;可见通道,所述可见通道用于接收可见光并将可见光引导至所述样本;光学装置,所述光学装置将所述扩散激发光引导至所述样本并且允许所述发射光和反射可见光从中传递至成像组件;所述成像组件包括:第一陷波滤波器;长通滤波器;透镜;第二陷波滤波器;和图像传感器,所述图像传感器被配置为检测来自所述样本的发射光和反射可见光并且被配置为基于所述发射光和所述反射可见光来产生图像帧。
在一些实施方案中,将发射光和反射可见光从样本引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,将发射光和反射可见光从样本顺序地引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,激发光具有以下波长:约700nm至约800nm、约800nm至约950nm、约775nm至约795nm、或约785。在一些实施方案中,可见光源具有约400nm至约800nm的波长。在一些实施方案中,激发扩散器是圆形激发扩散器。在一些实施方案中,圆形激发扩散器具有约4度至约25度或约8度至约14度的扩散角度。在一些实施方案中,激发扩散器是矩形激发扩散器。在一些实施方案中,矩形激发扩散器具有第一扩散角度和垂直于第一扩散角度的第二扩散角度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约25度或约8度至约14度。在一些实施方案中,第一扩散角度是约14度,并且其中第二扩散角度是约8度。在一些实施方案中,光学装置是热镜、双色镜、短通滤波器或其任何组合。在一些实施方案中,所述热镜从所述可见光滤出、反射或分离NIR或IR光的波长。在一些实施方案中,光学装置将扩散激发光沿着第一方向引导至样本并且允许发射光和反射可见光沿着与所述第一方向相反的第二方向从中通过。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻止激发光从中通过。在一些实施方案中,陷波滤波器的宽度大于激发光源的频谱宽度。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者具有不能从中通过的约775nm至约795nm的中心阻带,其中所述中心阻带宽度是足以使所述激发光衰减的宽度。在一些实施方案中,第一陷波滤波器和第二陷波滤波器中的至少一者阻止具有约785nm的中心阻带的光从中通过,其中所述阻带宽度是足以使激发源衰减的宽度。在一些实施方案中,成像组件还包括偏振器。在一些实施方案中,发射光和反射可见光按任何次序被引导通过长通滤波器、偏振器和透镜。在一些实施方案中,发射光和反射可见光被顺序地引导通过长通滤波器、偏振器和透镜。在一些实施方案中,所述系统还包括发射可见光的白光。在一些实施方案中,所述系统还包括在成像组件与样本之间并且在激发扩散器与样本之间的短通镜。在一些实施方案中,短通双色镜透射约400nm至约720nm的波长,并且其中短通双色镜反射大于约720nm的波长。在一些实施方案中,所述系统还包括在短通镜与样本之间的底部窗。在一些实施方案中,短通镜包括薄膜镜、双色镜或其任何组合。在一些实施方案中,所述系统还包括在陷波滤波器与样本之间的前部窗。在一些实施方案中,激发光是红外或近红外激发光。在一些实施方案中,长通滤波器包括可见光衰减器。在一些实施方案中,可见光衰减器透射近红外或红外波长。在一些实施方案中,所述系统还包括激光监视传感器,所述激光监视传感器包括:激发光功率计,所述激发光功率计被配置为测量激发光的功率(激发功率);和扩散束形状传感器,所述扩散束形状传感器测量扩散束形状,所述扩散束形状传感器包括至少一个扩散束形状计。在一些实施方案中,所述系统还包括第一扩散束形状计和第二扩散束形状计。在一些实施方案中,所述系统还包括将一部分激发光重新引导至激发光功率计的反射器。在一些实施方案中,反射器位于激发通道与激发扩散器之间。在一些实施方案中,所述系统还包括光学装置,所述光学装置允许一部分扩散激发光沿着与所述扩散激发光平行的方向从中通过,并且其中扩散束形状传感器接收所述部分扩散激发光。在一些实施方案中,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,并且其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。在一些实施方案中,所述系统还包括2、3、4、5、6、7、8、9、10或更多个额外束形状计。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合被布置为一维阵列。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合被布置为二维阵列。在一些实施方案中,激发光功率计、第一扩散束形状计、第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。在一些实施方案中,激发光功率计、第一扩散束形状计、第二扩散束形状计或其任何组合位于激发束的路径中或位于光学部件后面。在一些实施方案中,激光具有关闭模式和开启模式。
由于肉眼不可能看到NIR激发和荧光,因此在一些实施方案中,所述系统包括荧光成像标靶,其可用于确保系统的红外成像正常进行。
在一些实施方案中,先前描述的激光监视系统可用作系统的确认红外成像正常进行的部分,而不需要单独的荧光成像标靶。
本文提供的另一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的成像平台,所述平台包括:所述成像系统;成像站,所述成像站包括:非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括可由处理器执行以从图像传感器接收图像帧的指令;和输入装置。在一些实施方案中,成像站经由成像缆线、无线连接或两者从成像系统接收图像帧。在一些实施方案中,还包括成像缆线。在一些实施方案中,成像系统进一步经由成像缆线接收电力。在一些实施方案中,成像平台还包括成像系统,所述成像系统经由成像缆线接收电力。在一些实施方案中,无线连接包括蓝牙连接、Wi-Fi连接、蜂窝数据连接、RFID连接或其任何组合。在一些实施方案中,输入装置包括鼠标、触控板、操纵杆、触控屏幕、键盘、麦克风、相机、扫描仪、RFID读取器、蓝牙装置、手势接口、语音命令接口或其任何组合。在一些实施方案中,成像系统包括激光监视传感器,其中所述平台还包括从激光监视传感器接收数据的激光监视电子装置,并且其中如果出现以下情况,则激光监视电子装置关闭激光:激发光的测量功率(即,激发功率)偏离设定的激发光功率第一预定值;扩散束形状偏离设定的束形状第二预定值;或两者。在一些实施方案中,所述第一预定值包括按照变化率值的预定范围值或预定最大量值或两者来测量的激发功率。在一些实施方案中,第一预定值超过所述范围中的最高预定值或小于所述范围中的最低预定值。在一些实施方案中,所述第二预定值包括偏离由一个或多个扩散束形状计测量的设定束形状的值。在一些实施方案中,所述第二预定值基于由第一扩散束形状计测量的在扩散束形状的至少一个点处的扩散束的功率与由至少第二扩散束形状计测量的在扩散束形状的至少一个其他点处的扩散束的功率的比较来确定扩散束形状偏离设定的束形状。在一些实施方案中,激光监视电子装置通过中断供应至激光的电力或由于激发功率超过或小于设定范围值或设定范围速率或由于由一个或多个扩散束形状计测量出的偏离而关闭激光。在一些实施方案中,当激光监视电子装置确定激发功率的变化率的量值相对于预定最大值已超过最高预定速率或束形状已偏离设定束形状时,激光在一毫秒、一微秒或一皮秒或更短时间内关闭。
本文提供的另一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的方法,所述方法包括:发射激发光;使所述激发光扩散;接收可见光并将所述可见光引导至样本;将所述扩散激发光引导至样本;将发射光和反射可见光引导至成像组件;从发射光滤出激发光和反射可见光;从样本引导发射光和反射可见光以基于发射光和反射可见光来产生图像帧。
在一些实施方案中,从发射光滤出激发光和反射可见光包括将发射光和反射可见光从样本引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,对激发光和反射可见光进行滤波包括将发射光和反射可见光从样本顺序地引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,激发光具有约775nm至约795nm的波长。在一些实施方案中,激发光具有约785nm的波长。在一些实施方案中,可见光源具有约400nm至约800nm的波长。在一些实施方案中,激发光具有约800nm至约950nm的波长。在一些实施方案中,激发光通过圆形激发扩散器来扩散。在一些实施方案中,圆形激发扩散器具有约4度至约25度的扩散角度。在一些实施方案中,激发光通过矩形激发扩散器来扩散。在一些实施方案中,矩形激发扩散器具有第一扩散角度和垂直于第一扩散角度的第二扩散角度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约25度。在一些实施方案中,第一扩散角度是约14度,并且其中第二扩散角度是约8度。在一些实施方案中,通过热镜、双色镜、短通滤波器或其任何组合将扩散激发光引导至样本。在一些实施方案中,通过热镜、双色镜、短通滤波器或其任何组合将反射可见光引导至成像组件。在一些实施方案中,热镜将NIR或IR光的波长从可见光滤出。在一些实施方案中,沿着第一方向将扩散激发光引导至样本,并且其中沿着与第一方向相反的第二方向引导发射光和反射可见光。在一些实施方案中,对发射光和反射可见光进行滤波包括阻止具有约775nm至约795nm的波长的光从中通过。在一些实施方案中,对发射光和反射可见光进行滤波包括阻止具有约785nm的波长的光从中通过。在一些实施方案中,所述方法还包括对发射光和反射可见光进行偏振。在一些实施方案中,所述方法还包括对扩散激发光进行滤波。在一些实施方案中,对扩散激发光进行滤波包括滤出小于约720nm、725nm、730nm、735nm、740nm、750nm、755nm、760nm、770nm、780nm、800nm或更大(包括其间的增量)的波长。在一些实施方案中,激发光是红外或近红外激发光。在一些实施方案中,所述方法还包括通过以下操作来监视激光:用激发光监视器测量激发光的功率;用传感器系统测量扩散激发光的扩散束形状;或两者。在一些实施方案中,激发光监视器通过接收激发光的重定向部分来测量激发光的功率。在一些实施方案中,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,并且其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。在一些实施方案中,激发光监视器、第一扩散束形状计、第二扩散束形状计或其任何组合或数目的传感器/计包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。
如权利要求79至82中任一项所述的方法,所述方法还包括由2、3、4、5、6、7、8、9、10或更多个额外束形状计来测量扩散束的功率。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合被布置为一维阵列。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合被布置为二维阵列。在一些实施方案中,激发光功率计、第一扩散束形状计、第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。在一些实施方案中,激发光功率计、第一扩散束形状计、第二扩散束形状计或其任何组合位于激发束的路径中或位于光学部件后面。在一些实施方案中,所述方法还包括如果出现以下情况则关闭激光:激发光的测量功率偏离设定的激发光功率第一预定值;扩散束形状偏离设定的束形状第二预定值;或两者。在一些实施方案中,激光具有关闭模式和开启模式。在一些实施方案中,所述方法还包括通过非暂时性计算机可读存储介质从图像传感器接收图像帧,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括可由处理器执行的指令。在一些实施方案中,从图像传感器接收图像帧是通过成像缆线、无线连接或两者来执行。在一些实施方案中,无线连接包括蓝牙连接、Wi-Fi连接、蜂窝数据连接、RFID连接或其任何组合。
本文提供的另一个方面是一种由激光诱发荧光团激发形成第一重叠图像的计算机实施方法,所述方法包括:接收多个图像帧序列,每一图像帧序列包括:在激光处于关闭模式或处于开启模式时捕获的VIS帧;和在激光处于开启模式时捕获的初步量的NIR或IR帧;通过减去一个校正VIS帧来校正每一NIR或IR帧;通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第一NIR或IR图像;通过将第一VIS帧和在所述第一VIS帧后面的V量的VIS帧相加来产生第一VIS图像;以及将所述NIR或IR图像与所述VIS图像重叠以形成所述第一重叠图像。
在一些实施方案中,校正VIS__DRK帧是与第一NIR或IR帧在同一个帧序列中、在所述NIR帧的帧序列的后一个帧序列中、在所述NIR帧的帧序列的前一个帧序列中或其组合的VIS__DRK帧。在一些实施方案中,产生第一VIS图像是通过直接显示第一VIS帧或在累加器中将第一VIS帧与在所述第一VIS帧后面的V量的VIS帧相加来实现。在一些实施方案中,通过将合计量的经校正NIR或IR图像与合计量的VIS图像重叠以形成第一重叠图像来获得重叠图像。在一些实施方案中,V量是零或更多。在一些实施方案中,序列包括初步量的NIR帧和一个VIS帧,用于任何给定NIR或IR帧的校正VIS_DRK帧是时间上最接近于所述给定NIR或IR帧的VIS_DRK帧,不管校正VIS帧与给定NIR或IR帧是在同一个帧序列中、在给定NIR或IR帧的前一个帧序列中还是在后一个帧序列中。在一些实施方案中,(N+1)等于或大于所述初步量。在一些实施方案中,产生第一NIR或IR图像还包括将在第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。在一些实施方案中,减去时间上最接近或最靠近每一NIR帧的校正VIS帧减少或最小化由VIS帧、NIR或IR帧或两者的捕获之间的移动造成的运动伪影。在一些实施方案中,每一图像帧序列还包括仅在环境光下捕获的一个或多个VIS_DRK帧。在一些实施方案中,校正每一NIR或IR帧还包括从所述NIR或IR帧减去所述一个或多个VIS_DRK帧中的至少一者。在一些实施方案中,每一NIR或IR帧的信号增益等于所述一个或多个VIS_DRK帧中的至少一者的信号增益乘以所捕获的输入动态范围。在一些实施方案中,所述VIS帧中的每一者和所述NIR或IR帧中的每一者通过具有可见和NIR或IR像素的传感器来捕获。在一些实施方案中,所述VIS帧中的一者或多者和所述NIR或IR帧中的一者或多者包含于单个帧中。在一些实施方案中,减去VIS_DRK帧包括减去VIS_DRK帧乘以NIR或IR帧的曝光量与所述一个或多个VIS_DRK帧中的至少一者的曝光量之间的比率。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的VIS帧和一个或多个序列的NIR或IR帧通过具有可见和NIR或IR像素的传感器捕获。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的VIS帧和一个或多个序列的NIR或IR帧包含于单个帧中。在一些实施方案中,在激光处于开启模式时,捕获VIS帧。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者包括VIS帧。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者不包括VIS帧。在一些实施方案中,所述方法还包括:通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像;通过将第二VIS帧与所述第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像;将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像。在一些实施方案中,N+1等于X乘以所述初步量,其中X是大于2的整数,其中所述应用程序还包括通过将第(N+初步量+1)个或第(N+初步量+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块。在一些实施方案中,所述方法还包括由两个或更多个重叠图像形成显示图像。在一些实施方案中,为每一序列形成一个显示图像。在一些实施方案中,为两个或更多个序列形成一个显示图像。
本文提供的另一个方面是一种计算机实施系统,所述计算机实施系统包括:数字处理装置,所述数字处理装置包括:至少一个处理器、被配置为执行可执行指令的操作系统、存储器和计算机程序,所述计算机程序包括指令,所述指令可由所述数字处理装置执行以产生用于由激光诱发荧光团激发形成第一重叠图像的应用程序,所述应用程序包括:接收多个图像帧序列的模块,每一图像帧序列包括:在激光处于关闭模式或处于开启模式时捕获的VIS帧;和在激光处于开启模式时捕获的初步量的NIR或IR帧;通过减去一个校正VIS帧来校正每一NIR或IR帧的模块;通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第一NIR或IR图像的模块;通过将第一VIS帧和在所述第一VIS帧后面的V量的VIS帧相加来产生第一VIS图像的模块;以及将所述NIR或IR图像与所述VIS图像重叠以形成所述第一重叠图像的模块。
在一些实施方案中,校正VIS帧是与第一NIR或IR帧在同一个帧序列中、在所述NIR帧的帧序列的后一个帧序列中、在所述NIR帧的帧序列的前一个帧序列中或其组合的VIS帧。在一些实施方案中,产生第一VIS图像是通过直接显示第一VIS帧或在累加器中将第一VIS帧与在所述第一VIS帧后面的V量的VIS帧相加来实现。在一些实施方案中,通过将合计量的NIR或IR图像与合计量的VIS图像重叠以形成第一重叠图像来获得重叠NIR或IR图像。在一些实施方案中,V量是零或更多。在一些实施方案中,序列包括初步量的NIR帧和一个VIS帧,用于任何给定NIR或IR帧的校正VIS帧是时间上最接近于所述给定NIR或IR帧的VIS帧,不管校正VIS帧与给定NIR或IR帧是在同一个帧序列中、在给定NIR或IR帧的前一个帧序列中还是在后一个帧序列中。在一些实施方案中,(N+1)等于或大于所述初步量。在一些实施方案中,产生第一NIR或IR图像还包括将在第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。在一些实施方案中,减去时间上最接近或最靠近每一NIR帧的校正VIS帧减少、最小化或校正由VIS帧、NIR或IR帧或两者的捕获之间的移动造成的运动伪影。在一些实施方案中,每一图像帧序列还包括仅在环境光下捕获的一个或多个VIS_DRK帧。在一些实施方案中,校正每一NIR或IR帧还包括从所述NIR或IR帧减去所述一个或多个VIS_DRK帧中的至少一者。在一些实施方案中,每一NIR或IR帧的信号增益等于所述一个或多个VIS_DRK帧中的至少一者的信号增益乘以所捕获的输入动态范围。在一些实施方案中,所述VIS帧中的每一者和所述NIR或IR帧中的每一者通过具有可见和NIR或IR像素的传感器来捕获。在一些实施方案中,所述VIS帧中的一者或多者和所述NIR或IR帧中的一者或多者包含于单个帧中。在一些实施方案中,减去VIS_DRK帧包括减去VIS_DRK帧乘以NIR或IR帧的曝光量与所述一个或多个VIS_DRK帧中的至少一者的曝光量之间的比率。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的VIS帧和一个或多个序列的NIR或IR帧通过具有可见和NIR或IR像素的传感器捕获。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的VIS帧和一个或多个序列的NIR或IR帧包含于单个帧中。在一些实施方案中,在激光处于开启模式时,捕获VIS帧。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者包括VIS帧。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者不包括VIS帧。在一些实施方案中,所述应用程序还包括:通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块;通过将第二VIS帧与所述第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像的模块;将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像的模块。在一些实施方案中,N+1等于X乘以所述初步量,其中X是大于2的整数,其中所述应用程序还包括通过将第(N+初步量+1)个或第(N+初步量+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块。在一些实施方案中,所述应用程序还包括由两个或更多个重叠图像形成显示图像的模块。在一些实施方案中,为每一序列形成一个显示图像。在一些实施方案中,为两个或更多个序列形成一个显示图像。
本文提供的另一个方面是一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质编码有包括指令的计算机程序,所述指令可由处理器执行以产生用于由激光诱发荧光团激发形成第一重叠图像的应用程序,所述应用程序包括:接收多个图像帧序列的模块,每一图像帧序列包括:在激光处于关闭模式或处于开启模式时捕获的VIS帧;和在激光处于开启模式时捕获的初步量的NIR或IR帧;通过减去一个校正VIS帧来校正每一NIR或IR帧的模块;通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第一NIR或IR图像的模块;通过将第一VIS帧和在所述第一VIS帧后面的V量的VIS帧相加来产生第一VIS图像的模块;以及将所述NIR或IR图像与所述VIS图像重叠以形成所述第一重叠图像的模块。
在一些实施方案中,校正VIS帧是与第一NIR或IR帧在同一个帧序列中、在所述NIR帧的帧序列的后一个帧序列中、在所述NIR帧的帧序列的前一个帧序列中或其组合的VIS帧。在一些实施方案中,产生第一VIS图像是通过直接显示第一VIS帧或在累加器中将第一VIS帧与在所述第一VIS帧后面的V量的VIS帧相加来实现。在一些实施方案中,通过将合计量的NIR或IR图像与合计量的VIS图像重叠以形成第一重叠图像来获得重叠NIR或IR图像。在一些实施方案中,V量是零或更多。在一些实施方案中,序列包括初步量的NIR帧和一个VIS帧,用于任何给定NIR或IR帧的校正VIS帧是时间上最接近于所述给定NIR或IR帧的VIS帧,不管校正VIS帧与给定NIR或IR帧是在同一个帧序列中、在给定NIR或IR帧的前一个帧序列中还是在后一个帧序列中。在一些实施方案中,(N+1)等于或大于所述初步量。在一些实施方案中,产生第一NIR或IR图像还包括将在第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。在一些实施方案中,减去时间上最接近或最靠近每一NIR帧的校正VIS帧减少、最小化或校正由VIS帧、NIR或IR帧或两者的捕获之间的移动造成的运动伪影。在一些实施方案中,每一图像帧序列还包括仅在环境光下捕获的一个或多个VIS_DRK帧。在一些实施方案中,校正每一NIR或IR帧还包括从所述NIR或IR帧减去所述一个或多个VIS_DRK帧中的至少一者。在一些实施方案中,每一NIR或IR帧的信号增益等于所述一个或多个VIS_DRK帧中的至少一者的信号增益乘以所捕获的输入动态范围。在一些实施方案中,所述VIS帧中的每一者和所述NIR或IR帧中的每一者通过具有可见和NIR或IR像素的传感器来捕获。在一些实施方案中,所述VIS帧中的一者或多者和所述NIR或IR帧中的一者或多者包含于单个帧中。在一些实施方案中,减去VIS_DRK帧包括减去VIS_DRK帧乘以NIR或IR帧的曝光量与所述一个或多个VIS_DRK帧中的至少一者的曝光量之间的比率。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的VIS帧和一个或多个序列的NIR或IR帧通过具有可见和NIR或IR像素的传感器捕获。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的VIS帧和一个或多个序列的NIR或IR帧包含于单个帧中。在一些实施方案中,在激光处于开启模式时,捕获VIS帧。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者包括VIS帧。在一些实施方案中,所述一个或多个VIS_DRK帧中的至少一者不包括VIS帧。在一些实施方案中,所述应用程序还包括:通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块;通过将第二VIS帧与所述第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像的模块;将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像的模块。在一些实施方案中,N+1等于X乘以所述初步量,其中X是大于2的整数,其中所述应用程序还包括通过将第(N+初步量+1)个或第(N+初步量+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块。在一些实施方案中,所述应用程序还包括用于由两个或更多个重叠图像形成显示图像的模块。在一些实施方案中,为每一序列形成一个显示图像。在一些实施方案中,为两个或更多个序列形成一个显示图像。
本文提供的另一个方面是一种对来自受试者的样本中的脉管系统或结构进行成像的方法,所述方法包括通过使用成像系统对荧光成像来产生所述脉管系统或结构的图像,所述系统包括:所述成像系统或成像平台。
本文提供的另一个方面是一种对来自受试者的样本中的脉管系统或结构进行成像的方法,所述方法包括通过使用成像系统方法对荧光成像来产生所述脉管系统或结构的图像。在一些实施方案中,所述成像荧光是自发荧光、显影或成像剂、化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子或其任何组合。在一些实施方案中,所述方法还包括向受试者施用显影或成像剂。
本文提供的另一个方面是一种对来自受试者的样本中的脉管系统或结构进行成像的方法,所述方法包括:向受试者施用显影或成像剂;通过使用成像系统对所述显影或成像剂进行成像来产生所述脉管系统或结构的图像,所述系统包括:所述成像系统或成像平台。
本文提供的另一个方面是一种对来自受试者的样本中的脉管系统或结构进行成像的方法,所述方法包括:向受试者施用显影或成像剂;通过使用成像系统方法对所述显影或成像剂进行成像来产生所述脉管系统或结构的图像。在一些实施方案中,所述显影或成像剂包括染料、荧光团、荧光生物素化合物、发光化合物、化学发光化合物或其任何组合。在一些实施方案中,所述显影或成像剂吸收约200nm至约900nm之间的波长。在一些实施方案中,所述显影或成像剂包括:DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或靛青绿(ICG)和前述各者的任何衍生物;荧光素和荧光染料(例如,异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等)、碳青、部花青素、苯乙烯基染料、氧杂菁染料、藻红素、赤藻红、曙红、玫瑰红染料(例如,四甲基羧基-玫瑰红或TAMRA、羧基玫瑰红6G、羧基-X-玫瑰红(ROX)、丽丝胺玫瑰红B、玫瑰红6G、玫瑰红绿、玫瑰红红、四甲基玫瑰红(TMR)等)、香豆素和香豆素染料(例如,甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如,俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等)、德克萨斯红、德克萨斯红-X、光谱红、光谱绿、花青染料(例如,CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如,ALEXAFLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXA FLUOR 633、ALEXA FLUO R660、ALEXA FLUOR 680等)、BODIPY染料(例如,BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IR染料(例如,IRD40、IRD 700、IRD 800等)、7-氨基香豆素、二烷基氨基香豆素反应性染料、6,8-二氟-7-羟基香豆素荧光团、羟基香豆素衍生物、烷氧基香豆素衍生物、琥珀酰亚胺酯、芘琥珀酰亚胺酯、吡啶基唑衍生物、氨基萘基染料、丹磺酰氯、dapoxyl染料、Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、二胺染料、二胺巯基乙酸、NBD染料、QsY 35或其任何组合。在一些实施方案中,所述施用包括静脉内施用、肌肉内施用、皮下施用、眼内施用、动脉内施用、腹膜施用、瘤内施用、皮内施用或其任何组合。在一些实施方案中,成像包括组织成像、离体成像、术中成像或其任何组合。在一些实施方案中,样本是在体内样本、原位样本、离体样本或术中样本中。在一些实施方案中,所述样本是器官、器官子结构、组织或细胞。在一些实施方案中,样本自发荧光。在一些实施方案中,所述样本的自发荧光包括存在于肿瘤或恶性肿瘤中的眼部荧光团、色胺酸或蛋白质。在一些实施方案中,所述方法用于使血管流动或血管通畅视觉化。在一些实施方案中,所述脉管系统或结构包括血管、淋巴管系统、神经元脉管系统或CNS结构。在一些实施方案中,成像是血管造影术、动脉造影术、淋巴造影术或胆管造影术。在一些实施方案中,所述成像包括检测血管异常、血管畸形、血管病变、器官或器官子结构、癌症或患病区域、组织、结构或细胞。在一些实施方案中,所述血管异常、血管畸形或血管病变是动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、硬脊膜动静脉瘘或其组合。在一些实施方案中,器官或器官子结构是脑、心脏、肺、肾、肝或胰腺。在一些实施方案中,所述方法还包括对受试者进行手术。在一些实施方案中,所述手术包括血管成形术、心血管手术、动脉瘤修复、瓣膜置换术、动脉瘤手术、动静脉畸形或海绵状血管畸形手术、静脉畸形手术、淋巴管畸形手术、毛细血管扩张手术、混合血管畸形手术或脊髓硬脑膜动静脉瘘管手术、修复或搭桥、动脉搭桥、器官移植、整形手术、眼科手术、生殖系统手术、支架插入或更换、斑块消融、去除所述受试者的癌症或患病区域、组织、结构或细胞,或任何其组合。在一些实施方案中,所述成像包括在手术之后对受试者的血管异常、癌症或患病区域、组织、结构或细胞进行成像。在一些实施方案中,所述方法还包括治疗受试者体内的癌症。在一些实施方案中,所述方法还包括修复颅内CNS血管缺损、脊髓CNS血管缺损;外周血管缺损;去除异常血管化组织;眼部成像和修复;吻合术;重建或整形手术;动脉粥样硬化斑块消融或治疗或再狭窄;诸如神经、肾脏、甲状腺、副甲状腺、肝段或输尿管等重要器官或结构的修复或切除(包括选择性切除)、保留(包括选择性保留);手术期间的识别和管理(有时保留,有时选择性切除);四肢缺血的诊断和治疗;或治疗慢性伤口。在一些实施方案中,颅内血管缺损和/或所述脊髓血管缺损包括动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、或硬脊膜动静脉瘘或其任何组合。在一些实施方案中,外周血管缺损包括动脉瘤、冠状动脉旁路、另一条血管旁路、海绵状血管畸形、动静脉畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、硬脊膜动静脉瘘或其任何组合。在一些实施方案中,异常血管化的组织包括子宫内膜异位症或肿瘤。在一些实施方案中,所述方法还包括使用以下一者或多者进行放射学或荧光成像:X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞分析技术、医学摄影、核医学功能成像技术、正电子发射断层摄影术(PET)、单光子发射计算机断层摄影术(SPECT)、显微镜、手术显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。在一些实施方案中,所述方法包括使用以下各者中的一者或多者来测量和/或量化荧光:显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。在一些实施方案中,所述系统与以下各者结合或整集成到以下各者中:显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。在一些实施方案中,所述系统包括显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。在一些实施方案中,所述显微镜、所述共焦显微镜、所述荧光镜、所述外窥镜、所述手术器械、所述内窥镜或所述手术机器人中的至少一者包括手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜相机系统、光学相干断层摄影(OCT)系统、手术机器人或其任何组合。在一些实施方案中,所述系统被配置为:对治疗剂进行检测、成像或评估;对伴随诊断剂的安全性或生理效应进行检测、成像或评估;对治疗剂的安全性或生理效应进行检测、成像或评估;对伴随成像剂的安全性或生理效应进行检测、成像或评估;或其任何组合。在一些实施方案中,显影或成像剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化,或其任何组合。在一些实施方案中,所述方法包括施用伴随诊断剂、治疗剂或成像剂,并且其中成像包括检测伴随诊断剂、治疗剂或成像剂。在一些实施方案中,伴随诊断剂、治疗剂或成像剂包括化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子。
本文提供的另一个方面是一种用于对样本进行成像的方法,所述方法包括:通过光源发射激发光以从样本诱发荧光;由多个源发射一个或多个激发光以从所述样本以多个发射频带诱发荧光;通过多个光学器件将激发光引导至样本;通过多个光学器件从样本接收荧光,其中所述发射光与从所述样本接收到的荧光基本上同轴地被引导至所述样本,以便减少阴影;在检测器上形成所述样本的荧光图像和所述样本的可见光图像;在多个检测器上形成所述样本的荧光图像和所述样本的可见光图像。
附图说明
本专利或申请文件包含至少一个彩色附图。应请求且支付必要的费用后,专利局将提供具有彩色附图的本专利或专利申请公开的副本。参考阐述说明性实施方案的以下详细描述及其附图将能更好地理解本主题的特征和优点,附图如下:
图1A示出放置于显微镜头和臂上的无菌盖布的图像。
图1B示出根据一些实施方案的使用成像平台和方法获取的组织中的荧光和可见成像的示例性复合图像;
图2示出根据一些实施方案的示例性双色滤波器的示意图;
图3A示出根据一些实施方案的具有非同轴照明和成像的示例性成像系统的示意图;
图3B示出根据一些实施方案的具有同轴照明和成像的示例性成像系统的示意图;
图4示出根据一些实施方案的成像系统的示例性实施方案的示意图,在该情况中,所述成像系统是附接至手术显微镜的双相机系统;
图5和图6各自示出根据各种实施方案的示例性单相机成像系统的示意图;
图5A示出根据一些实施方案的示例性单相机成像系统的示意图;
图5B示出根据一些实施方案的示例性单相机成像系统的另一个示意图;
图5C示出根据一些实施方案的示例性单相机成像系统的另一个示意图;
图5D示出根据一些实施方案的示例性单相机成像系统的另一个示意图;
图6A示出根据一些实施方案的与计算装置通信的示例性单相机成像系统的不同示意图;
图6B示出根据一些实施方案的与计算装置通信的示例性单相机成像系统的另一个示意图;
图7示出根据一些实施方案的使用本文的成像系统和方法捕获的示例性图像。图像示出本文的成像系统和方法的各个方面,包括NIR和VIS发射图像、减少重影的效应偏振器和双色滤波器厚度,和减少重影的高倍放大。
图7A示出根据一些实施方案的使用本文的成像系统和方法捕获的示例性图像;
图7B示出根据一些实施方案的归因于双色滤波器的厚度而进行重影校正的示例性图像;
图7C示出图7B的高倍放大图像;
图8示出示例性成像系统和激发光的路径的示意图。明确来说,图8A示出根据一些实施方案的示例性成像系统和激发光的路径的示意图,而图8B示出根据一些实施方案的图8A的示意图的高倍放大;
图9所示的示例性时序图示出根据一些实施方案的用于收集红外荧光图像、近红外(NIR)荧光图像和环境光(暗背景)图像的帧捕获和激光开/关触发;
图10示出如所描述的用于使用本文所描述的系统对离体组织成像的荧光和/或可见光的示例性图像。叠加的复合图像示出肿瘤组织(106a、106b)和周围结构,其中肿瘤组织106a和106b具有不同的信号强度。此类信号强度差异是由荧光染料的不同组织摄取水平引起的。
图10A示出根据一些实施方案的包括近红外(NIR)荧光剂的离体组织样本和具有较少近红外(NIR)荧光剂)的一个离体组织样本的荧光成像的示例性图像;
图10B示出根据一些实施方案的在来自图10A中的样本的离体组织中的荧光和可见光成像的示例性图像,其中所述近红外(NIR)图像显示为伪彩色,并且其中可见光显示为真彩色。
图10C示出根据一些实施方案的在来自图10A中的样本的离体组织中的荧光和可见光成像的示例性图像,其中所述近红外(NIR)图像显示为伪彩色,且其中可见光也显示为伪彩色;
图11示出根据一些实施方案的用于成像系统的锁和键的示例性图像;
图12示出根据一些实施方案的双相机成像系统的示例性图示,所述双相机成像系统被配置为附接至手术显微镜以同时获取近红外(NIR)荧光和可见光;在该情况中;
图13示出根据一些实施方案的使用成像系统的方法步骤的示例性示意图;
图14示出根据一些实施方案的数字处理装置的非限制性示意图;在该情况中,数字处理装置是具有一个或多个CPU、存储器、通信接口和显示器的装置;
图15示出如所描述的用于使用每一组织样本的可见、NIR和VIS+NIR图像使用本文所描述的系统对原位组织进行成像的荧光和/或可见光的示例性图像。
图15A示出根据一些实施方案的使用本文的成像系统和方法获取的第一原位组织样本的示例性可见图像;
图15B示出根据一些实施方案的使用本文的成像系统和方法获取的第一原位组织样本的示例性NIR或IR荧光图像;
图15C示出根据一些实施方案的使用本文的成像系统和方法获取的第一原位组织样本的示例性复合可见和荧光图像;
图15D示出根据一些实施方案的使用本文的成像系统和方法获取的第二原位组织样本的示例性可见图像;
图15E示出根据一些实施方案的使用本文的成像系统和方法获取的第二原位组织样本的示例性NIR或IR荧光图像;
图15F示出根据一些实施方案的使用本文的成像系统和方法获取的第二原位组织样本的示例性复合可见和荧光图像;
图16示出根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像的示例性双相机成像系统的示意图;
图17示出计算装置的非限制性示例;在该情况中,所述计算装置是具有一个或多个处理器、存储器、存储装置和网络接口的装置;
图18示出根据一些实施方案的另一个示例性单相机成像系统的示意图;
图19示出根据一些实施方案的在图18的示例性单相机成像系统内的光射线路径的透视图;
图20示出根据一些实施方案的示例性单相机成像系统的图像;
图21A示出根据一些实施方案的成像平台的透视图;
图21B示出根据一些实施方案的成像平台的透视图;
图22示出根据一些实施方案的成像平台的成像站的示意图;
图23示出根据一些实施方案的示例性单相机成像系统的时间多路复用的示意图;
图24示出根据一些实施方案的成像平台的示意图
图25示出根据一些实施方案的另一个成像平台的示意图
图26示出根据一些实施方案的示例性矩形束形状的图像;
图27示出根据一些实施方案的示例性圆形束形状的图像;
图28示出根据一些实施方案的光电二极管在束形状内的放置的示例性图;
图29示出如所描述的用于使用每一组织样本的可见、NIR和VIS+NIR图像使用本文所描述的系统对体内或原位组织进行成像的荧光和/或可见光的示例性图像。
图29A示出根据一些实施方案的第一原位组织样本的示例性可见光(VIS)图像;
图29B示出根据一些实施方案的第一原位组织样本的示例性近红外(NIR)图像;
图29C示出根据一些实施方案的第一原位组织样本的示例性重叠(VIS+NIR)图像;
图29D示出第二原位标本的近红外(NIR)图像。对应于NIR或IR图像中的较光和较亮区域的荧光信号指示托珠司肽存在于血管病变中。标出的箭头指示正常血管(“BV”)和正常脑组织(“NB”)的非荧光区域。相反地,对应于NIR或IR图像中的较光和较亮区域的荧光信号指示托珠司肽存在于异常血管病变(“VL”)上而非存在于正常组织中。
图29E示出与图29D对应的第二原位标本的白光图像,所述白光图像表示外科医生在无荧光引导下通常将会看到的东西。箭头标记如图29D中的NIR或IR图像中所示的相同位置。血管病变(“VL”)具有与该图像中的正常血管“BV”类似的外观。
图29F示出图29D和图29C的第二原位标本的NIR或IR荧光和白光复合图像,其中箭头标记如图29D和图29C中所示的相同位置。血管病变(“VL”)中的荧光清楚地将其与周围的正常组织(包括正常血管(“BV”)区分开来。
图29G示出原位标本的另一个近红外(NIR)图像,所述图像示出手术期间的血管病变。箭头指示血管病变(标为“VL”)和相邻的正常大脑(标为“NB”),正常大脑是非荧光的。
图29H示出与图29G对应的原位标本的白光图像。虽然正常大脑具有浅棕褐色至粉红色(灰度图像中的浅灰色),但它充满了正常血管,由于没有荧光,正常血管与血管病变区分开来。
图29I示出图29G和图29H中所示的第三原位标本的复合白光和NIR或IR图像。
图30示出根据一些实施方案的激光状态和所捕获的相应帧的示例性图;
图31示出根据一些实施方案的用于用NIR/IR帧后面的VIS_DRK帧来校正NIR/IR帧的方法的示例性示意图;
图32示出根据一些实施方案的获取NIR或IR和VIS图像、用所述NIR/IR帧后面的VIS_DRK帧校正所述NIR/IR帧的方法的示例性示意图,和将荧光NIR/IR帧加总并形成重叠图像的第一示例性示意图;
图33示出根据一些实施方案的加总NIR/IR帧与VIS帧的方法的示例性示意图;
图34示出根据一些实施方案的最近邻校正、加总NIR/IR帧与VIS帧的方法的示例性示意图;
图35示出根据一些实施方案的最近邻校正、加总NIR/IR帧与VIS帧的方法的示例性示意图;
图36示出根据一些实施方案的最近邻校正、加总NIR/IR帧与VIS帧的方法的另一个示例性示意图;
图37示出根据一些实施方案的减轻多光谱相机的图像饱和度的方法的第一示例性示意图;
图38示出根据一些实施方案的减轻多光谱相机的图像饱和度的方法和校正NIR/IR帧的方法的第二示例性示意图;以及
图39示出根据一些实施方案的用于加总NIR/IR帧与VIS帧并形成重叠图像的方法的示意图。
具体实施方式
与测量荧光信号(诸如红外信号)所需的相比,用于产生可见光、红外光和近红外光的一些系统需要对可见光照进行更大程度的控制。然而,在一些情况中,对可见光照的完全或部分控制是不容易获得或不理想的,例如在手术间或外科医生将根据他们观察组织的需要来调整光的其他区域中,在一些情况中,这对于测量荧光信号不太理想。另外,在使用手术显微镜进行手术的情况下,可通过重新定位显微镜来控制照明以便对来自手术组织的荧光信号成像,并且随后在荧光成像完成时将其放回到其原始位置以继续手术。此外,对于诸如卤素灯的光源,荧光团对激发光的吸收是次最佳的,因此此类系统无法实现即时或以无任何可感知的滞后(例如,不超过约100ms)的视频速率同时记录。然而,该过程经常使手术技术中断。例如,外科医生在测量荧光时不能使用显微镜。先前系统经常出现的一个问题是荧光刺激或发射波长和手术显微镜的可见波长的观看角度可能小于理想布置的情况,此通常导致不太理想的光学信号和图像配准,从而导致次最佳、不清晰或不良的图像。当荧光激发与显微镜的视场未最佳地对准(即,同轴)时,在一些先前系统中,荧光信号展现出“盲点”,使得组织未明显发荧光并且看起来是正常且非致癌的,从而在至少一些情况中在手术期间无法识别关键的癌组织。
鉴于上述情况,需要克服先前系统的至少一些前述缺点的系统和方法。理想地,此类系统和方法将用手术显微镜一起(例如,同时地)提供荧光成像与可见成像。此外,需要一些系统,所述系统不依赖于重新定位手术显微镜来观察荧光图像和可见图像,并且在手术和/或病理检查期间用荧光成像系统一起提供对手术区域的成像。
本文公开的系统和方法非常适合用于在最少中断工作流程的情况下与许多类型的外科和其他程序相结合。例如,当前公开的方法和设备非常适合于与先前和将来的手术显微镜和其他成像装置(诸如相机、监视器、外视镜、手术机器人、内视镜)结合,以便改进手术工作流程。在一些实施方案中,本文公开的系统和方法能够同时捕获可见光和红外荧光,并且单独使用(例如开野或内窥镜)或者用作诸如手术显微镜等手术器械的附接件。例如,本文公开的方法和设备非常适合于与本领域技术人员已知的市售手术显微镜(诸如可在市场上购自包括Zeiss、Leica、Intuitive Surgical、Olympus和Haag-Streight及其每一附属公司的此类公司和来源的手术显微镜)组合和结合。在一些实施方案中,所述方法和设备与本领域技术人员已知的市售手术机器人系统和内窥镜(诸如,例如,可在市场上购自Intuitive Surgical及其附属公司的手术机器人系统和内窥镜)组合。
成像系统
本文提供了用于检测荧光团发射的成像系统和方法。在一些实施方案中,所述成像系统包括:检测器、光源和多个光学器件。在一些实施方案中,检测器被配置为形成样本的荧光图像、形成样本的可见图像,或两者。在一些实施方案中,光源被配置为发射激发光、可见波长照明,或两者。在一些实施方案中,激发光诱发样本的荧光。在一些实施方案中,可见光照亮样本以进行可见光成像。在一些实施方案中,多个光学器件被布置为将激发光朝向样本引导、将荧光和可见光从样本引导至检测器,或两者。在一些实施方案中,照明光、激发光、荧光或其任何组合被基本上同轴地引导。
荧光团可与本文所述的另一部分轭合或融合,并且用于归属、靶向、迁移、保留、积聚和/或结合至或引导至特定器官、器官内的子结构、组织、靶标或细胞并且与本文的系统和方法结合使用。在一些实施方案中,荧光团发射包括红外、近红外、蓝光或紫外发射。
在一些实施方案中,所述系统被配置为检测吸收波长为约10nm至约200nm的荧光团。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:约10nm至约20nm、约10nm至约30nm、约10nm至约40nm、约10nm至约50nm、约10nm至约75nm、约10nm至约100nm、约10nm至约125nm、约10nm至约150nm、约10nm至约200nm、约20nm至约30nm、约20nm至约40nm、约20nm至约50nm、约20nm至约75nm、约20nm至约100nm、约20nm至约125nm、约20nm至约150nm、约20nm至约200nm、约30nm至约40nm、约30nm至约50nm、约30nm至约75nm、约30nm至约100nm、约30nm至约125nm、约30nm至约150nm、约30nm至约200nm、约40nm至约50nm、约40nm至约75nm、约40nm至约100nm、约40nm至约125nm、约40nm至约150nm、约40nm至约200nm、约50nm至约75nm、约50nm至约100nm、约50nm至约125nm、约50nm至约150nm、约50nm至约200nm、约75nm至约100nm、约75nm至约125nm、约75nm至约150nm、约75nm至约200nm、约100nm至约125nm、约100nm至约150nm、约100nm至约200nm、约125nm至约150nm、约125nm至约200nm,或约150nm至约200nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:约10nm、约20nm、约30nm、约40nm、约50nm、约75nm、约100nm、约125nm、约150nm,或约200nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:至少约10nm、约20nm、约30nm、约40nm、约50nm、约75nm、约100nm、约125nm,或约150nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:至多约20nm、约30nm、约40nm、约50nm、约75nm、约100nm、约125nm、约150nm,或约200nm。
在一些实施方案中,本文的系统和方法检测荧光团发射。在一些实施方案中,荧光团发射包括紫外发射。在一些实施方案中,紫外发射具有从10nm至400nm并且高达进入蓝光光谱中450nm或460nm的波长,包括具有在本文所公开的范围内的吸收波长的荧光团,包括10-20nm、20-30nm、30-40nm、40-50nm、50-60nm、60-70nm、70-80nm、80-90nm、90-100nm、100-110nm、110-120nm、120-130nm、130-140nm、140-150nm、150-160nm、160-170nm、170-180nm、180-190nm、190-200nm、200-210nm、210-220nm、220-230nm、230-240nm、240-250nm、250-260nm、260-270nm、270-280nm、280-290nm、290-300nm、300-310nm、310-320nm、320-330nm、330-340nm、340-350nm、350-360nm、360-370nm、370-380nm、380-390nm、390-400nm、400-410nm、410-420nm、420-430nm、430-440nm、440-450nm、450-460nm、300-350nm、325-375nm、350-400nm、400-450nm、在340nm至400nm、360至420nm、380nm至440nm、400nm至450nm、400nm至460nm的范围内的波长,或这些前述范围中的任一者内的任何波长。
在一些实施方案中,荧光团发射包括NIR或IR发射。在一些实施方案中,NIR或IR发射具有约750nm至3000nm或800nm至1000nm的波长,包括吸收波长在本文公开的范围内的荧光团。在一些实施方案中,所述系统被配置为检测具有约200nm至约1,000nm的吸收波长的荧光团。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:约200nm至约250nm、约200nm至约300nm、约200nm至约350nm、约200nm至约400nm、约200nm至约450nm、约200nm至约500nm、约200nm至约600nm、约200nm至约700nm、约200nm至约800nm、约200nm至约900nm、约200nm至约1,000nm、约250nm至约300nm、约250nm至约350nm、约250nm至约400nm、约250nm至约450nm、约250nm至约500nm、约250nm至约600nm、约250nm至约700nm、约250nm至约800nm、约250nm至约900nm、约250nm至约1,000nm、约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约300nm至约600nm、约300nm至约700nm、约300nm至约800nm、约300nm至约900nm、约300nm至约1,000nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约350nm至约600nm、约350nm至约700nm、约350nm至约800nm、约350nm至约900nm、约350nm至约1,000nm、约400nm至约450nm、约400nm至约500nm、约400nm至约600nm、约400nm至约700nm、约400nm至约800nm、约400nm至约900nm、约400nm至约1,000nm、约450nm至约500nm、约450nm至约600nm、约450nm至约700nm、约450nm至约800nm、约450nm至约900nm、约450nm至约1,000nm、约500nm至约600nm、约500nm至约700nm、约500nm至约800nm、约500nm至约900nm、约500nm至约1,000nm、约600nm至约700nm、约600nm至约800nm、约600nm至约900nm、约600nm至约1,000nm、约700nm至约800nm、约700nm至约900nm、约700nm至约1,000nm、约800nm至约900nm、约800nm至约1,000nm,或约900nm至约1,000nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:约200nm、约250nm、约300nm、约350nm、约400nm、约450nm、约500nm、约600nm、约700nm、约800nm、约900nm、或约1,000nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:至少约200nm、约250nm、约300nm、约350nm、约400nm、约450nm、约500nm、约600nm、约700nm、约800nm,或约900nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:至多约250nm、约300nm、约350nm、约400nm、约450nm、约500nm、约600nm、约700nm、约800nm、约900nm,或约1,000nm。
在一些实施方案中,所述系统被配置为检测具有约1,000nm至约4,000nm的吸收波长的荧光团。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:约1,000nm至约1,250nm、约1,000nm至约1,500nm、约1,000nm至约1,750nm、约1,000nm至约2,000nm、约1,000nm至约2,250nm、约1,000nm至约2,500nm、约1,000nm至约2,750nm、约1,000nm至约3,000nm、约1,000nm至约3,250nm、约1,000nm至约3,500nm、约1,000nm至约4,000nm、约1,250nm至约1,500nm、约1,250nm至约1,750nm、约1,250nm至约2,000nm、约1,250nm至约2,250nm、约1,250nm至约2,500nm、约1,250nm至2,750nm、约1,250nm至约3,000nm、约1,250nm至约3,250nm、约1,250nm至约3,500nm、约1,250nm至约4,000nm、约1,500nm至约1,750nm、约1,500nm至约2,000nm、约1,500nm至约2,250nm、约1,500nm至约2,500nm、约1,500nm至约2,750nm、约1,500nm至约3,000nm、约1,500nm至约3,250nm、约1,500nm至约3,500nm、约1,500nm至约4,000nm、约1,750nm至约2,000nm、约1,750nm至约2,250nm、约1,750nm至约2,500nm、约1,750nm至约2,750nm、约1,750nm至约3,000nm、约1,750nm至约3,250nm、约1,750nm至约3,500nm、约1,750nm至约4,000nm、约2,000nm至约2,250nm、约2,000nm至约2,500nm、约2,000nm至约2,750nm、约2,000nm至约3,000nm、约2,000nm至约3,250nm、约2,000nm至约3,500nm、约2,000nm至约4,000nm、约2,250nm至约2,500nm、约2,250nm至约2,750nm、约2,250nm至约3,000nm、约2,250nm至约3,250nm、约2,250nm至约3,500nm、约2,250nm至约4,000nm、约2,500nm至约2,750nm、约2,500nm至约3,000nm、约2,500nm至约3,250nm、约2,500nm至约3,500nm、约2,500nm至约4,000nm、约2,750nm至约3,000nm、约2,750nm至约3,250nm、约2,750nm至约3,500nm、约2,750nm至约4,000nm、约3,000nm至约3,250nm、约3,000nm至约3,500nm、约3,000nm至约4,000nm、约3,250nm至约3,500nm、约3,250nm至约4,000nm,或约3,500nm至约4,000nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:约1,000nm、约1,250nm、约1,500nm、约1,750nm、约2,000nm、约2,250nm、约2,500nm、约2,750nm、约3,000nm、约3,250nm、约3,500nm,或约4,000nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:至少约1,000nm、约1,250nm、约1,500nm、约1,750nm、约2,000nm、约2,250nm、约2,500nm、约2,750nm、约3,000nm、约3,250nm,或约3,500nm。在一些实施方案中,所述系统被配置为检测具有以下吸收波长的荧光团:至多约1,250nm、约1,500nm、约1,750nm、约2,000nm、约2,250nm、约2,500nm、约2,750nm、约3,000nm、约3,250nm、约3,500nm,或约4,000nm。
参看图21,在特定实施方案中,本文的成像系统1000与显微镜101(例如,手术显微镜)一起使用,用于对来自组织105的荧光信号和可见光同时成像。参看图3A和图3B,在该实施方案中,来自组织的荧光发射的照明轴线103与成像轴线104同轴。换句话说,激发源的光与成像系统1000和/或手术显微镜101的成像轴线同轴。在该实施方案中,显微镜包括用于向成像系统提供可见光的可见光源。
图1B示出使用本文的成像系统和方法产生的示例性图像。在该特定实施方案中,荧光组织102靠近图像显示器107的视场的中心。在该实施方案中,荧光图像叠加于可见图像上,并且叠加的复合图像在外部监视器上显示。数字处理装置或处理器用于处理和组合图像以供显示。在一些实施方案中,外科医生使用显微镜直接观察此类可见图像和荧光图像。在一些实施方案中,外科医生从手术室中的抬头显示器或能够显示图像的任何其他装置观察此类图像。
在一些实施方案中,成像系统包括光源、光学光导、护罩、挡板、导光器中的一者或多者,或其任何组合。在一些实施方案中,光源、一个或多个光学光导、护罩、挡板和导光器被布置为减少来自边缘的衍射,并且减少激发光、照明光或两者对NIR或IR传感器的泛射。光源和光学光导的示例性布置示出于图4、图5A至图5D、图6A至图6B、图16和图18中。
在一些实施方案中,如图5C所示,光源(例如,发出光的激光和/或激光驱动器)位于成像系统100的内部。在一些实施方案中,光源与成像系统相邻,图5D。在一些实施方案中,光源紧邻成像系统定位。在一些实施方案中,光源位于距成像系统约5mm至约25mm内。在一些实施方案中,光源在成像系统外部并且光经由光纤被引入成像系统。
在一些实施方案中,如图3A、图5D和图16所示,光学激发组件9位于发射光附近以在成像时减少阴影。在一些实施方案中,光学激发组件9距光源14约5mm至约25mm。在一些实施方案中,光学激发组件与发光处14相距0.5mm、1mm、3mm、5mm、10mm、13mm、15mm、18mm、20mm、23mm、25mm、28mm、30mm直至50mm内。
参看图4、图5A至图5D、图6A至图6B、图16和图18,在特定实施方案中,光源12产生激发光束,从而如本文所描述,激发光束具有在紫外、蓝光、可见光、红光、红外、或NIR或IR范围内的波长。在该实施方案中,光源12联接至光纤13。在一些实施方案中,随后使用准直透镜17使来自光纤13的光准直。另选地,光源与自由空间光学器件(诸如镜子)直接联接。在一些实施方案中,激光光谱特性对应于荧光团的峰值吸收值。
在准直之后,在一些实施方案中,激发光的频谱宽度在一些实施方案中是使用带通滤波器(诸如激光清理滤波器16)来减少。在一些实施方案中,激光清理滤波器16被配置,使得激发光谱比陷波滤波器窄。例如,任选地,陷波拒绝比带通清理滤波器宽。另外,陷波(即,拒绝滤波器)要求的额外宽度与FOV相关并且因此与滤波器上的入射角(AOI)相关,使得AOI越宽,所需带宽越大。陷波拒绝或陷波拒绝滤波器,也称为带阻滤波器,使所有频率通过,但指定的已定义阻带内的频率除外,所述频率被大大衰减或不允许通过滤波器。在某些实施方案中,陷波拒绝滤波器在785nm处具有大于OD 6的阻带,陷波带宽是39nm。在一些实施方案中,透射带在400-742nm时是>93%透射并且在828-1600nm时是>93%。在一些实施方案中,最小阻带约为清理滤波器的传输带的两倍。在一些实施方案中,对于785nm之外的激发光波长,相应滤波器的通带和阻带应跟踪所用光源的波长。在一些实施方案中,陷波阻带是不阻挡传感器感兴趣的带的任何宽度,诸如可见带(例如,约400-700nm)和荧光/发射带(例如,约800-950nm)。在一些实施方案中,使用陷波滤波器来阻挡来自靶标的反射激发源光。在一些实施方案中,激光清理滤波器包括具有比陷波滤波器的全宽半高小的全宽半高的滤波器,以便抑制激发束与从样本发射的荧光束之间的串扰。
在一些实施方案中,激光清理滤波器与陷波滤波器两者确定从中传递至相应滤波器且最终到达传感器的频谱带宽。例如,激发源和特定清理滤波器的频谱被配置,使得发射通过清理滤波器的激发束的频谱宽度比陷波滤波器的频谱宽度窄。在一些实施方案中,如本文所公开的陷波滤波器的频谱宽度是透射通过滤波器的束的全宽半高尺寸。在一些实施方案中,如本文所描述,清理滤波器具有带通,所述带通取决于所使用的激发波长和荧光团。例如,在一些实施方案中,取决于所使用的激发波长和荧光团,清理滤波器具有15nm的带通(在25nm处,阻带>4OD)。在一些实施方案中,激光能量在5nm的范围中的频谱带宽中,其余能量在直至但不限于15nm的较宽带谱范围中。
在一些实施方案中,激光清理滤波器使光源的带宽变窄约1%至约90%。在一些实施方案中,激光清理滤波器使光源的带宽变窄约1%至约2%、约1%至约5%、约1%至约10%、约1%至约20%、约1%至约30%、约1%至约40%、约1%至约50%、约1%至约60%、约1%至约70%、约1%至约80%、约1%至约90%、约2%至约5%、约2%至约10%、约2%至约20%、约2%至约30%、约2%至约40%、约2%至约50%、约2%至约60%、约2%至约70%、约2%至约80%、约2%至约90%、约5%至约10%、约5%至约20%、约5%至约30%、约5%至约40%、约5%至约50%、约5%至约60%、约5%至约70%、约5%至约80%、约5%至约90%、约10%至约20%、约10%至约30%、约10%至约40%、约10%至约50%、约10%至约60%、约10%至约70%、约10%至约80%、约10%至约90%、约20%至约30%、约20%至约40%、约20%至约50%、约20%至约60%、约20%至约70%、约20%至约80%、约20%至约90%、约30%至约40%、约30%至约50%、约30%至约60%、约30%至约70%、约30%至约80%、约30%至约90%、约40%至约50%、约40%至约60%、约40%至约70%、约40%至约80%、约40%至约90%、约50%至约60%、约50%至约70%、约50%至约80%、约50%至约90%、约60%至约70%、约60%至约80%、约60%至约90%、约70%至约80%、约70%至约90%,或约80%至约90%。在一些实施方案中,激光清理滤波器使光源的带宽变窄约1%、约2%、约5%、约10%、约20%、约30%、约40%、约50%、约60%、约70%、约80%,或约90%。在一些实施方案中,激光清理滤波器使光源的带宽变窄至少约1%、约2%、约5%、约10%、约20%、约30%、约40%、约50%、约60%、约70%,或约80%。在一些实施方案中,激光清理滤波器使光源的带宽变窄至多约2%、约5%、约10%、约20%、约30%、约40%、约50%、约60%、约70%、约80%,或约90%。
在一些实施方案中,激光清理滤波器使光源的带宽变窄约1nm至约100nm。在一些实施方案中,激光清理滤波器使光源的带宽变窄约1nm至约2nm、约1nm至约5nm、约1nm至约10nm、约1nm至约20nm、约1nm至约30nm、约1nm至约40nm、约1nm至约50nm、约1nm至约60nm、约1nm至约70nm、约1nm至约80nm、约1nm至约100nm、约2nm至约5nm、约2nm至约10nm、约2nm至约20nm、约2nm至约30nm、约2nm至约40nm、约2nm至约50nm、约2nm至约60nm、约2nm至约70nm、约2nm至约80nm、约2nm至约100nm、约5nm至约10nm、约5nm至约20nm、约5nm至约30nm、约5nm至约40nm、约5nm至约50nm、约5nm至约60nm、约5nm至约70nm、约5nm至约80nm、约5nm至约100nm、约10nm至约20nm、约10nm至约30nm、约10nm至约40nm、约10nm至约50nm、约10nm至约60nm、约10nm至约70nm、约10nm至约80nm、约10nm至约100nm、约20nm至约30nm、约20nm至约40nm、约20nm至约50nm、约20nm至约60nm、约20nm至约70nm、约20nm至约80nm、约20nm至约100nm、约30nm至约40nm、约30nm至约50nm、约30nm至约60nm、约30nm至约70nm、约30nm至约80nm、约30nm至约100nm、约40nm至约50nm、约40nm至约60nm、约40nm至约70nm、约40nm至约80nm、约40nm至约100nm、约50nm至约60nm、约50nm至约70nm、约50nm至约80nm、约50nm至约100nm、约60nm至约70nm、约60nm至约80nm、约60nm至约100nm、约70nm至约80nm、约70nm至约100nm,或约80nm至约100nm。在一些实施方案中,激光清理滤波器使光源的带宽变窄约1nm、约2nm、约5nm、约10nm、约20nm、约30nm、约40nm、约50nm、约60nm、约70nm、约80nm,或约100nm。在一些实施方案中,激光清理滤波器使光源的带宽变窄至少约1nm、约2nm、约5nm、约10nm、约20nm、约30nm、约40nm、约50nm、约60nm、约70nm,或约80nm。在一些实施方案中,激光清理滤波器使光源的带宽变窄至多约2nm、约5nm、约10nm、约20nm、约30nm、约40nm、约50nm、约60nm、约70nm、约80nm,或约100nm。
在一些实施方案中,已清理的光随后被介电镜反射。已清理的光以约0度至约180度的角度反射。在一些实施方案中,已清理的光被介电镜镜反射。在一些实施方案中,已清理的光以约60度至约120度的角度反射。在一些实施方案中,已清理的光以至少约10度、20度、30度、40度、50度、60度、70度、80度、90度、100度、110度或120度(包括其中的增量)的角度被介电镜反射。在一些实施方案中,已清理的光以至多约10度、20度、30度、40度、50度、60度、70度、80度、90度、100度、110度或120度(包括其中的增量)的角度被介电镜反射。在一些实施方案中,已清理的光以约90度的角度反射。在一些实施方案中,随后使用扩散器使反射光以计算出的角度扩散穿过NIR镜4中的孔以匹配成像光锥。在一些实施方案中,扩散器也确保激发源的光均匀分布以在靶标组织上产生平坦或相对均匀的照明轮廓。
激光的非限制性示例是BWT 8W二极管激光。光纤的非限制性示例是105um芯光纤,其中包层是125um、缓冲层是250um和0.22NA、并且长度是100cm=/-10cm。扩散器的非限制性示例是Thorlabs20度圆形工程扩散器(RPC)#ED1-C20。准直透镜的非限制性示例是Thorlabs A110TM-B,f=6.24mm、NA=0.40、罗切斯特非球面(Rochester Aspheric)。激光清理滤波器的非限制性示例是DiodeMax 785 Semrock-LD01-785/10-12.5。在一些实施方案中,激光或其他红外光源具有约1瓦至约8瓦的功率。在一些实施方案中,激光或其他红外光源的功率至少部分地基于位置来确定。在一些实施方案中,如果激光或其他红外光源位于成像系统而非成像站中,则需要更少的光耦合器,并且光导距离将更短。在一些实施方案中,由于光耦合器和光纤长度促使光功率损耗,如果其位于成像头中,则采用相对较低功率的激光或红外光源。
在一些实施方案中,激发光源包括组件中的一个或多个元件,所述一个或多个元件包括但不限于准直器、清理滤波器、介电镜和扩散器中的一者或多者。在一些实施方案中,使用介电镜使该已清理的光以例如在45度与90度之间或在90度与135度之间的任何角度反射。但是,此外,在其他实施方案中,已清理的光在有或无介电镜的情况下以任何任意角度反射。如图4所示,双色短通滤波器6接受垂直于纸面的光。
依照图18至图20,本文中还提供成像系统1000,用于对由包含荧光团的组织样本1020发出的发射光成像。如图18所示,系统1000包括光纤13、扩散器14、可见通道1010、光学装置1052和成像组件1030,所述光学装置可以是但不限于短通双色镜5。图19提供了示出图18所示的成像系统1000的示例性光路的射线图,而图20是根据一个实施方案的示例成像系统的照片。
在一些实施方案中,至少一部分激发光由激光发射。在一些实施方案中,成像系统1000包括激光。在一些实施方案中,成像系统1000不包括激光。在一些实施方案中,激光具有关闭模式和开启模式。在一些实施方案中,激发光具有约775nm至约795nm的波长。在一些实施方案中,激发光具有约785nm的波长。在一些实施方案中,激发光是红外或近红外激发光。
在一些实施方案中,激发扩散器14使至少一部分激发光发生扩散。在一些实施方案中,激发扩散器14是圆形激发扩散器14。在一些实施方案中,圆形激发扩散器14具有约4度至约25度的扩散角度。在一些实施方案中,激发扩散器14是矩形激发扩散器14。在一些实施方案中,矩形激发扩散器14具有第一扩散角度和垂直于第一扩散角度的第二扩散角度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约25度。在一些实施方案中,第一扩散角度是约14度,并且其中第二扩散角度是约8度。在一些实施方案中,扩散器包括玻璃扩散器、地面扩散器、全息扩散器、工程扩散器或其任何组合。在一些实施方案中,工程扩散器包括蚀刻塑料、结合至玻璃衬底的蚀刻膜,或两者。
在一些实施方案中,扩散光形成某种形状,包括线、三角形、圆形、正方形、矩形、多边形或其任何组合。在一些实施方案中,扩散光形成某种形状,包括线、三角形、圆形、正方形、矩形、多边形或具有至少扫描视场(FOV)的镜的阵列。在一些实施方案中,该形状的扩散光照亮相机的视场(FOV)。在一些实施方案中,该形状的扩散光不照亮相机的FOV以外的任何区域以节省激光电力。在一些实施方案中,该形状的扩散光仅照亮相机的FOV以节省激光电力。在一些实施方案中,节省和/或最小化所需的激光电力减少系统内的过多热量,因此减少所需的冷却量,在一些实施方案中,节省和/或最小化所需的激光电力减少所需的电流量和传输此类电流所需的电线大小。
在一些实施方案中,扩散器均匀地照亮相机的FOV。在一些实施方案中,圆形扩散器提供最均匀的覆盖。在一些实施方案中,圆形扩散器相对于相机布置,使得其照亮围起相机的FOV的圆。在一些实施方案中,矩形扩散器将所需的激光电力降低了大约一半,因为其最佳地填充了相机的FOV。在一些实施方案中,扩散器的形状取决于荧光区域所需的FOV,并且应适当匹配以提高效率且避免过度填充FOV。在一些实施方案中,扩散器的形状被修改或调整以对应于FOV的形状,以便减少FOV的过度填充,并且如本文所述提高效率和节省电力使用。扩散器的类型包括例如有涂层或无涂层的毛玻璃、全息、白色扩散玻璃和工程扩散器以及其他衬底。
在一些实施方案中,可见通道1010接收至少一部分可见光并将其引导至样本1020。在一些实施方案中,至少一部分可见光被显微镜或内窥镜接收,并且由灯泡、发光二极管(LED)或其任何组合提供。在一些实施方案中,成像系统1000包括可见光。在一些实施方案中,成像系统1000不包括可见光。在一些实施方案中,可见光具有约400nm至约700nm的波长,同时延伸至NIR频带中700nm至950nm。
在一些实施方案中,光学装置1052将至少一部分扩散激发光引导至样本1020。在一些实施方案中,光学装置1052允许至少一部分发射光和反射可见光从中传递至成像组件1030。在一些实施方案中,光学装置1052对至少一部分发射光、激发光或两者进行滤波。在一些实施方案中,光学装置1052不对发射光、激发光或两者进行滤波。在一些实施方案中,光学装置1052将至少一部分扩散激发光沿着第一方向引导至样本1020,并且允许至少一部分发射光和反射可见光沿着与第一方向相反的第二方向从中通过。在一些实施方案中,光学装置1052允许至少一部分扩散激发光沿着与扩散激发光平行的方向从中通过。在一些实施方案中,光学装置1052阻挡和/或反射至少5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%或更多的扩散激发光,包括其中的增量。在一些实施方案中,光学装置1052阻挡和/或反射至少96%、97%、98%、99%或更多、直至100%或全部的扩散激发光沿着与扩散激发光平行的方向从中通过,包括其中的增量。
在一些实施方案中,光学装置1052是热镜、双色镜、短通滤波器或其任何组合。在一些实施方案中,热镜透射可见光而阻挡NIR或IR光。在荧光波长较短的情况下(例如,在紫外频谱中),光学装置用作长通滤波器,以反射UV频谱中的较短波长。在一些实施方案中,光学装置透射UV光而阻挡可见光。
在一些实施方案中,系统1000此外光学装置1052是在可见光路径中的热镜6。在一些实施方案中,热镜6从可见光滤出NIR或IR光的至少一部分波长。
此外,如图18所示,成像组件1030包括第一陷波滤波器2、长通滤波器23、透镜20、第二陷波滤波器25和图像传感器21。如图所示,在一些实施方案中,将发射光和反射可见光从样本1020连续地引导通过陷波分束器、第一陷波滤波器2、长通滤波器23、透镜20和第二陷波滤波器25。在一些实施方案中,将发射光和反射可见光从样本1020按任何次序顺序地引导通过陷波分束器、第一陷波滤波器2、长通滤波器23、透镜20和第二陷波滤波器25。在一些实施方案中,成像组件1030不包括第二陷波滤波器25。在一些实施方案中,成像组件1030不包括第一陷波滤波器2、长通滤波器23、透镜20和第二陷波滤波器25中的一者或多者。
在一些实施方案中,第一陷波滤波器2和第二陷波滤波器25中的至少一者阻挡至少一部分激发光从中通过。在一些实施方案中,第一陷波滤波器2和第二陷波滤波器25中的至少一者阻挡至少5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%或更多的激发光从中通过。在一些实施方案中,第一陷波滤波器2和第二陷波滤波器25中的至少一者阻挡至少96%、97%、98%、99%或更多、直至100%或全部的激发光从中通过。在一些实施方案中,第一陷波滤波器2和第二陷波滤波器25中的至少一者阻挡波长约775nm至约795nm的至少一部分光从中通过。在一些实施方案中,第一陷波滤波器2和第二陷波滤波器25中的至少一者阻挡波长约785nm的至少一部分光从中通过。
在一些实施方案中,长通滤波器23包括vis截止长通滤波器23。在一些实施方案中,长通滤波器23至少部分地减少可见光从中透射穿过。在一些实施方案中,长通滤波器23透射大部分NIR或IR光。在一些实施方案中,长通滤波器23透射至少85%、86%、87%、88%、89%、90%、91%、92%、93%、94%、95%、96%、97%、98%或99%的NIR或IR光,包括其中的增量。在一些实施方案中,长通滤波器包括可见光衰减器。在一些实施方案中,可见光衰减器透射近红外波长。在一些实施方案中,第二陷波滤波器25减少传递通过第一陷波滤波器2的任何散射。在一些实施方案中,第二陷波滤波器25将至少一部分激发光反射回。
在一些实施方案中,图像传感器21被配置为检测来自样本1020的发射光和反射可见光。在一些实施方案中,图像传感器21被配置为基于发射光和反射可见光来产生图像帧。
在一些实施方案中,成像组件1030还包括偏振器22。在一些实施方案中,成像组件1030不包括偏振器22。在一些实施方案中,将至少一部分发射光和反射可见光引导通过长通滤波器、偏振器22和透镜20。在一些实施方案中,将至少一部分发射光和反射可见光顺序地引导通过长通滤波器23、偏振器22和透镜20。在一些实施方案中,偏振器22减少由于短通双色镜6的正面/背面的反射而造成的重影效应。在一些实施方案中,偏振器22可从成像组件1030移除。
在一些实施方案中,系统1000还包括发出至少一部分可见光的白光。在一些实施方案中,系统1000还包括发出至少一部分激发光的激光。在一些实施方案中,系统1000不包括发出可见光的白光。在一些实施方案中,系统1000不包括发出激发光的激光。在一些实施方案中,系统1000还包括在成像组件1030与样本1020之间并且在激发扩散器14与样本1020之间的短通双色镜6。在一些实施方案中,短通双色镜6透射约400nm至约800nm的波长。在一些实施方案中,短通双色滤波器6反射大于约720nm的波长。在一些实施方案中,短通双色镜6的通光孔径的尺寸足够小,使得短通双色镜6不阻挡透射至样本1020的至少一部分可见光。在一些实施方案中,可见光不会透射通过短通双色镜6。
在一些实施方案中,短通双色镜6具有某种形状,包括圆形、三角形、矩形、正方形或任何多边形。在一些实施方案中,短通双色镜6的形状被配置为机械地安装于系统1000内。在一些实施方案中,短通双色镜6的形状是基于显微镜、内窥镜或两者来配置。在一些实施方案中,短通双色镜6是磨砂的/切割的并且被整形以安装于系统1000中。在一些实施方案中,短通双色镜6的形状被配置为避免干扰可见光通道、显微镜的照明光路或两者。在一些实施方案中,短通双色镜6的形状被配置为避免干扰可见光通道、显微镜的照明光路或两者,同时维持与显微镜、光学装置或两者的成像路径的重合。在一些实施方案中,短通双色镜6由玻璃、结构金属-玻璃复合材料、塑料、薄膜镜或其任何组合形成。在一些实施方案中,短通双色镜6被整形以减少波前误差。在一些实施方案中,短通双色镜6包括凹面、凸面、平面或其任何组合以减少波前误差。
在一些实施方案中,短通双色镜6的反射面与垂直于图像传感器21的成像轴线之间的角度是约40度至约60度。在一些实施方案中,短通双色镜6的反射面与垂直于图像传感器21的成像轴线之间的角度是约45度至约50度。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是约0度至约90度,或在0度与90度之间(不包括端点)。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是约30度至约55度。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是约40度至约50度。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是45度+/-10度。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是5°、10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°、80°、85°或在0度与90度之间的任何其他角度。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是5°、10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°、80°、85°或在0度与90度之间的任何其他角度。在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是约30°至约55°、约30°至约60°、约40°至约50°、约40°至约60°、约45°至约50°、约45°至约60°。
在一些实施方案中,短通双色镜6的反射面与激发光的路径之间的角度是通过使用相对于短通双色镜6的一个或多个额外镜来实现。在一些实施方案中,短通双色镜6的反射面与所述一个或多个额外镜之间的角度是5°、10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°、80°、85°或0度与90度之间的任何其他角度、45度+/-10度、约30°至约55°、约30°至约60°、约40°至约50°、约40°至约60°、约45°至约50°、约45°至约60°。
在一些实施方案中,系统1000还包括在短通双色镜6与样本1020之间的底部窗7。在一些实施方案中,底部窗7至少部分透明。在一些实施方案中,底部窗7是完全透明。在一些实施方案中,系统1000还包括在系统1000与显微镜101的界面处的顶部窗8。
在一些实施方案中,依照图24至图25,系统1000还包括激光监视传感器。在一些实施方案中,激光监视传感器包括激发光功率计、扩散束形状传感器或两者。在一些实施方案中,激发光功率计被配置为测量激发光的功率。在一些实施方案中,扩散束形状传感器测量扩散束形状。在一些实施方案中,系统1000还包括一个或多个扩散束形状传感器、一个或多个扩散束形状计或两者。在一些实施方案中,所述扩散束形状传感器包括第一扩散束形状计、第二扩散束形状计或两者。在一些实施方案中,扩散束形状传感器包括2、3、4、5、6、7、8、9、10或更多个束形状计。在一些实施方案中,两个或更多个扩散束形状计测量在扩散束的形状的多个位置处的所述扩散束的强度。在一些实施方案中,至少一个扩散束传感器测量束形状的至少一个边缘,和/或在扩散束形状内递增10%、20%、30%、40%、50%、60%、70%、80%或直至90%中的至少一者(包括端点)或在所述束上的一个或多个位置处,并且至少一个其他扩散束传感器测量扩散束形状内的至少一个其他点或在所述束上的一个或多个其他位置处。在一些实施方案中,两个或更多个扩散束形状计测量所述束上的一个或多个位置处的样本。在一些实施方案中,将沿着束形状的每一测量值与上限和/或下限进行比较,或可将其与沿着束形状的一个或多个其他测量值进行比较,以计算束上的两个或更多个点之间的相对测量值,随后对照上限和/或下限来测试所述相对测量值。在一些实施方案中,扩散束形状计或传感器监视和检测所监视值或相对测量值的正或负变化率,并且如果测量值或相对测量值的变化率改变过快,则指示激光或成像系统故障,并关闭激光。该安全机制用于监视激光的束和性能以在激光或成像系统故障时用作安全开关或关闭装置以减少通量(在所述区域内递送的能量量的指示)。在一些实施方案中,激光在发生故障一毫秒内、在发生故障一微秒或发生故障一皮秒或更短时间内关闭。如果成像系统用于人类或动物的原位应用,例如在开野手术应用或内窥镜下,关闭激光对于避免组织灼烧至关重要。如图24所示,在一些实施方案中,激光监视传感器5101和激光监视电子装置5102中的一者或多者与激光监视联锁器5301通信。在一些实施方案中,激光监视传感器5101、激光监视电子装置5102或两者位于成像系统1000内。在一些实施方案中,激光监视传感器5101和激光监视电子装置5102中的一者或多者经由成像缆线3000与激光监视联锁器5301通信。在一些实施方案中,激光监视联锁器5301基于激光监视传感器5101、激光监视电子装置5102或两者接收到的数据来将功率从激光功率5301传输至激光驱动器5303。在一些实施方案中,激光驱动器5303引导激光5304。在一些实施方案中,激光监视联锁器5301、激光功率5302、激光驱动器5303和激光5304中的一者或多者位于成像站2000内。在一些实施方案中,激光5304输出的激光束经由成像缆线3000传输至成像系统1000。在其他实施方案中,激光5304、激光驱动器5303、激光联锁器5301和激光监视电子装置5102全部位于成像系统1000中。在一些实施方案中,所述部件中的任一者位于成像站2000或成像系统1000处。
在一些实施方案中,系统1000还包括将至少一部分激发光重新引导至激发光功率计的反射器。在一些实施方案中,反射器位于光纤与激发扩散器14之间。在一些实施方案中,包括短通双色滤波器6的光学装置1062允许至少一部分扩散激发光沿着与来自扩散器14的原轴线平行的方向从中通过。在一些实施方案中,扩散束形状传感器接收该部分的扩散激发光。在一些实施方案中,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,并且其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。在一些实施方案中,激发光功率计、第一扩散束形状计、第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。在一些实施方案中,束形状传感器中的一者或多者位于陷波双色镜5附近、陷波双色镜的平面中、或陷波双色镜后面。在一些实施方案中,束形状传感器中的一者或多者位于短通双色滤波器6的平面中或短通双色滤波器后面。在其他实施方案中,传感器位于扩散器14与底部窗7之间的任何地方。在其他实施方案中,束形状传感器中的一者或多者位于成像系统内的任何位置处,正好在束的路径中。
图23示出示例性单相机成像系统的时间多路复用组件的示意图。示例性单相机成像系统示出于图5A至图5D、图6A至图6B和图18中。在一些实施方案中,朝向组织样本1020引导白光1010和激光1080,其中由发荧光样本1020发出的激发光在滤波器1040处滤波并且发送至RGB传感器1050中的B/NIR、G/NIR和R/NIR端口。根据各种实施方案,RGB传感器1050是传感器或相机21的一部分。所述组件还包括激光驱动器1070,所述激光驱动器从相机接收定时或时钟数据,用于触发激发激光1080。
在一些方面中,所述成像系统被配置为:对治疗剂进行检测、成像或评估;对伴随诊断剂的安全性或生理效应进行检测、成像或评估;对治疗剂的安全性或生理效应进行检测、成像或评估;对伴随成像剂的安全性或生理效应进行检测、成像或评估;或其任何组合。在一些方面中,显影或成像剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化,或其任何组合。在一些方面中,所述方法包括施用伴随诊断剂、治疗剂或成像剂,并且其中成像包括检测伴随诊断剂、治疗剂或成像剂。在一些方面中,伴随诊断剂、治疗剂或成像剂包括化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子。
本公开的系统和方法可单独使用或与伴随诊断剂、治疗剂或成像剂组合使用(无论此类诊断剂、治疗剂或成像剂是单独的荧光团还是轭合、融合、连结或以其他方式附接至化学剂或其他部分、小分子、治疗剂、药物、化学治疗剂、蛋白质、肽、纳米颗粒、抗体蛋白质或前述各者的片段和前述各者的任何组合;或结合荧光团或其他可检测部分用作单独的伴随诊断剂、治疗剂或成像剂,所述荧光团或其他可检测部分是单独的、轭合、融合、连结或以其他方式附接至化学剂或其他部分、小分子、治疗剂、药物、化学治疗剂、肽、纳米颗粒、抗体蛋白质或前述各者的片段、和前述各者的任何组合)。此类伴随诊断利用各种剂,包括化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子,此类剂意欲用于或具有诊断或成像作用。用于伴随诊断剂和伴随成像剂和治疗剂的剂包括本文所述的诊断剂、治疗剂和成像剂或其他已知剂。诊断测试用于增强治疗产品(诸如本文公开的治疗产品或其他已知剂)的使用。具有对应诊断测试的治疗产品的开发,诸如使用诊断成像的测试(无论是体内、原位、离体还是体外),帮助诊断、治疗、识别要治疗的患者群体,并且增强对应治疗的治疗效果。本公开的系统和方法也用于检测治疗产品,诸如本文公开的治疗产品或其他已知剂,以帮助应用治疗并且对其进行测量以评估剂的安全性和生理效应,例如,以测量治疗剂的生物利用率、摄取、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液和/或组织中浓度的测量、评估治疗窗口、范围和优化等。此类系统和方法是在此类剂的治疗、成像和诊断应用的背景下采用。测试也有助于治疗产品开发,以便获得FDA用于进行监管决定的数据。例如,此类测试可识别适当的治疗亚群体或者识别因为严重副作用的风险增加而不应当接受特定治疗的群体,从而使得有可能通过识别最可能作出响应的患者或者对于特定副作用处于不同风险程度的患者来个别处理或个性化医学治疗。因此,在一些实施方案中,本公开包括治疗产品和诊断装置的联合开发,包括本文的系统和方法(用于检测治疗剂和/或成像剂本身,或者用于检测伴随诊断剂或成像剂,无论此类诊断剂或成像剂是与治疗剂和/或成像剂连结还是用作与肽连结的单独伴随诊断剂或成像剂以用于与治疗剂和/或成像剂结合使用),所述系统和方法与治疗剂和/或成像剂安全地且有效地用作治疗或成像产品结合使用。伴随装置的非限制性示例包括手术器械,诸如手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人和用于生物诊断或成像或者结合放射学的装置,包括以下成像技术:X射线摄影术、磁共振成像(MRI)、医学超声波扫描法或超声波、内窥镜检查、弹性成像、触觉成像、热成像、医学摄影和核医学功能成像技术,如正电子发射断层摄影术(PET)和单光子发射计算机断层摄影术(SPECT)。在一些实施方案中,伴随诊断和装置包括离体进行的测试,包括在对受试者施用伴随诊断后检测来自被移除的组织或细胞的信号,或者在其从受试者体内移除后将伴随诊断或伴随成像剂直接施加至组织或细胞,并且随后检测信号。用于离体检测的装置的示例包括荧光显微镜、流式细胞仪等。此外,在一些实施方案中,在伴随诊断中实现此类用途的本文的系统和方法单独地使用或与现有的手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人一起使用、补充使用、组合使用、附接或集成到其中。在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO900)、QEVO系统、CONVIVO系统、OMPI PENTERO系统(例如PENTERO900、PENTERO 800)、INFRARED 800系统、FLOW 800系统、YELLOW 560系统、BLUE 400系统、OMPILUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPI VARIO 700)、OMPI Pico系统、OPMISensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON 3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS 500和CLARUS 700)、PRIMUS200、PLEX Elite9000、AngioPlex、VISUCAM 524、VISUSCOUT 100、ARTEVO 800(和购自CarlZeiss的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自Leica Microsystems或LeicaBiosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo、Leica M530系统(例如Leica M530 OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、LeicaM525系统(例如,Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENI NG、Leica TCS和SP8系统(例如,Leica TCS SP8、SP8 FALCON、SP8 DIVE、LeicaTCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、LeicaTCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Leica EnFocus、Leica Proveo 8、LeicaEnvisu C2300、Leica PROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO 900、Haag-StreitAllegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜,共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自Intuitive Surgical的Intuitive Surgicalda Vinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自HeidelbergEngineering的Heidelberg Engineering Spectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRI OCT Triton、TRC系统(例如TRC 50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnet Pike系统(例如Pike、Pike Nikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Welch Allyn的Welch Allyn 3.5V系统(例如3.5V、3.5V Autostep)、CenterVueDRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige coaxial-plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的Metronic INVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Karl Storz的Karl StorzENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1 S 3D,带或不带OPAL1 NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
此外,在一些实施方案中,将本文所述的系统与上述的此类现有手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、手术机器人、显微镜、外窥镜或内窥镜一起使用、补充使用、组合使用、附接、或集成至其中来执行本文的成像、诊断、检测和治疗方法。
在一些实施方案中,本文的系统的部件是使用紧固件,诸如螺钉、螺母和螺栓、夹具、虎钳、粘合剂、带、系带或其任何组合,来定位和联接。
在一些实施方案中,系统1000及其中的部件被配置为使其总体大小最小化。在一些实施方案中,本文的系统1000的紧凑性提高其可操作性、保持灵敏度、改善便携性、存储、易用性和可负担性。在一些实施方案中,本文的系统1000的紧凑性提高了护理人员使用和操纵系统1000的能力和速度。另外,通过最小化系统1000和其中的部件的总体大小,避免大的系统体积、存储、成本、集成,改善人为因素和成像系统的商业适用性的一般可用性。
成像平台
依照图21A至图25,本文提供的另一个方面是用于对包含荧光团的样本发射的发射光进行成像的成像平台。图21A至图21B示出了示例成像平台4000,其中成像系统可操作地接合至手术显微镜101。如图21A和图21B所示,平台4000包括本文的成像系统1000和成像站2000。平台4000还包括将本文的成像系统1000与成像站2000通信地联接的成像缆线3000。在一些实施方案中,成像系统1000、成像站2000和成像缆线3000各自是单独部件。在一些实施方案中,成像系统1000、成像站2000和成像缆线3000中的至少两者组合为单个部件。在一些实施方案中,成像站2000包括编码有计算机程序的非暂时性计算机可读存储介质,所述计算机程序包括可由处理器执行以从图像传感器和输入装置接收图像帧的指令。在一些实施方案中,如图21A所示,成像站是“基于手推车”的。在其他实施方案中,成像站容纳于小的轮式单元中、悬挂在显微镜上、搁置或悬挂在显微镜上别处、放置于显微镜附近的地面上、或放置于托盘/柱子/台子上。或者,如图21B所示,成像站可被设计为放置于多个位置,诸如悬挂在显微镜上和悬挂在托盘上。
在一些实施方案中,成像站2000经由成像缆线、无线连接或两者从成像系统1000接收图像帧。在一些实施方案中,无线连接包括蓝牙连接(例如,短波无线、短波UHF无线电波)、Wi-Fi连接(例如,无线局域网络(LAN)、无线宽带因特网)、射频识别(RFID)连接(例如,从而读取器经由无线电波捕获编码在标签或智能技术标签中的数字数据,并且其中RFID包括转发器;无线电接收器和发射器),或其任何组合。在一些实施方案中,平台4000还包括成像缆线。在一些实施方案中,成像系统1000进一步经由成像缆线3000从成像站2000接收电力。
在一些实施方案中,输入装置包括鼠标、触控板、操纵杆、触控屏幕、键盘、麦克风、相机、扫描仪、RFID读取器、蓝牙装置、手势接口、语音接口或其任何组合。图22示出成像站2000的示例性示意图。在一些实施方案中,平台4000还包括被配置为发射激发光的激光、被配置为发射可见光的白光,或两者。在一些实施方案中,成像站2000包括电力系统、CPU、用于显示器的接口(例如,HDMI、DP)和用于连接成像系统1000的接口。在一些实施方案中,成像站2000仅包括电力系统、CPU、用于显示器的接口(例如,HDMI、DP)和用于连接成像系统1000的接口。
在一些实施方案中,依照图24至图28,平台4000还包括激光监视联锁器5301。在一些实施方案中,激光监视联锁器5301包括能够切断至激光驱动器的电力的继电器。在一些实施方案中,例如如图24所示,激光监视电子装置5102从激光监视传感器5101接收数据。在一些实施方案中,激光监视传感器5101包括激发光功率计、扩散束形状传感器5101或两者。在一些实施方案中,激光监视电子装置5102从激发光功率计、扩散束形状传感器5101或两者接收数据。在一些实施方案中,激光监视电子装置5102实时地从激发光功率计、扩散束形状传感器5101或两者接收数据。在一些实施方案中,激光监视电子装置5102仅在激光处于打开模式时从激发光功率计、扩散束形状传感器5101或两者接收数据。在一些实施方案中,激光监视电子装置5102从第一扩散束形状计、第二扩散束形状计或两者接收数据。在一些实施方案中,激光监视电子装置5102从2、3、4、5、6、7、8、9、10或更多个束形状计接收数据。在一些实施方案中,所述系统还包括2、3、4、5、6、7、8、9、10或更多个额外束形状计。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合被布置为一维阵列。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合被布置为二维阵列。在一些实施方案中,第一束形状计、第二束形状计、所述额外束形状计或其任何组合位于与扩散束形状的中心相距扩散束形状的宽度的约5%至约50%内。
在一些实施方案中,激光监视电子装置5102被配置为关闭激光5304。在一些实施方案中,激光监视电子装置5102被配置为在出现如下情况时关闭激光5304:激发光的测量功率(“激发光功率”在本文中也被称为“激发功率”)偏离设定的激发光功率第一预定值、扩散束形状偏离设定的束形状第二预定值,或两者。在一些实施方案中,激光监视电子装置5102被配置为在激发光的测量功率偏离设定的激发光功率第一预定值、扩散束形状偏离设定的束形状第二预定值,或两者时在小于1秒、0.9秒、0.8秒、0.7秒、0.6秒、0.5秒、0.25秒、0.1秒、0.05秒、0.01秒、0.005秒、0.001秒、0.秒、0.秒、0.5秒、0.1秒、0.05秒、0.01秒或更少时间(包括其中的增量)内关闭激光5304。在一些实施方案中,激光监视电子装置5102从2、3、4、5、6、7、8、9、10或更多个束形状计接收数据,其中激光监视电子装置5102被配置为在通过每一束形状计测量的激发光的测量功率偏差值与设定的激发光功率相差某预定值时在小于1秒、0.9秒、0.8秒、0.7秒、0.6秒、0.5秒、0.25秒、0.1秒、0.05秒、0.01秒、0.005秒、0.001秒、0.秒、0.秒、0.5秒、0.1秒、0.05秒、0.01秒、或更少时间(包括其中的增量)内关闭激光5304。在一些实施方案中,所述预定值是正值,其中激光监视电子装置5102被配置为在通过每一束形状计测量的激发光的测量功率偏差值大于设定的激发光功率加上所述预定值时关闭激光5304。在一些实施方案中,所述预定值是负值,其中激光监视电子装置5102被配置为在通过每一束形状计测量的激发光的测量功率偏差值小于设定的激发光功率加上负预定值时关闭激光5304。在一些实施方案中,所述预定值包括负预定值和正预定值,其中负预定值大于正预定值。在一些实施方案中,所述预定值包括负预定值和正预定值,其中负预定值小于正预定值。在一些实施方案中,正预定值、负预定值或两者是基于激光级功率、期望的照明形状或两者。
在一些实施方案中,激光监视电子装置5102确定激发功率相对于预定范围(例如,该范围用于设定激发功率的上限和下限)是超过所述范围中的最高预定值还是小于所述范围中的最低预定值。在相对于预定范围,激光监视电子装置5102检测到超过最高预定值的激发功率(即,“过高”值)或检测到小于最低预定值的激发功率(即,“过低”值)时,激光关闭。类似地,可使用激发功率的变化率来评估导致激光关闭的预定范围,例如,通过将功率测量的时间导数的量值与最大容许值进行比较,而非对照功率值范围来测试测量功率。在一些实施方案中,激光监视电子装置5102确定激发功率的变化率的量值相对于预定最大值(例如,激发功率的变化率的量值的上限)超过最高预定变化率。在激光监视电子装置5102检测到超过最高预定变化率的激发功率变化(即,“过高”变化率)时,激光关闭。在与人体或动物体内或原位应用相关的应用中,超过预定变化率可能是有害的,并且响应于超过最高预定变化率的激光关闭是此类应用中成像系统的重要安全特征。在一些实施方案中,激光监视电子装置5102确定是否与预定范围有关的激发功率可结合如本文所述的激发功率值的预定范围和/或激发功率速率的概念。在一些实施方案中,在激光监视电子装置5102确定激发功率的变化率的量值相对于预定最大值(例如,激发功率的变化率的量值的上限)超过最高预定变化率时,激光在一毫秒、一微秒或一皮秒或更短时间内关闭。
在一些实施方案中,激光监视电子装置5102基于通过第一扩散束形状计测量的在扩散束形状中的一个位置处的扩散束的功率与通过至少第二扩散束形状计测量的在扩散束形状中的至少一个其他位置处的扩散束的功率比较来确定束形状已偏离设定的束形状。应理解,至少两个扩散束形状计沿着扩散束形状在扩散束形状的不同位置处进行测量。
图28示出了一个实施方案,其中第一扩散束形状计位于束剖面的中心处,并且第二扩散束形状计位于束形状约为最大值的一半处。应进一步理解,可使用至少两个且高达多个束形状计。应进一步理解,可在扩散束形状上的任何位置处进行多次功率测量并进行比较。例如,此类测量位置包括测量任何两个或更多个位置,包括扩散束形状的边缘(无论所述边缘是否是束形状被设计为小于设定束形状的最大值的位置)还是扩散束形状上的别处,条件是所述两个或更多个测量位置包括束形状上的至少两个分开且不同的位置。在一些实施方案中,激光监视电子装置5102基于通过单个扩散束形状计测量的在扩散束形状上的至少一个位置处的扩散束的功率与在扩散束形状上的一个或多个位置或区域处的扩散束的功率进行比较来确定束形状已偏离设定的束形状。该单个扩散束计可测量同一个位置多次,或者可以是测量扩散束形状上的一个区域中的任何位置的扩散束计。在一些实施方案中,激光监视电子装置5102基于通过第一扩散束形状计测量的在扩散束形状的中心处的扩散束的功率、通过第二扩散束形状计测量的在扩散束形状的边缘处的扩散束的功率、或两者来确定束形状已偏离设定的束形状。在一些实施方案中,激光监视电子装置5102通过将通过第一扩散束形状计测量的在扩散束形状的中心处的扩散束的功率与通过第二扩散束形状计测量的在扩散束形状的边缘处的扩散束的功率进行比较来确定束形状已偏离设定的束形状。在一些实施方案中,在通过第一扩散束形状计测量的在扩散束形状的中心处的扩散束的功率与通过第二扩散束形状计扩散束形状测量的在扩散束形状的边缘处的扩散束的功率偏离设定的束形状至少第二预定值时,激光监视电子装置5102确定束形状已偏离设定的束形状。在一些实施方案中,当扩散束形状计中的两者或更多者之间的功率差异足够大(例如,相差第二预定值)时,激光监视电子装置5102确定束形状已偏离设定的束形状。在一些实施方案中,当激光监视电子装置5102确定束形状已偏离设定的束形状时,激光在一毫秒、一微秒或一皮秒或更短时间内关闭。
在一些实施方案中,激发光的测量功率(即,激发功率)比设定的激发光功率低了至少第一预定值指示激光5304未正确地运作、光学路径的至少一部分被损坏、NIR或IR光的至少一部分从所述系统泄漏、或其任何组合。因此,如果激发光的测量功率比设定的激发光功率低了至少第一预定值防止所述系统捕获未完全激发的样本的图像帧、防止对所述系统的损坏、或两者,则通过激光监视电子装置5102关闭激光5304。在一些实施方案中,激发光的测量功率比设定的激发光功率高至少第一预定值指示激光5304超过设计和/或安全极限并且未正确地运作。因此,如果激发光的测量功率比设定的激发光功率高至少第一预定值防止对所述系统、患者、系统使用者或其任何组合的损坏,则通过激光监视电子装置5102关闭激光5304。在一些实施方案中,偏离设定的束形状至少或至多第二预定值的束形状指示扩散器已失效、激光5304作为准直束发射、或两者。在一些实施方案中,作为准直束发射的激光5304能够损坏所述系统的部件和/或伤害系统的使用者。
图24示出激光监视系统5000的一个实施方案的第一示意图。如其中所示,在一些实施方案中,激光监视传感器将传感器数据传输至激光监视电子装置5102,所述激光监视电子装置经由成像缆线3000将所述感测数据的至少一部分传输至激光监视联锁器5301。进一步如图所示,在一些实施方案中,激光监视联锁器5301充当激光功率5302与激光驱动器5303之间的中介,其中激光驱动器5303引导激光5304,并且其中激光束被传输至成像系统。在一些实施方案中,所述传感器数据包括激发光的测量功率、扩散束形状、在扩散束形状的边缘处的扩散束的功率、在扩散束形状的边缘处的扩散束的功率、或其任何组合。在一些实施方案中,激光监视电子装置5102确定扩散束形状。在一些实施方案中,激光监视电子装置5102确定扩散束形状是否偏离设定的束形状至少第二预定值。图26示出示例性矩形束形状的图像。图27示出示例性圆形束形状的图像。
在一些实施方案中,第一预定值、第二预定值或两者由联邦法规(CFR)、IEC 60825或两者中的一条或多条激光安全指南的分类等级确定。在一些实施方案中,第一预定值、第二预定值或两者由关于IEC 60825的1级、1M、2、2M、34、3B或4级激光的规定确定。在一些实施方案中,激光监视电子装置5102被配置为在超过所述分类等级中的一者或多者的一个或多个安全极限的激光安全指导线之前经由激光监视联锁器5301来关闭激光。在一些实施方案中,激光监视联锁器5301所需的时间取决于入射激光功率、激光衰减时间、驱动器延迟时间或其任何组合。图28示出光电二极管在束形状内的放置的示例性图。其中示出20度扩散器的相对功率百分比与半角的关系,其中100%功率对应于IIIR级激光的最大输出功率。另外,如图所示,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。
图25示出激光监视系统2500的另一个实施方案的示意图。如其中所示,在一些实施方案中,激光监视设计包括成像系统2510、成像缆线2550和成像站2560。在一些实施方案中,如图所示,成像系统2510包括头控制组件2520、激光功率传感器2511、束形状传感器2512和激光活动指示器2513。在一些实施方案中,头控制组件2520包括头控制处理器PCBA2530和激光监视电子装置2540。在一些实施方案中,头控制组件2520包括头控制处理印刷电路板组件(PCBA)2530和激光监视电子装置2540。在一些实施方案中,头控制PCBA 2520包括数字IO 2532和ADC。在一些实施方案中,激光监视电子装置包括功率电路2541的窗口阈值、形状电路2542的窗口阈值、功率过低逻辑电路2543和OR运算符2544。在一些实施方案中,成像站2560包括NIR源2570,所述NIR源包括激光2571、激光驱动器2572和激光监视器PCBA 2573。在一些实施方案中,激光监视器PCBA 2573包括激光联锁继电器2574和激光功率设定罐2575。
在一些实施方案中,数字IO 2532向功率过低逻辑部件2543发送激光触发器。在一些实施方案中,ADC 2531监视传感器输出。在一些实施方案中,ADC 2531用于向CPU供应数字值,所述CPU被监视和/或被记日志。在一些实施方案中,ADC 2531用于诊断。在一些实施方案中,激光监视电子装置2540不包括任何软件,使得软件错误无法损害激光监视系统的性能。在一些实施方案中,功率电路2541的窗口阈值和形状电路2542的窗口阈值中的至少一者接收来自激光功率传感器2511的激发光的功率(即,激发功率)、来自束形状传感器2512的所测量的束形状、或两者。在一些实施方案中,如果激光功率过低,则功率电路2541的窗口阈值向功率过低逻辑2543发送通知。在一些实施方案中,如果激光形状功率过低,则形状电路2542的窗口阈值向功率过低逻辑2543发送通知。在一些实施方案中,如果激光功率过高,则功率2541的窗口阈值向(OR)运算符2544发送通知。在一些实施方案中,如果激光形状功率过高,则形状2542的窗口阈值向(OR)运算符2544发送通知。在一些实施方案中,(OR)运算符2544向激光联锁器2574传输激光停用信号。在一些实施方案中,激光联锁器2574是固态继电器、机械继电器、传入激光2571的“停用”输入、激光驱动器2572或两者。在一些实施方案中,激光联锁器2574是关断激光2541的电力的电路。在一些实施方案中,激光联锁器2574充当传入激光2571的“停用”输入、激光驱动器2572或两者。在一些实施方案中,激光联锁器2574包括关断激光2571的电力的电路。在一些实施方案中,激光联锁器2574是在成像站2560或成像系统2510中。在一些实施方案中,激光活动逻辑2545向一个或多个激光活动指示器2513提供激光活动信号。在一些实施方案中,激光活动逻辑2545接收来自(OR)运算符2544的信号、来自数字IO装置2532的激光触发器、或两者。在一些实施方案中,激光驱动器2572进一步从激光监视PCBA 2573中的激光功率设定电位计2575接收功率设定控制。在一些实施方案中,激光联锁器2574基于(OR)运算符2544而向或不向激光驱动器2572传输电力。在一些实施方案中,激光驱动器2572对激光2571供电。
对发射光进行成像的方法
本文提供的另一个方面是一种用于对包含荧光团的样本发射的发射光进行成像的方法,所述方法包括:发射激发光;使所述激发光扩散;接收可见光并且将所述可见光引导至样本;将所述扩散激发光引导至样本;将发射光和反射可见光引导至成像组件;以及对发射光和反射可见光进行滤波;从样本引导发射光和反射可见光以基于发射光和反射可见光来产生图像帧。
在一些实施方案中,对发射光和反射可见光进行滤波包括将至少一部分发射光和反射可见光从样本引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,对发射光和反射可见光进行滤波包括将至少一部分发射光和反射可见光从样本顺序地引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器。在一些实施方案中,长通滤波器包括vis截止长通滤波器。在一些实施方案中,长通滤波器至少部分地减少至少一部分可见光从中透射通过。在一些实施方案中,长通滤波器对大部分的NIR或IR光进行滤波。在一些实施方案中,长通滤波器透射至少约85%、86%、87%、88%、89%、90%、91%、92%、93%、94%、95%、96%、97%、98%或99%的NIR或IR光,包括其中的增量。在一些实施方案中,偏振器减少由于短通双色镜的正面/背面的反射导致的重影效应。在一些实施方案中,所述方法不包括将发射光和反射可见光引导通过偏振器。在一些实施方案中,所述方法还包括从成像组件移除偏振器。在一些实施方案中,所述方法还包括向成像组件添加偏振器。
在一些实施方案中,激光具有关闭模式和开启模式。在一些实施方案中,激发光具有约775nm至约795nm的波长。在一些实施方案中,激发光具有约785nm的波长。在一些实施方案中,激发光具有约400nm至约800nm的波长。在一些实施方案中,激发光具有约800nm至约950nm的波长。
在一些实施方案中,例如如图27所示,激发光是通过圆形激发扩散器扩散的至少一部分光。在一些实施方案中,圆形激发扩散器具有约4度至约25度的扩散角度。在一些实施方案中,例如如图26所示,激发光是通过矩形激发扩散器扩散的至少一部分激发光。在一些实施方案中,矩形激发扩散器具有第一扩散角度和垂直于第一扩散角度的第二扩散角度。在一些实施方案中,第一扩散角度、第二扩散角度或两者是约4度至约25度。在一些实施方案中,第一扩散角度是约14度,并且其中第二扩散角度是约8度。在一些实施方案中,通过热镜、双色镜、短通滤波器或其任何组合将至少一部分扩散激发光引导至样本。在一些实施方案中,通过陷波分束器将反射可见光引导至成像组件。在一些实施方案中,陷波分束器阻挡并反射陷波频带。在一些实施方案中,通过陷波分束器、热镜或两者将反射可见光引导至成像组件。在一些实施方案中,其仅反射NIR或IR,而不反射VIS。在一些实施方案中,热镜将NIR或IR光的波长从可见光滤出。在一些实施方案中,沿着第一方向将至少一部分扩散激发光引导至样本,并且其中沿着与第一方向相反的第二方向引导发射光和反射可见光。
在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡至少一部分激发光。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有约775nm至约795nm的波长的光从中通过。在一些实施方案中,对发射光和反射可见光进行滤波包括阻挡具有约785nm的波长的光从中通过。在一些实施方案中,所述方法还包括对至少一部分发射光和反射可见光进行偏振。在一些实施方案中,所述方法还包括对至少一部分扩散激发光进行滤波。在一些实施方案中,对扩散激发光进行滤波包括滤出小于约720nm、小于约720nm、725nm、730nm、735nm、740nm、750nm、755nm、760nm、770nm、780nm、800nm或更大(包括其中的增量)的波长。在一些实施方案中,至少一部分激发光是红外或近红外激发光。在一些实施方案中,对至少一部分发射光和反射可见光进行滤波包括使发射光和反射可见光衰减。在一些实施方案中,使至少一部分发射光和反射可见光衰减包括阻挡除了近红外波长之外的所有波长。
在一些实施方案中,所述方法还包括监视激光。在一些实施方案中,监视激光包括:测量至少一部分激发光的功率;测量扩散束形状;或两者。在一些实施方案中,通过激发光监视器来测量激发光的功率(即,激发功率)。在一些实施方案中,通过第一扩散束形状计、第二扩散束形状计或两者来测量扩散激发光的扩散束形状。在一些实施方案中,扩散束形状传感器包括布置为1维或2维阵列的2、3、4、5、6、7、8、9、10或更多个束形状计。在一些实施方案中,所述两个或更多个扩散束形状计测量扩散束的形状的多个位置处的扩散束的强度。在一些实施方案中,激发光监视器通过接收激发光的重定向部分来测量激发光的功率。在一些实施方案中,第一扩散束形状计测量在扩散束形状的中心处的扩散束的功率,并且其中第二扩散束形状计测量在扩散束形状的边缘处的扩散束的功率。在一些实施方案中,激发光监视器、第一扩散束形状计、第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。
在一些实施方案中,所述方法还包括关闭激光。在一些实施方案中,所述方法还包括通过激光监视器来关闭激光。在一些实施方案中,所述方法还包括如果出现以下情况则关闭激光:激发光的测量功率偏离设定的激发光功率第一预定值;扩散束形状偏离设定的束形状第二预定值;或两者。在一些实施方案中,所述方法还包括如果激发光的测量功率偏离设定的激发光功率第一预定值、扩散束形状偏离设定的束形状第二预定值,或两者,则在小于1秒、0.9秒、0.8秒、0.7秒、0.6秒、0.5秒、0.25秒、0.1秒、0.05秒、0.01秒、0.005秒、0.001秒、0.秒、0.秒、0.5秒、0.1秒、0.05秒、0.01秒或更少时间或更少时间(包括其中的增量)内关闭激光。在一些实施方案中,所述方法包括基于通过第一扩散束形状计测量的在扩散束形状的中心处的扩散束的功率与通过第二扩散束形状计测量的在扩散束形状的边缘处的扩散束的功率之间的比较来关闭激光。在一些实施方案中,所述方法包括如果基于通过第一扩散束形状计测量的在扩散束形状的中心处的扩散束的功率与通过第二扩散束形状计测量的在扩散束形状的边缘处的扩散束的功率而发现束形状偏离设定的束形状至少第二预定值,则关闭激光。在一些实施方案中,扩散束形状传感器包括2、3、4、5、6、7、8、9、10或更多个束形状计。在一些实施方案中,所述两个或更多个扩散束形状计测量扩散束的形状的两个或更多个位置处的扩散束的强度。
在一些实施方案中,激发光的测量功率比设定的激发光功率低了至少第一预定值指示激光未正确地运作、光学路径的至少一部分被损坏、NIR或IR光的至少一部分从所述系统泄漏、或其任何组合。因此,如果激发光的测量功率比设定的激发光功率低了至少第一预定值防止所述系统捕获未完全激发的样本的图像帧、防止对所述系统的损坏、或两者,则通过激光监视电子装置关闭激光。在一些实施方案中,激发光的测量功率比设定的激发光功率高至少第一预定值指示激光超过设计和/或安全极限并且未正确地运作。因此,如果激发光的测量功率比设定的激发光功率高至少第一预定值防止对所述系统、患者、系统使用者或其任何组合的损坏,则通过激光监视器关闭激光。
在一些实施方案中,关闭激光用作针对任何软件错误的故障保护。在一些实施方案中,仅在激光打开时测量激发光功率、扩散束形状或两者,以防止在激光关闭时激发光低于第一预定值的假阳性。在一些实施方案中,第一预定值、第二预定值或两者由联邦法规(CFR)、IEC60825或两者中的一条或多条激光安全指南的分类等级确定。在一些实施方案中,第一预定值、第二预定值或两者由关于IEC 60825的1级、1M、2、2M、34、3B或4级激光的规定确定。在一些实施方案中,所述方法包括在超过所述分类等级中的一者或多者的一个或多个安全极限的激光安全指导线之前关闭激光。在一些实施方案中,激光监视联锁器所需的时间取决于入射激光功率、激光衰减时间、驱动器延迟时间或其任何组合。
在一些实施方案中,所述方法还包括通过非暂时性计算机可读存储介质从图像传感器接收图像帧,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括可由处理器执行的指令。在一些实施方案中,从图像传感器接收图像帧是通过成像缆线、无线连接或两者来执行。在一些实施方案中,无线连接包括蓝牙连接、Wi-Fi连接、RFID连接或其任何组合。
在一些实施方案中,所述方法还包括清洁底部窗。
照明和激发源
在一些实施方案中,所述系统包括一个或多个激发源,所述一个或多个激发源被配置为产生激发束以在所成像的组织区域中激发荧光团或激发荧光标记组织或刺激荧光。在一些实施方案中,所述系统包括一个或多个照明光源,所述一个或多个照明光源被配置为发射可见光,以便使使用者(诸如外科医生)能够观看样本和非荧光方面。
所述一个或多个照明源可充当激发光源。所述一个或多个激发源可充当照明光源。照明源和激发源中的至少一者可包括可见光源。可见光可由许多白光或可见光光谱源产生。照明源和激发源中的至少一者可包括宽带源、窄带激光、宽带源、窄带光源或其任何组合。照明源和激发源中的至少一者可以是不相干光或相干光。
照明源和激发源中的至少一者可包括白炽灯、气体放电灯、氙气灯、LED、卤素灯或其任何组合。宽带光源可发射NIR或IR光谱光。宽带源可包括联接至陷波滤波器的发光二极管(LED)。
照明源和激发源中的至少一者可以是可见光、红光、红外(IR)光、近红外(NIR)光、紫外光或蓝光。激发光可包括波长在约620nm至700nm的范围内的红光、波长约650nm至约700nm的红光、波长约710nm至约800nm的近红外或红外光、波长约780nm至约850nm的近红外或红外光、波长约10nm至400nm的紫外光、波长约200nm至约400nm的紫外光、波长约380nm至460nm的蓝光、或波长约400nm至450nm的蓝光。
照明源和激发源中的至少一者可由成像系统控制,或可不受控制。不受控制的源可以是例如显微镜光源、环境光源或两者。激发光源可包括联接至带通滤波器的激光或宽带源(例如,发光二极管(LED))。
在一些实施方案中,激发源具有约720nm、750nm、785nm、790nm、792nm或795nm的波长。在一些实施方案中,激发源具有在红外光谱中的波长,包括光波长IR-A(约800nm至1400nm)、IR-B(约1400nm至3μm)和IR-C(约3μm至1mm)光谱。在一些实施方案中,激发源具有在约650nm至4000nm、700nm至3000nm、700nm至800nm、750nm至950nm、760nm至825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm、790nm至795nm的近红外(NIR)光谱中的波长,或在这些前述NIR或IR范围中的任一者内的任何波长。
在一些实施方案中,激发源包括激光以致使标靶(例如,用荧光染料标记的组织)发荧光并且产生荧光发射。激发源可在开与关状态之间交替。除了激发源之外,还可能存在或不存在可见光来对标靶组织照明。在一些实施方案中,如果在本文的系统和方法中存在可见光源,则所述可见光源可具有开和关状态,使得光可与激发源同步地打开/关闭。在一些实施方案中,可使用外部可见光,诸如来自手术显微镜或外科或检查光。在一些实施方案中,外部光具有开和关状态,但不与激发源的光同步。在其他实施方案中,外部光源可连续地开或连续地关。
在一些方面中,先前描述的激光监视系统可用作系统的确认红外成像正常进行的部分,而不需要单独的荧光成像标靶。在这些方面中,如图24所示的激光监视5000或如图25所示的激光监视2500的实施方案通过监视激光束形状参数来帮助对标靶组织进行精确照明。从束形状参数,可推断出激发源的操作和精确性。
图8A示出光源的照明光电系统的示例性实施方案。在一些实施方案中,本文的系统和方法包括一个或多个分束器、双色滤波器、双色镜、或其使用。在一些实施方案中,所述系统和方法包括主双色镜和辅双色镜。在一些实施方案中,所述系统和方法包括一个或多个短通双色镜和/或一个或多个长通双色镜。在一些实施方案中,本文的分束器或双色镜被配置为在反射短波长时使长波长能够长通通过(例如,长通滤波器或冷镜)或在反射长波长时使短波长能够短通通过(例如,短通滤波器热镜)。在一些实施方案中,本文的可见光被视为短波长(例如,比700nm短,或比800nm短),而NIR或IR光为长波长(例如,比780nm长)。在一些实施方案中,本文的镜或滤波器包括滤波功能(即,选择性透射功能)和/或或镜射功能(即,选择性反射功能)。
人眼可看到在约350nm直至约750nm的波长中的“可见光”光谱中的颜色,但本领域的技术人员将认识到取决于所使用的光强度而变。用手术显微镜的目镜和可见光成像系统向使用者提供的光通常将包括在该可见范围内的波长。在一些实施方案中,激发束包括比用目镜透射并且与可见成像系统和检测器一起使用的至少一些波长短的波长,例如300nm至400nm的波长。在一些实施方案中,激发束包括比用目镜透射并且与可见成像系统和检测器一起使用的至少一些波长长的波长,例如比约750nm长的波长。在一些实施方案中,激发波长包括大于约750nm的波长。例如,双色镜/滤波器可包括约-700nm的过渡波长。(该光学元件也可被称为例如700nm SP双色滤波器)。例如,短通(SP)双色滤波器可被配置为允许波长小于约700的过渡频率的光通过滤波器。该滤波器可用于透射超过90%的可见光,使得使用者看到的图像基本上没有色差、色调不平衡或两者。根据一些实施方案,所述滤波器可被设计为示出与无该滤波器的显微镜相比透过目镜看到的图像很少发生衰减,如此产生更好的使用者体验并且允许外科医生用减少量的光来更好地视觉化手术场,所述光原本可能会干扰荧光测量。应理解,另选地,短通滤波器可以是带通或陷波滤波器。例如,一个约“~”700nm SP双色滤波器可包括FF720-SDi01滤波器,所述滤波器对于VIS(可见光)具有透射带Tavg=>90%,意味着720nm SP双色滤波器透射>90%的在400nm与700nm之间的可见光,同时在荧光发射带中反射>99%。~700nm SP双色滤波器允许比约700nm短的大多数光(例如,大于90%)通过双色滤波器,同时反射大于约700nm的几乎所有光。在一些实施方案中,这些SP双色滤波器在可见光滤波方面非常有效,并且在对于VIS(可见光)透射带Tavg=>99%的情况下(例如,在滤波器上的入射光,例如可见光或者NIR或IR光处于45°角时),是99%有效或更大。在其他实施方案中,在对于VIS(可见光)透射带Tavg=>50%、>60%、>65%、>75%、>80%、>85%、>90%、>90.5%、>91%、>91.5%、>92%、>92.5%、>93%、>93.5%、>94%、>94.5%、>95%、>95.5%、>96%、>96.5%、>97%、>97.5%、>98%、>98.5%、>99%、>99.5%、>99.6%、>99.7%、>99.8%或>99.9%的情况下,SP双色滤波器包括>50%、>60%、>65%、>75%、>80%、>85%、>90%、>90.5%、>91%、>91.5%、>92%、>92.5%、>93%、>93.5%、>94%、>94.5%、>95%、>95.5%、>96%、>96.5%、>97%、>97.5%、>98%、>98.5%、>99%、>99.5%、>99.6%、>99.7%、>99.8%或>99.9%效率或更大。此外,在一些实施方案中,~700nm SP双色滤波器在允许透射光以包括任何前述效率的效率通过的同时也可在荧光发射带中反射>75%、>80%、>85%、>90%、>90.5%、>91%、>91.5%、>92%,>92.5%、>93%、>93.5%、>94%、>94.5%、>95%、>95.5%、>96%,>96.5%,>97%、>97.5%、>98%、>98.5%、>99%、>99.5%、>99.6%、>99.7%、>99.8%或>99.9%。
图2示出双色滤波器6的示例性实施方案,所述双色滤波器具有抗反射或其他涂层203或用于平衡正面涂层202与双色反射或其他涂层202的其他涂层。如图所见,在该实施方案中,双色滤波器6被放置成使得入射光201处于45°。入射光201可具有小于约700nm的波长并且透射穿过两个表面202和203,以导致光线206。如光线205所示,少于1%的入射光201被抗反射涂层203反射。从具有双色反射涂层202的双色滤波器205的正面离开的光可具有大于入射光201的强度的约99%的强度和大于约700nm的波长。在一些实施方案中,可选择抗反射或其他涂层来透射在特定波长范围内的光。应理解,可施加具有不同光谱性质的一个或多个涂层。
在一些实施方案中,双色滤波器6被放置成相对于入射可见/NIR或IR光路成10°、15°、20°、25°、30°、35°、41°、45°、50°、55°、60°、65°、70°或75°。在一些实施方案中,双色滤波器6被放置成相对于入射可见/NIR或IR光路成35°、36°、37°、38°、39°、40°、41°、42°、43°、44°、45°、46°、47°、48°、49°、50°、51°或52°。在一些实施方案中,反射主要发生在滤波器的有涂层的正表202上。为了更好地按照波长来分离光,滤波器的背面涂覆有抗反射涂层203,因此进一步减少<700nm的光的反射。在一些实施方案中,仍有少量(5%至10%)的可见光(<约700nm)从滤波器的正面和背面反射。在一些实施方案中,1%至5%、3%至10%、5%至12%、10%至15%、高达20%或更少的可见光(<约700nm)从滤波器的正面和背面反射。在一些实施方案中,当在本文的系统和方法中用于可见光成像时,此类少量(即,泄露)的可见光是有利的。
成像控制
由使用者/外科医生控制的成像参数包括以下各项;聚焦、放大倍数、灵敏度(针对可见和NIR图像)、NIR成像开/关和所显示视图(例如,重叠、并排、马赛克)。此列表并非详尽无遗。
所述成像参数可由操作者使用成像站上的GUI来控制。
成像参数也可由外科医生控制。外科医生的控制装置可位于成像系统上,或位于连接至成像头的控制“垫”上,或位于连接至成像站的控制垫上。所述连接可以是有线或无线的(例如,蓝牙)。
一些成像参数可直接从显微镜读取;例如,经由电子数据互换(EDI)接口。在该情况下,例如,在显微镜的聚焦和/或放大倍数设置改变时,将新设置传送至成像站,所述成像站随后更新成像系统的设置。
所述EDI接口可以是现有接口,例如,用于与手术导航系统通信。它也可以是新/新颖/专用的接口(例如,有线或无线)。
样本
样本可包括离体生物样本,诸如组织样本。另选地,样本可包括经历手术的受试者的体内或原位组织。
样本可包括标记染料。标记染料可包括紫外(UV)染料、蓝色染料或两者。用于荧光团的示例性UV和蓝色染料包括:ALEXA FLUOR 350和AMCA染料(例如,AMCA-X染料)、7-氨基香豆素染料的衍生物、ALEXA FLUOR 350染料的二烷基氨基香豆素反应性版本、ALEXAFLUOR 430(和吸收400nm至450nm的反应性UV染料在水溶液中具有超过500nm的明显荧光)、在460nm附近呈现明亮蓝色荧光发射的MarinaBlue和Pacific Blue染料(基于6,8-二氟-7-羟基香豆素荧光团)、羟基香豆素和烷氧基香豆素衍生物、Zenon ALEXA FLUOR 350、ZenonALEXA FLUOR 430和Zenon Pacific Blue、Pacific Orange染料的琥珀酰亚胺酯、CascadeBlue乙酰基叠氮及其他芘衍生物、ALEXA FLUOR 405及其衍生物、芘琥珀酰亚胺酯、CascadeYellow染料、PyMPO和吡啶基恶唑衍生物、氨基萘基染料和丹磺酰氯、dapoxyl染料(例如,Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、二胺染料(例如,二胺巯基乙酸)及其衍生物、NBD染料及其衍生物、QsY 35染料及其衍生物、荧光素及其衍生物。标记染料可包括红外染料、近红外染料或两者。用于荧光团的示例性红外和近红外染料包括:DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5、或靛青绿(ICG)和上述各者的任何衍生物、花青染料、吖啶橙或黄、ALEXA FLUOR及其任何衍生物、7-放线菌素D、8-苯胺基萘-1-磺酸、ATTO染料及其任何衍生物、金胺-玫瑰红着色剂及其任何衍生物、苯并蒽酮(bensantrhone)、二胺、9-10-双(苯乙炔基)蒽、5,12-双(苯乙炔基)蒽、双苯酰亚胺、脑彩虹、钙黄绿素、羧基荧光素(carbodyfluorescein)及其任何衍生物、1-氯-9,10-双(苯乙炔基)蒽及其任何衍生物、DAPI、DiOC6、DyLight Fluor及其任何衍生物、黑附球菌酮(epicocconone)、溴化乙锭、FlAsH-EDT2、Fluo染料及其任何衍生物、FluoProbe及其任何衍生物、荧光素及其任何衍生物、嘧啶及其任何衍生物、GelGreen及其任何衍生物、GelRed及其任何衍生物、荧光蛋白及其任何衍生物、m亚型蛋白及其任何衍生物(例如像mCherry)、hetamethine染料及其任何衍生物、hoeschst着色剂、亚氨基香豆素、印度黄、indo-1及其任何衍生物、laurdan、荧光黄及其任何衍生物、荧光素及其任何衍生物、荧光素酶及其任何衍生物、部花菁及其任何衍生物、nile染料及其任何衍生物、二萘嵌苯、焰红染料、phyco染料及其任何衍生物、碘化丙锭、pyranine、玫瑰红及其任何衍生物、ribogreen、RoGFP、红萤烯、二苯基乙烯及其任何衍生物、磺酰玫瑰红及其任何衍生物、SYBR及其任何衍生物、synapto-pHluorin、四苯基丁二烯、tetrasodium tris、德克萨斯红、达旦黄、TSQ、伞形酮、蒽酮紫、黄色荧光蛋白和YOYO-1。其他合适的荧光染料包括但不限于:荧光素和荧光素染料(例如,异硫氰基荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等等)、羰花青、部花青、苯乙烯基染料、氧杂菁染料、藻红素、赤藻红、曙红、玫瑰红染料(例如四甲基羧基-玫瑰红或TAMRA、羧基玫瑰红6G、羧基-X-玫瑰红(ROX)、丽丝胺玫瑰红B、玫瑰红6G、玫瑰红绿、玫瑰红红、四甲基玫瑰红(TMR)等)、香豆素和香豆素染料(例如,甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如,俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等等)、德克萨斯红、德克萨斯红-X、光谱红、光谱绿、花青染料(例如,CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如,ALEXA FLUOR 350、ALEXA FLUOR488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXAFLUOR 633、ALEXA FLUOR 660、ALEXA FLUOR 680等)、BODIPY染料(例如,BODIPY FL、BODIPYR6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IR染料(例如,IRD 40、IRD 700、IRD 800等)等等。额外的合适可检测剂是已知的并且在国际专利申请no.PCT/US2014/77中描述。
本文的系统和方法用来检测样本的标记染料可在按任何组合使用任何种类的染料(例如,紫外(UV)染料、蓝色染料、红外染料或近红外染料)的给定样本中包括一种或多种染料、两种或更多种、三种、四种五种,且高达十种或更多种此类染料。
相机和传感器
所述系统可包括用于捕获荧光和可见光的一个或多个成像传感器。
参看图12,在特定实施方案中,成像系统100包括用于基本上同时获取近红外(NIR)荧光和可见光的两个单独相机。在该实施方案中,所述成像系统可附接至手术显微镜。
参看图5A-D、图6A-B、图18至图20,成像系统100的实施方案可包括用于获取近红外(NIR)荧光和可见光的单个相机。在一些实施方案中,激发光具有约700nm至约800nm的波长。在一些实施方案中,激发光具有约775nm至约795nm的波长。在该实施方案中,成像系统可附接至手术显微镜。在一些实施方案中,短通滤波器8仅允许约400nm至约800nm的波长通过。在一些实施方案中,短通滤波器8仅允许约400nm至720nm的波长通过。在一些实施方案中,短通滤波器防止激发激光泄漏回到显微镜目镜中。在一些实施方案中,短通滤波器8对来自显微镜27的照明进行滤波,减少NIR或IR分量。在一些实施方案中,短通滤波器是被配置为从显微镜成像路径移除NIR或IR分量的双色滤波器。在一些实施方案中,陷波滤波器2移除具有约785nm的波长的激发。在一些实施方案中,VIS截止滤波器23和陷波滤波器2组合成单个滤波器。在一些实施方案中,VIS截止滤波器23或陷波滤波器2具有650nm至800nm之间的阻带以用于单相机图像的颜色校正。该额外阻带是单相机必需的,因为红色、绿色和蓝色像素对超过650nm的光敏感。因此,存在颜色混合并且大体上是洋红色调。在一些实施方案中,偏振器22减少重影,同时使入射于偏振器上的光在一定程度上衰减。如图5D所示的滤波器可按任何替代顺序布置。
在一些实施方案中,本文的系统和方法包括一个或多个图像传感器检测器、透镜或相机。在一些实施方案中,本文的检测器包括本文的一个或多个图像传感器、透镜和相机。在一些实施方案中,本文的系统和方法使用单个相机、两个相机、或者两个或更多个相机。在其他实施方案中,至少一个相机是红外或NIR相机。在其他实施方案中,至少一个相机是VIS/NIR相机或VIS/IR相机。
在一些实施方案中,如在图5A-5D、图6A-6B和图18中,本文的系统和方法是仅包括VIS/NIR相机的单相机成像系统,所述VIS/NIR相机被配置为感测可见信号和NIR或IR信号。
参看图6A至图6B,在特定实施方案中,经滤波的可见光在镜18处反射至长通双色滤波器19,在所述长通双色滤波器处,所述可见光被再次反射并且与经滤波的荧光信号组合到成像系统的单个VIS/NIR透镜20和相机21中。
在一些实施方案中,本文的双相机成像系统有利地允许以下一项或多项:完成VIS与NIR或IR成像路径的隔离,从而允许不依赖于波长或时间的滤波;减少由于可见光减除导致的时间伪影(例如,在高环境光下,暗帧(DRK)的亮度水平可能比红外或NIR信号高得多);减少来自双色滤波器的重影,红外或NIR通道中无对应的灵敏度损失(例如,偏振器仅在可见光路径中,而不在NIR或IR光路中);并且对来自显微镜或手术野的其他照明源的白光的亮度无限制。
在一些实施方案中,对于单相机设计,需要可见光滤波器、中性密度滤波器或LCD滤波器或者被动地或主动地减少通过的光总量的任何其他光学元件,例如图5D中的23,以在传递NIR或IR时逐步减低白光的强度。在一些实施方案中,遮光器(例如,LCD遮光器或‘滤波轮’、电子可变光学衰减器(EVOA)、光学‘斩波器’或偏振器组合可与激发信号同步,以便选择性地使可见光而非NIR或IR衰减。在一些实施方案中,在物理上移动的滤波器可用于选择性地使可见光而非NIR或IR衰减。在一些实施方案中,此类滤波器设定VIS和红外或NIR图像的相对强度和对应荧光信号的动态范围。
在一些实施方案中,本文的双相机成像系统有利地允许以下一项或多项:降低相机所需的帧速率,从而允许使用来自相机的多个更小更长的数据缆线;给定缆线上的带宽减少,因为可能存在一根或多根数据缆线;通过消除昂贵的高速相机和帧采集卡来降低系统成本;允许每一VIS和红外或NIR相机上的独立孔径在VIS相机上获得大景深,同时不降低NIR或IR相机的灵敏度;不需要使用复消色差透镜(针对红外或NIR和VIS波长进行校正以聚焦在同一成像平面处)和宽带涂层,以便在VIS和NIR或IR中实现最佳传输,就像在单相机成像系统中一样。在一些实施方案中,仅使用一根缆线,其中集线器将来自两个相机的数据多路复用到一个通信通道上。
在一些实施方案中,至少部分地基于应用中的细节来选择单相机或双相机成像系统。在一些实施方案中,本文的双相机成像系统有利地允许不同灵敏度(例如,对于红外或NIR是极高灵敏度,并且对于可见光,是在组织可染上染料但浓度不高时可在应用中使用的正常灵敏度)。灵敏度范围由曝光时间定义,曝光时间与所显示的每秒帧数(fps)有关。‘实时’帧速率是约25fps。在某些情况下,例如,在观察高程度地吸收了荧光化合物或药物的组织、样本或肿瘤时,25fps的相关联曝光时间将足以灵敏以检测荧光发射。曝光时间越长,可实现的灵敏度越高,从而导致较慢的帧速率。在一些应用中,慢至2帧/秒的帧速率或长于约25fps的任何曝光时间可用于捕获组织或样本中的自发荧光。大体上,帧速率是曝光时间倒数的函数。可实时地调整曝光时间和后续的fps速率以满足应用的灵敏度需要。本文的双相机成像系统可允许改变每一相机的曝光量,以在不使可见图像饱和的情况下获得红外或NIR图像的最佳灵敏度。在一些实施方案中,成像系统用作显微镜附件或外窥镜。出于本文的目的,外窥镜是从身体外部的位置收集图像的系统,与内窥镜相反,内窥镜在位于身体结构内时捕获图像。在一些实施方案中,外窥镜是用于执行显微手术的视频望远镜手术监视系统、或手术机器人附件,或作为用于开野应用的单独成像系统。在一些实施方案中,单相机成像系统有利地包括使整个装置小型化的能力,例如,针对内窥镜。单相机成像系统或双相机成像系统可附接于柔性或刚性内窥镜前部(例如,内窥镜的光学器件和传感器处于朝向标靶的远端,而内窥镜的主体将携载来自传感器的电信号而非像其他内窥镜中一样携载光信号。位于内窥镜的末端或尖端处的电传感器(而非在内窥镜的末端上的光导)也可用于将图像携载至相机。在一些实施方案中,本文的单相机或双相机成像系统用于使用内窥镜的微创手术方法中。
在一些实施方案中,本文的图像传感器包括电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)图像传感器。
本文使用的传感器的非限制性示例性实施方案是BasleracA1920-155相机中的Sony IMX 174CMOS芯片。在该特定实施方案中,相机包括1/1.2英寸面积传感器、约5.86μm的像素大小和1936x1216(2.3MP)的分辨率。
在一些实施方案中,所使用的相机是标准CMOS或CCD相机。在一些实施方案中,CMOS和CCD相机具有约1920x1080p的高清晰度(HD)分辨率。在一些实施方案中,相机CMOS和CCD相机具有低于1920x1080p的分辨率。在一些实施方案中,相机CMOS和CCD相机具有大于1920x1080p的分辨率。在一些实施方案中,相机分辨率低于HD,例如,小于1080像素。在一些实施方案中,相机分辨率高清晰度(HD)分辨率或更高,例如,1920–4000像素、4K(超HD/UHD)、8K或更高的像素数目。在一些实施方案中,本文的系统和方法不需要专门相机,诸如EMCCD、ICCD等。在一些实施方案中,专门相机可用于增加灵敏度、分辨率或与成像相关联的其他参数。表1示出本文的可见光和NIR或IR相机的示例性实施方案的信息。
表1.
Figure BDA0004113538720001041
在一些实施方案中,本文的系统和方法包括一个或多个光传感器(例如,光电二极管或其他合适传感器)。在一些实施方案中,所述光传感器被配置为用于所述系统和方法中的安全计算和监视。在一些实施方案中,光传感器位于准直透镜之后的棱镜处、在双色滤波器6后面、在激发光纤的近端处和/或在激发路径中的任何地方,以进行总体和相对功率测量。在一些实施方案中,两个或任何其他数目的光电二极管位于热镜后面以监视激发源的照明的形状,从而确保NIR或IR源和/或扩散器性能。
在一些实施方案中,一维或二维传感器阵列或者CMOS阵列位于热镜后面以监视激发源的照明,从而确保扩散器性能。
光学光导
多个光学器件可被配置为照明组织并且收集从其发射的可见光和荧光。在一些实施方案中,不存在光导,并且激光在自由空间中传播。
所述多个光学器件可包括选自一列表的部件,所述列表包括但不限于:滤波器、光学透射机构、透镜、镜和扩散器。滤波器可被配置为阻挡来自激发源的光。滤波器可包括带通滤波器、清理滤波器或两者。带通滤波器可被配置为控制光的波长。清理滤波器可允许具有某一波长和/或某一入射角的光通过。清理滤波器可包括窄带带通滤波器。镜可包括介电镜。
光学透射机构可包括自由空间或光导。光学光导可包括光纤、光缆、液体光导、波导、固体光导、塑料光导或其任何组合。在一些实施方案中,光纤包括硅酸盐玻璃、塑料、石英或能够透射激发激光的任何其他材料。在一些实施方案中,所述多个光学器件中的至少一者包括被配置为向所述系统提供额外同轴光的同轴光注入机构。同轴光注入机构可包括所述多个光学器件中的一者或多者中的通孔。应理解,任何类型的光学透射机构均可在所述系统的任何实施方案中使用。光学透射机构可被配置为透射红外或近红外光。光学光可包括绞结或未绞结的光纤。光纤的直径可取决于功率量和激发源中的发射器数目,包括收集光学器件的物理性质。
在一些实施方案中,光纤的截面直径是约10um至约1,000um。在一些实施方案中,光纤的截面直径是约10um至约25um、约10um至约50um、约10um至约75um、约10um至约100um、约10um至约200um、约10um至约300um、约10um至约400um、约10um至约500um、约10um至约600um、约10um至约800um、约10um至约1,000um、约25um至约50um、约25um至约75um、约25um至约100um、约25um至约200um、约25um至约300um、约25um至约400um、约25um至约500um、约25um至约600um、约25um至约800um、约25um至约1,000um、约50um至约75um、约50um至约100um、约50um至约200um、约50um至约300um、约50um至约400um、约50um至约500um、约50um至约600um、约50um至约800um、约50um至约1,000um、约75um至约100um、约75um至约200um、约75um至约300um、约75um至约400um、约75um至约500um、约75um至约600um、约75um至约800um、约75um至约1,000um、约100um至约200um、约100um至约300um、约100um至约400um、约100um至约500um、约100um至约600um、约100um至约800um、约100um至约1,000um、约200um至约300um、约200um至约400um、约200um至约500um、约200um至约600um、约200um至约800um、约200um至约1,000um、约300um至约400um、约300um至约500um、约300um至约600um、约300um至约800um、约300um至约1,000um、约400um至约500um、约400um至约600um、约400um至约800um、约400um至约1,000um、约500um至约600um、约500um至约800um、约500um至约1,000um、约600um至约800um、约600um至约1,000um或约800um至约1,000um。在一些实施方案中,光纤的截面直径是约10um、约25um、约50um、约75um、约100um、约200um、约300um、约400um、约500um、约600um、约800um或约1,000um。在一些实施方案中,光纤的截面直径是至少约10um、约25um、约50um、约75um、约100um、约200um、约300um、约400um、约500um、约600um或约800um。在一些实施方案中,光纤的截面直径是至多约25um、约50um、约75um、约100um、约200um、约300um、约400um、约500um、约600um、约800um或约1,000um。
在一些实施方案中,光学光导的长度是约0.005m至约10m。在一些实施方案中,光学光导的长度是约0.005m至约0.01m、约0.005m至约0.05m、约0.005m至约0.1m、约0.005m至约0.5m、约0.005m至约1m、约0.005m至约2m、约0.005m至约3m、约0.005m至约4m、约0.005m至约6m、约0.005m至约8m、约0.005m至约10m、约0.01m至约0.05m、约0.01m至约0.1m、约0.01m至约0.5m、约0.01m至约1m、约0.01m至约2m、约0.01m至约3m、约0.01m至约4m、约0.01m至约6m、约0.01m至约8m、约0.01m至约10m、约0.05m至约0.1m、约0.05m至约0.5m、约0.05m至约1m、约0.05m至约2m、约0.05m至约3m、约0.05m至约4m、约0.05m至约6m、约0.05m至约8m、约0.05m至约10m、约0.1m至约0.5m、约0.1m至约1m、约0.1m至约2m、约0.1m至约3m、约0.1m至约4m、约0.1m至约6m、约0.1m至约8m、约0.1m至约10m、约0.5m至约1m、约0.5m至约2m、约0.5m至约3m、约0.5m至约4m、约0.5m至约6m、约0.5m至约8m、约0.5m至约10m、约1m至约2m、约1m至约3m、约1m至约4m、约1m至约6m、约1m至约8m、约1m至约10m、约2m至约3m、约2m至约4m、约2m至约6m、约2m至约8m、约2m至约10m、约3m至约4m、约3m至约6m、约3m至约8m、约3m至约10m、约4m至约6m、约4m至约8m、约4m至约10m、约6m至约8m、约6m至约10m或约8m至约10m。在一些实施方案中,光学光导的长度是约0.005m、约0.01m、约0.05m、约0.1m、约0.5m、约1m、约2m、约3m、约4m、约6m、约8m或约10m。在一些实施方案中,光学光导的长度是至少约0.005m、约0.01m、约0.05m、约0.1m、约0.5m、约1m、约2m、约3m、约4m、约6m或约8m。在一些实施方案中,光学光导的长度是至多约0.01m、约0.05m、约0.1m、约0.5m、约1m、约2m、约3m、约4m、约6m、约8m或约10m。光学光导的长度可按在光学光导被拉直时在光学光导的输入侧与输出侧之间的最小距离、平均距离或最大距离来测量。
在一些实施方案中,激光模块产生激发光,所述激发光被引导至光学光导中。在一些实施方案中,红外光源产生激发光,所述激发光被引导至光学光导中。在一些实施方案中,近红外光源产生激发光,所述激发光被引导至光学光导中。
在一些实施方案中,扩散器的至少一部分装配于NIR镜中的孔内,例如,如图8A至图8B所示。在该特定实施方案中,光源的一个或多个光学元件(例如,准直器17、清理滤波器16、镜15、扩散器14、激发组件、光学激发组件或光学支架)可位于NIR镜的孔外部。在其他实施方案中,光源的一个或多个光学元件(例如,准直器17、清理滤波器16、镜15和扩散器14)可位于NIR镜的孔内部。在其他实施方案中,光源的一个或多个光学元件(例如,准直器17、清理滤波器16、镜15和扩散器14)可位于NIR镜(例如,镜4)的表面内部或者紧邻镜。在一些实施方案中,扩散器至盖布的距离是约130mm。根据系统1000的各个方面,镜15可以是电介质、NIR镜、热镜、转向镜、金属涂层镜、介电镜、布拉格镜、晶体镜、第一表面镜、抛物面镜、可变反射镜、可变形镜、激光镜、激光线镜、光纤环镜、半导体可饱和吸收镜、超级镜或其他合适的镜。
在一些实施方案中,光学光导包括用于将激发光引入成像系统中的光学支架。在一些实施方案中,此类支架包括热镜、介电镜、镀银镜、金镜等,诸如NIR介电镜4。激发光可穿过镜内的孔插入于成像系统中。
在一些实施方案中,所述系统包括一个或多个照明源。所述一个或多个照明源可包括被配置为产生激发束以在所成像的组织区域中刺激荧光的荧光激发光源,诸如窄带激光。另选地或组合地,所述荧光激发源可包括联接至陷波滤波器以产生荧光激发波长的宽带源,诸如发光二极管(LED)。在一些实施方案中,所述系统包括多个激发光源。所述一个或多个照明源可包括用于用可见光照明所成像的组织区域的可见光照明源。此外,宽带源可用作照明源。宽带源可包括白光、红外光、白炽灯、气体放电灯、氙气灯、LED或其任何组合。宽带源可发射用于荧光激发的NIR或IR光谱光和用于照明的可见光。多个光学器件可被配置为照明标靶和收集可见光和荧光发射光。所述多个光学器件可包括用于从激发源移除光的滤波器。所述系统可包括用于捕获从标靶反射的荧光发射光和可见照明光的一个或多个成像传感器。
参看图4和图6A,在特定实施方案中,通过主照明12a和/或对侧照明12b来照明标靶或样本。来自标靶或样本的可见光通过主双色短通滤波器6进行滤波,并且仅少量(即,泄漏的可见光),例如,短通滤波器6处的入射光的5%至10%,通过辅双色滤波器5并到达可见透镜11a和相机10a。在一些实施方案中,短通滤波器6处的入射光的1%-5%、3%-10%、5%-12%、10%-15%、直至20%或更多通过辅双色滤波器5并到达可见透镜11a和相机10a。可见相机的非限制性示例性实施方案是Basler acA1920-155uc。NIR或IR相机的非限制性示例性实施方案是acA1920-155um。在一些实施方案中,在短通滤波器6处的入射光的1%-5%、3%-10%、5%-12%、10%-15%、直至20%或更多通过辅双色滤波器5并且随后使用用于移除重影的偏振器、中性密度滤波器(任选)和短通滤波器(以移除任何痕量的激发光和荧光发射)进行滤波,并且被图6A的镜进一步反射。
在一些实施方案中,主双色短通滤波器6和辅双色滤波器5为被配置为执行与双色滤波器类似的短通功能的任何分束器、棱镜、滤波器、镜或其他光学部件。
继续参看图4,在同一实施方案中,来自标靶或样本的几乎所有荧光被主双色短通滤波器6并且随后被辅双色短通滤波器5反射,因此在主双色滤波器处与大部分可见光分离并且随后在辅双色滤波器处与泄漏的可见光分离。在该实施方案中,荧光在NIR镜4处被反射并且进一步通过长通滤波器3进行滤波,随后其到达NIR透镜11b和NIR相机10b。在NIR透镜与相机之间可包括额外的NIR长通滤波器3.5。在一些实施方案中,在NIR透镜与相机之间不存在额外的NIR长通滤波器。在一些实施方案中,前述滤波器是红外滤波器。长通滤波器3的非限制性示例性实施方案是Edmund UV/VIS截止成像滤波器。NIR长通滤波器3.5的非限制性示例性实施方案是808nm长通Semrock Edge Basic。
在一些实施方案中,双色滤波器/镜,例如,本文的5、6和/或8,包括入射角度(AOI)。入射角度是0度、45度或任何其他角度。在一些实施方案中,入射角度是10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°或任何其他角度。双色滤波器5、6的非限制性示例性实施方案分别是Edmund 45AOI热镜,和来自Semrock的720nm SP滤波器,FF720-SDi01-55x55。
在一些实施方案中,双色滤波器6是经过特别配置以允许指定量的可见光反射的滤波器,其中具有高表面品质以减少来自激发源的反射,并且具有足够短的波长边缘以允许以45+/-10度的AOI反射的激发进行大锥角反射。在一些实施方案中,双色滤波器允许以10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°或+/-10度的任何其他角度的AOI反射的激发进行大锥角反射。在一些实施方案中,由于泄漏的可见光从背面的二次反射,双色滤波器6在可见光图像中导致重影(图7B至图7C)。所述光具有与第一表面发射的光不同的偏振。此允许使用偏振器来从所选表面消除(重影)图像。在一些实施方案中,偏振器仅在一个表面(一般是主反射表面)具有实质偏振效应时起作用。除了同等衰减外,背面上的AR涂层在被偏振时将不会展现出任何离散。图7C示出图7B的右上角和右下角的分解图。在该实施方案中,通过使用偏振器、LC衰减器或类似功能的其他光学元件来显著地减少或甚至移除重影。
在一些实施方案中,双色滤波器5具有多种功能,包括但不限于:反射激发束;2)反射红外或NIR荧光;3)将可见图像传输至VIS相机。在一些实施方案中,所述元件用于分开红外或NIR路径与VIS路径。
图8B示出被来自光源的照明跟随的光路的示例性实施方案。在该实施方案中,所述系统包括位于45AOI热镜6与显微镜27之间的0-AOI热镜8。在该实施方案中,热镜8被配置为用于减少激发泄漏至显微镜(例如,785nm)中的安全滤波器并且消除对组织的来自显微镜光的NIR或IR照明,所述NIR或IR照明将在VIS_DRK帧(在激发源关闭时捕获的帧,所述帧可包括环境光或在成像环境中存在的其他光)混合并且需要从实际NIR或IR荧光减去。在一些实施方案中,前述功能适用于红外光。在一些实施方案中,前述功能适用于在红外范围或NIR范围中的激发源的光。在一些实施方案中,前述功能适用于在红外范围或NIR范围中的红外源(例如,具有带通滤波器的宽带源(例如,发光二极管(LED)))。
在一些实施方案中,本文的双色滤波器或双色镜中的一者或多者充当波长特定分束器。在一些实施方案中,本文的双色滤波器为被配置为执行被动波长特定束分裂或束分离的任何光学元件。
参看图4,在特定实施方案中,NIR或IR成像路径包括长通(LP)滤波器3(例如,电介质涂层滤波器,入射角是0度),所述长通滤波器反射波长短于800nm(对于<800nm,大于OD6阻挡)的所有光。所述LP滤波器的主要功能是消除从样本反射的激发光并且因此允许传感器能够对荧光信号成像。在一些实施方案中,LP滤波器进一步从荧光滤除VIS光。在一些实施方案中,对于单相机,长通滤波器可被陷波滤波器(光谱带比带通激光清理滤波器宽)替代,所述陷波滤波器将仅阻挡激发光,同时允许传感器上的可见图像和荧光图像。
在一些实施方案中,很少有或没有荧光到达VIS相机,因为>90%被双色滤波器5反射。在一些实施方案中,短通滤波器1用于减少激发泄漏至VIS相机中。VIS相机可具有放置于传感器前面的额外热镜(图4中未示)。
在一些实施方案中,双色滤波器5是用于VIS和NIR或IR成像路径的主分裂代理。在一些实施方案中,本文的一个或多个SP和LP介电滤波器主要用于使进入成像透镜中的激发衰减。
在一些实施方案中,来自组织的荧光信号被双色短通滤波器反射,而可见光通过,就好像所述双色滤波器完全透明一样。反射荧光可进一步被第二短通双色反射,然后在镜上再次被反射并且未改变地通过长通滤波器(例如,“未改变地”表示小于1%、2%、3%、4%或5%的衰减,同时拒绝不想要的激发)以到达透镜和传感器。
在一些实施方案中,95%或更多的可见光刚好通过双色短通滤波器6,仅少量被滤波器反射(泄漏)。在普通镜将其反射之前,泄漏的可见光可未改变地通过辅双色滤波器5。可见光随后可被双色长通滤波器再次反射,然后在透镜和成像传感器处接收所述可见光,如图6A至图6B所示。
在一些实施方案中,一小部分的可见光从双色镜的前面和背面反射。由于双色镜的厚度,背面反射具有较长的光学路径长度,在传感器上记录为偏移,导致图像看起来像双重的重影效应,如图7B至图7C所示。在一些实施方案中,与从背面反射的光相比,来自前面的光偏振旋转90°。在一些实施方案中,一个表面可被偏振,另一个不被偏振,或一个反射可被阻挡,而另一个不被阻挡。因此,可使用如图6A所示的偏振器2来消除所述重影效应。另选地,图6B中的液晶衰减器2a可用于可见光的可变衰减。在该实施方案中,在图6B中,LC衰减器使入射光偏振(例如,接受线性偏振光,拒绝其他轴线,因为LC夹在两个偏振器之间),因此减少重影。在一些实施方案中,本文的系统和方法包括位于LC前面或后面用于减少重影的偏振器。在一些实施方案中,交叉偏振器的每一成员放置于LC的一侧上。在一些实施方案中,除了用于减少重影的LC之外,本文的系统和方法不包括偏振器。在一些实施方案中,本文的LC衰减器固有地偏振,并且因此通过控制LC的偏振,可消除双色镜的前反射或背反射,从而移除重影。但是,如果偏振器位于反射近红外光的前面,则在本文的系统和方法中使用偏振器或类似装置可能存在显著缺点。在一些实施方案中,偏振器或类似元件从红外荧光信号减少光子,如此导致非所要的荧光信号丢失。为了在不影响或减少红外荧光信号的情况下减少重影,在一些实施方案中,偏振器或类似装置仅用于可见光而不用于红外或NIR光。在一些实施方案中,偏振器的定位系在与红外或NIR信号分开的图像路径中,以最小化重影。在一些实施方案中,偏振器放置在透镜、相机或镜的前面,其间没有任何额外光学元件。在一些实施方案中,偏振器至少放置在主和/或辅双色滤波器/镜的后面。在一些实施方案中,偏振器放置在透镜、相机或镜的前面,其间仅有陷波滤波器和/或VIS截止滤波器。参看图4、图6A至图6B,在特定实施方案中,偏振器2、衰减器2a或类似装置被放置成使得使用热镜5(其为短通(SP)双色滤波器)来分开混合的可见光和红外光,其中可见光(蓝色箭头)通过滤波器5并且随后通过偏振器2并到达辅可见光透镜11a和可见相机10a上或到达镜18上,可见光再次在单个传感器21上反射回来,其中另一个长通双色滤波器19反射传感器上的可见光。
参看图5A,在一个实施方案中,可见光在通过偏振器2滤波以移除重影、通过任选的VIS截止滤波器(中性密度滤波器或LCD滤波器或被动地或主动地减少通过的光总量的任何其他光学元件)23滤波以在需要时选择性地使可见光进一步衰减,但不使IR或NIR光衰减之后直接到达VIS/NIR透镜20和相机21。另选地,可使用同步的‘快门’(例如,LCD,或‘滤波轮’,或光学‘斩波器’、电子可变光学衰减器(EVOA))来提供此类衰减。(例如,在800nm至950nm的范围内,1%的可见光透射和约100%NIR或IR透射),并且可使用陷波滤波器22来移除来自激发源的光。在同一实施方案中,荧光在主双色镜6处被反射之后通过偏振器2衰减、透射通过VIS截止滤波器23,并且通过陷波滤波器22而到达单个VIS/NIR相机21。在一些实施方案中,主双色镜6的长度是约35mm至约40mm,或约23mm至约54mm。在一些实施方案中,主双色镜6的高度是约29mm至约35mm,或约23mm至约38mm。在一些实施方案中,双色短通镜6至VIS或NIS透镜的距离小于约50mm。在一些实施方案中,双色短通镜至VIS或NIS透镜的距离小于约1,000mm。在各种其他实施方案中,双色镜6可具有更小或更大的尺寸,而镜6的小型化是优选的。
如图5B至图5C所示,可使用一对镜25、26来允许同轴照明通过镜-1 25处的孔,并且可见光和荧光在该对镜处被反射两次,再到达偏振器22。
在一些实施方案中,本文的系统和方法是被配置为分别感测可见信号或NIR或IR信号的双相机成像系统,如图4所示。在一些实施方案中,本文的系统和方法是被配置为感测可见信号或NIR或IR信号的单相机成像系统,如图6A和图6B所示。在一些实施方案中,当成像环境中存在高水平的可见环境光时(没有不利的成像伪影或不使用VIS截止滤波器),双相机成像系统能够提供红外或NIR和可见光图像。此类高水平的环境光的非限制性示例包括:手术室中的窗户、高强度手术灯和手术室中的在成像期间必须打开的灯。在一些实施方案中,图4所示的部件中的至少一者可在显示取向上垂直于页面对齐。在一些实施方案中,NIR镜4是介电镜。在一些实施方案中,光纤13是弯曲的。在一些实施方案中,光纤13是未弯曲的。
图13示出使用本文的成像系统同时进行可见光和荧光成像的一个或多个方法步骤的示例性示意图。在该特定实施方案中,荧光激发光(例如红外光)由光源提供以从样本131诱发荧光。在一些实施方案中,光源可沿着荧光的光学路径经由介电镜中的孔透射或“注入”,以用于NIR或IR成像。在该实施方案中,来自光源的红外或NIR光经由多个光学器件132引导至样本,传至样本的红外光与从样本接收的荧光基本上同轴,以便减少荧光图像中的阴影。本文的多个光学器件包括但不限于以下各者中的一者或多者:双色滤波器、热镜、分束器、介电镜、偏振器、衰减器、陷波滤波器、中性密度滤波器、短通滤波器(例如,短于700nm或780nm的波长、或在700nm与800nm之间的任何波长)和长通滤波器(例如,长于700nm或780nm的波长)。在该实施方案中,多个光学器件收集标靶的荧光信号和反射可见光图像。本文的成像系统随后捕获样本133的荧光图像和可见光图像。荧光图像和可见光图像不一定以相同的帧速率捕获。荧光图像和可见光图像可由处理器处理以形成复合图像。可使用数字显示器134向使用者显示样本的复合图像、荧光图像和/或可见光图像。
图4、图5A至图5D和图6A至图6B示出了偏振器或衰减器相对于透镜、相机和成像系统的其他元件的非限制性示例性位置。在一些实施方案中,本文的偏振器或衰减器可包括可放置于光学系统的其他位置的一个或多个偏振器或衰减器。
在一些实施方案中,本文描述的系统和方法包括陷波滤波器,例如如图5A所示的陷波滤波器(22)。在一些实施方案中,陷波滤波器位于双色镜与成像传感器之间的光学路径中。如图5A至图5D和任选地如图4、图6A和图6B和图16所示,在一些实施方案中,陷波滤波器位于主双色镜与成像传感器之间。在一些实施方案中,陷波滤波器位于偏振器与成像传感器之间。在一些实施方案中,陷波滤波器被配置为滤出激发源的光的至少一部分(例如,>90%、>90.5%、>91%、>91.5%、>92%、>92.5%、>93%、>93.5%、>94%、>94.5%、>95%、>95.5%、>96%、>96.5%、>97%、>97.5%、>98%、>98.5%、>99%、>99.5%、>99.6%、>99.7%、>99.8%、或>99.9%或更多),并且可使用透镜将剩余的荧光聚焦于传感器上。在一些实施方案中,陷波滤波器始终具有比诸如激光清理滤波器等带通滤波器更宽的光谱带宽。在一些实施方案中,陷波滤波器包括在0度AOI时约20nm的光谱宽度并且在10度AOI时10nm的光谱宽度。在一些实施方案中,针对0度AOI,对于770nm至800nm,陷波滤波器>OD3。在一些实施方案中,即,针对非零AOI,滤波器陷波带阻移位至较短波长,从而每10度移位5nm。在一些实施方案中,相对于陷波滤波器的入射角度是10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°、80°、85°、或90°或者任何其他角度。应理解,根据AOI,波长带阻相应地移位。
在一些实施方案中,光学系统的物镜至被成像的组织的工作距离小于0.1cm(1mm)、小于0.2cm(2mm)、小于0.3cm(3mm)、小于0.4cm(4mm)、小于0.5cm(5mm)、小于0.6cm(6mm)、小于0.7cm(7mm)、小于0.8cm(8mm)、小于0.9cm(9mm)、小于1cm、小于2cm、小于3cm、小于4cm、小于5cm、小于6cm、小于7cm、小于8cm、小于9cm、小于10cm、小于20cm、小于30cm、小于40cm、小于50cm或更大。
在一些实施方案中,所述工作距离是约0.1cm至约50cm。在一些实施方案中,所述工作距离是约0.1cm至约0.2cm、约0.1cm至约0.5cm、约0.1cm至约0.7cm、约0.1cm至约0.9cm、约0.1cm至约1cm、约0.1cm至约5cm、约0.1cm至约10cm、约0.1cm至约20cm、约0.1cm至约30cm、约0.1cm至约40cm、约0.1cm至约50cm、约0.2cm至约0.5cm、约0.2cm至约0.7cm、约0.2cm至约0.9cm、约0.2cm至约1cm、约0.2cm至约5cm、约0.2cm至约10cm、约0.2cm至约20cm、约0.2cm至约30cm、约0.2cm至约40cm、约0.2cm至约50cm、约0.5cm至约0.7cm、约0.5cm至约0.9cm、约0.5cm至约1cm、约0.5cm至约5cm、约0.5cm至约10cm、约0.5cm至约20cm、约0.5cm至约30cm、约0.5cm至约40cm、约0.5cm至约50cm、约0.7cm至约0.9cm、约0.7cm至约1cm、约0.7cm至约5cm、约0.7cm至约10cm、约0.7cm至约20cm、约0.7cm至约30cm、约0.7cm至约40cm、约0.7cm至约50cm、约0.9cm至约1cm、约0.9cm至约5cm、约0.9cm至约10cm、约0.9cm至约20cm、约0.9cm至约30cm、约0.9cm至约40cm、约0.9cm至约50cm、约1cm至约5cm、约1cm至约10cm、约1cm至约20cm、约1cm至约30cm、约1cm至约40cm、约1cm至约50cm、约5cm至约10cm、约5cm至约20cm、约5cm至约30cm、约5cm至约40cm、约5cm至约50cm、约10cm至约20cm、约10cm至约30cm、约10cm至约40cm、约10cm至约50cm、约20cm至约30cm、约20cm至约40cm、约20cm至约50cm、约30cm至约40cm、约30cm至约50cm、或约40cm至约50cm。在一些实施方案中,所述工作距离是约0.1cm、约0.2cm、约0.5cm、约0.7cm、约0.9cm、约1cm、约5cm、约10cm、约20cm、约30cm、约40cm、或约50cm。在一些实施方案中,所述工作距离是至少约0.1cm、约0.2cm、约0.5cm、约0.7cm、约0.9cm、约1cm、约5cm、约10cm、约20cm、约30cm、或约40cm。在一些实施方案中,所述工作距离是至多约0.2cm、约0.5cm、约0.7cm、约0.9cm、约1cm、约5cm、约10cm、约20cm、约30cm、约40cm、或约50cm。
同轴照明
在一些实施方案中,当照明信号经由成像路径中的镜中的孔注入时,本文的系统和方法实现同轴照明和光收集。与先前成像系统不同,本文的成像系统的同轴照明实现对器官、器官子结构、标靶、组织和细胞的视觉化,而不会在被观察的样本上投下阴影。避免阴影有利于在器官、器官子结构、标靶、组织和细胞的图像内防止来自可见光、红外光和近红外光的阻碍。此外,此类阴影可阻碍来自组织的荧光信号并且导致假阴性。在一些实施方案中,本文的系统和方法利用同轴照明来避免所述问题。图3B示出了同轴照明和成像轴线与图3A的单独的照明和成像轴线的比较。在该特定实施方案中,同轴照明通过减少阴影因此减少假阴性(无荧光)来提高组织的可见性,从而改善对系统正在观察的组织腔、器官和器官子结构、标靶、组织或细胞的成像。
在一些实施方案中,如图18所示,照明信号通过陷波双色滤波器5注入成像轴线中。所述光学滤波器在反射激发的同时传输可见信号和荧光信号,从而有效地同轴注入激发。滤波器5上的入射角度例如可以是22.5度、45度。
在一些实施方案中,显微镜的成像轴线、本文的成像系统的成像轴线和激发轴线全部彼此同轴。在一些实施方案中,图像轴线与激发轴线共用同一个公共轴线。
在一些实施方案中,成像轴线与右眼轴线的中心对齐或者与左眼轴线对齐,因此实现例如与右眼轴线或左眼轴线同心的视场。另选地,对应于激发的光束可从左物镜与右物镜之间的位置朝向组织延伸,并且荧光相机的成像轴线可与激发轴线同轴地从组织朝向传感器延伸。图像可不必包括相同的图像大小,并且可包括相同或不同的图像大小。每一同轴束的中心点可对齐,使得束彼此在适当公差内,以便被认为是本领域技术人员所理解的同轴。在一些实施方案中,如本文所述的同轴成像对应于照明和激发轴线(例如,可见和NIR/IR)与(例如相机的)图像传感器的成像轴线或本文公开的诸如显微镜的左和右目镜和物镜等成像系统的其他成像轴线基本上重叠或基本上平行。成像轴线可被配置用于可见和/或荧光成像,诸如NIR/IR光成像。例如,本文公开的系统可包括:1)与使用者透过显微镜的目镜看到的图像对应的可见光的成像轴线;2)荧光成像轴线,诸如从样本接收的红外或NIR光;和3)被引导至样本的激发光束轴线,其全部彼此同轴(即,其共用同一条公共轴线,或者至少在适当公差内,如本文所公开)。
在一些实施方案中,基本上重叠或平行包括两个轴线之间的交叉角度小于30度、20度、10度、小于5度、小于2度、小于1度、小于0.1度、或小于0.01度、或为约0度。基本上重叠可对应于在彼此的可接受公差内同轴的束,例如,彼此偏离1mm、0.5mm、0.25mm或0.1mm内。在一些实施方案中,基本上重叠或平行包括两个轴线之间的交叉角度小于10度、小于5度、小于2度、小于1度、小于0.1度、或小于0.01度、或为约0度。光学系统的物镜至被成像的组织的工作距离可在约几毫米(小于1cm)(例如,内窥镜)至200mm–500mm(例如,显微镜)或更长(例如,开野成像系统)的范围内。
在一些实施方案中,同轴成像不包括立体成像。在一些实施方案中,如本文公开的同轴成像包括两个或更多个光学路径的重叠,至少一个光学路径用于照明并且至少一个其他光学路径用于成像。此外,在一些实施方案中,两个或更多个光学路径可同轴对齐以便实现对例如来自两个或更多个荧光团的多个红外或近红外波长的同轴视觉化,所述荧光团归属、靶向、迁移、保留、积聚、和/或结合到或指向器官、器官子结构、组织、标靶、细胞或样本。在一些实施方案中,两个或更多个、三个或更多个、四个或更多个、或五个或更多个此类路径同轴地定位。在一些实施方案中,红外或近红外光沿着红外或近红外光学路径传递至样本,并且从样本接收的荧光沿着荧光光学路径被接收,并且其中荧光光学路径在分束器处与红外光学路径重叠。在一些实施方案中,两个轴线之间的交叉角度包括不超过10度、不超过5度、不超过2度、不超过1度、不超过0.1度、或不超过0.01度、或为约0度。
在一些实施方案中,本文的同轴成像包括同心视场(不一定具有相同的图像大小,但成像系统(例如,显微镜、成像系统等)的中心点对齐的)。在同轴成像系统中,在工作距离改变时,不存在使用者可感知的视差。在同轴成像系统中,由同轴度精度的变化导致的成像移位小于约0.3度。在同轴成像系统的一些实施方案中,由同轴度精度的变化导致的成像移位小于约0.05、0.1、0.05、0.2、0.25、0.3、0.35、0.4、0.45、0.5、0.55或0.6度。在一些实施方案中,本文的成像系统的成像轴线与右眼轴线/左眼轴线的中心对齐,例如参考内窥镜应用。
消除不想要的光
在一些实施方案中,到达相机或传感器的杂散光来自成像系统外部、来自一个或多个光通道、来自环境光(例如房间灯、窗户)或其他发光设备(例如手术室设备、神经导航设备、内窥镜、外窥镜、显微镜、头灯和放大镜)。在一些实施方案中,杂散光是连续地或以脉冲模式发射。在一些实施方案中,杂散光是可见光、红外光或两者。
此类不想要的光降低了荧光图像的对比度。另外地,装置的视觉照明会干扰荧光激发。例如,装置的可见光照明可能会激发荧光团并且在VIS光图像中引起荧光,在被减去时使用开启和关闭激光以查看差异。环境光隔离通过减少来自不可见波长、可见波长、红外波长或其任何组合的干扰而极大地提高图像品质。然而,许多当前的装置缺乏光隔离部件来屏蔽此类杂散光,并且必须在暗室中使用以消除或减弱此类环境光。
在一些实施方案中,本文的系统还包括衰减器以阻挡、过滤或衰减杂散光。在一些实施方案中,所述衰减器包括滤波器、护罩、罩子、套筒、灯罩、盖布口、挡板或其任何组合。在一些实施方案中,物理衰减器阻挡和/或滤出此类杂散光或环境光。在一些实施方案中,衰减器在本文的系统外部或附接至所述系统。在一些实施方案中,衰减器阻挡入射角大于视场(FOV)的光。在一些实施方案中,入口处的盖布口被设定大小以阻挡成像系统的外部FOV的至少一部分。在一些实施方案中,外壳和/或光学机械支座被涂黑以防止成像系统内的光反射。在一些实施方案中,本文的系统的光通道采用光滤波器。在一些实施方案中,本文的系统的光通道不采用挡板,挡板会消除要测量的信号。在一些实施方案中,当源的角度大于光学路径的通光孔径时,在成像头内发生散射,随后离开成像头。在一些实施方案中,光学路径包括吸收入射辐射的挡板。在一些实施方案中,本文的系统和方法经由激光开/关速率的同步和优化来消除可见光与荧光之间的干扰。在一些实施方案中,激光的功率足够高以被样本吸收而引起荧光,同时被最小化以减少装置内的杂散激发。
在相机传感器与透镜组件之间可使用一个或多个杂散光灯罩或挡板。通过相对于透镜(固定)移动相机传感器来使光学系统聚焦。此需要传感器与透镜之间的可变间隙,所述可变间隙对成像系统外壳中的任何杂散光特别敏感。可使用简单的同心管设计来遮住所述间隙以免受杂散光影响,在所述设计中一根管拧到相机C形支座上,并且另一根管拧到透镜支撑件上。灯罩表面可涂有高吸收性涂料并且重叠,即使传感器处于聚焦范围的最大距离处也如此。其他实施方案可包括护罩、罩子、套筒、灯罩、挡板、防尘罩或其他物理衰减器,以便阻挡、滤波或衰减此类光来增强本公开的方法和系统。此类护罩、罩子、套筒、灯罩、挡板、防尘罩或其他物理衰减器可在本公开的系统外部或者附接至所述系统。
可能会无意中允许杂散光经由传感器与透镜之间的间隙进入成像系统外壳中,所述间隙是通过相对于固定透镜移动相机传感器使系统聚焦所需要的。例如,图4、图5、图6、图7和图16和整个公开中描述的任何系统可如上文或整个公开所述般使用,以消除杂散光或环境光的问题。因此,所述系统还可以包括在相机传感器与透镜组件之间的灯罩。灯罩可包括托盘、盖子、挡板、套筒、罩子或其任何组合。灯罩可阻挡、滤波或衰减此类杂散光或环境光以增强本公开的方法和系统。灯罩可在本公开的系统的外部或者附接至所述系统。灯罩可在本公开的系统内部或者集成于所述系统内。在一些实施方案中,灯罩包括第一管和第二管,其中第一管附接至相机,并且其中第二管附接至透镜支撑件。第一管与第二管可以是同心的。当传感器处于聚焦范围的最大距离时,第一管与第二管可重叠。灯罩可经由相机的c形支座附接至相机。灯罩可经由紧固件附接至第一管、第二管或两者。紧固件可包括粘合剂、螺钉、螺栓、螺母、夹具、系带或其任何组合。灯罩的表面可涂有高吸收性涂料或者由高吸收性涂料形成。可使用任何数量的材料和类型的护罩、罩子、套筒、灯罩、挡板或其他实体衰减器来消除或减少杂散光。
显微镜
在一些实施方案中,本文的成像系统是立体的。在一些实施方案中,本文的成像系统并非立体的。在一些实施方案中,本文的成像系统是手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人。
在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO 900)、QEVO系统、CONVIVO系统、OMPIPENTERO系统(例如PENTERO 900、PENTERO 800)、INFRARED 800系统、FLOW 800系统、YELLOW560系统、BLUE 400系统、OMPI LUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPIVARIO 700)、OMPI Pico系统、OPMI Sensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS500和CLARUS 700)、PRIMUS 200、PLEX Elite9000、AngioPlex、VISUCAM 524、VISUSCOUT100、ARTEVO 800(和购自Carl Zeiss的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自Leica Microsystems或Leica Biosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo、Leica M530系统(例如Leica M530 OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、Leica M525系统(例如,Leica M525 F50、Leica M525 F40、LeicaM525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如,Leica TCS SP8、SP8FALCON、SP8 DIVE、LeicaTCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCSSP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Leica EnFocus、LeicaProveo 8、Leica Envisu C2300、Leica PROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit 5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO900、Haag-Streit Allegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜,共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自IntuitiveSurgical的Intuitive Surgical da Vinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Heidelberg Engineering的Heidelberg Engineering Spectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRI OCT Triton、TRC系统(例如TRC50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnet Pike系统(例如Pike、PikeNikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Welch Allyn的Welch Allyn 3.5V系统(例如3.5V、3.5VAutostep)、CenterVue DRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige coaxial-plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的Metronic INVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自KarlStorz的Karl Storz ENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1 S 3D,带或不带OPAL1 NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
将本文的系统组合或集成至现有的手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人中可通过以下方式实现:共同安置(全部或部分)、将所公开系统的一个或多个方面或部件组合至现有系统中,或将所公开系统的一个或多个方面或部件集成至现有系统中。此类组合可减少阴影和/或重影、利用共焦改进、增强同轴成像、增加图像清晰度、优化成像、实现光学路径的重叠、和改进外科工作流程,以及本文公开的系统和方法的其他特征。此外,此类组合或集成可利用分束器、双色滤波器、双色镜、偏振器、衰减器、透镜遮光器、帧速率、或本文公开的系统的任何其他特征、或其任何组合。另外地,此类组合或集成可减少一个或多个滤波器的泄漏(缺陷)、利用可见光和荧光光源的开/关速率、或两者。
此外,本文的系统外部的光照,例如来自显微镜的光照,可非常明亮(例如,~400W),此意味着可见光反射强度与荧光发射强度之间的差异可能很大。在具有单个传感器的实施方案中,例如,如图5D所示,这可能是一个缺点,因为增加的灵敏度设置(例如传感器的更高增益或更长的曝光量)可能会导致可见光谱中的光饱和,因此,可见光从双色滤波器或双色镜的小反射用于使用高效传感器进行成像以获得可见图像,从而填充传感器动态范围的约一半。在一些实施方案中,高效传感器的量子效率大于约40%、45%、50%、55%、60%、65%、70%、75%、80%或更多。在一些实施方案中,高效传感器具有约60dB至约90dB的动态范围。在一些方面中,传感器范围在约60dB至约73dB之间或约(73dB至约90dB)之间的范围。在另一个方面中,传感器可具有约73dB+/-10dB、73dB+/-5dB的动态范围。或73dB+/-3dB。在一些实施方案中,双色滤波器、双色镜或两者透射大部分入射可见光,以免使外科医生在眼睛中看到的光变暗。在一些实施方案中,至少一部分入射可见光从双色滤波器、双色镜或两者反射。在一些实施方案中,约0.5%至约8%的入射可见光从双色滤波器、双色镜或两者反射。在一些实施方案中,至少约0.5%的入射可见光从双色滤波器、双色镜或两者反射。在一些实施方案中,至多约8%的入射可见光从双色滤波器、双色镜或两者反射。在一些实施方案中,反射的入射可见光的量与光的功率直接相关。
在一些实施方案中,光学光导是液体光导或其他光导。在一些实施方案中,光学光导联接至透镜,所述透镜使来自光纤的发散输出光准直。来自准直透镜的准直光可随后通过带通滤波器,所述带通滤波器可以是激光清理滤波器,以便进一步减小激发源光的光谱带宽。在一些实施方案中,随后使用扩散器来使光扩散。所述扩散光随后以匹配显微镜的视场和/或手术野的视场的方式照射在组织上。
在一些实施方案中,扩散器被配置为使照明光锥与可见光(VIS)的成像视场、近红外(NIR)或红外荧光的成像视场、显微镜成像视场或其任何组合匹配。在一些实施方案中,NIR镜4中的孔被设定大小、整形和/或定位以匹配可见光(VIS)的成像轴线、近红外(NIR)或红外荧光的成像轴线、显微镜成像轴线或其任何组合。此类配置确保外科医生透过手术显微镜的目镜进行手术的组织完全被成像系统照亮和捕获。
在一些实施方案中,手术显微镜的照明路径独立于本文的双色滤波器、热镜。在一些实施方案中,例如如图4所示,扩散器14决定离开镜4中的孔的光束的形状。在其他实施方案中,孔的大小由能够将光扩散成特定角度的锥体的扩散器的选择控制。在其他实施方案中,镜中的孔被设定大小和定位以实现同轴照明,从而成像轴线在镜角度上入射并且照明穿过镜中的孔。孔大小可由以下一项或多项决定:1)数值孔径(NA)和/或光纤的纤芯大小,其决定了入射于扩散器上的准直束的最终大小;2)扩散器上的特征大小(最少特征数量(即,1、2、3、4或5个特征或更少,少于10、15、20、25、30个特征)可被照亮以得到良好的束品质);3)NIR透镜的f/#和焦距-其可直接决定最大孔大小,以免在视觉上阻碍NIR或IR成像路径,并且相应地降低在检测器处察觉到的灵敏度;或4)激光等级水平和最大允许曝光量是基于热危害的视网膜区域,其中扩散器上的束越小,视网膜背面上被照射的区域越小,因此对于给定分类(例如,此类激光分类,例如根据ANSI Z136.1标准(Z136.1-2000),所述标准取决于造成生物损害的可能性将激光指定为四大危险类别(1、2、3a、3b和4)中的一种),组织处的激光功率越低。
如图4所示,双色滤波器或双色镜(5)可被定位成使得来自样本的可见图像与红外图像是同轴的,以便允许成像系统在显示器上将可见图像与红外图像叠加。此外,双色滤波器或双色镜(6)可被定位成使得显微镜的成像视场与由成像系统捕获的可见图像和红外图像同轴。此类对准允许成像系统显示如外科医生透过显微镜看到的相同视场。
在一些实施方案中,来自显微镜的白光或可见光照明无法由本文的成像系统控制或选通。在一些实施方案中,双相机成像系统在成像路径无法及时地解多路复用的情况下有利地允许非多路复用成像路径(例如,NIR图像与可见图像不叠加)。在一些实施方案中,成像系统允许选通可见光以便进行解多路复用,因此可使用单相机系统或双相机。在一些实施方案中,在可对照明和环境光水平进行控制的情况下,可使用单相机成像系统。
在一些实施方案中,本文的成像系统包括用于维护成像系统的舱口(例如,用于允许微控制器固件的现场重新编程)。在一些实施方案中,舱口位于成像系统的头上。在一些实施方案中,舱口位于背板上。
在一些实施方案中,可由本文的系统和方法产生的图像,例如图1B、图10A至图10C、图15和图29中所示的所述图像,在单独的监视器上显示。在一些实施方案中,外科医生能够选择所显示的图像的类型:可见光图像和在上面重叠的荧光图像;或者以伪彩色(例如灰色或红色)显示的可见光图像和以不同的伪彩色(例如,蓝绿色(蓝色+绿色))显示的荧光图像,以在维持周围非荧光组织的背景的同时实现高对比。在一些实施方案中,可显示仅可见图像或仅荧光图像。在一些实施方案中,不同显示类型的图像可并排放置以供显示。在一些实施方案中,同时显示仅可见图像和仅荧光图像以及重叠的可见和荧光图像。在一些实施方案中,图像显示器不限于监视器。在一些实施方案中,图像或视频可容易地在外科医生的显微镜或增强现实眼镜、虚拟现实眼镜中显示,或者甚至用来远程显示以用于诸如机器人手术等应用。
在一些实施方案中,如果红外或NIR帧未准备好,则可见帧可从存储器/缓冲器获取一个或多个先前的NIR或IR帧。
在非限制性示例性实施方案中,本文的系统和方法包括两个相机。在一些实施方案中,即使捕获速率不相同,系统也同时显示可见帧和IR或NIR帧。在一些实施方案中,当组织被激发源的光激发时,红外相机捕获从组织产生的荧光。在一些实施方案中,激发源的光(如图9中可见)没有持续地“打开”。激发源的光可使用数字处理装置来快速地打开/关闭,或者自动地或手动地选通。在一些实施方案中,激发源的光可使用机械装置来调制为开/关;例如,快门或滤波轮、电子可变光学衰减器(EVOA)、或光学‘斩波器’、或偏振器的组合。在一些实施方案中,与相机中的每一帧的捕获同步。可动态地并且实时地控制激发源打开或关闭的时间。在示例性实施方案中,对于NIR或IR帧(即,由红外相机捕获的帧)的1至10、1-2、1-4、1-5、1-6、1-8、1-20、1-50、1-60、1-100或任何其他帧范围,打开激发源。对于VIS_DRK帧中的一者或多者,可关闭激发光。在激发源关闭时捕获VIS_DRK帧,传感器/相机捕获所有并非来自组织而通常是手术室或其他成像环境中的环境光的光。在一些实施方案中,从所有NIR或IR帧减去VIS_DRK帧以从环境光或杂散光移除伪影。之后,在该特定实施方案中,将所有第一帧相加并且将其显示为单个帧。在一些实施方案中,本文的此类图像帧处理(减法和/或加法)为使用者提供对帧捕获的极大控制。在一个示例性实施方案中,NIR或IR图像的4个帧对应于1个暗帧(图9)。在其他实施方案中,任何数量的1个或更多个NIR或IR帧之后可跟着1个VIS_DRK帧。
在一些实施方案中,可见(VIS)和NIR或IR激发由相同的宽带源提供。图16示出了在成像系统外部的另选照明通路。所述系统可包括宽带源、有AR涂层的宽带滤波器、第一短通滤波器、第二短通滤波器、第一滤波器、第二低通滤波器、偏振器、可变滤波器、NIR镜、VIS透镜、NIR透镜、VIS传感器、NIR传感器、和PC母板。
如图4所示,NIR或IR荧光信号被引导通过窗口、由第一短通滤波器重新定向、进一步由第二短通滤波器和NIR镜重新定向,其中它通过第一低通滤波器、NIR透镜、第二低通滤波器并到达NIR传感器。此外,反射可见光,并传入第一短通滤波器,其中一部分反射可见光通过第一短通滤波器并且通过第一短通滤波器,并且其中一部分反射可见光由第一短通滤波器重新定向至第二短通滤波器并通过第二短通滤波器、偏振器和VIS透镜而到达VIS传感器。另外,在另一个方面中,入射于第一短通滤波器6上的一部分可见光被反射和透射通过第二滤波器5、通过短通滤波器(VIS-截止)23、通过偏振器22、VIS透镜20和最后到VIS相机21。VIS传感器和NIR或IR传感器可随后基于接收到的光而与PC母板通信。如图6A至图6B所示,VIS传感器和NIR或IR传感器可经由USB3缆线、串行同轴缆线(诸如CoaXPress)、光纤、串行缆线、USB C缆线、并行缆线(诸如Camera Link)或其任何组合与PC通信。
窗口可用于防止灰尘颗粒和其他异物进入。窗口可以是完全透明的,并且允许所有或大多数波长通过。窗口可具有抗反射涂层。窗口可具有滤波器。滤波器可以是宽带滤波器。在一些实施方案中,窗口是有AR涂层的宽带滤波器。此外,所述窗口可包括陷波滤波,以便减少发射荧光带中的波长的其他周围系统造成的干扰。
在一些实施方案中,第一短通滤波器和第二短通滤波器中的至少一者包括双色滤波器、干涉滤波器、热镜或介电镜或薄膜型镜。此类滤波器可包括介电镜、热镜(一类介电镜)、干涉滤波器(例如,双色镜或滤波器)。在一些实施方案中,系统不包括第二短通滤波器。第一短通滤波器和第二短通滤波器可以是全等的,而两个滤波器均允许相同的波段通过。第一短通滤波器和第二短通滤波器可以是不一致的,而两个滤波器允许不同的波段通过,从而不同的波段重叠或不重叠。第一短通滤波器和第二短通滤波器中的至少一者可以是定制的,或者可选自可市售的滤波器。在一些实施方案中,第二短通滤波器包括对滤波器后面的透射光的功率监测。一个或多个光电二极管或光电二极管阵列可用于监测束形状和/或束功率。在其他实施方案中,光电二极管放置在热镜后面,以使得能够监测穿过热镜的光透射。
在一些实施方案中,偏振器包括吸收偏振器、分束偏振器、双折射偏振器、尼科尔棱镜、沃拉斯顿棱镜、薄膜偏振器、线栅偏振器、圆偏振器、线性偏振器、或其任何组合。
在一些实施方案中,可变滤波器包括衰减器、交叉偏振器、滤波轮、液晶、光学斩波器、或快门、或者主动地选择或透射/阻挡所需波长的光的任何其他光学部件。可变滤波器选择性地阻挡或衰减一个波段,同时透射另一个波段。可变滤波器根据需要选择性地阻挡可见光或使其变暗,同时不遮挡NIR或IR荧光信号。在一些实施方案中,所述系统不包括可变滤波器。
在一些实施方案中,NIR镜包括介电镜、银镜、金镜、铝镜、热镜或其任何组合。NIR镜可包括双色镜。NIR镜可包括涂层镜。NIR镜可包括孔,以便允许激光从NIR镜后面透射。NIR镜可包括滤波器,所述滤波器在透射激发波长的同时反射荧光信号,从而消除光学器件中的物理孔。此外,NIR镜可包括施加于光学器件的不同区域的不同涂层,所述涂层优化荧光信号的反射区域,同时最小化透射激发波长的“孔”所需的区域。用于透射的小区域被优化以便在一个或多个波长处实现最大透射,同时仍允许荧光带中的大量反射。
在一些实施方案中,VIS透镜、NIR透镜和VIS/NIR透镜中的至少一者包括固定焦距透镜。VIS透镜和NIR透镜中的至少一者可具有约10mm至约70mm的焦距。在一些实施方案中,VIS透镜和NIR透镜中的至少一者包括35mm透镜。另选地,VIS透镜和NIR透镜中的至少一者包括可变焦距。透镜的大小可与系统的视场直接相关。透镜的大小也可决定传感器的最佳大小。VIS透镜和NIR透镜中的至少一者可具有固定的光圈数。另选地,VIS透镜和NIR透镜中的至少一者可具有可变的光圈数。VIS透镜和NIR透镜可具有相同的光圈数。VIS透镜和NIR透镜可具有不同的光圈数。VIS透镜可具有比NIR透镜更大的光圈数。NIR透镜可具有比VIS透镜更大的光圈数。VIS透镜和NIR透镜中的至少一者可具有约0.5至约11的光圈数。在一个示例性实施方案中,VIS透镜具有约5.6的光圈数,并且NIR透镜具有约1.65的光圈数。在一些情况下,较高的光圈数实现较高的图像品质。在一些情况下,较低的光圈数实现较高的图像品质,此取决于较高或较低光圈数分别对VIS或NIR透镜的适用性。NIR和VIS透镜的唯一f/#可在保持聚焦的同时实现系统偏移和优化。NIR和VIS透镜上的抗反射涂层可以是相同的宽带涂层,或者可针对NIR或IR或者VIS透射而单独地优化。任选地,NIR和VIS透镜可分别特别针对VIS和NIR或IR进行颜色校正,或者可针对VIS和NIR或IR校正进行优化,从而减少体积和成本。
在一些实施方案中,VIS传感器、NIR传感器和NIR/VIS传感器中的至少一者包括可见传感器、互补金属氧化物半导体(CMOS)传感器、或电荷耦合装置(CCD)传感器。在一些实施方案中,VIS传感器和NIR传感器中的至少一者包括IMX174传感器、CMV2000传感器或IMX134传感器、高分辨率背板传感器或移动电话传感器。在一些实施方案中,VIS传感器和NIR传感器中的至少一者包括可市售的相机内的部件。传感器的像素大小和外形尺寸可由系统所需的光学体积和视场决定。传感器的像素大小和外形尺寸可由系统设计规范驱动。其他实施方案可包括任何CCD或CMOS传感器,所述传感器作为完整的相机或以板级操作、在成像站处或者在数据传输之前集成。此类处理可经由FPGA或通过其他方式在成像系统处形成。VIS相机也可包括拜耳滤波器马赛克或其他滤色器阵列,以便对RGB颜色信息进行解码。此外,滤色器阵列可包括用于超出像素传感器阵列的额外编码的荧光带。传感器的其他示例可包括背照式传感器、多个传感器阵列(具有或不具有滤波器阵列,例如单色)或冷却阵列。在一些情况下,NIR传感器是单色传感器。在一些情况下,NIR传感器具有滤色器阵列。额外的设计可包括选择不同的荧光带或者减少来自其他发射装置的干扰的滤波器阵列。另外地,可对某些像素进行滤波以便与VIS相机对准,从而增强分辨率并且对光谱信息进行解码。
在一些实施方案中,PC母板包括可市售的PC母板。在一个示例中,可市售为PCASUS ROG STRiX Z370-G micro-ATX母板或MSI Pro Solution Intel 170A LGA 1151ATX母板。
在一些实施方案中,发射可见光至NIR或IR光谱的宽带源是氙气灯、氙气灯泡、LED灯、激光、卤素灯、卤素灯泡、太阳光、荧光光照或其任何组合。宽带源应被配置为提供平衡的白光,并且应在荧光团的吸收带中具有足够的功率以便发射可检测的荧光。在一些情况下,宽带源未被滤波。在一些情况下,宽带源未被阻挡。宽带光源可以是裸露的、不受阻碍的或不受控制的。在一些情况下,宽带光源不包含遮光器或滤波器。本公开的任何系统和方法可与此类宽带源一起使用,包括例如图4、图5A至图5D、图6A至图6B、和图16、图18所示的系统。在其他实施方案中,宽带源被滤波或遮蔽,否则对来自所述源的输入/输出同步以捕获各种图像。例如,滤波器或遮光器中的光学部件确保所得的VIS和NIR或IR照明是同轴的且在同一视场内。本公开的任何系统和方法可与此类经滤波或遮蔽的宽带源一起使用,包括例如图4、图5A至图5D、图6A至图6B、和图16、图18所示的系统。
在一些实施方案中,此类经滤波或遮蔽的宽带源可包括滤波器、滤波轮、电子可变光学衰减器(EVOA)、光学‘斩波器’、偏振遮光器、调变器。此类滤波或遮蔽使得仅来自宽带源的特定波长的光能够通过。此类滤波或遮蔽可将图像帧编码为:1)仅NIR或IR,其中没有发射可见光但吸收带中的不可见光通过,2)仅可见光,其中吸收带内部最小,或者3)仅环境光(遮蔽或“关闭”)。在此类实施方案中,光源可在成像系统外部。在此类实施方案中,光源可在手术显微镜内。在此类实施方案中,光源可与成像系统同步输出、光源同步输入、成像系统同步输入、光源同步输出或其任何组合同步。在一些实施方案中,经滤波的光与相机帧捕获之间的同步可包括主/从关系。在此类情况下,光源可基于光源前面的滤波器而充当主控者。在此类情况下,光源可基于遮光器状态(例如,开/关、同步输入/输出等)而充当主控者。在此类情况下,光源可向相机发送信号以便开始和停止帧捕获。另选地,根据图9中的照明模式,由相机捕获的每一帧可经由某种协议传送至光源/滤波器/遮光器。所述协议可包括TTL(晶体管逻辑)。所述布置也可在图4至图6和图7中所示的光学设计中实施。所述布置可进一步相对于图16所示的照明路径轴线的放置来实施。通常,可见图像和荧光图像可通过许多采集方案来捕获,包括单相机或双相机方案。
在其他实施方案中,VIS和NIR或IR激发由气体放电灯、氙气灯、LED、激光或其任何组合来提供。在一些情况下,此类宽激发源是未经滤波和未被阻挡的,使得宽带激发源是裸露的、不受阻碍的或不受控制的(即,不包含遮光器或滤波器)。本公开的任何系统和方法可与此类宽带源一起使用,包括例如图4、图5A至图5D、图6A至图6B、图16和图18所示的系统。
在一些实施方案中,所述系统还包括滤波器、带通滤波器、滤波轮、电子可变光学衰减器(EVOA)、光学‘斩波器’、偏振器遮光器、调变器或其任何组合,以选择性地对来自宽带源的VIS和NIR或IR激发波长进行滤波。例如,滤波轮可具有短通滤波器、长通滤波器或两者,其中短通滤波器允许可见照明通过而阻挡IR波长。另选地,长通滤波器可允许IR波长通过,而阻挡可见波长。此外,短通滤波器可用于结合中性密度(ND)滤波器来阻挡IR光,以允许来自宽带激发源的VIS和NIR或IR通过。本公开的任何系统和方法可与此类宽带激发源一起使用,包括例如图4、图5A至图5D、图6A至图6B、图16和图18所示的系统。在一些情况下,可阻挡所有VIS和NIR或IR激发波长,其中系统采用无法译解NIR或IR和VIS通道的单相机。阻挡所有VIS和NIR或IR激发波长可能导致光闪烁,从而可能分散外科医生的注意力。在一些实施方案中,系统不包括滤波器、与光/相机的同步、或两者。在此类情况下,系统可发射杂散光。
宽带源可“按原样”使用,或者作为经遮蔽或滤波的宽带源使用,此取决于被检测的荧光团或组织或细胞的来源。可基于显微镜的视场(FOV)来优化或选择形成束或检测路径的照明光学器件。
在一些实施方案中,所述系统还包括成像缆线应变消除件。成像缆线应变消除件可附接至成像系统、成像站、成像缆线或其任何组合。成像缆线应变消除件可包括两件式部件。成像缆线应变消除件可包括在成像系统或成像站的制造期间在成像缆线上的夹具。成像缆线应变消除件可包括在成像系统的制造期间在现有端接缆线上的套筒。成像缆线应变消除件可以是3D列印的。成像缆线应变消除件可包括可市售的应变消除件。可采用围绕成像缆线的套筒来增加商业或定制应变消除件的抓握。套筒可由橡胶、硅树脂、塑料、木材、碳纤维、玻璃纤维、热塑性弹性体、织物、其他聚合物或其任何组合制成。
成像缆线应变消除件还可以包括止动件,所述止动件被配置为防止成像缆线应变消除件沿着成像缆线平移。止动件可包括索环、螺钉、系带、夹具、绳、粘合剂、O形环或其任何组合。另选地,成像缆线可包括集成的应变消除件。成像缆线可具有设定的挠曲等级。成像缆线应变消除件可被配置为在成像系统平移、显微镜平移或两者期间防止、最小化或者防止和最小化与手术显微镜的任何部分的粘结。成像缆线应变消除件可被配置为允许和限制图像缆线的扭曲,以防止缆线损坏且增加部件寿命。应变消除件的内表面可以是光滑的,以免刺穿缆线。显微镜的自动平衡可适应成像缆线应变消除件的额外重量。
来自一个或多个相机的图像数据可使用光学串行通信而非被动或主动铜线来传输。光学串行通信通常允许更高的缆线柔性和更长的缆线长度。在其他实施方案中,此类缆线可实现电传输、光学传输或两者。另外,可包括用于适应聚焦台移动的具有直角连接器和高柔性的被动缆线。
成像系统可包括一个或多个锁定键。锁定键可被配置为将成像系统牢固地锁定至显微镜上。锁定键可被配置为在无需任何工具的情况下将成像系统牢固地锁定至显微镜上。锁定键可经由一根或多根挂绳永久固定至成像系统,以防止锁定键丢失。图11示出成像系统的锁和键的示例性实施方案。本文的成像系统的成像系统通过两个独立的键锁定在显微镜上,其中每一键可足以将头限制到显微镜上。在一些情况下,所述键机构不需要用于移除显微镜上的任何现有硬件的工具,从而允许在手术之前或之后快速且容易地插入或移除装置。锁定机构也可由杠杆系统或其他机械系统组成,以将成像头固定至显微镜。
本文的系统还可以包括光电二极管。本文的系统还可以包括多个光电二极管。光电二极管可连续地监测欠功率和过功率事件并且直接使激光上的联锁件脱扣。光电二极管可检测可能指示扩散器故障的束形状差异。光电二极管可放置于激光束路径中的一个、两个、三个或更多个位置处。光电二极管可放置在扩散器之前。光电二极管可放置在扩散器之后以便检测可指示扩散器故障的束形状差异。激光分类需要扩散器的特定激光束斑大小。虽然较大的束斑大小能够在保持安全发射水平的同时实现高激光功率,但较小的束斑大小减小将束引导至成像通路中所需的阻碍并且提供对荧光的增加的灵敏度。挡板减少反射或杂散光。可使用双色镜16上的新月形挡板,以防止显微镜照明光反射回到VIS或NIR相机中。可使用其他挡板来减少来自光学激发组件的反射。本文的系统还可以包括附接至扩散器或光学激发组件的挡板、罩子或两者。挡板、罩子或两者可减少由陷波滤波器或相机透镜上的LP滤波器从光学激发组件接收的杂散光。针对来自镜的VIS光的挡板可具有月亮形状。挡板、罩子或两者可进一步防止顶帽式扩散器轮廓的长尾部以大入射角度照射相机透镜上的滤波器,并且透射通过滤波器,从而杂散光可到达成像检测器。挡板、罩子或两者均防止超过滤波器上的设计入射角(AOI)。
图4所示的系统可采用具有不同光圈数的物镜。优化NIR或IR灵敏度在可见相机图像中允许更大的景深。此外,此类配置允许具有较小光学体积的较低成本的透镜。与可见光相比,NIR或IR分辨率要求可能较低,并且不需要400nm至1000nm的色度校正。在一些实施方案中,系统的NIR或IR分辨率小于或等于VIS分辨率。此类降低的分辨率可实现最佳的体积设计。典型地,由于VIS光比NIR或IR光更丰富,因此系统可被设计成用于最大化对NIR、IR或其他范围内的光的光子的捕获,以分别获得更好的NIR、IR或其他信噪比。增加NIR或IR信噪比可通过多种方式来完成,包括降低NIR传感器的分辨率(即,使用较低分辨率的传感器具有较大的像素大小,以优化NIR或IR光子的收集,此更有效(更好的信噪比)。另选地,可使用更快的透镜(更小的光圈数)来增加NIR或IR信噪比。通常,在此类实施方案中,NIR或IR分辨率可小于或等于VIS分辨率,但如果NIR传感器足够灵敏,则可使用更小的像素大小并且仍然获得足够的NIR或IR信噪比。因此,在一些实施方案中,系统NIR或IR分辨率大于VIS分辨率。已认识到,焦距和光圈数可进一步影响系统中的NIR或IR分辨率或VIS分辨率,并且此可相应地进行调整和优化。
本文的系统还可以包括被配置为允许在没有显微镜的情况下使用成像系统的离体对接站。离体对接站可包括与外壳分开的光学机械桶/托盘/框架,以实现对可见和NIR或IR照明的安全照明、成像和控制。在一个示例中,离体对接站实现受控成像,以对离体组织样本或荧光参考或校准标靶成像。
如图1A所示,本文的系统还可以包括盖布150。盖布可被配置为包围显微镜头的至少一部分以保持其中的无菌性。盖布可包括用于观察样本的透明窗口。盖布150可与当前的手术室披盖系统相容。盖布可以是市售的无菌盖布;诸如带有VisionGuard光学透镜的蔡司OPMI无菌盖布(REF:3 6--000)。在一些实施方案中,防止杂散激发从盖布窗口向显微镜反射。在一些实施方案中,本文的系统包括圆形外边缘以防止盖布被刺破。在一些实施方案中,盖布在手术区与本文所述的成像系统之间保持无菌边界。在一些实施方案中,盖布包括覆盖显微镜、成像系统或两者的底部窗口的至少一部分的无菌圆形窗口。
在一些情况下,显微镜上的成像系统还包括被配置为能够容易且精确地将头附接至显微镜的凸缘、肋状物、导向件、夹具中的一者或多者。在一些情况下,显微镜上的成像系统具有在成像系统与显微镜的附接期间实现平滑集成和最小缆线干扰的形状、轮廓或两者。在一些情况下,成像系统可还包括箭头、符号、文本或其任何组合,以描述或注释成像系统与显微镜的正确连接。箭头、符号、文本或其任何组合可粘附或直接机械加工到成像系统上。在其他实施方案中,成像系统、成像缆线或两者的形状可被配置用于有效移动和减小阻力。此外,成像系统可包括密封件,从而增强头与镜(例如,顶部/底部窗口)的连接的密封性,并且有助于保持装置的平滑操作和清洁。
在一些情况下,成像系统还包括适用于特定显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人的支座,以便于附接和移除。此类支座可以是单独的适配器(或与成像系统成一体),其能够将成像系统的主体安装到各种此类镜和器械上,使得成像系统可适用于任何显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的一者或多者,诸如本文所述的所述装置中的一者或多者。
在一些实施方案中,所述系统包括一个或多个激发源活动指示器。在一些实施方案中,一个激发源活动指示器在所述装置前面,而另一个激发源活动指示器在所述装置的底部处。
在一些实施方案中,当头插入显微镜上时,自动地停用对侧照明。本文的系统可包括第二照明源,以防止在成像床(诸如在手术期间被观察或暴露的组织)中的谷、凹陷和不平整表面内形成阴影。然而,在一些情况下,将第二照明源周期性地调暗或关闭,以防止干扰额外的光学部件。
为了在没有荧光的情况下观察样本,可从由显微镜照明引起的任何荧光减去VIS_DRK帧。可机械地、电子地或通过图像处理软件来施加VIS_DRK帧。
在一些实施方案中,本文的系统和方法仅包括被配置为感测可见信号和NIR或IR信号的VIS/NIR或VIS/IR相机。在一些实施方案中,对可见信号和NIR或IR信号的灵敏度是不同的。
在一些实施方案中,有两个相机在单个台上。在一些实施方案中,两个相机在看同一个区域且聚焦到一起。在一些实施方案中,两个相机的视场、光圈、焦距、景深或任何其他参数是相同的。在一些实施方案中,两个相机的视场、光圈、焦距、景深或任何其他参数不相同(例如,光圈)。在一些实施方案中,本文的系统和方法仅包括NIR或IR相机。在一些实施方案中,对可见帧、触发帧(或NIR或IR帧)和VIS_DRK帧的捕获可按照同种顺序。
在一些实施方案中,可存在额外的成对激发源和陷波滤波器,以用于以不同的激发波长照射所述源。例如,帧1、2、3、4和5(使得每一帧由不同的波长激发,例如按帧激发不同的荧光团,并且也存在一个可见(白)帧和一个VIS_DRK帧),因此1、2、3、4和5的序列使得能够在单个帧中同时地将3个不同的荧光团视觉化(并且一个白色、一个DRK)。利用所述灵活性,可对任何数量的帧和荧光团进行成像,以允许检测以不同波长发射的多个荧光团(例如,在同一个分子上和/或在被测试的同一个样本中)。因此,本文的系统和方法不仅适用于为NIR或IR荧光团的染料,并且适用于发射光的各种源(例如,以绿色、红色和红外波长发射的染料)。例如,可用本文的系统和方法对可与肽轭合的各种染料进行成像。在一些实施方案中,可使用本文的系统和方法来调整或测试可如何对样本进行成像(例如,使用或不使用正常组织(对照物)中的非特定染料与靶向分子上的不同染料,所述不同染料归属、靶向、迁移、保留、积聚、和/或结合至或引导至器官、器官子结构、组织、标靶、细胞或样本)。
使用本文的系统和方法,可检测在器官、器官子结构、组织、标靶、细胞或样本中的自发荧光。此外,基于其自发荧光剖面,可在各种波长下区分不同的生物结构(例如,器官、器官子结构、组织、标靶、细胞或样本)。可通过引入外源显影剂或成像剂或其任何组合来增强和进一步区分此类自发荧光。此外,使用本文的系统和方法,可检测归属、靶向、迁移、保留、积聚、和/或结合至或引导至器官、器官子结构、组织、标靶、细胞或样本的荧光团,无论此类荧光团是单独的、轭合、融合、连结还是以其他方式附接至化学剂或其他部分、纳米颗粒、小分子、治疗剂,药物、化学治疗剂、肽、抗体蛋白或前述各者的片段、和前述各者的任何组合。例如,人血清白蛋白(HSA)可与荧光团轭合,从而增加其在脉管系统中的保留时间及其半衰期。肽、抗体或抗体片段可被设计成靶向特定的感兴趣组织,例如血管内皮或神经,使得在手术或诊断程序的持续时间内稳妥地标记此等结构。可产生某些轭合物,所述轭合物不发荧光,直至在存在患病组织或其他待检测的条件时其才被激活。
示例包括被组织蛋白酶或基质金属蛋白酶切割的肽部分,所述肽部分可用于检测动脉粥样硬化斑块、肿瘤微环境或其他异常组织或炎症区域。例如,荧光团是发射波长在650nm与4000nm之间的荧光剂,此类发射用于使用本文的系统和方法来检测器官、器官子结构、组织、标靶、细胞或样本中的此类剂。在一些实施方案中,荧光团是一种荧光剂,所述荧光剂选自由在本公开中可用作轭合分子(或每一类分子)的荧光染料的非限制性示例组成的群,包括DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或靛青绿(ICG)和前述各者的任何衍生物。在一些实施方案中,近红外染料通常包括花青染料。在本公开中用作轭合分子的荧光染料的额外非限制性示例包括:吖啶橙或黄、ALEXA FLUOR及其任何衍生物、7-放线菌素D、8-苯胺基萘-1-磺酸、ATTO染料及其任何衍生物、金胺-玫瑰红着色剂及其任何衍生物、苯并蒽酮、二胺、9-10-双(苯乙炔基)蒽、5,12-双(苯乙炔基)蒽、双苯酰亚胺、脑彩虹、钙黄绿素、羧基荧光素及其任何衍生物、1-氯-9,10-双(苯乙炔基)蒽及其任何衍生物、DAPI、DiOC6、DyLight Fluor及其任何衍生物、黑附球菌酮、溴化乙锭、FlAsH-EDT2、Fluo染料及其任何衍生物、FluoProbe及其任何衍生物、荧光素及其任何衍生物、Fura及其任何衍生物、GelGreen及其任何衍生物、GelRed及其任何衍生物、荧光蛋白及其任何衍生物、m亚型蛋白及其任何衍生物(例如像mCherry)、hetamethine染料及其任何衍生物、hoeschst着色剂、亚氨基香豆素、印度黄、indo-1及其任何衍生物、laurdan、荧光黄及其任何衍生物、荧光素及其任何衍生物、荧光素酶及其任何衍生物、部花菁及其任何衍生物、亚甲蓝及其任何衍生物、nile染料及其任何衍生物、OS680、OS750、二萘嵌苯、焰红染料、phyco染料及其任何衍生物、碘化丙锭、荧光黄、玫瑰红及其任何衍生物、ribogreen、RoGFP、红萤烯、二苯基乙烯及其任何衍生物、磺酰玫瑰红及其任何衍生物、SYBR及其任何衍生物、synapto-pHluorin、四苯基丁二烯、tetrasodium tris、德克萨斯红、达旦黄、拓扑替康、TSQ、伞形酮、蒽酮紫、黄色荧光蛋白和YOYO-1。其他合适的荧光染料包括但不限于:荧光素和荧光素染料(例如,异硫氰基荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等等)、羰花青、部花青、苯乙烯基染料、氧杂菁染料、藻红素、赤藻红、曙红、玫瑰红染料(例如四甲基羧基-玫瑰红或TAMRA、羧基玫瑰红6G、羧基-X-玫瑰红(ROX)、丽丝胺玫瑰红B、玫瑰红6G、玫瑰红绿、玫瑰红红、四甲基玫瑰红(TMR)等)、香豆素和香豆素染料(例如,甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如,俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等等)、德克萨斯红、德克萨斯红-X、光谱红、光谱绿、花青染料(例如,CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如,ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXAFLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXA FLUOR 633、ALEXA FLUOR 660、ALEXA FLUOR 680等)、BODIPY染料(例如,BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IR染料(例如,IRD 40、IRD 700、IRD 800等)等等。额外的合适可检测剂在国际专利申请no.PCT/US2014/77中描述。
此外,使用本文的系统和方法,可用作可检测标记和亲和力处理剂的荧光生物素轭合物可用于使用本文的系统和方法来检测器官、器官子结构、组织或样本中的此类剂。可市售的荧光生物素轭合物的非限制性示例包括Atto 425-Biotin、Atto 488-Biotin、Atto520-Biotin、Atto-550 Biotin、Atto 565-Biotin、Atto 590-Biotin、Atto 610-Biotin、Atto 620-Biotin、Atto 655-Biotin、Atto 680-Biotin、Atto 700-Biotin、Atto 725-Biotin、Atto 740-Biotin、荧光素生物素、生物素-4-荧光素、生物素-(5-荧光素)轭合物、和生物素-B-藻红素、ALEXA FLUOR 488生物胞素、ALEXA FLUOR 546、ALEXA FLUOR 549、荧光黄尸胺生物素-X、荧光黄生物胞素、俄勒冈绿488生物胞素、生物素-玫瑰红和四甲基玫瑰红生物胞素。在一些其他示例中,轭合物可包括化学发光化合物、胶体金属、发光化合物、酶、放射性同位素和顺磁性标记。在一些实施方案中,本文所述的肽活性剂融合物可附接至另一分子。例如,肽序列也可附接至另一活性剂(例如,小分子、纳米颗粒、肽、多肽、多核苷酸、抗体、适体、细胞介素、生长因子、神经递质、前述任一者的活性片段或改性、荧光团、放射性同位素、放射性核素螯合剂、酰基加合物、化学连结剂或糖等)。在一些实施方案中,肽可与活性剂融合或者共价键合或非共价键合。
本公开的系统和方法可单独使用或与伴随诊断剂、治疗剂或成像剂组合使用(无论此类诊断剂、治疗剂或成像剂是单独的荧光团或轭合、融合、连结或以其他方式附接至化学剂或其他部分、小分子、纳米颗粒、治疗剂、药物、化学治疗剂、肽、抗体蛋白质或前述各者的片段和前述各者的任何组合;或结合荧光团或其他可检测部分用作单独的伴随诊断剂、治疗剂或成像剂,所述荧光团或其他可检测部分为单独的、轭合、融合、连结或以其他方式附接至化学剂或其他部分、小分子、纳米颗粒、治疗剂、药物、化学治疗剂、肽、抗体蛋白质或前述各者的片段、和前述各者的任何组合)。此类伴随诊断可利用各种剂,包括化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子,此类剂意欲用于或具有诊断或成像作用。用于伴随诊断剂和伴随成像剂和治疗剂的剂可包括本文所述的诊断剂、治疗剂和成像剂或其他已知的剂。诊断测试可用于增强治疗产品的使用,诸如本文公开的那些或其他已知的剂。具有对应诊断测试的治疗产品的开发,诸如使用诊断成像的测试(无论是体内、原位、离体还是体外),可帮助诊断、治疗、识别患者群体以便进行治疗,并且增强对应治疗的治疗效果。本公开的系统和方法也可用于检测治疗产品,诸如本文公开的治疗产品或其他已知剂,以帮助应用治疗并且对其进行测量以评估剂的安全性和生理效应,例如,以测量治疗剂的生物利用率、摄取、分布和清理、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液和/或组织中浓度的测量、评估治疗窗口、范围和优化等。此类系统和方法可在此类剂的治疗、成像和诊断应用的背景下采用。测试也有助于治疗产品开发,以获得FDA用于进行监管决定的数据。例如,此类测试可识别适当的治疗亚群体或者识别不应当接受特定治疗的群体,因为严重副作用的风险增加,从而使得有可能通过识别最可能作出反应的患者或者对于特定副作用处于不同风险程度的患者来进行个别处理或个性化医学治疗。因此,在一些实施方案中,本公开包括治疗产品和诊断装置的联合开发,包括本文的系统和方法(用于检测治疗剂和/或成像剂本身,或者用于检测伴随诊断剂或成像剂,无论此类诊断剂或成像剂是与治疗剂和/或成像剂连结还是用作与肽连结的单独伴随诊断剂或成像剂以用于与治疗剂和/或成像剂结合使用),所述系统和方法与治疗剂和/或成像剂安全地且有效地用作治疗或成像产品结合使用。伴随装置的非限制性示例包括手术器械,诸如手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人和用于生物诊断或成像或者结合放射学的装置,包括以下成像技术:X射线摄影术、磁共振成像(MRI)、医学超声波扫描法或超声波、内窥镜检查、弹性成像、触觉成像、热成像、医学摄影和核医学功能成像技术,如正电子发射断层摄影术(PET)和单光子发射计算机断层摄影术(SPECT)。伴随诊断和装置可包括离体进行的测试,包括在对受试者施用伴随诊断后检测来自被移除的组织或细胞的信号,或者在其从受试者体内移除后将伴随诊断或伴随成像剂直接施加至组织或细胞,并且随后检测信号。用于离体检测的装置的示例包括荧光显微镜、流式细胞仪等。此外,在伴随诊断中实现此类用途的本文的系统和方法可单独地使用或与现有的手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人一起使用、补充使用、组合使用、附接或集成至其中。
在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO 900)、QEVO系统、CONVIVO系统、OMPIPENTERO系统(例如PENTERO 900、PENTERO 800)、INFRARED 800系统、FLOW 800系统、YELLOW560系统、BLUE 400系统、OMPI LUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPIVARIO 700)、OMPI Pico系统、OPMI Sensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS500和CLARUS 700)、PRIMUS 200、PLEX Elite9000、AngioPlex、VISUCAM 524、VISUSCOUT100、ARTEVO 800(和购自Carl Zeiss的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自Leica Microsystems或Leica Biosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo、Leica M530系统(例如Leica M530 OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、Leica M525系统(例如,Leica M525 F50、Leica M525 F40、LeicaM525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如,Leica TCS SP8、SP8FALCON、SP8 DIVE、LeicaTCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCSSP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Leica EnFocus、LeicaProveo 8、Leica Envisu C2300、Leica PROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit 5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO900、Haag-Streit Allegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜,共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自IntuitiveSurgical的Intuitive Surgical da Vinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Heidelberg Engineering的Heidelberg Engineering Spectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRI OCT Triton、TRC系统(例如TRC50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnet Pike系统(例如Pike、PikeNikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Welch Allyn的Welch Allyn 3.5V系统(例如3.5V、3.5VAutostep)、CenterVue DRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige coaxial-plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的Metronic INVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自KarlStorz的Karl Storz ENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1 S 3D,带或不带OPAL1 NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
此外,在一些实施方案中,将本文所述的系统与上述的此类现有手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、手术机器人、显微镜、外窥镜或内窥镜一起使用、补充使用、组合使用、附接、或集成至其中来执行本文的成像、诊断、检测和治疗方法。
可使用任何额外的手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人系统。手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人系统可由例如CarlZeiss公司、Leica Microsystems、Leica Biosystems、Haag-Streit(5-1000或3-1000系统)、或Intuitive Surgical(例如:达芬奇手术机器人系统)或者此类系统的任何其他制造商来提供。
将本文的系统组合或集成至现有的手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜或手术机器人中可通过以下方式实现:共同安置(全部或部分)、将所公开系统的一个或多个方面或部件组合至现有系统中,或将所公开系统的一个或多个方面或部件集成至现有系统中。此类组合可减少阴影和/或重影、利用共焦改良、增强同轴成像、增加图像清晰度、优化成像、实现光学路径的重叠、和改进外科工作流程,以及本文公开的系统和方法的其他特征。此外,此类组合或集成可利用分束器、双色滤波器、双色镜、偏振器、衰减器、透镜遮光器、帧速率、或本文公开的系统的任何其他特征、或其任何组合。另外地,此类组合或集成可减少一个或多个滤波器的泄漏(缺陷)、利用可见光和荧光光源的开/关速率、或两者。
在一些方面中,显微镜、共焦显微镜、荧光镜、外窥镜、手术器械、内窥镜或手术机器人中的至少一者包括KINEVO系统(例如,KINEVO 900)、QEVO系统、CONVIVO系统、OMPIPENTERO系统(例如PENTERO 900、PENTERO 800)、INFRARED 800系统、FLOW 800系统、YELLOW560系统、BLUE 400系统、OMPI LUMERIA系统OMPI Vario系统(例如OMPI Vario和OMPIVARIO 700)、OMPI Pico系统、OPMI Sensera、OPMI Movena、OPMI 1FC、EXTARO 300、TREMON3DHD系统、CIRRUS系统(例如,CIRRUS 6000和CIRRUS HD-OCT)、CLARUS系统(例如,CLARUS500和CLARUS 700)、PRIMUS 200、PLEX Elite9000、AngioPlex、VISUCAM 524、VISUSCOUT100、ARTEVO 800(和购自Carl Zeiss的任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、光学相干断层摄影(OCT)系统和手术机器人系统);购自Leica Microsystems或Leica Biosystems的PROVido系统、ARvido系统、GLOW 800系统、Leica ARveo、Leica M530系统(例如Leica M530 OHX、Leica M530 OH6)、Leica M720系统(例如Leica M720 OHX5)、Leica M525系统(例如,Leica M525 F50、Leica M525 F40、LeicaM525 F20、Leica M525 OH4)、Leica M844系统、Leica HD C100系统、Leica FL系统(例如,Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如,Leica TCS SP8、SP8FALCON、SP8 DIVE、LeicaTCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCSSP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Leica EnFocus、LeicaProveo 8、Leica Envisu C2300、Leica PROvido和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Haag-Strait的Haag-Streit 5-1000系统、Haag-Streit 3-1000系统、Haag-Streit HI-R NEO900、Haag-Streit Allegra 900、Haag-Streit Allegra 90、Haag-Streit EIBOS 2和任何其他手术显微镜,共焦显微镜、荧光镜、外窥镜、内窥镜和手术机器人系统;购自IntuitiveSurgical的Intuitive Surgical da Vinci手术机器人系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Heidelberg Engineering的Heidelberg Engineering Spectralis OCT系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Topcon的Topcon 3D OCT 2000、DRI OCT Triton、TRC系统(例如TRC50DX、TRC-NW8、TRC-NW8F、TRC-NW8F Plus、TRC-NW400)、IMAGEnet Stingray系统(例如Stingray、Stingray Pike、Stingray Nikon)、IMAGEnet Pike系统(例如Pike、PikeNikon),和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Canon的Canon CX-1、CR-2AF、CR-2PLUS AF,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Welch Allyn的Welch Allyn 3.5V系统(例如3.5V、3.5VAutostep)、CenterVue DRS、Insight、PanOptic、RetinaVue系统(例如RetinaVue 100、RetinaVue 700)、Elite、双目间接、PocketScope、Prestige coaxial-plus,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自Medtronic的Metronic INVOS系统,和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;购自KarlStorz的Karl Storz ENDOCAMELEON、IMAGE1系统(例如IMAGE1 S、IMAGE1 S 3D,带或不带OPAL1 NIR成像模块)、SILVER SCOPE系列器械(例如胃镜、十二指肠镜、结肠镜)和任何其他手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜摄像系统、OCT系统和手术机器人系统;或其任何组合。
本文的系统和方法可用于检测给定样本(例如器官、器官子结构、组织或样本)中的一种或多种可检测剂、亲和力处理剂、荧光团或染料、两种或更多种、三种、四种、五种和高达十种或更多种此类可检测剂、亲和力处理剂、荧光团或染料。
图像处理
在一些实施方案中,本文的系统和方法允许根据需要基于信号强度而加强和丢弃NIR或IR帧。在一些实施方案中,可确定在执行上述处理之前需要捕获多少NIR或IR帧。如果来自组织的荧光非常明亮,则每个显示的帧仅需要添加2个帧或3个帧而非4个或更多个帧。相反,如果信号非常低,则可能需要在NIR或IR荧光图像强度足够之前捕获6至9个或更多NIR或IR帧。因此,所述系统可根据需要加强或丢弃NIR或IR帧,并且动态地改变成像系统的灵敏度。
参看图9,在特定实施方案中,来自手术显微镜的照明的可见光始终打开(即,连续波(CW)),而NIR或IR激光定期地在开启与关闭之间切换。在该实施方案中,针对NIR或IR帧中的每4个帧打开激光光,使得针对所显示的NIR或IR图像添加来自所述4个帧的荧光,随后针对VIS_DRK帧关闭激发源的光,以提供基线环境光图像以从NIR或IR图像移除。
在一些实施方案中,VIS_DRK帧曝光时间和增益值匹配NIR或IR帧的曝光时间和增益值。VIS_DRK帧曝光量相对于NIR或IR帧曝光量,存在灵活性。在数学上,它可以是精确匹配。在其他情况下,VIS_DRK帧可具有不同曝光量并且通过按比例缩放而在数字上匹配NIR或IR帧的曝光量。在一些实施方案中,NIR或IR帧的曝光量可以是VIS_DRK帧曝光量的倍数(更长或更短),并且可按比例缩放以在图像处理期间在数学上匹配NIR或IR帧曝光量。在一些实施方案中,可动态地改变每一帧的曝光时间。
在一些实施方案中,可见相机以固定帧速率捕获帧,并且任选地在捕获每一可见图像之后,检查NIR或IR帧缓冲器,如果缓冲器使用最新捕获的NIR或IR图像进行更新,则将NIR或IR图像添加到可见光图像。在一些实施方案中,当较旧的NIR或IR图像(视情况而定)在缓冲器中时,使用较旧的NIR或IR图像以与新VIS图像一起显示,因此在可见图像与红外荧光图像之间可存在非同步的帧捕获。在一些实施方案中,此有利于实现荧光图像和可见图像的帧捕获速率的独立性,所述捕获速率可更快或更慢,而所显示图像(可见和荧光图像)的帧速率始终是全视频速率。在一些实施方案中,由本文的系统和方法提供的视频速率有利地使得使用者能够微调或简单地调整图像以实时地最大化其可见性、清晰度、操作和使用。
在一些实施方案中,本文的系统和方法使用晶体管-晶体管-逻辑(TTL)触发信号来进行相机帧捕获。在一些实施方案中,使用用于相机帧捕获的TTL触发器的占空比来驱动激发源的照明。在一些实施方案中,使用来自相机帧捕获的一个或多个TTL触发器来驱动激发源的照明。
在一些实施方案中,可对NIR或IR图像和/或可见光图像使用各种图像处理技术,从而有助于显示彩色图或轮廓图像。
在一些实施方案中,本文的图像由数字处理装置、处理器等处理。在一些实施方案中,本文的图像处理包括:图像重建、图像滤波、图像分割、两个或更多个图像的添加、从图像中减去一个或多个图像、图像配准、伪着色、图像掩蔽、图像内插、或者任何其他图像处理或操纵。
在一些实施方案中,本文的图像被显示到数字显示器并且由数字处理装置、处理器等控制。在一些实施方案中,本文的数字处理装置、处理器等使得外科医生或其他使用者能够选择将要显示的图像类型。在一些实施方案中,图像处理由位于成像系统中的一个或多个相机内的专用集成电路(ASIC)执行,从而提供将从成像系统传输的被完全处理的复合图像。使用ASIC进行图像处理降低了电缆的带宽要求,和对‘显示侧’的后续处理要求。
在一些实施方案中,对NIR或IR图像或可见光图像使用假着色或伪着色。参看图10A至图10C,在特定实施方案中,可见光图像被不同地着色,例如用黑色(图10A)、为真色(图10B)或替代色(例如红色)(图10C),而NIR或IR图像包括假着色以增加图像与背景可见光的对比度。在这些实施方案中,具有荧光和可见光的叠加复合图像示出肿瘤组织106a和106b。每一肿瘤组织样本106a和106b被显示为具有不同的信号强度。所述信号强度差异是由荧光染料的不同组织摄取水平引起。
参看图7A,所述系统和方法提供了以下选项:观察叠加在可见图像上的荧光图像或单独的荧光图像,或者观察并排的可见图像和NIR或IR图像,因此为使用者提供图像视觉化的灵活性。在一些实施方案中,所述图像,即,可见图像或荧光图像,是二维图像帧,所述图像帧可堆叠以产生三维体积图像。
在一些实施方案中,在图像处理期间,在可见光和/或NIR或IR图像中对肿瘤自动地、半自动地或手动地轮廓化,使得外科医生或任何其他医学专业人员可更好地视觉化肿瘤和肿瘤边界。在一些实施方案中,NIR或IR图像沿着x轴线和/或y轴线进行积分,使得产生一维荧光信号剖面。
用于形成荧光团激发的图像的方法、系统和介质
本文提供了由激光诱发荧光团激发形成第一重叠图像的计算机实施方法。此外,本文提供计算机实施系统,所述计算机实施系统包括数字处理装置,所述数字处理装置包括:至少一个处理器;操作系统,所述操作系统被配置为执行可执行指令;存储器;和计算机程序,所述计算机程序包括指令,所述指令可由所述数字处理装置执行以产生用于由激光诱发荧光团激发形成第一重叠图像的应用程序。此外,本文提供编码有计算机程序的非暂时性计算机可读存储介质,所述计算机程序包括指令,所述指令可由处理器执行以产生用于由激光诱发荧光团激发形成第一重叠图像的应用程序。
在一些实施方案中,所述方法包括接收多个图像帧序列、校正每一NIR或IR帧、产生第一NIR或IR图像、产生第一VIS图像和将第一NIR或IR图像与第一VIS图像重叠以形成第一重叠图像。在一些实施方案中,所述应用程序接收多个图像帧序列、校正每一NIR或IR帧、产生第一NIR或IR图像、产生第一VIS图像和将第一NIR或IR图像与第一VIS图像重叠以形成第一重叠图像。此类图像的若干示例示出于图29A至图29I中。根据各个方面,这些图像是外科医生在使用时在进行手术且在体内或原位应用中使用所述系统时可能看到的事物的例示。明确来说,图29A至图29C示出患者体内的肿瘤或异常的原位组织样本的示例性可见图像。图29A示出示例性可见光(VIS)图像。图29B示出示例性近红外(NIR)图像。图29C示出示例性重叠图像。
图29D至图29F和图29G至图29I示出使用本文的成像系统和方法获取的血管病变、血管畸形或血管异常的原位组织样本的示例性可见图像。明确来说,图29D至图29F中的图像集和图29G至图29I中的图像集是在对受试者的血管病变进行手术期间的原位或术中组织的代表性图像,其中施用了22mg的托珠司肽。
图29D示出原位标本的近红外(NIR)图像。对应于NIR或IR图像中的较光和较亮区域的荧光信号指示托珠司肽存在于血管病变中。标出的箭头指示正常血管(“BV”)和正常脑组织(“NB”)的非荧光区域。相反地,对应于NIR或IR图像中的较光和较亮区域的荧光信号指示托珠司肽存在于异常血管病变(“VL”)上而非存在于正常组织中。
图29E示出与图29D对应的白光图像,所述白光图像表示外科医生在无荧光引导下通常将会看到的东西。箭头标记如图29D中的NIR或IR图像中所示的相同位置。血管病变(“VL”)具有与所述图像中的正常血管“BV”类似的外观。
图29F示出图29D和图29E的NIR或IR荧光和白光复合图像,其中箭头标记如图29D和图29E中所示的相同位置。血管病变(“VL”)中的荧光清楚地将其与周围的正常组织(包括正常血管(“BV”)区分开来。
图29G示出在手术期间血管病变的近红外(NIR)图像。箭头指示血管病变(标为“VL”)和相邻的正常大脑(标为“NB”),所述正常大脑是非荧光的。
图29H示出与图29G对应的白光图像。虽然正常大脑具有浅棕褐色至粉红色(灰度图像中的浅灰色),但它充满了正常血管,由于没有荧光,所述正常血管可与血管病变区分开来。
图29I示出图29G和图29H中所示的复合白光和NIR或IR图像。
在一个激光周期内采集的图像称为“序列”。一个序列通常包含至少一个VIS_DRK帧和一个NIR帧,但VIS_DRK和NIR帧的任何其他组合是可能的。通常在应用中,成像情况具有比NIR荧光相对多得多的可见光存在。NIR帧与VIS_DRK帧的比示出为NIR:(VIS_DRK)。
在获取VIS_DRK(DRK增益)和NIR帧(NIR增益)时使用的增益可以是不同的。通常,所述增益是相同的,从而允许从NIR直接减去VIS_DRK。然而,如果所述增益不同,则必须使用定标函数来校正所述不同增益。所述定标函数是表示在传感器的输入动态范围(本文中也被描述为输入动态范围)内VIS_DRK增益与NIR相机增益之间的差异的函数:K(信号)增益,使得对于相同的输入信号,以下情况成立。
NIR(信号)=K(信号)增益xVIS_DRK(信号)
因此,简单地说,增益校正后的暗帧(DRK*)可计算如下;
DRK*=K增益(VIS_DRK)
请注意,此函数可能并非线性的,它可能是多项式的、指数的或另一个函数。如本文所述,此校正应在针对不同曝光时间的任何校正之前应用。VIS_DRK帧的曝光量(DRKexp)与NIR帧的曝光量(NIRexp)可能不同。通常,NIRexp与DRKexp的比率将是大于1的整数:EXP_RATIONIR-DRK=1、2、3等。然而,分数比率也是可能的。大于1的分数可能有用;例如1.5、2.5等。然而,小于1的分数(指示VIS_DRK帧的曝光量长于NIR曝光量)在可见光比NIR荧光相对多得多的情况下不太可能有用。原始NIR帧含有以下数据:
1.来自标靶的可见光反射
2.来自环境的环境NIR
3.来自标靶荧光团的荧光
另外,VIS_DRK帧含有以下数据:
1.来自标靶的可见光反射
2.来自环境的环境NIR
3.在一些情况下,荧光团可能会被杂散可见光(在激发照明关闭时有意或无意地提供)激发,并且来自标靶荧光团的荧光将存在。
在一些实施方案中,VIS_DRK帧也称为VIS帧。虽然VIS_DRK帧或VIS帧也包含来自环境的环境NIR,但与反射可见光的强度相比,所述信号相对较低。
最终的NIR图像应仅包含来自标靶荧光团的NIR荧光。请注意,原始NIR帧包含该信息,和反射可见光和来自环境的环境NIR,并且VIS_DRK帧包含后面两个分量:反射可见光和来自环境的环境NIR。在一些实施方案中,从原始NIR帧减去VIS_DRK帧(为了此目的,其可被称为“DRK”帧)得到仅包含来自荧光团的荧光的图像,所述图像被称为经暗校正的NIR图像(即,NIR*)。以下公式使用用于针对不同增益和曝光量进行校正的先前描述的项来描述此过程:
NIR*=NIR–(DRK*x EXP_RATIONIR-DRK)
如果序列仅包含一个VIS_DRK和一个NIR帧(NIR-比率:VIS比率=1),则后续的图像处理很简单:
●可见图像(VIS)是VIS_DRK帧
●NIR图像(NIR*)是根据先前的公式进行暗校正的NIR帧。
●重叠图像(OVL)是VIS图像与NIR*图像的总和
在一些实施方案中,NIR:VIS_DRK大于1以允许我们对NIR数据加总以增强对NIR荧光信号的灵敏度。始终描述确定哪个VIS_DRK帧用于NIR暗校正。此外,当序列包含多个NIR帧和VIS_DRK帧时,可针对本文所公开的后续图像处理方法来量化所述序列中的NIR帧和VIS_DRK帧的初步量。例如,图30至图35所示的序列在每一序列中包括初步量是2个的NIR帧和单个VIS_DRK帧。如本文所公开,各种成像处理系统和方法可使用来自前面和/或后续序列的NIR和/或VIS_DRK帧。
在一些实施方案中,例如如图30所示,当激光处于关闭模式时,捕获帧,所述帧包含来自标靶的可见光反射和环境NIR或IR信号。因此,在该实施方案中,此帧用作VIS和VIS_DRK帧。当激光处于开启模式时,捕获一个或多个NIR或IR帧。请注意,NIR或IR帧包含所有以下各者:反射的可见照明、环境NIR或IR图像和来自组织的NIR或IR荧光。在一些实施方案中,通过减去一个校正VIS_DRK帧来校正每一NIR或IR帧,从而导致经校正NIR或IR帧,所述经校正NIR或IR帧仅包含来自组织的NIR或IR荧光。在一些实施方案中,每一NIR或IR图像是通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生。在一些实施方案中,VIS图像是通过将第一VIS帧与V量的后续VIS帧相加来产生。在一些实施方案中,N量与V量是正整数,而在其他实施方案中,N和V中的一者或两者可以是零。
在一些实施方案中,VIS_DRK帧的曝光时间等于NIR或IR帧的曝光时间。在一些实施方案中,VIS_DRK帧的曝光时间大于NIR或IR帧的曝光时间。在一些实施方案中,VIS_DRK帧的曝光时间小于NIR或IR帧的曝光时间。在一些实施方案中,每一VIS_DRK帧具有相同的曝光时间。在一些实施方案中,至少一部分VIS_DRK帧具有不同的曝光时间。在一些实施方案中,每一NIR或IR帧具有相同的曝光时间。在一些实施方案中,至少一部分NIR或IR帧具有不同的曝光时间。在一些实施方案中,在捕获VIS_DRK图像时的曝光时间导致VIS_DRK像素值小于最大像素值除以序列中的NIR或IR帧与VIS_DRK帧之间的比率(图30)。在一个示例中,对于用VIS_DRK帧中的最大像素值拍摄的8位元图像并且在一些实施方案中,原始图像值不超过约254/4或255/4(或约63个)的最大值。在一些实施方案中,如果所得VIS_DRK、NIR或IR图像过亮,则曝光时间减少。在一些实施方案中,减少计数减少了由减法导致的运动伪影。在一些实施方案中,通过减小最大像素值、减小序列中的NIR或IR帧与VIS_DRK帧之间的比率或两者来减少计数。在一些实施方案中,一个或多个总计NIR图像的饱和度不如原始图像中的饱和度重要。
一种图像伪影被称为‘运动伪影’。当两个图像相减且视场中的某些东西在捕获所述两个帧的时间之间移动时,运动伪影的一个原因便会出现。本文的系统和方法可减少、最小化或校正运动伪影。减法相关的运动伪影的示例可在图15中看到(即,图15E和图15F)。图15E和图15F示出运动伪影1501基于VIS_DRK帧减法的示例性描绘或看起来像什么。如图所示,视场包含在成像序列期间移动的数条线(附接至手术海绵),示出由于此类移动而产生的多个或重复的线图像。本文描述的系统和方法减少或最小化此类运动伪影。在一些实施方案中,校正VIS_DRK帧是与第一NIR或IR帧在同一个帧序列中的VIS_DRK帧。然而,在此种情况下,第一NIR或IR帧与用于校正的VIS_DRK帧间隔开至少(N–1)倍的NIR或IR帧曝光时间。如果标靶组织(或帧中的物体)在此时段期间移动,则用于暗校正的减法运算将导致运动伪影。为了解决此问题,在一些实施方案中,用于校正每一NIR或IR帧的VIS_DRK帧可被选择为在时间上最接近给定的NIR或IR帧的VIS_DRK帧。在一些实施方案中,校正VIS_DRK帧是在NIR或IR帧的帧序列的后一个帧序列中的VIS_DRK帧。在一些实施方案中,用于初步量的NIR或IR帧的第一部分的校正VIS_DRK帧是与第一NIR或IR帧在同一个帧序列中的VIS_DRK帧,其中用于初步量的NIR或IR帧的第二部分的校正VIS_DRK帧是在所述NIR或IR帧的帧序列的后一个帧序列中的VIS_DRK帧。在一些实施方案中,(N+1)等于或大于所述初步量。在一些实施方案中,产生第一NIR或IR图像还包括将第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。
在一些实施方案中,所述方法还包括产生第二NIR或IR图像、将所述第一NIR或IR图像与所述第一VIS图像重叠以形成第一重叠图像以及将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像。在一些实施方案中,所述应用程序进一步产生第二NIR或IR图像、将所述第一NIR或IR图像与所述第一VIS图像重叠以形成第一重叠图像以及将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像。在一些实施方案中,通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像。在一些实施方案中,通过将第二VIS帧与第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像。
在一些实施方案中,校正VIS帧是与第一NIR或IR帧在同一个帧序列中的VIS帧。在一些实施方案中,校正VIS帧是在NIR或IR帧的帧序列的后一个帧序列中的VIS帧。在一些实施方案中,用于初步量的NIR或IR帧的第一部分的校正VIS帧是与第一NIR或IR帧在同一个帧序列中的VIS帧。在一些实施方案中,用于初步量的NIR或IR帧的第二部分的校正VIS帧是在所述NIR或IR帧的帧序列的后一个帧序列中的VIS帧。在一些实施方案中,(N+1)等于或大于所述初步量。在一些实施方案中,产生第一NIR或IR图像还包括将第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。在一些实施方案中,所述应用程序还包括产生第二NIR或IR图像和将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像。
在一些实施方案中,通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二图像。N量是额外NIR帧与原始或初步NIR帧相加的总数减一,因此,N量可以是零或更多。在一些实施方案中,通过将第二VIS帧与第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像。N量和V量在图39中用图形表示,其中V量是VIS帧与原始或初步VIS帧相加的总数减一,因此,V量可以是零或更多。在一些实施方案中,VIS帧是所述序列中的最后一个帧。在一些实施方案中,VIS帧是所述序列中的第一帧。在一些实施方案中,VIS帧是在所述序列中的任何地方。在一些实施方案中,VIS帧是所述序列中的第一帧、所述序列中的最后一个帧或所述VIS帧在所述序列中的任何地方、或按任何组合。在一些实施方案中,显示速率与序列速率相同,其中使用图34和示例21中举例的‘方箱函数’累加器将数量超过所述序列中的数量的帧加总而形成图像。
显示速率描述了向使用者显示图像的速率,通常按每单位时间的帧数(例如,每秒、每毫秒、每微秒等帧数)测量或按每单位时间的赫兹或周期数来测量(例如,每秒、每毫秒、每微秒等周期数。序列速率描述了在序列中获取帧总数的速率。与序列速率相同或相等的显示速率意味着正在以与获取帧序列的速率相同的速率获取和显示显示图像。
计算系统
参看图17,示出绘示示例性机器的框图,所述示例性机器包括计算机系统1700(例如,处理或计算系统),在所述计算机系统内,可执行一组指令,以致使装置施行或执行用于本公开的静态码调度的任何一个或多个方面和/或方法。图17中的部件仅为示例,并且不限制任何硬件、软件、嵌入式逻辑部件或实施特定实施方案的两个或更多个此类部件的组合的使用范围或功能。
计算机系统1700可包括一个或多个处理器1701、存储器1703和存储装置1708,以上各者经由总线1740彼此通信并且与其他部件通信。总线1740也可链接显示器1732、一个或多个输入装置1733(其可例如包括小键盘、键盘、鼠标、触控笔等)、一个或多个输出装置1734、一个或多个存储装置1735和各种有形存储介质1736。所有这些元件可直接地或经由一个或多个接口或适配器与总线1740介接。例如,各种有形存储介质1736可经由存储介质接口1726与总线1740介接。计算机系统1700可具有任何合适的物理形式,包括但不限于一个或多个集成电路(IC)、印刷电路板(PCB)、移动手持装置(诸如移动电话或PDA)、膝上型或笔记本计算机、分布式计算机系统、计算网格或服务器。
计算机系统1700包括执行功能的一个或多个处理器1701(例如,中央处理单元(CPU)或通用图形处理单元(GPGPU))。处理器1701任选地包含高速缓存存储器单元1702,以用于指令、数据或计算机地址的临时本地存储。处理器1701被配置为帮助执行计算机可读指令。由于处理器1701执行体现在一个或多个有形计算机可读存储介质(诸如存储器1703、存储装置1708、存储装置1735和/或存储介质1736)中的非暂时性处理器可执行指令,计算机系统1700可为图17中描绘的部件提供功能。计算机可读介质可存储实施特定实施方案的软件,并且处理器1701可执行所述软件。存储器1703可经由合适的接口(诸如网络接口1720)从一个或多个其他计算机可读介质(诸如大容量存储装置1735、1736)或从一个或多个其他源读取软件。所述软件可致使处理器1701执行本文描述或说明的一个或多个过程或者一个或多个过程的一个或多个步骤。执行此类过程或步骤可包括定义存储在存储器1703中的数据结构并且按照软件的指示修改数据结构。
存储器1703可包括各种部件(例如,机器可读介质),包括但不限于随机存取存储器部件(例如,RAM 1704)(例如,静态RAM(SRAM)、动态RAM(DRAM)、铁电随机存取存储器(FRAM)、相变随机存取存储器(PRAM)等)、只读存储器部件(例如,ROM 1705)及其任何组合。ROM 1705可用于将数据和指令单向地传送至处理器1701,并且RAM 1704可用于与处理器1701双向地传送数据和指令。ROM 1705和RAM 1704可包括以下描述的任何合适的有形计算机可读介质。在一个示例中,基本输入/输出系统1706(BIOS),包括有助于诸如在启动期间在计算机系统1700内的元件之间传送信息的基本例程,可存储于存储器1703中。
固定存储装置1708任选地经由存储控制单元1707双向连接至处理器1701。固定存储装置1708提供额外的数据存储容量,并且也可包括本文描述的任何合适的有形计算机可读介质。存储装置1708可用于存储操作系统1709、可执行程序1710、数据1711、应用1712(应用程序)等。存储装置1708也可包括光盘驱动器、固态存储器装置(例如,基于快闪存储器的系统)或任何上述者的组合。在适当的情况下,存储装置1708中的信息可作为虚拟存储器并入存储器1703中。
在一个示例中,存储装置1735可经由存储装置接口1725与计算机系统1700(例如,经由外部端口连接器(未示出))可移除地介接。明确地说,存储装置1735和相关联的机器可读介质可为计算机系统1700提供机器可读指令、数据结构、程序模块和/或其他数据的非易失性和/或易失性存储。在一个示例中,软件可完全地或部分地驻留在存储装置1735上的机器可读介质内。在另一个示例中,软件可完全地或部分地驻留在处理器1701内。
总线1740连接各种子系统。在此,在适当的情况下,对总线的引用可包括服务于共同功能的一个或多个数字信号线。总线1740可以是使用各种总线架构中的任一种的若干类型的总线结构中的任一种,包括但不限于存储器总线、存储器控制器、外围总线、本地总线及其任何组合。作为示例而非通过限制的方式,此类架构包括工业标准架构(ISA)总线、增强型ISA(EISA)总线、微通道架构(MCA)总线、视频电子标准协会本地总线(VLB)、外围部件互连(PCI)总线、快速PCI(PCI-X)总线、加速图形连接端口(AGP)总线、超传输(HTX)总线、串行高级技术附件(SATA)总线及其任何组合。
计算机系统1700也可包括输入装置1733。在一个示例中,计算机系统1700的使用者可经由输入装置1733将命令和/或其他信息输入至计算机系统1700中。输入装置1733的示例包括但不限于数字字母输入装置(例如,键盘)、指示装置(例如,鼠标或触控板)、触控板、触控式屏幕、多点触控式屏幕、操纵杆、触控笔、游戏手柄、音频输入装置(例如,麦克风、语音响应系统等)、光学扫描器、视频或静止图像撷取装置(例如,相机)及其任何组合。在一些实施方案中,输入装置是Kinect、Leap Motion等。输入装置1733可经由各种输入接口1723(例如,输入接口1723)中的任一者介接至总线1740,所述输入接口包括但不限于串行、并行、游戏端口、USB、火线(FIREWIRE)、雷电(THUNDERBOLT)或上述各者的任何组合。
在特定实施方案中,当计算机系统1700连接至网络1730时,计算机系统1700可与连接至网络1730的其他装置,特别是移动装置和企业系统、分布式计算系统、云存储系统、云计算系统等通信。可经由网络接口1720发送往返计算机系统1700的通信。例如,网络接口1720可以以一个或多个封包(诸如因特网协议(IP)封包)的形式从网络1730接收传入通信(诸如来自其他装置的请求或响应),并且计算机系统1700可将传入通信存储于存储器1703中以便进行处理。计算机系统1700可类似地以一个或多个封包的形式将传出通信(诸如对其他装置的请求或响应)存储于存储器1703中,并且从网络接口1720传送至网络1730。处理器1701可存取存储于存储器1703中的这些通信封包以进行处理。
网络接口1720的示例包括但不限于网络接口卡、调制解调器及其任何组合。网络1730或网络段1730的示例包括但不限于分布式计算系统、云计算系统、广域网络(WAN)(例如,因特网、企业网络)、局域网络(LAN)(例如,与办公室、建筑物、校园或其他相对较小的地理空间相关联的网络)、电话网络、两个计算装置之间的直接连接、对等网络及其任何组合。网络,诸如网络1730,可采用有线和/或无线通信模式。通常,可使用任何网络拓扑。
可经由显示器1732显示信息和数据。显示器1732的示例包括但不限于阴极射线管(CRT)、液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机液晶显示器(OLED),诸如被动矩阵OLED(PMOLED)或主动矩阵OLED(AMOLED)显示器、等离子显示器及其任何组合。显示器1732可经由总线1740介接至处理器1701、存储器1703和固定存储装置1708以及其他装置(诸如输入装置1733)。显示器1732经由视频接口1722连接至总线1740,并且可经由图形控件1721控制显示器1732与总线1740之间的数据传输。在一些实施方案中,显示器是视频投影仪。在一些实施方案中,显示器是头戴式显示器(HMD),诸如VR头戴式耳机。在其他实施方案中,合适的VR头戴式耳机包括(举出非限制性示例)HTC Vive、Oculus Rift、SamsungGear VR、Microsoft HoloLens、Razer OSVR、FOVE VR、Zeiss VR One、Avegant Glyph、Freefly VR头戴式耳机等。在其他实施方案中,显示器是装置(诸如本文公开的装置)的组合。
除了显示器1732之外,计算机系统1700还可以包括一个或多个其他外围输出装置1734,包括但不限于音频扬声器、打印机、存储装置及其任何组合。此类外围输出装置可经由输出接口1724连接至总线1740。输出接口1724的示例包括但不限于串行端口、并行连接、USB端口、FIREWIRE端口、THUNDERBOLT端口及其任何组合。
另外地或另选地,计算机系统1700可由于在电路中硬连线或以其他方式实施的逻辑而提供功能性,所述逻辑可代替软件或与软件一起操作以执行本文描述或说明的一个或多个过程或者一个或多个过程的一个或多个步骤。在本公开中对软件的引用可包括逻辑,并且对逻辑的引用可包括软件。此外,对计算机可读介质的引用在适当时可包括存储用于执行的软件的电路(诸如IC)、体现用于执行的逻辑的电路、或两者。本公开包括硬件、软件或两者的任何合适组合。
本领域的技术人员将了解,结合本文公开的实施方案描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的此可互换性,上文已大体上在功能方面对各种说明性部件、块、模块、电路和步骤进行描述。
结合本文所公开的实施方案描述的各种说明性逻辑块、模块、计算机实施方面和电路可与被设计成用于执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件部件或其任何组合一起来实现或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可被实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器,或任何其他此类配置。
结合本文公开的实施方案描述的方法或算法的步骤可直接体现为硬件、由一个或多个处理器执行的软件模块、或两者的组合。软件模块可驻留于RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中已知的任何其他形式的存储介质。示例性存储介质联接至处理器,使得处理器可从存储介质读取信息并且将信息写入至存储介质。在另选方案中,存储介质可与处理器成一体。处理器和存储介质可驻留于ASIC中。ASIC可驻留于使用者终端中。在另选方案中,处理器和存储介质可作为离散部件驻留于使用者终端中。
根据本文的描述,合适的计算装置包括(举出非限制性示例)服务器计算机、台式计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、随身型易网机计算机、上网本计算机、机顶盒计算机、介质流式传输装置、手持型计算机、因特网设备、移动智能电话、平板计算机、个人数字助理、视频游戏控制台和车辆。本领域的技术人员也将认识到,具有任选计算机网络连接性的选择电视、视频播放器和数字音乐播放器适合于在本文描述的系统中使用。在各种实施方案中,合适的平板计算机包括本领域的技术人员已知的具有小册子、平板和可转换配置的那些平板计算机。
在一些实施方案中,计算装置包括被配置为执行可执行指令的操作系统。操作系统是例如包括程序和数据的软件,所述软件管理装置的硬件并且提供用于应用程序的执行的服务。本领域的技术人员将认识到,合适的服务器操作系统包括(举出非限制性示例)FreeBSD、OpenBSD、
Figure BDA0004113538720001621
Linux、
Figure BDA0004113538720001622
Mac OS X
Figure BDA0004113538720001623
Figure BDA0004113538720001624
Windows
Figure BDA0004113538720001625
Figure BDA0004113538720001626
本领域的技术人员将认识到,合适的个人计算机操作系统包括(举出非限制性示例)
Figure BDA0004113538720001627
Mac OS
Figure BDA0004113538720001628
VX
Figure BDA0004113538720001629
嵌入式Linux(例如,RT Linux、QNX、LynxOS)和类UNIX操作系统,诸如
Figure BDA00041135387200016210
在一些实施方案中,操作系统由云计算提供。本领域的技术人员也将认识到,合适的移动智能电话操作系统包括(举出非限制性示例)
Figure BDA00041135387200016211
OS、
Figure BDA00041135387200016212
ResearchIn
Figure BDA00041135387200016213
BlackBerry
Figure BDA00041135387200016214
Windows
Figure BDA00041135387200016215
OS、
Figure BDA00041135387200016216
Windows
Figure BDA00041135387200016217
OS、
Figure BDA00041135387200016218
Figure BDA00041135387200016219
VX
Figure BDA00041135387200016220
或嵌入式Linux(例如,RT Linux、QNX、LynxOS)。本领域的技术人员也将认识到,合适的介质流式传输装置操作系统包括(举出非限制性示例)Apple
Figure BDA00041135387200016221
Google
Figure BDA00041135387200016222
Google
Figure BDA00041135387200016223
Amazon
Figure BDA00041135387200016224
Figure BDA00041135387200016225
Figure BDA0004113538720001631
本领域的技术人员也将认识到,合适的视频游戏控制台操作系统包括(举出非限制性示例)
Figure BDA0004113538720001632
Figure BDA0004113538720001633
Xbox
Figure BDA0004113538720001634
Microsoft Xbox One、
Figure BDA0004113538720001635
Figure BDA0004113538720001636
Wii
Figure BDA0004113538720001637
VX
Figure BDA0004113538720001638
或嵌入式Linux(例如,RTLinux、QNX、LynxOS)。
数字处理装置
在一些实施方案中,本文中描述的系统和方法包括数字处理装置、处理器或其使用。在其他实施方案中,数字处理装置包括实施所述装置的功能的一个或多个硬件中央处理单元(CPU)和/或通用图形处理单元(GPGPU)或专用GPGCU。在其他实施方案中,数字处理装置还包括被配置为执行可执行指令的操作系统。在一些实施方案中,数字处理装置任选地连接至计算机网络。在其他实施方案中,数字处理装置任选地连接至因特网,使得它接入万维网。在其他实施方案中,数字处理装置任选地连接至云计算基础设施。在其他实施方案中,数字处理装置任选地连接至内部网络。在其他实施方案中,数字处理装置任选地连接至数据存储装置。
根据本文的描述,合适的数字处理装置包括(举出非限制性示例)服务器计算机、台式计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、随身型易网机计算机、上网本计算机、机顶盒计算机、介质流式传输装置、手持型计算机、因特网设备、移动智能电话、平板计算机、个人数字助理、视频游戏控制台和车辆。此外,根据本文的描述,装置也包括在位于成像光学器件(例如,FPGA或DSP)附近的单元与‘后端’PC之间分割信号处理和计算。应当理解,可在各个位置之间执行处理的分配。
在一些实施方案中,数字处理装置包括被配置为执行可执行指令的操作系统。操作系统是例如包括程序和数据的软件,所述软件管理装置的硬件并且提供用于应用程序的执行的服务。
在一些实施方案中,所述装置包括存储装置和/或存储器装置。存储装置和/或存储器装置是用于暂时或永久地存储数据或程序的一个或多个物理设备。
在一些实施方案中,数字处理装置包括用于向使用者发送视觉信息的显示器。
在一些实施方案中,数字处理装置包括用于从使用者接收信息的输入装置。在一些实施方案中,输入装置是键盘。在一些实施方案中,输入装置是指示装置,包括(举出非限制性示例)鼠标、轨迹球、跟踪垫、操纵杆、游戏控制器或触控笔。在一些实施方案中,输入装置是触控屏幕或多点触控屏幕。在其他实施方案中,输入装置是用于捕获语音或其他声音输入的麦克风。在其他实施方案中,输入装置是用于捕获运动或视觉输入的视频相机或其他传感器。在其他实施方案中,输入装置是Kinect、Leap Motion等。在其他实施方案中,输入装置是诸如本文公开的装置的装置的组合。
参看图14,在特定实施方案中,示例性数字处理装置1401被编程或以其他方式被配置为控制本文的系统的成像和图像处理方面。在该实施方案中,数字处理装置1401包括中央处理单元(CPU,本文中也称为“处理器”和“计算机处理器”)1405,所述中央处理单元可以是单核心或多核心处理器,或用于并行处理的多个处理器。数字处理装置1401也包括存储器或存储器位置1410(例如,随机存取存储器、只读存储器、快闪存储器)、电子存储单元1415(例如,硬盘)、用于与一个或多个其他系统通信的通信接口1420(例如,网络配接器、网络接口)、和外围装置,诸如快取存储器、其他存储器、数据存储和/或电子显示配接器。外围装置可包括经由存储接口1470与装置的其余部分通信的存储装置或存储介质1465。存储器1410、存储单元1415、接口1420和外围装置经由通信总线1425(诸如母板)与CPU1405通信。存储单元1415可以是用于存储数据的数据存储单元(或数据存储库)。数字处理装置1401可任选地在通信接口1420的帮助下联接至计算机网络(“网络”)1430。网络1430可以是因特网、互联网和/或外联网、或与因特网通信的内联网和/或外联网。在一些实施方案中,网络1430是电信和/或数据网络。网络1430可包括一个或多个计算机服务器,所述一个或多个计算机服务器可实现分布式计算,诸如云计算。在一些实施方案中,借助于装置1401,网络1430可实施点对点网络,所述点对点网络可使联接至装置1401的装置能够表现为客户端或服务器。
继续参看图14,数字处理装置1401包括用于从使用者接收信息的输入装置1445,所述输入装置经由输入接口1450与所述装置的其他元件通信。数字处理装置1401可包括经由输出接口1460与所述装置的其他元件通信的输出装置1455。
继续参看图14,存储器1410可包括各种部件(例如,机器可读介质),包括但不限于随机存取存储器部件(例如,RAM)(例如,静态RAM“SRAM”、动态RAM“DRAM”等)或只读部件(例如,ROM)。存储器1410也可包括基本输入/输出系统(BIOS),包括有助于诸如在装置启动期间在数字处理装置内的元件之间传送信息的基本例程,所述基本例程可存储于存储器1410中。
继续参看图14,CPU 1405可执行机器可读指令的序列,所述机器可读指令序列可体现于程序或软件中。指令可存储于存储器位置(诸如存储器1410)中。可将指令引导至CPU1405,所述指令随后可对CPU 1405进行编程或以其他方式进行配置以实施本公开的方法。由CPU 1405执行的操作的示例可包括取出、解码、执行和写回。CPU1405可以是电路(诸如集成电路)的部分。装置1401的一个或多个其他部件可包括在所述电路中。在一些实施方案中,所述电路是专用集成电路(ASIC)或现场可编程门阵列(FPGA)、或其他类似电路或阵列。
继续参看图14,存储单元1415可存储文件,诸如驱动程序、程序库和保存的程序。存储单元1415可存储使用者数据,例如,使用者偏好和使用者程序。在一些实施方案中,数字处理装置1401可包括一个或多个额外数据存储单元,所述一个或多个额外数据存储单元在外部,诸如位于经由内联网或因特网来通信的远程服务器上。存储单元1415也可用于存储操作系统、应用程序等。任选地,存储单元1415可与数字处理装置可移除地介接(例如,经由外部端口连接器(未图示))和/或经由存储单元接口。软件可完全地或部分地驻留于在存储单元1415内或外部的计算机可读存储介质内。在另一个示例中,软件可完全地或部分地驻留于处理器1405内。
继续参看图14,数字处理装置1401可经由网络1430与一个或多个远程计算机系统1402通信。例如,装置1401可与使用者的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如,便携式PC)、平板PC(例如,
Figure BDA0004113538720001661
iPad、
Figure BDA0004113538720001662
Galaxy Tab)、电话、智能电话(例如,
Figure BDA0004113538720001663
iPhone、Android允用装置、
Figure BDA0004113538720001664
)或个人数字助理。在一些实施方案中,远程计算机系统被配置用于对使用本文的图像系统获取的图像进行图像和信号处理。在一些实施方案中,本文的成像系统允许在成像系统内的处理器(例如,基于MCU、DSP或FPGA)与远程计算机系统(即,后端服务器)或其他类似信号处理器之间分割图像和信号处理。
继续参看图14,可经由显示器1435向使用者显示信息和数据。显示器经由接口1440连接至总线1425,并且显示器与装置1401的其他元件之间的数据传送可经由接口1440控制。
本文描述的方法可通过存储于数字处理装置1401的电子存储位置上(诸如在存储器1410或电子存储单元1415上)的机器(例如,计算机处理器)可执行程序码来实施。机器可执行或机器可读程序码可提供为软件的形式。在使用期间,所述程序码可由处理器1405执行。在一些实施方案中,可从存储单元1415撷取程序码,并且将程序码存储于存储器1410上以准备好供处理器1405存取。在一些情况下,可去除电子存储单元1415,并且机器可执行指令存储于存储器1410上。
非暂时性计算机可读存储介质
在一些实施方案中,本文公开的平台、系统、介质和方法包括编码有程序的一个或多个非暂时性计算机可读存储介质,所述程序包括可由任选地联网的数字处理装置的操作系统执行的指令。在其他实施方案中,计算机可读存储介质是数字处理装置的有形部件。在其他实施方案中,计算机可读存储介质可任选地从数字处理装置移除。在一些实施方案中,计算机可读存储介质包括,举出非限制性示例,CD-ROM、DVD、快闪存储器装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些实施方案中,程序和指令永久地、基本上永久地、半永久地或非暂时性地编码在所述介质上。
计算机程序
在一些实施方案中,本文公开的平台、系统、介质和方法包括至少一个计算机程序或其使用。计算机程序包括可在数字处理装置的CPU中执行的指令序列,所述指令序列被编写来执行指定任务。计算机可读指令可被实施为执行特定任务或者实施特定抽象数据类型的程序模块,诸如功能、对象、应用程序设计接口(API)、数据结构等。鉴于本文提供的公开内容,本领域的技术人员将认识到计算机程序可用各种语言的各种版本来编写。
计算机可读指令的功能可在各种环境中根据需要进行组合或分配。在一些实施方案中,计算机程序包括一个指令序列。在一些实施方案中,计算机程序包括多个指令序列。在一些实施方案中,从一个位置提供计算机程序。在其他实施方案中,从多个位置提供计算机程序。在各种实施方案中,计算机程序包括一个或多个软件模块。在各种实施方案中,计算机程序部分地或全部地包括一个或多个网络应用程序、一个或多个移动应用程序、一个或多个独立应用程序、一个或多个网络浏览器外挂程序、扩展件、插件、或附加件、或其组合。
软件模块
在一些实施方案中,本文公开的平台、系统、介质和方法包括软件、服务器和/或数据库模块或其使用。鉴于本文提供的公开内容,由本领域的技术人员使用本领域已知的机器、软件和语言来创建软件模块。本文公开的软件模块是以多种方式来实施。在各种实施方案中,软件模块包括文件、程序码片段、编程对象、编程结构或其组合。在其他各种实施方案中,软件模块包括多个文件、多个程序码片段、多个编程对象、多个编程结构或其组合。在各种实施方案中,所述一个或多个软件模块包括,举出非限制性示例,网络应用程序、移动应用程序和独立应用程序。在一些实施方案中,软件模块在一个计算机程序或应用程序中。在其他实施方案中,软件模块在一个以上计算机程序或应用程序中。在一些实施方案中,软件模块托管在一台机器上。在其他实施方案中,软件模块托管在一台以上机器上。在其他实施方案中,软件模块托管在云计算平台上。在一些实施方案中,软件模块托管在一个位置中的一个或多个机器上。在其他实施方案中,软件模块托管在一个以上位置中的一个或多个机器上。
适应症和方法
本文的系统和方法可用于在给定样本(例如器官、器官子结构、组织或样本,无论是体外的还是原位的)中在诊断、成像、健康监测等过程中识别健康或疾病的存在。本文的系统和方法可用于辅助手术和其他医疗程序来治疗上述疾病。
在一些方面中,本文的系统和方法可在施用可检测剂(诸如包括荧光团的治疗或成像剂)之后使用,包括静脉内施用、肌肉内施用、皮下施用、眼内施用、动脉内施用、腹膜施用、瘤内施用、皮内施用或其任何组合。在一些方面中,成像包括组织成像、体外成像、术中成像或其任何组合。在一些实施方案中,样本是在体内样本、原位样本、离体样本或术中样本中。在其他方面中,所述样本是器官、器官子结构、组织、肿瘤或细胞。在一些方面中,样本自发荧光。在一些方面中,样本的自发荧光包括存在于肿瘤或恶性肿瘤中的眼部荧光团、色胺酸或蛋白质。在一些方面中,所述方法用于使血管流动或血管通畅视觉化。
在一些方面中,异常组织、癌症、肿瘤、脉管系统或结构包括血管、淋巴管系统、神经元脉管系统或CNS结构。在一些方面中,成像是血管造影术、动脉造影术、淋巴造影术或胆管造影术。在一些方面中,成像包括检测血管异常、血管畸形、血管病变、器官或器官子结构、癌症或患病区域、组织、结构或细胞。在一些方面中,血管异常、血管畸形或血管病变是动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、硬脊膜动静脉瘘或其组合。在一些方面中,器官或器官子结构是脑、心脏、肺、肾、肝或胰腺。在其他方面中,所述方法还包括对受试者进行手术。在一些方面中,所述手术包括血管成形术、心血管手术、动脉瘤修复、瓣膜置换术、动脉瘤手术、动静脉畸形或海绵状血管畸形、静脉畸形手术、淋巴管畸形手术、毛细血管扩张手术、混合血管畸形手术或脊髓硬脑膜动静脉瘘管手术、修复或搭桥、动脉搭桥、器官移植、整形手术、眼科手术、生殖系统手术、支架插入或更换、斑块消融、去除所述受试者的癌症或患病区域、组织、结构或细胞,或任何其组合。在一些方面中,所述成像包括在手术之后对受试者的血管异常、癌症或患病区域、组织、结构或细胞进行成像。在其他方面中,所述方法还包括治疗受试者体内的癌症。
在一些方面中,所述方法还包括修复颅内CNS血管缺损、脊髓CNS血管缺损;外周血管缺损;去除异常血管化组织;眼部成像和修复;吻合术;重建或整形手术;动脉粥样硬化斑块消融或治疗或再狭窄;诸如神经、肾脏、甲状腺、副甲状腺、肝段或输尿管等重要器官或结构的修复或切除(包括选择性切除)、保留(包括选择性保留);手术期间的识别和管理(有时保留,有时选择性切除);四肢缺血的诊断和治疗;或治疗慢性伤口。在一些方面中,颅内血管缺损和/或所述脊髓血管缺损包括动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、或硬脊膜动静脉瘘或其任何组合。在一些方面中,外围血管缺损包括动脉瘤、冠状动脉旁路、另一条血管旁路、海绵状血管畸形、动静脉畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、硬脊膜动静脉瘘或其任何组合。在一些方面中,异常血管化的组织包括子宫内膜异位症或肿瘤。
例如,荧光血管造影在大脑和脊髓的某些神经手术过程中很有用。诸如血管病变、血管畸形、血管异常、动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张、混合血管畸形或脊髓硬脑膜动静脉瘘等血管缺损的修复,需要对缺损结构进行成像,确认在修复前成功隔离缺损,并且确认修复后的血管已恢复正常的血流和通畅。血管通畅在CNS中尤其重要,以避免因未检测到出血进入这些组织而可能导致的神经损伤或死亡。神经外科显微镜、神经内窥镜、血管内窥镜和机器人手术系统,包括本文所述的系统和方法,皆可在此种情况下使用。切除诸如垂体腺瘤等CNS肿瘤是另一种可应用荧光血管造影术来提高治疗安全性和有效性的环境。到肿瘤的血管流动的视觉化和确认肿瘤已被移除并且没有残留出血均为所述技术的重要用途。
荧光血管造影术、胆道造影术、淋巴造影术等可用于支持各种外科介入。本文所述的系统和方法可用于各种心血管手术,包括动脉瘤修复、瓣膜置换、动静脉畸形、海绵状血管畸形或静脉畸形、淋巴管畸形、毛细血管扩张、混合血管畸形或脊髓硬脑膜动静脉瘘、修复或旁路、动脉旁路等,用于血流和血管通畅的视觉化。本文所述的系统和方法可用于整形外科、创伤外科、重建外科等,用于血管映射和组织灌注的评估。组织灌注在皮瓣重建和胃肠道吻合中特别重要,例如在结肠直肠癌手术或食管切除术后,因为此类手术后的组织缺血可能会导致组织丢失和移植失败或吻合口泄漏。使用本文所述的系统和方法的荧光淋巴造影术可用于证明淋巴管的流动,例如支持重新引导淋巴引流以治疗淋巴水肿。
本文所述的系统和方法可用于在各种手术中视觉化器官或器官段。在部分肝切除术期间,可在动脉内注射染料后对肝段进行成像。可在部分或全部肝移植后评估灌注和胆汁产生。血管造影或胆管造影也支持其他肝胆手术,包括切除肝癌或转移瘤。肾脏与肾上腺之间的对比可使用经由肾脏过滤清理的荧光染料或共轭物来实现。所述程序可帮助区分肾上腺和肾脏,例如避免在去除肾上腺过程中对肾脏造成损害。也可使用这些方法来识别输尿管,以避免在泌尿腹部手术期间对其造成损害。使用这些方法可识别和去除异常血管化的组织,例如子宫内膜异位症或肿瘤。
结合与神经特异性结合的靶向部分,本文所述的荧光成像系统和方法可用于在手术期间视觉化神经以避免损伤。这在高度神经支配区域中的手术期间很重要,特别是在神经损伤可能导致严重发病的情况下。示例包括面神经、内脏神经和海绵体神经。例如,海绵状神经对阴茎和阴蒂的勃起很重要,因此对勃起功能也很重要。此外,血管损伤和疾病会影响血管和血流。例如,海绵体神经受影响或到阴茎的血流量减少会导致勃起功能障碍。此外,阴茎海绵体神经在前列腺癌手术中经常受到损伤。血管重建手术是改善到阴茎的血流量以帮助患有勃起功能障碍(ED)的男性的一种方法。
结合在异常血管组织中特异性结合或积累的靶向部分,本文所述的荧光成像系统和方法可用于识别手术期间的血管异常。例如,海绵状血管瘤是一簇异常血管,通常在大脑和脊髓中发现。其有时被称为海绵状血管瘤、海绵状血管瘤或脑海绵状血管瘤(CCM)。典型的海绵状血管瘤看起来像覆盆子。如果患者出现严重症状,诸如顽固性癫痫发作、进行性神经功能恶化、大脑非能动区域一次严重出血,或能动脑至少有两次严重出血,则通过显微外科切除术或立体定向放射手术治疗海绵状血管瘤。本文的系统和方法可用于检测、成像和治疗海绵状血管瘤、海绵状血管瘤、海绵状血管瘤或脑海绵状血管瘤(CCM),包括经由手术。
类似地,本文的系统和方法可用于检测、成像和治疗动静脉畸形,包括经由手术。动静脉畸形(AVM)是连接动脉和静脉的血管异常缠结,所述异常缠结扰乱了正常的血流和氧气循环。动脉负责将富含氧气的血液从心脏输送到大脑。静脉将缺氧的血液带回肺部和心脏。AVM治疗有时需要综合治疗,包括手术、栓塞和放疗。
眼科脉管系统的破坏是由诸如糖尿病、青光眼或苏萨克综合征等疾病引起的,继发于外伤,或自发地发生。本文所述的系统和方法可用于诊断和治疗靶向和/或监控此类中断。这些中断可包括黄斑水肿、黄斑缺血、与年龄相关的黄斑变性、视网膜撕裂、视网膜变性、视网膜动脉阻塞、视网膜静脉阻塞等。眼部肿瘤的治疗通常需要眼内注射化疗药物,这需要仔细监测以确保准确递送至肿瘤,同时最大限度地减少对眼睛内部或周围正常结构的损害。在一些情况下,可监测化疗药物(诸如拓扑替康)的内源性荧光。在其他情况下,示踪染料可与化学治疗剂一起施用以促进成像。
某些类型的癌症,诸如头颈癌或四肢肉瘤,可使用超选择性动脉内化疗进行治疗。此种方法可改善预后并且保留正常器官功能,但需要精确识别向癌组织供血的血管。本文所述的系统和方法可用于在施用化学疗法之前进行荧光成像和识别合适的动脉。
此类系统可用于血管内成像,用于心血管疾病如动脉粥样硬化的诊断和治疗监测。对诸如管腔尺寸、斑块负荷、重塑、脂质成分、帽盖厚度、新血管生成和炎症等特征的检查用于诊断斑块不稳定性;结合其他技术的荧光成像可改进此等评估。支架置入后,荧光血管造影可用于检测血管再狭窄。
本文描述的系统和方法可用于组织灌注的非侵入性诊断和监测,例如在慢性伤口或四肢/肢端缺血中。
本文描述的系统和方法可用于微血管成像。例如,氧合血红蛋白和脱氧血红蛋白具有连续的双色、双光子吸收性质,所述性质可用作微血管成像中的内源性对比。使用灵敏的调变转移技术,在使用或不使用荧光团或其他可检测化合物进行标记的情况下,本文所述的系统和方法可以以微米分辨率对红血球细胞中的血红蛋白进行成像。
本文所述的系统和方法可使用多光谱图像来识别皮下脉管系统,在近红外光谱中具有改进的对比度,包括涉及浅表血管的红外和近红外成像的检测和方法。
本文所述的系统和方法可用于血管造影术和冠状动脉导管插入术。例如,冠状动脉造影是一种使用成像来查看心脏血管的程序。所述测试通常用于视觉化流向心脏的血流中的任何限制。冠状动脉造影是被称为心脏(心脏)导管插入术的一组通用程序的一部分。心脏导管插入术程序可诊断和治疗心脏和血管疾病。冠状动脉造影可帮助诊断心脏疾病,是最常见的那类心脏导管插入术程序。类似地,本文所述的此类系统和方法可应用于其他脉管系统,包括淋巴、脑脉管系统、器官脉管系统、动脉、毛细血管、静脉等。
本文所述的系统和方法可用于对癌症进行成像和检测,例如用于检测和成像与肿瘤相关的血管生成(即,新血管的形成)。
本文所述的系统和方法可用于诊断、成像和检测血管衍生的肿瘤,并且经由手术来帮助其治疗,并且经由监测改善患者的健康。血管肿瘤可以是良性或恶性的。良性肿瘤形成可识别的血管通道,其中充满了血液或淋巴液。恶性肿瘤通常更加实体和细胞化,没有结构良好的血管通道。类似地,本文所述的此类系统和方法可应用于其他脉管系统,包括淋巴、脑脉管系统、器官脉管系统、动脉、毛细血管、静脉等。示例性血管衍生肿瘤包括内皮细胞肿瘤,包括血管瘤、淋巴管瘤、血管肉瘤,或支撑或围绕血管的细胞,包括血管球瘤或血管外皮细胞瘤。
本文所述的系统和方法可用于诊断、成像、监测和确定心脏手术(包括心脏瓣膜手术)的结果,并且经由手术来治疗,并且经由监测改善患者的健康。
在一些应用中,本文公开的系统和方法可用于在施用或不施用荧光染料或其他荧光剂作为造影剂或显像剂本身的情况下诊断、成像和监测组织中的固有荧光或自发荧光。蛋白质中的固有蛋白质荧光,主要源自色氨酸(λEX~280nm,λEM~350nm)以及其他芳香族氨基酸酪氨酸和苯丙氨酸,可与本文的系统和方法一起使用,例如在无标记
Figure BDA0004113538720001741
共振能量转移(FRET)技术中。例如,在波长和强度方面,色氨酸荧光受其(或蛋白质)局部环境的强烈影响,除了荧光猝灭外,也应用于研究蛋白质构形变化。固定FRET利用色氨酸的固定荧光结合标靶特异性荧光探针分别作为FRET供体和受体,以实时检测天然蛋白质。例如,沿着人眼晶状体光轴测量的荧光强度分布可与年龄相关的核性白内障相关联,表明随着晶状体核仁中光密度的增加,荧光翻译后修饰(PTM)的浓度朝向晶状体中心增加。本文的成像系统和方法可提供PTM的时空信息,而很少会扰动细胞环境。“游离”色氨酸衍生物羟色氨酸(OH-Trp)、N-甲酰基犬尿氨酸(NFK)、犬尿氨酸(Kyn)、羟基犬尿氨酸(OH-Kyn)及其残留物的荧光寿命之间的显著差异可被测量并且用于成像、监测和诊断眼睛疾病。此外,眼底自发荧光(FAF)是一种非侵入性视网膜成像方式,其在临床实践使用以提供视网膜色素上皮细胞中的脂褐质(主要的眼部荧光团)的密度图。本文的成像系统和方法可用于评估、成像、诊断和监测各种视网膜疾病,包括与年龄相关的黄斑变性、黄斑营养不良、色素性视网膜炎、白点综合征、视网膜药物毒性和各种其他视网膜疾病。此外,自发荧光取决于组织中的内源性荧光团,其会发生与恶性转化相关的变化。所述变化(恶性肿瘤)可被检测为光谱轮廓和自发荧光强度的更改。因此,可使用本文所述的系统和方法检测肿瘤的自发荧光,使得本文的系统和方法可用于成像、诊断和监测多种癌症。例如,膀胱癌是自发荧光的示例性癌症。220nm至500nm的荧光激发波长用于诱导组织自发荧光,并且可在280nm至700nm范围内测量发射光谱。将这些光谱相结合以构建二维荧光激发-发射矩阵(EEM)。在正常膀胱组织与肿瘤膀胱组织之间观察到的EEM荧光强度的显著变化表明疾病,最显著的差异是在280nm和330nm的激发波长处。添加显影剂、荧光成像剂或标靶特异性荧光剂可用于进一步举例说明系统和方法在检测、成像、诊断和监测固有组织自发荧光和组织自发荧光的各种应用中的应用。
表2示出了与本文的系统和方法一起使用的适应症和适用的器官脉管系统的示例性实施方案的信息。
表2-系统和方法在血管介入中的使用
Figure BDA0004113538720001751
Figure BDA0004113538720001761
术语和定义
出于比较各个实施方案的目的,描述了这些实施方案的某些方面和优点。不一定所有此类方面或优点皆被任一特定实施方案实现。因此,例如,可以以实现或优化如本文所传授的一个优点或一组优点但不一定实现同样可在本文传授或建议的其他方面或优点的方式来执行各个实施方案。
如本文使用,A和/B包括A或B中的一者或多者,及其组合,诸如A和B。应当理解,尽管本文可使用术语“第一”、“第二”、“第三”等来描述各种元件、部件、区域和/或部分,但这些元件、部件、区域和/或部分不应受这些术语限制。这些术语仅用于将一个元件、部件、区域或部分与另一个元件、部件、区域或部分区分开。因此,下文讨论的第一元件、部件、区域或部分可被称为第二元件、部件、区域或部分,而不脱离本公开的教导。
本文所使用的术语仅出于描述特定实施方案的目的而不旨在限制本公开。如本文所使用,除非上下文另有明确指示,否则单数形式“一个”、“一种”和“所述”旨在也包括复数形式。将进一步理解,术语“包括”和/或“包括了”或者“包含”和/或“包含有”在本说明书中使用时指明存在所陈述的特征、区域、整数、步骤、操作、元件和/或部件,但不排除存在或添加一个或多个其他特征、区域、整数、步骤、操作、元件、部件和/或其群组。
如在本说明书和权利要求书中所使用,除非另有说明,否则术语“约”和“大约”或“基本上”是指取决于实施方案而小于或等于数值的+/-0.1%、+/-1%、+/-2%、+/-3%、+/-4%、+/-5%、+/-6%、+/-7%、+/-8%、+/-9%、+/-10%、+/-11%、+/-12%、+/-14%、+/-15%或者+/-20%的变化。作为非限制性示例,取决于实施方案,约100米表示95米至105米(为100米的+/-5%)、90米至110米(为100米的+/-10%)、或者85米至115米(为100米的+/-15%)的范围。
如本文所使用,“LP”是指长通滤波器。如本领域的技术人员将理解,LP滤波器透射比过渡波长更长的波长并且反射比过渡波长更短的波长范围。
如本文所用,“SP”是指短通滤波器。如本领域的技术人员将理解,SP滤波器透射比过渡波长更短的波长并且反射比过渡波长更长的波长范围。
如本文所使用,“红外”是指红外光谱中的任何光,包括IR-A(约800nm至1400nm)、IR-B(约1400nm至3μm)和IR-C(约3μm至1mm)范围中的光波长,以及从700nm至3000nm的近红外(NIR)光谱。通常,NIR或IR光包括红外光谱中的光,包括约750nm至3000nm的光波长。
如本文所用,“可见”是指通常在人类可见光谱中的任何光,包括约300nm至750nm的光波长。可见也用于描述通常被人眼看到的东西,无论是直接看到的还是经由显微镜或其他光学仪器等仪器看到。
如本文所使用,“同轴”意味着两个或更多个光束路径在适当的公差内基本上彼此重叠或基本上彼此平行。即,用于激发的光锥沿着其延伸的轴线是沿着成像轴线。
如本文所使用,“热镜”,“短通双色滤波器”和“短通双色镜”具有本领域的技术人员将理解的含义。
如本文所使用,本文所使用的“冷镜”、“长通介电滤波器”和“长通双色镜”具有与本领域的技术人员所理解的相同含义。
如本文所使用,本文所使用的“介电滤波器”和“介电镜”可指代相同的物理元件。“介电滤波器”可指用于选择性透射的装置。“介电镜”可指用于选择性反射的装置。
如本文所使用,本文所使用的“滤波器”和“镜”可指代相同的物理元件。
除非另外定义,否则本文所用的所有技术术语具有本发明所属领域的普通技术人员通常理解的相同含义。
虽然本文已示出并且描述了优选实施方案,但是对于本领域的技术人员将显而易见,此类实施方案仅举例提供。在不脱离本公开的范畴的情况下,本领域的技术人员现在将清楚许多变型、改变和替代。应当理解,在实践中可采用本文所述实施方案的各种替代方案。本文描述的实施方案的许多不同组合是可能的,并且此类组合被视为本公开的一部分。另外,结合本文的任何一个实施方案讨论的所有特征可容易地适用于本文的其他实施方案中。希望以下权利要求限定本公开的范畴,并且由此覆盖这些权利要求及其等同物的范畴内的方法和结构。
示例
以下说明性示例代表本文描述的软件应用、系统和方法的实施方案,并且不意味着以任何方式进行限制。
示例1.系统在小儿科脑肿瘤切除术中的使用
所述示例描述了本文公开的成像系统和/或方法在小儿科脑肿瘤的手术切除术期间用于同轴照明和使托珠司肽荧光视觉化。本发明的成像系统用于使用荧光成像来使脑组织成像以便检测癌症。执行手术以便从受试者体内切除癌症。
受试者T613被诊断为后颅窝/脑干中的4级非典型畸胎样横纹肌样瘤(ATRT)。在手术开始前约13.5小时,通过静脉内(IV)快速浓注来给予托珠司肽,托珠司肽是肽荧光团可检测剂(15mg/m2剂量)。成像系统在手术开始前附接至Zeiss Pentero手术显微镜,并且显微镜头和臂以及成像系统和近端成像缆线封装在显微镜制造商的标准无菌盖布中。盖布的盖玻片固定在成像系统的底部窗口孔上。
在暴露出肿瘤后,将成像平台初始化并且持续使用。成像平台使外科医生能够在成像站显示器上单独和一起查看荧光和可见光成像,同时经由手术显微镜的目镜在可见光下查看手术部位。外科医生注意到成像系统不显眼且易于使用,并且其使用不会增加或妨碍手术常规实践。此外,不需要为了查看成像平台的荧光和可见图像而重新定位手术显微镜,因此在手术期间允许经由显微镜的目镜与荧光成像系统一起对手术区域正常成像,如此减少了对手术工作流的破坏。
在肿瘤切除术期间捕获视频,并且捕获暴露的肿瘤的静态图像。在暴露的肿瘤中原位观察托珠司肽荧光。图15A至图15F示出了从肿瘤切除术获取的图像与使用成像系统的肿瘤的近红外(NIR)荧光图像(图15B和图15E),和用白光或可见光光谱照明覆盖的NIR或IR荧光的重叠图像(图15C和图15F)。肿瘤在外科医生看来是NIR或IR荧光图像和重叠图像中的亮蓝绿色块102(在灰度级中显示为亮白色块),而非肿瘤的脑组织在荧光图像中未显现出任何荧光(图15B和图15E)并且在可见图像中看起来正常(图15A和图15D),并且重叠图像看起来比在NIR或IR荧光图像中的肿瘤块更深,从而表明在非肿瘤或正常脑组织中无可辨别的背景荧光。在重叠图像中,正常脑组织呈现红色,如在正常可见光或白光下所呈现的那般,如肿瘤的可见光图像所示(图15C和图15F)。外科医生注意到只有肿瘤组织会出现荧光。外科医生也注意到在正常可见光下,“将肿瘤与正常组织区分开来有些困难”,但在使用成像系统的NIR或IR荧光的情况下,“肿瘤与正常组织荧光之间能非常明确地区分开”。通过组织病理学演示了荧光组织样本并且证实它们是活肿瘤。
该情况表明,成像系统可在术中环境中连续使用,以便捕获可见光和NIR或IR荧光的图像和视频,而不会破坏正常的手术流程。数据进一步表明,同轴照明和成像系统使得外科医生能够在手术期间视觉化并且精确地定位肿瘤组织中的荧光,并且使用所述信息来在切除术期间移除肿瘤组织。
示例2.产生重叠图像的示例-形成第一和第二重叠图像的第一示例
在所述示例中,根据下表2提供形成重叠图像的方法,其中初步量(N+1)是3,其中N=2且其中V=0
Figure BDA0004113538720001801
表2
通过减去前一个可见帧(VIS1)来校正NIR或IR帧(NIR1、NIR2、NIR3)以得到以下经校正NIR或IR帧:NIR1-VIS1;NIR2-VIS1;和NIR3-VIS1。在N=2时,第一NIR或IR图像由前3个经校正NIR或IR帧的总和产生,第一NIR或IR图像=(NIR1-VIS1)+(NIR2-VIS1)+(NIR3-VIS1)。在V=0时,第一VIS图像等于VIS1。此后,将第一NIR图像与第一VIS图像重叠。
为了形成第二重叠图像,通过减去作为校正帧的VIS2帧来校正NIR4、NIR5和NIR6帧,其中第二NIR或IR图像=(NIR4-VIS2)+(NIR5-VIS2)+(NIR6-VIS2)。第二VIS图像是VIS2,此后将第二NIR或IR图像与第二VIS图像重叠以形成第二重叠图像。此示例示出了通过减去来自同一序列的VIS帧来校正所述序列中的NIR或IR帧。
应当理解,本文描述的序列是在整个成像过程中以连续体获得。也应理解,序列中的第一帧可以是NIR帧或VIS帧,并且通过应用这些概念,一个或多个VIS帧可以按任何顺序出现在序列中。在图30至图37中举例说明并且在此处描述其他方面。
示例3.产生重叠图像的示例-形成第一和第二重叠图像的第二示例
在所述示例中,根据下表3提供形成重叠图像的方法,其中初步量(N+1)是2,其中N=1且其中V=1。
Figure BDA0004113538720001811
表3
通过减去来自下一个序列的后续可见帧(VIS2)来校正NIR或IR帧(NIR1、NIR2)以得到以下经校正NIR或IR帧:NIR1-VIS2;NIR2-VIS2。在N=1时,第一NIR或IR图像由前2个经校正NIR或IR帧的总和产生,第一NIR或IR图像=(NIR1-VIS2)+(NIR2-VIS2)。在V=1时,第一VIS图像等于VIS1+VIS2。此后,将第一NIR或IR图像与第一VIS图像重叠。
为了形成第二重叠图像,通过减去来自后一个序列的可见帧(VIS3)来校正NIR或IR帧(NIR3、NIR4),其中第二NIR或IR图像=(NIR3-VIS3)+(NIR4-VIS3)。通过将VIS2与VIS3相加而形成第二VIS图像,此后将第二NIR或IR图像与第二VIS图像重叠以形成第二重叠图像。此示例示出了通过减去来自后一个序列的VIS帧来校正序列中的NIR或IR帧。应当理解,本文描述的序列是在整个成像过程中以连续体获得。也应理解,序列中的第一帧可以是NIR帧或VIS帧,并且通过应用这些概念,一个或多个VIS帧可以按任何顺序出现在序列中。在图30至图37中举例说明并且在此处描述其他方面。
示例4.形成重叠图像的示例-形成第一和第二重叠图像的第三示例
在所述示例中,根据下表3提供形成重叠图像的方法,其中初步量是2,其中N=2且其中V=2。
Figure BDA0004113538720001821
表3
通过减去最近的校正VIS帧来校正NIR或IR帧(NIR1、NIR2、NIR3)以得到以下经校正NIR或IR帧:NIR1-VIS1;NIR2-VIS2;和NIR3-VIS2。在N=2时,第一NIR或IR图像由前3个经校正NIR或IR帧的总和产生,第一NIR或IR图像=(NIR1-VIS1)+(NIR2-VIS2)+(NIR3-VIS2)。在V=2时,第一VIS图像等于VIS1+VIS2。此后,将第一NIR或IR图像与第一VIS图像重叠。此示例示出了通过减去为给定NIR或IR帧的时间上最靠近或最接近的邻居的VIS帧来校正NIR或IR帧。应当理解,为所述NIR或IR帧的时间上最靠近或最接近的邻居的被减去的VIS帧可以是被减去的VIS帧所来自的、所述NIR或IR帧的前一个、当前(即,同一个)或后一个(即,将来)序列。
应当理解,本文描述的序列是在整个成像过程中以连续体获得。也应理解,序列中的第一帧可以是NIR帧或VIS帧,并且通过应用这些概念,一个或多个VIS帧可以按任何顺序出现在序列中。在图30至图37中举例说明并且在此处描述其他方面。
示例5.系统在CNS血管缺损修复中用于进行血管造影本示例描述了使用本文的成像系统和方法对受试者的血管缺陷(例如动静脉畸形、海绵状血管畸形、颅内动脉瘤)进行成像、检测、监测、诊断或治疗,包括任何显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。将剂施用于受试者。受试者是人或动物并且具有血管缺陷。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。然后使用成像系统结合神经手术显微镜、神经内窥镜、血管内窥镜或作为开放式成像系统使剂视觉化。由外科医生选择适当的成像系统,并且所述选择取决于血管缺损的大小和位置以及手术方法。外科医生暴露缺陷,并且成像系统被初始化且连续使用。成像系统使得外科医生能够利用手术显微镜或其他成像系统一起并且同时观察荧光和可见成像。不需要为了观察荧光和可见图像而重新定位手术显微镜或其他成像系统,因此在手术期间利用荧光成像系统一起提供对手术区域的成像,如此减少了对手术工作流程的破坏。如本文所述,可使用其他显影剂或成像剂。
示例6.系统在血液或淋巴和动脉造影中用于进行血管造影
该示例描述了本文公开的成像系统和/或方法在受试者体内用于同轴照明和血液或淋巴的视觉化。本发明的成像系统用于对血管或淋巴管成像,以对疾病进行成像、监测、诊断或指导治疗。进行手术以去除或绕过闭塞、修复血管缺陷、提供进入循环系统的淋巴引流以治疗淋巴水肿,或从受试者去除癌症或其他异常组织,诸如子宫内膜异位症。向受试者施用造影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且具有需要移除或绕过的闭塞,或者需要移除的肿瘤或其他异常组织。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内、皮内或经由肿瘤内注射。在施用后,剂靶向血管组织及其细胞、淋巴组织及其细胞、肿瘤或其他异常脉管系统,或选择性地保留在血液或淋巴中。随后使用成像系统结合神经手术显微镜、神经内窥镜、血管内窥镜、内窥镜、胸腔镜、窥镜、机器人手术系统、其他手术显微镜或作为开放式成像系统使剂视觉化。由外科医生选择适当的成像系统,并且所述选择取决于手术方法。外科医生暴露闭塞、癌症或其他组织,并且成像系统被初始化且连续使用。成像系统使得外科医生能够利用手术显微镜或其他成像系统一起并且同时观察荧光和可见成像。不需要为了观察荧光和可见图像而重新定位手术显微镜或其他成像系统,因此在手术期间利用荧光成像系统一起提供对手术区域的成像,如此减少了对手术工作流程的破坏。如本文所述,可使用其他显影剂或成像剂。
示例7.系统在眼睛中用于血管造影
该示例描述了使用本文的成像系统和方法对受试者的眼结构的疾病、损伤或畸形(例如糖尿病性黄斑水肿、糖尿病性黄斑缺血、糖尿病性视网膜病变、黄斑变性、视网膜动脉闭塞、视网膜静脉闭塞、苏萨克综合症、青光眼、视网膜脱落)进行成像、检测、监测、诊断或治疗,包括任何显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。将剂施用于受试者。受试者是人或动物,并且患有眼结构的疾病、损伤或畸形。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内、眼内、局部或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。然后使用成像系统结合检眼镜、视网膜或眼底照相机系统、光学相干断层扫描(OCT)系统、手术显微镜或其他眼科成像系统使剂视觉化。脉络膜的眼科血管造影可类似地利用本文公开的成像系统和/或方法。成像系统使得手术者能够利用手术显微镜或其他成像系统一起并且同时观察荧光和可见成像。不需要为了观察荧光和可见图像而重新定位手术显微镜或其他成像系统,因此提供对眼结构的彩色成像与荧光成像,如此减少了对手术或诊断工作流程的破坏。如本文所述,可使用其他显影剂或成像剂。
示例8.系统在手术中用于灌注成像
该示例描述了本文公开的成像系统和/或方法在受试者体内用于同轴照明和组织灌注的视觉化。本发明的成像系统用于在需要足够灌注以促进连接组织愈合的手术(例如吻合术、重建手术或整形手术)期间对组织中的血流进行成像。向受试者施用造影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且患有诸如闭塞、癌症或外伤的病症。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液或淋巴内。随后使用成像系统结合神经手术显微镜、神经内窥镜、血管内窥镜、内窥镜、胸腔镜、窥镜、机器人手术系统、其他手术显微镜或作为开放式成像系统使剂视觉化。由外科医生选择适当的成像系统,并且所述选择取决于手术方法。外科医生暴露闭塞、癌症或其他组织,并且成像系统被初始化且连续使用。成像系统使得外科医生能够利用手术显微镜或其他成像系统一起并且同时观察荧光和可见成像。不需要为了观察荧光和可见图像而重新定位手术显微镜或其他成像系统,因此在手术期间利用荧光成像系统一起提供对手术区域的成像,如此减少了对手术工作流程的破坏。如本文所述,可使用其他显影剂或成像剂。
示例9.使用系统检测动脉粥样硬化中的斑块不稳定性和再狭窄
该示例描述了本文公开的成像系统和/或方法在受试者体内用于同轴照明和动脉粥样硬化斑块和再狭窄的视觉化。本发明的成像系统用于对血管内的动脉粥样硬化斑块成像以评估其稳定性,并且对通过支架血管的血流成像以诊断再狭窄。向受试者施用造影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且患有动脉粥样硬化。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合血管内内窥镜、神经内窥镜、血管内窥镜、内窥镜、胸腔镜、窥镜、机器人手术系统、其他手术显微镜或作为开放式成像系统使剂视觉化。由外科医生选择适当的成像系统,并且所述选择取决于手术或诊断方法。外科医生暴露斑块、支架或其他组织,并且成像系统被初始化且连续使用。成像系统使得外科医生能够利用手术显微镜或其他成像系统一起并且同时观察荧光和可见成像。不需要为了观察荧光和可见图像而重新定位手术显微镜或其他成像系统,因此在手术期间利用荧光成像系统一起提供对手术区域的成像,如此减少了对手术工作流程的破坏。如本文所述,可使用其他显影剂或成像剂。
示例10.使用系统来对重要器官或结构成像
该示例描述了使用本文公开的成像系统和/或方法来在手术期间对受试者体内的重要器官或结构成像。本发明的成像系统用于对重要器官或结构(例如,肾脏、输尿管、甲状腺、肝脏或肝脏段、神经)与其他周围组织之间的对比度进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)、亚甲蓝或荧光素。受试者是人或动物并且患有需要在重要器官或结构附近进行手术干预的疾病或病症。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内、皮内或通过肿瘤内注射。在施用后,剂靶向血管组织及其细胞、重要器官组织及其细胞(例如神经),或选择性地保留在血液中。随后使用成像系统结合腹腔镜、血管内窥镜、内窥镜、胸腔镜、窥镜、机器人手术系统、其他手术显微镜或作为开放式成像系统使剂视觉化。由外科医生选择适当的成像系统,并且所述选择取决于手术或诊断方法。外科医生暴露感兴趣的区域,并且成像系统被初始化且连续使用。显影是由于到器官或组织的不同血流(例如,肾脏与肾上腺对比,甲状腺与副甲状腺对比,或选择性注射到对所述段供血的动脉后的肝段),由于去除通路(例如,在施用染料或与肾清理轭合之后的输尿管或肾脏),或由于选择性靶向器官或结构(例如,使用靶向神经鞘上发现的蛋白质的肽)。成像系统使得外科医生能够利用手术显微镜或其他成像系统一起并且同时观察荧光和可见成像。显影使外科医生能够避免伤害正常组织,并且在适当时选择性地切除器官、器官段或其他组织。不需要为了观察荧光和可见图像而重新定位手术显微镜或其他成像系统,因此在手术期间利用荧光成像系统一起提供对手术区域的成像,如此减少了对手术工作流程的破坏。如本文所述,可使用其他显影剂或成像剂。
示例11.使用系统来诊断缺血
该示例描述了使用本文公开的成像系统和/或方法来对组织缺血进行成像和诊断。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的吲哚菁绿(ICG)或荧光素。受试者是人或动物并且具有慢性伤口或疑似缺血(例如在四肢或肢体)。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。缺少来自感兴趣的组织的荧光信号表明血流减少或缺少,和缺血。如本文所述,可使用其他显影剂或成像剂。
示例12.系统在静脉造影期间的使用
该示例描述了使用本文公开的成像系统和/或方法来对静脉成像和诊断深层静脉栓塞(DVT)或其他静脉异常。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且具有慢性伤口或疑似缺血(例如在四肢或肢体)。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。来自感兴趣的组织的荧光信号的缺少、阻塞或出血表明血流减少或缺少,和DVT或其他静脉异常。如本文所述,可使用其他显影剂或成像剂。
示例13.使用系统来监测脑血管流量
该示例描述了使用本文公开的成像系统和/或方法来对脑中的血管变窄(狭窄)、凝块形成(血栓形成)、阻塞(栓塞)或血管破裂(出血)进行成像和诊断。缺乏足够的血流(缺血)会影响脑组织并且可能导致中风。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且具有慢性伤口或疑似缺血(例如在四肢或肢体)。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。来自感兴趣的组织的荧光信号的缺少、阻塞或出血表明血流减少或缺少,和出血。如本文所述,可使用其他显影剂或成像剂。
示例14.使用系统对到肿瘤的血管流量进行成像和监测
该示例描述了使用本文公开的成像系统和/或方法来对肿瘤血管进行成像以监测、诊断和治疗肿瘤。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用造影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且具有慢性伤口或疑似缺血(例如在四肢或肢体)。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。来自感兴趣的组织的增强和异常荧光信号的存在表明血管生成,或血管生长刺激表明肿瘤。如本文所述,可使用其他显影剂或成像剂。
示例15.使用系统来进行冠状动脉造影、血管造影和心导管插入术
在冠状动脉造影期间,经由导管或其他方式将显影或成像染料注入受试者动脉中。使用本文中的系统和方法,经由受试者的心脏监测血流。该测试也称为心脏血管造影、导管动脉造影或心导管插入术。该示例描述了使用本文公开的成像系统和/或方法来对心脏脉管系统进行成像。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且已知或怀疑患有冠状动脉疾病。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。来自感兴趣的组织的荧光信号的缺少、阻塞或出血表明血流减少或缺少,和出血。导管插入术、血管成形术、斑块消融、支架插入或置换或其他治疗可伴随成像。如本文所述,可使用其他显影剂或成像剂。
类似地,在冠状动脉造影期间,显影或成像染料被注入心脏血管中。使用本文中的系统和方法,经由受试者的心脏监测血流。所述系统用于拍摄一系列图像(血管造影照片),以视觉化心血管系统和向心脏供血的血管。在使用所述方法对血管进行成像和监测的同时,可在冠状动脉造影期间打开(血管成形术)堵塞的心脏动脉。冠状动脉计算机断层摄影血管造影术(CCTA)也可类似地使用。
示例16.使用系统来对中风、冠状动脉疾病或充血性心力衰竭进行成像和监测
该示例描述了使用本文公开的成像系统和/或方法来对中风、冠状动脉疾病或充血性心力衰竭进行成像和诊断,或在心动描记法中使用。缺乏足够的血流(缺血)会影响脑组织并且可能导致中风。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且具有慢性伤口或疑似缺血(例如在四肢或肢体)。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。来自感兴趣的组织的荧光信号的缺少、阻塞或出血表明血流减少或缺少,并且缺血表明中风、管状动脉疾病或充血性心力衰竭。如本文所述,可使用其他显影剂或成像剂。
示例17.在动脉瘤、动静脉畸形或海绵状血管畸形、切除术期间使用系统
该示例描述了使用本文公开的成像系统和/或方法来在小儿科患者的动静脉畸形或海绵状血管畸形的手术切除期间用于同轴照明和对托珠司肽荧光的视觉化。本发明的成像系统用于使用荧光成像对脑组织进行成像以检测异常脉管系统。进行手术以从受试者移除异常。
有嗅觉缺失病史的儿科受试者在MRI上被发现在右侧中间额回中有3.5cm T1低信号、T2/FLAIR低信号质量伴中央强化结节,术前初步诊断为低级别胶质瘤。受试者没有任何神经外科病史。在手术和图像采集前约5-6小时,患者经由静脉注射接受了22mg托珠司肽。在手术开始之前,将成像头连同两个目镜附接至Zeiss Pentero手术显微镜。
在暴露出病变后,将成像系统初始化且持续使用。成像系统使得外科医生能够利用手术显微镜一起并且同时观察荧光和可见成像。经由右额开颅进行显微手术切除。异常组织呈深蓝色桑椹外观,与托珠司肽一起强烈地发出荧光。周围组织未显示出荧光。将异常组织完全切除。患者康复,无缺损。病理证实没有肿瘤。病理数据表明异常是血管性的,并且证明在脑非肿瘤病变中检测到托珠司肽荧光。虽然ICG单独在注射后立即短暂点亮血管,但托珠司肽荧光取决于病理组织的结合和摄取,并且可在注射后长达30小时突出显示病变组织。
在切除术的持续时间内捕获视频,并且捕获暴露的病变的静态图像。在暴露的血管病变中原位观察到托珠司肽荧光。图29A-I示出了使用成像系统从血管病变摄取的图像和血管病变的近红外(NIR)荧光图像。血管异常在外科医生看来是NIR或IR荧光图像和重叠图像中的亮绿色块(标为“VL”的箭头)(在灰度级中显示为亮白色块),而正常的脑组织(标为“NB”)和血管系统(标为“BV”)在NIR或IR荧光图像中看起来比血管病变更深,从而表明在非病变或正常脑组织中或在正常血管系统中没有可辨别的背景荧光。在重叠图像中,正常脑组织和正常血管呈现粉红色或淡褐色至红色,如在正常可见光或白光下所呈现的那般。外科医生注意到只有异常血管组织会出现荧光。通过组织病理学演示了荧光组织样本并且证实其为非致癌性且为血管性的。
图29A至图29I示出了在对患者体内的血管病变进行手术期间原位或术中组织的代表性图像,其中向人类受试者施用22mg托珠司肽。图29D示出原位标本的近红外(NIR)图像。对应于NIR或IR图像中的较光和较亮区域的荧光信号指示血管病变中托珠司肽的存在。标出的箭头指示正常血管(“BV”)和正常脑组织(“NB”)的非荧光区域。相反地,对应于NIR或IR图像中的较光和较亮区域的荧光信号指示托珠司肽存在于异常血管病变(“VL”)上而非存在于正常组织中。图29E示出与图29D对应的白光图像,所述白光图像表示外科医生在无荧光引导下通常将会看到的东西。箭头标记如图29E中的NIR或IR图像中所示的相同位置。血管病变(“VL”)具有与所述图像中的正常血管“BL”类似的外观。图29F示出图29E和图29D的NIR或IR荧光和白光复合图像,其中箭头标记如图29E和图29D中所示的相同位置。血管病变(“VL”)中的荧光清楚地将其与周围的正常组织(包括正常血管(“BL”)区分开来。图29G示出在手术期间血管病变的近红外(NIR)图像。箭头指示血管病变(标为“VL”)和相邻的正常大脑(标为“NB”),所述正常大脑是非荧光的。图29H示出与图29G对应的白光图像。虽然正常大脑具有浅棕褐色至粉红色(灰度图像中的浅灰色),但它充满了正常血管,由于没有荧光,所述正常血管可与血管病变区分开来。图29I示出图29G和图29H中所示的复合白光和NIR或IR图像。
通过组织病理学演示了荧光组织样本并且证实其为非致癌性且为血管性的。病理学并未表明癌症或肿瘤异常,而是证实了不表明癌症的血管异常。对两个标本进行术中病理检查。一个显示扩张的血管最符合血管畸形,另一个是正常的脑实质,无证据表明有肿瘤。对19个切除标本进行术后病理检查,编号注释供参考,如下表3所示。
表3–病理标本
Figure BDA0004113538720001921
Figure BDA0004113538720001931
考虑检查具有大量血管成分的标本。在标本8中,血管未被神经纤维网分开。在标本3、4和5中,神经纤维网介入血管之间,表明血管畸形的整体诊断。
该情况表明,成像系统可在术中环境中连续使用,以便捕获白光和NIR或IR荧光的图像和视频,而不会破坏正常的手术流程。数据进一步表明,同轴照明和成像系统使得外科医生能够在手术期间视觉化并且精确地定位非肿瘤病理中的荧光,并且使用该信息来在切除术期间移除异常血管组织。本文的系统和方法可用于检测、成像和治疗海绵状血管畸形、海绵状血管瘤、海绵状血管瘤或脑海绵状血管畸形(CCM)和动静脉畸形,包括经由手术。
示例18.使用系统对导致器官衰竭或损伤的静脉或动脉闭塞进行成像和监测
该示例描述了使用本文公开的成像系统和/或方法来对动脉或静脉的闭塞进行成像和诊断或检测多种器官系统(包括脑、心脏、肺、肾、肝脏、胰腺或四肢(例如腿、颈部和手臂))中的出血或栓塞。缺乏足够的血流(缺血)会影响组织并且可能导致器官损伤或器官衰竭、出血性中风等。本发明的成像系统用于对受试者体内的血流进行成像。向受试者施用显影剂或成像剂,包括单独的或与肽或活性剂结合的靛青绿(ICG)或荧光素。受试者是人或动物并且具有慢性伤口或疑似缺血(例如在四肢或肢体)。施用是静脉内、皮下、鼻内、口服、腹膜内、肌肉内或皮内。在施用后,剂靶向血管组织及其细胞或选择性地保留在血液中。随后使用成像系统结合手术显微镜、其他成像系统或作为开放式成像系统使剂视觉化。来自感兴趣的组织的荧光信号的缺少、阻塞或出血表明血流减少或缺少,并且缺血表明器官损伤或器官衰竭、出血性中风等。如本文所述,可使用其他显影剂或成像剂。
示例19.NIR或IR和VIS采集
如图30所示,在一个激光周期期间获得的NIR或IR和VIS图像被称为“序列”,其中每一序列包括至少一个VIS_DRK帧和一个NIR或IR帧。在一些实施方案中,原始NIR或IR帧包括来自标靶的可见光反射、来自环境的环境NIR或IR和来自标靶荧光团的荧光,其中VIS_DRK帧包括来自标靶的可见光反射和来自环境的环境NIR或IR和由环境光激发的任何NIR或IR荧光。在每一序列中,NIR或IR帧的数量与VIS_DRK帧的数量之间的比率被定义为NIR-比率:VIS比率。在图30中所示的示例中,NIR-比率:VIS比率=2。在一些示例中,VIS_DRK帧的曝光时间等于NIR或IR帧的曝光时间。在一些示例中,VIS_DRK帧的曝光时间(DRK-exp)不等于NIR或IR帧的曝光时间(NIRexp)。在某些情况下,NIRexp与DRK-exp的比率是大于1的整数。在其他情况下,NIRexp与DRK-exp的比率是大于1的分数。
示例20.NIR校正
从原始NIR或IR帧减去VIS_DRK帧得到仅含有来自荧光团的荧光的图像。如果NIRexp与DRKexp之间的曝光比(EXP_RATIONIR-DRK)不是一,则经暗校正的NIR帧(NIR*)等于NIR或IR帧减去VIS_DRK帧乘以曝光比(EXP_RATIONIR-DRK)。(EXP_RATIONIR-DRK)可以是标量或非标量。EXP_RATIONIR-DRK可以是将VIS_DRK帧曝光映射至NIR或IR帧曝光的映射或任何其他函数。如本文进一步描述的,以下公式也描述了该关系:NIR*=NIR–(DRK* x EXP_RATIONIR-DRK)。重叠图像(OVL)是VIS图像与NIR*图像的总和。
当序列中的NIR或IR帧与VIS_DRK帧的比率大于1(RATIOnir-vis>1)时,有VIS_DRK帧的若干替代例来用于进行减法以产生经暗校正的NIR帧(NIR*)。如图31所示,可使用同一序列中的VIS_DRK帧。另选地,可使用后一个序列中的VIS_DRK帧。另选地,如图32和图33所示,可使用在时间上最接近于给定NIR帧的VIS_DRK帧,无论它是在同一个、前一个还是后一个序列中。相对于减去在时间上离给定NIR帧较远的VIS_DRK帧的方法,选择在时间上最接近于给定NIR帧的VIS_DRK帧减少与减法相关的运动伪影。应当理解,减去在时间上最接近于给定NIR帧的VIS_DRK帧,不管它是在前一个、当前(即,同一个)还是后一个(即,将来)序列中,提供减少或最小化或校正与减法相关的运动伪影的优点。
示例21.将NIR或IR和VIS帧加总
当采集序列在所述序列中具有一个以上VIS_DRK和/或NIR*帧时,将多个帧加总以提高灵敏度。从原始NIR帧减去VIS_DRK帧(即,用于该目的的“DRK”)得到仅含有来自荧光团的荧光的图像。此图像称为经暗校正的NIR图像(NIR*)。示例性采集序列利用大于1的NIR:VIS_DRK比率以允许将NIR数据加总,从而提高对NIR荧光信号的灵敏度。在这些情况中,某些VIS_DRK帧用于NIR暗校正。在最简单的模型中,VIS_DRK帧来自同一个采集序列。如图32所示,使用最近邻方法,NIR-VIS比率是2,其中对于每一序列,将两个NIR或IR帧与原始或初步NIR帧相加,并且将1个VIS_DRK帧与原始或初步VIS_DRK帧相加。因此,每一经暗校正的NIR帧的有效曝光量等于两个原始NIR帧的有效曝光量(例如,NIR*12=NIR*1+NIR*2)。
如图32所示,NIR:VIS_DRK比率是2,其中对于用于产生图像的每一VIS_DRK帧,将2个经校正NIR或IR帧相加。因此,NIR*图像的有效曝光量是NIRexp的两倍,并且有效VIS曝光量是VISexp。
如图33所示,可对后续的显示图像重复图像计算,其中显示更新频率将是序列频率的一半,需要两个序列来将所有NIR和VIS图像累加。
在一些实施方案中,形成图像所需的NIR或IR帧或VIS_DRK帧的数量可大于序列中可用的数量。在这些情况中,可获取帧,直到获得所需计数的帧为止。随后,可使用本文先前描述的技术来产生用于显示的图像。由于该种方法需要一个以上序列来获取所有帧以产生图像,因此图像显示的频率不及序列获取的频率。为了防止显示频率降低,如图34中举例说明,使用‘方箱函数’累加器来将由超过所述序列中的数量的一定数量的帧组成的图像相加。如图所示,显示帧速率与序列速率相同,其中第一个显示的NIR图像中的四个NIR图像(NIR*1-4)是从NIR*1至NIR*4累加。在该图像之后,将另两个NIR帧(NIR*56)添加至方箱函数累加器,从而将前两个NIR帧(NIR*12)推出。如此允许每一序列显示为4个原始帧的和的新NIR帧,与每隔一个序列相反。使用相同的方法更新所显示的VIS图像,即两个原始VIS_DRK帧的和。因此,在该实施方案中,每一序列产生用于显示的图像,尽管产生所述图像所需的帧数量超过单个序列中可用的计数。如果未使用本文所述和图34所示的方箱函数累加方法,则仅在获取所需的NIR或IR或VIS_DRK帧所需的序列数量之后产生用于显示的图像,从而导致较慢的显示速率。
示例22.产生经校正NIR图像的额外方法
在图35和图36中示出产生经校正NIR图像的另一个示例。在该示例中,在序列内可存在若干NIR帧,使得每一序列中的NIR帧与VIS_DRK帧的比率大于或等于3。在该示例中:“N”是指VIS_DRK帧之间的NIR帧的数量(即,激光开/关序列中的NIR帧的数量);“V”是所获得的VIS_DRK帧的数量;并且“DIV”是指用于识别所述序列内的全部NIR帧的大致相等分布的整数除法函数。
如图35中所示,N是偶数,使得可将相等数量的NIR帧分类或识别为在时间上接近于每一VIS_DRK帧。在该示例中,可获得偶数个经校正NIR图像(NIR*)。第一VIS_DRK帧“VIS_DRK(V)”是从时间上较接近于VIS_DRK(V)的每一NIR帧减去。如图所示,这些帧包括NIR帧(1)至(N/2-1)。同样地,第二VIS_DRK帧“VIS_DRK(V+1)”是从时间上较接近于VIS_DRK(V+1)的每一NIR帧减去。如图所示,这包括NIR帧(N/2+1)至(N)。可任选地进一步处理所得的经校正图像NIR*以进一步减少或消除运动伪影(如果存在)。
另选地,如图36所示,N是奇数,使得相同数量的NIR帧可被分类或被识别为在时间上较接近于每一VIS_DRK帧,并且可使用任一个VIS_DRK帧来校正额外NIR帧。在该示例中,可获得奇数个经校正NIR图像(NIR*)。第一VIS_DRK帧“VIS_DRK(V)”是从时间上较接近于VIS_DRK(V)的每一NIR帧减去。如图所示,这些帧包括NIR帧(1)至(N/2)。同样地,第二VIS_DRK帧“VIS_DRK(V+1)”是从时间上较接近于VIS_DRK(V+1)的每一NIR帧减去。这些帧包括,如图所示,这包括NIR帧(N/2+2)至(N)。可使用VIS_DRK(V)或VIS_DRK(V+1)中的一者或两者来处理其余NIR帧NIR(N/2+1)。可任选地进一步处理所得的经校正图像NIR*以进一步减少或消除运动伪影(如果存在)。
示例23.多光谱相机
一些相机的像素同时对可见波长和NIR或IR波长成像。例如,此类像素传感器具有四个像素的阵列,例如,其中每一像素检测VIS-NIR光谱的不同部分(例如红色、绿色、蓝色和NIR或IR波长),而可见图像是由四个像素中的每一者的输出产生。因此,对于每一帧,相机捕获VIS帧和NIR或IR帧。在场景A中,VIS或NIR帧的帧曝光时间均不饱和,并且其中如果VIS和NIR图像饱和,则曝光时间减少,直至它们变为未饱和为止。然而,如果仅一个帧(VIS或NIR)饱和,则使用场景B,其中饱和帧的帧曝光时间减少,使得没有一个帧饱和。如图37所示,VIS帧饱和,但NIR帧不饱和。因此,减少帧曝光,直到VIS帧变为不饱和为止。因此,为了维持NIR灵敏度,将来自若干帧的NIR数据相加以产生NIR图像。如图所示,可见图像是第一帧(VIS NIR1.1)的VIS分量,并且NIR图像是若干帧(例如,1.1、1.2…1.n)的NIR分量的和。可通过将更少/更多的NIR帧相加来调整NIR灵敏度。然而,由于激光在此类场景中持续打开,因此无法从NIR图像减去环境NIR。
为了消除环境NIR,例如如图38所示,对激光进行调制以产生VIS_DRK帧,其中在一个(或多个)帧内关闭激光。该(等)帧的NIR分量仅含有环境NIR信号和通过环境光激发的任何荧光。可使用任何暗校正方案(例如,序列、最近邻)来计算经暗校正的NIR帧(NIR*)。可将多个NIR*帧相加以实现所需的NIR灵敏度。类似地,可将多个帧的VIS分量相加以实现所要的VIS图像灵敏度。
虽然本文已示出并且描述了本公开的优选实施方案,但对于本领域的技术人员将显而易见,此类实施方案仅举例提供。在不脱离本公开的情况下,本领域的技术人员现在将清楚许多变型、改变和替代。应当理解,可在实践本公开时采用本文描述的本公开的实施方案的各种替代方案。
虽然在前述描述中提供了某些实施方案和示例,但创造性的主题超出具体公开的实施方案而扩展到其他替代实施方案和/或用途,并且扩展到其修改和等效物。因此,所附权利要求的范围不受以下描述的任何特定实施方案的限制。例如,在本文公开的任何方法或过程中,所述方法或过程的动作或操作可以按任何适合的顺序执行且不一定限于任何具体公开的顺序。可以以有助于理解某些实施方案的方式依次将各种操作描述为多个离散操作;然而,描述次序不应被理解为暗示这些操作是次序相关的。另外地,本文描述的结构、系统和/或装置可实施为集成部件或单独部件。

Claims (252)

1.一种用于对发射光进行成像的成像系统,所述系统包括:
(a)激发通道,所述激发通道用于接收激发光;
(b)激发扩散器,所述激发扩散器使所述激发光扩散;
(c)可见通道,所述可见通道用于接收可见光并且将所述可见光引导至样本;
(d)光学装置,所述光学装置将所述扩散的激发光引导至所述样本并且允许所述发射光和反射可见光从中传递到成像组件;并且
(e)所述成像组件包括:
(i)第一陷波滤波器;
(ii)透镜;以及
(iii)图像传感器,所述图像传感器被配置为检测来自所述样本的所述发射光和所述反射可见光并且被配置为基于所述发射光和所述反射可见光来产生图像帧。
2.如权利要求1所述的系统,所述系统还包括长通滤波器或第二陷波滤波器,或长通滤波器和第二陷波滤波器。
3.如权利要求1或2所述的系统,其中所述发射光和所述反射可见光从所述样本被引导通过陷波分束器、所述第一陷波滤波器、所述长通滤波器、所述透镜或所述第二陷波滤波器、或前述各者中的一者或多者的组合。
4.如权利要求3所述的系统,其中所述发射光和所述反射可见光从所述样本被引导通过所述陷波分束器、所述第一陷波滤波器、所述长通滤波器、所述透镜、和所述第二陷波滤波器或前述各者的任何组合。
5.如权利要求1至4中任一项所述的系统,其中所述激发光具有如下的波长:约650nm至约1000nm、700nm至约800nm、约800nm至约950nm、约775nm至约795nm、或约785nm、或前述各者的任何组合。
6.如权利要求1至5中任一项所述的系统,其中所述发射光是由荧光团发射。
7.如权利要求1至6中任一项所述的系统,其中荧光团是在所述样本内。
8.如权利要求1至7中任一项所述的系统,其中所述样本包括组织、生理结构或器官中的至少一者。
9.如权利要求1至8中任一项所述的系统,其中所述可见光具有约400nm至约800nm的波长。
10.如权利要求1至9中任一项所述的系统,其中所述激发扩散器是圆形激发扩散器。
11.如权利要求2至10所述的系统,其中所述发射光或所述反射可见光按任何次序被引导通过所述长通滤波器、所述陷波滤波器、所述透镜或第二陷波滤波器。
12.如权利要求2至10所述的系统,其中所述发射光和所述反射可见光按任何次序被引导通过所述长通滤波器、所述陷波滤波器、所述透镜、或第二陷波滤波器、或前述各者中的一者或多者的组合。
13.如权利要求10所述的系统,其中所述圆形激发扩散器具有约4度至约25度或约8度至约14度的扩散角度。
14.如权利要求1至9中任一项所述的系统,其中所述激发扩散器是矩形激发扩散器。
15.如权利要求14所述的系统,其中所述矩形激发扩散器具有第一扩散角度和垂直于所述第一扩散角度的第二扩撒角度。
16.如权利要求15所述的系统,其中所述第一扩散角度、所述第二扩散角度或所述两者是约4度至约25度、或约8度至约14度。
17.如权利要求16所述的系统,其中所述第一扩散角度是约14度,并且其中所述第二扩散角度是约8度。
18.如权利要求1至17中任一项所述的系统,其中所述光学装置是热镜、双色镜、短通滤波器或其任何组合。
19.如权利要求18所述的系统,其中所述热镜从所述可见光滤出、反射或分离NIR或IR光的波长。
20.如权利要求1至19中任一项所述的系统,其中所述光学装置将所述扩散激发光沿着第一方向引导至所述样本并且允许所述发射光和反射可见光沿着与所述第一方向相反的第二方向从中通过。
21.如权利要求1至20中任一项所述的系统,其中所述第一陷波滤波器或所述第二陷波滤波器中的至少一者阻止或衰减或抑制或减少所述激发光从中通过。
22.如权利要求1至21中任一项所述的系统,其中所述陷波滤波器的宽度大于激发光源的光谱宽度。
23.如权利要求1至22中任一项所述的系统,其中所述第一陷波滤波器或所述第二陷波滤波器中的至少一者具有不能从中通过的约775nm至约795nm、约750nm至约800nm、约650nm至约1000nm的中心阻带,其中所述中心阻带宽度是足以使所述激发光衰减的宽度。
24.如权利要求23所述的系统,其中所述第一陷波滤波器或所述第二陷波滤波器中的至少一者阻止或衰减或抑制或减少具有约785nm的中心阻带的光从中通过,其中所述阻带宽度是足以使激发源衰减的宽度。
25.如权利要求1至24所述的系统,其中所述发射光或所述反射可见光单独地或组合地并且按任何次序被引导通过所述长通滤波器和所述透镜。
26.如权利要求1至24所述的系统,其中所述发射光或所述反射可见光被顺序地引导通过所述长通滤波器和所述透镜,或被顺序地引导通过所述透镜和所述长通滤波器。
27.如权利要求1至26中任一项所述的系统,其中所述成像组件还包括偏振器。
28.如权利要求1至27中任一项所述的系统,所述系统还包括发射所述可见光的白光。
29.如权利要求1至28中任一项所述的系统,所述系统还包括在所述成像组件与所述样本之间并且在所述激发扩散器与所述样本之间的短通双色镜。
30.如权利要求1至29所述的系统,其中所述短通双色镜透射小于所述激发波长的波长,并且其中所述短通双色镜反射为所述激发波长或更大的波长。
31.如权利要求1至30所述的系统,其中所述短通双色镜透射约350nm至约800nm、约400nm至约720nm的小于所述激发波长的波长,并且其中所述短通双色镜反射大于约720nm的波长。
32.如权利要求30所述的系统,所述系统还包括在所述短通镜与所述样本之间的窗。
33.如权利要求32所述的系统,其中所述短通镜包括薄膜镜、双色镜或其任何组合。
34.如权利要求1至33中任一项所述的系统,所述系统还包括在所述陷波滤波器与所述样本之间的窗。
35.如权利要求1至34中任一项所述的系统,其中所述激发光是红外或近红外激发光。
36.如权利要求1至35中任一项所述的系统,其中所述长通滤波器包括可见光衰减器。
37.如权利要求36所述的系统,其中所述可见光衰减器透射近红外或红外波长。
38.如权利要求1至37中任一项所述的系统,所述系统还包括激光监视传感器,所述激光监视传感器包括:
(a)激发光功率计,所述激发光功率计被配置为测量所述激发光的功率(激发功率);以及
(b)扩散束形状传感器,所述扩散束形状传感器测量扩散束形状,所述扩散束形状传感器包括至少一个扩散束形状计。
39.如权利要求38所述的系统,所述系统还包括第一扩散束形状计和第二扩散束形状计。
40.如权利要求38至39所述的系统,所述系统还包括将所述激发光的一部分重新引导至所述激发光功率计的反射器。
41.如权利要求40所述的系统,其中所述反射器位于所述激发通道与所述激发扩散器之间。
42.如权利要求38至41中任一项所述的系统,其中所述光学装置允许所述扩散激发光的一部分沿着与所述扩散激发光平行的方向从中通过,并且其中所述扩散束形状传感器接收所述扩散激发光的所述部分。
43.如权利要求38至42中任一项所述的系统,其中第一扩散束形状计测量在所述扩散束形状的中心处的所述扩散束的功率,并且其中第二扩散束形状计测量在所述扩散束形状的边缘处的所述扩散束的所述功率。
44.如权利要求38至43中任一项所述的系统,所述系统还包括2、3、4、5、6、7、8、9、10或更多个额外束形状计。
45.如权利要求38至44所述的系统,其中所述第一扩散束形状计、所述第二扩散束形状计、所述额外束形状计或其任何组合被布置为一维阵列。
46.如权利要求38至44所述的系统,其中所述第一扩散束形状计、所述第二扩散束形状计、所述额外束形状计或其任何组合被布置为二维阵列。
47.如权利要求38至46中任一项所述的系统,其中所述激发光功率计、所述第一扩散束形状计、所述第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。
48.如权利要求38至46所述的系统,其中所述激发光功率计、所述第一扩散束形状计、所述第二扩散束形状计或其任何组合位于所述激发束的路径中或位于光学部件后面。
49.如权利要求1至48中任一项所述的系统,其中所述激发光的所述源具有关闭模式和开启模式。
50.一种用于对由荧光团发射的发射光进行成像的成像平台,所述平台包括:
(a)如权利要求1至49中任一项所述的成像系统;以及
(b)成像站,所述成像站包括:
(i)非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括能够由处理器执行以从图像传感器接收图像帧的指令;以及
(ii)输入装置。
51.如权利要求50所述的平台,其中所述成像站经由成像缆线、无线连接或两者从所述图像系统接收所述图像帧。
52.如权利要求50至51所述的平台,所述平台还包括所述成像缆线。
53.如权利要求50至52所述的平台,其中所述成像系统进一步经由所述成像缆线接收电力。
54.如权利要求50至53中任一项所述的平台,其中所述成像平台还包括成像系统,所述成像系统经由所述成像缆线接收电力。
55.如权利要求51所述的平台,其中所述无线连接包括蓝牙连接、Wi-Fi连接、蜂窝式数据连接、RFID连接或其任何组合。
56.如权利要求50至55中任一项所述的平台,其中所述输入装置包括鼠标、触控板、操纵杆、触控屏幕、键盘、麦克风、相机、扫描仪、RFID读取器、蓝牙装置、手势接口、语音命令接口或其任何组合。
57.如权利要求50至56中任一项所述的平台,所述平台还包括激光监视传感器,其中所述平台还包括从所述激光监视传感器接收数据的激光监视电子装置,并且其中如果出现以下情况,则所述激光监视电子装置关闭激光:
(a)激发光的测量功率(激发功率)偏离设定的激发光功率达第一预定值;
(b)扩散束形状偏离设定的束形状达第二预定值;或
(c)以上两者。
58.如权利要求57所述的平台,其中所述第一预定值包括按照变化率值的预定范围值或预定最大量值或两者来测量的激发功率。
59.如权利要求57或58所述的平台,其中所述第一预定值超过所述预定范围中的最高预定值或小于所述预定范围中的最低预定值。
60.如权利要求57所述的平台,其中所述第二预定值包括偏离通过一个或多个扩散束形状计测量的设定的束形状的值。
61.如权利要求57至60中任一项所述的平台,其中所述第二预定值基于通过第一扩散束形状计测量的所述扩散束形状上的至少一个点处的所述扩散束的所述功率与通过至少第二扩散束形状计测量的所述扩散束形状上的至少一个其他点处的所述扩散束的所述激发光功率的比较来确定所述扩撒束形状已偏离所述设定的束形状。
62.如权利要求57至61中任一项所述的平台,其中所述激光监视电子装置通过中断供应至所述激光的电力或由于激发功率超过或小于设定范围值或设定范围速率或由于通过一个或多个扩散束形状计测量出的偏离而关闭所述激光。
63.如权利要求57至62中任一项所述的平台,其中当所述激光监视电子装置确定所述激发功率的变化率的量值相对于预定最大值已超过最高预定速率或所述束形状已偏离所述设定的束形状时,所述激光在一毫秒、一微秒或一皮秒或更短时间内关闭。
64.一种用于对由荧光团发射的发射光进行成像的方法,所述方法包括:
(a)发射激发光;
(b)使所述激发光扩散;
(c)接收可见光并且将所述可见光引导至样本;
(d)将所述扩散激发光引导至所述样本;
(e)将所述发射光和反射可见光引导至成像组件;
(f)从所述发射光滤出所述激发光和所述反射可见光;
(g)检测来自所述样本的所述发射光和所述反射可见光以基于所述发射光和所述反射可见光来产生图像帧。
65.如权利要求64所述的方法,其中荧光团是在所述样本内。
66.如权利要求64至65所述的方法,其中所述样本包括组织、生理结构或器官中的至少一者。
67.如权利要求64所述的方法,其中从所述发射光滤出所述激发光和所述反射可见光包括将所述发射光和所述反射可见光从所述样本引导通过陷波分束器、第一陷波滤波器、长通滤波器、透镜和第二陷波滤波器或前述各者的任何组合。
68.如权利要求64至67所述的方法,其中滤出所述激发光和所述反射可见光包括将所述发射光和所述反射可见光从所述样本顺序地引导通过所述陷波分束器、所述第一陷波滤波器、所述长通滤波器、所述透镜和所述第二陷波滤波器或前述各者的任何组合。
69.如权利要求64至68中任一项所述的方法,其中所述激发光具有约775nm至约795nm的波长。
70.如权利要求64所述的方法,其中所述激发光具有约785nm的波长。
71.如权利要求64至70中任一项所述的方法,其中所述可见光具有约400nm至约800nm的波长。
72.如权利要求64至71中任一项所述的方法,其中所述激发光具有约800nm至约950nm的波长。
73.如权利要求64至72中任一项所述的方法,其中通过圆形激发扩散器使所述激发光扩散。
74.如权利要求73所述的方法,其中所述圆形激发扩散器具有约4度至约25度的扩散角度。
75.如权利要求64至74中任一项所述的方法,其中通过矩形激发扩散器使所述激发光扩散。
76.如权利要求75所述的方法,其中所述矩形激发扩散器具有第一扩散角度和垂直于所述第一扩散角度的第二扩散角度。
77.如权利要求76所述的方法,其中所述第一扩散角度、所述第二扩散角度或所述两者是约4度至约25度。
78.如权利要求77所述的方法,其中所述第一扩散角度是约14度,并且其中所述第二扩散角度是约8度。
79.如权利要求64至78中任一项所述的方法,其中通过热镜、双色镜、短通滤波器或其任何组合将所述扩散激发光引导至所述样本。
80.如权利要求64至78中任一项所述的方法,其中通过热镜、双色镜、短通滤波器或其任何组合将所述反射可见光引导至所述成像组件。
81.如权利要求80所述的方法,其中所述热镜从所述可见光滤出NIR或IR光的波长。
82.如权利要求64至81中任一项所述的方法,其中沿着第一方向将所述扩散激发光引导至所述样本,并且其中沿着与所述第一方向相反的第二方向引导所述发射光和所述反射可见光。
83.如权利要求64至82中任一项所述的方法,其中滤出所述发射光和所述反射可见光包括阻止具有约775nm至约795nm的波长的光从中通过。
84.如权利要求64至83中任一项所述的方法,其中滤出所述发射光和所述反射可见光包括阻止具有约785nm的波长的光从中通过。
85.如权利要求64至84中任一项所述的方法,所述方法还包括对所述发射光和所述反射可见光进行偏振。
86.如权利要求64至85中任一项所述的方法,所述方法还包括对所述扩散激发光进行滤波。
87.如权利要求86所述的方法,其中对所述扩散激发光进行滤波包括滤出小于约720nm、725nm、730nm、735nm、740nm、750nm、755nm、760nm、770nm、780nm、800nm或更大的波长,包括其间的增量。
88.如权利要求64至87中任一项所述的方法,其中所述激发光是红外激发光或近红外激发光。
89.如权利要求64至88中任一项所述的方法,所述方法还包括通过以下操作来监视所述激发光:
(a)用激发光监视器来测量所述激发光的功率;
(b)用传感器系统来测量所述扩散激发光的扩散束形状;或
(c)以上两者。
90.如权利要求89所述的方法,其中所述激发光监视器通过接收所述激发光的重定向部分来测量所述激发光的所述功率。
91.如权利要求89所述的方法,其中第一扩散束形状计测量在所述扩散束形状的中心处的所述扩散束的功率,并且其中第二扩散束形状计测量在所述扩散束形状的边缘处的所述扩散束的所述功率。
92.如权利要求89至91中任一项所述的方法,其中所述激发光监视器、所述第一扩散束形状计、所述第二扩散束形状计或其任何组合或任何数目的传感器/计包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。
93.如权利要求89至92中任一项所述的方法,所述方法还包括通过2、3、4、5、6、7、8、9、10或更多个额外束形状计来测量所述扩散束的所述功率。
94.如权利要求93所述的方法,其中所述第一束形状计、所述第二束形状计、所述额外束形状计或其任何组合被布置为一维阵列。
95.如权利要求93所述的方法,其中所述第一束形状计、所述第二束形状计、所述额外束形状计或其任何组合被布置为二维阵列。
96.如权利要求89至95中任一项所述的方法,其中激发光功率计、所述第一扩散束形状计、所述第二扩散束形状计或其任何组合包括光电二极管、相机、压电传感器、线性传感器阵列、CMOS传感器或其任何组合。
97.如权利要求89至96中任一项所述的方法,其中所述激发光功率计、所述第一扩散束形状计、所述第二扩散束形状计或其任何组合位于所述激发束的路径中或位于光学部件后面。
98.如权利要求64至97中任一项所述的方法,所述方法还包括如果出现如下情况则关闭所述激发光:
(a)所述激发光的测量功率偏离设定的激发光功率达第一预定值;
(b)扩散束形状偏离设定的束形状达第二预定值;或
(c)以上两者。
99.如权利要求64至98中任一项所述的方法,其中所述激发光具有关闭模式和开启模式。
100.如权利要求64至99中任一项所述的方法,所述方法还包括通过非暂时性计算机可读存储介质从图像传感器接收所述图像帧,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括能够由处理器执行的指令。
101.如权利要求100所述的方法,其中从所述图像传感器接收所述图像帧是通过成像缆线、无线连接或两者来执行。
102.如权利要求101所述的方法,其中所述无线连接包括蓝牙连接、Wi-Fi连接、蜂窝式数据连接、RFID连接或其任何组合。
103.一种由激光诱发荧光团激发形成第一重叠图像的计算机实施方法,所述方法包括:
(a)接收多个图像帧序列,每一图像帧序列包括:
(i)当激光处于关闭模式或处于开启模式时捕获的VIS帧;以及
(ii)当所述激光处于开启模式时捕获的初步量的NIR或IR帧;以及
(b)通过减去校正VIS_DRK帧来校正每一NIR或IR帧;
(c)通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第一NIR或IR图像。
104.如权利要求103所述的计算机实施方法,所述方法还包括:
通过将第一VIS_DRK帧与在所述第一VIS_DRK帧后面的V量的VIS_DRK帧相加来产生第一VIS图像。
105.如权利要求104所述的计算机实施方法,所述方法还包括:
将所述经校正NIR或IR图像与所述VIS图像重叠以形成所述第一重叠图像。
106.如权利要求105所述的方法,其中序列包括初步量的NIR帧,所述初步量是奇数或偶数。
107.如权利要求11至106所述的方法,其中用于序列中的NIR或IR帧的所述校正VIS_DRK帧是在当前序列、前一个序列或后一个序列中。
108.如权利要求11至107所述的方法,其中用于任何给定NIR或IR帧的所述校正VIS_DRK帧是在时间上最接近于所述给定NIR或IR帧的所述VIS_DRK帧,或(ii)在所述NIR或IR帧在时间上同等接近于前一个或后一个VIS_DRK帧的情况下,所述给定VIS_DRK帧中的任一者都能够用于所述校正VIS_DRK帧。
109.如权利要求11至108所述的方法,其中所述校正VIS_DRK帧是与第一NIR或IR帧在同一个帧序列中、在所述第一NIR帧的所述帧序列的后一个帧序列中、在所述第一NIR帧的所述帧序列的前一个帧序列中或其组合的VIS_DRK帧。
110.如权利要求103至109所述的方法,其中产生第一VIS_DRK图像是通过直接显示第一VIS_DRK帧或在累加器中将第一VIS_DRK帧与在所述第一VIS帧后面的V量的VIS_DRK帧相加来实现。
111.如权利要求103至110所述的方法,其中通过将合计量的经校正NIR或IR图像与合计量的VIS_DRK图像重叠以形成所述第一重叠图像来获得所述重叠图像。
112.如权利要求103至111中任一项所述的方法,其中所述V量是零或更大。
113.如权利要求103至112所述的方法,其中序列包括初步量的NIR帧和VIS_DRK帧,用于任何给定NIR或IR帧的所述校正VIS_DRK帧是时间上最接近于所述给定NIR或IR帧的所述VIS_DRK帧,不管所述校正VIS_DRK帧与所述给定NIR或IR帧是在同一个帧序列中、在所述给定NIR或IR帧的前一个帧序列中还是在后一个帧序列中。
114.如权利要求103至113中任一项所述的方法,其中(N+1)等于或大于所述初步量。
115.如权利要求103至114中任一项所述的方法,其中产生所述第一经校正NIR或IR图像还包括将任何数目个额外的经校正NIR或IR帧加到第一经校正NIR或IR帧上。
116.如权利要求103至115中任一项所述的方法,其中所述额外的经校正NIR或IR帧是在时间上在所述第一经校正NIR或IR帧之前或之后产生,或者由在时间上在所述第一经校正NIR或IR帧之前和之后的经校正NIR或IR帧产生。
117.如权利要求103至116中任一项所述的方法,其中产生所述第一经校正NIR或IR图像还包括将所述第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。
118.如权利要求103至117中任一项所述的方法,其中减去时间上最接近或最靠近每一NIR帧的校正VIS_DRK帧减少或最小化或校正由所述VIS_DRK帧、所述NIR或IR帧或所述两者的捕获之间的移动造成的运动伪影。
119.如权利要求103至118中任一项所述的方法,其中每一图像帧序列还包括仅在环境光下捕获的一个或多个VIS_DRK帧。
120.如权利要求103至118中任一项所述的方法,其中每一图像帧序列还包括在环境光下捕获的一个或多个VIS_DRK帧。
121.如权利要求105至120所述的方法,其中校正每一NIR或IR帧还包括从所述NIR或IR帧减去所述一个或多个VIS_DRK帧中的至少一者。
122.如权利要求105至121所述的方法,其中每一NIR或IR帧的信号增益等于所述一个或多个VIS_DRK帧中的至少一者的信号增益乘以因数、函数、常数或捕获的输入动态范围。
123.如权利要求103至122中任一项所述的方法,其中所述VIS_DRK帧中的每一者和所述NIR或IR帧中的每一者通过具有可见和NIR或IR像素的传感器来捕获。
124.如权利要求103至123中任一项所述的方法,其中所述VIS_DRK帧中的一者或多者和所述NIR或IR帧中的一者或多者包含于单个图像中。
125.如权利要求103至124中任一项所述的方法,其中减去所述VIS_DRK帧包括减去所述VIS_DRK帧乘以所述NIR或IR帧的曝光量与所述一个或多个VIS_DRK帧中的至少一者的曝光量之间的比率。
126.如权利要求103至125中任一项所述的方法,其中所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的所述VIS帧和一个或多个序列的所述NIR或IR帧通过具有可见和NIR或IR像素的传感器捕获。
127.如权利要求126所述的方法,其中所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的所述VIS帧和一个或多个序列的所述NIR或IR帧包含于单个帧中。
128.如权利要求126或127所述的方法,其中当所述激光处于所述开启模式时,捕获所述VIS_DRK帧。
129.如权利要求126至128中任一项所述的方法,其中所述一个或多个VIS_DRK帧中的至少一者包括所述VIS帧。
130.如权利要求126至128中任一项所述的方法,其中所述一个或多个VIS_DRK帧中的至少一者不包括所述VIS帧。
131.如权利要求103至130中任一项所述的方法,所述方法还包括:
(a)通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二经校正NIR或IR图像;
132.如权利要求131所述的方法,所述方法还包括:
通过将第二VIS帧与在所述第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像。
133.如权利要求131或132中任一项所述的方法,所述方法还包括:
将所述第二经校正NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像。
134.如权利要求103至133中任一项所述的方法,其中N+1等于X乘以所述初步量,其中X是大于2的整数,其中应用程序还包括模块,所述模块通过将第(N+初步量+1)个或第(N+初步量+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像。
135.如权利要求103至134中任一项所述的方法,所述方法还包括由两个或更多个重叠图像、两个或更多个NIR或IR图像、或两个或更多个VIS图像、或前述各者的任何组合形成显示图像。
136.如权利要求135所述的方法,其中为每一序列形成一个显示图像。
137.如权利要求135所述的方法,其中由两个或更多个序列形成一个显示图像。
138.一种计算机实施系统,所述计算机实施系统包括:数字处理装置,所述数字处理装置包括:至少一个处理器;操作系统,所述操作系统被配置为执行可执行指令;存储器;和计算机程序,所述计算机程序包括指令,所述指令能够由所述数字处理装置执行以产生用于由激光诱发荧光团激发形成第一重叠图像的应用程序,所述应用程序包括:
(a)接收多个图像帧序列的模块,每一图像帧序列包括:
(i)当所述激光处于关闭模式或处于开启模式时捕获的VIS_DRK帧;以及
(ii)当所述激光处于开启模式时捕获的初步量的NIR或IR帧;以及
(b)通过减去一个校正VIS_DRK帧来校正每一NIR或IR帧的模块;
(c)通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第一NIR或IR图像的模块。
139.如权利要求138所述的计算机实施系统,所述计算机实施系统包括:数字处理装置,所述数字处理装置还包括:
通过将第一VIS_DRK帧与在所述第一VIS_DRK帧后面的V量的VIS_DRK帧相加来产生第一VIS_DRK图像的模块。
140.如权利要求139所述的计算机实施系统,所述计算机实施系统包括:数字处理装置,所述数字处理装置还包括:
将所述NIR或IR图像与所述VIS_DRK图像重叠以形成所述第一重叠图像的模块。
141.如权利要求138所述的系统,其中序列包括初步量的NIR帧,所述初步量是奇数或偶数。
142.如权利要求138所述的系统,其中用于序列中的NIR或IR帧的所述校正VIS_DRK帧是在当前序列、前一个序列或后一个序列中。
143.如权利要求138至142所述的系统,其中用于任何给定NIR或IR帧的所述校正VIS_DRK帧是在时间上最接近于所述给定NIR或IR帧的所述VIS_DRK帧,或在所述NIR或IR帧在时间上同等接近于前一个或后一个VIS_DRK帧的情况下,所述给定VIS_DRK帧中的任一者都能够用于所述校正VIS_DRK帧。
144.如权利要求138至143所述的系统,其中所述校正VIS_DRK帧是与所述第一NIR或IR帧在同一个帧序列中、在所述第一NIR或IR帧的所述帧序列的后一个帧序列中、在所述第一NIR帧的所述帧序列的前一个帧序列中或其任何组合中的VIS_DRK帧。
145.如权利要求138或144所述的系统,其中产生第一VIS图像是通过直接显示第一VIS_DRK帧或在累加器中将第一VIS_DRK帧与在所述第一VIS_DRK帧后面的V量的VIS_DRK帧相加来实现。
146.如权利要求138至145所述的系统,其中所述重叠NIR或IR图像是通过将合计量的NIR或IR图像与所述合计量的VIS图像重叠以形成所述第一重叠图像来获得。
147.如权利要求138至146中任一项所述的系统,其中所述V量是零或更大。
148.如权利要求138至147所述的系统,其中序列包括初步量的NIR帧和VIS_DRK帧,用于任何给定NIR或IR帧的所述校正VIS_DRK帧是时间上最接近于所述给定NIR或IR帧的所述VIS_DRK帧,不管所述校正VIS_DRK帧与所述给定NIR或IR帧是在同一个帧序列中、在所述给定NIR或IR帧的前一个帧序列中还是在后一个帧序列中。
149.如权利要求138至148中任一项所述的系统,其中(N+1)等于或大于所述初步量。
150.如权利要求138至149中任一项所述的系统,其中产生所述第一经校正NIR或IR图像还包括将任何数目个额外的经校正NIR或IR帧加到第一经校正NIR或IR帧上。
151.如权利要求138至150中任一项所述的系统,其中所述额外的经校正NIR或IR帧是在时间上在所述第一经校正NIR或IR帧之前或之后产生,或者由在时间上在所述第一经校正NIR或IR帧之前和之后的经校正NIR或IR帧产生。
152.如权利要求138至151中任一项所述的系统,其中产生所述第一经校正NIR或IR图像还包括将所述第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。
153.如权利要求138至152中任一项所述的系统,其中减去时间上最接近或最靠近每一NIR帧的校正VIS_DRK帧减少、最小化由所述VIS_DRK帧、所述NIR或IR帧或所述两者的捕获之间的移动造成的运动伪影。
154.如权利要求138至153中任一项所述的系统,其中每一图像帧序列还包括仅在环境光下捕获的一个或多个VIS_DRK帧。
155.如权利要求138至154中任一项所述的系统,其中每一图像帧序列还包括在环境光下捕获的一个或多个VIS_DRK帧。
156.如权利要求155所述的系统,其中校正每一NIR或IR帧还包括从所述NIR或IR帧减去所述一个或多个VIS_DRK帧中的至少一者。
157.如权利要求155或156所述的系统,其中每一NIR或IR帧的信号增益等于所述一个或多个VIS_DRK帧中的至少一者的信号增益乘以因数、函数、常数或捕获的输入动态范围。
158.如权利要求155至157中任一项所述的系统,其中所述VIS_DRK帧中的每一者和所述NIR或IR帧中的每一者通过具有可见和NIR或IR像素的传感器来捕获。
159.如权利要求158所述的系统,其中所述VIS_DRK帧中的一者或多者和所述NIR或IR帧中的一者或多者包含于单个图像中。
160.如权利要求155至159中任一项所述的系统,其中减去所述VIS_DRK帧包括减去所述VIS_DRK帧乘以所述NIR或IR帧的曝光量与所述一个或多个VIS_DRK帧中的至少一者的曝光量之间的比率。
161.如权利要求155至160中任一项所述的系统,其中所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的所述VIS帧和一个或多个序列的所述NIR或IR帧通过具有可见和NIR或IR像素的传感器捕获。
162.如权利要求161所述的系统,其中所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的所述VIS帧和一个或多个序列的所述NIR或IR帧包含于单个帧中。
163.如权利要求161或162所述的系统,其中当所述激光处于所述开启模式时,捕获所述VIS_DRK帧。
164.如权利要求161至163中任一项所述的系统,其中所述一个或多个VIS_DRK帧中的至少一者包括所述VIS帧。
165.如权利要求161至163中任一项所述的系统,其中所述一个或多个VIS_DRK帧中的至少一者不包括所述VIS帧。
166.如权利要求138至165中任一项所述的系统,其中所述应用程序还包括:
通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块。
167.如权利要求138至166中任一项所述的系统,其中所述应用程序还包括:
通过将第二VIS帧与在所述第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像的模块。
168.如权利要求138至167中任一项所述的系统,其中所述应用程序还包括:
将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像的模块。
169.如权利要求138至168中任一项所述的系统,其中N+1等于X乘以所述初步量,其中X是大于2的整数,其中所述应用程序还包括模块,所述模块通过将第(N+初步量+1)个或第(N+初步量+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像。
170.如权利要求138至169中任一项所述的系统,所述系统还包括由两个或更多个重叠图像、两个或更多个NIR或IR图像、或两个或更多个VIS图像、或前述各者的任何组合形成显示图像。
171.如权利要求170所述的系统,其中为每一序列形成一个显示图像。
172.如权利要求170所述的系统,其中由两个或更多个序列形成一个显示图像。
173.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质编码有计算机程序,所述计算机程序包括指令,所述指令能够由处理器执行以产生用于由激光诱发荧光激发形成第一重叠图像的应用程序,所述应用程序包括:
(a)接收多个图像帧序列的模块,每一图像帧序列包括:
(i)当所述激光处于关闭模式或处于开启模式时捕获的VIS帧;以及
(ii)当所述激光处于开启模式时捕获的初步量的NIR或IR帧;
(b)通过减去一个校正VIS帧来校正每个NIR或IR帧的模块;
(c)通过将第一经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第一NIR或IR图像的模块。
174.如权利要求173所述的介质,所述介质还包括:
通过将第一VIS帧与在所述第一VIS帧后面的V量的VIS帧相加来产生第一VIS图像的模块。
175.如权利要求174所述的介质,所述介质还包括:
将所述NIR或IR图像与所述VIS图像重叠以形成所述第一重叠图像的模块。
176.如权利要求175所述的介质,其中序列包括初步量的NIR帧,所述初步量是奇数或偶数。
177.如权利要求173至176所述的介质,其中用于序列中的NIR或IR帧的所述校正VIS_DRK帧是在当前序列、前一个序列或后一个序列中。
178.如权利要求173至177所述的介质,其中用于任何给定NIR或IR帧的所述校正VIS_DRK帧是在时间上最接近于所述给定NIR或IR帧的所述VIS_DRK帧,或在所述NIR或IR帧在时间上同等接近于前一个或后一个VIS_DRK帧的情况下,所述给定VIS_DRK帧中的任一者都能够用于所述校正VIS_DRK帧。
179.如权利要求173至178所述的介质,其中所述校正VIS_DRK帧是与所述第一NIR或IR帧在同一个帧序列中、在所述第一NIR或IR帧的所述帧序列的后一个帧序列中、在所述NIR帧的所述帧序列的前一个帧序列中或其组合的VIS_DRK帧。
180.如权利要求173至179所述的介质,其中产生第一VIS_DRK图像是通过直接显示第一VIS_DRK帧或在累加器中将第一VIS帧与在所述第一VIS帧后面的V量的VIS_DRK帧相加来实现。
181.如权利要求173至179所述的介质,其中所述重叠NIR或IR图像是通过将合计量的NIR或IR图像与所述合计量的VIS图像重叠以形成所述第一重叠图像来获得。
182.如权利要求173至181中任一项所述的介质,其中所述V量是零或更大。
183.如权利要求173至182所述的介质,其中序列包括初步量的NIR帧和VIS_DRK帧,用于任何给定NIR或IR帧的所述校正VIS_DRK帧是时间上最接近于所述给定NIR或IR帧的所述VIS_DRK帧,不管所述校正VIS_DRK帧与所述给定NIR或IR帧是在同一个帧序列中、在所述给定NIR或IR帧的前一个帧序列中还是在后一个帧序列中。
184.如权利要求173至183中任一项所述的介质,其中(N+1)等于或大于所述初步量。
185.如权利要求173至184中任一项所述的介质,其中产生所述第一经校正NIR或IR图像还包括将任何数目个额外的经校正NIR或IR帧加到第一经校正NIR或IR帧上。
186.如权利要求173至185中任一项所述的介质,其中所述额外的经校正NIR或IR帧是在时间上在所述第一经校正NIR或IR帧之前或之后产生,或者由在时间上在所述第一经校正NIR或IR帧之前和之后的经校正NIR或IR帧产生。
187.如权利要求173至186中任一项所述的介质,其中产生所述第一经校正NIR或IR图像还包括将所述第一经校正NIR或IR帧前面的M量的经校正NIR或IR帧相加。
188.如权利要求173至187中任一项所述的介质,其中减去时间上最接近或最靠近每一NIR帧的校正VIS帧减少、最小化由所述VIS帧、所述NIR或IR帧或所述两者的捕获之间的移动造成的运动伪影。
189.如权利要求173至188中任一项所述的介质,其中每一图像帧序列还包括在环境光下捕获的一个或多个VIS_DRK帧。
190.如权利要求173至188中任一项所述的介质,其中每一图像帧序列还包括仅在环境光下捕获的一个或多个VIS_DRK帧。
191.如权利要求173至190所述的介质,其中校正每一NIR或IR帧还包括从所述NIR或IR帧减去所述一个或多个VIS_DRK帧中的至少一者。
192.如权利要求173至191所述的介质,其中每一NIR或IR帧的信号增益等于所述一个或多个VIS_DRK帧中的至少一者的信号增益乘以因数、函数、常数或捕获的输入动态范围。
193.如权利要求173至192中任一项所述的介质,其中所述VIS_DRK帧中的每一者和所述NIR或IR帧中的每一者通过具有可见和NIR或IR像素的传感器来捕获。
194.如权利要求193所述的介质,其中所述VIS_DRK帧中的一者或多者和所述NIR或IR帧中的一者或多者包含于单个帧中。
195.如权利要求173至194中任一项所述的介质,其中减去所述VIS_DRK帧包括减去所述VIS_DRK帧乘以所述NIR或IR帧的曝光量与所述一个或多个VIS_DRK帧中的至少一者的曝光量之间的比率。
196.如权利要求173至195中任一项所述的介质,其中所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的所述VIS帧和一个或多个序列的所述NIR或IR帧通过具有可见和NIR或IR像素的传感器捕获。
197.如权利要求196所述的介质,其中所述一个或多个VIS_DRK帧中的至少一者、一个或多个序列的所述VIS帧和一个或多个序列的所述NIR或IR帧包含于单个帧中。
198.如权利要求196或197所述的介质,其中当所述激光处于所述开启模式时,捕获所述VIS帧。
199.如权利要求196至198中任一项所述的介质,其中所述一个或多个VIS_DRK帧中的至少一者包括所述VIS帧。
200.如权利要求196至198中任一项所述的介质,其中所述一个或多个VIS_DRK帧中的至少一者不包括所述VIS帧。
201.如权利要求173至200中任一项所述的介质,其中所述应用程序还包括:
通过将第(N+1)或第(N+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像的模块。
202.如权利要求173至201中任一项所述的介质,其中所述应用程序还包括:
通过将第二VIS帧与在所述第二VIS帧后面的V量的VIS帧相加来产生第二VIS图像的模块。
203.如权利要求173至202中任一项所述的介质,其中所述应用程序还包括:
将所述第二NIR或IR图像与所述第二VIS图像重叠以形成第二重叠图像的模块。
204.如权利要求173至203中任一项所述的介质,其中N+1等于X乘以所述初步量,其中X是大于2的整数,其中所述应用程序还包括模块,所述模块通过将第(N+初步量+1)个或第(N+初步量+2)个经校正NIR或IR帧与N量的后续经校正NIR或IR帧相加来产生第二NIR或IR图像。
205.如权利要求173至204中任一项所述的介质,所述介质还包括由两个或更多个重叠图像、两个或更多个NIR或IR图像、或两个或更多个VIS图像、或前述各者的任何组合形成显示图像。
206.如权利要求205所述的介质,其中为每一序列形成一个显示图像。
207.如权利要求205所述的介质,其中由两个或更多个序列形成一个显示图像。
208.一种对来自受试者的样本中的异常组织、癌症、肿瘤、脉管系统或结构进行成像的方法,所述方法包括通过使用成像系统对荧光成像来产生所述脉管系统或结构的图像,所述系统包括:
(a)如权利要求1至49中任一项所述的成像系统;或
(b)如权利要求50至63中任一项所述的成像平台。
209.一种对来自受试者的样本中的异常组织、癌症、肿瘤、脉管系统或结构进行成像的方法,所述方法包括通过使用成像系统方法对荧光成像来产生所述异常组织、癌症、肿瘤、脉管系统或结构的图像,所述系统方法包括:
(a)如权利要求64至102中任一项所述的成像方法。
210.如权利要求208或209所述的方法,其中所述成像荧光是自发荧光、显影或成像剂、化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子或其任何组合或其任何组合。
211.如权利要求208至210中任一项所述的方法,其中所述成像荧光是自发荧光、显影或成像剂、化学剂、放射性标记剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子或其任何组合。
212.如权利要求208至211中任一项所述的方法,其中所述方法还包括向所述受试者施用显影或成像剂。
213.一种对来自受试者的荧光团中的异常组织、癌症、肿瘤、脉管系统或结构进行成像的方法,所述方法包括:
(a)向所述受试者施用显影或成像剂;
(b)通过使用成像系统对所述显影或成像剂进行成像来产生所述异常组织、癌症、肿瘤、脉管系统或结构的图像,所述系统包括:
(i)如权利要求1至49中任一项所述的成像系统;或
(ii)如权利要求50至63中任一项所述的成像平台。
214.一种对来自受试者的荧光团中的异常组织、癌症、肿瘤、脉管系统或结构进行成像的方法,所述方法包括:
(a)向所述受试者施用显影或成像剂;
(b)通过使用成像系统方法对所述显影或成像剂进行成像来产生所述异常组织、癌症、肿瘤、脉管系统或结构的图像,所述系统方法包括:
(i)如权利要求64至102中任一项所述的成像方法。
215.如权利要求213或214所述的方法,其中所述显影或成像剂包括染料、荧光团、荧光生物素化合物、发光化合物、化学发光化合物或其任何组合。
216.如权利要求213至215所述的方法,其中所述显影或成像剂还包括蛋白质、肽、氨基酸、核苷酸、多聚核苷酸或其任何组合。
217.如权利要求213至215所述的方法,其中所述显影或成像剂还包括tozuleristide。
218.如权利要求213至217中任一项所述的方法,其中所述显影或成像剂吸收约200mm至约900mm之间的波长。
219.如权利要求213至218中任一项所述的方法,其中所述显影或成像剂包括:DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或靛青绿(ICG)和前述各者的任何衍生物;荧光素和荧光染料(例如,异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等)、碳青、部花青素、苯乙烯基染料、氧杂菁染料、藻红素、赤藻红、曙红、玫瑰红染料(例如,四甲基羧基-玫瑰红或TAMRA、羧基玫瑰红6G、羧基-X-玫瑰红(ROX)、丽丝胺玫瑰红B、玫瑰红6G、玫瑰红绿、玫瑰红红、四甲基玫瑰红(TMR)等)、香豆素和香豆素染料(例如,甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如,俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等)、德克萨斯红、德克萨斯红-X、光谱红、光谱绿、花青染料(例如,CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如,ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXA FLUOR633、ALEXA FLUOR 660、ALEXA FLUOR 680等)、BODIPY染料(例如,BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IRD染料(例如,IRD40、IRD700、IRD 800等)、7-氨基香豆素、二烷基氨基香豆素反应性染料、6,8-二氟-7-羟基香豆素荧光团、羟基香豆素衍生物、烷氧基香豆素衍生物、琥珀酰亚胺酯、芘琥珀酰亚胺酯、吡啶基唑衍生物、氨基萘基染料、丹磺酰氯、dapoxyl染料、Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、二胺染料、二胺巯基乙酸、NBD染料、QsY 35或其任何组合。
220.如权利要求213至219中任一项所述的方法,其中所述施用包括静脉内施用、肌肉内施用、皮下施用、眼内施用、动脉内施用、腹膜施用、瘤内施用、皮内施用或其任何组合。
221.如权利要求213至220中任一项所述的方法,其中所述成像包括组织成像、离体成像、术中成像或其任何组合。
222.如权利要求213至221中任一项所述的方法,其中所述样本是在体内样本、原位样本、离体样本或术中样本中。
223.如权利要求213至222中任一项所述的方法,其中所述样本是器官、器官子结构、组织或细胞。
224.如权利要求213至223中任一项所述的方法,其中所述样本自发荧光。
225.如权利要求224所述的方法,其中所述样本的自发荧光包括存在于肿瘤或恶性肿瘤中的眼部荧光团、色胺酸或蛋白质。
226.如权利要求213至225中任一项所述的方法,其中所述方法用于使血管流动或血管通畅视觉化。
227.如权利要求213至226中任一项所述的方法,其中所述异常组织、癌症、肿瘤、脉管系统或结构包括血管、淋巴管系统、神经元脉管系统或CNS结构。
228.如权利要求213至227中任一项所述的方法,其中所述成像是血管造影术、动脉造影术、淋巴造影术或胆管造影术。
229.如权利要求213至228中任一项所述的方法,其中所述成像包括检测血管异常、血管畸形、血管病变、器官或器官子结构、癌症或患病区域、组织、结构或细胞。
230.如权利要求229所述的方法,其中所述血管异常、血管畸形或血管病变是动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、硬脊膜动静脉瘘或其组合。
231.如权利要求213至230中任一项所述的方法,其中器官或器官子结构是脑、心脏、肺、肾、肝或胰腺。
232.如权利要求213至231中任一项所述的方法,所述方法还包括对所述受试者进行手术。
233.如权利要求232所述的方法,其中所述手术包括血管成形术、心血管手术、动脉瘤修复、瓣膜置换术、动脉瘤手术、动静脉畸形或海绵状血管畸形手术、静脉畸形手术、淋巴管畸形手术、毛细血管扩张手术、混合血管畸形手术或脊髓硬脑膜动静脉瘘管手术、修复或搭桥、动脉搭桥、器官移植、整形手术、眼科手术、生殖系统手术、支架插入或更换、斑块消融、去除所述受试者的所述癌症或患病区域、组织、结构或细胞,或任何其组合。
234.如权利要求213至233中任一项所述的方法,其中所述成像包括在手术之后对所述受试者的血管异常、癌症或患病区域、组织、结构或细胞进行成像。
235.如权利要求213至234中任一项所述的方法,所述方法还包括治疗所述受试者体内的癌症。
236.如权利要求213至235中任一项所述的方法,所述方法还包括修复颅内CNS血管缺损、脊髓CNS血管缺损;外周血管缺损;去除异常血管化组织;眼部成像和修复;吻合术;重建或整形手术;动脉粥样硬化斑块消融或治疗或再狭窄;诸如神经、肾脏、甲状腺、副甲状腺、肝段或输尿管等重要器官或结构的修复或切除(包括选择性切除)、保留(包括选择性保留);手术期间的识别和管理(有时保留,有时选择性切除);四肢缺血的诊断和治疗;或治疗慢性伤口。
237.如权利要求236所述的方法,其中所述颅内血管缺损和/或所述脊髓血管缺损包括动脉瘤、动静脉畸形、海绵状血管畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、或硬脊膜动静脉瘘或其任何组合。
238.如权利要求236所述的方法,其中所述外周血管缺损包括动脉瘤、冠状动脉旁路、另一条血管旁路、海绵状血管畸形、动静脉畸形、静脉畸形、淋巴管畸形、毛细血管扩张症、混合血管畸形、硬脊膜动静脉瘘或其任何组合。
239.如权利要求236所述的方法,其中所述异常血管化的组织包括子宫内膜异位症或肿瘤。
240.如权利要求213至239中任一项所述的方法,其中所述方法还包括使用以下一者或多者进行放射学或荧光成像:X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞分析技术、医学摄影、核医学功能成像技术、正电子发射断层摄影术(PET)、单光子发射计算机断层摄影术(SPECT)、显微镜、手术显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。
241.如权利要求213至240中任一项所述的方法,其中所述方法包括使用以下各者中的一者或多者来测量和/或量化荧光:显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。
242.如权利要求213至241中任一项所述的方法,其中所述系统与以下各者结合或集成至以下各者中:显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。
243.如权利要求213至242中任一项所述的方法,其中所述系统包括显微镜、共焦显微镜、荧光镜、外窥镜、手术机器人、手术器械或其任何组合。
244.如权利要求213至243中任一项所述的方法,其中所述显微镜、所述共焦显微镜、所述荧光镜、所述外窥镜、所述手术器械、所述内窥镜或所述手术机器人中的至少一者包括手术显微镜、共焦显微镜、荧光镜、外窥镜、内窥镜、检眼镜、视网膜相机系统、光学相干断层摄影(OCT)系统、手术机器人或其任何组合。
245.如权利要求213至244中任一项所述的方法,其中所述系统被配置为对治疗剂进行检测、成像或评估;对伴随诊断剂的安全性或生理效应进行检测、成像或评估;对所述治疗剂的安全性或生理效应进行检测、成像或评估;对所述伴随成像剂的安全性或生理效应进行检测、成像或评估;或其任何组合。
246.如权利要求213至245中任一项所述的方法,其中显影或成像剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化、或其任何组合。
247.如权利要求213至246中任一项所述的方法,其中所述方法包括施用伴随诊断剂、治疗剂或成像剂,并且其中所述成像包括检测所述伴随诊断剂、所述治疗剂或所述成像剂。
248.如权利要求247所述的方法,其中所述伴随诊断剂、所述治疗剂或所述成像剂包括化学剂、放射性标记剂、放射性核素、放射性核素螯合剂、放射增敏剂、光增敏剂、荧光团、治疗剂、成像剂、诊断剂、蛋白质、肽、纳米颗粒或小分子。
249.一种用于对荧光团进行成像的方法,所述方法包括:
(a)通过光源发射激发光以从样本诱发荧光;
(b)由多个源发射一个或多个激发光以从该样本以多个发射频带诱发荧光;
(c)通过多个光学器件将所述激发光引导至所述样本;
(d)通过多个光学器件从所述样本接收所述荧光,其中所述发射光是与从所述样本接收到的荧光基本上同轴地被引导至所述样本,以便减少阴影;
(e)在检测器上形成所述样本的荧光图像和所述样本的可见光图像;以及
(f)在多个检测器上形成所述样本的荧光图像和所述样本的可见光图像。
250.如权利要求249所述的方法,其中荧光团是在所述样本内。
251.如权利要求249至250所述的方法,其中所述样本包括组织、生理结构或器官中的至少一者。
252.如权利要求249至251所述的方法,其中所述样本是如任何前述权利要求中所描述。
CN202180058197.2A 2020-06-25 2021-06-25 用于同时近红外光和可见光成像的系统和方法 Pending CN116034301A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063044303P 2020-06-25 2020-06-25
US63/044,303 2020-06-25
PCT/US2021/039177 WO2021263159A1 (en) 2020-06-25 2021-06-25 Systems and methods for simultaneous near-infrared light and visible light imaging

Publications (1)

Publication Number Publication Date
CN116034301A true CN116034301A (zh) 2023-04-28

Family

ID=79281954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058197.2A Pending CN116034301A (zh) 2020-06-25 2021-06-25 用于同时近红外光和可见光成像的系统和方法

Country Status (9)

Country Link
EP (1) EP4172600A1 (zh)
JP (1) JP2023531719A (zh)
KR (1) KR20230028754A (zh)
CN (1) CN116034301A (zh)
AU (1) AU2021297347A1 (zh)
CA (1) CA3176009A1 (zh)
IL (1) IL298749A (zh)
TW (1) TW202217280A (zh)
WO (1) WO2021263159A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023230273A1 (en) * 2022-05-25 2023-11-30 Vicarious Surgical Inc. Multispectral imaging camera and methods of use
CN115084991B (zh) * 2022-08-24 2022-11-04 北京国光领航科技有限公司 一种多功能皮秒眼科治疗仪
GB2624509A (en) * 2022-09-14 2024-05-22 Frank Gunter Wood Michael System and method of multiple fluorophore visualization
TWI804443B (zh) * 2022-10-03 2023-06-01 虹光精密工業股份有限公司 紅外線裁切光學模組及使用其的掃描器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947656B2 (en) * 2013-01-04 2015-02-03 The Board Of Trustees Of The University Of Illinois Smartphone biosensor
US9407838B2 (en) * 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores

Also Published As

Publication number Publication date
KR20230028754A (ko) 2023-03-02
AU2021297347A1 (en) 2022-11-17
WO2021263159A1 (en) 2021-12-30
EP4172600A1 (en) 2023-05-03
CA3176009A1 (en) 2021-12-30
TW202217280A (zh) 2022-05-01
JP2023531719A (ja) 2023-07-25
IL298749A (en) 2023-02-01

Similar Documents

Publication Publication Date Title
US20220346650A1 (en) Systems and methods for vascular and structural imaging
US20210015350A1 (en) Systems and methods for simultaneous near-infrared light and visible light imaging
CN116034301A (zh) 用于同时近红外光和可见光成像的系统和方法
US11765340B2 (en) Goggle imaging systems and methods
KR101061004B1 (ko) 광역학 치료 및 광 검출을 위한 장치
JP5945104B2 (ja) 蛍光手術用実体顕微鏡
US8185176B2 (en) Method and apparatus for vasculature visualization with applications in neurosurgery and neurology
US10694117B2 (en) Masking approach for imaging multi-peak fluorophores by an imaging system
US20120123205A1 (en) Additional systems and methods for providing real-time anatomical guidance in a disgnostic or therapeutic procedure
US20180360299A1 (en) Imaging apparatus, imaging method, and medical observation equipment
JP2011027895A (ja) 顕微鏡システム
JP2013003495A (ja) 顕微鏡システム
WO2010054510A1 (zh) 具有血管造影功能的手术显微镜系统
US20200221933A1 (en) Systems and methods for connecting a medical imaging device to a medical imaging controller
US9686484B2 (en) Apparatus for acquiring and projecting broadband image capable of implementing visible light optical image and invisible light fluorescence image together
Watson Development of an augmented microscope for image guided surgery in the brain
WO2017169335A1 (en) Imaging apparatus, imaging method, and medical observation equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination