CN111970953A - 用于同时近红外光和可见光成像的系统和方法 - Google Patents

用于同时近红外光和可见光成像的系统和方法 Download PDF

Info

Publication number
CN111970953A
CN111970953A CN201980022748.2A CN201980022748A CN111970953A CN 111970953 A CN111970953 A CN 111970953A CN 201980022748 A CN201980022748 A CN 201980022748A CN 111970953 A CN111970953 A CN 111970953A
Authority
CN
China
Prior art keywords
light
leica
imaging
degrees
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980022748.2A
Other languages
English (en)
Inventor
P·巴特
D·基特莱
J·佩里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blaze Bioscience Inc
Original Assignee
Blaze Bioscience Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blaze Bioscience Inc filed Critical Blaze Bioscience Inc
Publication of CN111970953A publication Critical patent/CN111970953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Toxicology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Abstract

本文公开了用于同时对样本进行近红外光和可见光成像的成像系统和方法，所述成像系统和方法包括：检测器，所述检测器用于形成所述样本的荧光图像以及所述样本的可见图像；光源，所述光源被配置为发射红外光以从所述样本诱发荧光；以及多个光学器件，所述多个光学器件被布置为将所述红外光引向所述样本并且在所述检测器上形成所述样本的荧光图像以及所述样本的可见光图像，其中所述红外光与从所述样本接收到的荧光基本上同轴地引导到所述样本以便减少阴影。

Description

用于同时近红外光和可见光成像的系统和方法
交叉引用
本申请要求2018年3月30日提交的美国临时申请号62/650,974和2018年6月1日提交的美国临时申请号62/679,671的权益，所述申请通过引用以其全文并入本文。
背景技术
荧光，包括标记到诸如细胞、纳米颗粒、小分子和肽等其他结构的荧光分子的使用，可用于医学成像中的器官、器官子结构、组织和潜在地细胞识别。例如，荧光染料可以可见(例如，蓝色、绿色、黄色、红色)和/或红外、紫外或近红外波长来发射。尽管通常可通过肉眼检测可见光荧光，但是对红外(IR)光和近红外(NIR)光的检测通常需要附加的仪器来观察。红外和近红外可以是用于医学成像的有益波长范围。红外、近红外和长波长可见光的益处可能与增加的穿透深度、不存在明显的固有荧光、血液(血红蛋白)或水的低吸收有关。在医疗应用中，可能是有益的是具有能够同时对可见光和红外或近红外图像两者进行成像的成像系统，使得外科医生可在例如标记有红外荧光团的组织中操作并且不间断地这样做而不必在成像模式之间切换。
此外，为了对来自组织的荧光进行成像，成像系统将需要具有检测少量荧光(例如，来自粘附到组织或已被组织吸收的荧光染料)的能力和灵敏度。传统上，红外荧光系统使用敏感传感器来检测红外光，同时使用传统的卤素光源来激发染料。虽然这种现有仪器可能够从这种红外光源产生图像，但是由于低效卤素照明以及激发波长周围的较低能量光源，灵敏度可能不太理想，从而产生低效且非最优的红外图像。尽管已使用激光器来实现更高的吸收并且因此增加红外或近红外染料的荧光，但是至少在一些情况下所产生的图像可能不太理想。
发明内容
本公开描述了一种用于荧光和可见光成像的系统和方法，所述系统和方法解决了现有系统中的至少一些问题。本文公开的系统和方法能够以不可察觉的延迟产生和组合可见和荧光图像，并且提供高荧光灵敏度，从而减少对手术工作流程的破坏，并且改善手术显微镜的易用性。所述系统和方法可用作独立的成像设备或与诸如手术显微镜、外窥镜或外科手术机器人等外科手术器械结合使用。在一些实施方案中，激发光与从样本接收到的所述荧光同轴地引导到样本，这可减少阴影并且有助于确保可正确地识别用荧光标记物标记的组织。在一些实施方案中，可见光成像光学器件的观察轴线可与激发光和荧光轴线同轴，以便改善在光学器件与成像组织之间延伸的距离范围内的荧光图像和可见图像的配准。所述系统和方法可包括分束器，以将可见光朝向目镜透射并且将荧光朝向检测器反射，其中所述可见光的一部分朝向检测器反射以产生具有反射光的可见图像。反射的可见光量可远小于透射光，以诸如外科医生等用户容易通过目镜观察所述组织，同时利用所述检测器生成可见光图像以与荧光图像组合。在一些实施方案中，与用于产生所述可见图像的光相比，所述激发光和所述荧光包括波长长于约650nm的光，以便向所述组织中提供增加的穿透深度。
在一些实施方案中，所述系统包括：一个或多个照明源，其中的一者或多者是具有或不具有由仪器控制的可见光照明的一个或多个窄带激光器；用于照射靶标的一组光学器件；用于收集产生的荧光的一组光学器件；用于去除激光器照明光的滤光器；以及用于捕获荧光和可见光的一个或多个传感器。
在一个方面中，本文公开了一种用于对样本进行成像的成像系统，所述成像系统包括：检测器，所述检测器用于形成所述样本的荧光图像以及所述样本的可见图像；光源，所述光源被配置为发射激发光以便从所述样本诱发荧光；以及多个光学器件，所述多个光学器件被布置为将所述激发光引向所述样本并且从所述样本接收荧光和可见光，以在所述检测器上形成所述样本的荧光图像以及所述样本的可见光图像，其中所述激发光与从所述样本接收到的荧光基本上同轴地引导到所述样本以便减少阴影。在一些实施方案中，所述激发光包括红外光，并且任选地其中所述红外光包括近红外光。在一些实施方案中，所述多个光学器件包括用于将红外光和可见光引导到所述检测器的二向色短通分束器。在一些实施方案中，所述检测器包括多个检测器，并且任选地其中所述可见图像包括彩色图像。在一些实施方案中，所述多个检测器包括用于生成彩色图像的第一检测器以及用于生成所述红外图像的第二检测器。在一些实施方案中，本文的所述成像系统还包括ASIC或处理器，所述ASIC或处理器被配置为具有用于生成所述样本的合成图像的指令，所述合成图像包括覆盖有来自所述样本的所述可见图像的所述荧光图像。在一些实施方案中，所述光源包括：激光器或窄带光源；光学光导，所述光学光导耦合到所述激光器或窄带光源；准直透镜，所述光导结束于所述准直透镜中；激光净化滤光器；电介质镜；漫射器；孔；或其组合。在一些实施方案中，所述窄带光源产生波长介于以下范围内的光：700nm至800nm、650nm至900nm或700nm至900nm。在一些实施方案中，所述激光器产生波长介于以下范围内的光：650nm至4000nm或700nm至3000nm。在一些实施方案中，所述波长包括750nm至950nm、760nm、825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm、790nm至795nm或785nm。在一些实施方案中，所述准直透镜被配置为使来自所述光学光导的透射光准直，从而产生准直光。在一些实施方案中，所述光学光导是光纤线缆、液体或固体/塑料光导、液体光导、波导、或能够透射红外或近红外光的任何其他光导。在一些实施方案中，所述激光净化滤光器被配置为减小所述红外光的带宽。在一些实施方案中，所述电介质镜被配置为反射所述红外光，使得所述电介质镜的入射光和反射光具有约90度的交叉角。在一些实施方案中，所述电介质镜被配置为反射所述红外光，使得所述电介质镜的入射光和反射光具有约60度至约120度的交叉角。在一些实施方案中，所述漫射器被配置为使所述红外光以一个或多个计算角度漫射。在一些实施方案中，所述一个或多个计算角度介于30度至150度的范围内。在一些实施方案中，所述孔被配置为使所述红外光的至少部分通过。如前述权利要求中任一所述的系统，其中所述红外光的激发与从所述样本收集的荧光或可见光基本上同轴。在一些实施方案中，所述孔位于近红外镜中。在一些实施方案中，所述孔的形状和大小被确定成允许所述样本在显微镜的视野内的均匀分布照明。在一些实施方案中，所述多个光学器件包括二向色短通分束器，其中所述二向色短通分束器被配置为使波长不大于700nm的光以90％至95％的效率以一个或多个指定入射角通过。在一些实施方案中，可见光从所述成像系统外部的显微镜、内窥镜、外窥镜、外科手术机器人或手术室照明引导。在一些实施方案中，所述多个光学器件还包括次二向色短通分束器。在一些实施方案中，本文的成像系统还包括二向色长通分束器。在一些实施方案中，所述红外光沿红外光学路径传递到所述样本，并且从所述样本接收到的所述荧光沿荧光光学路径接收，并且其中所述荧光光学路径在分束器处与所述红外光学路径重叠。在一些实施方案中，所述红外光学路径和所述荧光光学路径基本上同轴。在一些实施方案中，基本上同轴包括两个光学路径的交叉角小于20度、15度、10度、5度、2度或1度。
在另一个方面中，本文公开了一种用于对样本进行成像的方法，所述方法包括：通过光源发射红外或近红外光以从样本诱发荧光；通过多个光学器件将所述红外或近红外光引导到所述样本；通过所述多个光学器件在检测器处接收来自所述样本的所述荧光，其中所述红外或近红外光与从所述样本接收到的荧光基本上同轴地引导到所述样本以便减少阴影；以及在所述检测器上形成所述样本的荧光图像以及所述样本的可见光图像。在一些实施方案中，本文的方法包括使用本文公开的成像系统。在一些实施方案中，所述样本是器官、器官子结构、组织或细胞。在一些实施方案中，对器官、器官子结构、组织或细胞进行成像的方法包括利用本文的成像系统对所述器官、所述器官子结构、所述组织或所述细胞进行成像。在一些实施方案中，所述方法还包括检测恶性肿瘤或病变区域、组织、结构或细胞。在一些实施方案中，所述方法还包括对受试者执行外科手术。在一些实施方案中，所述方法还包括治疗恶性肿瘤。在一些实施方案中，所述方法还包括摘除受试者的所述恶性肿瘤或所述病变区域、组织、结构或细胞。在一些实施方案中，所述方法还包括在外科手术摘除后对受试者的所述恶性肿瘤或病变区域、组织、结构或细胞进行成像。在一些实施方案中，使用荧光成像来执行检测。在一些实施方案中，所述荧光成像检测可检测剂，所述可检测剂包括染料、荧光团、荧光生物素化合物、发光化合物或化学发光化合物。
在另一个方面中，如本文所公开的是一种在有需要的受试者体内进行治疗或检测的方法，所述方法包括施用伴随诊断剂、治疗剂或显像剂，其中通过本文所述的系统和方法来检测所述伴随诊断剂或显像剂。在另一个实施方案中，施用伴随诊断的方法包括使用本文所述系统的各种方法中的任一种。在另一个实施方案中，所述诊断或显像剂包括化学剂、放射性标记剂、放射增敏剂、荧光团、显像剂、诊断剂、蛋白质、肽或小分子。在另一个实施方案中，所述系统并入有放射学或荧光，包括X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞术、医学摄影、核医学功能成像技术、正电子发射断层扫描摄影术(PET)、单光子发射计算机断层扫描摄影术(SPECT)、外科手术器械、手术显微镜、共聚焦显微镜、荧光镜、外窥镜或外科手术机器人。在另一个实施方案中，所述系统和方法用于检测治疗剂或对剂的安全性和生理效应进行评估。在另一个实施方案中，由所述系统和方法检测的安全性和生理效应是剂的生物利用率、摄取、浓度、存在、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液和/或组织中浓度的测量、评估治疗窗口、范围和优化。
在另一个实施方案中，本公开的方法与以下项组合或集成到其中：外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人，包括KINEVO 900、QEVO、CONVIVO、OMPI PENTERO 900、OMPI PENTERO 800、INFRARED 800、FLOW 800、OMPI LUMERIA、OMPI Vario、OMPI VARIO 700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW 800、LeicaM530 OHX、Leica M530 OH6、Leica M720OHX5、Leica M525 F50、Leica M525 F40、LeicaM525 F20、Leica M525OH4、Leica HD C100、Leica FL560、Leica FL400、Leica FL800、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、LeicaTCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、Leica TCSSP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000以及Intuitive Surgical da Vinci外科手术机器人。
在另一个方面中，如本文所公开的，本公开的系统与外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人组合或集成到其中。在另一个实施方案中，所述外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人包括KINEVO900、QEVO、CONVIVO、OMPI PENTERO 900、OMPI PENTERO 800、INFRARED 800、FLOW 800、OMPILUMERIA、OMPI Vario、OMPI VARIO 700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW800、Leica M530 OHX、Leica M530 OH6、Leica M720 OHX5、Leica M525 F50、Leica M525F40、Leica M525 F20、Leica M525 OH4、Leica HD C100、Leica FL560、Leica FL400、LeicaFL800、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、LeicaTCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000以及Intuitive Surgical da Vinci外科手术机器人。
本文提供的另一个方面是一种用于对样本进行成像的成像系统，所述成像系统包括：检测器，所述检测器被配置为形成所述样本的荧光图像并且形成所述样本的可见图像；光源，所述光源被配置为发射激发光以从所述样本诱发荧光；以及多个光学器件，所述多个光学器件被布置为：将所述激发光引向所述样本；以及将荧光和可见光从所述样本引导到所述检测器；其中所述激发光和所述荧光基本上同轴地引导。
在一些实施方案中，所述激发光包括红外光。在一些实施方案中，所述红外光包括近红外光。在一些实施方案中，所述多个光学器件包括用于将所述红外光和所述可见光引导到所述检测器的二向色短通分束器。在一些实施方案中，所述检测器包括多个检测器，并且其中所述可见图像包括彩色图像。在一些实施方案中，所述多个检测器包括用于生成彩色图像的第一检测器以及用于生成所述红外图像的第二检测器。在一些实施方案中，所述系统还包括：激光器；光学光导，所述光学光导耦合到所述激光器或窄带光源；准直透镜，所述光导结束于所述准直透镜中；激光净化滤光器；电介质镜；漫射器；孔；或其组合。在一些实施方案中，所述光源发射由荧光团吸收的波长。在一些实施方案中，所述光源是窄带光源。
在一些实施方案中，所述窄带光源产生具有以下波长的光：700nm至800nm、650nm至900nm、700nm至900nm、340nm至400nm、360nm至420nm、380nm至440nm或400nm至450nm。在一些实施方案中，所述窄带光源产生具有以下波长的光：约300nm至约900nm。在一些实施方案中，所述窄带光源产生具有以下波长的光：约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约300nm至约550nm、约300nm至约600nm、约300nm至约650nm、约300nm至约700nm、约300nm至约750nm、约300nm至约800nm、约300nm至约900nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约350nm至约550nm、约350nm至约600nm、约350nm至约650nm、约350nm至约700nm、约350nm至约750nm、约350nm至约800nm、约350nm至约900nm、约400nm至约450nm、约400nm至约500nm、约400nm至约550nm、约400nm至约600nm、约400nm至约650nm、约400nm至约700nm、约400nm至约750nm、约400nm至约800nm、约400nm至约900nm、约450nm至约500nm、约450nm至约550nm、约450nm至约600nm、约450nm至约650nm、约450nm至约700nm、约450nm至约750nm、约450nm至约800nm、约450nm至约900nm、约500nm至约550nm、约500nm至约600nm、约500nm至约650nm、约500nm至约700nm、约500nm至约750nm、约500nm至约800nm、约500nm至约900nm、约550nm至约600nm、约550nm至约650nm、约550nm至约700nm、约550nm至约750nm、约550nm至约800nm、约550nm至约900nm、约600nm至约650nm、约600nm至约700nm、约600nm至约750nm、约600nm至约800nm、约600nm至约900nm、约650nm至约700nm、约650nm至约750nm、约650nm至约800nm、约650nm至约900nm、约700nm至约750nm、约700nm至约800nm、约700nm至约900nm、约750nm至约800nm、约750nm至约900nm或约800nm至约900nm。在一些实施方案中，所述窄带光源产生具有以下波长的光：约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm或约900nm。在一些实施方案中，所述窄带光源产生具有以下波长的光：至少约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm或约800nm。在一些实施方案中，所述窄带光源产生具有以下波长的光：至多约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约750nm、约800nm或约900nm。
在一些实施方案中，所述窄带光源发射具有NIR相机可见的频率的光，并且其中所述系统还包括耦合到光学光导的透镜。
在一些实施方案中，所述激光器产生具有以下波长的光：650nm至4000nm、700nm至3000nm或340nm至450nm。在一些实施方案中，所述激光器产生具有以下波长的光：750nm至950nm、760nm、825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm或790nm至795nm。在一些实施方案中，所述激光器产生具有以下波长的光：约300nm至约1,000nm。在一些实施方案中，所述激光器产生具有以下波长的光：约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约300nm至约550nm、约300nm至约600nm、约300nm至约650nm、约300nm至约700nm、约300nm至约800nm、约300nm至约900nm、约300nm至约1,000nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约350nm至约550nm、约350nm至约600nm、约350nm至约650nm、约350nm至约700nm、约350nm至约800nm、约350nm至约900nm、约350nm至约1,000nm、约400nm至约450nm、约400nm至约500nm、约400nm至约550nm、约400nm至约600nm、约400nm至约650nm、约400nm至约700nm、约400nm至约800nm、约400nm至约900nm、约400nm至约1,000nm、约450nm至约500nm、约450nm至约550nm、约450nm至约600nm、约450nm至约650nm、约450nm至约700nm、约450nm至约800nm、约450nm至约900nm、约450nm至约1,000nm、约500nm至约550nm、约500nm至约600nm、约500nm至约650nm、约500nm至约700nm、约500nm至约800nm、约500nm至约900nm、约500nm至约1,000nm、约550nm至约600nm、约550nm至约650nm、约550nm至约700nm、约550nm至约800nm、约550nm至约900nm、约550nm至约1,000nm、约600nm至约650nm、约600nm至约700nm、约600nm至约800nm、约600nm至约900nm、约600nm至约1,000nm、约650nm至约700nm、约650nm至约800nm、约650nm至约900nm、约650nm至约1,000nm、约700nm至约800nm、约700nm至约900nm、约700nm至约1,000nm、约800nm至约900nm、约800nm至约1,000nm或约900nm至约1,000nm。在一些实施方案中，所述激光器产生具有以下波长的光：约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约800nm、约900nm或约1,000nm。在一些实施方案中，所述激光器产生具有以下波长的光：至少约300nm、约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约800nm或约900nm。在一些实施方案中，所述激光器产生具有以下波长的光：至多约350nm、约400nm、约450nm、约500nm、约550nm、约600nm、约650nm、约700nm、约800nm、约900nm或约1,000nm。
在一些实施方案中，准直透镜被配置为使所述激发光、所述荧光和所述可见光准直。在一些实施方案中，所述光学光导是光纤线缆、实心光导、塑料光导、液体光导、波导或其任何组合。在一些实施方案中，其中所述激光净化滤光器被配置为减小所述激发光的带宽。在一些实施方案中，所述光源包括：宽带光源；光学光导，所述光学光导耦合到所述宽带光源；或两者。在一些实施方案中，所述宽带光源包括一个或多个LED、氙气灯泡、卤素灯泡、一个或多个或激光器、太阳光、荧光照明或其组合。在一些实施方案中，所述宽带光源发射可见波长、由荧光团吸收的波长或两者。在一些实施方案中，所述宽带光源发射具有NIR相机可见的频率的光，并且其中所述系统还包括耦合到所述光学光导的透镜。在一些实施方案中，所述系统包括多个光源，其中所述系统还包括以下项中的一者或多者以将多个光源组合到单个同轴路径中：光学衰减器，所述光学衰减器包括二向色滤光器、二向色镜、遮光器或其任何组合；每个光源处的滤光器、用于激发光的波长范围的净化滤光器；用于所述激发光的波长范围的短通滤光器；光学光导；或照明光学器件。在一些实施方案中，所述系统还包括：激光净化滤光器；短通(SP)镜；长通(LP)镜；电介质镜；漫射器；孔；或其组合。
在一些实施方案中，所述电介质镜被配置为反射所述激发光，使得所述激发光与所述反射的激发光具有约60度至约120度的交叉角。在一些实施方案中，所述电介质镜被配置为反射所述激发光，使得激发光与所述反射的激发光具有以下交叉角：约60度至约75度、约60度至约80度、约60度至约85度、约60度至约90度、约60度至约95度、约60度至约100度、约60度至约105度、约60度至约110度、约60度至约115度、约60度至约120度、约75度至约80度、约75度至约85度、约75度至约90度、约75度至约95度、约75度至约100度、约75度至约105度、约75度至约110度、约75度至约115度、约75度至约120度、约80度至约85度、约80度至约90度、约80度至约95度、约80度至约100度、约80度至约105度、约80度至约110度、约80度至约115度、约80度至约120度、约85度至约90度、约85度至约95度、约85度至约100度、约85度至约105度、约85度至约110度、约85度至约115度、约85度至约120度、约90度至约95度、约90度至约100度、约90度至约105度、约90度至约110度、约90度至约115度、约90度至约120度、约95度至约100度、约95度至约105度、约95度至约110度、约95度至约115度、约95度至约120度、约100度至约105度、约100度至约110度、约100度至约115度、约100度至约120度、约105度至约110度、约105度至约115度、约105度至约120度、约110度至约115度、约110度至约为120度、或约115度至约120度。在一些实施方案中，所述电介质镜被配置为反射所述激发光，使得激发光与所述反射的激发光具有以下交叉角：约60度、约75度、约80度、约85度、约90度、约95度、约100度、约105度、约110度、约115度、或约120度。在一些实施方案中，所述电介质镜被配置为反射所述激发光，使得激发光与所述反射的激发光具有以下交叉角：至少约60度、约75度、约80度、约85度、约90度、约95度、约100度、约105度、约110度、或约115度。在一些实施方案中，所述电介质镜被配置为反射所述激发光，使得激发光与所述反射的激发光具有以下交叉角：至多约75度、约80度、约85度、约90度、约95度、约100度、约105度、约110度、约115度、或约120度。
在一些实施方案中，所述漫射器被配置为使所述激发光漫射。在一些实施方案中，所述孔被配置为使所述激发光的至少部分通过。在一些实施方案中，所述孔位于近红外镜中。在一些实施方案中，所述孔具有形状和大小，并且其中所述孔的所述形状和所述孔的所述大小中的至少一者被配置为允许所述样本在显微镜的视野内的均匀分布照明。在一些实施方案中，激发光包括蓝光或紫外光。
在一些实施方案中，所述蓝光或紫外光包括具有以下波长的光：10nm至约460nm、约10nm至约400nm或约400nm至约460nm。在一些实施方案中，所述蓝光或紫外光包括具有以下波长的光：约10nm至约500nm。在一些实施方案中，所述蓝光或紫外光包括具有以下波长的光：约10nm至约50nm、约10nm至约100nm、约10nm至约150nm、约10nm至约200nm、约10nm至约250nm、约10nm至约300nm、约10nm至约350nm、约10nm至约400nm、约10nm至约450nm、约10nm至约500nm、约50nm至约100nm、约50nm至约150nm、约50nm至约200nm、约50nm至约250nm、约50nm至约300nm、约50nm至约350nm、约50nm至约400nm、约50nm至约450nm、约50nm至约500nm、约100nm至约150nm、约100nm至约200nm、约100nm至约250nm、约100nm至约300nm、约100nm至约350nm、约100nm至约400nm、约100nm至约450nm、约100nm至约500nm、约150nm至约200nm、约150nm至约250nm、约150nm至约300nm、约150nm至约350nm、约150nm至约400nm、约150nm至约450nm、约150nm至约500nm、约200nm至约250nm、约200nm至约300nm、约200nm至约350nm、约200nm至约400nm、约200nm至约450nm、约200nm至约500nm、约250nm至约300nm、约250nm至约350nm、约250nm至约400nm、约250nm至约450nm、约250nm至约500nm、约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约400nm至约450nm、约400nm至约500nm或约450nm至约500nm。在一些实施方案中，所述蓝光或紫外光包括具有以下波长的光：约10nm、约50nm、约100nm、约150nm、约200nm、约250nm、约300nm、约350nm、约400nm、约450nm或约500nm。在一些实施方案中，所述蓝光或紫外线光包括具有以下波长的光：至少约10nm、约50nm、约100nm、约150nm、约200nm、约250nm、约300nm、约350nm、约400nm或约450nm。在一些实施方案中，所述蓝光或紫外光包括具有以下波长的光：至多约50nm、约100nm、约150nm、约200nm、约250nm、约300nm、约350nm、约400nm、约450nm或约500nm。
在一些实施方案中，所述多个光学器件包括二向色短通分束器，其中所述二向色短通分束器被配置为使波长至多700nm的光以90％至95％的效率以一个或多个指定入射角通过。
在一些实施方案中，所述一个或多个指定角度介于30度至150度的范围内。在一些实施方案中，所述一个或多个指定角度为约30度至约150度。在一些实施方案中，所述一个或多个指定角度为约30度至约40度、约30度至约50度、约30度至约60度、约30度至约70度、约30度至约80度、约30度至约90度、约30度至约100度、约30度至约110度、约30度至约120度、约30度至约130度、约30度至约150度、约40度至约50度、约40度至约60度、约40度至约70度、约40度至约80度、约40度至约90度、约40度至约100度、约40度至约110度、约40度至约120度、约40度至约130度、约40度至约150度、约50度至约60度、约50度至约70度、约50度至约80度、约50度至约90度、约50度至约100度、约50度至约110度、约50度至约120度、约50度至约130度、约50度至约150度、约60度至约70度，约60度至约80度、约60度至约90度、约60度至约100度、约60度至约110度、约60度至约120度、约60度至约130度、约60度至约150度、约70度至约80度、约70度至约90度、约70度至约100度、约70度至约110度、约70度至约120度、约70度至约130度、约70度至约150度、约80度至约90度、约80度至约100度、约80度至约110度、约80度至约120度、约80度至约130度、约80度至约150度、约90度至约100度、约90度至约110度、约90度至约120度、约90度至约130度、约90度至约150度、约100度至约110度、约100度至约120度、约100度至约130度、约100度至约150度、约110度至约120度、约110度至约130度、约110度至约150度、约120度至约130度、约120度至约150度、或约130度至约150度。在一些实施方案中，所述一个或多个指定角度为约30度、约40度、约50度、约60度、约70度、约80度、约90度、约100度、约110度、约120度、约130度、或约150度。在一些实施方案中，所述一个或多个指定角度为至少约30度、约40度、约50度、约60度、约70度、约80度、约90度、约100度、约110度、约120度、或约130度。在一些实施方案中，所述一个或多个指定角度为至多约40度、约50度、约60度、约70度、约80度、约90度、约100度、约110度、约120度、约130度、或约150度。
在一些实施方案中，所述可见光从所述成像系统外部的显微镜、内窥镜、外窥镜、外科手术机器人或手术室照明引导。在一些实施方案中，所述系统还包括锁定键，所述锁定键被配置为将成像头牢固地锁定在所述显微镜上。在一些实施方案中，所述多个光学器件还包括次二向色短通分束器。在一些实施方案中，所述系统还包括二向色长通分束器。在一些实施方案中，所述激发光与所述荧光在所述分束器处基本上重叠。在一些实施方案中，基本上同轴包括两个光学路径的交叉角小于20度、15度、10度、5度、2度或1度。在一些实施方案中，所述系统还包括物理衰减器，所述物理衰减器被配置为阻挡来自所述检测器、所述光源和所述多个光学器件中的一者、两者或更多者的环境光。在一些实施方案中，所述物理衰减器包括护罩、罩子、套筒、灯罩或挡板。在一些实施方案中，所述系统还包括专用集成电路(ASIC)或处理器，其中所述ASIC和所述处理器中的至少一者被配置有用于生成所述样本的合成图像的指令，所述合成图像包括覆盖有所述可见图像的荧光图像。
本文提供的另一个方面是一种用于对样本进行成像的方法，所述方法包括：通过光源发射红外或近红外光以从样本诱发荧光；通过多个光学器件将所述红外或近红外光引导到所述样本；通过所述多个光学器件在检测器处接收来自所述样本的所述荧光，其中所述红外或近红外光与从所述样本接收到的荧光基本上同轴地引导到所述样本以便减少阴影；以及在所述检测器上形成所述样本的荧光图像以及所述样本的可见光图像。在一些实施方案中，使用本文的系统执行所述方法。在一些实施方案中，所述样本是器官、器官子结构、组织或细胞。
本文提供的另一个方面是一种对器官、器官子结构、组织或细胞进行成像的方法，所述方法包括：利用本文的系统对所述器官、器官子结构、组织或细胞进行成像。在一些实施方案中，所述方法还包括检测恶性肿瘤或病变区域、组织、结构或细胞。在一些实施方案中，所述方法还包括对受试者执行外科手术。在一些实施方案中，所述外科手术包括摘除受试者的所述恶性肿瘤或所述病变区域、组织、结构或细胞。在一些实施方案中，所述方法还包括在外科手术摘除后对受试者的所述恶性肿瘤或病变区域、组织、结构或细胞进行成像。在一些实施方案中，使用荧光成像来执行成像或检测。在一些实施方案中，所述荧光成像检测可检测剂，所述可检测剂包括染料、荧光团、荧光生物素化合物、发光化合物或化学发光化合物。在一些实施方案中，所述可检测剂吸收介于约200mm至约900mm之间的波长。在一些实施方案中，所述可检测剂包括DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或吲哚菁绿(ICG)以及前述的任何衍生物；荧光素和荧光素染料(例如，异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等等)、羰花青(carbocyanine)、部花青、苯乙烯基染料、氧杂菁(oxonol)染料、藻红素、赤藓红、曙红、罗丹明染料(例如，羧基四甲基-罗丹明或TAMRA、羧基罗丹明6G、羧基-X-罗丹明(ROX)、丽丝胺(lissamine)罗丹明B、罗丹明6G、罗丹明绿、罗丹明红、四甲基罗丹明(TMR)等)、香豆素和香豆素染料(例如，甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿(Oregon Green)染料(例如，俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等等)、得克萨斯(Texas)红、得克萨斯红-X、光谱红、光谱绿、花青染料(例如，CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如，ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR594、ALEXA FLUOR 633、ALEXA FLUOR 660、ALEXA FLUOR 680等)、BODIPY染料(例如，BODIPYFL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IRDye(例如，IRD40、IRD 700、IRD 800等)、7-氨基香豆素、二烷基氨基香豆素反应性染料、6,8-二氟-7-羟基香豆素荧光团、羟基香豆素衍生物、烷氧基香豆素衍生物、琥珀酰亚胺酯、芘琥珀酰亚胺酯、吡啶基噁唑衍生物、基于氨基萘的染料、丹磺酰氯、dapoxyl染料、Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、bimane染料、bimane巯基乙酸、NBD染料、QsY 35或其任何组合。在一些实施方案中，所述方法还包括治疗恶性肿瘤。
本文提供的另一个方面是一种治疗或诊断检测的方法，所述方法包括施用伴随诊断剂、治疗剂或伴随显像剂中的至少一种，并且通过本文的系统来检测至少一种此类剂。
本文提供的另一个方面是一种治疗或诊断检测的方法，所述方法包括施用伴随诊断剂、治疗剂或伴随显像剂中的至少一种，并且通过本文的方法来检测至少一种此类剂。在一些实施方案中，所述剂中的至少一种包括化学剂、放射性标记剂、放射增敏剂、荧光团、治疗剂、蛋白质、肽、小分子或其任何组合。在一些实施方案中，所述系统或方法还包括使用以下项中的一者或多者的放射学或荧光：X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞术、医学摄影、核医学功能成像技术、正电子发射断层扫描摄影术(PET)、单光子发射计算机断层扫描摄影术(SPECT)、显微镜、共聚焦显微镜、荧光镜、外窥镜、外科手术机器人、外科手术器械或其任何组合。在一些实施方案中，所述系统或方法进一步使用一个或多个显微镜、共聚焦显微镜、荧光镜、外窥镜、外科手术机器人、外科手术器械或其任何组合来测量荧光。在一些实施方案中，所述显微镜、所述共聚焦显微镜、所述荧光镜、外窥镜、外科手术器械、内窥镜或外科手术机器人中的至少一者包括KINEVO 900、QEVO、CONVIVO、OMPI PENTERO 900、OMPI PENTERO 800、INFRARED 800、FLOW800、OMPI LUMERIA、OMPI Vario、OMPI VARIO 700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW 800、Leica M530 OHX、Leica M530 OH6、Leica M720 OHX5、Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4、Leica HD C100、Leica FL560、LeicaFL400、Leica FL800、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651MSD、LIGHTENING、Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCSSP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCSA、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000、Intuitive Surgical daVinci外科手术机器人或其任何组合。在一些实施方案中，所述方法被配置为：对治疗剂进行检测、成像或评估；对所述伴随诊断剂的安全性或生理效应进行检测、成像或评估；对所述治疗剂的安全性或生理效应进行检测、成像或评估；对所述伴随显像剂的安全性或生理效应进行检测、成像或评估；或其任何组合。在一些实施方案中，所述剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化、或其任何组合。
本文提供的另一个方面是一种在有需要的受试者体内进行治疗或检测的方法，所述方法包括施用伴随诊断剂、治疗剂或显像剂，其中通过本文的系统或方法来检测此类剂。在一些实施方案中，所述剂包括化学剂、放射性标记剂、放射增敏剂、荧光团、治疗剂、显像剂、诊断剂、蛋白质、肽或小分子。在一些实施方案中，所述系统或方法进一步并入有放射学或荧光，包括X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞术、医学摄影、核医学功能成像技术、正电子发射断层扫描摄影术(PET)、单光子发射计算机断层扫描摄影术(SPECT)、外科手术器械、手术显微镜、共聚焦显微镜、荧光镜、外窥镜、或外科手术机器人或其组合。在一些实施方案中，所述系统和方法用于检测治疗剂或对剂的安全性或生理效应进行评估，或两者。在一些实施方案中，所述剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化、或其任何组合。在一些实施方案中，所述方法与以下项组合或集成到其中：外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人，包括KINEVO 900、QEVO、CONVIVO、OMPI PENTERO900、OMPI PENTERO 800、INFRARED 800、FLOW 800、OMPI LUMERIA、OMPI Vario、OMPI VARIO700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW800、Leica M530 OHX、Leica M530OH6、Leica M720 OHX5、Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525OH4、Leica HD C100、Leica FL560、Leica FL400、Leica FL800、Leica DI C500、LeicaULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000以及Intuitive Surgical da Vinci外科手术机器人或其组合。在一些实施方案中，本文的系统与外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜、或外科手术机器人或其组合进行组合或集成到其中。在一些实施方案中，所述外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人包括KINEVO 900、QEVO、CONVIVO、OMPIPENTERO 900、OMPI PENTERO 800、INFRARED 800、FLOW 800、OMPI LUMERIA、OMPI Vario、OMPI VARIO 700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW 800、Leica M530 OHX、Leica M530 OH6、Leica M720 OHX5、Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4、Leica HD C100、Leica FL560、Leica FL400、Leica FL800、Leica DIC500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000以及Intuitive Surgical da Vinci外科手术机器人或其组合。
附图说明
本专利或申请文件包含至少一个彩色附图。应请求并且支付必要的费用后，具有彩色附图的本专利或专利申请公开的副本将由专利局提供。通过参考阐述说明性实施方案和其附图的以下具体实施方案，将获得对本主题的特征和优点的更好理解：
图1A示出了根据一些实施方案的用于利用手术显微镜同时获取本文的红外(IR)或近红外(NIR)荧光和可见光的成像系统和方法的示例性实施方案；
图1B示出了根据一些实施方案的使用成像系统和方法获取的组织中的荧光和可见成像的示例性合成图像；
图2示出了根据一些实施方案的二向色滤光器的示例性实施方案；
图3A示出了根据一些实施方案的具有非同轴照明和成像的示例性成像系统的示意图；
图3B示出了根据一些实施方案的具有同轴照明和成像的示例性成像系统的示意图；
图4示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像的成像系统(在这种情况下，可附接到手术显微镜的双相机系统)和方法的示例性实施方案；
图5A示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的第一示例性单相机成像系统的图示；
图5B示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的第二示例性单相机成像系统的图示；
图5C示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的第三示例性单相机成像系统的图示；
图6A示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的第四示例性单相机成像系统的图示；
图6B示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的第五示例性单相机成像系统的图示；
图7A示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的第三示例性单相机成像系统的图示；
图7B示出了使用本文的成像系统和方法捕获的示例性图像；
图7C示出了根据一些实施方案的由于二向色滤光器的厚度引起的阴影校正的示例性图像；
图7D示出了图7C的高倍放大图像；
图8A示出了根据一些实施方案的示例性成像系统和激发光的路径；
图8B示出了图8A的高倍放大图像；
图9示出了用于收集红外荧光图像、近红外(NIR)荧光图像和环境光(暗背景)图像的帧捕获和激光器开/关触发的示例性时序图；
图10A示出了根据一些实施方案的体外组织中的荧光和可见光成像的示例性图像，其中近红外(NIR)图像具有伪彩色，并且其中可见光变为黑色。
图10B示出了根据一些实施方案的体外组织中的荧光和可见光成像的示例性图像，其中近红外(NIR)图像具有伪彩色，并且其中可见光变为白色。
图10C示出了根据一些实施方案的体外组织中的荧光和可见光成像的示例性图像，其中近红外(NIR)图像具有伪彩色，并且其中可见光变为红色。
图11示出了根据一些实施方案的用于成像头的锁和键的示例性图像；
图12示出了根据一些实施方案的可附接到手术显微镜以同时获取近红外(NIR)荧光和可见光的双相机成像系统(在这种情况下，)的示例性图示；
图13示出了根据一些实施方案的使用图像系统的方法步骤的示例性示意图；
图14示出了根据一些实施方案的数字处理设备(在这种情况下，具有一个或多个CPU、存储器、通信接口和显示器的设备)的非限制性示意图；
图15A示出了根据一些实施方案的使用本文的成像系统和方法获取的组织样本的第一示例性可见图像；
图15B示出了根据一些实施方案的使用本文的成像系统和方法获取的组织样本的第一示例性NIR荧光图像；
图15C示出了根据一些实施方案的使用本文的成像系统和方法获取的组织样本的第一示例性合成可见和荧光图像；
图15D示出了根据一些实施方案的使用本文的成像系统和方法获取的组织样本的第二示例性可见图像；
图15E示出了根据一些实施方案的使用本文的成像系统和方法获取的组织样本的第二示例性NIR荧光图像；
图15F示出了根据一些实施方案的使用本文的成像系统和方法获取的组织样本的第二示例性合成可见和荧光图像；
图16示出了根据一些实施方案的能够同时获取红外或近红外(NIR)荧光和可见光图像两者的示例性双相机成像系统的图示；并且
图17示出了计算设备(在这种情况下，具有一个或多个处理器、存储器、存储装置和网络接口的设备)的非限制性示例。
具体实施方式
与可用于允许测量诸如红外信号等荧光信号的情况相比，用于产生可见光、红外光和近红外光的一些现有系统需要对可见光照明进行更大的控制。然而，在一些情况下，例如在手术间或外科医生将根据观察组织的需要来调整光的其他区域中，对可见光照明的完全或部分控制是不容易获得或不理想的，这对于测量荧光信号可能不太理想。另外，在使用外科手术显微镜执行外科手术的情况下，可通过重新定位显微镜来控制照明以便对来自手术组织的荧光信号进行成像，并且随后在荧光成像完成时将其放回到其原始位置以继续手术。此外，对于诸如卤素灯等光源，荧光团对激发光的吸收是次优的，并且因此这种系统可能无法实现实时或以没有任何可感知的滞后(例如，不大于约100ms)的视频速率同时记录。此外，用于可见和红外或近红外成像的现有系统可能破坏外科技术。例如，当测量荧光时，外科医生可能无法以传统方式使用显微镜(例如，通过目镜观察)。现有系统可能出现的一个问题在于荧光刺激或发射波长和手术显微镜的可见波长的视角可能小于理想的布置，这可能导致不太理想的光学信号和图像配准，从而产生次优、不清晰或不良的图像。另外，荧光信号在一些现有系统中可能表现出“盲点”，使得组织不会明显地发荧光并且看起来是正常的和非癌性的，从而导致在外科手术期间至少在一些情况下无法识别关键的癌性组织。
鉴于上述情况，需要克服现有系统的至少一些上述缺点的系统和方法。理想地，此类系统和方法将利用手术显微镜例如同时地一起提供荧光和可见成像。此外，需要不依赖于重新定位手术显微镜来观察荧光和可见图像的系统，并且在手术和/或病理检查期间连同荧光成像系统提供对手术区域的成像。
本文公开的系统和方法非常适用于在最少中断工作流程的情况下与许多类型的外科手术和其他手术相结合。例如，当前公开的方法和装置非常适用于与先前的手术显微镜和其他成像设备(诸如相机、监视器、外窥镜、外科手术机器人、内窥镜)一起并入，以便改善外科手术工作流程。在一些实施方案中，本文公开的系统和方法能够同时捕获可见光和红外荧光，并且可单独使用(例如，开放场地或内窥镜)或用作诸如手术显微镜等外科手术器械的附接件。例如，本文公开的方法和装置非常适用于与本领域技术人员已知的可商购的手术显微镜组合和并入，诸如可从诸如Zeiss、Leica、Intuitive Surgical以及Haag-Streight等公司和来源商购的那些。所述方法和装置可与本领域技术人员已知的可商购的外科手术机器人系统和内窥镜组合，诸如像可从Intuitive Surgical和其附属公司商购的那些。
成像系统
本文提供了用于检测荧光团发射的成像系统和方法。所述成像系统可包括：检测器、光源和多个光学器件。检测器可被配置为形成样本的荧光图像、形成样本的可见图像、或两者。光源可被配置为发射激发光。激发光可诱发样本的荧光。多个光学器件可被布置为将激发光朝向样本引导、将荧光和可见光从样本引导到检测器、或两者。激发光和荧光可基本同轴地引导。
荧光团可与本文所述的另一个部分共轭(conjugate)或融合，并且用于归属、靶向、迁移、保留、积聚、和/或结合到或指向特定器官、器官内的子结构、组织、靶标或细胞并且与本文的系统和方法结合使用。荧光团发射可包括红外、近红外、蓝光或紫外发射。
在一些实施方案中，所述系统被配置为检测具有约10nm至约200nm的吸收波长的荧光团。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：约10nm至约20nm、约10nm至约30nm、约10nm至约40nm、约10nm至约50nm、约10nm至约75nm、约10nm至约100nm、约10nm至约125nm、约10nm至约150nm、约10nm至约200nm、约20nm至约30nm、约20nm至约40nm、约20nm至约50nm、约20nm至约75nm、约20nm至约100nm、约20nm至约125nm、约20nm至约150nm、约20nm至约200nm、约30nm至约40nm、约30nm至约50nm、约30nm至约75nm、约30nm至约100nm、约30nm至约125nm、约30nm至约150nm、约30nm至约200nm、约40nm至约50nm、约40nm至约75nm、约40nm至约100nm、约40nm至约125nm、约40nm至约150nm、约40nm至约200nm、约50nm至约75nm、约50nm至约100nm、约50nm至约125nm、约50nm至约150nm、约50nm至约200nm、约75nm至约100nm、约75nm至约125nm、约75nm至约150nm、约75nm至约200nm、约100nm至约125nm、约100nm至约150nm、约100nm至约200nm、约125nm至约150nm、约125nm至约200nm或约150nm至约200nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：约10nm、约20nm、约30nm、约40nm、约50nm、约75nm、约100nm、约125nm、约150nm或约200nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：至少约10nm、约20nm、约30nm、约40nm、约50nm、约75nm、约100nm、约125nm或约150nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：至多约20nm、约30nm、约40nm、约50nm、约75nm、约100nm、约125nm、约150nm或约200nm。
在一些实施方案中，本文的系统和方法检测荧光团发射。荧光团发射可包括紫外发射。紫外发射可具有10nm至400nm并且至少蓝光光谱中的450nm或460nm的波长，包括具有以下波长的荧光团：在本文公开的范围内的吸收波长，包括：10nm至20nm、20nm至30nm、30nm至40nm、40nm至50nm、50nm至60nm、60nm至70nm、70nm至80nm、80nm至90nm、90nm至100nm、100nm至110nm、110nm至120nm、120nm至130nm、130nm至140nm、140nm至150nm、150nm至160nm、160nm至170nm、170nm至180nm、180nm至190nm、190nm至200nm、200nm至210nm、210nm至220nm、220nm至230nm、230nm至240nm、240nm至250nm、250nm至260nm、260nm至270nm、270nm至280nm、280nm至290nm、290nm至300nm、300nm至310nm、310nm至320nm、320nm至330nm、330nm至340nm、340nm至350nm、350nm至360nm、360nm至370nm、370nm至380nm、380nm至390nm、390nm至400nm、400nm至410nm、410nm至420nm、420nm至430nm、430nm至440nm、440nm至450nm、450nm至460nm、300nm至350nm、325nm至375nm、350nm至400nm、400nm至450nm；在340nm至400nm、360nm至420nm、380nm至440nm、400nm至450nm、400nm至460nm范围内的波长；或这些前述范围中的任一个内的任何波长。
在一些实施方案中，所述系统被配置为检测具有约200nm至约1,000nm的吸收波长的荧光团。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：约200nm至约250nm、约200nm至约300nm、约200nm至约350nm、约200nm至约400nm、约200nm至约450nm、约200nm至约500nm、约200nm至约600nm、约200nm至约700nm、约200nm至约800nm、约200nm至约900nm、约200nm至约1,000nm、约250nm至约300nm、约250nm至约350nm、约250nm至约400nm、约250nm至约450nm、约250nm至约500nm、约250nm至约600nm、约250nm至约700nm、约250nm至约800nm、约250nm至约900nm、约250nm至约1,000nm、约300nm至约350nm、约300nm至约400nm、约300nm至约450nm、约300nm至约500nm、约300nm至约600nm、约300nm至约700nm、约300nm至约800nm、约300nm至约900nm、约300nm至约1,000nm、约350nm至约400nm、约350nm至约450nm、约350nm至约500nm、约350nm至约600nm、约350nm至约700nm、约350nm至约800nm，约350nm至约900nm、约350nm至约1,000nm、约400nm至约450nm、约400nm至约500nm、约400nm至约600nm、约400nm至约700nm、约400nm至约800nm、约400nm至约900nm、约400nm至约1,000nm、约450nm至约500nm、约450nm至约600nm、约450nm至约700nm、约450nm至约800nm、约450nm至约900nm、约450nm至约1,000nm、约500nm至约600nm、约500nm至约700nm、约500nm至约800nm、约500nm至约900nm、约500nm至约1,000nm、约600nm至约700nm、约600nm至约800nm、约600nm至约900nm、约600nm至约1,000nm、约700nm至约800nm、约700nm至约900nm、约700nm至约1,000nm、约800nm至约900nm、约800nm至约1,000nm或约900nm至约1,000nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：约200nm、约250nm、约300nm、约350nm、约400nm、约450nm、约500nm、约600nm、约700nm、约800nm、约900nm或约1,000nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：至少约200nm、约250nm、约300nm、约350nm、约400nm、约450nm、约500nm、约600nm、约700nm、约800nm或约900nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：至多约250nm、约300nm、约350nm、约400nm、约450nm、约500nm、约600nm、约700nm、约800nm、约900nm或约1,000nm。
在一些实施方案中，所述系统被配置为检测具有约1,000nm至约4,000nm的吸收波长的荧光团。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：约1,000nm至约1,250nm、约1,000nm至约1,500nm、约1,000nm至约1,750nm、约1,000nm至约2,000nm、约1,000nm至约2,250nm、约1,000nm至约2,500nm、约1,000nm至约2,750nm、约1,000nm至约3,000nm、约1,000nm至约3,250nm、约1,000nm至约3,500nm、约1,000nm至约4,000nm、约1,250nm至约1,500nm、约1,250nm至约1,750nm、约1,250nm至约2,000nm、约1,250nm至约2,250nm、约1,250nm至约2,500nm、约1,250nm至约2,750nm、约1,250nm至约3,000nm、约1,250nm至约3,250nm、约1,250nm至约3,500nm、约1,250nm至约4,000nm、约1,500nm至约1,750nm、约1,500nm至约2,000nm、约1,500nm至约2,250nm、约1,500nm至约2,500nm、约1,500nm至约2,750nm、约1,500nm至约3,000nm、约1,500nm至约3,250nm、约1,500nm至约3,500nm、约1,500nm至约4,000nm、约1,750nm至约2,000nm、约1,750nm至约2,250nm、约1,750nm至约2,500nm、约1,750nm至约2,750nm、约1,750nm至约3,000nm、约1,750nm至约3,250nm，约1,750nm至约3,500nm、约1,750nm至约4,000nm、约2,000nm至约2,250nm、约2,000nm至约2,500nm、约2,000nm至约2,750nm、约2,000nm至约3,000nm、约2,000nm至约3,250nm、约2,000nm至约3,500nm、约2,000nm至约4,000nm、约2,250nm至约2,500nm、约2,250nm至约2,750nm、约2,250nm至约3,000nm、约2,250nm至约3,250nm、约2,250nm至约3,500nm、约2,250nm至约4,000nm、约2,500nm至约2,750nm、约2,500nm至约3,000nm、约2,500nm至约3,250nm、约2,500nm至约3,500nm、约2,500nm至约4,000nm、约2,750nm至约3,000nm、约2,750nm至约3,250nm、约2,750nm至约3,500nm、约2,750nm至约4,000nm、约3,000nm至约3,250nm、约3,000nm至约3,500nm、约3,000nm至约4,000nm、约3,250nm至约3,500nm、约3,250nm至约4,000nm或约3,500nm至约4,000nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：约1,000nm、约1,250nm、约1,500nm、约1,750nm、约2,000nm、约2,250nm、约2,500nm、约2,750nm、约3,000nm、约3,250nm、约3,500nm或约4,000nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：至少约1,000nm、约1,250nm、约1,500nm、约1,750nm、约2,000nm、约2,250nm、约2,500nm、约2,750nm、约3,000nm、约3,250nm或约3,500nm。在一些实施方案中，所述系统被配置为检测具有以下吸收波长的荧光团：至多约1,250nm、约1,500nm、约1,750nm、约2,000nm、约2,250nm、约2,500nm、约2,750nm、约3,000nm、约3,250nm、约3,500nm或约4,000nm。
参考图1A，在特定实施方案中，本文的成像系统100与显微镜101一起使用，例如，外科手术显微镜，以用于使来自组织105的荧光信号和可见光同时成像。在此实施方案中，来自组织的荧光发射的照明轴线103与成像轴线104同轴。换句话说，激发源的光与成像系统100和/或手术显微镜101的成像轴线同轴。在此实施方案中，显微镜包括可见光源101a，以用于向成像系统提供可见光。
图1B示出了使用本文的成像系统和方法生成的示例性图像。在此特定实施方案中，荧光组织102靠近图像显示器107的视野的中心。在此实施方案中，荧光图像叠加在可见图像上，并且叠加的合成图像显示在外部监视器上。数字处理设备或处理器用于处理和组合图像以供显示。在一些实施方案中，外科医生可使用显微镜直接观察这种可见和荧光图像。在一些实施方案中，外科医生可从手术室中的抬头显示器或能够显示图像的任何其他设备观察这种图像。
成像系统可包括光源和一个或多个光学光导。光源和一个或多个光学光导可被布置为减少来自边缘的衍射，并且减少用激发光、照明光或两者挤满NIR传感器。光源和光学光导的示例性布置在图4、图5A至图5C5C、图6A至图6B、图7A以及图16中示出。
成像系统可包括光源和成像系统。在一些实施方案中，光源位于成像系统100的内部，如图5C所示。在一些实施方案中，光源与成像系统相邻。在一些实施方案中，光源紧邻成像系统定位。在一些实施方案中，光源位于距成像系统约10mm内。
参考图4、图5A至图5C、图6A至图6B、图7A以及图16，在特定实施方案中，光源12产生激发光束，由此激发光束可具有如本文所述的紫外、蓝光、可见、红光、红外或NIR范围内的波长。在此实施方案中，光源12可耦合到光纤13。替代性地，光源可与诸如镜等自由空间光学器件直接耦合。随后可使用准直透镜17使来自光纤13的光准直。在一些实施方案中，激光光谱特征对应于荧光团的峰值吸收值。
在准直之后，可使用带通滤光器(诸如激光净化滤光器16)来净化光并且可减小其光谱带宽。激光净化滤光器16可被配置为使得激发光谱在陷波滤光器处更窄。陷波滤光器可用于阻挡来自靶标的反射激发源光。激光净化滤光器16可包括比陷波滤光器的半峰全宽小的半峰全宽，以便抑制激发束与从样本发射的荧光束之间的串扰。在一些实施方案中，激光净化滤光器和陷波滤光器两者确定光谱带宽。例如，激发源和特定净化滤光器的光谱可被配置为使得通过净化滤光器发射的激发束的光谱宽度比通过宽度陷波滤光器发射的激发束的光谱宽度更窄。如本文所公开的陷波滤光器的光谱宽度可以是透射穿过滤光器的束的半峰全宽尺寸。净化滤光器可具有如本文所述的带通，这取决于所使用的激发波长和荧光团。例如，在一些实施方案中，净化滤光器具有15nm的带通(在25nm处拒绝>4OD)，这取决于所使用的激发波长和荧光团。在一些实施方案中，激光能在5nm范围内的光谱带宽中，其中其余能量在高达但不限于15nm的更宽光谱范围内。
在一些实施方案中，激光净化滤光器将光源的带宽变窄约1％至约90％。在一些实施方案中，激光净化滤光器将光源的带宽变窄约1％至约2％、约1％至约5％、约1％至约10％、约1％至约20％、约1％至约30％、约1％至约40％、约1％至约50％、约1％至约60％、约1％至约70％、约1％至约80％、约1％至约90％、约2％至约5％、约2％至约10％、约2％至约20％、约2％至约30％、约2％至约40％、约2％至约50％、约2％至约60％、约2％至约70％、约2％至约80％、约2％至约90％、约5％至约10％、约5％至约20％、约5％至约30％、约5％至约40％、约5％至约50％、约5％至约60％、约5％至约70％、约5％至约80％、约5％至约90％、约10％至约20％、约10％至约30％、约10％至约40％、约10％至约50％、约10％至约60％、约10％至约70％、约10％至约80％、约10％至约90％、约20％至约30％、约20％至约40％、约20％至约50％、约20％至约60％、约20％至约70％、约20％至约80％、约20％至约90％、约30％至约40％、约30％至约50％、约30％至约60％、约30％至约70％、约30％至约80％、约30％至约90％、约40％至约50％、约40％至约60％、约40％至约70％、约40％至约80％、约40％至约90％、约50％至约60％、约50％至约70％、约50％至约80％、约50％至约90％、约60％至约70％、约60％至约80％、约60％至约90％、约70％至约80％、约70％至约90％、或约80％至约90％。在一些实施方案中，激光净化滤光器将光源的带宽变窄约1％、约2％、约5％、约10％、约20％、约30％、约40％、约50％、约60％、约70％、约80％、或约90％。在一些实施方案中，激光净化滤光器将光源的带宽变窄至少约1％、约2％、约5％、约10％、约20％、约30％、约40％、约50％、约60％、约70％、或约80％。在一些实施方案中，激光净化滤光器将光源的带宽变窄至多约2％、约5％、约10％、约20％、约30％、约40％、约50％、约60％、约70％、约80％、或约90％。
在一些实施方案中，激光净化滤光器将光源的带宽变窄约1nm至约100nm。在一些实施方案中，激光净化滤光器将光源的带宽变窄约1nm至约2nm、约1nm至约5nm、约1nm至约10nm、约1nm至约20nm、约1nm至约30nm、约1nm至约40nm、约1nm至约50nm、约1nm至约60nm、约1nm至约70nm、约1nm至约80nm、约1nm至约100nm、约2nm至约5nm、约2nm至约10nm、约2nm至约20nm、约2nm至约30nm、约2nm至约40nm、约2nm至约50nm、约2nm至约60nm、约2nm至约70nm、约2nm至约80nm、约2nm至约100nm、约5nm至约10nm、约5nm至约20nm、约5nm至约30nm、约5nm至约40nm、约5nm至约50nm、约5nm至约60nm、约5nm至约70nm、约5nm至约80nm、约5nm至约100nm、约10nm至约20nm、约10nm至约30nm、约10nm至约40nm、约10nm至约50nm、约10nm至约60nm、约10nm至约70nm、约10nm至约80nm、约10nm至约100nm、约20nm至约30nm、约20nm至约40nm、约20nm至约50nm、约20nm至约60nm、约20nm至约70nm、约20nm至约80nm、约20nm至约100nm、约30nm至约40nm、约30nm至约50nm、约30nm至约60nm、约30nm至约70nm、约30nm至约80nm、约30nm至约100nm、约40nm至约50nm、约40nm至约60nm、约40nm至约70nm、约40nm至约80nm、约40nm至约100nm、约50nm至约60nm、约50nm至约70nm、约50nm至约80nm、约50nm至约100nm、约60nm至约70nm、约60nm至约80nm、约60nm至约100nm、约70nm至约80nm、约70nm至约100nm或约80nm至约100nm。在一些实施方案中，激光净化滤光器将光源的带宽变窄约1nm、约2nm、约5nm、约10nm、约20nm、约30nm、约40nm、约50nm、约60nm、约70nm、约80nm或约100nm。在一些实施方案中，激光净化滤光器将光源的带宽变窄至少约1nm、约2nm、约5nm、约10nm、约20nm、约30nm、约40nm、约50nm、约60nm、约70nm或约80nm。在一些实施方案中，激光净化滤光器将光源的带宽变窄至多约2nm、约5nm、约10nm、约20nm、约30nm、约40nm、约50nm、约60nm、约70nm、约80nm或约100nm。
在一些实施方案中，净化的光随后被电介质镜15反射。净化的光可以约60度至约120度的角度反射。净化的光可以约90度的角度反射。反射光可随后通过NIR镜4中的孔以计算的角度漫射，以使用漫射器14来与成像光锥匹配。在一些实施方案中，漫射器还确保激发源的光均匀分布以在靶标组织上产生平坦或相对均匀的照明轮廓。激光器12的非限制性示例是BWT 8W二极管激光器。光纤的非限制性示例是105um芯光纤，其中包层为125um、缓冲层为250um和0.22NA、并且长度为100cm＝/-10cm。漫射器14的非限制性示例是Thorlabs 20度圆形工程漫射器(RPC)#ED1-C20。准直透镜的非限制性示例是Thorlabs A110TM-B，f＝6.24mm、NA＝0.40、罗切斯特非球面(Rochester Aspheric)。激光净化滤光器的非限制性示例是DiodeMax 785Semrock-LD01-785/10-12.5。在一些实施方案中，激发光源包括组件9中的一个或多个元件，所述一个或多个元件可包括但不限于准直器17、净化滤光器16、电介质镜15和漫射器14中的一者或多者。在一些实施方案中，使用电介质镜以例如45度与90度之间或90度与135度之间的任何角度反射此净化的光。此外，在其他实施方案中，然而净化的光在有或没有电介质镜的情况下以任何任意角度反射。
继续参考示例性图4，对于二向色短通滤光器6，虽然示出光来自“向下方向”，但是实际上来自垂直于纸张平面的方向。
照明和激发源
在一些实施方案中，所述系统包括一个或多个激发源，所述一个或多个激发源被配置为产生激发束以激发荧光标记的组织并且在所成像的组织区域中刺激荧光。在一些实施方案中，所述系统包括一个或多个照明光源，所述一个或多个照明光源被配置为发射可见光，以便使得诸如外科医生等用户能够观察样本和非荧光方面。
一个或多个照明源可充当激发光源。一个或多个激发源可充当照明光源。照明源和激发源中的至少一者可包括可见光源。可见光可由许多白光或可见光光谱源产生。照明源和激发源中的至少一者可包括宽带光源、窄带激光器、宽带源、窄带光源或其任何组合。照明源和激发源中的至少一者可以是非相干光或相干光。
照明源和激发源中的至少一者可包括白炽灯、气体放电灯、氙气灯、LED、卤素灯或其任何组合。宽带光源可发射NIR光谱光。宽带源可包括耦合到陷波滤光器的发光二极管(LED)。
照明源和激发源中的至少一者可以是可见光、红光、红外(IR)光、近红外(NIR)光、紫外光或蓝光。激发光可包括波长介于约620nm至700nm范围内的红光、波长为约650nm至约700nm的红光、波长为约710nm至约800nm的近红外光或红外光、波长为约780nm至约850nm的近红外光或红外光、波长为约10nm至约400nm的紫外光、波长为约200nm至约400nm的紫外光、波长为约380nm至约460nm的蓝光、或波长为约400nm至约450nm的蓝光。
照明源和激发源中的至少一者可由成像系统控制或不受控制。不受控制的源可以是例如显微镜光源、环境光源或两者。激发光源可包括耦合到带通滤光器的激光器或宽带源(例如，发光二极管(LED))。
在一些实施方案中，激发源具有约720nm、750nm、785nm、790nm、792nm或795nm的波长。在一些实施方案中，激发源具有红外光谱中的波长，包括光波长IR-A(约800nm至1400nm)、IR-B(约1400nm至3μm)以及IR-C(约3μm至1mm)光谱。在一些实施方案中，激发源具有在650nm至4000nm、700nm至3000nm、700nm至800nm、750nm至950nm、760nm至825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm、790nm至795nm的近红外(NIR)光谱中的波长、或在这些前述NIR范围中的任一个内的任何波长。
在一些实施方案中，激发源包括激光器以使靶标(例如，用荧光染料标记的组织)发荧光并且产生荧光发射。激发源可在开与关状态之间交替。除了激发源之外，还可存在或不存在用来照射靶标组织的可见光。在一些实施方案中，如果在本文的系统和方法中存在可见光源，则它可具有开和关状态，使得光可与激发源同步地打开/关闭。在一些实施方案中，可使用诸如来自手术显微镜的外部可见光。在一些实施方案中，外部光具有开和关状态，但是不与激发源的光同步。在其他实施方案中，外部光源可持续地打开或持续地关闭。
图8A示出了光源的照明光电系统的示例性实施方案。在一些实施方案中，本文的系统和方法包括一个或多个分束器、二向色滤光器、二向色镜、或其使用。在一些实施方案中，系统和方法包括主二向色镜和次二向色镜。在一些实施方案中，系统和方法包括一个或多个短通二向色镜和/或一个或多个长通二向色镜。在一些实施方案中，本文的分束器或二向色镜被配置为实现长通：在反射短波长(例如，长波通滤光器或冷镜)时使长波长通过，或实现短通：在反射长波长(例如，短通滤光器热镜)时使短波长通过。在一些实施方案中，本文的可见光被认为是短波长(例如，短于700nm或短于780nm)，而NIR或IR光是长波长(例如，长于780nm)。在一些实施方案中，本文的镜或滤光器包括滤光功能(即，选择性透射功能)和/或镜射功能(即，选择性反射功能)。
尽管本领域技术人员将认识到取决于所用光的强度的变型，但是人眼可在约400nm至约700nm光波长的“可见光”光谱中看到颜色。用目镜和可见光成像系统提供给用户的光通常将包括在此可见范围内的波长。在一些实施方案中，激发束包括比利用目镜透射并与可见成像系统和检测器一起使用的至少一些波长更短的波长，例如在300nm至400nm范围内的波长。在一些实施方案中，激发束包括比利用目镜透射并与可见成像系统和检测器一起使用的至少一些波长更长的波长，例如短于约650nm的波长。在一些实施方案中，激发波长包括大于约700nm的频率。例如，二向色镜/滤光器可包括约-700nm的过渡频率。(例如，这种光学元件也可被称为700nm SP二向色滤光器。)通过示例，短通(SP)二向色滤光器可被配置为允许波长小于约700的过渡频率的光穿过滤光器。根据一些实施方案，这种滤光器可用于透射超过90％的可见光，使得用户看到的图像基本上没有色彩失真，与没有这种滤光器的显微镜相比显示出透过目镜看到的图像的极小调光，这产生了更好的用户体验并且允许外科医生利用减少量的光来更好地可视化外科手术视野，否则光可能会干扰荧光测量。应理解，短通滤光器可替代性地是带通滤光器或陷波滤光器。例如，一个大致“约”700nm SP二向色滤光器可包括FF720-SDi01滤光器，所述滤光器具有针对VIS(可见光)的透射带Tavg＝>90％，这意味着720nm SP二向色滤光器透射>90％的可见光(在400nm与700nm之间)，而同时在荧光发射带中反射>99％。约700nm SP二向色滤光器允许短于约700nm的大部分光(例如，大于90％)通过二向色滤光器，同时几乎反射高于约700nm的所有光。在一些实施方案中，这些SP二向色滤光器在可见光滤光方面非常有效，并且利用针对VIS(可见光)的透射带Tavg＝>99％，99％有效或更高(例如，当滤光器上的入射光例如可见光或NIR光处于45°角度时)。在其他实施方案中，利用针对VIS(可见光)的透射带Tavg＝>50％、>60％、>65％、>75％、>80％、>85％、>90％、>90.5％、>91％、>91.5％、>92％、>92.5％、>93％、>93.5％、>94％、>94.5％、>95％、>95.5％、>96％、>96.5％、>97％、>97.5％、>98％、>98.5％、>99％、>99.5％、>99.6％、>99.7％、>99.8％、或>99.9％，SP二向色滤光器包括>50％、>60％、>65％、>75％、>80％、>85％、>90％、>90.5％、>91％、>91.5％、>92％、>92.5％、>93％、>93.5％、>94％、>94.5％、>95％、>95.5％、>96％、>96.5％、>97％、>97.5％、>98％、>98.5％、>99％、>99.5％、>99.6％、>99.7％、>99.8％、或>99.9％的效率或更高。此外，在一些实施方案中，约700nm SP二向色滤光器在允许透射光以包括任何前述效率的效率穿过同时还可在荧光发射带中反射>75％、>80％、>85％、>90％、>90.5％、>91％、>91.5％、>92％、>92.5％、>93％、>93.5％、>94％、>94.5％、>95％、>95.5％、>96％、>96.5％、>97％、>97.5％、>98％、>98.5％、>99％、>99.5％、>99.6％、>99.7％、>99.8％、或>99.9％。
图2示出了具有抗反射涂层202和二向色反射涂层203的二向色滤光器6的示例性实施方案。如图所示，在此实施方案中，二向色滤光器6被放置成使得入射光201处于45°。入射光201可具有小于约700nm的波长。从具有抗反射涂层202的二向色滤光器204的背表面离开的光可具有小于入射光201的强度的约1％的强度和小于约700nm的波长。从具有二向色反射涂层203的二向色滤光器205的前表面离开的光可具有大于入射光201的强度的约99％的强度和小于约700nm的波长。
在一些实施方案中，二向色滤光器6被放置成相对于入射可见/NIR或IR光路径成10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°或75°。在一些实施方案中，反射主要发生在滤光器的前涂层表面203上。为了更好地按照波长来分离光，滤光器的背侧涂覆有抗反射涂层202，因此进一步减少<700nm的光的反射。在一些实施方案中，仍然少量(5％至10％)的可见光(<约700nm)从滤光器的前部和后部反射。在一些实施方案中，1％至5％、3％至10％、5％至12％、10％至15％、高达20％或更少的可见光(<约700nm)从滤光器的前部和后部反射。在一些实施方案中，当在本文的系统和方法中用于可见光成像时，这种少量即泄漏的可见光是有利的。
样本
样本可包括体外生物样本，诸如组织样本。替代性地，样本可包括经历外科手术的受试者的体内组织。
样本可包括标记染料。标记染料可包括紫外(UV)染料、蓝色染料或两者。用于荧光团的示例性UV和蓝色染料包括：ALEXA FLUOR 350和AMCA染料(例如，AMCA-X染料)、7-氨基香豆素染料的衍生物、ALEXA FLUOR 350染料的二烷基氨基香豆素反应性版本、ALEXAFLUOR430(以及在400nm与450nm之间吸收的反应性UV染料在水性溶液中具有超过500nm的明显荧光)、在460nm附近呈现明亮的蓝色荧光发射的Marina Blue和Pacific Blue染料(基于6,8-二氟-7-羟基香豆素荧光团)、羟基香豆素和烷氧基香豆素衍生物、Zenon ALEXAFLUOR 350、Zenon ALEXA FLUOR 430以及Zenon Pacific Blue、Pacific Orange染料的琥珀酰亚胺酯、Cascade Blue乙酰基叠氮和其他芘衍生物、ALEXA FLUOR 405和其衍生物、芘琥珀酰亚胺酯、Cascade Yellow染料、PyMPO和吡啶基噁唑衍生物、基于氨基萘的染料和丹磺酰氯、dapoxyl染料(例如，Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、bimane染料(例如，bimane巯基乙酸)和其衍生物、NBD染料和其衍生物、QsY 35染料和其衍生物、荧光素和其衍生物。标记染料可包括红外染料、近红外染料或两者。用于荧光团的示例性红外和近红外染料包括：DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5、或吲哚菁绿(ICG)以及上述的任何衍生物、花青染料、吖啶橙或黄、ALEXA FLUOR和其任何衍生物、7-放线菌素D、8-苯胺基萘-1-磺酸、ATTO染料和其任何衍生物、金胺-罗丹明着色剂和其任何衍生物、苯并蒽酮(bensantrhone)、bimane、9-10-双(苯乙炔基)蒽、5,12-双(苯乙炔基)蒽、双苯酰亚胺、脑彩虹、钙黄绿素、羧基荧光素(carbodyfluorescein)和其任何衍生物、1-氯-9,10-双(苯乙炔基)蒽和其任何衍生物、DAPI、DiOC6、DyLight Fluor和其任何衍生物、黑附球菌酮(epicocconone)、溴化乙锭、FlAsH-EDT2、Fluo染料和其任何衍生物、FluoProbe和其任何衍生物、荧光素和其任何衍生物、嘧啶和其任何衍生物、GelGreen和其任何衍生物、GelRed和其任何衍生物、荧光蛋白和其任何衍生物、m亚型蛋白和其任何衍生物(例如，像mCherry)、hetamethine染料和其任何衍生物、hoeschst着色剂、亚氨基香豆素、印度黄、indo-1和其任何衍生物、laurdan、荧光黄和其任何衍生物、荧光素和其任何衍生物、荧光素酶和其任何衍生物、部花菁(mercocyanine)和其任何衍生物、nile染料和其任何衍生物、二萘嵌苯、焰红染料(phloxine)、phyco染料和其任何衍生物、碘化丙锭、荧光黄、罗丹明和其任何衍生物、ribogreen、RoGFP、红荧烯、二苯基乙烯和其任何其衍生物、磺酰罗丹明和其任何衍生物、SYBR和其任何衍生物、synapto-pHluorin、四苯基丁二烯、tetrasodium tris、得克萨斯红、达旦黄、TSQ、伞形酮、蒽酮紫、黄色荧光蛋白以及YOYO-1。其他合适的荧光染料包括但不限于：荧光素和荧光素染料(例如，异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等等)、羰花青、部花青、苯乙烯基染料、氧杂菁染料、藻红素、赤藓红、曙红、罗丹明染料(例如，羧基四甲基-罗丹明或TAMRA、羧基罗丹明6G、羧基-X-罗丹明(ROX)、丽丝胺罗丹明B、罗丹明6G、罗丹明绿、罗丹明红、四甲基罗丹明(TMR)等)、香豆素和香豆素染料(例如，甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如，俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等等)、得克萨斯红、得克萨斯红-X、光谱红、光谱绿、花青染料(例如，CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如，ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXAFLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR594、ALEXA FLUOR 633、ALEXA FLUOR 660、ALEXA FLUOR 680等)、BODIPY染料(例如，BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IRDye(例如，IRD40、IRD 700、IRD 800等)等等。附加的合适可检测剂是已知的并且在国际专利申请号PCT/US2014/056177中描述。
由本文的系统和方法用于检测样本的标记染料可在给定样本中包括一种或多种染料、两种或更多种、三种、四种、五种和至多十种或更多种此类染料、以任何组合使用任何种类的染料(例如，紫外(UV)染料、蓝色染料、红外染料或近红外染料)。
相机和传感器
所述系统可包括一个或多个成像传感器以捕获荧光和可见光。
参考图12，在特定实施方案中，成像系统100包括两个单独的相机，以用于基本上同时获取近红外(NIR)荧光和可见光。在此实施方案中，成像系统可附接到手术显微镜。
参考图7A，在特定实施方案中，成像系统100包括用于获取近红外(NIR)荧光和可见光的单个相机。在此实施方案中，成像系统可附接到手术显微镜。在一些实施方案中，短通滤光器仅允许约400nm至约700nm的波长通过。在一些实施方案中，短通滤光器对于793nm的泄漏安全。在一些实施方案中，短通滤光器从VIS相机图像中消除NIR。在一些实施方案中，短通滤光器具有二向色滤光器，所述二向色滤光器被配置为从uscope路径中去除NIR。在一些实施方案中，透射为约1％可见光和约99％NIR(约800mm至约950mm)。在一些实施方案中，陷波去除波长为约793nm的激发。在一些实施方案中，将VIS-cult和陷波滤光器组合成单个滤光器。在一些实施方案中，偏振器减少可见光的重影和/或vis-cut OD阻挡。如图7A所示的滤光器可以任何替代顺序布置。
在一些实施方案中，本文的系统和方法包括一个或多个图像传感器检测器、透镜或相机。在一些实施方案中，本文的检测器包括本文的一个或多个图像传感器、透镜和相机。在一些实施方案中，本文的系统和方法使用单个相机、两个相机、或两个或更多个相机。在另外的实施方案中，至少一个相机是红外或NIR相机。在另外的实施方案中，至少一个相机是VIS/NIR相机或VIS/IR相机。
在一些实施方案中，本文的系统和方法是单相机成像系统，所述单相机成像系统仅包括被配置为感测可见和NIR信号两者的VIS/NIR相机，如图5A至图5B、图6A至图6B以及图7A中所示并且任选地在图4、图5C和图16中示出。
参考图6A至图6B，在特定实施方案中，经滤光的可见光在镜18处被反射到长通二向色滤光器19，在那里它再次被反射并且与经滤光的荧光信号组合到成像系统的单VIS/NIR透镜20和相机21。
在一些实施方案中，本文的双相机成像系统有利地允许以下项中的一者或多者：完全隔离VIS和NIR成像路径，从而允许不依赖于波长或时间的滤光；减少来自可见光减法的时间伪影(例如，对于高环境光，暗帧可具有相对于红外或NIR信号的显著更高亮度水平)；来自二向色滤光器的阴影减少而红外或NIR通道中的灵敏度没有相对应的损失(例如，偏振器仅在可见光路径中，而不在NIR光路径中)；并且对来自显微镜的白光或外科手术视野的其他照明源的亮度没有约束。
在一些实施方案中，对于单相机设计，需要可见光滤光器、中性密度滤光器或LCD滤光器或被动地或主动地减少通过的光总量的任何其他光学元件，例如图7A中的23，以在通过NIR时逐步减低白光的强度。在一些实施方案中，遮光器(例如，LCD遮光器或“滤光轮”、电子可变光学衰减器(EVOA)、光学“斩波器”或偏振器的组合可与激发信号同步，以便选择性地使可见光而不是NIR衰减。在一些实施方案中，物理地移动的滤光器可用于选择性地使可见光而不是NIR衰减。在一些实施方案中，这种滤光器设定VIS和红外或NIR图像的相对强度以及相对应荧光信号的动态范围。
在一些实施方案中，本文的双相机成像系统有利地允许以下项中的一者或多者：降低相机所需的帧速率，从而允许使用来自相机的更小、更长的数据线；带宽增加，因为它隔离了帧并且存在两条数据线；通过消除昂贵的帧捕捉卡来降低系统成本；允许VIS和红外或NIR相机中的每一者上的独立光圈在VIS相机上获得较大景深，而同时不会降低NIR相机的灵敏度；不需要使用复消色差透镜(校正红外或NIR和VIS波长以聚焦在同一成像平面处)和宽带涂层来实现VIS和NIR的最优透射如在单相机成像系统中一样。
在一些实施方案中，至少部分地基于应用中的细节来选择单相机或双相机图像系统。
在一些实施方案中，本文的双相机成像系统有利地允许不同的灵敏度(例如，当组织可带上染料但浓度不高时，对于红外或NIR，非常高的灵敏度，并且对于可用于应用的可见光，正常灵敏度)。灵敏度范围由曝光时间或显示的每秒帧数(fps)定义。例如，当观察高度摄取荧光化合物或药物的组织、样本或肿瘤时，“正常”灵敏度可以是约25fps显示更新。高灵敏度可以是慢到每秒2帧的较长曝光或任何长于约25fps的曝光，从而几乎捕获组织或样本中的自发荧光。可实时地调整FPS，以对应用的灵敏度需求进行评估和实施。
本文的双相机图像系统可允许改变相机曝光以获得红外或NIR图像的最优灵敏度而不会使可见图像饱和。在一些实施方案中，双相机成像系统用作显微镜附接件、外窥镜、或外科手术机器人附接件，或用作开放场地应用的独立成像系统。
在一些实施方案中，单相机成像系统有利地包括使整个设置小型化的能力，例如以用于内窥镜。单相机成像系统或双相机成像系统可附接在柔性或刚性内窥镜的前部(例如，内窥镜的光学器件和传感器位于朝向靶标的远端处，而内窥镜的主体将携带来自传感器的电信号而不是光学信号，如在正常内窥镜中)。在一些实施方案中，本文的单相机或双相机成像系统用于具有内窥镜的微创外科手术方法中。
在一些实施方案中，本文的图像传感器包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)图像传感器。
本文使用的传感器的非限制性示例性实施方案是Basler acA1920-155相机中的Sony IMX 174CMOS晶圆。在此特定实施方案中，相机包括1/1.2英寸面积传感器、约5.86μm的像素大小以及为1936×1216(2.3MP)的分辨率。
在一些实施方案中，所使用的相机是标准CMOS或CCD相机。这些相机是HD分辨率，例如1080像素、4K或更高像素数。在一些实施方案中，本文的系统和方法不需要专门的相机，诸如EMCCD、ICCD等。在一些实施方案中，专门的相机可用于增加灵敏度、分辨率或与成像相关联的其他参数。表1示出了本文的可见光和NIR相机的示例性实施方案的信息。
表1.
Figure BDA0002703981920000391
在一些实施方案中，本文的系统和方法包括一个或多个光传感器(例如，光电二极管或其他适当的传感器)。在一些实施方案中，光传感器被配置用于系统和方法中的安全计算和监测。在一些实施方案中，光传感器位于准直透镜之后的棱镜处、在二向色SP 6后方、激发光纤的近端和/或激发路径中的任何位置处，以用于总功率测量和相对功率测量。在一些实施方案中，两个或任何其他数量的光电二极管位于热镜后方以监测激发源的照射的形状，从而确保漫射器性能。
在一些实施方案中，一维或二维传感器阵列或替代性地CMOS阵列位于热镜后方以监测激发源的照射，从而确保漫射器性能。
光学光导
多个光学器件可被配置为照射组织并且收集从中发射的可见光和荧光。在一些实施方案中，不存在光学引导件并且激光在自由空间中行进。
多个光学器件可包括选自由包括但不限于以下项的列表的部件：滤光器、光学传输机构、透镜、镜和漫射器。滤光器可被配置为阻挡来自激发源的光。滤光器可包括带通滤光器、净化滤光器或两者。带通滤光器可被配置为控制光的波长。净化滤光器可允许具有特定波长和/或特定入射角的光通过。净化滤光器可包括窄带带通滤光器。镜可包括电介质镜。
光学传输机构可包括自由空间或光导。光学光导可包括光纤、光纤线缆、液体光导、波导、固体光导、塑料光导、或其任何组合。在一些实施方案中，光纤包括硅酸盐玻璃、塑料、石英或能够透射激发激光的任何其他材料。在一些实施方案中，多个光学器件中的至少一者包括被配置为向系统提供附加的同轴光的同轴光注入机构。同轴光注入机构可包括多个光学器件中的一者或多者中的通孔。应理解，任何类型的光透射机构都可用在此系统的任何实施方案中。光透射机构可被配置为透射红外或近红外光。光学光纤可包括绞接或未绞接的光纤。光纤的直径可取决于激发源中的功率量和发射器的数量，包括收集光学器件的物理特性。
在一些实施方案中，光纤的截面直径为约10um至约1,000um。在一些实施方案中，光纤的截面直径为约10um至约25um、约10um至约50um、约10um至约75um、约10um至约100um、约10um至约200um、约10um至约300um、约10um至约400um、约10um至约500um、约10um至约600um、约10um至约800um、约10um至约1,000um、约25um至约50um、约25um至约75um、约25um至约100um、约25um至约200um、约25um至约300um、约25um至约400um、约25um至约500um、约25um至约600um、约25um至约800um、约25um至约1,000um、约50um至约75um、约50um至约100um、约50um至约200um、约50um至约300um、约50um至约400um、约50um至约500um、约50um至约600um、约50um至约800um、约50um至约1,000um、约75um至约100um、约75um至约200um、约75um至约300um、约75um至约400um、约75um至约500um、约75um至约600um、约75um至约800um、约75um至约1,000um、约100um至约200um、约100um至约300um、约100um至约400um、约100um至约500um、约100um至约600um、约100um至约800um、约100um至约1,000um、约200um至约300um、约200um至约400um、约200um至约500um、约200um至约600um、约200um至约800um、约200um至约1,000um、约300um至约400um、约300um至约500um、约300um至约600um、约300um至约800um、约300um至约1,000um、约400um至约500um、约400um至约600um、约400um至约800um、约400um至约1,000um、约500um至约600um、约500um至约800um、约500um至约1,000um、约600um至约800um、约600um至约1,000um、或约800um至约1,000um。在一些实施方案中，光纤的截面直径为约10um、约25um、约50um、约75um、约100um、约200um、约300um、约400um、约500um、约600um、约800um、或约1,000um。在一些实施方案中，光纤的截面直径为至少约10um、约25um、约50um、约75um、约100um、约200um、约300um、约400um、约500um、约600um、或约800um。在一些实施方案中，光纤的截面直径为至多约25um、约50um、约75um、约100um、约200um、约300um、约400um、约500um、约600um、约800um、或约1,000um。
在一些实施方案中，光学光导的长度为约0.005m至约10m。在一些实施方案中，光学光导的长度为约0.005m至约0.01m、约0.005m至约0.05m、约0.005m至约0.1m、约0.005m至约0.5m、约0.005m至约1m、约0.005m至约2m、约0.005m至约3m、约0.005m至约4m、约0.005m至约6m、约0.005m至约8m、约0.005m至约10m、约0.01m至约0.05m、约0.01m至约0.1m、约0.01m至约0.5m、约0.01m至约1m、约0.01m至约2m、约0.01m至约3m、约0.01m至约4m、约0.01m至约6m、约0.01m至约8m、约0.01m至约10m、约0.05m至约0.1m、约0.05m至约0.5m、约0.05m至约1m、约0.05m至约2m、约0.05m至约3m、约0.05m至约4m、约0.05m至约6m、约0.05m至约8m、约0.05m至约10m、约0.1m至约0.5m、约0.1m至约1m、约0.1m至约2m、约0.1m至约3m、约0.1m至约4m、约0.1m至约6m、约0.1m至约8m、约0.1m至约10m、约0.5m至约1m、约0.5m至约2m、约0.5m至约3m、约0.5m至约4m、约0.5m至约6m、约0.5m至约8m、约0.5m至约10m、约1m至约2m、约1m至约3m、约1m至约4m、约1m至约6m、约1m至约8m、约1m至约10m、约2m至约3m、约2m至约4m、约2m至约6m、约2m至约8m、约2m至约10m、约3m至约4m、约3m至约6m、约3m至约8m、约3m至约10m、约4m至约6m、约4m至约8m、约4m至约10m、约6m至约8m、约6m至约10m、或约8m至约10m。在一些实施方案中，光学光导的长度为约0.005m、约0.01m、约0.05m、约0.1m、约0.5m、约1m、约2m、约3m、约4m、约6m、约8m、或约10m。在一些实施方案中，光学光导的长度为至少约0.005m、约0.01m、约0.05m、约0.1m、约0.5m、约1m、约2m、约3m、约4m、约6m、或约8m。在一些实施方案中，光学光导的长度为至多约0.01m、约0.05m、约0.1m、约0.5m、约1m、约2m、约3m、约4m、约6m、约8m、或约10m。当光学光导被拉直时，光学光导的长度可被测量为光学光导的输入侧与输出侧之间的最小、平均或最大距离。
在一些实施方案中，激光模块产生激发光，所述激发光被引导到光学光导中。在一些实施方案中，红外光源产生激发光，所述激发光被引导到光学光导中。在一些实施方案中，近红外光源产生激发光，所述激发光被引导到光学光导中。
在一些实施方案中，漫射器具有漫射器表面。漫射器表面的至少一部分可装配在NIR镜中的孔内，例如如图8A至图8B所示。在此特定实施方案中，光源的一个或多个光学元件(例如，准直器17、净化滤光器16、电介质镜15和漫射器14)可位于NIR镜的孔的外部。在其他实施方案中，光源的一个或多个光学元件(例如，准直器17、净化滤光器16、电介质镜15和漫射器14)可位于NIR镜的孔的内部。在其他实施方案中，光源的一个或多个光学元件(例如，准直器17、净化滤光器16、电介质镜15和漫射器14)可位于NIR镜(例如，镜4)的表面内部或直接靠近镜。在一些实施方案中，从漫射器到盖布的距离为约130mm。
在一些实施方案中，光学光导包括用于将激发光引入成像系统中的光学支架。在一些实施方案中，这种支架包括热镜、电介质镜、镀银镜等，诸如NIR电介质镜4。激发光可通过镜内的孔插入到成像系统中。
在一些实施方案中，所述系统包括一个或多个照明源。一个或多个照明源可包括被配置为产生激发束以在所成像的组织区域中刺激荧光的激发光源，诸如窄带激光器。在一些实施方案中，所述系统包括多个激发光源。替代性地或组合地，所述激发源可包括耦合到陷波滤光器以产生激发光束的宽带源，诸如发光二极管(LED)。一个或多个照明源可包括可见光照明源，以照射用可见光成像的组织的区域。多个光学器件可被配置为照射靶标并且收集可见光和荧光。多个光学器件可包括用于从激发源去除光的滤光器。所述系统可包括一个或多个成像传感器以捕获荧光和可见光。此外，宽带光源可用作照明源。宽带光源可包括白光、红外光、白炽灯、气体放电灯、氙气灯、LED或其任何组合。宽带光源可发射NIR光谱光，以用于照明和激发两者。
参考图4和图6A，在特定实施方案中，靶标或样本由主照明12a和/或对侧照明12b照射。来自靶标或样本的可见光被主二向色短通滤光器6滤光，并且只有少量(即，泄漏的可见光)，例如短通滤光器6处的入射光的5％至10％穿过次二向色滤光器5并且到达可见透镜11a和相机10a。在一些实施方案中，短通滤光器6处的入射光的1％至5％、3％至10％、5％至12％、10％至15％、最多20％或更少穿过次二向色滤光器5并且到达可见透镜11a和相机10a。可见相机的非限制性示例性实施方案是Basler acA1920-155uc。NIR相机的非限制性示例性实施方案是acA1920-155um。在一些实施方案中，短通滤光器6处的入射光的1％至5％、3％至10％、5％至12％、10％至15％、最多20％或更少穿过次二向色滤光器5并且随后使用用于去除阴影的偏振器、中性密度滤光器(可选)和短通滤光器进行滤光(以去除任何微量的激发光和荧光发射并且通过图6A的镜进一步反射。
在一些实施方案中，主二向色短通滤光器6和次二向色滤光器5是任何分束器、棱镜、滤光器、镜或被配置为执行与二向色滤光器类似的短通功能的其他光学部件。
继续参考图4，在同一实施方案中，来自靶标或样本的几乎所有荧光都被主二向色短通滤光器6和随后的次二向色短通滤光器5反射，由此在主二向色滤光器处与大部分可见光分离并且随后在次二向色滤光器处与泄漏的可见光分离。在此实施方案中，荧光在NIR镜4处被反射，并且在其到达NIR透镜11b和NIR相机10b之前被长通滤光器3进一步滤光。NIR透镜与相机之间可包括附加的NIR长通滤光器3.5。在一些实施方案中，NIR透镜与相机之间不存在附加的NIR长通滤光器。在一些实施方案中，前述滤光器系红外滤光器。长通滤光器3的非限制性示例性实施方案是Edmund UV/VIS截止成像滤光器。NIR长通滤光器3.5的非限制性示例性实施方案是808nm长通Semrock Edge Basic。
在一些实施方案中，二向色滤光器/镜(例如，本文的5、6和/或8)包括入射角(AOI)。入射角为0度、45度或任何其他角度。在一些实施方案中，入射角为10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°或任何其他角度。二向色滤光器5、6的非限制性示例性实施方案分别是Edmund 45AOI热镜和来自Semrock的720nm SP滤光器，FF720-SDi01-55x55。
在一些实施方案中，二向色滤光器6是特别被配置为允许指定量的VIS反射的滤光器，其中具有高表面质量以减少来自激发源的反射，以及足够短的波长边缘以允许以45+/-10度的AOI反射的激发的大锥角反射。在一些实施方案中，二向色滤光器允许以10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°或任何其他角度+/-10度的AOI反射的激发的大锥角反射。在一些实施方案中，归因于来自背表面的泄漏可见光的二次反射，二向色滤光器6在可见光图像中产生阴影，图7C至图7D(图7C中的左边和图7D中的底部面板)。此光具有与由第一表面发射的光不同的偏振。这允许使用偏振器消除来自背表面的二次(阴影)图像。图7D示出了图7C的右上角和右下角的分解图。在此实施方案中，通过使用偏振器、LC衰减器或类似功能的其他光学元件，显著减少或甚到消除了阴影或重影。
在一些实施方案中，二向色滤光器5具有各种功能，包括但不限于：反射激发束；2)反射红外或NIR荧光；3)将可见图像传输到VIS相机。在一些实施方案中，此元件用于分开红外或NIR和VIS路径。
图8B示出了来自光源的照明所跟随的光路径的示例性实施方案。在此实施方案中，所述系统包括定位在45AOI热镜6与显微镜27之间的0-AOI热镜8。在此实施方案中，热镜8被配置为减少激发泄漏到显微镜(例如，785nm)中的安全滤光器并且消除来自显微镜光的对组织的将在暗帧中混合并需要从实际NIR荧光中减去的NIR照明。在一些实施方案中，前述功能适用于红外光。在一些实施方案中，前述功能适用于红外范围或NIR范围内的激发源的光。在一些实施方案中，前述功能适用于红外范围或NIR范围内的红外源(例如，具有带通滤光器的宽带源(例如，发光二极管(LED)))。
在一些实施方案中，本文的二向色滤光器或二向色镜中的一者或多者起到波长特定分束器的作用。在一些实施方案中，本文的二向色滤光器是被配置为执行无源波长特定分束或束分离的任何光学元件。
参考图4，在特定实施方案中，NIR成像路径包括长通(LP)滤光器3(例如，具有0度入射角的电介质涂层滤光器)，所述长通滤光器反射波长短于800nm的所有光(对于<800nm，大于OD6阻挡)。此LP滤光器的主要功能是消除从样本反射的激发光，并且因此使得传感器能够对荧光信号进行成像。在一些实施方案中，对于单相机，长通滤光器可由陷波滤光器(光谱带比带通激光净化滤光器更宽)代替，所述陷波滤光器将仅阻挡激发光而同时允许传感器上的可见图像以及荧光图像两者。
在一些实施方案中，几乎没有荧光到达VIS相机，因为>90％被二向色滤光器5反射。在一些实施方案中，短通滤光器1用于减少激发泄漏到VIS相机中。VIS相机可具有放置在传感器前方的附加的热镜(图4中未示出)。
在一些实施方案中，二向色滤光器5系VIS和NIR成像路径的主要分裂中介。在一些实施方案中，本文的一个或多个SP和LP电介质滤光器主要用于使进入成像透镜中的激发衰减。
在一些实施方案中，来自组织的荧光信号被二向色短通滤光器反射，而可见光通过，就像可见光是完全透明的一样。反射的荧光可先被第二短通二向色进一步反射，随后再次在镜上反射并且未改变地通过长通滤光器而(例如，“未改变”意味着衰减小于1％、2％、3％、4％、或5％，同时拒绝不必要的激发)以到达透镜和传感器。
在一些实施方案中，95％或甚到更多的可见光刚好穿过二向色短通滤光器，仅微小量可见光被滤光器反射(泄漏)。在普通镜将其反射之前，泄漏的可见光可未改变地穿过次二向色滤光器。可见光随后在其在透镜和成像传感器处被接收之前可再次被二向色长通滤光器反射，如图4、图6A至图6B所示。
在一些实施方案中，一小部分可见光从二向色镜的前表面和背表面两者反射。两种光线都行进略微不同的距离，并且因此可通过透镜稍微偏移地聚焦在传感器上。归因于二向色镜的厚度，背表面反射具有较长的光学路径长度，从而在传感器上记录为偏移，导致图像看起来双重的阴影效应，如图7C至图7D所示。在一些实施方案中，与从背表面反射的光相比，来自前表面的光偏振旋转90°。因此，可使用如图6A所示的偏振器2来消除这种阴影效应。替代性地，图6B中的液晶衰减器2a可用于可见光的可变衰减。在此实施方案中，在图6B中，LC衰减器使(例如，接收线性偏振光，从而拒绝其他轴线，因为LC夹置在两个偏振器之间)入射光偏振，因此减少阴影或重影。在一些实施方案中，本文的系统和方法包括定位在LC前方或后方的偏振器，以用于减少阴影或重影。在一些实施方案中，交叉偏振器的每个构件放置在LC的一侧上。在一些实施方案中，本文的系统和方法不包括除LC之外的偏振器来减少重影或阴影。在一些实施方案中，本文的LC衰减器固有地偏振，并且因此通过控制LC的偏振，可消除二向色镜的前反射或背反射，从而除去阴影或重影。但是，如果偏振器位于反射的近红外光的前方，则在本文的系统和方法中使用偏振器或类似设备可能存在显著的缺点。在一些实施方案中，偏振器或类似元件从红外荧光信号中减少约50％的光子，这导致不希望的荧光信号损失。为了在不影响或减少红外荧光信号的情况下减少阴影，在一些实施方案中，偏振器或类似设备仅用于可见光而不用于红外或NIR光。在一些实施方案中，偏振器的定位是在与红外或NIR信号分开的图像路径中，并且在一些实施方案中，偏振器在红外或NIR光路径的后方，或放置在与NIR光路径分开的图像路径中，以便使阴影最小化。在一些实施方案中，偏振器放置在透镜、相机或镜的前方，其它们之间没有任何附加的光学元件。在一些实施方案中，偏振器至少放置在主和/或次二向色滤光器/镜的后方。在一些实施方案中，偏振器放置在透镜、相机或镜的前方，其间仅有陷波滤光器和/或VIS截止滤光器。参考图4、图6A至图6B，在特定实施方案中，偏振器2、衰减器2a或类似设备放置成使得使用热镜5(其为短通(SP)二向色滤光器)来分开混合的可见光和红外光，其中可见光(蓝色箭头)穿过滤光器5并且随后穿过偏振器2并到达次可见光相机11a、10a上或到达镜18上、再次在单个传感器21上反射回来，其中另一个长通二向色滤光器19反射传感器上的可见光。
参考图5A，在一个实施方案中，可见光在被以下设备滤光之后直接到达VIS/NIR透镜20和相机21：偏振器2，其用于去除阴影；可选的VIS截止滤光器(中性密度滤光器或LCD滤光器或被动地或主动地减少通过的总光量的任何其他光学元件)23，其用于在需要时选择性地进一步使可见光而不是IR或NIR光衰减。替代性地，可使用同步的“遮光器”(例如，LCD或“滤光轮”或光学“斩波器”、电子可变光衰减器(EVOA))来提供这种衰减。(例如，1％可见光透射率和在800nm至950nm范围内的约100％NIR透射率)；以及陷波滤光器22，其用于去除来自激发源的光。在同一实施方案中，在主二向色镜6处被反射之后，荧光由偏振器2衰减、透射穿过VIS截止滤光器23和陷波滤光器22以到达单VIS/NIR相机21。在一些实施方案中，主二向色镜6的长度为约35mm至约40mm、或约23mm至约54mm。在一些实施方案中，主二向色镜6的高度为约29mm至约35mm、或约23mm至约38mm。在一些实施方案中，从二向色短通镜到VIS或NIS透镜的距离小于约50mm。在一些实施方案中，从二向色短通镜到VIS或NIS透镜的距离小于约1,000mm。
参考图5B至图5C，可使用一对镜25、26以允许同轴照明通过镜-1 25处的孔，并且可见光和荧光两者在它们到达偏振器2之前在所述一对镜处被反射两次。
在一些实施方案中，本文的系统和方法是被配置为分别感测可见或NIR信号的双相机成像系统，如图4所示。在一些实施方案中，本文的系统和方法是被配置为感测可见或NIR信号两者的单相机成像系统，如图6A和图6B所示。在一些实施方案中，当成像环境中存在高水平的可见环境光时，双相机成像系统能够提供红外或NIR和可见光图像两者(没有不利的成像伪像或使用VIS截止滤光器)。这种高水平环境光的非限制性示例包括：手术室中的窗户以及手术室中需要在成像期间打开的灯。在一些实施方案中，图4所示的部件中的至少一者可在显示取向上垂直于页面对齐。在一些实施方案中，NIR镜4是电介质镜。在一些实施方案中，光纤13是弯曲的。在一些实施方案中，光纤13是未弯曲的。
图13示出了使用本文的成像系统同时进行可见光和荧光成像的一个或多个方法步骤的示例性示意图。在此特定实施方案中，荧光激发光(例如，红外光)由光源提供以诱发来自样本131的荧光。在一些实施方案中，光源可沿荧光的光学路径通过电介质镜中的孔透射或“注入”，以用于NIR或IR成像。在此实施方案中，来自光源的红外或NIR光经由多个光学器件132引导到样本，到样本的红外光与从样本接收到的所述荧光基本上同轴，以便减少荧光图像中的阴影。本文的多个光学器件包括但不限于以下项中的一者或多者：二向色滤光器、热镜、分束器、电介质镜、偏振器、衰减器、陷波滤光器、中性密度滤光器、短通滤光器(例如，短于700nm或780nm的波长、或在700nm或780nm之间的任何波长)和长通滤光器(例如，长于700nm或780nm的波长)。在此实施方案中，本文的成像系统产生样本133的荧光图像和可见光图像，荧光图像和可见光图像不一定处于相同的帧速率。荧光图像和可见光图像可由处理器处理以形成合成图像。可使用数字显示器134向用户显示样本的合成图像、荧光图像和/或可见光图像。
图4、图5A至图5B、图6A至图6B和图7A示出了偏振器或衰减器相对于透镜、相机和图像系统的其他元件的非限制性示例性位置。在一些实施方案中，这里的偏振器或衰减器可包括可放置在光学系统的其他位置的一个或多个偏振器或衰减器。
在一些实施方案中，本文描述的系统和方法包括陷波滤光器，例如如图5A所示的陷波滤光器(22)。在一些实施方案中，陷波滤光器位于二向色镜与成像传感器之间的光学路径中。如图5A至图5C和图7A、任选地图4、图6A和图6B以及图16所示，在一些实施方案中，陷波滤光器位于主二向色镜与成像传感器之间。在一些实施方案中，陷波滤光器位于偏振器与成像传感器之间。在一些实施方案中，陷波滤光器被配置为滤除激发源的光的至少一部分(例如，>90％、>90.5％、>91％、>91.5％、>92％、>92.5％、>93％、>93.5％、>94％、>94.5％、>95％、>95.5％、>96％、>96.5％、>97％、>97.5％、>98％、>98.5％、>99％、>99.5％、>99.6％、>99.7％、>99.8％、或>99.9％或更多)，并且可使用透镜将剩余的荧光聚焦在传感器上。在一些实施方案中，陷波滤光器始终具有比诸如激光净化滤光器等带通滤光器更宽的光谱带宽。在一些实施方案中，陷波滤光器在0度AOI下包括约20nm的光谱宽度并且在10度AOI下包括10nm的光谱宽度。在一些实施方案中，针对0度AOI，对于770nm至800nm，陷波滤光器>OD3。在一些实施方案中，即，针对非零AOI，滤光器陷波带阻移位到较短波长，由此每10度移位5nm。在一些实施方案中，相对于陷波滤光器的入射角为10°、15°、20°、25°、30°、35°、45°、50°、55°、60°、65°、70°、75°、80°、85°、或90°或任何其他角度。应理解，根据AOI，波长带阻相应地移位。
在一些实施方案中，从光学系统的物镜到被成像的组织的工作距离小于0.1cm(1mm)、小于0.2cm(2mm)、小于0.3cm(3mm)、小于0.4cm(4mm)、小于0.5cm(5mm)、小于0.6cm(6mm)、小于0.7cm(7mm)、小于0.8cm(8mm)、小于0.9cm(9mm)、小于1cm、小于2cm、小于3cm、小于4cm、小于5cm、小于6cm、小于7cm、小于8cm、小于9cm、小于10cm、小于20cm、小于30cm、小于40cm、小于50cm或更大。
在一些实施方案中，所述工作距离为约0.1cm至约50cm。在一些实施方案中，所述工作距离为约0.1cm至约0.2cm、约0.1cm至约0.5cm、约0.1cm至约0.7cm、约0.1cm至约0.9cm、约0.1cm至约1cm、约0.1cm至约5cm、约0.1cm至约10cm、约0.1cm至约20cm、约0.1cm至约30cm、约0.1cm至约40cm、约0.1cm至约50cm、约0.2cm至约0.5cm、约0.2cm至约0.7cm、约0.2cm至约0.9cm、约0.2cm至约1cm、约0.2cm至约5cm、约0.2cm至约10cm、约0.2cm至约20cm、约0.2cm至约30cm、约0.2cm至约40cm、约0.2cm至约50cm、约0.5cm至约0.7cm、约0.5cm至约0.9cm、约0.5cm至约1cm、约0.5cm至约5cm、约0.5cm至约10cm、约0.5cm至约20cm、约0.5cm至约30cm、约0.5cm至约40cm、约0.5cm至约50cm、约0.7cm至约0.9cm、约0.7cm至约1cm、约0.7cm至约5cm、约0.7cm至约10cm、约0.7cm至约20cm、约0.7cm至约30cm、约0.7cm至约40cm、约0.7cm至约50cm、约0.9cm至约1cm、约0.9cm至约5cm、约0.9cm至约10cm、约0.9cm至约20cm、约0.9cm至约30cm、约0.9cm至约40cm、约0.9cm至约50cm、约1cm至约5cm、约1cm至约10cm、约1cm至约20cm、约1cm至约30cm、约1cm至约40cm、约1cm至约50cm、约5cm至约10cm、约5cm至约20cm、约5cm至约30cm、约5cm至约40cm、约5cm至约50cm、约10cm至约20cm、约10cm至约30cm、约10cm至约40cm、约10cm至约50cm、约20cm至约30cm、约20cm至约40cm、约20cm至约50cm、约30cm至约40cm、约30cm至约50cm、或约40cm至约50cm。在一些实施方案中，所述工作距离为约0.1cm、约0.2cm、约0.5cm、约0.7cm、约0.9cm、约1cm、约5cm、约10cm、约20cm、约30cm、约40cm、或约50cm。在一些实施方案中，所述工作距离为至少约0.1cm、约0.2cm、约0.5cm、约0.7cm、约0.9cm、约1cm、约5cm、约10cm、约20cm、约30cm、或约40cm。在一些实施方案中，所述工作距离为至多约0.2cm、约0.5cm、约0.7cm、约0.9cm、约1cm、约5cm、约10cm、约20cm、约30cm、约40cm、或约50cm。
同轴照明
在一些实施方案中，当照明信号通过成像路径中的镜中的孔注入时，本文的系统和方法实现同轴照明和光收集。与现有成像系统不同，本文的设备的同轴照明实现对器官、器官子结构、靶标、组织和细胞的可视化，而不会在被观察的样本上投下阴影。避免阴影有利于防止来自器官、器官子结构、靶标、组织和细胞的图像内的可见光、红外线和近红外光的阻碍。此外，这种阴影可能阻碍来自组织的荧光信号并且导致假阴性。在一些实施方案中，本文的系统和方法利用同轴照明来避免这种问题。图3示出了与单独的照明和成像轴线相比的同轴照明和成像轴线。在此特定实施方案中，同轴照明通过减少阴影来改善组织的可见性，因此假阴性(无荧光)，从而改善对系统正在观察的组织腔、器官和器官子结构、靶标、组织或细胞的成像。
在一些实施方案中，显微镜的成像轴线、本文的成像系统的成像轴线与激发轴线全部都彼此同轴。在一些实施方案中，图像轴线与激发轴线共享相同的公共轴线。
在一些实施方案中，成像轴线与右眼轴线的中心对齐或与左眼轴线对齐，因此例如与右眼轴线或左眼轴线实现同心视野。替代性地，对应于激发的光束可从左物镜与右物镜之间的位置朝向组织延伸，并且荧光相机的成像轴线可与激发轴线同轴地从组织朝向传感器延伸。图像可不必包括相同的图像大小，并且可包括相同或不同的图像大小。每个同轴束的中心点可对齐，使得两个束在彼此的适当公差内以便被认为同轴的，如本领域技术人员将理解。在一些实施方案中，如本文所述的同轴成像对应于激发轴线(例如，可见光或NIR/IR)与(例如，相机的)图像传感器的成像轴线或在此公开的诸如左目镜和右目镜和物镜等成像系统的其他成像轴线基本上重叠或基本上平行。成像轴线可被配置用于可见和/或荧光成像，诸如NIR/IR光成像。例如，本文公开的系统可包括：1)与用户通过显微镜目镜看到的图像相对应的可见光的成像轴线；2)荧光成像轴线，诸如从样本接收的红外或NIR光；以及3)被引导到样本的激发光束轴线，它们全部彼此同轴(即，它们共享相同的公共轴线，或至少在适当公差内，如本文所公开)。
在一些实施方案中，基本上重叠或平行包括两个轴线之间的交叉角小于30度、20度、10度、小于5度、小于2度、小于1度、小于0.1度、或小于0.01度、或为约0度。基本上重叠可对应于在彼此的可接受公差内同轴的束，例如，彼此在1mm、0.5mm、0.25mm或0.1mm内。在一些实施方案中，基本上重叠或平行包括两个轴线之间的交叉角小于10度、小于5度、小于2度、小于1度、小于0.1度、或小于0.01度、或为约0度。从光学系统的物镜到被成像的组织的工作距离可介于从约几毫米(小于1cm)(例如，内窥镜)到200mm至500mm(例如，显微镜)或更长(例如，开放场地成像系统)的范围内。
在一些实施方案中，同轴成像不包括立体成像。在一些实施方案中，如本文所公开的同轴成像包括两个或更多个光学路径的重叠，至少一个光学路径用于照射并且至少另一个光学路径用于成像。此外，在一些实施方案中，两个或更多个光学路径可同轴对齐以实现对例如来自两个或更多个荧光团的多个红外或近红外波长的同轴可视化，所述荧光团归属、靶向、迁移、保留、积聚、和/或结合到或指向器官、器官子结构、组织、靶标、细胞或样本。在一些实施方案中，两个或更多个、三个或更多个、四个或更多个、或五个或更多个此类路径同轴地定位。在一些实施方案中，红外或近红外光沿红外或近红外光学路径传递到样本，并且从样本接收到的荧光沿荧光光学路径被接收，并且其中荧光光学路径在分束器处与红外光学路径重叠。在一些实施方案中，两个轴线之间的交叉角包括不大于10度、不大于5度、不大于2度、不大于1度、不大于0.1度、或不大于0.01度、或为约0度。
在一些实施方案中，本文的同轴成像包括同心视野(不一定是相同的图像大小，但是成像系统(例如，显微镜、成像系统等)的中心点是对齐的)。在同轴成像系统中，不存在随着工作距离改变用户可感知的视差。在同轴成像系统中，由于同轴度精度的变化引起的成像偏移在任何工作距离下都不大于5mm。在一些实施方案中，本文的成像系统的成像轴线与右眼轴线/左眼轴线的中心对齐，例如参考内窥镜应用。
消除杂散光
许多当前设备缺少用来屏蔽室内照明的光隔离部件，诸如可发射可见和/或红外波长两者的荧光灯泡和灯管。另外，设备的视觉照明可能会干扰荧光激发。另外，由于这种设备缺少表征杂散光的部件，因此它们必须在暗室中使用以消除或减少外部光、杂散光、环境光和连续波光。然而，光隔离通过减少来自非可见波长、可见波长、红外波长或其任何组合的干扰而极大地改善图像质量。
在一些实施方案中，本文的系统和方法通过其同步模式来消除可视光与荧光之间的干扰。这种同步可采用激发光的开/关速率的优化或其他系统光控制。
可替代地或另外，本文的系统还可包括衰减器，所述衰减器包括护罩、罩子、套筒、灯罩、挡板或其任何组合，以阻挡、滤光或衰减杂散光。物理衰减器可阻挡、滤光或衰减这种杂散光或环境光以增强本公开的方法和系统。衰减器可在本文的系统外部或附接到本文的系统，包括图4、图5、图6、图7和图16中描述的任何系统。
显微镜
在一些实施方案中，成像系统和/或本文的成像系统是立体的。在一些实施方案中，成像系统和/或本文的成像系统不是立体的。在一些实施方案中，成像系统和/或本文的成像系统是外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人。
在一些实施方案中，本文的系统与现有的外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人一起使用、补充使用、组合使用、进行附接、或集成到其中。在一些实施方案中，本文的显微镜是立体的。此类示例性显微镜、外窥镜、内窥镜可包括以下项中的一者或多者：KINEVO系统(例如，KINEVO 900)、QEVO系统、CONVIVO系统、OMPIPENTERO系统(例如，PENTERO 900、PENTERO 800)、INFRARED 800系统、FLOW 800系统、YELLOW 560系统、BLUE 400系统、OMPI LUMERIA系统、OMPI Vario系统(例如，OMPI Vario和OMPI VARIO 700)、OMPI Pico系统、TREMON 3DHD系统(以及来自Carl Zeiss A/G的任何其他外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统)；PROVido系统、ARvido系统、GLOW 800系统、Leica M530系统(例如，Leica M530 OHX、LeicaM530 OH6)、Leica M720系统(例如，Leica M720 OHX5)、Leica M525系统(例如，Leica M525F50、Leica M525 F40、Leica M525 F20、Leica M525OH4)、Leica HD C100系统、Leica FL系统(例如，Leica FL560、Leica FL400、Leica FL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如，Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8以及来自Leica Microsystems或Leica Biosystems的任何其他外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统；Haag-Streit 5-1000系统、Haag-Streit 3-1000系统以及来自Haag-Strait的任何其他外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统；以及Intuitive Surgical da Vinci外科手术机器人系统、和来自Intuitive Surgical的任何其他外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统。此外，在一些实施方案中，本文的成像、诊断、检测和治疗方法通过将本文所述的系统与上述此类现有的外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜、外科手术机器人、显微镜、外窥镜或内窥镜一起使用、补充使用、组合使用、进行附接、或集成到其中来执行。
可使用任何附加的外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人系统。外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人系统可由例如Carl Zeiss A/G、Leica Microsystems、Leica Biosystems、Haag-Streit公司(5-1000或3-1000系统)、或Intuitive Surgical(例如，da Vinci外科手术机器人系统)或此类系统的任何其他制造商来提供。
将本文的系统组合或集成到现有的外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人中可通过以下方式实现：共同容纳(全部地或部分地)、将所公开系统的一个或多个方面或部件组合到现有系统中、或将所公开系统的一个或多个方面或部件集成到现有系统中。这种组合可减少阴影或重影、利用共焦改善、增强同轴成像、增加图像清晰度、优化成像、实现光学路径的重叠以及改善外科手术工作流程以及实现本文公开的系统和方法的其他特征。此外，这种组合或集成可利用分束器、二向色滤光器、二向色镜、偏振器、衰减器、透镜遮光器、帧速率、或本文公开的系统的任何其他特征、或其任何组合。另外，这种组合或集成可减少一个或多个滤光器的泄漏(缺陷)、利用可见光和荧光光源的开/关速率、或两者。
此外，本文的系统外部的照明(例如，来自显微镜)可非常明亮(例如，约300W)，这意味着可见光强度与荧光发射强度相比之间的差异可能很大。在具有单个传感器的实施方案中，例如，如图7A所示，这可能是缺点，因为诸如传感器的更高增益或更长曝光等增加的灵敏度设置可能导致可见光谱中的光饱和，因此这种非常小的泄漏量对于在传感器上使用高增益进行成像可能是有利的(例如，Sony IMX-174，1/1.2”传感器等)(量子效率>60％、动态范围73dB)以获得可见图像。以便填充传感器的动态范围的一半左右。本文描述的成像系统可使用一个或两个相机，并且记录可见范围内的泄漏光。在大多数光学应用中，这种二向色滤光器和按照预期用在系统中的其他类型的带通滤光器用来阻挡带通范围之外的100％的光(例如，这里为可见光)并且不允许那些被阻挡的带宽通过滤光器发生任何泄漏。在此类系统中使用二向色滤光器和其他带通滤光器的目的是仅允许带内的光通过。然而，当应用于本文的系统和方法的一些实施方案时，滤光器的这种泄漏(缺陷)在功能上是优越的，并且用作减少进入所述光学系统的可见光的优点。
在一些实施方案中，光学光导是液体光导或其他光导。在一些实施方案中，光学光导耦合到透镜，所述透镜使来自光纤的发散输出光准直。来自准直透镜的准直光可随后通过带通滤光器，所述带通滤光器可以是激光净化滤光器，以进一步减小激发源光的光谱带宽。在一些实施方案中，随后使用漫射器来漫射光。随后以与显微镜的视野和/或手术区域的视野匹配的方式将此漫射光照射在组织上。
在一些实施方案中，漫射器被配置为使照明光锥与可见光(VIS)的成像视野、近红外(NIR)或红外荧光的成像视野、显微镜成像视野或其任何组合匹配。在一些实施方案中，NIR镜4中的孔的尺寸、形状和/或位置被确定成与可见光(VIS)的成像轴线、近红外(NIR)或红外荧光的成像轴线、显微镜成像轴线或其任何组合匹配。这种配置确保外科医生通过手术显微镜的目镜进行手术的组织完全被成像系统照亮和捕获。
在一些实施方案中，外科手术显微镜的照明路径独立于二向色滤光器(在本文中为热镜)。在一些实施方案中，根据图4，漫射器14决定离开镜4中的孔的光束的形状。如果在镜外部，则激发光的轮廓可不变。在其他实施方案中，通过选择能够使光以某些角度的锥漫射的漫射器来管理孔的大小。在其他实施方案中，镜中的孔的大小和位置被确定成实现同轴照明，由此成像轴线在镜角度上入射并且照明穿过镜中的孔。孔大小可由以下项中的一者或多者确定：1)光纤的数值孔径(NA)和/或纤芯大小，其确定入射在漫射器上的准直束的最终大小；2)漫射器上的特征尺寸(可照射最少数量的特征(即，1个、2个、3个、4个或5个特征或更少、少于10个、15个、20个、25个、30个特征)以产生良好的束质量)；3)NIR透镜的f/#和焦距，其可直接决定最大孔大小，以免在视觉上阻碍NIR成像路径，并且不会在检测器处看到相对应的灵敏度降低；或4)激光等级水平和最大允许曝光基于视网膜的热危害区域，其中对于给定分类，漫射器上的束越小，在视网膜的背部上照射的面积越小，并且因此组织处的激光功率越低(例如，例如根据ANSI Z136.1标准(Z136.1-2000)的这种激光器分类将激光器分配成四种广泛危险等级中的一种(1、2、3a、3b和4)，这取决于造成生物损害的可能性)。
根据图4，二向色滤光器或二向色镜(5)可被定位成使得来自样本的可见和红外图像是同轴的，以允许成像系统将可见和红外图像叠加在显示器上。此外，二向色滤光器或二向色镜(6)可定位成使得显微镜的成像视野与由成像系统捕获的可见和红外图像同轴。这种对齐允许成像系统显示如由外科医生通过显微镜看到的相同视野。
在一些实施方案中，来自显微镜的白光或可见光照明无法由本文的成像系统控制或选通。在一些实施方案中，双相机成像系统在成像路径无法及时地解复用的情况下有利地允许非复用成像路径(例如，NIR和可见图像不叠加)。在一些实施方案中，成像系统允许选通可见光以进行解复用，因此可使用单相机系统或双相机。在一些实施方案中，在可对照明和环境光水平进行控制的情况下，可使用单相机成像系统。
在一些实施方案中，本文的图像系统包括用于维护成像系统的舱口(例如，用于允许微控制器固件的现场重新编程)。在一些实施方案中，舱口位于成像系统的头部上。在一些实施方案中，舱口位于背部面板上。
在一些实施方案中，由本文的系统和方法产生的图像(例如，图1B和图10A至图10C)在单独的监视器上显示。在一些实施方案中，外科医生能够选择所显示的图像类型：可见光图像以及覆盖在顶部上的荧光图像；或以伪彩色显示的可见光图像，例如灰色或红色，以及以不同的伪彩色显示的荧光图像，例如蓝绿色(蓝色+绿色)，以在维持周围非荧光组织的背景的同时实现高对比度。在一些实施方案中，可仅显示可见图像或仅显示荧光图像。在一些实施方案中，不同显示类型的图像可并排放置以供显示。在一些实施方案中，图像显示器不限于监视器。在一些实施方案中，图像或视频可容易地在外科医生的显微镜或增强现实眼镜、虚拟现实眼镜中显示，或甚到用来远程显示以用于诸如机器人手术等应用。
在一些实施方案中，如果红外或NIR帧未准备好，则可见帧可从存储器/缓冲器获取一个或多个先前的NIR帧。
在非限制性示例性实施方案中，本文的系统和方法包括两个相机。在一些实施方案中，即使捕获率不相同，系统也同时显示可见帧和IR或NIR帧两者。在一些实施方案中，当组织被激发源的光激发时，红外相机捕获从组织产生的荧光。在一些实施方案中，激发源的光(如图9中可见)未持续地“打开”。激发源的光可使用数字处理设备快速地打开/关闭，或自动地或手动地选通。在一些实施方案中，可使用机械装置来将激发源的光调制打开/关闭；例如遮光器或滤光轮、电子可变光学衰减器(EVOA)或光学“斩波器”、或偏振器的组合。在一些实施方案中，与相机中的每个帧的捕获同步。激发源打开或关闭的时间可动态地且实时地控制。在示例性实施方案中，针对1至10、1至2、1至4、1至5、1至6、1至8、1至20、1至50、1至60、1至100或任何其他帧范围的NIR帧(即，由红外相机捕获的帧)打开激发源。针对上文提及的帧中的一者(暗帧)可关闭激发光。在激发源关闭时的暗帧下，传感器/相机捕获所有不是来自组织的光，但是通常是手术室或其他成像环境中的杂散光。在一些实施方案中，从所有NIR帧中减去暗帧以从环境光或杂散光中去除伪像。此后，在此特定实施方案中，添加所有第一帧并且将其显示为单个帧。在一些实施方案中，本文的这种图像帧处理(减去和/或添加)为用户提供对帧捕获的更好控制。在一个示例性实施方案中，NIR图像的4帧对应于1个暗帧(图9)。在其他实施方案中，任何数量的1个或更多个NIR帧之后可以是1个暗帧。
在一些实施方案中，可见(VIS)和NIR激发由相同的宽带光源提供。图16示出了在成像系统外部的替代照明通路。所述系统可包括宽带光源、AR涂覆的宽带滤光器、第一短通滤光器、第二短通滤光器、第一短通滤光器、第二短通滤光器、第一滤光器、第二低通滤光器、偏振器、可变滤光器、NIR镜、VIS透镜、NIR透镜、VIS传感器、NIR传感器以及PC主板。
如图6所示，来自宽带光源的光被引导通过窗口、由第一短通滤光器重新定向、进一步由第二短通滤光器和NIR镜重新定向，在那里它穿过第一低通滤光器、NIR透镜、第二低通滤光器并且到达NIR传感器。另外，对侧照明穿过窗口，并且到达第一短通滤光器，其中对侧照明的一部分穿过第一短通滤光器到达并通过第一短通滤光器，并且其中对侧照明的一部分由第一短通滤光器重新定向到第二短通滤光器而到达并通过第二短通滤光器、偏振器和VIS透镜以到达VIS传感器。本文的系统的部件可使用诸如像螺钉、螺母和螺栓、夹具、虎钳、粘合剂、带、系带或其任何组合等紧固件来定位和耦接。VIS传感器和NIR传感器可随后基于接收到的光而与PC主板通信。VIS传感器和NIR传感器可经由USB3线缆、串联同轴线缆(诸如CoaXPress)、光纤、串联线缆、USB C线缆、并联线缆(诸如相机连结(Camera Link))或其任何组合与PC通信。
窗口可用于防止灰尘颗粒和其他异物进入。窗口可以是完全透明的，并且允许所有或大多数波长通过。窗口可具有抗反射涂层。窗口可具有滤光器。滤光器可以是宽带滤光器。在一些实施方案中，窗口是AR涂覆的宽带滤光器。另外，此窗口可包括陷波滤光，以减少发射荧光带中的波长的其他周围系统的干扰。
在一些实施方案中，第一短通滤光器和第二短通滤光器中的至少一者包括二向色滤光器、干涉滤光器、热镜或电介质镜。此类滤光器可包括电介质镜、热镜(一种类型的电介质镜)、干涉滤光器(例如，二向色镜或滤光器)。在一些实施方案中，系统不包括第二短通滤光器。第一短通滤光器与第二短通滤光器可以是全等的，而两个滤光器都允许相同的波段通过。第一短通滤光器与第二短通滤光器可以是不一致的，而两个滤光器允许不同的波段通过，由此不同的波段重叠或不重叠。第一短通滤光器和第二短通滤光器中的至少一者可以是定制的，或可选自可商购的滤光器。在一些实施方案中，第二短通滤光器包括对滤光器后方的透射光的功率监测。一个或多个光电二极管或光电二极管阵列可用于监测束形状和/或束功率。在其他实施方案中，光电二极管放置在热镜后方，以使得光能够透射穿过热镜。
在一些实施方案中，偏振器包括吸收偏振器、分束偏振器、双折射偏振器、尼科尔棱镜、沃拉斯顿棱镜、薄膜偏振器、线栅偏振器、圆偏振器、线性偏振器、或其任何组合。
在一些实施方案中，可变滤光器包括衰减器、交叉偏振器、滤光轮、液晶、光学斩波器、或遮光器、或主动地选择或透射/阻挡期望波长的光的任何其他光学部件。可变滤光器选择性地阻挡或衰减一个波段，同时透射另一个波段。可变滤光器根据需要选择性地阻挡可见光或使其变暗，同时不遮挡NIR荧光信号。在一些实施方案中，所述系统不包括可变滤光器。
在一些实施方案中，NIR镜包括电介质镜、银镜、金镜、铝镜、热镜或其任何组合。NIR镜可包括二向色镜。NIR镜可包括涂层镜。NIR镜可包括孔，以允许激光从NIR镜后方透射。NIR镜可包括滤光器，所述滤光器在透射激发波长的同时反射荧光信号，从而消除光学器件中的物理孔。另外，NIR镜可包括施加到光学器件的不同区域的不同涂层，所述涂层优化荧光信号的反射区域，同时最小化透射激发波长的“孔”所需的区域。用于透射的小区域被优化以在一个或多个波长处实现最大透射，同时仍允许荧光带中的大量反射。
在一些实施方案中，VIS透镜和NIR透镜中的至少一者包括固定焦距透镜。VIS透镜和NIR透镜中的至少一者可具有约10mm至约70mm的焦距。在一些实施方案中，VIS透镜和NIR透镜中的至少一者包括35mm透镜。替代性地，VIS透镜和NIR透镜中的至少一者包括可变焦距。透镜的大小可与系统的视野直接相关。透镜的大小也可决定传感器的最优大小。VIS透镜和NIR透镜中的至少一者可具有固定的光圈数(F-number)。替代性地，VIS透镜和NIR透镜中的至少一者可具有可变的光圈数。VIS透镜和NIR透镜可具有相同的光圈数。VIS透镜和NIR透镜可具有不同的光圈数。VIS透镜可具有比NIR透镜更大的光圈数。NIR透镜可具有比VIS透镜更大的光圈数。VIS透镜和NIR透镜中的至少一者可具有约0.5至约11的光圈数。在一个示例性实施方案中，VIS透镜具有约5.6的光圈数，并且NIR透镜具有约1.65的光圈数。在一些情况下，较高的光圈数实现较高的图像质量。在一些情况下，较低的光圈数实现较高的图像质量，这分别取决于较高或较低光圈数对VIS或NIR透镜的适用性。NIR和VIS透镜的唯一f/#可在保持对焦的同时实现系统偏移和优化。NIR和VIS透镜上的抗反射涂层可以是相同的宽带涂层，或可针对NIR或VIS透射而单独地优化。任选地，NIR和VIS透镜两者可分别特别针对VIS和NIR进行颜色校正，或可针对VIS和NIR校正进行优化，从而减少体积和成本。
在一些实施方案中，VIS传感器和NIR传感器中的至少一者包括可见传感器、互补金属氧化物半导体(CMOS)传感器、或电荷耦合设备(CCD)传感器。在一些实施方案中，VIS传感器和NIR传感器中的至少一者包括IMX174传感器、CMV2000传感器或IMX134传感器、高分辨率背部面板传感器或蜂窝电话传感器。在一些实施方案中，VIS传感器和NIR传感器中的至少一者包括可商购的相机内的部件。传感器的像素大小和形状因子可由系统所需的光学体积和视野决定。传感器的像素大小和形状因子可由系统设计规范驱动。其他实施方案可包括任何CCD或CMOS传感器，所述传感器作为完整的相机或以板级操作、在成像站处或在数据传输之前集成。这种处理可经由FPGA或通过其他方式在成像头处形成。VIS相机还可包括拜耳滤光器马赛克或其他颜色滤光器阵列，以对RGB颜色信息进行译码。另外，颜色滤光器阵列可包括用于超出像素传感器阵列的附加的编码的荧光带。传感器的其他示例可包括背照式传感器、多个传感器阵列(具有或不具有滤光器阵列，例如单色)或冷却阵列。在一些情况下，NIR传感器是单色传感器。在一些情况下，NIR传感器具有颜色滤光器阵列。附加的设计可包括选择不同的荧光带或减少来自其他发射设备的干扰的滤光器阵列。另外，可对某些像素进行滤光以与VIS相机对齐，从而增强分辨率并对光谱信息进行译码。
在一些实施方案中，PC主板包括可商购的PC主板。在一个示例中，可商购的是PCASUS ROG STRiX Z370-G micro-ATX主板或MSI Pro Solution Intel 170A LGA 1151ATX主板。
在一些实施方案中，发射通过NIR光谱的可见光的宽带光源是氙气灯、氙气灯泡、LED灯、激光器、卤素灯、卤素灯泡、太阳光、荧光照明或其任何组合。宽带光源应当被配置为提供平衡的白光，并且应当在荧光团的吸收带中具有足够的功率以发射可检测的荧光。在一些情况下，宽带光源未被滤光。在一些情况下，宽带光源未被阻挡。宽带光源可以是裸露的、不受阻碍的或不受控制的。在一些情况下，宽带光源不包含遮光器或滤光器。本公开的任何系统和方法可与这种宽带光源一起使用，包括例如如图4、图5、图6、图7和图16所示的系统。在其他实施方案中，宽带光源被滤光或遮蔽，或否则来自光源的输入/输出被同步以捕获各种图像。例如，滤光器或遮光器中的光学部件确保所得的VIS和NIR照明是同轴的并且在同一视野内。本公开的任何系统和方法可与这种经滤光或遮蔽的宽带光源一起使用，包括例如如图4、图5、图6、图7和图16所示的系统。
在一些实施方案中，这种经滤光或遮蔽的宽带光源可包括滤光器、滤光轮、电子可变光学衰减器(EVOA)、光学“斩波器”、偏振遮光器、调制器。这种滤光或遮蔽使得仅能够通过来自宽带光源的特定波长的光。这种滤光或遮蔽可将图像帧编码为：1)仅NIR，其中没有发射可见光但吸收带中的非可见光通过，2)仅可见光，其中吸收带内部最小，或3)仅杂散光或环境光(遮蔽或“关闭”)。在此类实施方案中，光源可在成像系统外部。在此类实施方案中，光源可在手术显微镜内。在此类实施方案中，光源可与成像系统同步输出、光源同步输入、成像系统同步输入、光源同步输出或其任何组合同步。在一些实施方案中，经滤光的光与相机帧捕获之间的同步可包括主/从关系。在此类情况下，光源可基于光源前方的滤光器而充当主光源。在此类情况下，光源可基于遮光器状态(例如，开/关、同步输入/输出等)而充当主光源。在此类情况下，光源可向相机发送信号以开始和停止帧捕获。替代性地，根据图9中的照明图案，由相机捕获的每个帧可经由协议传达到光源/滤光器/遮光器。所述协议可包括TTL(晶体管-晶体管逻辑，Transistor Transistor Logic)。这种布置也可在图4至图6和图7中所示的光学设计中实现。这种布置可进一步关于图16中所示的照明路径轴线的放置来实现。通常，可见和荧光图像可通过许多采集方案来捕获，包括单相机或双相机方案。
在其他实施方案中，VIS和NIR激发由气体放电灯、氙气灯、LED、LASER或其任何组合来提供。在一些情况下，这种宽激发源是未经滤光和未被阻挡的，使得宽带激发源是裸露的、不受阻碍的或不受控制的(即，不包含遮光器或滤光器)。本公开的任何系统和方法可与这种宽带光源一起使用，包括例如如图4、图5、图6、图7和图16所示的系统。
在一些实施方案中，所述系统还包括滤光器、带通滤光器、滤光轮、电子可变光学衰减器(EVOA)、光学“斩波器”、偏振器遮光器、调制器或其任何组合，以选择性地随来自宽带光源的VIS和NIR激发波长进行滤光。例如，滤光轮可具有短通滤光器、长通滤光器或两者，其中短通滤光器允许可见照明通过而同时阻挡IR波长。替代性地，长通滤光器可允许IR波长通过，而同时阻挡可见波长。此外，短通滤光器可用于结合中性密度(ND)滤光器来阻挡IR光，以允许VIS和NIR两者从宽带激发源通过。本公开的任何系统和方法可与这种宽带激发源一起使用，包括例如如图4、图5、图6、图7和图16所示的系统。在一些情况下，所有VIS和NIR激发波长都可被阻挡，其中系统采用无法译解NIR和VIS通道的单相机。阻挡所有VIS和NIR激发波长可能导致光闪烁，从而分散外科医生的注意力。在一些实施方案中，系统不包括滤光器、与光/相机的同步或两者。在此类情况下，系统可发射杂散光。
宽带光源可“按原样”使用，或作为经遮蔽或滤光的宽带光源使用，这取决于被检测的荧光团或组织或细胞的来源。可基于显微镜的视野(FOV)来优化或选择形成束或检测路径的照明光学器件。
在一些实施方案中，所述系统还包括成像头应变消除件。成像头应变消除件可附接到成像头、成像头的线缆或两者。成像头应变消除件可包括两部分部件。成像头应变消除件可包括在成像头的制造期间在现有端接线缆上的夹具。成像头应变消除件可包括在成像头的制造期间在现有端接线缆上的套筒。成像头应变消除件可以是3D打印的。成像头应变消除件可包括可商购的应变消除件。可采用围绕成像头线缆的套筒来增加商业或定制应变消除件的抓握。套筒可由橡胶、有机硅、塑料、木材、碳纤维、玻璃纤维、热塑性弹性体、织物、其他聚合物或其任何组合制成。
成像头应变消除件还可包括止动件，所述止动件被配置为防止成像头应变消除件沿成像头线缆平移。替代性地，成像头线缆可包括集成的应变消除件。成像头线缆可具有设定的挠曲等级。止动件可包括索环、螺钉、系带、夹具、绳、粘合剂、O形环或其任何组合。成像头应变消除件可被配置为在成像头平移、显微镜平移或两者期间防止、最小化或防止和最小化抵靠显微镜线缆的粘结。成像头应变消除件可被配置为允许和限制图像头线缆的扭曲，以防止线缆损坏并且增加部件寿命。应变消除件的内表面可以是光滑的，以免刺穿线缆。显微镜头部的自动平衡可适应成像头应变消除件的附加的重量。
来自一个或多个相机的USB数据可使用光学串行通信而不是无源或有源铜缆来传输。光学串行通信通常允许更高的灵活性和更长的线缆长度。在另外的实施方案中，此类线缆可实现电传输、光学传输或两者。另外，可包括用于聚焦阶段的具有直角和高度弯曲的无源线缆。成像头可包括锁定键。锁定键可被配置为将成像头牢固地锁定在显微镜上。锁定键可被配置为将成像头牢固地锁定在显微镜上而无需任何工具。锁定键可经由系索永久地固定到成像头，以防止将头部固定到显微镜而未将其锁定到位。相机传感器与透镜组件之间可使用杂散光灯罩或挡板：通过相对于透镜(固定)移动相机传感器来使光学系统聚焦。这需要传感器与透镜之间的开放间隙，所述开放间隙对成像头外壳中的任何杂散光特别敏感。构造了简单的同心管设计，其中一根管拧到相机C安装件上，并且另一根管拧到透镜支撑件上。表面涂有高吸收性涂料并且重叠，即使传感器处于聚焦范围的最大程度也是如此。其他实施方案可包括护罩、罩子、套筒、灯罩、挡板或其他物理衰减器，以阻挡、滤光或衰减这种杂散光或环境光来增强本公开的方法和系统。这种护罩、罩子、套筒、灯罩、挡板或其他物理衰减器可在本公开的系统外部或附接到所述系统。
通过相对于固定透镜移动相机传感器来聚焦系统所需的传感器与透镜之间的间隙，可无意地允许杂散光进入成像头外壳中。例如，图4、图5、图6、图7和图16以及整个公开中描述的任何系统可如上所述或贯穿本公开使用，以消除杂散光或环境光的问题。因此，所述系统还可包括相机传感器与透镜组件之间的灯罩。灯罩可包括托盘、盖子、挡板、套筒、罩子或其任何组合。灯罩可阻挡、过滤或衰减这种杂散光或环境光以增强本公开的方法和系统。灯罩可在本公开的系统的外部或附接到所述系统。灯罩可以是在本公开的系统内部或集成在所述系统内。在一些实施方案中，灯罩包括第一管和第二管，其中第一管附接到相机，并且其中第二管附接到透镜支撑件。第一管和第二管可以是同心的。当传感器处于聚焦范围的最大程度时，第一管和第二管可重叠。灯罩可经由相机的c安装件附接到相机。灯罩可经由紧固件附接到第一管、第二管或两者。紧固件可包括粘合剂、螺钉、螺栓、螺母、夹具、系带或其任何组合。灯罩的表面可涂有高吸收性涂料或由高吸收性涂料形成并且。可使用任何数量的材料和类型的护罩、罩子、套筒、灯罩、挡板或其他物理衰减器来消除或减少杂散光。
本文的系统还可包括光电二极管。本文的系统还可包括多个光电二极管。光电二极管可针对欠功率和过功率事件两者来持续监测并直接触发激光器上的互锁。光电二极管可检测可能指示漫射器故障的束形状差异。光电二极管可放置在激光束路径中的一个、两个、三个或更多个位置。光电二极管可放置在漫射器之前。光电二极管可放置在漫射器之后以检测可指示漫射器故障的束形状差异。激光器分类需要漫射器的特定激光束斑大小。虽然较大的束斑大小能够在保持安全发射水平的同时实现高激光功率，但是较小的束斑大小减小将束引导到成像通路中所需的阻挡并提供对荧光的增加的灵敏度。挡板用于减少反射或杂散光。包括二向色上的新月形挡板，以防止显微镜VIS光反射回到VIS相机中。其他挡板用于减少激发反射。图4所示的系统可采用具有不同光圈数的物镜。优化NIR灵敏度允许在可见相机图像中更大的景深。此外，此类配置允许具有较小光学体积的较低成本透镜。与可见光相比，NIR分辨率要求可较低，并且不需要400nm至1000nm的色度校正。在一些实施方案中，系统NIR分辨率小于或等于VIS分辨率。这种降低的分辨率可实现最优的体积设计。通常，由于VIS光比NIR或IR光更丰富，因此系统可被设计成用于最大化对NIR、IR或其他范围内的光的光子的捕获，以分别获得更好的NIR、IR或其他信噪比。增加NIR信噪比可通过多种方式来完成，包括降低NIR传感器的分辨率(即，使用较低分辨率的传感器具有较大的像素大小，以优化NIR光子的收集，这更有效(更好的信噪比)。替代性地，可使用更快的透镜(更小的光圈数)来增加NIR信噪比。通常，在这种实施方案中，NIR分辨率可小于或等于VIS分辨率，然而，如果NIR传感器足够灵敏，则可使用更小的像素大小并且仍然获得足够的NIR信噪比。因此，在一些实施方案中，系统NIR分辨率大于VIS分辨率。已经认识到，焦距和光圈数可进一步影响系统中的NIR分辨率或VIS分辨率，并且这样可相应地调整和优化。本文的系统还可包括附接到漫射器的挡板、罩子或两者。挡板、罩子或两者可减少由陷波滤光器或相机透镜上的LP滤光器接收的杂散光。针对来自显微镜的VIS光的挡板可具有月亮形状。挡板、罩子或两者可进一步防止顶帽式漫射器轮廓的长尾部以大入射角照射相机透镜上的滤光器，并且透射通过滤光器，由此杂散光可到达成像检测器。由于陡峭的滤光器无法适应入射角的较大变化，因此需要减小滤光器上的入射角。
本文的系统还可包括被配置为允许在没有显微镜的情况下使用成像头的体外对接站。体外对接站可包括与外壳分开的光电子机械桶/托盘/框架，以实现对可见和NIR照明的安全成像和控制。在一个示例中，体外对接站实现受控成像，从而确定参考目标。可出于清洁性而密封体外对接站的顶部窗口、底部窗口或两者，以减小进入成像头的流体的体积。
本文的系统还可包括盖布。盖布可被配置为包围显微镜头的至少一部分以保持其中的无菌性。盖布可包括用于观察样本的透明窗口。盖布可与当前的手术室覆盖系统兼容。
在一些情况下，显微镜上的成像头还包括凸缘、肋、引导件中的一者或多者，它们被配置为能够容易且精确地将头部附接到显微镜。在一些情况下，显微镜上的成像头具有在成像头和显微镜的附接期间实现平滑集成和最小线缆干扰的形状、轮廓或两者。在一些情况下，成像头还可包括箭头、符号、文本或其任何组合，以描述或注释成像头与显微镜的正确连接。箭头、符号、文本或其任何组合可粘附或直接机加工到成像头上。在另外的实施方案中，成像头、成像线缆或两者的形状可被配置用于有效移动和减小阻力。此外，成像头可包括密封件，从而增强头部与显微镜(例如，顶部/底部窗口)的连接的密封性，有助于保持设备的平滑操作和清洁。
在一些实施方案中，所述系统包括两个或更多个NIR指示器。在一些实施方案中，一个NIR指示器位于设备的前方，并且另一个NIR指示器位于设备的底部。在一些实施方案中，当头部插入到显微镜上时，自动地禁用对侧照明。为了在没有荧光的情况下观察样本，可从由显微镜照明引起的任何荧光中减去暗帧。可机械地、电子地或通过图像处理软件来施加暗帧。本文的系统可包括第二照明源，以防止在外科手术期间产生的组织中的谷、凹陷和不平坦表面内形成阴影。然而，在一些情况下，第二照明源周期性地变暗或关闭，以防止干扰附加的光学部件。
在一些实施方案中，本文的系统和方法仅包括被配置为感测可见信号和NIR或IR信号两者的VIS/NIR或VIS/IR相机。在一些实施方案中，对可见信号和NIR或IR信号的灵敏度是不同的。在一些实施方案中，两个相机都在单级上。在一些实施方案中，两个相机都在看同一区域并且聚焦在一起。在一些实施方案中，两个相机的视野、孔径、焦距、景深或任何其他参数是相同的。在一些实施方案中，两个相机的视野、孔径、焦距、景深或任何其他参数不相同(例如，孔径)。在一些实施方案中，本文的系统和方法仅包括NIR或IR相机。在一些实施方案中，对可见帧、触发帧(或NIR或IR帧)和暗帧的捕获可按照相同的序列。在一些实施方案中，可存在附加的成对激发源和陷波滤光器，以用于以不同的激发波长照射源。例如，帧1、2、3、4和5(使得每个帧由不同的波长激发，例如每个帧激发不同的荧光团，并且还有一个可见(白)帧和一个暗帧)，因此1、2、3、4和5的序列使得能够在单个帧中同时地将3个不同的荧光团可视化(并且一个白、一个暗)。利用这种灵活性，可对任何数量的帧和荧光团进行成像，以允许检测以不同波长发射的多个荧光团(例如，在相同的分子上和/或在被测试的相同样本中)。因此，本文的系统和方法不仅适用于NIR荧光团的染料，而且适用于发射光的各种源(例如，以绿色、红色和红外波长发射的染料)。例如，可与肽共轭的各种染料可用本文的系统和方法进行成像。在一些实施方案中，可使用本文的系统和方法来调整或测试可如何对样本进行成像(例如，使用或不使用正常组织(对照物)中的非特定染料与靶向分子上的不同染料，所述不同染料归属、靶向、迁移、保留、积聚、和/或结合到或指向器官、器官子结构、组织、靶标、细胞或样本)。
通过使用本文的系统和方法，可检测到器官、器官子结构、组织、靶标、细胞或样本中的自发荧光。此外，通过使用本文的系统和方法，可检测到归属、靶向、迁移、保留、积聚、和/或结合到或指向器官、器官子结构、组织、靶标、细胞或样本的荧光团，而无论此类荧光团是不是单独的、共轭、融合、连结或以其他方式附接到化学剂或其他部分、小分子、治疗剂，药物、化学治疗剂、肽、抗体蛋白或前述的片段以及前述的任何组合。例如，荧光团是发射波长介于650nm与4000nm之间的电磁辐射的荧光剂，此类发射用于使用本文的系统和方法来检测器官、器官子结构、组织、靶标、细胞或样本中的这种剂。在一些实施方案中，荧光团是荧光剂、选自由可用作本公开中的共轭分子(或每个类别的分子)的荧光染料的非限制性示例组成的组、包括DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或吲哚菁绿(ICG)以及前述的任何衍生物。在一些实施方案中，近红外染料通常包括花青染料。在本公开中用作共轭分子的荧光染料的附加的非限制性示例包括：吖啶橙或黄、ALEXA FLUOR和其任何衍生物、7-放线菌素D、8-苯胺基萘-1-磺酸、ATTO染料和其任何衍生物、金胺-罗丹明着色剂和其任何衍生物、苯并蒽酮、bimane、9-10-双(苯乙炔基)蒽、5,12-双(苯乙炔基)蒽、双苯酰亚胺、脑彩虹、钙黄绿素、羧基荧光素和其任何衍生物、1-氯-9,10-双(苯乙炔基)蒽和其任何衍生物、DAPI、DiOC6、DyLight Fluor和其任何衍生物、黑附球菌酮、溴化乙锭、FlAsH-EDT2、Fluo染料和其任何衍生物、FluoProbe和其任何衍生物、荧光素和其任何衍生物、嘧啶和其任何衍生物、GelGreen和其任何衍生物、GelRed和其任何衍生物、荧光蛋白和其任何衍生物、m亚型蛋白和其任何衍生物(例如，像mCherry)、hetamethine染料和其任何衍生物、hoeschst着色剂、亚氨基香豆素、印度黄、indo-1和其任何衍生物、laurdan、荧光黄和其任何衍生物、荧光素和其任何衍生物、荧光素酶和其任何衍生物、部花菁和其任何衍生物、nile染料和其任何衍生物、二萘嵌苯、焰红染料、phyco染料和其任何衍生物、碘化丙锭、荧光黄、罗丹明和其任何衍生物、ribogreen、RoGFP、红荧烯、二苯基乙烯和其任何其衍生物、磺酰罗丹明和其任何衍生物、SYBR和其任何衍生物、synapto-pHluorin、四苯基丁二烯、tetrasodium tris、得克萨斯红、达旦黄、TSQ、伞形酮、蒽酮紫、黄色荧光蛋白以及YOYO-1。其他合适的荧光染料包括但不限于：荧光素和荧光素染料(例如，异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等等)、羰花青、部花青、苯乙烯基染料、氧杂菁染料、藻红素、赤藓红、曙红、罗丹明染料(例如，羧基四甲基-罗丹明或TAMRA、羧基罗丹明6G、羧基-X-罗丹明(ROX)、丽丝胺罗丹明B、罗丹明6G、罗丹明绿、罗丹明红、四甲基罗丹明(TMR)等)、香豆素和香豆素染料(例如，甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如，俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等等)、得克萨斯红、得克萨斯红-X、光谱红、光谱绿、花青染料(例如，CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如，ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXA FLUOR 633、ALEXA FLUOR 660、ALEXA FLUOR680等)、BODIPY染料(例如，BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPY TR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IRDye(例如，IRD40、IRD 700、IRD 800等)等等。附加的合适的可检测剂在国际专利申请号PCT/US2014/056177中描述。
此外，通过使用本文的系统和方法，可用作可检测标记和亲和力处理剂的荧光生物素共轭物可通过使用本文的系统和方法来检测器官、器官子结构、组织或样本中的这种剂。可商购的荧光生物素共轭物的非限制性示例包括Atto 425-Biotin、Atto 488-Biotin、Atto 520-Biotin、Atto-550 Biotin、Atto 565-Biotin、Atto 590-Biotin、Atto 610-Biotin、Atto 620-Biotin、Atto655-Biotin、Atto 680-Biotin、Atto 700-Biotin、Atto725-Biotin、Atto 740-Biotin、荧光素生物素、生物素-4-荧光素、生物素-(5-荧光素)共轭物以及生物素-B-藻红素、ALEXA FLUOR 488生物胞素、ALEXA FLUOR 546、ALEXA FLUOR549、荧光黄尸胺生物素-X、荧光黄生物胞素、俄勒冈绿488生物胞素、生物素-罗丹明和四甲基罗丹明生物胞素。在一些其他示例中，共轭物可包括化学发光化合物、胶体金属、发光化合物、酶、放射性同位素和顺磁性标记。在一些实施方案中，本文所述的肽活性剂融合物可附接到另一个分子。例如，肽序列还可附接到另一种活性剂(例如，小分子、肽、多肽、多核苷酸、抗体、适体、细胞因子、生长因子、神经递质、任何前述的活性片段或改性、荧光团、放射性同位素、放射性核素螯合剂、酰基加合物、化学链接剂或糖等)。在一些实施方案中，肽可与活性剂融合或共价键合或非共价键合。
本公开的系统和方法可单独使用或与伴随诊断、治疗或显像剂组合使用(无论这种诊断、治疗或显像剂是单独的还是共轭、融合、连结或以其他方式附接到化学剂或其他部分、小分子、治疗剂、药物、化学治疗剂、肽、抗体蛋白或前述的片段以及前述的任何组合的荧光团；或结合荧光团或其他可检测部分用作单独的伴随诊断、治疗或显像剂，所述荧光团或其他可检测部分是单独的、共轭、融合、连结或以其他方式附接到化学剂或其他部分、小分子、治疗剂、药物、化学治疗剂、肽、抗体蛋白或前述的片段以及前述的任何组合)。这种伴随诊断可利用剂，包括化学剂、放射性标记剂、放射增敏剂、荧光团、显像剂、诊断剂、蛋白质、肽或小分子，此类剂旨在用于或具有诊断或成像效果。用于伴随诊断剂和伴随显像剂和治疗剂的剂可包括本文所述的诊断剂、治疗剂和显像剂或其他已知剂。诊断测试可用于增强治疗产品的使用，诸如本文公开的那些或其他已知的剂。具有相对应诊断测试的治疗产品的开发，诸如使用诊断成像的测试(无论是体内、体外还是在试管内)，可帮助诊断、治疗、识别患者群体以进行治疗，并且增强相对应治疗的治疗效果。本公开的系统和方法还可用于检测治疗产品，诸如本文公开的那些或其他已知剂，以帮助应用治疗并且进行测量以对剂的安全性和生理效应进行评估，例如，以测量治疗剂的生物利用率、摄取、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液和/或组织中浓度的测量、评估治疗窗口、范围和优化等。此类系统和方法可在此类剂的治疗、显像和诊断应用的背景下采用。测试还有助于治疗产品开发，以获得FDA用于进行监管决定的数据。例如，这种测试可识别适当的治疗亚群体或识别不应当接受特定治疗的群体，因为严重副作用的风险增加，从而使得有可能通过识别最可能作出反应的患者或对于特定副作用处于不同风险程度的患者来个别处理或个性化医学治疗。因此，在一些实施方案中，本公开包括治疗产品和诊断设备的联合开发，包括本文的系统和方法(用于检测治疗和/或显像剂本身，或用于检测伴随诊断或显像剂，无论此类诊断剂或显像剂是与治疗剂和/或显像剂连结还是用作与肽连结的单独伴随诊断剂或显像剂以用于与治疗剂和/或显像剂结合使用)，所述系统和方法与安全且有效地使用作为治疗或显像产品的治疗和/或显像剂结合使用。伴随设备的非限制性示例包括外科手术器械，诸如手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人，以及用于生物诊断或成像或并入有放射学的设备，包括以下成像技术：X射线摄影术、磁共振成像(MRI)、医学超声波或超声波、内窥镜检查、弹性成像、触觉成像、热成像、医学摄影以及核医学功能成像技术，如正电子发射断层扫描摄影术(PET)和单光子发射计算机断层扫描摄影术(SPECT)。伴随诊断和设备可包括体外进行的测试，包括检测在对受试者施用伴随诊断后来自被摘除的组织或细胞的信号，或将伴随诊断或伴随显像剂直接施加到组织或细胞，随后将它们从受试者体内摘除并且随后检测信号。用于体外检测的设备的示例包括荧光显微镜、流式细胞仪等。此外，本文中用于伴随诊断的系统和方法可单独使用或与现有的外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人一起使用、补充使用、组合使用、进行附接、或集成到其中，包括KINEVO系统(例如，KINEVO 900)、QEVO系统、CONVIVO系统、OMPI PENTERO系统(例如，PENTERO 900、PENTERO 800)、INFRARED800系统、FLOW 800系统、YELLOW 560系统、BLUE 400系统、OMPI LUMERIA系统、OMPI Vario系统(例如，OMPI Vario和OMPI VARIO 700)、OMPI Pico系统、TREMON 3DHD系统(以及来自Carl Zeiss A/G的任何附加的示例性外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统)；PROVido系统、ARvido系统、GLOW 800系统、Leica M530系统(例如，Leica M530 OHX、Leica M530OH6)、Leica M720系统(例如，Leica M720 OHX5)、Leica M525系统(例如，Leica M525 F50、Leica M525 F40、Leica M525 F20、LeicaM525OH4)、Leica HD C100系统、Leica FL系统(例如，Leica FL560、Leica FL400、LeicaFL800)、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS和SP8系统(例如，Leica TCS SP8、SP8 FALCON、SP8 DIVE、LeicaTCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCSSPE)、Leica HyD、Leica HCS A、Leica DCM8(以及来自Leica Microsystems或LeicaBiosystems的任何附加的示例性外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统)；Haag-Streit 5-1000和Haag-Streit 3-1000系统(以及来自Haag-Streit A/G的任何附加的示例性外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统)；Intuitive Surgical da Vinci外科手术机器人系统(以及来自Intuitive Surgical,Inc的任何附加的示例性外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜和外科手术机器人系统)。
本文的系统和方法可用于检测给定样本(例如，器官、器官子结构、组织或样本)中的一种或多种可检测剂、亲和力处理剂、荧光团或染料、两种或更多种、三种、四种、五种以及高达十种或更多种此类可检测剂、亲和力处理剂、荧光团或染料。
图11示出了成像头的锁和键的示例性实施方案。本文的成像系统的成像头(图7A和图12)通过两个独立的键锁定在显微镜上，其中每个键可足以将头部限制到显微镜上。在一些情况下，这种键机构不需要用于去除显微镜上的任何现有硬件的工具，从而允许在外科手术程序之前或之后快速且容易地插入或去除设备。
图像处理
在一些实施方案中，本文的系统和方法允许根据需要基于信号强度而加强和丢弃NIR或IR帧。在一些实施方案中，可确定在执行上述处理之前需要捕获多少NIR或IR帧。如果来自组织的荧光非常明亮，则每个显示的帧仅添加2个帧或3个帧而不是4个帧。相反，如果信号非常低，则在激发源关闭的情况下捕获所述帧之前可捕获6至9个帧或更多帧。这允许系统根据需要加强或丢弃NIR或IR帧，并且动态地改变成像系统的灵敏度。
参考图7A，在特定实施方案中，来自外科手术显微镜的灯的可见光始终打开(即，连续波(CW))，而同时可见相机定期地在打开与关闭之间切换。在此实施方案中，激光在NIR或IR帧中的每4个帧打开，使得针对所显示的NIR或IR图像添加来自这4个帧的荧光，随后针对暗帧关闭激发源的光，以在成像背景提供基线环境光以从NIR或IR图像中去除。
200在一些实施方案中，暗帧曝光时间和增益值与NIR或IR帧匹配。相对于NIR或IR帧曝光，暗帧曝光存在灵活性。在数学上，除了激发源关闭之外，它可以确切匹配。在其他情况下，帧可具有不同的曝光并且与NIR或IR帧以数字式匹配。在一些实施方案中，NIR帧的曝光可以是暗帧曝光的倍数(更长或更短)，并且可缩放以在图像处理期间与NIR帧曝光以数学方式匹配。在一些实施方案中，可动态地改变每个帧的曝光时间。
在一些实施方案中，可见相机以固定帧速率捕获帧，并且任选地在捕获每个可见图像之后，检查NIR或IR帧缓冲器，如果缓冲器使用最新捕获的NIR或IR图像进行更新，则将图像添加到可见光图像。在一些实施方案中，当较旧的NIR或IR图像(视情况而定)在缓冲器中时，添加较旧的图像进行显示，因此在可见图像与红外荧光图像之间可存在异步帧捕获。在一些实施方案中，这有利于实现独立于叠加在可见图像上的荧光图像的帧速率，所述帧速率可更快或更慢，输出图像(可见和荧光图像)的帧速率是全视频速率(即，没有时滞)。在一些实施方案中，由本文的系统和方法提供的没有时滞的视频速率有利地使得用户能够微调或简单地调整图像以实时地最大化其可见性、清晰度、操作和使用。
在一些实施方案中，本文的系统和方法使用晶体管-晶体管-逻辑(TTL)触发信号以用于相机帧捕获。在一些实施方案中，用于相机帧捕获的TTL触发器的占空比用于驱动激发源的照明。在一些实施方案中，用于相机帧捕获的一个或多个TTL触发器用于驱动激发源的照明。
在一些实施方案中，可在NIR或IR图像和/或可见光图像上使用各种图像处理技术，从而有助于显示彩色图或轮廓图像。
在一些实施方案中，本文的图像由数字处理设备、处理器等处理。在一些实施方案中，本文的图像处理包括：图像重建、图像滤光、图像分割、添加两个或更多个图像、从图像中减去一个或多个图像、图像配准、伪着色、图像掩蔽、图像内插、或任何其他图像处理或操纵。
在一些实施方案中，本文的图像被显示到数字显示器并且由数字处理设备、处理器等控制。在一些实施方案中，本文的数字处理设备、处理器等使得外科医生或其他用户能够选择将要显示的图像类型。在一些实施方案中，图像处理由位于成像头中的一个或多个相机内的专用集成电路(ASIC)执行，从而提供从成像头传输的完全处理的合成图像。使用ASIC进行图像处理降低了线缆的带宽要求，以及“显示侧”上的后续处理要求。
在一些实施方案中，在NIR或IR图像或可见光图像上使用假色或伪色。参考图10A至图10C，在特定实施方案中，可见光图像用黑色(图10A)、白色(图10B)或红色(图10C)不同地着色，而NIR图像具有假色以增加图像与背景可见光的对比度。在这些实施方案中，具有荧光和可见光两者的叠加合成图像示出具有不同信号强度的肿瘤组织106a、106b和其周围结构。信号强度的这种差异是由荧光染料的不同组织摄取水平引起的。
参考图7B，所述系统和方法提供了以下选项：观察叠加在可见图像上的荧光图像或单独的荧光图像，或并排观察可见光图像和NIR或IR图像，从而为用户提供图像可视化的灵活性。在一些实施方案中，图像、可见图像或荧光图像是二维图像帧，所述图像可堆栈以产生三维体积图像。
在一些实施方案中，在图像处理期间，肿瘤在可见光和/或NIR或IR图像中自动地、半自动地或手动地轮廓化，使得外科医生或任何其他医学专业人员可更好地可视化肿瘤和肿瘤边界。在一些实施方案中，NIR或IR图像沿x轴和/或y轴集成，以使得产生一维荧光信号分布。
计算系统
参考图17，示出了描绘包括计算机系统1700(例如，处理或计算系统)的示例性机器的框图，在所述计算机系统内可执行指令集以使设备进行或执行本公开的用于静态代码调度的方面和/或方法中的任何一者或多者。图17中的部件仅是示例，并且不限制任何硬件、软件、嵌入式逻辑部件或实现特定实施方案的两个或更多个此类部件的组合的使用范围或功能性。
计算机系统1700可包括一个或多个处理器1701、存储器1703和存储装置1708，它们经由总线1740彼此通信并且与其他部件通信。总线1740还可链接显示器1732、一个或多个输入设备1733(其可包括例如小键盘、键盘、鼠标、触控笔等)、一个或多个输出设备1734、一个或多个存储设备1735以及各种有形存储介质1736。所有这些元件可直接或经由一个或多个接口或适配器来接口连接到总线1740。例如，各种有形存储介质1736可经由存储介质接口1726与总线1740接口连接。计算机系统1700可具有任何合适的物理形式，包括但不限于一个或多个集成电路(IC)、印刷电路板(PCB)、移动手持设备(诸如移动电话或PDA)、膝上型或笔记本计算机、分布式计算机系统、计算网格或服务器。
计算机系统1700包括执行功能的一个或多个处理器1701(例如，中央处理单元(CPU)或通用图形处理单元(GPGPU))。处理器1701任选地包含高速缓冲存储器单元1702，以用于临时本地存储指令、数据或计算机地址。处理器1701被配置为辅助执行计算机可读指令。作为处理器1701执行实施在一个或多个有形计算机可读存储介质(诸如存储器1703、存储装置1708、存储设备1735和/或存储介质1736)中的非暂时性处理器可执行指令的结果，计算机系统1700可为图17中描绘的部件提供功能性。计算机可读介质可存储实现特定实施方案的软件，并且处理器1701可执行软件。存储器1703可通过合适的接口(诸如网络接口1720)从一个或多个其他计算机可读介质(诸如大容量存储设备1735、1736)或从一个或多个其他来源读取软件。所述软件可使处理器1701执行本文描述或示出的一个或多个过程或一个或多个过程的一个或多个步骤。执行此类过程或步骤可包括定义存储在存储器1703中的数据结构并且按照软件的指示修改数据结构。
存储器1703可包括各种部件(例如，机器可读介质)，包括但不限于随机存取存储器部件(例如，RAM 1704)(例如，静态RAM(SRAM)、动态RAM(DRAM)、铁电随机存取存储器(FRAM)、相变随机存取存储器(PRAM)等)、只读存储器部件(例如，ROM 1705)以及其任何组合。ROM 1705可用于将数据和指令单向传达到处理器1701，并且RAM 1704可用于与处理器1701双向传达数据和指令。ROM 1705和RAM 1704可包括以下描述的任何合适的有形计算机可读介质。在一个示例中，基本输入/输出系统1706(BIOS)，包括有助于诸如在启动期间在计算机系统1700内的元件之间传送信息的基本例程，可存储在存储器1703中。
固定存储装置1708任选地通过存储控制单元1707双向连接到处理器1701。固定存储装置1708提供附加的数据存储容量，并且还可包括本文描述的任何合适的有形计算机可读介质。存储装置1708可用于存储操作系统1709、可执行文件1710、数据1711、应用1712(应用程序)等。存储装置1708还可包括光盘驱动器、固态存储器设备(例如，基于闪存的系统)或任何上述的组合。在适当的情况下，存储装置1708中的信息可作为虚拟存储器并入存储器1703中。
在一个示例中，存储设备1735可经由存储设备接口1725与计算机系统1700(例如，经由外部端口连接器(未示出))可移除地接口连接。具体地，存储设备1735和相关联机器可读介质可为计算机系统1700提供机器可读指令、数据结构、程序模块和/或其他数据的非易失性和/或易失性存储。在一个示例中，软件可完全或部分地驻留在存储设备1735上的机器可读介质内。在另一个示例中，软件可完全或部分地驻留在处理器1701内。
总线1740连接各种子系统。在此，在适当的情况下，对总线的引用可涵盖服务于共同功能的一个或多个数字信号线。总线1740可以是使用各种总线体系结构中的任一种的若干类型的总线结构中的任一种，包括但不限于存储器总线、存储器控制器、外围总线、本地总线以及其任何组合。作为示例而非通过限制的方式，此类体系结构包括工业标准体系结构(ISA)总线、增强型ISA(EISA)总线、微通道体系结构(MCA)总线、视频电子标准协会本地总线(VLB)、外围部件互连(PCI)总线、PCI-Express(PCI-X)总线、加速图形端口(AGP)总线、超传输(HTX)总线、串行高级技术附接件(SATA)总线以及其任何组合。
计算机系统1700还可包括输入设备1733。在一个示例中，计算机系统1700的用户可经由输入设备1733将命令和/或其他信息输入到计算机系统1700中。输入设备1733的示例包括但不限于数字字母输入设备(例如，键盘)、指示设备(例如，鼠标或触摸板)、触摸板、触摸屏、多点触摸屏、操纵杆、触控笔、游戏手柄、音频输入设备(例如，麦克风、语音响应系统等)、光学扫描仪、视频或静止图像捕获设备(例如，相机)以及其任何组合。在一些实施方案中，输入设备是体感(Kinect)、体感控制器(Leap Motion)等。输入设备1733可经由各种输入接口1723(例如，输入接口1723)中的任一者接口连接到总线1740，所述输入接口包括但不限于串联、并联、游戏端口、USB、火线(FIREWIRE)、雷电(THUNDERBOLT)或上述的任何组合。
在特定实施方案中，当计算机系统1700连接到网络1730时，计算机系统1700可与连接到网络1730的其他设备、特别是移动设备和企业系统、分布式计算系统、云存储系统、云计算系统等通信。可通过网络接口1720发送往返计算机系统1700的通信。例如，网络接口1720可以一个或多个分组(诸如因特网协议(IP)分组)的形式从网络1730接收传入通信(诸如来自其他设备的请求或响应)，并且计算机系统1700可将传入通信存储在存储器1703中以进行处理。计算机系统1700可类似地以一个或多个分组的形式将传出通信(诸如对其他设备的请求或响应)存储在存储器1703中，并且从网络接口1720传达到网络1730。处理器1701可访问存储在存储器1703中的这些通信分组以进行处理。
网络接口1720的示例包括但不限于网络适配器、调制解调器以及其任何组合。网络1730或网络段1730的示例包括但不限于分布式计算系统、云计算系统、广域网(WAN)(例如，因特网、企业网络)、区域网(LAN)(例如，与办公室、建筑物、校园或其他相对较小的地理空间相关联的网络)、电话网络、两个计算设备之间的直接连接、对等网络以及其任何组合。诸如网络1730等网络可采用有线和/或无线通信模式。通常，可使用任何网络拓扑结构。
可通过显示器1732显示信息和数据。显示器1732的示例包括但不限于阴极射线管(CRT)、液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机液晶显示器(OLED)、诸如无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器、电浆显示器以及其任何组合。显示器1732可经由总线1740接口连接到处理器1701、存储器1703和固定存储装置1708以及诸如输入设备1733等其他设备。显示器1732经由视频接口1722链接到总线1740，并且可经由图形控件1721控制显示器1732与总线1740之间的数据传输。在一些实施方案中，显示器是视频投影仪。在一些实施方案中，显示器是头戴式显示器(HMD)，诸如VR头戴式耳机。在另外的实施方案中，通过非限制性示例，合适的VR头戴式耳机包括HTC Vive、Oculus Rift、Samsung Gear VR、Microsoft HoloLens、Razer OSVR、FOVE VR、Zeiss VR One、AvegantGlyph、Freefly VR头戴式耳机等。在更进一步的实施方案中，显示器是诸如本文所公开的那些设备的组合。
除了显示器1732之外，计算机系统1700可包括一个或多个其他外围输出设备1734，包括但不限于音频扬声器、打印机、存储设备以及其任何组合。此类外围输出设备可经由输出接口1724连接到总线1740。输出接口1724的示例包括但不限于串联端口、并联连接、USB端口、火线端口、雷电(THUNDERBOLT)端口以及其任何组合。
另外或作为替代方案，计算机系统1700可提供作为在电路中硬联机或以其他方式实施的逻辑的结果的功能性，所述逻辑可代替软件或与软件一起操作以执行本文描述或示出的一个或多个过程或一个或多个过程的一个或多个步骤。对本公开中的软件的引用可涵盖逻辑，并且对逻辑的引用可涵盖软件。此外，在适当的情况下，对计算机可读介质的引用可涵盖存储用于执行的软件的电路(诸如IC)、实施用于执行的逻辑的电路或两者。本公开涵盖硬件、软件或两者的任何合适组合。
本领域技术人员将了解，结合本文公开的实施方案而描述的各种说明性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地示出硬件和软件的这种可互换性，上文已大体上在其功能性方面对各种说明性部件、块、模块、电路和步骤进行了描述。
结合本文所公开的实施方案所描述的各种说明性的逻辑块、模块以及电路可与被设计成用于执行在此所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、离散硬件部件、或其任何组合一起来实现或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器或任何其他此类配置。
结合本文公开的实施方案描述的方法或算法的步骤可直接实施在硬件中、在由处理器执行的软件模块在或在两者的组合中。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可从存储介质读取信息并向存储介质写入信息。在替代方案中，存储介质可与处理器成一体。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为分立部件驻留在用户终端中。
根据本文的描述，通过非限制性示例，合适的计算设备包括服务器计算机、桌面计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、上网本计算机、netpad计算机、机顶盒计算机、媒体流设备、掌上电脑、因特网器具、移动智能电话、平板计算机、个人数字助理、视频游戏控制台和车辆。本领域技术人员还将认识到，具有可选的计算机网络连接的选择电视、视频播放器和数字音乐播放器适用于本文描述的系统。在各种实施方案中，合适的平板计算机包括具有本领域技术人员已知的业务册、平板和可转换配置的那些平板计算机。
在一些实施方案中，计算设备包括被配置为执行可执行指令的操作系统。操作系统例如是包括程序和数据的软件，所述软件管理设备的硬件并且提供用于执行应用的服务。本领域技术人员将认识到，通过非限制性示例，合适的服务器操作系统包括FreeBSD、OpenBSD、
Figure BDA0002703981920000791
Linux、
Figure BDA0002703981920000792
Mac OS X
Figure BDA0002703981920000793
Figure BDA0002703981920000794
Windows
Figure BDA0002703981920000795
以及
Figure BDA0002703981920000796
本领域技术人员将认识到，通过非限制性示例，合适的个人计算机操作系统包括
Figure BDA0002703981920000797
Figure BDA0002703981920000798
Mac OS
Figure BDA0002703981920000799
Figure BDA00027039819200007910
以及类UNIX操作系统，诸如
Figure BDA00027039819200007911
在一些实施方案中，操作系统由云计算提供。本领域技术人员还将认识到，通过非限制性示例，合适的移动智能电话操作系统包括
Figure BDA00027039819200007912
OS、
Figure BDA00027039819200007913
Research In
Figure BDA00027039819200007914
BlackBerry
Figure BDA00027039819200007915
Figure BDA00027039819200007916
Figure BDA00027039819200007917
Windows
Figure BDA00027039819200007918
OS、
Figure BDA00027039819200007919
Windows
Figure BDA00027039819200007920
OS、
Figure BDA00027039819200007921
以及
Figure BDA00027039819200007922
本领域技术人员还将认识到，通过非限制性示例，合适的媒体流设备操作系统包括Apple
Figure BDA00027039819200007923
Figure BDA00027039819200007924
Google
Figure BDA00027039819200007925
Google
Figure BDA00027039819200007926
Amazon
Figure BDA00027039819200007927
以及
Figure BDA00027039819200007928
本领域技术人员还将认识到，通过非限制性示例，合适的视频游戏控制面板操作系统包括
Figure BDA00027039819200007929
Figure BDA00027039819200007930
Xbox
Figure BDA00027039819200007931
Microsoft Xbox One、
Figure BDA00027039819200007932
Figure BDA00027039819200007933
Wii
Figure BDA00027039819200007935
以及
Figure BDA00027039819200007934
数字处理设备
在一些实施方案中，本文描述的系统和方法包括数字处理设备、处理器或其使用。在另外的实施方案中，数字处理设备包括一个或多个硬件中央处理单元(CPU)和/或通用图形处理单元(GPGPU)或执行设备功能的专用GPGCU。在更另外的实施方案中，数字处理设备还包括被配置为执行可执行指令的操作系统。在一些实施方案中，数字处理设备任选地连接到计算机网络。在另外的实施方案中，数字处理设备任选地连接到因特网，使得它访问全球信息网。在更另外的实施方案中，数字处理设备任选地连接到云计算基础设施。在其他实施方案中，数字处理设备任选地连接到内部网络。在其他实施方案中，数字处理设备任选地连接到数据存储设备。
根据本文的描述，通过非限制性示例，合适的数字处理设备包括服务器计算机、桌面计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、上网本计算机(netbookcomputer)、上网板计算机(netpad computer)、机顶盒计算机(set-top computer)、媒体流设备、掌上电脑、因特网器具、移动智能电话、平板计算机、个人数字助理、视频游戏控制台和车辆。此外，根据本文的描述，设备还包括在位于成像光学器件(例如，FPGA或DSP)附近的单元与“后端”PC之间分割信号处理和计算。应理解，可在各个位置之间执行处理的分配。
在一些实施方案中，数字处理设备包括被配置为执行可执行指令的操作系统。操作系统例如是包括程序和数据的软件，所述软件管理设备的硬件并且提供用于执行应用的服务。
在一些实施方案中，所述设备包括存储装置和/或存储器设备。存储装置和/或存储器设备是用于临时或永久地存储数据或程序的一个或多个物理装置。
在一些实施方案中，数字处理设备包括用于向用户发送视觉信息的显示器。
在一些实施方案中，数字处理设备包括用于从用户接收信息的输入设备。在一些实施方案中，输入设备是键盘。在一些实施方案中，通过非限制性示例，输入设备是指示设备，包括鼠标、轨迹球、跟踪垫、操纵杆、游戏控制器或触控笔。在一些实施方案中，输入设备是触摸屏或多点触摸屏。在其他实施方案中，输入设备是用于捕获语音或其他声音输入的麦克风。在其他实施方案中，输入设备是视频相机或其他传感器以捕获运动或视觉输入。在另外的实施方案中，输入设备是体感(Kinect)、体感控制器(Leap Motion)等。在更另外的实施方案中，输入设备是诸如本文所公开的那些输入设备等输入设备的组合。
参考图14，在特定实施方案中，示例性数字处理设备1401被编程或以其他方式被配置为控制本文的系统的成像和图像处理方面。在此实施方案中，数字处理设备1401包括中央处理单元(CPU，在本文也称为“处理器”和“计算机处理器”)1405，所述中央处理单元可以是单核或多核处理器或是用于并行处理的多个处理器。数字处理设备1401还包括存储器或存储器位置1410(例如，随机存取存储器、只读存储器、闪存)、电子存储单元1415(例如，硬盘)、通信接口1420(例如，网络适配器、网络接口)，以用于与诸如高速缓存、其他存储器、数据存储装置和/或电子显示适配器等一个或多个其他系统和外围设备通信。外围设备可包括经由存储接口1470与设备的其余部分通信的存储设备或存储介质1465。存储器1410、存储单元1415、接口1420和外围设备通过诸如主板的通信总线1425与CPU1405通信。存储单元1415可以是用于存储数据的数据存储单元(或数据存储库)。数字处理设备1401可借助于通信接口1420可操作地耦合到计算机网络(“网络”)1430。网络1430可以是因特网、因特网和/或外联网、或与因特网通信的内部网络和/或外联网。网络1430在一些实施方案中是电信和/或数据网络。网络1430可包括一个或多个计算机服务器，所述一个或多个计算机服务器可实现分布式计算，诸如云计算。在一些实施方案中借助于设备1401，网络1430可实现对等网络，所述对等网络可使得耦合到设备1401的设备能够充当用户端或服务器。
继续参考图14，数字处理设备1401包括输入设备1445以从用户接收信息，输入设备经由输入接口1450与设备的其他元件通信。数字处理设备1401可包括经由输出接口1460与设备的其他元件通信的输出设备1455。1
继续参考图14，存储器1410可包括各种部件(例如，机器可读介质)，包括但不限于随机存取存储器部件(例如，RAM)(例如，静态RAM“SRAM”、动态RAM“DRAM”等)或只读部件(例如，ROM)。存储器1410还可包括基本输入/输出系统(BIOS)，包括有助于诸如在设备启动期间在数字处理设备内的元件之间传送信息的基本例程，所述基本例程可存储在存储器1410中。
继续参考图14，CPU 1405可执行可在程序或软件中实施的机器可读指令序列。指令可存储在存储器位置(诸如存储器1410)中。可将指令引导到CPU 1405，所述指令随后可对CPU 1405进行编程或以其他方式进行配置来实现本公开的方法。由CPU 1405执行的操作的示例可包括获取、译码、执行和回写。CPU 1405可以是诸如集成电路等电路的一部分。设备1401的一个或多个其他部件可包括在电路中。在一些实施方案中，所述电路是专用集成电路(ASIC)或现场可编程门阵列(FPGA)。
继续参考图14，存储单元1415可存储文件，诸如驱动程序、库和保存的程序。存储单元1415可存储用户数据，例如用户偏好和用户程序。在一些实施方案中，数字处理设备1401可包括外部的一个或多个附加的数据存储单元，诸如位于通过内部网络或因特网进行通信的远程服务器上。存储单元1415还可用于存储操作系统、应用程序等。任选地，存储单元1415可(例如，经由外部端口连接器(未示出))和/或经由存储单元接口与数字处理设备可去除地接口连接。软件可完全或部分地驻留在存储单元1415内或外部的计算机可读存储介质内。在另一个示例中，软件可完全或部分地驻留在处理器1405内。
继续参考图14，数字处理设备1401可通过网络1430与一个或多个远程计算机系统1402通信。例如，设备1401可与用户的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如，便携式PC)、平板或平板PC(例如，
Figure BDA0002703981920000823
iPad、
Figure BDA0002703981920000824
Galaxy Tab)、电话、智能电话(例如，
Figure BDA0002703981920000821
iPhone、支持Android的设备、
Figure BDA0002703981920000822
)或个人数字助理。在一些实施方案中，远程计算机系统被配置用于对使用本文的图像系统获取的图像进行图像和信号处理。在一些实施方案中，本文的成像系统允许在成像头中的处理器(例如，基于MCU、DSP或FPGA)与远程计算机系统(即，后端服务器)之间分割图像和信号处理。
继续参考图14，可通过显示器1435向用户显示信息和数据。显示器经由接口1440连接到总线1425，并且显示器与设备1401的其他元件之间的数据传输可经由接口1440来加以控制。
如本文描述的方法可通过存储在数字处理设备1401的电子存储位置上(诸如像在存储器1410或电子存储单元1415上)的机器(例如，计算机处理器)可执行代码来实现。机器可执行代码或机器可读代码可以软件的形式提供。在使用期间，代码可由处理器1405执行。在一些实施方案中，可从存储单元1415检索代码并且将其存储在存储器1410上以准备好供处理器1405访问。在一些情况下，可排除电子存储单元1415，并且机器可执行指令存储在存储器1410上。
非暂时性计算机可读存储介质
在一些实施方案中，本文公开的平台、系统、介质和方法包括编码有程序的一个或多个非暂时性计算机可读存储介质，所述程序包括可由任选地联网的数字处理设备的操作系统执行的指令。在另外的实施方案中，计算机可读存储介质是数字处理设备的有形部件。在更另外的实施方案中，计算机可读存储介质任选地从数字处理设备中是可去除的。在一些实施方案中，通过非限制性示例，计算机可读存储介质包括CD-ROM、DVD、闪存设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等等。在一些实施方案中，程序和指令被永久地、基本上永久地、半永久地或非暂时地编码在介质上。
计算机程序
在一些实施方案中，本文公开的平台、系统、介质和方法包括至少一个计算机程序或其使用。计算机程序包括可在数字处理设备的CPU中执行的指令序列，所述指令序列被编写来执行指定任务。计算机可读指令可被实现为执行特定任务或实现特定抽象数据类型的程序模块，诸如功能、对象、应用编程接口(API)、数据结构等。鉴于本文提供的公开内容，本领域技术人员将认识到计算机程序可用各种语言的各种版本来编写。
计算机可读指令的功能性可在各种环境中根据需要进行组合或分配。在一些实施方案中，计算机程序包括一个指令序列。在一些实施方案中，计算机程序包括多个指令序列。在一些实施方案中，从一个位置提供计算机程序。在其他实施方案中，从多个位置提供计算机程序。在各种实施方案中，计算机程序包括一个或多个软件模块。在各种实施方案中，计算机程序部分地或全部地包括一个或多个web应用、一个或多个移动应用、一个或多个独立应用、一个或多个web浏览器插件、扩展件、内插件或添加件或其组合。
软件模块
在一些实施方案中，本文公开的平台、系统、介质和方法包括软件、服务器和/或数据库模块或其使用。鉴于本文提供的公开内容，使用本领域已知的机器、软件和语言通过本领域技术人员已知的技术来创建软件模块。本文公开的软件模块以多种方式实现。在各种实施方案中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在进一步各种实施方案中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施方案中，通过非限制性示例，一个或多个软件模块包括web应用、移动应用和独立应用。在一些实施方案中，软件模块在一个计算机程序或应用中。在其他实施方案中，软件模块在多于一个计算机程序或应用中。在一些实施方案中，软件模块托管在一台机器上。在其他实施方案中，软件模块托管在多于一台机器上。在另外的实施方案中，软件模块托管在云计算平台上。在一些实施方案中，软件模块托管在一个位置中的一个或多个机器上。在其他实施方案中，软件模块托管在多于一个位置中的一个或多个机器上。
术语和定义
出于比较各个实施方案的目的，描述了这些实施方案的某些方面和优点。不一定所有此类方面或优点都被任一特定实施方案实现。因此，例如，可以实现或优化如本文所传授的一个优点或一组优点的方式来执行各个实施方案，而不一定实现同样可在本文传授或建议的其他方面或优点。
如本文使用的A和/或B涵盖A或B中的一者或多者和其组合，诸如A和B。应理解，尽管本文可使用术语“第一”、“第二”、“第三”等来描述各种元件、部件、区域和/或部分，但是这些元件、部件、区域和/或部分不应受这些术语限制。这些术语仅用于将一个元件、部件、区域或部分与另一个元件、部件、区域或部分区分开。因此，后面讨论的第一元件、部件、区域或部分可被称为第二元件、部件、区域或部分，而不脱离本公开的教导。
本文所使用的术语仅是出于描述特定实施方案的目的而并不旨在限制本公开。如本文所用，除非上下文另有明确指示，否则单数形式“一个”、“一种”和“所述”旨在也包括复数形式。将进一步理解，术语“包括(comprises)”和/或“包括(comprising)”或“包括(includes)”和/或“包括(including)”在本说明书中使用时指明存在所陈述的特征、区域、整数、步骤、操作、元件和/或部件，但是不排除存在或添加一个或多个其他特征、区域、整数、步骤、操作、元件、部件和/或其群组。
如在本说明书和权利要求中所使用，除非另有说明，否则术语“约”和“大约”或“基本上”是指取决于实施方案而小于或等于数值的+/-0.1％、+/-1％、+/-2％、+/-3％、+/-4％、+/-5％、+/-6％、+/-7％、+/-8％、+/-9％、+/-10％、+/-11％、+/-12％、+/-14％、+/-15％或+/-20％的变化。作为非限制性示例，取决于实施方案，约100米表示95米至105米(为100米的+/-5％)、90米至110米(为100米的+/-10％)、或85米至115米(为100米的+/-15％)的范围。
如本文所用，“LP”是指长通滤光器。LP滤光器透射比过渡波长更长的波长并且反射比过渡波长更短的波长范围，如本领域技术人员将理解。
如本文所用，“SP”是指短通滤光器。SP滤光器透射比过渡波长更短的波长并且反射比过渡波长更长的波长范围，如本领域技术人员将理解。
如本文所用，“红外”是指红外光谱中的任何光，包括IR-A(约800nm至1400nm)、IR-B(约1400nm至3μm)和IR-C(约3μm至1mm)范围中的光波长，以及从700nm至3000nm的近红外(NIR)光谱。
如本文所用，“同轴”意味着两个或更多个光束路径在适当的公差内基本上彼此重叠或基本上彼此平行。也就是说，用于激发的光锥沿其延伸的轴线沿成像轴线。
如本文所用，“热镜”，“短通二向色滤光器”和“短通二向色镜”具有本领域技术人员将理解的含义。
如本文所用，本文所使用的“冷镜”、“长通电介质滤光器”和“长通二向色镜”具有与本领域技术人员所理解的相同含义。
如本文所用，本文所使用的“电介质滤光器”和“电介质镜”可以指相同的物理元件。“电介质滤光器”可以指用于选择性透射的设备。“电介质滤光器”可以指用于选择性反射的设备。
如本文所用，本文所使用的“滤光器”和“镜”可以指代相同的物理元件。
除非另外定义，否则本文所用的所有技术术语具有本发明所属领域的普通技术人员通常理解的相同含义。
虽然本文已经示出并且描述了优选实施方案，但是对于本领域技术人员将显而易见，此类实施方案仅通过示例提供。在不脱离本公开的范围的情况下，本领域技术人员现在将清楚许多变型、改变和替代。应理解，在实践中可采用本文所述实施方案的各种替代方案。本文描述的实施方案的许多不同组合是可能的，并且此类组合被认为是本公开的一部分。另外，结合本文的任何一个实施方案讨论的所有特征可容易地适用于本文的其他实施方案。所附权利要求旨在限定本公开的范围，并且由此覆盖这些权利要求和其等同物的范围内的方法和结构。
实施例
以下说明性实施例代表本文描述的软件应用、系统和方法的实施方案，并且不意味着以任何方式进行限制。
实施例1.系统在小儿科脑肿瘤切除术中的使用
此实施例描述了本文公开的成像系统和/或方法在小儿科脑肿瘤的外科手术切除术期间用于同轴照明和使tozuleristide荧光可视化的使用。本发明的成像系统用于使用荧光成像来使脑组织显像以检测恶性肿瘤。执行外科手术以从受试者体内摘除恶性肿瘤。
受试者T613被诊断有后颅窝/脑干的4级非典型畸胎样横纹肌样瘤(ATRT)。在外科手术开始前约13.5小时，通过静脉内(IV)快速浓注来给予肽荧光团可检测剂tozuleristide(15mg/m2剂量)。在外科手术开始之前，将成像头连同两个目镜附接到ZeissPentero外科手术显微镜。
在暴露出肿瘤后，将成像系统初始化并且持续使用。成像系统使得外科医生能够利用手术显微镜一起且同时观察荧光和可见成像。外科医生注意到成像系统不显眼且易于使用，并且其使用不会增加或妨碍外科手术常规实践。此外，不需要重新定位手术显微镜来观察荧光和可见图像，从而在手术期间利用荧光成像系统一起提供外科手术区域的成像，这减少了对手术工作流程的破坏。
在肿瘤切除术期间捕获视频，并且捕获暴露的肿瘤的静态图像。在暴露的肿瘤中原位观察Tozuleristide荧光。图15A至图15F示出了从肿瘤切除术获取的图像与使用成像系统的肿瘤的近红外(NIR)荧光图像(图15B和图15E)，以及用白光或可见光光谱照明覆盖的NIR荧光的覆盖图像(图15C和图15F)。肿瘤在外科医生看来是NIR荧光图像和覆盖图像中的亮蓝绿色块102(在灰度级中显示为亮白色块)，而正常的脑组织在NIR荧光图像中看起来比肿瘤块更深，从而表明在非肿瘤或正常脑组织中没有可辨别的背景荧光。在覆盖图像中，正常脑组织呈现红色，如在正常可见光或白光下所呈现的那样，如肿瘤的可见光图像所示(图15A和图15D)。外科医生注意到只有肿瘤组织会出现荧光。外科医生还注意到在正常可见光下，“将肿瘤与正常组织区分开来有些困难”，但是在使用成像系统的NIR荧光的情况下，“肿瘤与正常组织荧光之间存在非常良好的区别”。通过组织病理学演示了荧光组织样本并且证实荧光组织样本是活肿瘤。
这种情况表明，成像系统可在术中环境中连续使用以捕获白光和NIR荧光的图像和视频，而不会破坏正常的外科手术流程。数据进一步表明，同轴照明和成像系统使得外科医生能够在外科手术期间可视化并精确地定位肿瘤组织中的荧光，并且使用此信息在切除术期间摘除肿瘤组织。
虽然在前述描述中提供了某些实施方案和示例，但是本发明主题超出具体公开的实施方案而扩展到其他替代实施方案和/或用途、并且扩展到其修改和等同物。因此，所附权利要求的范围不受以下描述的任何特定实施方案的限制。例如，在本文公开的任何方法或过程中，所述方法或过程的动作或操作可以任何合适的顺序执行、并且不一定局限于任何具体公开的顺序。可以有助于理解某些实施方案的方式依次将各种操作描述为多个离散操作；然而，描述的顺序不应被解释为暗示这些操作是顺序依赖性的。另外，本文描述的结构、系统和/或设备可实施为集成部件或单独的部件。
虽然本文已经示出并描述了本公开的优选实施方案，但是对于本领域技术人员将显而易见，此类实施方案仅通过举例的方式提供。在不脱离本公开的情况下，本领域技术人员现在将清楚许多变型、改变和替代。应理解，可在实践本公开时采用本文描述的本公开的实施方案的各种替代方案。

Claims (70)

1.一种用于对样本进行成像的成像系统，所述成像系统包括：
a)检测器，所述检测器被配置为形成所述样本的荧光图像并且形成所述样本的可见图像；
b)光源，所述光源被配置为发射激发光以从所述样本诱发荧光；以及
c)多个光学器件，所述多个光学器件被布置为：
将所述激发光引向所述样本；以及
将荧光和可见光从所述样本引导到所述检测器；
其中所述激发光和所述荧光基本上同轴地引导。
2.如权利要求1所述的系统，其中激发光包括红外光。
3.如权利要求2所述的系统，其中所述红外光包括近红外光。
4.如权利要求1至3中任一项所述的系统，其中所述多个光学器件包括用于将所述红外光和所述可见光引导到所述检测器的二向色短通分束器。
5.如权利要求1至4中任一项所述的系统，其中所述检测器包括多个检测器，并且其中所述可见图像包括彩色图像。
6.如权利要求5所述的系统，其中所述多个检测器包括用于生成彩色图像的第一检测器以及用于生成所述红外图像的第二检测器。
7.如权利要求1至6中任一项所述的系统，所述系统还包括：
a)激光器；
b)光学光导，所述光学光导耦合到所述激光器或窄带光源；
c)准直透镜，所述光导结束于所述准直透镜中；
d)激光净化滤光器；
e)电介质镜；
f)漫射器；
g)孔；或
h)其组合。
8.如权利要求1至7中任一项所述的系统，其中所述光源发射由荧光团吸收的波长。
9.如权利要求1至8中任一项所述的系统，其中所述光源是窄带光源。
10.如权利要求9所述的系统，其中所述窄带光源产生具有以下波长的光：700nm至800nm、650nm至900nm、700nm至900nm、340nm至400nm、360nm至420nm、380nm至440nm或400nm至450nm。
11.如权利要求9或10所述的系统，其中所述窄带光源发射具有NIR相机可见的频率的光，并且其中所述系统还包括耦合到所述光学光导的透镜。
12.如权利要求7至11中任一项所述的系统，其中所述激光器产生具有以下波长的光：650nm至4000nm、700nm至3000nm或340nm至450nm。
13.如权利要求7至12中任一项所述的系统，其中所述激光器产生具有以下波长的光：750nm至950nm、760nm至825nm、775nm至795nm、780nm至795nm、785nm至795nm、780nm至790nm、785nm至792nm或790nm至795nm。
14.如权利要求7至13中任一项所述的系统，其中所述准直透镜被配置为使所述激发光、所述荧光和所述可见光准直。
15.如权利要求7至14中任一项所述的系统，其中所述光学光导是光纤线缆、实心光导、塑料光导、液体光导、波导或其任何组合。
16.如权利要求7至15中任一项所述的系统，其中所述激光净化滤光器被配置为减小所述激发光的带宽。
17.如权利要求1至8和12至16中任一项所述的系统，其中所述光源包括：
a)宽带光源；
b)光学光导，所述光学光导耦合到所述宽带光源；或
c)两者。
18.如权利要求17所述的系统，其中所述宽带光源包括一个或多个LED、氙气灯泡、卤素灯泡、一个或多个或激光器、太阳光、荧光照明或其组合。
19.如权利要求17或18所述的系统，其中所述宽带光源发射可见波长、由荧光团吸收的波长或两者。
20.如权利要求17至19中任一项所述的系统，其中所述宽带光源发射具有NIR相机可见的频率的光，并且其中所述系统还包括耦合到所述光学光导的透镜。
21.如权利要求1至20中任一项所述的系统，所述系统包括多个光源，其中所述系统还包括以下项中的一者或多者以将所述多个光源组合到单个同轴路径中：
a)光学衰减器，所述光学衰减器包括二向色滤光器、二向色镜、遮光器或其任何组合；
b)每个光源处的滤光器；
c)用于所述激发光的波长范围的净化滤光器；
d)用于所述激发光的波长范围的短通滤光器；
e)光学光导；或
f)照明光学器件。
22.如权利要求1至21中任一项所述的系统，所述系统还包括：
a)激光净化滤光器；
b)短通(SP)镜；
c)长通(LP)镜；
d)电介质镜；
e)漫射器；
f)孔；或
g)其组合。
23.如权利要求7至22所述的系统，其中所述电介质镜被配置为反射所述激发光，使得激发光与反射的激发光具有约60度至约120度的交叉角。
24.如权利要求23所述的系统，其中所述电介质镜被配置为反射所述激发光，使得激发光与反射的激发光具有约90度的交叉角。
25.如权利要求7至24中任一项所述的系统，其中所述漫射器被配置为使所述激发光漫射。
26.如权利要求7至25中任一项所述的系统，其中所述孔被配置为使所述激发光的至少部分通过。
27.如权利要求7至26中任一项所述的系统，其中所述孔位于近红外镜中。
28.如权利要求7至27中任一项所述的系统，其中所述孔具有形状和大小，并且其中所述孔的所述形状和所述孔的所述大小中的至少一者被配置为允许所述样本在显微镜的视野内的均匀分布照明。
29.如权利要求1至28中任一项所述的系统，其中激发光包括蓝光或紫外光。
30.如权利要求29所述的系统，其中所述蓝光或紫外光包括具有以下波长的光：10nm至约460nm、约10nm至约400nm或约400nm至约460nm。
31.如权利要求1至30中任一项所述的系统，其中所述多个光学器件包括二向色短通分束器，其中所述二向色短通分束器被配置为使波长至多700nm的光以90％至95％的效率以一个或多个指定入射角通过。
32.如权利要求31所述的系统，其中所述一个或多个指定角度介于30度至150度的范围内。
33.如权利要求1至32中任一项所述的系统，其中所述可见光从所述成像系统外部的显微镜、内窥镜、外窥镜、外科手术机器人或手术室照明引导。
34.如权利要求33所述的系统，所述系统还包括锁定键，所述锁定键被配置为将成像头牢固地锁定在所述显微镜上。
35.如权利要求1至34所述的系统，其中所述多个光学器件还包括次二向色短通分束器。
36.如权利要求1至35所述的系统，其中所述系统还包括二向色长通分束器。
37.如权利要求4至36中任一项所述的系统，其中所述激发光与所述荧光在所述分束器处基本上重叠。
38.如权利要求1至37所述的系统，其中基本上同轴包括两个光学路径的交叉角小于20度、15度、10度、5度、2度或1度。
39.如权利要求1至38中任一项所述的系统，所述系统还包括物理衰减器，所述物理衰减器被配置为阻挡来自所述检测器、所述光源和所述多个光学器件中的一者、两者或更多者的环境光。
40.如权利要求39所述的系统，其中所述物理衰减器包括护罩、罩子、套筒、灯罩或挡板。
41.如权利要求1至40中任一项所述的系统，所述系统还包括专用集成电路(ASIC)或处理器，其中所述ASIC和所述处理器中的至少一者被配置有用于生成所述样本的合成图像的指令，所述合成图像包括覆盖有所述可见图像的所述荧光图像。
42.一种用于对样本进行成像的方法，所述方法包括：
a)通过光源发射红外或近红外光以从样本诱发荧光；
b)通过多个光学器件将所述红外或近红外光引导到所述样本；
c)通过所述多个光学器件在检测器处接收来自所述样本的所述荧光，其中所述红外或近红外光与从所述样本接收到的荧光基本上同轴地引导到所述样本以便减少阴影；以及
d)在所述检测器上形成所述样本的荧光图像以及所述样本的可见光图像。
43.如权利要求42所述的方法，所述方法使用权利要求1至41中任一项所述的系统来执行。
44.如权利要求42或43所述的方法，其中所述样本是器官、器官子结构、组织或细胞。
45.一种对器官、器官子结构、组织或细胞进行成像的方法，所述方法包括：利用权利要求1至41中任一项所述的系统对所述器官、器官子结构、组织或细胞进行成像。
46.如权利要求42至45中任一项所述的方法，所述方法还包括检测恶性肿瘤或病变区域、组织、结构或细胞。
47.如权利要求42至46中任一项所述的方法，所述方法还包括对受试者执行外科手术。
48.如权利要求47所述的方法，其中所述外科手术包括摘除所述受试者的所述恶性肿瘤或所述病变区域、组织、结构或细胞。
49.如权利要求46至48中任一项所述的方法，所述方法还包括在外科手术摘除后对所述受试者的所述恶性肿瘤或病变区域、组织、结构或细胞进行成像。
50.如权利要求42至49中任一项所述的方法，其中使用荧光成像来执行所述成像或所述检测。
51.如权利要求50所述的方法，其中所述荧光成像检测可检测剂，所述可检测剂包括染料、荧光团、荧光生物素化合物、发光化合物或化学发光化合物。
52.如权利要求51所述的方法，其中所述可检测剂吸收介于约200mm至约900mm之间的波长。
53.如权利要求51或52所述的方法，其中所述可检测剂包括DyLight-680、DyLight-750、VivoTag-750、DyLight-800、IRDye-800、VivoTag-680、Cy5.5或吲哚菁绿(ICG)以及前述的任何衍生物；荧光素和荧光素染料(例如，异硫氰酸荧光素或FITC、萘基荧光素、4′,5′-二氯-2′,7′-二甲氧基荧光素、6-羧基荧光素或FAM等等)、羰花青、部花青、苯乙烯基染料、氧杂菁染料、藻红素、赤藓红、曙红、罗丹明染料(例如，羧基四甲基-罗丹明或TAMRA、羧基罗丹明6G、羧基-X-罗丹明(ROX)、丽丝胺罗丹明B、罗丹明6G、罗丹明绿、罗丹明红、四甲基罗丹明(TMR)等)、香豆素和香豆素染料(例如，甲氧基香豆素、二烷基氨基香豆素、羟基香豆素、氨基甲基香豆素(AMCA)等)、俄勒冈绿染料(例如，俄勒冈绿488、俄勒冈绿500、俄勒冈绿514等)、得克萨斯红、得克萨斯红-X、光谱红、光谱绿、花青染料(例如，CY-3、Cy-5、CY-3.5、CY-5.5等)、ALEXA FLUOR染料(例如，ALEXA FLUOR 350、ALEXA FLUOR 488、ALEXA FLUOR 532、ALEXA FLUOR 546、ALEXA FLUOR 568、ALEXA FLUOR 594、ALEXA FLUOR 633、ALEXA FLUOR660、ALEXA FLUOR 680等)、BODIPY染料(例如，BODIPY FL、BODIPY R6G、BODIPY TMR、BODIPYTR、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665等)、IRDye(例如，IRD40、IRD 700、IRD 800等)、7-氨基香豆素、二烷基氨基香豆素反应性染料、6,8-二氟-7-羟基香豆素荧光团、羟基香豆素衍生物、烷氧基香豆素衍生物、琥珀酰亚胺酯、芘琥珀酰亚胺酯、吡啶基噁唑衍生物、基于氨基萘的染料、丹磺酰氯、dapoxyl染料、Dapoxyl磺酰氯、胺反应性Dapoxyl琥珀酰亚胺酯、羧酸反应性Dapoxyl(2-氨基乙基)磺酰胺)、bimane染料、bimane巯基乙酸、NBD染料、QsY 35或其任何组合。
54.如权利要求45至53中任一项所述的方法，所述方法还包括治疗恶性肿瘤。
55.一种治疗或诊断检测的方法，所述方法包括施用伴随诊断剂、治疗剂或伴随显像剂中的至少一种，并且通过权利要求1至41中任一项所述的系统来检测至少一种此类剂。
56.一种治疗或诊断检测的方法，所述方法包括施用伴随诊断剂、治疗剂或伴随显像剂中的至少一种，并且通过权利要求42至54中任一项所述的方法来检测至少一种此类剂。
57.如权利要求55或56中任一项所述的方法，其中所述剂中的至少一种包括化学剂、放射性标记剂、放射增敏剂、荧光团、治疗剂、蛋白质、肽、小分子或其任何组合。
58.如权利要求55至57中任一项所述的方法，其中所述系统或所述方法还包括使用以下项中的一者或多者的放射学或荧光：X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞术、医学摄影、核医学功能成像技术、正电子发射断层扫描摄影术(PET)、单光子发射计算机断层扫描摄影术(SPECT)、显微镜、共聚焦显微镜、荧光镜、外窥镜、外科手术机器人、外科手术器械或其任何组合。
59.如权利要求55至58中任一项所述的方法，其中所述系统或所述方法进一步使用一个或多个显微镜、共聚焦显微镜、荧光镜、外窥镜、外科手术机器人、外科手术器械或其任何组合来测量荧光。
60.如权利要求58所述的方法，其中所述显微镜、所述共聚焦显微镜、所述荧光镜、外窥镜、外科手术器械、内窥镜或外科手术机器人中的至少一者包括KINEVO 900、QEVO、CONVIVO、OMPI PENTERO 900、OMPI PENTERO 800、INFRARED 800、FLOW 800、OMPI LUMERIA、OMPI Vario、OMPI VARIO 700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW 800、LeicaM530 OHX、Leica M530 OH6、Leica M720 OHX5、Leica M525 F50、Leica M525 F40、LeicaM525 F20、Leica M525 OH4、Leica HD C100、Leica FL560、Leica FL400、Leica FL800、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、LeicaTCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8STED、Leica TCS SP8 DLS、Leica TCS SP8X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000、Intuitive Surgical da Vinci外科手术机器人或其任何组合。
61.如权利要求42至60中任一项所述的方法，所述方法被配置为：对治疗剂进行检测、成像或评估；对所述伴随诊断剂的安全性或生理效应进行检测、成像或评估；对所述治疗剂的安全性或生理效应进行检测、成像或评估；对所述伴随显像剂的安全性或生理效应进行检测、成像或评估；或其任何组合。
62.如权利要求55至61中任一项所述的方法，其中所述剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化、或其任何组合。
63.一种在有需要的受试者体内进行治疗或检测的方法，所述方法包括施用伴随诊断剂、治疗剂或显像剂，其中通过权利要求1至41中任一项所述的系统或权利要求42至62中任一项所述的方法来检测此类剂。
64.如权利要求63所述的方法，其中所述剂包括化学剂、放射性标记剂、放射增敏剂、荧光团、治疗剂、显像剂、诊断剂、蛋白质、肽或小分子。
65.如权利要求62至64中任一项所述的方法，其中所述系统或所述方法进一步并入有放射学或荧光，包括X射线摄影术、磁共振成像(MRI)、超声波、内窥镜检查、弹性成像、触觉成像、热成像、流式细胞术、医学摄影、核医学功能成像技术、正电子发射断层扫描摄影术(PET)、单光子发射计算机断层扫描摄影术(SPECT)、外科手术器械、手术显微镜、共聚焦显微镜、荧光镜、外窥镜、或外科手术机器人或其组合。
66.如权利要求62至65中任一项所述的方法，其中所述系统和所述方法用于检测治疗剂或对所述剂的安全性或生理效应进行评估，或两者。
67.如权利要求66所述的方法，其中所述剂的安全性或生理效应是生物利用率、摄取、浓度、存在、分布和清除、代谢、药物动力学、定位、血液浓度、组织浓度、比率、血液或组织中浓度的测量、治疗窗口、范围和优化、或其任何组合。
68.如权利要求42至67中任一项所述的方法，其中所述方法与以下项组合或集成到其中：外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人，包括KINEVO 900、QEVO、CONVIVO、OMPI PENTERO 900、OMPI PENTERO 800、INFRARED 800、FLOW800、OMPI LUMERIA、OMPI Vario、OMPI VARIO 700、OMPI Pico、TREMON 3DHD、PROVido、ARvido、GLOW 800、Leica M530 OHX、Leica M530 OH6、Leica M720 OHX5、Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4、Leica HD C100、Leica FL560、LeicaFL400、Leica FL800、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651MSD、LIGHTENING、Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCSSP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、Leica TCS SPE)、Leica HyD、Leica HCSA、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000以及Intuitive Surgical daVinci外科手术机器人或其组合。
69.如权利要求1至41中任一项所述的系统，所述系统与外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜、或外科手术机器人或其组合进行组合或集成到其中。
70.如权利要求69所述的系统，其中所述外科手术显微镜、共聚焦显微镜、荧光镜、外窥镜、内窥镜或外科手术机器人包括KINEVO 900、QEVO、CONVIVO、OMPI PENTERO 900、OMPIPENTERO 800、INFRARED 800、FLOW 800、OMPI LUMERIA、OMPI Vario、OMPI VARIO 700、OMPIPico、TREMON 3DHD、PROVido、ARvido、GLOW 800、Leica M530 OHX、Leica M530 OH6、LeicaM720 OHX5、Leica M525 F50、Leica M525 F40、Leica M525 F20、Leica M525 OH4、LeicaHD C100、Leica FL560、Leica FL400、Leica FL800、Leica DI C500、Leica ULT500、Leica可旋转分束器、Leica M651 MSD、LIGHTENING、Leica TCS SP8、SP8 FALCON、SP8 DIVE、Leica TCS SP8 STED、Leica TCS SP8 DLS、Leica TCS SP8 X、Leica TCS SP8 CARS、LeicaTCS SPE)、Leica HyD、Leica HCS A、Leica DCM8、Haag-Streit 5-1000、Haag-Streit 3-1000以及Intuitive Surgical da Vinci外科手术机器人或其组合。
CN201980022748.2A 2018-03-30 2019-03-28 用于同时近红外光和可见光成像的系统和方法 Pending CN111970953A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862650974P 2018-03-30 2018-03-30
US62/650,974 2018-03-30
US201862679671P 2018-06-01 2018-06-01
US62/679,671 2018-06-01
PCT/US2019/024689 WO2019191497A1 (en) 2018-03-30 2019-03-28 Systems and methods for simultaneous near-infrared light and visible light imaging

Publications (1)

Publication Number Publication Date
CN111970953A true CN111970953A (zh) 2020-11-20

Family

ID=68060477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980022748.2A Pending CN111970953A (zh) 2018-03-30 2019-03-28 用于同时近红外光和可见光成像的系统和方法

Country Status (10)

Country Link
US (1) US20210015350A1 (zh)
EP (1) EP3773137A4 (zh)
JP (1) JP2021519446A (zh)
KR (1) KR20200138732A (zh)
CN (1) CN111970953A (zh)
AU (1) AU2019243317A1 (zh)
CA (1) CA3093545A1 (zh)
IL (2) IL277530B1 (zh)
TW (1) TW201944955A (zh)
WO (1) WO2019191497A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098653A (zh) * 2021-12-31 2022-03-01 中国科学院苏州生物医学工程技术研究所 一种多模态甲状旁腺识别系统及成像方法
TWI795011B (zh) * 2021-10-04 2023-03-01 晉弘科技股份有限公司 影像感測器封裝件以及內視鏡

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536686B1 (en) * 2018-08-02 2020-01-14 Synaptive Medical (Barbados) Inc. Exoscope with enhanced depth of field imaging
US11740071B2 (en) 2018-12-21 2023-08-29 Apple Inc. Optical interferometry proximity sensor with temperature variation compensation
US11243068B1 (en) 2019-02-28 2022-02-08 Apple Inc. Configuration and operation of array of self-mixing interferometry sensors
US11156456B2 (en) * 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
US11473898B2 (en) 2019-05-24 2022-10-18 Apple Inc. Wearable voice-induced vibration or silent gesture sensor
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11540696B2 (en) * 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11931009B2 (en) * 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11291358B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US20220346650A1 (en) * 2019-10-02 2022-11-03 Blaze Bioscience, Inc. Systems and methods for vascular and structural imaging
CN111267984B (zh) * 2020-01-21 2021-04-13 山东大学 基于高光谱技术分析的隧道内不良地质体识别系统与方法
US11150332B1 (en) 2020-06-30 2021-10-19 Apple Inc. Self-calibrating optical transceiver system with reduced crosstalk sensitivity for through-display proximity sensing
JP2023543443A (ja) * 2020-09-18 2023-10-16 イル ムン，ミョン ３次元画像取得装置
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
US11460293B2 (en) 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
EP3977912B1 (en) 2020-10-02 2024-01-31 Karl Storz SE & Co. KG Optical system for a video endoscope and video endoscope
DE102021106836A1 (de) 2020-10-02 2022-04-07 Karl Storz Se & Co. Kg Optisches Filtersystem für ein Video-Endoskop, Anzeigesystem und Video-Endoskop
EP3991633A1 (en) * 2020-11-03 2022-05-04 Leica Instruments (Singapore) Pte. Ltd. Microscope system for use in eye surgery and corresponding system, methods and computer programs
CN114027765B (zh) * 2020-11-20 2023-03-24 上海微觅医疗器械有限公司 荧光内窥镜系统、控制方法和存储介质
US11629948B2 (en) 2021-02-04 2023-04-18 Apple Inc. Optical interferometry proximity sensor with optical path extender
KR102436944B1 (ko) * 2021-04-12 2022-08-26 주식회사 신코 다 성분 형광 수질 분석기
TWI803065B (zh) * 2021-11-23 2023-05-21 醫電鼎眾股份有限公司 方便組裝的內視鏡鏡頭組合
WO2023102387A1 (en) * 2021-11-30 2023-06-08 Stryker Corporation Systems and methods for connecting a medical imaging device to a medical imaging controller
WO2024073000A1 (en) * 2022-09-28 2024-04-04 Applied Materials, Inc. Diffuse optical imaging/tomography using meta-optics

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182754A1 (en) * 2009-09-04 2012-07-19 Olympus Winter & Ibe Gmbh Medical luminaire for background light and excitation light
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
WO2016127173A1 (en) * 2015-02-06 2016-08-11 The University Of Akron Optical imaging system and methods thereof
US20160287081A1 (en) * 2015-04-03 2016-10-06 Chunxin Yang Method and apparatus for concurrent imaging at visible and infrared wavelengths
CN106308731A (zh) * 2016-08-31 2017-01-11 北京数字精准医疗科技有限公司 一种内窥式多光谱激发成像系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3326881B2 (ja) * 1993-06-25 2002-09-24 株式会社ニコン 走査型光学顕微鏡
JP3539436B2 (ja) * 1993-12-27 2004-07-07 オリンパス株式会社 走査型レーザ顕微鏡装置
JPH10325798A (ja) * 1997-05-23 1998-12-08 Olympus Optical Co Ltd 顕微鏡装置
JP2009008739A (ja) * 2007-06-26 2009-01-15 Olympus Corp 生体観察装置
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
AU2010203836B2 (en) * 2009-01-08 2015-05-28 Cytiva Bioprocess R&D Ab Separation method using single polymer phase systems
WO2012078843A2 (en) * 2010-12-08 2012-06-14 Cornell University Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods
US11300773B2 (en) * 2014-09-29 2022-04-12 Agilent Technologies, Inc. Mid-infrared scanning system
WO2016130424A1 (en) * 2015-02-09 2016-08-18 The Arizona Board Of Regents Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
US9594255B2 (en) * 2015-06-25 2017-03-14 Volfoni R&D EURL Stereoscopic 3D projection system with improved level of optical light efficiency
EP3350578B1 (en) * 2015-09-02 2022-03-09 Inscopix, Inc. Systems and methods for color imaging
US20220346650A1 (en) * 2019-10-02 2022-11-03 Blaze Bioscience, Inc. Systems and methods for vascular and structural imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182754A1 (en) * 2009-09-04 2012-07-19 Olympus Winter & Ibe Gmbh Medical luminaire for background light and excitation light
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
WO2016127173A1 (en) * 2015-02-06 2016-08-11 The University Of Akron Optical imaging system and methods thereof
US20160287081A1 (en) * 2015-04-03 2016-10-06 Chunxin Yang Method and apparatus for concurrent imaging at visible and infrared wavelengths
CN106308731A (zh) * 2016-08-31 2017-01-11 北京数字精准医疗科技有限公司 一种内窥式多光谱激发成像系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI795011B (zh) * 2021-10-04 2023-03-01 晉弘科技股份有限公司 影像感測器封裝件以及內視鏡
CN114098653A (zh) * 2021-12-31 2022-03-01 中国科学院苏州生物医学工程技术研究所 一种多模态甲状旁腺识别系统及成像方法

Also Published As

Publication number Publication date
EP3773137A1 (en) 2021-02-17
JP2021519446A (ja) 2021-08-10
US20210015350A1 (en) 2021-01-21
IL277530B1 (en) 2024-03-01
KR20200138732A (ko) 2020-12-10
TW201944955A (zh) 2019-12-01
CA3093545A1 (en) 2019-10-03
AU2019243317A1 (en) 2020-10-15
IL277530A (en) 2020-11-30
WO2019191497A1 (en) 2019-10-03
EP3773137A4 (en) 2021-10-13
IL310878A (en) 2024-04-01

Similar Documents

Publication Publication Date Title
CN111970953A (zh) 用于同时近红外光和可见光成像的系统和方法
US20220346650A1 (en) Systems and methods for vascular and structural imaging
US11765340B2 (en) Goggle imaging systems and methods
JP5945104B2 (ja) 蛍光手術用実体顕微鏡
US20120056996A1 (en) Special-illumination surgical video stereomicroscope
US20120010465A1 (en) Endoscope apparatus
US7746560B2 (en) Illumination optical system that uses a solid-state lighting element which generates white light, and an optical device equipped therewith
CN116034301A (zh) 用于同时近红外光和可见光成像的系统和方法
ES2836899T3 (es) Sistema de filtro óptico y sistema de observación de fluorescencia
JP6608884B2 (ja) 観察対象物の視覚強化のための観察装置および観察装置の作動方法
US20180360299A1 (en) Imaging apparatus, imaging method, and medical observation equipment
CN109480776A (zh) 近红外荧光手术成像系统及其使用方法
AU2012236545B2 (en) Apparatus and method for identifying one or more amyloid beta plaques in a plurality of discrete OCT retinal layers
RU2661029C1 (ru) Устройство для флуоресцентной навигации в нейрохирургии
Watson Development of an augmented microscope for image guided surgery in the brain
WO2017169335A1 (en) Imaging apparatus, imaging method, and medical observation equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination