CN105263390A - 用于从荧光团同时录制可见光图像和红外光图像的系统和方法 - Google Patents

用于从荧光团同时录制可见光图像和红外光图像的系统和方法 Download PDF

Info

Publication number
CN105263390A
CN105263390A CN201480032510.5A CN201480032510A CN105263390A CN 105263390 A CN105263390 A CN 105263390A CN 201480032510 A CN201480032510 A CN 201480032510A CN 105263390 A CN105263390 A CN 105263390A
Authority
CN
China
Prior art keywords
infrared
sample
light
image
visible ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480032510.5A
Other languages
English (en)
Inventor
P·布特
A·梅姆拉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cedars Sinai Medical Center
Original Assignee
Cedars Sinai Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cedars Sinai Medical Center filed Critical Cedars Sinai Medical Center
Priority to CN202010187843.2A priority Critical patent/CN111329450A/zh
Publication of CN105263390A publication Critical patent/CN105263390A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/407Evaluating the spinal cord
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4845Toxicology, e.g. by detection of alcohol, drug or toxic products

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Toxicology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Optical Filters (AREA)
  • Non-Silver Salt Photosensitive Materials And Non-Silver Salt Photography (AREA)
  • Optical Recording Or Reproduction (AREA)

Abstract

本发明提供用于使样品成像的系统和方法。在各个实施方案中,本发明提供了一种系统,所述系统包括图像传感器、用于针对红外或近红外荧光团发出激发光的激光器、可见光源、陷波分束器、陷波滤光器、同步模块、图像处理单元、图像显示单元和导光通道。在各个实施方案中,本发明提供了一种系统,所述系统包括图像传感器、用于针对红外或近红外荧光团发出激发光的激光器、激光清理滤光器、陷波滤光器、白光源、图像处理单元、图像显示单元和导光通道。根据本发明,所述图像传感器可检测可见光和红外光两者。

Description

用于从荧光团同时录制可见光图像和红外光图像的系统和方法
技术领域
本发明提供用于从荧光团同时录制可见光图像和红外(IR)光图像的系统和方法。
背景技术
本文中引用的所有公布均以引用方式全部并入本文,就如同每个单独的公布或专利申请被明确地并单独地指示为以引用方式并入本文一般。以下描述包括可用于理解本发明的信息。并不承认本文提供的任何信息都是现有技术,或与目前要求保护的本发明有关,或并不承认明确或含蓄引用的任何公布是现有技术。
近年来,在临床环境下手术移除肿瘤期间,使用红外(IR)染料检测标记组织诸如肿瘤和血管已被关注。红外染料被认为是优异的用于标志组织的标签染料,由于它们渗透深度较高,在可将噪音添加到成像的光谱区域中不含自体荧光,并且不吸收可减少荧光信号的光谱区域中的血红蛋白(即,血液)和水。将这些染料用于例如临床操作室环境中,需要IR敏感的成像系统,其在同时采集并且将红外信号叠加在正常可见光谱图像的顶部以在操作时为外科医生提供对比的同时,能够在正常白色光照可见的光谱中采集高分辨率的图像。
然而,由于外科肿瘤学中通常缺少荧光肿瘤配体的应用,目前不存在针对基于近红外(NIR)荧光的肿瘤的切除而优化的可商购获得的成像系统。存在的临床系统主要设计来检测未结合的血管内吲哚菁绿(ICG),FDA批准的NIR荧光染料。通常以高剂量静脉内施用ICG,并且在注射后30-60分钟进行成像。使用这种方法实现的血管内荧光负载高,并且批准的临床成像装置对这些应用具有足够的敏感度。此类系统的示例包括荧光模块并入的操作显微镜(OPMIPenteroInfrared800,CarlZeiss)以及系统(Novadaq)和800(Fluoptics)手持式单元。
这些系统对血管内成像具有足够的敏感度,但对用于例如靶向肿瘤特异性NIR荧光是不实际的。例如,Fluobeam是不具有白色光照图像的叠层的手持式装置,但它不是设计来实际用作在白色光照下需要HD品质图像、可操纵性、放大率、照明和NIR图像自动配准的外科工具。此类低敏感度的原因中一个是由于成像系统捕捉了较少的荧光光子,因为此类系统主要使用一个(仅NIR)或两个(NIR和可见)具有长通滤光器的相机。在同时可见和NIR捕捉成像系统中,一个相机捕捉可见光谱中的图像并且第二相机捕捉荧光图像。这可通过使用分束器将场中的入射光分为两个通道实现。一个光束将NIR荧光光照传送到相机中的一个,同时另一个可见光的光束穿过分束器进入第二相机。因为NIR染料诸如ICG的荧光激发和发射具有非常窄的斯托克斯频移,长通滤光器引起荧光光照(图1)和随后检测敏感度的显著损耗。肿瘤的荧光成像需要靶向部分以获得高特异性并且能够在癌组织和周围正常组织之间具有可靠的区别。为了实现这个,保持较低剂量并且药物施用和成像之间的时间非常长(在大多数情况下为12-48小时)以允许探头摄取肿瘤并且允许冲刷来自正常组织的未结合的材料。这导致显著较少的荧光信号,使得当前市售的系统不足以用于检测。另外,这些系统在临床环境中使用是笨重的,因为存在两个相机附件并且需要对现有的设置进行完全改变的事实。现有系统的这种不足驱动了利用新型成像剂的特异性进行装置革新的需求。
因此,存在对从荧光染料同时录制可见光图像和红外光图像的高度敏感系统和方法的需求。本文描述的发明通过提供用于从荧光团同时录制可见光图像和红外光图像的系统和方法满足了尚未满足的需求。
发明内容
本发明的各种实施方案提供一种成像系统,其用于使仅包含红外或近红外荧光团或连接到靶向部分诸如肽、蛋白质、纳米颗粒、纳米缀合物、抗体和核酸(例如,DNA和RNA链)或连接至任何其他此类生物特异性靶向实体的样品成像。所述成像系统包括:图像传感器、激光器、激光清理滤光器、陷波滤光器和白光源。图像传感器检测可见光和红外光并产生传感器信号。激光器针对红外荧光团发出激发光。激光清理滤光器放置于激光器到样品的光路中,并且将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带。变窄的激发光激发样品中峰值吸收处的红外或近红外荧光团以发出发射光。将陷波滤光器放置于从样品到图像传感器的光路中并且阻挡激发光。白光源发出包含可见光的光。在各个实施方案中,图像传感器不具有NIR长通滤光器。在各个实施方案中,成像系统还包括快速触发单元。
本发明的各种实施方案提供用于使包含红外或近红外荧光团的样品成像的成像系统。所述系统包括:图像传感器、激光器、陷波分束器、陷波滤光器和同步模块。图像传感器检测可见光和红外光并产生传感器信号。激光器针对红外或近红外荧光团发出激发光并在开和关状态之间交替。将陷波分束器放置于从激光器到样品的光路中和从样品到图像传感器的光路中。激发光通过陷波分束器反射到样品;激发光激发样品中的红外或近红外荧光团以发出发射光;并且发射光通过陷波分束器传送到图像传感器。将陷波滤光器放置于从样品到图像传感器的光路中,并且陷波滤光器阻挡激发光。同步(触发)模块使图像传感器与激光和可见光同步,由此单个传感器信号与激光器的单个开或关状态同步。
还提供了一种使样品成像的方法。所述方法包括以下步骤:提供样品,提供本文所述的成像系统并且使用所述成像系统使样品成像。
虽然本发明的各种实施方案描述于成像、诊断和/或治疗肿瘤的上下文中,但不应解释为本发明仅限于此类应用。事实上,本发明在任何和所有的检测和诊断由于任何和所有原因而导致的组织差异(即正常对异常)中均有实用性,所述原因包括但不限于肿瘤、损伤、创伤、局部缺血、感染、炎症或自身炎症。本发明提供了用于宽泛的应用范围的成像系统和系统,所述应用包括但不限于成像、诊断和/或治疗肿瘤组织、受伤组织、缺血性组织、感染组织和炎性组织。在任何由于生理或病理原因,受关注的组织(例如,癌性、受伤、缺血性、感染或炎性组织)不同于周围组织(例如,健康组织)的情况下,可使用红外或近红外荧光团差异性地标记受关注的组织和周围组织,并且可使用本发明的成像系统和方法使这些区域成像以为适当的诊断和治疗提供视觉引导。因此,可使用成像系统和方法使具有各种病状的受试者成像、诊断和/或治疗具有各种病状的受试者,所述病状包括但不限于肿瘤、癌症、外伤性脑损伤、脊髓损伤、中风、大脑出血,脑局部缺血、缺血性心脏病、缺血性再灌注损伤、心血管疾病、心脏瓣膜狭窄、感染性疾病、微生物感染、病毒感染、细菌感染、真菌感染和自体免疫疾病。还可使用本发明的成像系统使健康受试者的正常组织成像,例如以识别脉管。
附图说明
图1示出了根据本发明的各种实施方案,当使用长通滤光器以用于双相机解决方案时,荧光灯可能的损耗。
图2示出了根据本发明的各种实施方案,颜色传感器通常的敏感度。
图3示出了根据本发明的各种实施方案,图像传感器上的滤色器阵列。
图4示出了根据本发明的各种实施方案,用于从荧光染料同时录制可见光图像和红外光图像的示例性系统所述系统包括具有785nm的波长的激光器01、785nm处的陷波分束器02、785nm处的陷波滤光器03、不具有IR滤光器的CCD相机04和触发器或同步单元05。激光器可以约CCD相机的速度的一半的频率(例如60Hz)在开和关状态之间交替。CCD相机以120Hz的频率捕捉图像帧。同步单元使CCD图像传感器与激光器同步以确保单个图像帧对应于激光器的单个开或关状态。使用IR(或NIR)荧光团标记组织。可见光源06照射感兴趣的样品。785nm的波长为非限制性示例,并且其他波长也可用于此系统。
图5示出了根据本发明的各种实施方案,用于从荧光染料同时录制可见光图像和红外光图像的示例性方法。当激光器为关时,电荷耦合器件(CCD)相机捕捉第一帧1,其中红-绿蓝(RGB)像素传感器检测可见光,但不检测近红外范围(NIR)中的荧光。当激光器为开时,CCD相机捕捉第二帧2,其中RGB像素传感器检测可见光和NIR中的另外的荧光两者。从第二帧2中减去第一帧1的差代表NIR中另外的荧光。可向此计算的另外荧光的帧给予伪色并加回到第一帧1,从而产生向外科医生显示的可见光和红外光的复合图像帧。在外科手术期间,此过程可连续重复以显示或录制实时视频。
图6示出了根据本发明的各种实施方案,临床原型的非限制性示例。A)设计和光学说明。激光器01针对红外或近红外荧光团发出激发光。激发光行进到相机中并且通过折叠镜08反射到激光清理滤光器07。通过激光清理滤光器07,激发光变窄至红外或近红外荧光团的激发波长。变窄的激发光被陷波分束器02反射,被另一个折叠镜08反射,穿过多个光学组件(例如,准直透镜09和散光器10)并且朝向样品离开相机的窗口11。变窄的激发光激发样品中的红外或近红外荧光团以发出发射光。发射光通过另一个窗口11行进到相机中,被折叠镜08反射到陷波滤光器03并且穿过陷波滤光器03和多个光学组件(例如,VIS-NIR镜片12)。通过陷波滤光器03,从样品反射的任何激发光被阻挡。发射光达到检测激发光并产生传感器信号的图像传感器(例如,Basler相机)。发射光产生的传感器信号从相机经由数据联接件传输到用于产生红外图像帧的图像处理单元。白光源06发出可见光。可见光行进至相机,穿过陷波分束器02,被折叠镜08反射,穿过多个光学组件(例如,准直透镜09和散光器10)并且朝向样品离开相机的窗口11。样品由可见光照射。可见光通过另一个窗口11行进回相机中,被另一个折叠镜08反射到陷波滤光器03并且穿过陷波滤光器03和多个光学组件(例如,VIS-NIR镜片12)。可见光达到检测可见光并产生传感器信号的图像传感器(例如,Basler相机)。可见光产生的传感器信号从相机传输到用于产生可见图像帧的图像处理单元。B)定制的集成镜片和相机解决方案的照射场。在一个非限制性实例中,单元可测量7.75”x3.74”x2.06”并且可称重约3.8磅,从而允许它附接到商业内窥镜保持器。在一个非限制性实例中,具有约45cm的焦距,它可远坐落在外科手术区域之外并且允许外科手术切除期间,器械和标本在它下面能容易通过。相机输出连接至图像处理计算机并且然后提供到用于显示的高清视频监控器。C)成像系统的方案。针对红外或近红外荧光团的激发光从激光器发出,并且通过第一光导通道,由激光清理滤光器清理并且到达用红外或近红外荧光团标记的样品以激发红外或近红外荧光团。发射光从样品中激发的红外或近红外荧光团发出,并且通过第三光导通道,穿过陷波滤光器并且到达图像传感器。可见光从白光源发出,并且通过第二光导通道,到达并且照射样品。来自受照射的样品的可见光,通过第四光导通道,达到图像传感器。第一、第二、第三和第四通道可包括各种光学组件,所述组件包括但不限于光学纤维、滤光器、光学增强器、光学衰减器、分束器、聚光器、散光器、窗口、孔、镜子、快门和镜片。它们可部分或完全重叠;它们可为独立的通道或合并为一个、两个或三个通道;并且它们可包括诸如内窥镜和显微镜的装置或所述装置的一部分。图像传感器检测发射光以产生基于红外光的传感器信号并且检测可见光以产生基于可见光的传感器信号。图像传感器连接至图像处理单元并且将传感器信号传输到图像处理单元。图像处理单元处理传感器信号以产生红外光和可见光的复合图像帧并且将复合图像帧传输到显示红外光和可见光的复合图像的图像显示单元。成像系统连续地提供复合图像流诸如实时视频例如以协助外科医生去除肿瘤。
图7示出了根据本发明的各种实施方案,滤光器构造的非限制性示例。通过使用清理滤光器协助,使用非常窄的带激光器光激发785nm的峰值吸收波长处的ICG允许最大激发效率。联合相机前的陷波滤光器能够去除图像的激发光,从而仅捕捉来自靶的荧光发射。这种构造允许最高效率地使荧光成像,其中具有高SNR。
图8示出了根据本发明的各种实施方案,帧捕捉的时序详情的非限制性示例。此图示出了经处理以产生单个显示帧的10个捕捉帧的时序详情。相机以300帧/秒捕捉帧,同时视频显示器以30帧/秒显示帧。每个被捕捉的帧与白光和NIR激光器“开(ON)”和“关(OFF)”同步。当激光器为“关”(无荧光)且仅白光为“开”时捕捉可见或自然光帧。当两个光源均为“关”时,则SIRIS捕捉杂散光(背景)。当仅激光器为“开”且白光为“关”时,将此背景从荧光帧中减去。将此帧捕捉分为每5帧一组,降低相机移动期间的重影效应。
图9示出了根据本发明的各种实施方案,包括一个或多个处理器和储存由一个或多个处理器执行的一个或多个程序的存储器的装置或计算机系统的非限制性实例。
具体实施方式
本文引用的所有参考文献都如同充分阐述一般以引用方式整体并入。除非另外定义,否则本文使用的技术术语和科学术语具有与本发明所属领域中的普通技术人员通常所理解的相同的含义。Allen等人,Remington:TheScienceandPracticeofPharmacy第22版,PharmaceuticalPress(2012年9月15日);Hornyak等人,IntroductiontoNanoscienceandNanotechnology,CRCPress(2008);Singleton和Sainsbury,DictionaryofMicrobiologyandMolecularBiology第3版,修订版,J.Wiley&Sons(NewYork,NY2006);Smith,March’sAdvancedOrganicChemistryReactions,MechanismsandStructure第7版,J.Wiley&Sons(NewYork,NY2013);Singleton,DictionaryofDNAandGenomeTechnology第3版,Wiley-Blackwell(2012年11月28日);和Green和Sambrook,MolecularCloning:ALaboratoryManual第4版,ColdSpringHarborLaboratoryPress(ColdSpringHarbor,NY2012),为本领域的技术人员对本申请中使用的许多术语提供总体引导。关于如何制备抗体的参考文献,参见Greenfield,AntibodiesALaboratoryManual第2版,ColdSpringHarborPress(ColdSpringHarborNY,2013);和Milstein,Derivationofspecificantibody-producingtissuecultureandtumorlinesbycellfusion,Eur.J.Immunol.1976年7月,6(7):511-9;Queen和Selick,Humanizedimmunoglobulins,美国专利号5,585,089(1996年12月);和Riechmann等人,Reshapinghumanantibodiesfortherapy,Nature1988年3月24日,332(6162):323-7。
本领域技术人员将认识到与本文所述的方法和材料类似或等效的可用于实施本发明的许多方法和材料。本发明的其他特征和优势将根据连同附图一起进行的以下详细描述而变得显而易知,所述附图举例说明本发明的实施方案的各种特征。实际上,本发明决不限于所述方法和材料。为了方便起见,在此集中了在说明书、实例和附加权利要求书中采用的某些术语。
除非另行指出或从上下文暗示,下列术语和短语包括下面提供的含义。除非另外明确说明或从上下文明显可见,以下术语和短语不排除术语或短语在其所述的领域获取的含义。提供定义是为了有助于描述特定实施例,并且不旨在限制要求保护的发明,因为本发明的范围仅受权利要求书限制。除非另外定义,否则本文中所用的所有技术和科学术语均具有与本领域一般技术人员通常所理解含义相同的含义。
如本文所用,术语“包含(comprising)”或“包括(comprises)”用于表示可用于实施方案的组合物、方法及其各自的组分,其仍然为包括未指定的元素的开放式的术语,无论该元素是否必需。本领域技术人员应了解,一般而言,本文使用的术语通常意图为“开放”术语(例如术语“包括”应解释为“包括但不限于”,术语“具有”应解释为“具有至少”,术语“包括”应解释为“包括但不限于”等)。
除非另行指出,在描述本申请的特定实施方案的环境(特别是在权利要求的环境中)中使用的术语“一个”和“一种”和“所述”和类似的引用可以理解为涵盖单数和复数。本文中列举的数值范围仅仅希望作为单独提及落入范围中的每个独立数值的简写方法。除非本文另外指明,否则每个单独数值均并入在本说明书中,如同本文单独列举每个单独数值一样。可按任何合适的顺序来执行本文所述的所有方法,除非本文另外指明或明显地与上下文矛盾。使用相对于本文中的某些实施方案提供的任何和所有实例或示例性语言(例如,“如”)的目的仅仅是希望更好地阐明本申请而不对另外要求的本申请施加限制。缩写“e.g.”源于拉丁语例如(exempligratia)并且在本文中用于指示非限制性实例。因此,缩写“e.g.”与术语“例如”同义。不应该将说明书中的语言理解为表示对实践本发明必需的任何未要求的要素。
如本文所用,当针对疾病、病症或医学病状使用时,术语“治疗(treat)”、“治疗(treatment)”、“治疗(treating)”或“改善”是指治疗性治疗和预防或预防性措施,其中目的在于预防、逆转、缓解、改善、抑制、减少、减缓或停止症状或病状的进展或烈度。术语“治疗”包括降低或缓解病状的至少一个不利影响或症状。如果一种或多种症状或临床标志减少,则治疗大体为“有效”。或者,如果疾病、病症或医学病状的进展得以减轻或停滞,治疗“有效”。也就是说,“治疗”不仅包括症状或标志的改善,而且还包括与在不进行治疗的情况下所预期到的相比,使症状的发展或恶化中止或至少减慢。另外,“治疗”意指即使在治疗完全不成功的情况下,追求或获得有益结果或降低个体发展病状的可能性。需要治疗的对象包括已经患有病状的对象,以及易患所述病状的对象或要预防所述病状的对象。
“有益的结果”或“期望的结果”可以包括,但决不限于,减轻或缓解所述疾病状态的严重程度、预防所述疾病状态恶化、治愈所述疾病状态、预防所述疾病状态发展、降低患者发展所述疾病状态的几率、降低发病率和死亡率以及延长患者寿命或预期寿命。作为非限制性示例,“有益的结果”或“所期望的结果”可为一种或多种症状的缓解、缺陷程度的减小、肿瘤的稳定化(即不恶化)状态、肿瘤生长的延迟或减慢或与肿瘤相关的症状的改善或缓和。
如本文所用,“病状”和“疾病病状”可包括但决不限于任何形式的恶性赘生性细胞增生病症或疾病(例如,肿瘤和癌症)。根据本发明,如本文所用,“病状”和“疾病病状”包括但不限于涉及由于任何和所有原因而导致的组织差异(即正常对异常)的任何和所有病状,所述原因但不限于肿瘤、损伤、创伤、局部缺血、感染、炎症或自身炎症。仍根据本发明,如本文所用,“病状”和“疾病病状”包括但不限于任何由于生理或病理原因,受关注的组织(例如,癌性、受伤、缺血性、感染或炎性组织)不同于周围组织(例如,健康组织)的情况。“病状”和“疾病病状”的示例包括但不限于肿瘤、癌症、外伤性脑损伤、脊髓损伤、中风、大脑出血,脑局部缺血、缺血性心脏病、缺血性再灌注损伤、心血管疾病、心脏瓣膜狭窄、感染性疾病、微生物感染、病毒感染、细菌感染、真菌感染和自体免疫疾病。
如本文所用,“癌症”或“肿瘤”是指妨碍身体器官和系统的正常功能的细胞不受控制的生长和/或所有赘生性细胞生长和增殖,无论恶性或良性,以及所有前癌性和癌性细胞和组织。患有癌症或肿瘤的受试者为具有存在于受试者体内的可客观测量的肿瘤细胞的受试者。此定义中包括良性癌症和恶性癌症以及休眠态肿瘤或微转移瘤。从它们的初始位置和接种重要器官转移的癌症可通过受影响器官的功能恶化来最终导致受试者死亡。如本文所用,术语“侵入”是指渗透并且摧毁周围组织的能力。黑素瘤是皮肤肿瘤的侵入形式。如本文所用,术语“恶性上皮肿瘤”是指由上皮细胞产生的癌症。癌症的示例包括但不限于神经系统肿瘤、脑肿瘤、神经鞘肿瘤、乳腺癌、结肠癌、恶性肿瘤、肺癌、肝细胞癌、胃癌、胰腺癌、宫颈癌、卵巢癌、肝癌、膀胱癌、泌尿道癌、甲状腺癌、肾癌、肾细胞恶性肿瘤、恶性肿瘤、黑素瘤、头颈癌、脑癌和前列腺癌,所述前列腺癌包括但不限于雄性激素依赖性前列腺癌和雄激素非依赖性前列腺癌。脑肿瘤的示例包括但不限于良性脑肿瘤、恶性脑肿瘤、原发性脑肿瘤、继发性脑肿瘤、转移性脑肿瘤、神经胶质瘤、多形性成胶质细胞瘤(GBM)、髓母细胞瘤、脑室膜瘤、星形细胞瘤、毛细胞性星形细胞瘤、少突神经胶质瘤、脑干胶质瘤、视神经胶质瘤、混合神经胶质瘤诸如少突星形细胞瘤、低级别胶质瘤、高级别胶质瘤、幕上胶质瘤、幕下胶质瘤、脑桥胶质瘤、脑膜瘤、垂体腺瘤和神经鞘瘤。神经系统肿瘤或神经系统瘤是指影响神经系统的任何肿瘤。神经系统肿瘤可以是中枢神经系统(CNS)、周围神经系统(PNS)或CNS和PNS两者中的肿瘤。神经系统肿瘤的示例包括但不限于脑肿瘤、神经鞘瘤和视神经胶质瘤。
如本文所用,术语“施用”是指将药剂如本文所公开,以使得药剂至少部分定位在期望位点的方法或途径放置于受试者中。“施用途径”可指本领域中已知的任何施用途径,包括但不限于气雾剂、经鼻、经口、经粘膜、经皮、胃肠外或肠内,局部(topical)或局部(local)。“胃肠外”是指通常与注射相关的施用途径,包括眶内、输注、动脉内、囊内、心内、皮内、肌内、腹膜内、肺内、脊椎内、胸骨内、鞘内、子宫内、静脉内、蛛网膜下、囊下、皮下、经粘膜或经气管。通过胃肠外途径,组合物可呈用于输注或用于注射的溶液或混悬液形式,或呈冻干粉末形式。通过经肠途径,医药组合物可呈片剂、凝胶胶囊、糖包衣片剂、糖浆、混悬液、溶液、粉末、颗粒剂、乳剂、允许控释的微球或纳米球或脂质囊泡或聚合物囊泡形式。
如本文所用,术语“样品”或“生物样品”代表生物体的一部分。样品可以是细胞、组织、器官或身体部分。样品还可以是生物体整体。例如,当外科医生试图从患者去除乳腺肿瘤时,样品是指使用红外染料标记并且使用本文所述的成像系统成像的乳腺组织。在这种情况中,样品在去除前仍是患者身体的一部分。样品可提取自生物体或从生物体分离,例如从受试者去除的肿瘤样品。示例性生物样品包括但不限于,生物流体样品;血清;血浆;尿液;唾液;肿瘤样品;肿瘤活组织标本和/或组织样品等。术语还包括上述样品的混合物。术语“样品”还包括未处理或预处理(或经预处理)的生物样品。在一些实施方案中,样品可包含来自受试者的一种或多种细胞。在一些实施方案中,样品可以是肿瘤细胞样品,例如样品可包含癌性细胞、来自肿瘤的细胞和/或肿瘤活组织标本。
如本文所用,“受试者”意指人或动物。通常动物为脊椎动物,诸如灵长类动物、啮齿动物、家畜或野生动物。灵长类动物包括黑猩猩、食蟹猴、蜘蛛猴和猕猴例如恒河猴。啮齿动物包括小鼠、大鼠、土拨鼠、白鼬、兔子和仓鼠。家畜和野生动物包括牛、马、猪、鹿、野牛、水牛、猫科例如家养猫、犬科例如狗、狐狸、狼。术语“患者”、“个体”和“受试者”在本文中可互换使用。在一个实施方案中,受试者是哺乳动物。哺乳动物可以是人、非人的灵长类动物、小鼠、大鼠、狗、猫、马或牛,但不限于这些示例。此外,本文所述的方法可用于治疗驯养的动物和/或宠物。
如本文所用的“哺乳动物”是指哺乳纲的任何成员,不加限制地包括人和非人灵长类动物,如黑猩猩以及其他猿和猴物种;家畜,如牛、绵羊、猪、山羊和马;家养哺乳动物,如犬和猫;实验室动物,包括啮齿动物,如小鼠、大鼠和豚鼠等。所述术语不指示特定年龄或性别。因此,成年和新生受试者以及胎儿无论雄性或雌性都意欲包括在这个术语的范围内。
受试者可为先前诊断或识别为患有或具有需要治疗的病状(例如肿瘤),或者与此类病状相关的一种或多种并发症,并任选已经历过对病状或与病状相关的一种或多种并发症的治疗的个体。或者,受试者还可为先前未诊断为患有病状或与病状相关的一种或多种并发症的个体。例如,受试者可为表现出病状或与病状相关的一种或多种并发症的一种或多种风险因素的个体或未表现出风险因素的受试者。就具体病症而言,“需要治疗的受试者”可为疑似具有病症、诊断为具有病症、已对病症进行治疗或正在治疗、未对病症进行治疗或具有发展病症的风险的受试者。
术语“统计学显著”或“显著地”是指有差异存在的统计证明。它被定义为当无效假设实际上为真时作出否决该无效假设的决定的可能性。通常使用p值做出决定。
根据本发明,“通道”意指引导光从一个地方到另一个地方的通道。“通道”可以是光学纤维、滤光器、光学增强器、光学衰减器、分束器、聚光器、散光器、准直透镜、窗口、孔、镜子、快门、镜片或一组镜片或包括但不限于内窥镜和显微镜的装置或它们的各种组合。
根据本发明,可使用各种红外或近红外荧光团。这些荧光团的示例包括但不限于各种红外或近红外荧光染料和量子点。它们是单独的或连接到靶向部分诸如肽、蛋白质、纳米颗粒、纳米缀合物、抗体和核酸(例如,DNA和RNA链)或连接到任何其他此类生物特异性靶向实体。近红外波长是红外波长的一部分,并且距可被人眼检测的辐射最近;并且中红外和远红外距可见光谱逐渐更远。因此,近红外荧光团是红外荧光团的子组。
除非本文另外定义,否则与本申请关联使用的科学和技术术语将具有由本公开所属的领域的那些普通技术人员通常所理解的含义。应了解本发明不限于本文所述的特定方法、方案和试剂等,且因此可变化。本文所用的术语仅出于描述特定实施方案的目的,且不意图限制本发明的范围,所述范围仅由权利要求限定。
在各个实施方案中,本发明提供了用于使样品成像的成像系统。根据本发明,样品包含红外或近红外荧光团。所述成像系统包括:图像传感器、激光器、激光清理滤光器、陷波滤光器和白光源。图像传感器检测可见光和红外光并产生传感器信号。激光器针对红外或近红外荧光团发出激发光。激光清理滤光器放置于激光器到样品的光路中,并且将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带。变窄的激发光激发样品中的红外或近红外荧光团以发出发射光。将陷波滤光器放置于从样品到图像传感器的光路中并且阻挡激发光。白光源发出包含可见光的光。根据本发明,可见光可具有400-700nm的光谱。在各个实施方案中,成像系统还包括快速触发单元。
在一些实施方案中,从白光源到样品的光路中存在红外滤光器。在各个实施方案中,控制激光的强度以确保在由可见光照射的相同区域上均匀的激发。虽然按照定义的激光为单色,这意指它们不具有宽的带范围,在实施过程中,大多数激光在相邻色带中具有少量的发射。在各个实施方案中,激光为窄带激光,其包括但不限于具有跨越不超过5、10、15或20nm的波长范围的激光。作为非限制性实例,激光器可发出具有约775-795nm波长其中峰值为约785nm的光(图7)。
在各个实施方案中,陷波滤光器的阻挡范围宽于激光清理滤光器的传送范围。在各个实施方案中,陷波滤光器的阻挡范围比激光清理滤光器的传送范围宽约5-10nm、10-15nm或15-20nm。在各个实施方案中,陷波滤光器的阻挡范围比激光清理滤光器的传送范围宽约5-10%、10-15%、15-20%、20-25%、25-30%、30-40%、40-50%、50-100%或100-200%。作为非限制性示例,激光清理滤光器的传送范围可为约775-795nm并且陷波滤光器的阻挡范围可为约770-800nm、765-805nm或760-810nm。
在各个实施方案中,激发光包含具有约785nm的波长的光。在各个实施方案中,激光清理滤光器选择性地传送具有约785nm的波长的光。在各个实施方案中,陷波滤光器选择性地阻挡具有约785nm的波长的光。
在各个实施方案中,成像系统还包括在从激光器到样品的光路中的陷波分束器,由此激发光通过陷波分束器反射至样品。在各个实施方案中,成像系统还包括在从白光源到样品的光路中的陷波分束器,由此可见光被传送到样品。在从激光器到样品的光路中的陷波分束器和在从白光源到样品的光路中的陷波分束器可为一个单个陷波分束器或两个独立的陷波分束器。在一个实施方案中,陷波分束器可分裂约700、725或750nm的波长处的光。在另一个实施方案中,陷波分束器反射具有约785nm的波长的光。
在各个实施方案中,在从样品到图像传感器的光路中不存在红外滤光器。在各个实施方案中,在从激光器到样品的光路中不存在红外滤光器。在一些实施方案中,在从样品到图像传感器的光路中存在阻挡激发光的滤光器。在其他实施方案中,在从激光器到样品的光路中不存在阻挡激发光的滤光器。
在各个实施方案中,成像系统还包括用以处理传感器信号以产生图像帧的图像处理单元。根据本发明,图像处理单元连接到图像传感器。在各个实施方案中,图像处理单元处理传感器信号以当样品仅接收可见光时产生至少一个白光帧(WLF),当样品既不接收可见光也不接收激发光时产生至少一个杂散光帧(SLF),并且当样品仅接收激发光时产生一个或多个近红外帧(NIF),并且其中图像处理单元从每个NIF中减去SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF。在各个实施方案中,图像处理单元使最终NIF伪色。在各个实施方案中,图像处理单元将伪色的最终NIF加到WLF以产生可见光和红外光的复合图像帧。在各个实施方案中,图像处理单元以30Hz的频率产生可见光和红外光的复合图像帧。
在各个实施方案中,在产生可见光和红外光的复合图像帧的一个循环期间,成像系统产生一个或多个WLF、一个或多个SLF和一个或多个NIF。根据本发明,在一个循环期间,WLF(W)、SLF(S)和NIF(N)的序列具有许多合适的选择,包括但不限于W-S-N、W-N-S、S-W-N、S-N-W、N-S-W和N-W-S。还是根据本发明,在一个循环期间,WLF(W)、SLF(S)和NIF(N)的数目具有许多合适的选择,包括但不限于1W-1S-1N、1W-1S-2N、1W-1S-3N、2W-2S-6N和1W-1S-3N-1W-1S-3N。在各个实施方案中,成像系统连续重复产生连续的复合图像帧流的循环作为实时视频。
在各个实施方案中,成像系统还包括用以基于从图像处理单元产生的图像帧显示图像的图像显示单元。根据本发明,图像显示单元连接到图像处理单元。图像显示单元的示例包括但不限于显示器、投影仪、手机、平板和屏幕。在一些实施方案中,图像显示单元以30Hz的频率显示可见光和红外光的复合图像帧。
在各个实施方案中,成像系统还包括用以将激发光从激光器引导至样品的第一通道,用以将可见光从白光源引导至样品的第二通道,用以将发射光从样品引导至图像传感器的第三通道和用以将可见光从样品引导至图像传感器的第四通道。根据本发明,第一、第二、第三和第四通道是四个独立的通道或合并成一个、两个或三个通道。还是根据本发明,四个通道中的两个或更多个可在它们光路上部分重叠或完全重叠。在各个实施方案中,第一、第二、第三和第四通道是内窥镜或显微镜。
在各个实施方案中,本发明提供了用于使样品成像的成像系统。根据本发明,样品包含红外或近红外荧光团。作为非限制性示例,红外或近红外荧光团可为吲哚菁绿(ICG)。所述系统包括:(a)图像传感器、(b)激光器、(c)激光清理滤光器、(d)第一通道、(e)白光源、(f)第二通道、(g)陷波分束器、(h)第三通道、(i)第四通道、(j)陷波滤光器、(k)图像处理单元和(l)图像显示单元。(a)图像传感器检测可见光和红外光并以第一频率产生传感器信号。在从样品到图像传感器的光路中不存在红外滤光器。图像传感器包括蓝色、绿色和红色像素传感器。图像传感器的示例包括但不限于CCD图像传感器和CMOS图像传感器。(b)激光器针对红外或近红外荧光团发出激发光。(c)激光清理滤光器放置于从激光器到样品的光路中。激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且变窄的激发光激发样品中的红外或近红外荧光团以发出发射光。(d)第一通道将激发光从激光器引导至样品。(e)白光源发出包含可见光的光。(f)第二通道将可见光从白光源引导至样品。(g)将陷波分束器放置于从激光器到样品的光路中和从白光源到样品的光路中。激发光通过陷波分束器反射至样品并且可见光穿过陷波分束器传送至样品。(h)第三通道将发射光从样品引导至图像传感器。(i)第四通道将可见光从样品引导至图像传感器。(j)将陷波滤光器放置于从样品到图像传感器的光路中,并且陷波滤光器阻挡激发光。(k)图像处理单元连接至图像传感器并且处理传感器信号以产生图像帧。当样品仅接收可见光时,产生至少一个白光帧(WLF),当样品既不接收可见光也不接收激发光时,产生至少一个杂散光帧(SLF),并且当样品仅接收激发光时,产生一个或多个近红外帧(NIF)。图像处理单元从每个NIF中减去SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF。图像处理单元使最终NIF伪色,并且将伪色的最终NIF加到WLF以产生可见光和红外光的复合图像帧。(l)图像显示单元连接至图像处理单元,并且基于从图像处理单元产生的图像帧显示图像。
在各个实施方案中,图像传感器包括蓝色、绿色和红色像素传感器。在一个实施方案中,所有蓝色、绿色和红色像素传感器对可见光和红外光两者均敏感。在各个实施方案中,图像传感器是检测可见光和红外光并且产生CCD图像信号的CCD图像传感器。在各个实施方案中,图像传感器是检测可见光和红外光并且产生CMOS图像信号的CMOS图像传感器。在各个实施方案中,图像传感器不具有NIR长通滤光器。
在各个实施方案中,成像系统还包括控制成像系统的所有组件的软件。图9示出了包含一个或多个处理器930和储存用于通过一个或多个处理器930执行的一个或多个程序950的存储器940的装置或计算机系统900。
在一些实施方案中,装置或计算机系统900可以还包括非暂态计算机可读存储介质960,其储存通过装置或计算机系统900的一个或多个处理器930执行的一个或多个程序950。
在一些实施方案中,装置或计算机系统900可以还包括一个或多个输入装置910,其可被构造成用于从将信息发送到由以下组成的组或从以下组成的组接收信息:外部装置(未示出)、一个或多个处理器930、存储器940、非暂态计算机可读存储介质960和一个或多个输出装置970。一个或多个输入装置910可被构造成用于通过用于无线通信的设备,诸如天线920、收发器(未示出)等,将信息无线发送到外部装置或从外部装置接收信息。
在一些实施方案中,装置或计算机系统900可以还包括一个或多个输入装置970,其可被构造成用于从将信息发送到由以下组成的组或从以下组成的组接收信息:外部装置(未示出)、一个或多个输入装置910、一个或多个处理器930、存储器940和非暂态计算机可读存储介质960。一个或多个输入装置970可被构造成用于通过用于无线通信的设备,诸如天线980、收发器(未示出)等,将信息无线发送到外部装置或从外部装置接收信息。
每个以上确认的模块或程序对应于一套用于进行以上所述的功能的说明书。这些模块和程序(即,说明书集)无需作为独立的软件程序、进程或模块实施,并且因此可合并这些模块的各种子组或以其他方式在各种实施方案中重新布置。在一些实施方案中,存储器可储存以上确认的模块和数据结构的子组。此外,存储器可储存以上未描述的另外的模块和数据结构。
本公开的图示方面还可以在分布式计算环境中实现,在所述环境中由经由通信网络连接起来的远程处理装置来进行某些任务。在分布式计算环境中,程序模块可定位于本地和远程存储器存储装置两者中。
此外,应理解本文所述的各种组件可包括合适的价值的组件和电路元件的电路以实现本主题发明的实施方案。此外,应理解许多各种组件可在一个或多个集成电路(IC)芯片上实现。例如,在一个实施方案中,一组组件可在单个IC芯片上实现。在其他实施方案中,可在单独的IC芯片上制造或实现一个或多个相应的组件。
以上所讨论的内容包括本发明的实施方案的实例。当然,出于描述要求保护的主题的目的,描述组件或方法的每个可能的组合是不可能的,但应理解主体发明的许多另外的组合是可能的。因此,要求保护的主题意图涵盖落在所附权利要求的精神和范围内的所有所述替代物、修改和变化。此外,主题公开的说明实施方案的以上描述,包括摘要中的描述内容,不意欲是详尽的或将所公开的实施方案限于所公开的确切形式。虽然本文所述的特定实施方案和实施例出于示例性的目的,如相关领域的普通技术人员可认识到,在此类实施方案和实施例的范围内存在各种变化是可能的。
具体来说,对于由上述组件、设备、电路、系统等等执行的各种功能,除非另外指明,否则用于描述这些组件的术语旨在对应于执行所描述的执行此处在所要求保护的主题的示例性方面所示的功能的组件的特定功能(例如,功能上等效)的任何组件,即使这些组件在结构上不等效于所公开的结构。关于这一点,还应认识到本发明还包括了具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的系统以及计算机可读存储介质。
已经关于若干个组件/阻挡物之间的交互作用描述了上述系统/电路/模块。可理解,此类系统/电路和组件/阻挡物可包括根据前述各种排列和组合的组件或指定的子组件,一些指定的组件或子组件,和/或另外的组件。子组件也可以按通信方式耦接到未包括在母组件(分等级)内的其他组件的组件形式实现。此外,应注意,一个或多个组件可组合成单一组件以提供聚合功能,或分成数个子组件,并且可提供一个或多个中间层(诸如管理层)以按通信方式耦接到此类子组件以便提供整合的功能。本文所述任何组件还可与本文中未特别描述但本领域技术人员已知的一个或多个其他组件相互作用。
另外,虽然已关于若干实施例中的仅一个公开了本发明的一个特定特征,但此特征可与其他实施例的一个或多个其他特征进行组合,对于任何指定或特定应用来说是需要和有利的。另外,就在详述或权利要求中使用术语“包括(includes)”、“包括(including)”、“具有”、“含有”、其变化形式和其他类似词语来说,这些术语意图为包涵性的,包涵的方式类似于作为开放式连结词同时不排除任何另外或其他要素的术语“包含”。
如本申请中所使用的,术语“组件”、“模块”、“系统”等通常意在指代计算机相关实体,其为硬件(例如,电路)、硬件和软件的组合,或者与具有一个或多个特定功能的操作机器相关的实体。例如,组件可以是但不局限于在处理器(例如,数字信号处理器)上运行的过程、处理器、对象、可执行程序、执行线程、程序和/或计算机。作为说明,在控制器上运行的应用与控制器都可以是组件。一个或多个组件可以处于过程和/或执行线程之内,并且组件可以位于一台计算机上和/或在两台或更多计算机之间进行分布。另外,“设备”可以为特殊设计的硬件的形式;通过在其上执行使得硬件能够执行特定功能的软件而专门制造的通用硬件;计算机可读介质上的软件;或者它们的组合。
此外,词语“示例”或“示例性”在这里被用来表示用作示例、实例或说明。这里被描述为“示例性”的任意方面或设计不必然被理解为相比其他方面或设计是优选或有利的。相反,使用词语“示例”或“示例性”是为了以具体的方式给出概念。如本申请中所使用的,术语“或”意在表示包含“或”而非排它性“或”。也就是说,除非以其他方式指出或者从上下文所清楚,否则“X采用A或B”意在表示任何自然的包括性排列。也就是说,如果X采用A;X采用B;或者X采用A和B两者,则“X采用A或B”在任意的上述实例下都得到满足。此外,除非以其他方式指出或者从上下文所清楚是针对单数形式,否则冠词“一个”("a"和"an")在本申请和所附权利要求中一般应当被理解为表示“一个或多个”。
计算机装置通常包括多种介质,其可包括计算机可读存储器介质和/或通信介质,在本文中该两个术语被差别地使用,如下所述。计算机可读存储器介质可是任何能够由计算机接入的可用存储器介质,通常具有非短时属性,并且可包括易失性和非易失性介质、可移动和非可移动介质。通过示例而并非限制,计算机可读存储器介质可被实现为连接至任何用于存储诸如计算机可读指令、程序模块、结构化数据或非结构化数据的信息的方法或技术。计算机可读存储器介质可包括但不限于RAM、ROM、EEPROM、闪存或其他内存技术、CD-ROM、数字通用光盘值(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储装置、/或其他可用于存储所需信息的有形和/或非暂态性介质。为了对介质中存储的信息执行多种操作,计算机可读存储器介质可例如通过接入请求、查询或其他数据检索协议由一个或多个本地或远程计算设备接入。
在另一方面,通信介质通常包含计算机可读指令、数据结构、程序模块或其他结构化或非结构化的诸如调制数据信号的数据信号中的数据,例如,载波或其他传输机制,并且通信介质还包括任何信息传递或传输介质。术语“已调制数据信号”或信号是指以这样的方式一个或多个特性被设置或改变,从而对一个或多个信号中的信息进行编码的信号。举例来说而并非限制,通信介质包括有线介质(诸如有线网络或直接有线连接)和无线介质(诸如声学、RF、红外线以及其他无线介质)。
鉴于上文所述的示例性系统,参照各个附图的流程图,可更好地理解按照所描述主题实现的方法。为了简单解释,把方法显示和描述为一系列动作。然而,根据本公开的动作可以各种顺序和/或同时发生,以及与此处未示出和描述的其他动作一起发生。此外,并非所有所图示的动作都被需要来实现依据所公开主题的方法。此外,本领域技术人员将会理解并意识到,所述方法可替换地可以经由状态图或事件而被表示为一系列中间状态。此外,应理解,本说明书中所公开的方法能够存储在制造品上以有利于将这样的方法输送或传输至计算设备。如这里所使用的术语制造品意在包含能够从任意计算机可读设备或存储介质进行访问的计算机程序。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:操作图像传感器以检测可见光和红外光并产生传感器信号;操作激光器以针对红外或近红外荧光团发出激发光;操作在从激光器到样品的光路中的激光清理滤光器,由此激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且由此变窄的激发光激发样品中的红外或近红外荧光团以发出发射光;操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;并且操作白光源以发出包含可见光的光。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:操作图像传感器以检测可见光和红外光并产生传感器信号;操作激光器以针对红外或近红外荧光团发出激发光;操作在从激光器到样品的光路中的激光清理滤光器,由此激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且由此变窄的激发光激发样品中的红外或近红外荧光团以发出发射光;操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;并且操作白光源以发出包含可见光的光。
在各个实施方案中,本发明提供储存一个或多个程序的非暂态计算机可读存储介质,所述程序用于使包含红外或近红外荧光团的样品成像,一个或多个程序由计算机系统的一个或多个处理器执行,一个或多个程序包括用于以下的指令:操作图像传感器以检测可见光和红外光并产生传感器信号;操作激光器以针对红外或近红外荧光团发出激发光;操作在从激光器到样品的光路中的激光清理滤光器,由此激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且由此变窄的激发光激发样品中的红外或近红外荧光团以发出发射光;操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;并且操作白光源以发出包含可见光的光。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:(a)操作图像传感器以检测可见光和红外光并产生传感器信号,其中在从样品到图像传感器的光路中不存在红外滤光器,并且其中图像传感器包括蓝色、绿色和红色像素传感器;(b)操作激光器以针对红外或近红外荧光团发出激发光;(c)操作在从激光器到样品的光路中的激光清理滤光器,由此激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且由此变窄的激发光激发样品中的红外或近红外荧光团以发出发射光;(d)操作第一通道以将激发光从激光器引导至样品;(e)操作白光源以发出包含可见光的光;(f)操作第二通道以将可见光从白光源引导至样品;(g)操作在从激光器到样品的光路中和在从白光源到样品的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品并且可见光通过陷波分束器传送至样品;(h)操作第三通道以将发射光从样品引导至图像传感器;(i)操作第四通道以将可见光从样品引导至图像传感器;(j)操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;和(k)操作图像处理单元以处理传感器信号来产生图像帧,其中图像处理单元连接至图像传感器,其中当样品仅接收可见光时,产生至少一个白光帧(WLF),其中当样品既不接收可见光也不接收激发光时,产生至少一个杂散光帧(SLF),其中当样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中图像处理单元从每个NIF中减去SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中图像处理单元使最终NIF伪色,且其中图像处理单元将伪色的最终NIF加到WLF以产生可见光和红外光的复合图像帧。(l)操作图像显示单元以基于从图像处理单元产生的图像帧显示图像,其中图像显示单元连接至图像处理单元。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:(a)操作图像传感器以检测可见光和红外光并产生传感器信号,其中在从样品到图像传感器的光路中不存在红外滤光器,并且其中图像传感器包括蓝色、绿色和红色像素传感器;(b)操作激光器以针对红外或近红外荧光团发出激发光;(c)操作在从激光器到样品的光路中的激光清理滤光器,由此激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且由此变窄的激发光激发样品中的红外或近红外荧光团以发出发射光;(d)操作第一通道以将激发光从激光器引导至样品;(e)操作白光源以发出包含可见光的光;(f)操作第二通道以将可见光从白光源引导至样品;(g)操作在从激光器到样品的光路中和在从白光源到样品的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品并且可见光通过陷波分束器传送至样品;(h)操作第三通道以将发射光从样品引导至图像传感器;(i)操作第四通道以将可见光从样品引导至图像传感器;(j)操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;(k)操作图像处理单元以处理传感器信号来产生图像帧,其中图像处理单元连接至图像传感器,其中当样品仅接收可见光时,产生至少一个白光帧(WLF),其中当样品既不接收可见光也不接收激发光时,产生至少一个杂散光帧(SLF),其中当样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中图像处理单元从每个NIF中减去SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中图像处理单元使最终NIF伪色,且其中图像处理单元将伪色的最终NIF加到WLF以产生可见光和红外光的复合图像帧;和(l)操作图像显示单元以基于从图像处理单元产生的图像帧显示图像,其中图像显示单元连接至图像处理单元。
在各个实施方案中,本发明提供储存一个或多个程序的非暂态计算机可读存储介质,所述程序用于使包含红外或近红外荧光团的样品成像,一个或多个程序由计算机系统的一个或多个处理器执行,一个或多个程序包括用于以下的指令:(a)操作图像传感器以检测可见光和红外光并产生传感器信号,其中在从样品到图像传感器的光路中不存在红外滤光器,并且其中图像传感器包括蓝色、绿色和红色像素传感器;(b)操作激光器以针对红外或近红外荧光团发出激发光;(c)操作在从激光器到样品的光路中的激光清理滤光器,由此激光清理滤光器将激发光的波长带变窄至红外或近红外荧光团的峰值吸收带,并且由此变窄的激发光激发样品中的红外或近红外荧光团以发出发射光;(d)操作第一通道以将激发光从激光器引导至样品;(e)操作白光源以发出包含可见光的光;(f)操作第二通道以将可见光从白光源引导至样品;(g)操作在从激光器到样品的光路中和在从白光源到样品的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品并且可见光通过陷波分束器传送至样品;(h)操作第三通道以将发射光从样品引导至图像传感器;(i)操作第四通道以将可见光从样品引导至图像传感器;(j)操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;(k)操作图像处理单元以处理传感器信号来产生图像帧,其中图像处理单元连接至图像传感器,其中当样品仅接收可见光时,产生至少一个白光帧(WLF),其中当样品既不接收可见光也不接收激发光时,产生至少一个杂散光帧(SLF),其中当样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中图像处理单元从每个NIF中减去SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中图像处理单元使最终NIF伪色,且其中图像处理单元将伪色的最终NIF加到WLF以产生可见光和红外光的复合图像帧;和(l)操作图像显示单元以基于从图像处理单元产生的图像帧显示图像,其中图像显示单元连接至图像处理单元。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:操作图像传感器以检测可见光和红外光并产生传感器信号;操作激光器以针对红外或近红外荧光团发出激发光并在开和关状态之间交替;操作在从激光器到样品的光路中和在从样品到图像传感器的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品,由此激发光激发样品中的红外或近红外荧光团以发出发射光,并且由此发射光通过陷波分束器传送到图像传感器;操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;和操作同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:操作图像传感器以检测可见光和红外光并产生传感器信号;操作激光器以针对红外或近红外荧光团发出激发光并在开和关状态之间交替;操作在从激光器到样品的光路中和在从样品到图像传感器的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品,由此激发光激发样品中的红外或近红外荧光团以发出发射光,并且由此发射光通过陷波分束器传送到图像传感器;操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;和操作同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步。
在各个实施方案中,本发明提供储存一个或多个程序的非暂态计算机可读存储介质,所述程序用于使包含红外或近红外荧光团的样品成像,一个或多个程序由计算机系统的一个或多个处理器执行,一个或多个程序包括用于以下的指令:操作图像传感器以检测可见光和红外光并产生传感器信号;操作激光器以针对红外或近红外荧光团发出激发光并在开和关状态之间交替;操作在从激光器到样品的光路中和在从样品到图像传感器的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品,由此激发光激发样品中的红外或近红外荧光团以发出发射光,并且由此发射光通过陷波分束器传送到图像传感器;操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;和操作同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:(a)操作图像传感器以检测可见光和红外光并以第一频率产生传感器信号,其中在从样品到图像传感器的光路中不存在红外滤光器,并且其中图像传感器包括蓝色、绿色和红色像素传感器;(b)操作激光器以针对红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中第二频率是第一频率的一半;(c)操作第一通道以将激发光从激光器引导至样品;(d)操作光源以发出包含可见光的光;(e)操作第二通道以将可见光从光源引导至样品;(f)操作在从激光器到样品的光路中和在从样品到图像传感器的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品,由此激发光激发样品中的红外或近红外荧光团以发出发射光,并且由此发射光通过陷波分束器传送到图像传感器;(g)操作第三通道以将发射光从样品引导至图像传感器;(h)操作第四通道以将可见光从样品引导至图像传感器;(i)操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;(j)操作同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步;(k)操作图像处理单元以处理传感器信号来产生图像帧,其中图像处理单元连接至图像传感器,其中图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据两个连续的图像帧之间的差异产生仅红外的图像帧,其中图像处理单元使仅红外的图像帧伪色,其中图像处理单元将伪色的仅红外的图像帧加回到当激光器关时产生的图像帧,由此产生可见光和红外光的复合图像帧;和(l)操作图像显示单元以基于从图像处理单元产生的图像帧显示图像,其中图像显示单元连接至图像处理单元。
在各个实施方案中,本发明提供用于使包含红外或近红外荧光团的样品成像的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:(a)操作图像传感器以检测可见光和红外光并以第一频率产生传感器信号,其中在从样品到图像传感器的光路中不存在红外滤光器,并且其中图像传感器包括蓝色、绿色和红色像素传感器;(b)操作激光器以针对红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中第二频率是第一频率的一半;(c)操作第一通道以将激发光从激光器引导至样品;(d)操作光源以发出包含可见光的光;(e)操作第二通道以将可见光从光源引导至样品;(f)操作在从激光器到样品的光路中和在从样品到图像传感器的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品,由此激发光激发样品中的红外或近红外荧光团以发出发射光,并且由此发射光通过陷波分束器传送到图像传感器;(g)操作第三通道以将发射光从样品引导至图像传感器;(h)操作第四通道以将可见光从样品引导至图像传感器;(i)操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;(j)操作同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步;(k)操作图像处理单元以处理传感器信号来产生图像帧,其中图像处理单元连接至图像传感器,其中图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据两个连续的图像帧之间的差异产生仅红外的图像帧,其中图像处理单元使仅红外的图像帧伪色,其中图像处理单元将伪色的仅红外的图像帧加回到当激光器关时产生的图像帧,由此产生可见光和红外光的复合图像帧;和(l)操作图像显示单元以基于从图像处理单元产生的图像帧显示图像,其中图像显示单元连接至图像处理单元。
在各个实施方案中,本发明提供储存一个或多个程序的非暂态计算机可读存储介质,所述程序用于使包含红外或近红外荧光团的样品成像,一个或多个程序由计算机系统的一个或多个处理器执行,一个或多个程序包括用于以下的指令:(a)操作图像传感器以检测可见光和红外光并以第一频率产生传感器信号,其中在从样品到图像传感器的光路中不存在红外滤光器,并且其中图像传感器包括蓝色、绿色和红色像素传感器;(b)操作激光器以针对红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中第二频率是第一频率的一半;(c)操作第一通道以将激发光从激光器引导至样品;(d)操作光源以发出包含可见光的光;(e)操作第二通道以将可见光从光源引导至样品;(f)操作在从激光器到样品的光路中和在从样品到图像传感器的光路中的陷波分束器,由此激发光通过陷波分束器反射到样品,由此激发光激发样品中的红外或近红外荧光团以发出发射光,并且由此发射光通过陷波分束器传送到图像传感器;(g)操作第三通道以将发射光从样品引导至图像传感器;(h)操作第四通道以将可见光从样品引导至图像传感器;(i)操作在从样品到图像传感器的光路中的陷波滤光器,由此陷波滤光器阻挡激发光;(j)操作同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步;(k)操作图像处理单元以处理传感器信号来产生图像帧,其中图像处理单元连接至图像传感器,其中图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据两个连续的图像帧之间的差异产生仅红外的图像帧,其中图像处理单元使仅红外的图像帧伪色,其中图像处理单元将伪色的仅红外的图像帧加回到当激光器关时产生的图像帧,由此产生可见光和红外光的复合图像帧;和(l)操作图像显示单元以基于从图像处理单元产生的图像帧显示图像,其中图像显示单元连接至图像处理单元。
在各个实施方案中,本发明提供用于使样品成像的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:提供样品;提供根据任何先前权利要求所述的成像系统;和使用成像系统使样品成像。
在各个实施方案中,本发明提供用于使样品成像的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:提供样品;提供根据任何先前权利要求所述的成像系统;和使用成像系统使样品成像。
在各个实施方案中,本发明提供储存用于使样品成像的一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:提供样品;提供根据任何先前权利要求所述的成像系统;和使用成像系统使样品成像。
在各个实施方案中,本发明提供用于治疗具有肿瘤的受试者的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:将红外染料施用到受试者,从而用红外染料标记肿瘤;在受试者上进行手术以进入所标记的肿瘤的区域;提供根据任何先前权利要求所述的成像系统;在成像系统下识别所标记的肿瘤;和去除所标记的肿瘤,从而治疗具有肿瘤的受试者。
在各个实施方案中,本发明提供用于治疗具有肿瘤的受试者的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:将红外染料施用到受试者,从而用红外染料标记肿瘤;在受试者上进行手术以进入所标记的肿瘤的区域;提供根据任何先前权利要求所述的成像系统;在成像系统下识别所标记的肿瘤;和去除所标记的肿瘤,从而治疗具有肿瘤的受试者。
在各个实施方案中,本发明提供储存用于治疗具有肿瘤受试者的一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:将红外染料施用到受试者,从而用红外染料标记肿瘤;在受试者上进行手术以进入所标记的肿瘤的区域;提供根据任何先前权利要求所述的成像系统;在成像系统下识别所标记的肿瘤;和去除所标记的肿瘤,从而治疗具有肿瘤的受试者。
在各个实施方案中,本发明提供用于捕捉并且处理图像和用于流畅显示图像的计算机实现的方法,所述方法包括:在装置上具有一个或多个处理器并且存储器储存用于由一个或多个处理器执行的一个或多个程序,一个或多个程序包括用于以下的指令:使用并行处理软件编码;传输原始图像;和将原始图像去马赛克至一个或多个处理器。
一个或多个处理器可包括图形处理单元(GPU)。
并行处理软件编码可包括基于GPU的计算机统一设备架构(CUDA)。
并行处理软件编码可直接储存在视频卡上。
原始图像可以是8比特原始图像
图像可包括每秒300帧的全高清帧,全HD(1080p)8比特图像的大小可为约2Mb,PCIe3.0数据传输速率可为约7Gb/s,并且图像可以在300微秒内可传输到GPU。
在将图像传输到GPU后,可进行图像处理操作。图像处理操作可为由以下组成的组中的一个或多个:Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色和加具有伪色荧光图像的白光图像。
为了提高速度,可使用GPU的openGL/directx功能以显示最终图像,而不是使图像返回系统存储器以用于显示。
图像可在医用级HD品质视频显示器上显示。
在各个实施方案中,本发明提供用于捕捉并且处理图像和用于流畅显示图像的计算机系统,所述系统包括:一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:使用并行处理软件编码;传输原始图像;和将原始图像去马赛克至一个或多个处理器。
一个或多个处理器可包括图形处理单元(GPU)。
并行处理软件编码可包括基于GPU的计算机统一设备架构(CUDA)。
并行处理软件编码可直接储存在视频卡上。
原始图像可以是8比特原始图像。
图像可包括每秒300帧的全高清帧,全HD(1080p)8比特图像的大小可为约2Mb,PCIe3.0数据传输速率可为约7Gb/s,并且图像可以在300微秒内可传输到GPU。
在将图像传输到GPU后,可进行图像处理操作。图像处理操作可为由以下组成的组中的一个或多个:Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色和加具有伪色荧光图像的白光图像。
为了提高速度,可使用GPU的openGL/directx功能以显示最终图像,而不是使图像返回系统存储器以用于显示。
图像可在医用级HD品质视频显示器上显示。
在各个实施方案中,本发明提供一种用于捕捉和处理图像并且用于流畅系显示图像的非暂态计算机可读存储介质,所述一个或多个程序由存储介质的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:使用并行处理软件编码;传输原始图像;和将原始图像去马赛克至一个或多个处理器。
一个或多个处理器可包括图形处理单元(GPU)。
并行处理软件编码可包括基于GPU的计算机统一设备架构(CUDA)。
并行处理软件编码可直接储存在视频卡上。
原始图像可以是8比特原始图像。
图像可包括每秒300帧的全高清帧,全HD(1080p)8比特图像的大小可为约2Mb,PCIe3.0数据传输速率可为约7Gb/s,并且图像可以在300微秒内可传输到GPU。
在将图像传输到GPU后,可进行图像处理操作。图像处理操作可为由以下组成的组中的一个或多个:Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色和加具有伪色荧光图像的白光图像。
为了提高速度,可使用GPU的openGL/directx功能以显示最终图像,而不是使图像返回系统存储器以用于显示。
图像可在医用级HD品质视频显示器上显示。
在各个实施方案中,本发明提供了一种用于使样品成像的成像系统。根据本发明,样品包含红外或近红外荧光团。所述系统包括:图像传感器、激光器、陷波分束器、陷波滤光器和同步模块。图像传感器检测可见光和红外光并产生传感器信号。激光器针对红外或近红外荧光团发出激发光并在开和关状态之间交替。将陷波分束器放置于从激光器到样品的光路中和从样品到图像传感器的光路中。激发光通过陷波分束器反射到样品;激发光激发样品中的红外或近红外荧光团以发出发射光;并且发射光通过陷波分束器传送到图像传感器。将陷波滤光器放置于从样品到图像传感器的光路中,并且陷波滤光器阻挡激发光。同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步。在各个实施方案中,成像系统还包括快速触发单元。
在各个实施方案中,成像系统还包括用以发出包含可见光的光的光源。根据本发明,可见光可具有400-700nm的光谱。在一些实施方案中,从光源到样品的光路中存在红外滤光器。根据本发明,控制激光的强度以确保在由可见光照射的相同区域上均匀的激发。
根据本发明,激光器的开-关频率是产生传感器信号的图像传感器的频率的一半。在各个实施方案中,激光器以60Hz的频率在开和关状态之间改变。在各个实施方案中,图像传感器以120Hz的频率产生传感器信号。
在各个实施方案中,激发光包含具有约785nm和/或780nm的波长的光。在各个实施方案中,陷波分束器选择性地反射具有约785nm和/或780nm的波长的光。在各个实施方案中,陷波滤光器阻挡具有约785nm和/或780nm的波长的光。
在各个实施方案中,在从样品到图像传感器的光路中不存在红外滤光器。在各个实施方案中,在从激光器到样品的光路中不存在红外滤光器。在一些实施方案中,在从样品到图像传感器的光路中存在阻挡激发光的滤光器。在其他实施方案中,在从激光器到样品的光路中不存在阻挡激发光的滤光器。
在各个实施方案中,成像系统还包括用以处理传感器信号以产生图像帧的图像处理单元。根据本发明,图像处理单元连接到图像传感器。在各个实施方案中,图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据两个连续的图像帧之间的差异产生仅红外的图像帧。根据本发明,图像处理单元使仅红外的图像帧伪色。根据本发明,图像处理单元将伪色的仅红外的图像帧加回到当激光器关时产生的图像帧,由此产生可见光和红外光的复合图像帧。在一些实施方案中,图像处理单元以60Hz的频率产生可见光和红外光的复合图像帧。
在各个实施方案中,成像系统还包括用以基于从图像处理单元产生的图像帧显示图像的图像显示单元。根据本发明,图像显示单元连接到图像处理单元。图像显示单元的示例包括但不限于显示器、投影仪、手机、平板和屏幕。在一些实施方案中,图像显示单元以60Hz的频率显示可见光和红外光的复合图像帧。
在各个实施方案中,成像系统还包括用以将激发光从激光器引导至样品的第一通道,用以将可见光从光源引导至样品的第二通道,用以将发射光从样品引导至图像传感器的第三通道和用以将可见光从样品引导至图像传感器的第四通道。根据本发明,第一、第二、第三和第四通道是四个独立的通道或合并成一个、两个或三个通道。还是根据本发明,四个通道中的两个或更多个可在它们光路上部分重叠或完全重叠。在各个实施方案中,第一、第二、第三和第四通道是内窥镜或显微镜。
在各个实施方案中,本发明提供了一种用于使样品成像的成像系统。根据本发明,样品包含红外或近红外荧光团。仍根据本发明,红外或近红外荧光团可为吲哚菁绿(ICG)。所述系统包括:(a)图像传感器、(b)激光器、(c)第一通道、(d)光源、(e)第二通道、(f)陷波分束器、(g)第三通道、(h)第四通道、(i)陷波滤光器、(j)同步模块、(k)图像处理单元和(l)图像显示单元。(a)图像传感器检测可见光和红外光并以第一频率产生传感器信号。在从样品到图像传感器的光路中不存在红外滤光器。图像传感器包括蓝色、绿色和红色像素传感器。图像传感器的示例包括但不限于CCD图像传感器和CMOS图像传感器。(b)激光器针对红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中第二频率是第一频率的一半;(c)第一通道将激发光从激光器引导至样品。(d)光源发出包含可见光的光。(e)第二通道将可见光从光源引导至样品。(f)将陷波分束器放置于从激光器到样品的光路中和从样品到图像传感器的光路中。激发光通过陷波分束器反射到样品;激发光激发样品中的红外或近红外荧光团以发出发射光;并且发射光通过陷波分束器传送到图像传感器。(g)第三通道将发射光从样品引导至图像传感器。(h)第四通道将可见光从样品引导至图像传感器。(i)将陷波滤光器放置于从样品到图像传感器的光路中,并且陷波滤光器阻挡激发光。(j)同步模块使图像传感器与激光和可见光同步,从而单个传感器信号与激光器的单个开或关状态同步。(k)图像处理单元连接至图像传感器并且处理传感器信号以产生图像帧。图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据两个连续的图像帧之间的差异产生仅红外的图像帧。图像处理单元使仅红外的图像帧伪色。图像处理单元将伪色的仅红外的图像帧加回到当激光器关时产生的图像帧,由此产生可见光和红外光的复合图像帧。(l)图像显示单元连接至图像处理单元,并且基于从图像处理单元产生的图像帧显示图像。
在各个实施方案中,图像传感器包括蓝色、绿色和红色像素传感器。在一个实施方案中,所有蓝色、绿色和红色像素传感器对可见光和红外光两者均敏感。在各个实施方案中,图像传感器是检测可见光和红外光并且产生CCD图像信号的CCD图像传感器。在各个实施方案中,图像传感器是检测可见光和红外光并且产生CMOS图像信号的CMOS图像传感器。在各个实施方案中,图像传感器不具有NIR长通滤光器。
在各个实施方案中,本发明提供一种用于使样品成像的方法。所述方法包括以下步骤:提供样品,提供本文所述的成像系统并且使用成像系统使样品成像。在另外的实施方案中,所述方法还包括在受试者上进行手术以获取样品或分离样品的步骤。在各个实施方案中,受试者患有癌症并且可能需要手术以去除癌性组织,并且样品是指包含癌性组织的身体部分。在各个实施方案中,受试者为人。在各个实施方案中,受试者是哺乳动物受试者,包括但不限于人、猴、猿、狗、猫、牛、马、山羊、猪、兔、小鼠和大鼠。仍在另外的实施方案中,所述方法还包括用红外或近红外荧光团标记样品的步骤。根据本发明,红外或近红外荧光团可为吲哚菁绿(ICG)。
在各个实施方案中,本发明提供一种治疗具有肿瘤的受试者的方法。所述方法包括以下步骤:将红外染料施用到受试者,从而用红外染料标记肿瘤;在受试者上进行手术以进入所标记的肿瘤的区域;提供本文所述的成像系统;在成像系统下识别所标记的肿瘤;和去除所标记的肿瘤,从而治疗具有肿瘤的受试者。
本发明的成像系统和方法可用于使来自各种受试者的样品成像,所述受试者包括但不限于人和非人灵长类动物,诸如黑猩猩以及其他猿和猴物种;家畜,诸如牛、绵羊、猪、山羊和马;家养哺乳动物,诸如犬和猫;实验室动物,包括啮齿动物,诸如小鼠、大鼠和豚鼠等。在各个实施方案中,受试者患有癌症并且可能需要手术以去除癌性组织,并且样品是指包含癌性组织的身体部分。在各个实施方案中,样品是肿瘤、细胞、组织、器官或身体部分。在一些实施方案中,从受试者分离样品。在其他的实施方案中,样品是受试者整体。根据本发明,样品包含红外或近红外荧光团。
红外或近红外荧光团的示例包括但不限于吲哚菁绿(ICG)、IR800、Alexa680和cy5.5以及它们的功能等同物、类似物、衍生物或盐。本领域的普通技术人员将知道针对特定的红外或近红外荧光团,如何在本文所述的成像方法和系统中选择合适的元件。作为一个非限制性实例,当待检测的红外染料是ICG(激发748-789nm,其中峰值为785nm;发射814-851nm,其中峰值是825nm),本领域的普通技术人员在本文所述的各种系统和方法中将选择发出约785nm的激发光的激光器、传送775-795nm的光的激光清理滤光器、阻挡770-800nm的光的陷波滤光器和/或分裂700nm的光的陷波分束器。已知ICG在不同的材料中具有不同的峰值。另外,ICG是非限制性实例并且可使用其他荧光团代替ICG。本领域的普通技术人员将理解当峰值不是如此非限制性实例所述的785时,可相应地修改设置。例如,通过改变激光器激发和滤光器,系统可使用几乎任何IR或NIR波长。
有效量的红外或近红外荧光团的典型剂量可以在已知使用成像化合物的制造商推荐范围内,并且还通过细胞中的体外结果或动物模型中的体内结果向技术人员表明。此类剂量一般可以在浓度或量上降低最多约一个数量级而不丧失相关的标记活性。实际剂量可以取决于医师的判断、患者的病状以及成像方法的有效性,所述成像方法例如基于相关的培养细胞或组织培养组织样品的体外结果或在适当的动物模型中观察到的体内结果。在各种实施方案中,红外或近红外荧光团可以每天一次(SID/QD)、每天两次(BID)、每天三次(TID)、每天四次(QID)或每天更多次施用,以便对所述受试者施用有效量的红外或近红外荧光团,其中所述有效量是任何一种或多种本文中描述的剂量。
在各个实施方案中,在成像前约5-10、10-20、20-30或30-60分钟,将红外或近红外荧光团施用给受试者或施加到样品。在各个实施方案中,在成像前约1-6、6-12、12-18、18-24、24-30、30-36、36-42或42-48小时,将红外或近红外荧光团施用给受试者或施加到样品。在一个实施方案中,红外或近红外荧光团是ICG或ICG的功能等同物、类似物、衍生物或盐。在其他实施方案中,红外或近红外荧光团是由以下组成的组中的一者:IR800、Alexa680、cy5.5、IR800的功能等同物、Alexa680的功能等同物、cy5.5的功能等同物、IR800的类似物、Alexa680的类似物、cy5.5的类似物、IR800的衍生物、Alexa680的衍生物、cy5.5的衍生物、IR800的盐、Alexa680的盐或cy5.5的盐。在某些实施方案中,将红外或近红外荧光团施用给人。
在各个实施方案中,红外或近红外荧光团以约0.1-0.5、0.5-1、1-1.5、1.5-2、2-3、3-4、4-5、5-10、10-20、20-50或50-100mg/kg的剂量施用给受试者或施加到样品。在各个实施方案中,红外或近红外荧光团以约0.001至0.01mg/kg、0.01至0.1mg/kg、0.1至0.5mg/kg、0.5至5mg/kg、5至10mg/kg、10至20mg/kg、20至50mg/kg、50至100mg/kg、100至200mg/kg、200至300mg/kg、300至400mg/kg、400至500mg/kg、500至600mg/kg、600至700mg/kg、700至800mg/kg、800至900mg/kg或900至1000mg/kg的剂量施用给受试者或施加到样品。在此,“mg/kg”是指mg/kg受试者的身体重量。在一个实施方案中,红外或近红外荧光团是ICG或ICG的功能等同物、类似物、衍生物或盐。在其他实施方案中,红外或近红外荧光团是由以下组成的组中的一者:IR800、Alexa680、cy5.5、IR800的功能等同物、Alexa680的功能等同物、cy5.5的功能等同物、IR800的类似物、Alexa680的类似物、cy5.5的类似物、IR800的衍生物、Alexa680的衍生物、cy5.5的衍生物、IR800的盐、Alexa680的盐或cy5.5的盐。在某些实施方案中,将红外或近红外荧光团施用给人。
在各个实施方案中,将红外或近红外荧光团施用给受试者或施加到样品一次、两次、三次或更多次。在各个实施方案中,约1-3次/天、1-7次/周或1-9次/月,将红外或近红外荧光团施用给受试者或施加到样品。仍在一些实施方案中,将红外或近红外荧光团施用给受试者或施加到样品约1-10天、10-20天、20-30天、30-40天、40-50天、50-60天、60-70天、70-80天、80-90天、90-100天、1-6月、6-12月或1-5年。在一个实施方案中,红外或近红外荧光团是ICG或ICG的功能等同物、类似物、衍生物或盐。在某些实施方案中,将红外或近红外荧光团施用给人。
根据本发明,可使用适当施用方式,例如由制造商推荐的施用方式施用红外或近红外荧光团。根据本发明,可使用各种途径施用受权利要求书保护的方法的红外或近红外荧光团,包括但不限于气喷雾、经鼻、经口、经粘膜、经皮、经肠胃、植入泵、连续灌注、局部施用、胶囊和/或注射。在各个实施方案中,血管内、静脉内、动脉内、瘤内、肌内、皮下、鼻内、腹膜内或口服施用类视色素激动剂。
在各个实施方案中,将红外或近红外荧光团作为药物组合物提供。当施用给哺乳动物时,优选的组合物还将表现出最小限度的毒性。
在各种实施方案中,根据本发明的药物组合物可被配制来通过任何施用途径进行输送。“施用途径”可指本领域中已知的任何施用途径,包括但不限于气雾剂、经鼻、经口、经粘膜、经皮、胃肠外、肠内、局部(topical)或局部(local)。“胃肠外”是指通常与注射相关的施用途径,包括眶内、输注、动脉内、囊内、心内、皮内、肌内、腹膜内、肺内、脊椎内、胸骨内、鞘内、子宫内、静脉内、蛛网膜下、囊下、皮下、经粘膜或经气管。通过胃肠外途径,组合物可呈用于输注或用于注射的溶液或混悬液形式,或呈冻干粉末形式。通过胃肠外途径,组合物可呈用于输注或用于注射的溶液或混悬液形式。通过经肠途径,医药组合物可呈片剂、凝胶胶囊、糖包衣片剂、糖浆、混悬液、溶液、粉末、颗粒剂、乳剂、允许控释的微球或纳米球或脂质囊泡或聚合物囊泡形式。通常,通过注射施用组合物。对于本领域的技术人员而言,这些施用的方法使已知的。根据本发明,可将药物组合物配制为静脉内注射、肌内注射、皮下注射、腹膜内注射、口服或通过吸入给药。
在各个实施方案中,根据本发明的药物组合物可包含任何药学上可接受的赋形剂。“药学上可接受的赋形剂”是指适用于制备药物组合物的通常安全、无毒且合乎需要的赋形剂,并且包括可为兽医学用途以及人医药用途所接受的赋形剂。此类赋形剂可为固体、液体、半固体,或在气雾剂组合物的情况下可为气体。赋形剂的示例包括但不限于淀粉、糖、微晶纤维素、稀释液、成粒剂、润滑剂、粘合剂、崩解剂、润湿剂、乳化剂、着色剂、剥离剂、涂层剂、甜味剂、调味剂、芳香剂、防腐剂、抗氧化剂、增塑剂、胶凝剂、增稠剂、硬化剂、定形剂、悬浮剂、表面活性剂、湿润剂、载体、稳定剂以及它们的组合。
在各个实施方案中,根据本发明的药物组合物可包含任何药学上可接受的载体。如本文所用的“药学上可接受的载体”是指涉及自身体的一种组织、器官或部分携带或运送目标化合物至身体的另一组织、器官或部分的药学上可接受的物质、组合物或媒介物。举例而言,载体可为液体或固体填充剂、稀释剂、赋形剂、溶剂或包载物质或其组合。载体的各组分必须是“药学上可接受的”,因为它必须与配方的其他成分相容。它还必须适用于与它可能与之接触的任何组织或器官接触,这意味着它必须不携有毒性、刺激、过敏反应、免疫原性或过度超过其治疗益处的任何其他并发症的风险。
根据本发明的药物组合物也可被包封、制片或以乳剂或糖浆形式制备以供口服施用。可添加药学上可接受的固体或液体载体以增强或稳定组合物,或有助于制备组合物。液体载体包括糖浆、花生油、橄榄油、甘油、盐水、醇和水。固体载体包括淀粉、乳糖、硫酸钙、二水合物、白土、硬脂酸镁或硬脂酸、滑石粉、果胶、阿拉伯胶、琼脂或明胶。载体还可以包括持续释放物质,如单独或与蜡组合的单硬脂酸甘油酯或二硬脂酸甘油酯。
药物制剂是遵循常规制药技术制备的,所述技术涉及研磨、混合、粒化和必要时压制(针对片剂形式);或研磨、混合和填充(针对硬质明胶胶囊形式)。当使用液体载体时,制剂将呈糖浆、酏剂、乳剂或水性或非水性混悬液形式。此类液体制剂可直接p.o.施用或填充至软质明胶胶囊中。
根据本发明的医药组合物可以以治疗有效量递送。精确的治疗有效量是就在给定受试者中标记的样品的疗效而言,组合物将产生最有效的结果的那个量。这个量将取决于多种因素而变化,所述因素包括但不限于标记化合物诸如红外或近红外荧光团的特征(包括活性、药物动力学、药效学和生物利用度)、受试者的生理状况(包括年龄、性别、疾病类型和阶段、一般身体状况、对给定剂量的反应性和药物类型)、制剂中药学上可接受的载体的性质以及施药途径。临床和药理学领域的技术人员将能够通过常规实验,例如通过监测受试者对施用化合物的反应以及相应调整剂量来确定用于标记样品的有效量。对于其他指导,参见Remington:TheScienceandPracticeofPharmacy(Gennaro编,第20版,Williams&WilkinsPA,USA)(2000)。
在施用到受试者之前,可将制剂组分添加到组合物。优选液体制剂。例如,这些制剂组分可包括油、聚合物、维生素、碳水化合物、氨基酸、盐、缓冲剂、白蛋白、表面活性剂、增量剂或它们的组合。
碳水化合物制剂组分包括糖或糖醇诸如单糖、二糖或多糖,或水溶性葡聚糖。糖或葡聚糖可包括果糖、右旋糖、乳糖、葡萄糖、甘露糖、山梨糖、木糖、麦芽糖、蔗糖、葡聚糖、支链淀粉、糊精、α-环糊精和β-环糊精、可溶性淀粉、羟乙基淀粉和羧甲基纤维素,或它们的混合物。“糖醇”定义为具有-OH基团的C4-C8烃,并且包括半乳糖醇、肌醇、甘露糖醇、木糖醇、山梨醇、甘油、和阿拉伯糖醇。上述这些糖或糖醇可单独使用或联合使用。用量没有固定的限制,只要糖或糖醇在液体制备物中可溶。在一个实施方案中,糖或糖醇浓度在1.0重量/体积%和7.0重量/体积%之间,更优选在2.0和6.0重量/体积%之间。氨基酸制剂组分包括肉毒碱、精氨酸和甜菜碱的左旋(L)形式;然而,可添加其他氨基酸。在一些实施方案中,作为制剂组分的聚合物包括平均分子量在2,000和3,000之间的聚乙烯吡咯烷酮(PVP)或平均分子量在3,000和5,000之间的聚乙二醇(PEG)。
还优选在组合物中使用缓冲液以将冻干前或重组后溶液的pH变化最小化。可使用大多数任何生理缓冲液,包括但不限于柠檬酸盐、磷酸盐、琥珀酸盐和谷氨酸盐缓冲液或它们的混合物。在一些实施方案中,浓度为0.01至0.3摩尔。可添加到制剂的表面活性剂示于欧洲专利号270,799和268,110中。
用于增加循环半衰期的另一种药物递送体系是脂质体。制备脂质体递送体系的方法在Gabizon等人,CancerResearch(1982)42:4734;Cafiso,BiochemBiophysActa(1981)649:129;和Szoka,AnnRevBiophysEng(1980)9:467中有讨论。其他药物递送体系在本领域是已知的并且在例如Poznansky等人DRUGDELIVERYSYSTEMS(R.L.Juliano编Oxford,N.Y.1980),第253-315页;M.L.Poznansky,PharmRevs(1984)36:277中有所描述。
液体药物组合物被制备后,可冻干以防止降解并保持无菌。冻干液体组合物的方法对于本领域普通技术人员是已知的。组合物仅在使用前用可包括另外的成分的无菌稀释液重建(例如林格溶液、蒸馏水或无菌盐水)。重建后,使用对于本领域的技术人员已知的那些方法将组合物施用给受试者。
本发明的组合物可以通过常规熟知的灭菌技术来灭菌。所得到的溶液可以包装使用或在无菌条件下过滤并且冻干,冻干的制备物在施用之前与无菌溶液组合。当需要接近生理条件时,组合物可以含有药学上可接受的辅助物质,诸如pH调节剂和缓冲剂、张力调节剂等,例如乙酸钠、乳酸钠、氯化钠、氯化钾、氯化钙和稳定剂(例如,1-20%麦芽糖等)。
在一些实施方案中,本文所述的发明提供有例如作为包含全部组件以用于使用的完整系统的定制的镜片解决方案(例如,相机)。在其他实施方案中,提供本文所述的发明以例如作为能够NIR的折光镜和内窥镜一起使用的附加系统或整合进手术显微镜补充使用者现有的设备。
实施例
提供以下实施例以更好说明要求保护的本发明且不应解释为限制本发明的范围。就提及的特定材料而言,仅出于说明目的且不意图限制本发明。本领域技术人员可在不行使本发明的能力和不脱离本发明的范围下开发等效手段或反应物。
实施例1
用于相机中的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器具有在400nm到1000nm范围内的广谱的敏感度(图2)。所有的红色、绿色和蓝色传感器显示出800-1000nm的波长内的敏感度。可商购获得的相机在传感器的顶部具有如图3中所示的用于采集图像的颜色信息的滤色器阵列(CFA)或滤色器镶嵌块(CFM)。除此滤光器阵列之外,存在切断700-1000nm的波长的光的另外的NIR短通滤光器。
实施例2
我们使用近红外区域(NIR)中的红色、绿色和蓝色像素的敏感度来检测红外荧光。可见光源照射感兴趣的样品。另外,使用激光器作为针对组织中红外荧光团的激发光,并且通过CCD相机检测红外荧光团的发射光。同时,在到达CCD相机之前过滤激发光从而不干扰发射光的检测。当激光器为开(在帧上)时捕捉图像帧。当激光器为关(不在帧上)时捕捉另一个图像帧。在帧上检测可见光和红外荧光两者,而不在帧上仅检测可见光。因此,在帧上和不在帧上之间强度的差异提供关于红外荧光信号的信息。(图4)。
1.激发:
使用非常窄的波长激光器在NIR波长(高吸收)780或785nm实现激发。激光器光通过特殊的镜片,在镜片中,使用陷波分束器将每个焦点添加激发光(例如FD01-785-25x36)(图4)。以相机帧速率的频率的一半,打开和关闭激光器。控制激光的强度以确保在由相机可见的相同区域上均匀的激发。
2.触发和同步:
使用与由CCD相机捕捉的图像帧同步的外部触发器触发激光器光。CCD相机的每一帧与激光器的打开和关闭同步(图4)。
3.CCD:
使用外部触发器,控制帧曝光。例如,当激光器为关时,捕捉第一帧1,并且当激光器为开时,捕捉第二帧2。第一帧1捕捉来自组织的正常的可见光(图5的上部)。第二帧2捕捉另外的红外荧光(图5中部的粉色窗口)。通过从第二帧2减去第一帧1,我们复原了由红外荧光添加的另外的强度。可给予此计算的红外荧光伪色并且添加回第一帧1以显示可见光和红外荧光的复合图像帧。在外科手术期间,连续重复此过程以显示或录制实时视频。
实施例3
通过去除传感器前面的NIR短通滤光器,可以检测在所有RGB通道上NIR荧光团发出的荧光光(图2)。但是为了在可见光和NIR光之间做区分,我们必须确保当捕捉NIR图像帧时,传感器上不存在可见光。为了捕捉NIR光,不应存在任何可见光。在一些情况中,当不存在可见光或NIR光时,我们捕捉一个帧,录制光并且然后将所述帧从NIR捕捉的帧中减去。临床原型显示在图6中。
1.滤光器组合:
我们使用非常特定的滤光器组合以对噪音比率(SNR)最高的信号。不使用如大多数当前NIR系统中所述的宽带激发,我们使用785nm处极其窄的带激发(对于ICG最佳,可根据荧光团变化),使用激光清理滤光器使激发进一步变窄(图7),并且使用陷波滤光器去除返回自靶的荧光光的激发光,所述陷波滤光器比激光清理滤光器稍宽。这确保我们捕捉整个荧光信号而不丢失图1中暗色区域的荧光。
2.镜片系统:
镜片系统实现两个目标:1)将脉冲的NIR激发光和白光递送到镜片的远侧端部以确保完全照射手术区域并且降低发射光的光学途径中激发光的强度。将此镜片系统的壳体设计来将NIR和白光两者以均匀的方式递送到手术区域。2)高度消色的镜片确保到相机的最大的光捕捉和传送,所述镜片具有用于去除激发光的陷波滤光器(Semrock,785nm单个-陷波滤光器,NF03-785E-25)中的构型。
3.帧捕捉次数:
使用帧抓取器,以300帧/秒的非常高的帧速率捕捉帧。也可使用更低或更快的帧速率。使用多功能DAQ,同步帧捕捉和激光器频闪观测器(开/关)。对于每个最后显示的帧,这允许我们捕捉10帧(30fps)。将10帧分为两组,每组5帧(图8)。将5个捕捉帧进一步分为,1)第一帧为WLF(白光“开”,NIR光“关”),2)第二帧为SLF(白光“关”,NIR光“关”)和3)接下来三帧为NIF(白光“关”,NIR光“开”)。在从所有三个NIF中减去SLF后,将NIFRGB通道加在一起,并且然后在将最终NIF加到WLF之前给予它伪色。最终将从两个帧产生的帧加起来以产生显示帧。这个过程用来以足以对外科医生看起来瞬时的视频速率产生清晰的WL和NIR图像。可改变WLF、SLF和NIF的确切顺序。
4.计算机构造、硬件和软件:
为了捕捉并且以300帧/秒处理全HD帧,我们可依靠并行处理技术,甚至可用的最快的CPU不能够以足够快以用于流畅显示图像的速率进行需要的视频处理计算。为了以此帧速率进行图像处理,我们可直接在视频卡上利用基于GPU的计算机统一设备架构(CUDA)并行处理软件编码。使用CUDA编程的主要限制中的一个是从系统存储器和到GPU以及反之亦然的数据的传输的开销。为了克服这个限制,将我们的算法设计来在去马赛克之前将原8比特图像传输到GPU。全HD(1080p)8比特图像的大小为约2Mb。如果我们考虑到PCIe3.0数据传输速率约7Gb/s,我们可在300微秒内将图像传输到GPU。在将图像传输到GPU后,我们进行图像处理操作诸如Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色并且最后加具有伪色荧光图像的白光图像。最后,为了进一步提高速度,我们使用GPU的openGL/directx功能以显示最终图像,而不是使图像返回系统存储器以用于显示。在医用级HD品质视频显示器上显示图像。我们已显示获取这些图像的高质量版本和使用软件调控外观的能力。
上述各种方法和技术提供若干实现本申请的途径。当然,应理解根据本文中描述的任何特定实施方案不一定可以实现所述的所有目标或优势。因此,例如,本领域技术人员将认识到,所述方法可以以实现或最优化如本文中教导的一个优势或一组优势的方式进行,而不一定需要实现本文中教导或指出的其他目标或优势。本文中提到多种替代方案。应理解,一些优选实施方案专门地包括一个、另一个或几个特征,而其他的实施方案专门地排除一个、另一个或几个特征,而又一些其他的实施方案通过包括一个、另一个或几个有利的特征而弱化特定的特征。
此外,本领域技术人员将认识到来自不同实施方案的各种特征的适用性。类似地,本领域的普通技术人员可以以各种组合使用上述各种元素、特征和步骤以及各个这样的元素、特征或步骤的其他已知等价物来执行根据本文中描述的原理的方法。在不同的实施方案中,所述各元素、特征和步骤中的一些将被专门地包括而其他的则被专门地排除。
虽然已经在某些实施方案和实施例的上下文中公开了本申请,但是本领域技术人员将理解,本申请的实施方案将专门公开的实施方案扩展到其他替代实施方案和/或用途以及其修改和等价物。
本文中描述了本申请的优选实施方案,包括发明人已知的实现本申请的最佳方式。通过阅读上述描述,那些优选实施方案的演变形式对普通技术人员而言将变得显而易见。预计本领域技术人员可以适当地使用这些演变形式,并且可以用本文中特定描述的其他方式实践本应用。因此,经适用的法律许可,本申请的许多实施方案包括在此附加的权利要求中叙述的所有标的物的改良形式和等价物。此外,除非另外在文中指出或明显与上下文矛盾,否则本申请涵盖所有可能的演变形式的上述元素的任何组合。
本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的,与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说,如果任何并入材料相关的与本文件相关的描述、定义和/或术语使用之间有任何不一致或冲突,那么本文件中的描述、定义和/或术语使用应该优先。
应理解本文中公开的本申请的实施方案是本申请的实施方案的原理的说明。可以使用的其他修改可以在本申请的范畴之内。因此,举例来说,但不限制,可以根据本文中的教导使用本申请的实施方案的替代构造。因此,本申请的实施方案不严格限于如图所示和所述的实施方案。
以上在详细描述中描述本发明的各种实施方案。尽管这些描述直接描述以上实施方案,但应了解本领域技术人员可设想本文所示以及所述的特定实施方案的修改和/或变化。属于本描述的范围内的任何所述修改或变化都也意图包括在本描述中。除非明确指示,否则发明者意图说明书和权利要求书中的用词和短语被给与对于适用领域中的普通技术人员而言普通且惯常的含义。
已递呈在提交本申请时为申请人所知的本发明的各种实施方案的上文描述,且所述上文描述意图出于说明和描述的目的。本描述的意图是详尽的,也非将本发明限于公开的精确形式,且根据以上教导,许多修改和变化是可能的。所述实施方案用于解释本发明的原理和本发明的实际应用,且用于使本领域其他技术人员能够以各种实施方案且在如适于涵盖的特定用途的各种修改下利用本发明。因此,意图本发明不限于所公开的用于执行本发明的特定实施方案。
尽管已显示且描述本发明的特定实施方案,但将为本领域技术人员显而易知的是基于本文教导,可在不脱离本发明和它的更广泛方面的情况下进行改变和修改,且因此随附权利要求书将在它们的范围内涵盖如在本发明的真实精神和范围内的所有所述改变和修改。

Claims (111)

1.一种用于使包含红外或近红外荧光团的样品成像的成像系统,所述成像系统包括:
图像传感器,其用以检测可见光和红外光并产生传感器信号;
激光器,其用以针对所述红外或近红外荧光团发出激发光;
激光清理滤光器,其在从所述激光器到所述样品的光路中,
由此所述激光清理滤光器将所述激发光的波长带变窄至所述红外或近红外荧光团的峰值吸收带,并且
由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
陷波滤光器,其在从所述样品到所述图像传感器的所述光路中,由此所述陷波滤光器阻挡所述激发光;和
白光源,其用以发出包含可见光的光。
2.根据权利要求1所述的成像系统图,其中所述样品是肿瘤、细胞、组织、器官或身体部分。
3.根据权利要求1所述的成像系统,其中所述样品分离自受试者。
4.根据权利要求1所述的成像系统,其中所述样品是受试者整体。
5.根据权利要求1所述的成像系统,其中所述红外或近红外荧光团是由以下组成的组中的一个:吲哚菁绿(ICG)、IR800、Alexa680、cy5.5、IR800的功能等同物、Alexa680的功能等同物、cy5.5的功能等同物、IR800的类似物、Alexa680的类似物、cy5.5的类似物、IR800的衍生物、Alexa680的衍生物、cy5.5的衍生物、IR800的盐、Alexa680的盐或cy5.5的盐。
6.根据权利要求1所述的成像系统,其中所述图像传感器包括蓝色、绿色和红色像素传感器。
7.根据权利要求1所述的成像系统,其中所述图像传感器是用以检测可见光和红外光并产生CCD图像信号的CCD图像传感器。
8.根据权利要求1所述的成像系统,其中所述图像传感器是用以检测可见光和红外光并产生CMOS图像信号的CMOS图像传感器。
9.根据权利要求1所述的成像系统,其中控制所述激光的强度以确保在由可见光照射的相同区域上均匀的激发。
10.根据权利要求1所述的成像系统,其中所述激光器为窄带激光器。
11.根据权利要求1所述的成像系统,其中所述陷波滤光器的所述阻挡范围宽于所述激光清理滤光器的所述传送范围。
12.根据权利要求1所述的成像系统,其中所述激发光包括具有约785nm的波长的光。
13.根据权利要求1所述的成像系统,其中所述激光清理滤光器选择性地传送具有约785nm的波长的光。
14.根据权利要求1所述的成像系统,其中所述陷波滤光器选择性地阻挡具有约785nm的波长的光。
15.根据权利要求1所述的成像系统,其还包括在从所述激光器到所述样品的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射至所述样品。
16.根据权利要求1所述的成像系统,其还包括在从所述白光源到所述样品的所述光路中的陷波分束器,由此所述可见光被传送到所述样品。
17.根据权利要求1所述的成像系统,其还包括分裂约700、725或750nm的波长处的光的陷波分束器。
18.根据权利要求1所述的成像系统,其还包括反射具有约785nm的波长的光的陷波分束器。
19.根据权利要求1所述的成像系统,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器。
20.根据权利要求1所述的成像系统,其中从所述激光器到所述样品的所述光路中不存在红外滤光器。
21.根据权利要求1所述的成像系统,其还包括用以处理传感器信号以产生图像帧的图像处理单元。
22.根据权利要求21所述的成像系统,其中所述图像处理单元处理传感器信号以当所述样品仅接收可见光时产生至少一个白光帧(WLF),当所述样品既不接收可见光也不接收所述激发光时产生至少一个杂散光帧(SLF)并且当所述样品仅接收激发光时产生一个或多个近红外帧(NIF),并且其中所述图像处理单元从每个NIF中减去所述SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF。
23.根据权利要求22所述的成像系统,其中所述图像处理单元使所述最终NIF伪色。
24.根据权利要求23所述的成像系统,其中所述图像处理单元将所述伪色的最终NIF加到所述WLF以产生可见光和红外光的复合图像帧。
25.根据权利要求24所述的成像系统,其中所述图像处理单元以30Hz的频率产生可见光和红外光的复合图像帧。
26.根据权利要求21所述的成像系统,其还包括用以基于从所述图像处理单元产生的所述图像帧显示图像的图像显示单元。
27.根据权利要求26所述的成像系统,其中所述图像显示单元以30Hz的频率显示可见光和红外光的复合图像帧。
28.根据权利要求1所述的成像系统,其还包括用以将所述激发光从所述激光器引导至所述样品的第一通道,用以将所述可见光从所述白光源引导至所述样品的第二通道,用以将所述发射光从所述样品引导至所述图像传感器的第三通道和用以将所述可见光从所述样品引导至所述图像传感器的第四通道。
29.根据权利要求28所述的成像系统,其中所述第一、第二、第三和第四通道是四个独立的通道或合并成一个、两个或三个通道。
30.根据权利要求28所述的成像系统,其中所述第一、第二、第三和第四通道是内窥镜或显微镜。
31.一种用于使包含红外或近红外荧光团的样品成像的成像系统,所述成像系统包括:
(a)图像传感器,其用以检测可见光和红外光并产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)激光器,其用以针对所述红外或近红外荧光团发出激发光;
(c)激光清理滤光器,其在从所述激光器到所述样品的所述光路中,由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
(d)第一通道,其用以将所述激发光从所述激光器引导至所述样品;
(e)白光源,其用以发出包含可见光的光;
(f)第二通道,其用以将所述可见光从所述白光源引导至所述样品;
(g)陷波分束器,其在从所述激光器到所述样品的所述光路中和在从所述白光源到所述样品的所述光路中,由此所述激发光通过所述陷波分束器反射到所述样品并且所述可见光通过所述陷波分束器传送至所述样品;
(h)第三通道,其用以将所述发射光从所述样品引导至所述图像传感器;
(i)第四通道,其用以将所述可见光从所述样品引导至所述图像传感器;
(j)陷波滤光器,其在从所述样品到所述图像传感器的所述光路中,由此所述陷波滤光器阻挡所述激发光;和
(k)图像处理单元,其用以处理传感器信号以产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中当所述样品仅接收可见光时,产生至少一个白光帧(WLF),其中当所述样品既不接收可见光也不接收所述激发光时,产生至少一个杂散光帧(SLF),其中当所述样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中所述图像处理单元从每个NIF中减去所述SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中所述图像处理单元使所述最终NIF伪色,并且其中所述图像处理单元将所述伪色的最终NIF加到所述WLF以产生可见光和红外光的复合图像帧。
(l)图像显示单元,其用以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
32.一种用于使包含红外或近红外荧光团的样品成像的成像系统,所述成像系统包括:
图像传感器,其用以检测可见光和红外光并产生传感器信号;
激光器,其用以针对所述红外或近红外荧光团发出激发光并且在开和关状态之间交替;
陷波分束器,其在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中,
由此所述激发光通过所述陷波分束器反射至所述样品,
由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且
由此所述发射光通过所述陷波分束器传送到所述图像传感器;
陷波滤光器,其在从所述样品到所述图像传感器的所述光路中,由此所述陷波滤光器阻挡所述激发光;和
同步模块,其用以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步。
33.根据权利要求32所述的成像系统图,其中所述样品是肿瘤、细胞、组织、器官或身体部分。
34.根据权利要求32所述的成像系统,其中所述样品分离自受试者。
35.根据权利要求32所述的成像系统,其中所述样品是受试者整体。
36.根据权利要求32所述的成像系统,其中所述红外或近红外荧光团是由以下组成的组中的一个:吲哚菁绿(ICG)、IR800、Alexa680、cy5.5、IR800的功能等同物、Alexa680的功能等同物、cy5.5的功能等同物、IR800的类似物、Alexa680的类似物、cy5.5的类似物、IR800的衍生物、Alexa680的衍生物、cy5.5的衍生物、IR800的盐、Alexa680的盐或cy5.5的盐。
37.根据权利要求32所述的成像系统,其中所述图像传感器包括蓝色、绿色和红色像素传感器。
38.根据权利要求32所述的成像系统,其中所述图像传感器是用以检测可见光和红外光并产生CCD图像信号的CCD图像传感器。
39.根据权利要求32所述的成像系统,其中所述图像传感器是用以检测可见光和红外光并产生CMOS图像信号的CMOS图像传感器。
40.根据权利要求32所述的成像系统,其中控制所述激光的所述强度以确保在由可见光照射的相同区域上均匀的激发。
41.根据权利要求32所述的成像系统,其中所述激光器的所述开-关频率是产生传感器信号的所述图像传感器的所述频率的一半。
42.根据权利要求32所述的成像系统,其中所述激光器以60Hz的频率在开和关状态之间交替。
43.根据权利要求32所述的成像系统,其中所述图像传感器以120Hz的频率产生传感器信号。
44.根据权利要求32所述的成像系统,其中所述激发光包括具有约785nm和/或780nm的波长的光。
45.根据权利要求32所述的成像系统,其中所述陷波分束器选择性地反射具有约785nm和/或780nm的波长的光。
46.根据权利要求32所述的成像系统,其中所述陷波滤光器阻挡具有约785nm和/或780nm的波长的光。
47.根据权利要求32所述的成像系统,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器。
48.根据权利要求32所述的成像系统,其中在从所述激光器到所述样品的所述光路中不存在红外滤光器。
49.根据权利要求32所述的成像系统,其还包括用以发出包含可见光的光的光源。
50.根据权利要求32所述的成像系统,其还包括用以处理传感器信号以产生图像帧的图像处理单元。
51.根据权利要求50所述的成像系统,其中所述图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据所述两个连续的图像帧之间的差异产生仅红外的图像帧。
52.根据权利要求51所述的成像系统,其中所述图像处理单元使所述仅红外的图像帧伪色。
53.根据权利要求52所述的成像系统,其中所述图像处理单元将所述伪色的仅红外的图像帧加回到当所述激光器关时产生的所述图像帧,由此产生可见光和红外光的复合图像帧。
54.根据权利要求53所述的成像系统,其中所述图像处理单元以60Hz的频率产生可见光和红外光的复合图像帧。
55.根据权利要求50所述的成像系统,其还包括用以基于从所述图像处理单元产生的所述图像帧显示图像的图像显示单元。
56.根据权利要求55所述的成像系统,其中所述图像显示单元以60Hz的频率显示可见光和红外光的复合图像帧。
57.根据权利要求32所述的成像系统,其还包括用以将所述激发光从所述激光器引导至所述样品的第一通道,用以将所述可见光从所述光源引导至所述样品的第二通道,用以将所述发射光从所述样品引导至所述图像传感器的第三通道和用以将所述可见光从所述样品引导至所述图像传感器的第四通道。
58.根据权利要求57所述的成像系统,其中所述第一、第二、第三和第四通道是四个独立的通道或合并成一个、两个或三个通道。
59.根据权利要求57所述的成像系统,其中所述第一、第二、第三和第四通道是内窥镜或显微镜。
60.一种用于使包含红外或近红外荧光团的样品成像的成像系统,所述成像系统包括:
(a)图像传感器,其用以检测可见光和红外光并以第一频率产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)激光器,其用以针对所述红外或近红外荧光团发出激发光并且以第二频率在开和关状态之间交替,其中所述第二频率是所述第一频率的一半;
(c)第一通道,其用以将所述激发光从所述激光器引导至所述样品;
(d)光源,其用以发出包含可见光的光;
(e)第二通道,其用以将所述可见光从所述光源引导至所述样品;
(f)陷波分束器,其在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中,由此所述激发光通过所述陷波分束器反射到所述样品,由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且由此所述发射光通过所述陷波分束器传送到所述图像传感器;
(g)第三通道,其用以将所述发射光从所述样品引导至所述图像传感器;
(h)第四通道,其用以将所述可见光从所述样品引导至所述图像传感器;
(i)陷波滤光器,其在从所述样品到所述图像传感器的所述光路中,由此所述陷波滤光器阻挡所述激发光;
(j)同步模块,其用以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步;
(k)图像处理单元,其用以处理传感器信号以产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中所述图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据所述两个连续的图像帧之间的差异产生仅红外的图像帧,其中所述图像处理单元使所述仅红外的图像帧伪色,其中所述图像处理单元将所述伪色的仅红外的图像帧加回到当所述激光器关时产生的所述图像帧,由此产生可见光和红外光的复合图像帧;和
(l)图像显示单元,其用以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
61.一种使样品成像的方法,所述方法包括:
提供样品;
提供根据任何先前权利要求所述的成像系统;和
使用所述成像系统使所述样品成像。
62.根据权利要求61所述的方法,其中所述样品是肿瘤、细胞、组织、器官或身体部分。
63.根据权利要求61所述的方法,其还包括在受试者上进行手术以获取所述样品或分离所述样品。
64.根据权利要求61所述的方法,其还包括用红外或近红外荧光团标记所述样品。
65.根据权利要求64所述的方法,其中所述红外或近红外荧光团是由以下组成的组中的一个:吲哚菁绿(ICG)、IR800、Alexa680、cy5.5、IR800的功能等同物、Alexa680的功能等同物、cy5.5的功能等同物、IR800的类似物、Alexa680的类似物、cy5.5的类似物、IR800的衍生物、Alexa680的衍生物、cy5.5的衍生物、IR800的盐、Alexa680的盐或cy5.5的盐。
66.一种治疗具有肿瘤的受试者的方法,所述方法包括:
将红外或近红外荧光团施加给所述受试者,从而用所述红外或近红外荧光团标记所述肿瘤;
在所述受试者上进行手术以进入所标记的肿瘤的所述区域;
提供根据任何先前权利要求所述的成像系统;
在所述成像系统下识别所标记的肿瘤;
和去除所标记的肿瘤,从而治疗具有所述肿瘤的所述受试者。
67.一种用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,其包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
操作图像传感器以检测可见光和红外光并产生传感器信号;
操作激光器以针对所述红外或近红外荧光团发出激发光;
操作在从所述激光器到所述样品的所述光路中的激光清理滤光器,
由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且
由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;和
操作白光源以发出包含可见光的光。
68.一种用于使包含红外或近红外荧光团的样品成像的计算机系统,所述计算机系统包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
操作图像传感器以检测可见光和红外光并产生传感器信号;
操作激光器以针对所述红外或近红外荧光团发出激发光;
操作在从所述激光器到所述样品的所述光路中的激光清理滤光器,
由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且
由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;和
操作白光源以发出包含可见光的光。
69.一种非暂态计算机可读存储介质,其储存用于使包含红外或近红外荧光团的样品成像的一个或多个程序,所述一个或多个程序用于由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
操作图像传感器以检测可见光和红外光并产生传感器信号;
操作激光器以针对所述红外或近红外荧光团发出激发光;
操作在从所述激光器到所述样品的所述光路中的激光清理滤光器,
由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且
由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;和
操作白光源以发出包含可见光的光。
70.一种用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,所述计算机实现的方法包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
(a)操作图像传感器以检测可见光和红外光并产生传感器信号,其中从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)操作激光器以针对所述红外或近红外荧光团发出激发光;
(c)操作在从所述激光器到所述样品的所述光路中的激光清理滤光器,由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
(d)操作第一通道以将所述激发光从所述激光器引导至所述样品;
(e)操作白光源以发出包含可见光的光;
(f)操作第二通道以将所述可见光从所述白光源引导至所述样品;
(g)操作在从所述激光器到所述样品的所述光路中和在从所述白光源到所述样品的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射到所述样品并且所述可见光通过所述陷波分束器传送至所述样品;
(h)操作第三通道以将所述发射光从所述样品引导至所述图像传感器;
(i)操作第四通道以将所述可见光从所述样品引导至所述图像传感器;
(j)操作从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;
(k)操作图像处理单元以处理传感器信号来产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中当所述样品仅接收可见光时,产生至少一个白光帧(WLF),其中当所述样品既不接收可见光也不接收所述激发光时,产生至少一个杂散光帧(SLF),其中当所述样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中所述图像处理单元从每个NIF中减去所述SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中所述图像处理单元使所述最终NIF伪色,并且其中所述图像处理单元将所述伪色的最终NIF加到所述WLF以产生可见光和红外光的复合图像帧;和
(l)操作图像显示单元以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
71.一种用于使包含红外或近红外荧光团的样品成像的计算机系统,所述计算机系统包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
(a)操作图像传感器以检测可见光和红外光并产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)操作激光器以针对所述红外或近红外荧光团发出激发光;
(c)操作在从所述激光器到所述样品的所述光路中的激光清理滤光器,由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
(d)操作第一通道以将所述激发光从所述激光器引导至所述样品;
(e)操作白光源以发出包含可见光的光;
(f)操作第二通道以将所述可见光从所述白光源引导至所述样品;
(g)操作在从所述激光器到所述样品的所述光路中和在从所述白光源到所述样品的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射到所述样品并且所述可见光通过所述陷波分束器传送至所述样品;
(h)操作第三通道以将所述发射光从所述样品引导至所述图像传感器;
(i)操作第四通道以将所述可见光从所述样品引导至所述图像传感器;
(j)操作从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;
(k)操作图像处理单元以处理传感器信号来产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中当所述样品仅接收可见光时,产生至少一个白光帧(WLF),其中当所述样品既不接收可见光也不接收所述激发光时,产生至少一个杂散光帧(SLF),其中当所述样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中所述图像处理单元从每个NIF中减去所述SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中所述图像处理单元使所述最终NIF伪色,并且其中所述图像处理单元将所述伪色的最终NIF加到所述WLF以产生可见光和红外光的复合图像帧;和
(l)操作图像显示单元以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
72.一种非暂态计算机可读存储介质,其储存用于使包含红外或近红外荧光团的样品成像的一个或多个程序,所述一个或多个程序用于由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
(a)操作图像传感器以检测可见光和红外光并产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)操作激光器以针对所述红外或近红外荧光团发出激发光;
(c)操作在从所述激光器到所述样品的所述光路中的激光清理滤光器,由此所述激光清理滤光器将所述激发光的所述波长带变窄至所述红外或近红外荧光团的所述峰值吸收带,并且由此所述变窄的激发光激发所述样品中的所述红外或近红外荧光团以发出发射光;
(d)操作第一通道以将所述激发光从所述激光器引导至所述样品;
(e)操作白光源以发出包含可见光的光;
(f)操作第二通道以将所述可见光从所述白光源引导至所述样品;
(g)操作在从所述激光器到所述样品的所述光路中和在从所述白光源到所述样品的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射到所述样品并且所述可见光通过所述陷波分束器传送至所述样品;
(h)操作第三通道以将所述发射光从所述样品引导至所述图像传感器;
(i)操作第四通道以将所述可见光从所述样品引导至所述图像传感器;
(j)操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;
(k)操作图像处理单元以处理传感器信号来产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中当所述样品仅接收可见光时,产生至少一个白光帧(WLF),其中当所述样品既不接收可见光也不接收所述激发光时,产生至少一个杂散光帧(SLF),其中当所述样品仅接收激发光时,产生一个或多个近红外帧(NIF),其中所述图像处理单元从每个NIF中减去所述SLF并且然后将所有减去SLF的NIF加在一起以产生最终NIF,其中所述图像处理单元使所述最终NIF伪色,并且其中所述图像处理单元将所述伪色的最终NIF加到所述WLF以产生可见光和红外光的复合图像帧;和
(l)操作图像显示单元以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
73.一种用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,其包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
操作图像传感器以检测可见光和红外光并产生传感器信号;
操作激光器以针对所述红外或近红外荧光团发出激发光并在开和关状态之间交替;
操作在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中的陷波分束器,
由此所述激发光通过所述陷波分束器反射至所述样品,
由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且
由此所述发射光通过所述陷波分束器传送到所述图像传感器;
操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;和
操作同步模块以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步。
74.一种用于使包含红外或近红外荧光团的样品成像的计算机系统,所述计算机系统包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
操作图像传感器以检测可见光和红外光并产生传感器信号;
操作激光器以针对所述红外或近红外荧光团发出激发光并在开和关状态之间交替;
操作在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中的陷波分束器,
由此所述激发光通过所述陷波分束器反射至所述样品,
由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且
由此所述发射光通过所述陷波分束器传送到所述图像传感器;
操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;和
操作同步模块以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步。
75.一种非暂态计算机可读存储介质,其储存用于使包含红外或近红外荧光团的样品成像的一个或多个程序,所述一个或多个程序用于由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
操作图像传感器以检测可见光和红外光并产生传感器信号;
操作激光器以针对所述红外或近红外荧光团发出激发光并在开和关状态之间交替;
操作在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中的陷波分束器,
由此所述激发光通过所述陷波分束器反射至所述样品,
由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且
由此所述发射光通过所述陷波分束器传送到所述图像传感器;
操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;和
操作同步模块以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步。
76.一种用于使包含红外或近红外荧光团的样品成像的计算机实现的方法,所述方法包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
(a)操作图像传感器以检测可见光和红外光并以第一频率产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)操作激光器以针对所述红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中所述第二频率是所述第一频率的一半;
(c)操作第一通道以将所述激发光从所述激光器引导至所述样品;
(d)操作光源以发出包含可见光的光;
(e)操作第二通道以将所述可见光从所述光源引导至所述样品;
(f)操作在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射到所述样品,由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且由此所述发射光通过所述陷波分束器传送到所述图像传感器;
(g)操作第三通道以将所述发射光从所述样品引导至所述图像传感器;
(h)操作第四通道以将所述可见光从所述样品引导至所述图像传感器;
(i)操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;
(j)操作同步模块以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步;
(k)操作图像处理单元以处理传感器信号来产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中所述图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据所述两个连续的图像帧之间的差异产生仅红外的图像帧,其中所述图像处理单元使所述仅红外的图像帧伪色,其中所述图像处理单元将所述伪色的仅红外的图像帧加回到当所述激光器关时产生的所述图像帧,由此产生可见光和红外光的复合图像帧;和
(l)操作图像显示单元以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
77.一种用于使包含红外或近红外荧光团的样品成像的计算机系统,所述计算机系统包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
(a)操作图像传感器以检测可见光和红外光并以第一频率产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)操作激光器以针对所述红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中所述第二频率是所述第一频率的一半;
(c)操作第一通道以将所述激发光从所述激光器引导至所述样品;
(d)操作光源以发出包含可见光的光;
(e)操作第二通道以将所述可见光从所述光源引导至所述样品;
(f)操作在从所述激光器到所述样品的所述光路中和从所述样品到所述图像传感器的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射到所述样品,由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且由此所述发射光通过所述陷波分束器传送到所述图像传感器;
(g)操作第三通道以将所述发射光从所述样品引导至所述图像传感器;
(h)操作第四通道以将所述可见光从所述样品引导至所述图像传感器;
(i)操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;
(j)操作同步模块以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步;
(k)操作图像处理单元以处理传感器信号来产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中所述图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据所述两个连续的图像帧之间的差异产生仅红外的图像帧,其中所述图像处理单元使所述仅红外的图像帧伪色,其中所述图像处理单元将所述伪色的仅红外的图像帧加回到当所述激光器关时产生的所述图像帧,由此产生可见光和红外光的复合图像帧;和
(l)操作图像显示单元以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
78.一种非暂态计算机可读存储介质,其储存用于使包含红外或近红外荧光团的样品成像的一个或多个程序,所述一个或多个程序用于由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
(a)操作图像传感器以检测可见光和红外光并以第一频率产生传感器信号,其中在从所述样品到所述图像传感器的所述光路中不存在红外滤光器,并且其中所述图像传感器包括蓝色、绿色和红色像素传感器;
(b)操作激光器以针对所述红外或近红外荧光团发出激发光并以第二频率在开和关状态之间交替,其中所述第二频率是所述第一频率的一半;
(c)操作第一通道以将所述激发光从所述激光器引导至所述样品;
(d)操作光源以发出包含可见光的光;
(e)操作第二通道以将所述可见光从所述光源引导至所述样品;
(f)操作在从所述激光器到所述样品的所述光路中和在从所述样品到所述图像传感器的所述光路中的陷波分束器,由此所述激发光通过所述陷波分束器反射到所述样品,由此所述激发光激发所述样品中的所述红外或近红外荧光团以发出发射光,并且由此所述发射光通过所述陷波分束器传送到所述图像传感器;
(g)操作第三通道以将所述发射光从所述样品引导至所述图像传感器;
(h)操作第四通道以将所述可见光从所述样品引导至所述图像传感器;
(i)操作在从所述样品到所述图像传感器的所述光路中的陷波滤光器,由此所述陷波滤光器阻挡所述激发光;
(j)操作同步模块以使所述图像传感器与所述激光和可见光同步,由此单个传感器信号与所述激光器的单个开或关状态同步;
(k)操作图像处理单元以处理传感器信号来产生图像帧,其中所述图像处理单元连接至所述图像传感器,其中所述图像处理单元从当所述激光器为开时产生的先前或下个图像帧中减去当所述激光器为关时产生的图像帧,由此根据所述两个连续的图像帧之间的差异产生仅红外的图像帧,其中所述图像处理单元使所述仅红外的图像帧伪色,其中所述图像处理单元将所述伪色的仅红外的图像帧加回到当所述激光器关时产生的所述图像帧,由此产生可见光和红外光的复合图像帧;和
(l)操作图像显示单元以基于从所述图像处理单元产生的所述图像帧显示图像,其中所述图像显示单元连接至所述图像处理单元。
79.一种用于使样品成像的计算机实现的方法,所述方法包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
提供样品;
提供根据任何先前权利要求所述的成像系统;和
使用所述成像系统使所述样品成像。
80.一种用于使样品成像的计算机系统,其包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
提供样品;
提供根据任何先前权利要求所述的成像系统;和
使用所述成像系统使所述样品成像。
81.一种非暂态计算机可读存储介质,其储存用于使样品成像的一个或多个程序,所述一个或多个程序用于由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
提供样品;
提供根据任何先前权利要求所述的成像系统;和
使用所述成像系统使所述样品成像。
82.一种治疗具有肿瘤的受试者的计算机实现的方法,所述方法包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
将红外或近红外荧光团施加给所述受试者,从而用所述红外或近红外荧光团标记所述肿瘤;
在所述受试者上进行手术以进入所标记的肿瘤的所述区域;
提供根据任何先前权利要求所述的成像系统;
在所述成像系统下识别所标记的肿瘤;和
去除所标记的肿瘤,从而治疗具有所述肿瘤的所述受试者。
83.一种用于治疗具有肿瘤的受试者的计算机系统,所述计算机系统包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
将红外或近红外荧光团施加给所述受试者,从而用所述红外或近红外荧光团标记所述肿瘤;
在所述受试者上进行手术以进入所标记的肿瘤的所述区域;
提供根据任何先前权利要求所述的成像系统;
在所述成像系统下识别所标记的肿瘤;和
去除所标记的肿瘤,从而治疗具有所述肿瘤的所述受试者。
84.一种非暂态计算机可读存储介质,其储存用于治疗具有肿瘤的受试者的一个或多个程序,所述一个或多个程序用于由计算机系统的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
将红外或近红外荧光团施加给所述受试者,从而用所述红外或近红外荧光团标记所述肿瘤;
在所述受试者上进行手术以进入所标记的肿瘤的所述区域;
提供根据任何先前权利要求所述的成像系统;
在所述成像系统下识别所标记的肿瘤;和
去除所标记的肿瘤,从而治疗具有所述肿瘤的所述受试者。
85.一种用于捕捉和处理图像以及用于流畅显示图像的计算机实现的方法,所述方法包括:
在装置上具有一个或多个处理器并且存储器储存用于由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下的指令:
利用并行处理软件编码;
传输原始图像;和
将所述原始图像去马赛克至所述一个或多个处理器。
86.根据权利要求85所述的计算机实现的方法,其中所述一个或多个处理器包括图形处理单元(GPU),并且其中所述并行处理软件编码包括基于GPU的计算机统一设备架构(CUDA)。
87.根据权利要求85所述的计算机实现的方法,其中所述并行处理软件编码直接储存在视频卡上。
88.根据权利要求85所述的计算机实现的方法,其中所述原始图像是8比特原始图像。
89.根据权利要求85所述的计算机实现的方法,其中所述图像包括每秒300帧的全高清帧,其中全HD(1080p)8比特图像的大小为约2Mb,其中PCIe3.0数据传输速率为约7Gb/s,并且其中所述图像在300微秒内传输到所述一个或多个处理器。
90.根据权利要求85所述的计算机实现的方法,其中在将所述图像传输到所述一个或多个处理器后,进行图像处理操作。
91.根据权利要求90所述的计算机实现的方法,其中所述图像处理操作是由以下组成的组中的一个:Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色,和加具有伪色荧光图像的白光图像。
92.根据权利要求85所述的计算机实现的方法,其中为了提高速度,操作所述一个或多个处理器的openGL/directx功能以显示最终图像,而不是使所述图像返回到系统存储器以用于显示。
93.根据权利要求85所述的计算机实现的方法,其中图像在医用级HD品质视频显示器上显示。
94.一种用于捕捉和处理图像以及用于流畅显示图像的计算机系统,所述计算机系统包括:
一个或多个处理器和用以储存一个或多个程序的存储器,所述一个或多个程序包括用于以下的指令:
利用并行处理软件编码;
传输原始图像;和
将所述原始图像去马赛克至所述一个或多个处理器。
95.根据权利要求94所述的计算机系统,其中所述一个或多个处理器包括图形处理单元(GPU),并且其中所述并行处理软件编码包括基于GPU的计算机统一设备架构(CUDA)。
96.根据权利要求94所述的计算机系统,其中所述并行处理软件编码直接储存在视频卡上。
97.根据权利要求94所述的计算机系统,其中所述原始图像是8比特原始图像。
98.根据权利要求94所述的计算机系统,其中所述图像包括每秒300帧的全高清帧,其中全HD(1080p)8比特图像的大小为约2Mb,其中PCIe3.0数据传输速率为约7Gb/s,并且其中所述图像在300微秒内传输到所述一个或多个处理器。
99.根据权利要求94所述的计算机系统,其中在将所述图像传输到所述一个或多个处理器后,进行图像处理操作。
100.根据权利要求99所述的计算机系统,其中所述图像处理操作是由以下组成的组中的一个:Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色,和加具有伪色荧光图像的白光图像。
101.根据权利要求94所述的计算机系统,其中为了提高速度,操作所述一个或多个处理器的openGL/directx功能以显示最终图像,而不是使所述图像返回到系统存储器以用于显示。
102.根据权利要求94所述的计算机系统,其中图像在医用级HD品质视频显示器上显示。
103.一种非暂态计算机可读存储介质,其储存用于捕捉和处理图像并用于流畅显示图像的一个或多个程序,所述一个或多个程序用于由存储介质的一个或多个处理器执行,所述一个或多个程序包括用于以下的指令:
利用并行处理软件编码;
传输原始图像;和
将所述原始图像去马赛克至所述一个或多个处理器。
104.根据权利要求103所述的存储介质,其中所述一个或多个处理器包括图形处理单元(GPU),并且其中所述并行处理软件编码包括基于GPU的计算机统一设备架构(CUDA)。
105.根据权利要求103所述的存储介质,其中所述并行处理软件编码直接储存在视频卡上。
106.根据权利要求103所述的存储介质,其中所述原始图像是8比特原始图像。
107.根据权利要求103所述的存储介质,其中所述图像包括每秒300帧的全高清帧,其中全HD(1080p)8比特图像的大小为约2Mb,其中PCIe3.0数据传输速率为约7Gb/s,并且其中所述图像在300微秒内传输到所述一个或多个处理器。
108.根据权利要求103所述的存储介质,其中在将所述图像传输到所述一个或多个处理器后,进行图像处理操作。
109.根据权利要求108所述的存储介质,其中所述图像处理操作是由以下组成的组中的一个:Bayer去马赛克,从荧光图像中减去散射光图像,加荧光帧的红色、绿色和蓝色通道,向荧光图像赋予伪色,和加具有伪色荧光图像的白光图像。
110.根据权利要求103所述的存储介质,其中为了提高速度,操作所述一个或多个处理器的openGL/directx功能以显示最终图像,而不是使所述图像返回到系统存储器以用于显示。
111.根据权利要求103所述的存储介质,其中图像在医用级HD品质视频显示器上显示。
CN201480032510.5A 2013-04-23 2014-04-23 用于从荧光团同时录制可见光图像和红外光图像的系统和方法 Pending CN105263390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010187843.2A CN111329450A (zh) 2013-04-23 2014-04-23 用于从荧光团同时录制可见光图像和红外光图像的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361814955P 2013-04-23 2013-04-23
US61/814,955 2013-04-23
PCT/US2014/035203 WO2014176375A2 (en) 2013-04-23 2014-04-23 Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010187843.2A Division CN111329450A (zh) 2013-04-23 2014-04-23 用于从荧光团同时录制可见光图像和红外光图像的系统和方法

Publications (1)

Publication Number Publication Date
CN105263390A true CN105263390A (zh) 2016-01-20

Family

ID=51792510

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480032510.5A Pending CN105263390A (zh) 2013-04-23 2014-04-23 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
CN202010187843.2A Pending CN111329450A (zh) 2013-04-23 2014-04-23 用于从荧光团同时录制可见光图像和红外光图像的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010187843.2A Pending CN111329450A (zh) 2013-04-23 2014-04-23 用于从荧光团同时录制可见光图像和红外光图像的系统和方法

Country Status (10)

Country Link
EP (2) EP2988654B1 (zh)
JP (3) JP6464148B2 (zh)
KR (4) KR102416278B1 (zh)
CN (2) CN105263390A (zh)
AU (3) AU2014257125B2 (zh)
CA (2) CA3165974A1 (zh)
DK (1) DK2988654T3 (zh)
ES (1) ES2807199T3 (zh)
IL (3) IL291122B2 (zh)
WO (1) WO2014176375A2 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704384A (zh) * 2016-03-23 2016-06-22 浙江东方光学眼镜有限公司 一种电子放大镜系统
CN106510606A (zh) * 2016-10-27 2017-03-22 苏州国科美润达医疗技术有限公司 一种多功能内窥镜冷光源系统
CN106596497A (zh) * 2017-01-16 2017-04-26 浙江大学 一种短波红外荧光显微成像的方法
CN106595860A (zh) * 2016-11-27 2017-04-26 苏州国科美润达医疗技术有限公司 多光谱成像系统
CN108095701A (zh) * 2018-04-25 2018-06-01 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法
CN108836262A (zh) * 2018-04-11 2018-11-20 秦少平 一种诱导荧光光谱图像融合影像光路
CN109222910A (zh) * 2018-10-10 2019-01-18 南京诺源医疗器械有限公司 荧光检测装置
CN109276231A (zh) * 2018-11-15 2019-01-29 豪威科技(上海)有限公司 一种成像系统及成像方法
CN109310402A (zh) * 2016-06-09 2019-02-05 株式会社岛津制作所 近红外线成像装置以及近红外线成像装置用标记构件
CN109363768A (zh) * 2018-10-10 2019-02-22 南京诺源医疗器械有限公司 785nm波长光源近红外荧光造影手术引导系统
CN109475279A (zh) * 2016-07-07 2019-03-15 纪念斯隆凯特琳癌症中心 用于颗粒驱动的、基于知识的且预测性癌症放射基因组学的成像系统和方法
CN109788905A (zh) * 2016-09-13 2019-05-21 开放水域互联网公司 漫射介质的光学成像
CN110611779A (zh) * 2019-09-27 2019-12-24 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
CN111970953A (zh) * 2018-03-30 2020-11-20 光明之火生物科学公司 用于同时近红外光和可见光成像的系统和方法
US10853922B2 (en) 2017-02-24 2020-12-01 Samsung Electronics Co., Ltd. Method and device for correcting image
CN113376823A (zh) * 2020-03-10 2021-09-10 徕卡仪器(新加坡)有限公司 具有基于led的照明系统的显微镜系统的构思
WO2022082930A1 (zh) * 2020-10-22 2022-04-28 南京诺源医疗器械有限公司 一种可见-近红外实时图像融合的荧光显微镜系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
RU2510235C2 (ru) 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
US9407838B2 (en) 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
US11206987B2 (en) * 2015-04-03 2021-12-28 Suzhou Caring Medical Co., Ltd. Method and apparatus for concurrent imaging at visible and infrared wavelengths
US10209242B2 (en) 2015-05-21 2019-02-19 Emit Imaging, Inc. Fluorescence histo-tomography (FHT) systems and methods
EP3306307A4 (en) 2015-06-02 2019-02-27 National University Corporation Asahikawa Medical University OBSERVATION SUPPORT DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2017040671A1 (en) * 2015-08-31 2017-03-09 Invicro, Llc Fluorescence histo-tomography (fht) systems and methods
CN105259147A (zh) * 2015-11-10 2016-01-20 江西大福医疗科技股份有限公司 荧光红外激光影像检测仪
CN105212946A (zh) * 2015-11-10 2016-01-06 江西大福医疗科技股份有限公司 便携式荧光红外激光影像检测仪
CN105232003A (zh) * 2015-11-10 2016-01-13 江西大福医疗科技股份有限公司 荧光激光影像检测仪
AU2016351730B2 (en) 2015-11-13 2019-07-11 Novadaq Technologies Inc. Systems and methods for illumination and imaging of a target
WO2017117710A1 (zh) * 2016-01-05 2017-07-13 秀传医疗社团法人秀传纪念医院 内视镜成像系统及方法
EP4155716A1 (en) 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
EP3430380B1 (en) * 2016-03-14 2021-08-04 Massachusetts Institute Of Technology Device and method for imaging shortwave infrared fluorescence
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
WO2017214730A1 (en) 2016-06-14 2017-12-21 Novadaq Technologies Inc. Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
KR101847435B1 (ko) 2016-09-30 2018-04-10 부경대학교 산학협력단 부갑상선 실시간 이미징 장치
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
KR101870837B1 (ko) * 2017-11-17 2018-06-27 부경대학교 산학협력단 부갑상선 실시간 이미징 시스템
KR102190398B1 (ko) * 2018-05-29 2020-12-11 한국전기연구원 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법
KR102195850B1 (ko) * 2018-11-27 2020-12-28 울산대학교 산학협력단 딥러닝 기반 혈관 구분 방법 및 시스템
JP2019130414A (ja) * 2019-05-16 2019-08-08 株式会社三洋物産 遊技機
CA3140200A1 (en) * 2019-06-07 2020-12-10 Yunus Emre Kurtoglu System and method for object recognition under natural and/or artificial light
US20210052161A1 (en) * 2019-08-23 2021-02-25 Rebound Therapeutics Corporation Fluorescence imaging system
JPWO2021186803A1 (zh) * 2020-03-19 2021-09-23
JP7403191B2 (ja) 2020-03-25 2023-12-22 ルメダ インコーポレイテッド 光学アプリケータ特徴オプティマイザ
CN112557362B (zh) * 2020-12-04 2022-08-23 厦门大学 Led光源作为连续波激发光源的同步荧光光谱检测方法
JPWO2022195940A1 (zh) * 2021-03-19 2022-09-22
CN115316959B (zh) * 2022-10-13 2023-04-28 浙江大学医学中心(余杭) 一种三色多通道光纤脑信息记录系统
CN116500010B (zh) * 2023-06-25 2024-01-26 之江实验室 荧光显微成像系统及其方法、荧光显微检测装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097773A1 (en) * 2001-01-24 2002-07-25 Sharp Kabushiki Kaisha Holographic laser and optical pickup
US20030230715A1 (en) * 2002-06-12 2003-12-18 Ford Global Technologies, Inc. Color corrected laser illumination system for night vision applications
US20060011860A1 (en) * 2004-07-16 2006-01-19 Frank Hecht Process for the acquisition of images from a probe with a microscope
CN1802560A (zh) * 2003-06-03 2006-07-12 不列颠哥伦比亚癌症研究所 使用多激发-发射对和同时多信道图像检测进行荧光成像的方法和装置
CN101238974A (zh) * 2007-02-05 2008-08-13 三洋电机株式会社 摄像装置
US20100091287A1 (en) * 2008-10-10 2010-04-15 Christopher Power Method for Imaging a Sample Using a Microscope, and Microscope and Data Storage Center
US7835012B1 (en) * 2007-05-01 2010-11-16 Lockheed Martin Corporation Alignment interferometer telescope apparatus and method
US20110063427A1 (en) * 2008-03-18 2011-03-17 Novadaq Technologies Inc. Imaging system for combined full-color reflectance and near-infrared imaging
US20110270092A1 (en) * 2010-01-29 2011-11-03 Korea Electrotechnology Research Institute Combined apparatus for detection of multispectral optical image emitted from living body and for light therapy

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1294215C (en) 1986-10-27 1992-01-14 Ze'ev Shaked Pharmaceutical compositions of recombinant beta-interferon and formulation processes
CA1292686C (en) 1986-10-27 1991-12-03 Ze'ev Shaked Pharmaceutical compositions of recombinant interleukin-2 and formulation process
US5442438A (en) * 1988-12-22 1995-08-15 Renishaw Plc Spectroscopic apparatus and methods
US5530101A (en) 1988-12-28 1996-06-25 Protein Design Labs, Inc. Humanized immunoglobulins
WO1995011624A2 (en) * 1993-10-29 1995-05-04 Feld Michael S A raman endoscope
JP3962122B2 (ja) * 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
JP3713347B2 (ja) * 1996-11-25 2005-11-09 オリンパス株式会社 蛍光内視鏡装置
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US6075592A (en) * 1997-12-31 2000-06-13 Telcordia Technologies, Inc. Fiber-optics based micro-photoluminescence system
US6734962B2 (en) * 2000-10-13 2004-05-11 Chemimage Corporation Near infrared chemical imaging microscope
JP2001178672A (ja) * 1999-12-24 2001-07-03 Fuji Photo Film Co Ltd 蛍光画像表示装置
US6530882B1 (en) * 2000-06-30 2003-03-11 Inner Vision Imaging, L.L.C. Endoscope having microscopic and macroscopic magnification
DE102004053730B4 (de) * 2004-11-06 2014-04-03 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Unterdrückung von Falschlicht
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
JP5149015B2 (ja) * 2004-12-28 2013-02-20 ハイパーメツド・イメージング・インコーポレイテツド 全身生理機能およびショックの決定、評価および監視におけるハイパースペクトル/マルチスペクトルイメージング
JP2006292421A (ja) * 2005-04-06 2006-10-26 Sharp Corp 蛍光検出装置
DE102006034912A1 (de) * 2006-07-28 2008-01-31 Carl Zeiss Microimaging Gmbh Laser-Scanning-Mikroskop zur Fluoreszenzuntersuchung
JP5073579B2 (ja) * 2007-07-18 2012-11-14 富士フイルム株式会社 撮像装置
US7787121B2 (en) * 2007-07-18 2010-08-31 Fujifilm Corporation Imaging apparatus
JP5531357B2 (ja) * 2007-07-27 2014-06-25 京セラドキュメントソリューションズ株式会社 現像装置及びこれを備えた画像形成装置
JP5184016B2 (ja) * 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
US20110261179A1 (en) * 2010-04-22 2011-10-27 General Electric Company Imaging system for fluorescence guided surgery based on fixed magnification lens and digital zoom
JP5507376B2 (ja) * 2010-07-28 2014-05-28 三洋電機株式会社 撮像装置
JP5681600B2 (ja) * 2010-09-24 2015-03-11 新日本空調株式会社 生物粒子評価装置及び生物粒子評価方法
WO2012043771A1 (ja) * 2010-09-30 2012-04-05 オリンパスメディカルシステムズ株式会社 撮像装置
WO2012059784A1 (en) * 2010-11-03 2012-05-10 Reametrix Inc Method and device for fluorescent measurement of samples
US9345389B2 (en) * 2010-11-12 2016-05-24 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097773A1 (en) * 2001-01-24 2002-07-25 Sharp Kabushiki Kaisha Holographic laser and optical pickup
US20030230715A1 (en) * 2002-06-12 2003-12-18 Ford Global Technologies, Inc. Color corrected laser illumination system for night vision applications
CN1802560A (zh) * 2003-06-03 2006-07-12 不列颠哥伦比亚癌症研究所 使用多激发-发射对和同时多信道图像检测进行荧光成像的方法和装置
US20060011860A1 (en) * 2004-07-16 2006-01-19 Frank Hecht Process for the acquisition of images from a probe with a microscope
CN101238974A (zh) * 2007-02-05 2008-08-13 三洋电机株式会社 摄像装置
US7835012B1 (en) * 2007-05-01 2010-11-16 Lockheed Martin Corporation Alignment interferometer telescope apparatus and method
US20110063427A1 (en) * 2008-03-18 2011-03-17 Novadaq Technologies Inc. Imaging system for combined full-color reflectance and near-infrared imaging
US20100091287A1 (en) * 2008-10-10 2010-04-15 Christopher Power Method for Imaging a Sample Using a Microscope, and Microscope and Data Storage Center
US20110270092A1 (en) * 2010-01-29 2011-11-03 Korea Electrotechnology Research Institute Combined apparatus for detection of multispectral optical image emitted from living body and for light therapy

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704384B (zh) * 2016-03-23 2019-02-05 浙江东方光学眼镜有限公司 一种电子放大镜系统
CN105704384A (zh) * 2016-03-23 2016-06-22 浙江东方光学眼镜有限公司 一种电子放大镜系统
CN109310402A (zh) * 2016-06-09 2019-02-05 株式会社岛津制作所 近红外线成像装置以及近红外线成像装置用标记构件
CN109475279A (zh) * 2016-07-07 2019-03-15 纪念斯隆凯特琳癌症中心 用于颗粒驱动的、基于知识的且预测性癌症放射基因组学的成像系统和方法
CN109788905B (zh) * 2016-09-13 2021-12-03 开放水域互联网公司 漫射介质的光学成像
US11547370B2 (en) 2016-09-13 2023-01-10 Open Water Internet Inc. Method of infrared imaging
CN109788905A (zh) * 2016-09-13 2019-05-21 开放水域互联网公司 漫射介质的光学成像
CN106510606A (zh) * 2016-10-27 2017-03-22 苏州国科美润达医疗技术有限公司 一种多功能内窥镜冷光源系统
CN106595860A (zh) * 2016-11-27 2017-04-26 苏州国科美润达医疗技术有限公司 多光谱成像系统
CN106595860B (zh) * 2016-11-27 2018-12-14 苏州国科美润达医疗技术有限公司 多光谱成像系统
CN106596497A (zh) * 2017-01-16 2017-04-26 浙江大学 一种短波红外荧光显微成像的方法
US10853922B2 (en) 2017-02-24 2020-12-01 Samsung Electronics Co., Ltd. Method and device for correcting image
US11727546B2 (en) 2017-02-24 2023-08-15 Samsung Electronics Co., Ltd. Method and device for correcting image
US11295420B2 (en) 2017-02-24 2022-04-05 Samsung Electronics Co., Ltd. Method and device for correcting image
CN111970953A (zh) * 2018-03-30 2020-11-20 光明之火生物科学公司 用于同时近红外光和可见光成像的系统和方法
CN108836262B (zh) * 2018-04-11 2021-08-31 秦少平 一种诱导荧光光谱图像融合影像光路
CN108836262A (zh) * 2018-04-11 2018-11-20 秦少平 一种诱导荧光光谱图像融合影像光路
CN108095701A (zh) * 2018-04-25 2018-06-01 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法
CN108095701B (zh) * 2018-04-25 2018-07-20 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法
US11633105B2 (en) 2018-04-25 2023-04-25 Shanghai Kinetic Medical Co., Ltd Image processing system, fluorescent endoscopic illuminated imaging apparatus and imaging method
CN109363768A (zh) * 2018-10-10 2019-02-22 南京诺源医疗器械有限公司 785nm波长光源近红外荧光造影手术引导系统
CN109222910A (zh) * 2018-10-10 2019-01-18 南京诺源医疗器械有限公司 荧光检测装置
CN109276231A (zh) * 2018-11-15 2019-01-29 豪威科技(上海)有限公司 一种成像系统及成像方法
CN110611779A (zh) * 2019-09-27 2019-12-24 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
CN110611779B (zh) * 2019-09-27 2021-11-26 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
CN113376823A (zh) * 2020-03-10 2021-09-10 徕卡仪器(新加坡)有限公司 具有基于led的照明系统的显微镜系统的构思
CN113376823B (zh) * 2020-03-10 2023-10-27 徕卡仪器(新加坡)有限公司 具有基于led的照明系统的显微镜系统的构思
WO2022082930A1 (zh) * 2020-10-22 2022-04-28 南京诺源医疗器械有限公司 一种可见-近红外实时图像融合的荧光显微镜系统

Also Published As

Publication number Publication date
JP2016518197A (ja) 2016-06-23
KR102416278B1 (ko) 2022-07-05
KR20210091368A (ko) 2021-07-21
KR102204330B1 (ko) 2021-01-18
IL291122B1 (en) 2023-09-01
IL291122B2 (en) 2024-01-01
KR102279717B1 (ko) 2021-07-20
EP2988654A4 (en) 2016-10-05
AU2014257125A1 (en) 2015-11-12
EP2988654B1 (en) 2020-06-17
CN111329450A (zh) 2020-06-26
CA2909734A1 (en) 2014-10-30
CA2909734C (en) 2022-08-30
KR20200010584A (ko) 2020-01-30
IL273618A (en) 2020-05-31
JP7137607B2 (ja) 2022-09-14
WO2014176375A2 (en) 2014-10-30
JP2021039121A (ja) 2021-03-11
EP2988654A2 (en) 2016-03-02
ES2807199T3 (es) 2021-02-22
KR20210007052A (ko) 2021-01-19
IL273618B (en) 2022-04-01
JP2019093157A (ja) 2019-06-20
AU2020267309B2 (en) 2023-01-19
AU2019202450B2 (en) 2020-08-13
CA3165974A1 (en) 2014-10-30
WO2014176375A3 (en) 2015-02-26
KR102069723B1 (ko) 2020-01-23
IL242197B (en) 2020-04-30
KR20160008196A (ko) 2016-01-21
JP6464148B2 (ja) 2019-02-06
AU2014257125B2 (en) 2019-04-18
JP6797946B2 (ja) 2020-12-09
AU2020267309A1 (en) 2020-12-10
EP3718467A1 (en) 2020-10-07
DK2988654T3 (da) 2020-09-07
IL291122A (en) 2022-05-01
AU2019202450A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN105263390A (zh) 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
US11195276B2 (en) Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
CN102713612B (zh) 基于二氧化硅的荧光纳米颗粒
WO2005094902A2 (en) Nanoparticles comprising luminescent substances as contrast agent for optical imaging
US20130085385A1 (en) Surgical lighting sources for use with fluophore-tagged monoclonal antibodies or fluorophore-tagged tumor avid compounds
Gowtham et al. Nano-fluorophores as enhanced diagnostic tools to improve cellular imaging.
Wang et al. Novel Near-Infrared-II In Vivo Visualization Revealed Rapid Calcium Intestine Turnover in Daphnia magna with Delayed Impact by Cadmium and Acidification
CN102698294A (zh) 一种壳聚糖支载羟基喜树碱-量子点fret复合探针
Krumholz et al. Photoacoustic imaging of the near-infrared fluorescent protein iRFP in vivo

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160120