CN106572792A

CN106572792A - 用于多光谱成像的方法和部件

Info

Publication number: CN106572792A
Application number: CN201580042456.7A
Authority: CN
Inventors: 尼古拉斯·迪米特里亚迪斯; 尼古劳斯·德里奥拉尼斯
Original assignee: Universitaet Heidelberg
Current assignee: Universitaet Heidelberg
Priority date: 2014-06-05
Filing date: 2015-06-03
Publication date: 2017-04-19
Anticipated expiration: 2035-06-03
Also published as: EP3152549C0; JP6728070B2; CA2951086A1; ES2883220T3; US20170176336A1; EP3940371A1; DK3940371T3; FI3940371T3; JP2017529514A; US20170167980A1; EP3152549A2; EP3940371B1; JP2017526899A; CA2951075A1; JP6696912B2; ES2964016T3; WO2015185662A3; CN106999021A; EP3152549B1; EP3152548A1

Abstract

本发明涉及样本、尤其生物组织的多光谱成像。本发明还涉及一种用于获取对象(400)的荧光图像和反射图像的方法，该方法包括如下步骤：利用至少第一光和第二光交替地照明对象(400)，其中，第一光和第二光在光谱上被成形，使得至少一个光具有被一个或多个低光强度的光谱区域分离的多个高光强度的光谱区域，其中，第一光和第二光的具有高强度的光谱区域至少部分不重叠，以及其中，这两种光中的至少一者具有波长比高光强度的相邻区域的波长长的至少一个低光强度的区域，以及在利用光中的至少一者照明对象(400)的同时记录至少对象(400)的第一图像和对象(400)的第二图像，其中，记录为第一图像的光被修改，从而使第二光的至少一个高强度的光谱区域衰减，以及其中，记录为第二图像的光被修改，从而使第一光的至少一个高强度的光谱区域衰减。

Description

用于多光谱成像的方法和部件

技术领域

本发明涉及样本、尤其生物组织的多光谱成像。

背景技术

当使组织成像时，照明光可以被吸收或被散射。如果组织包含荧光分子，则通过将分子设置处于激发态而临时存储吸收的能量，然后吸收的能量被释放为较长波长的光子。来自荧光的光强度通常比反射的激发光的强度弱许多数量级，以及需要将反射的激发光与发射光分离或隔断。

最实际的方式为在光束的激发路径和发射路径中使用带通滤波器，以限制光的光谱范围以避免反射的激发在记录的发射路径中的渗透。该方法的直接结果是，无法在同一检测路径中同时获得反射的激发图像与荧光图像。

为了获取荧光图像和反射图像二者，需要在两种获取模式之间切换：具有滤波器和不具有滤波器。对于静态对象，即对于在获取荧光图像和反射图像期间不显著移动的对象，在滤波器之间切换以及按顺序获取两个图像从不是问题。然而，如果视野中的对象移动，则记录的图像不一致，以及甚至在密集图像处理之后，配准会非常困难。

然而，可出现的另一问题是具有不同激发特性和发射特性的多种荧光剂的同时成像。在该情况下，必须使用不同组的用于激发和发射的成像滤波器来使不同的荧光染料成像，这最终增加了复杂度和获取图像的数量。此外，当使移动对象成像时，需要利用相当高的视频帧速率记录对象的发射的荧光和反射的激发。然后必须很快速地完成滤波器之间的切换。

存在用于实现多光谱成像的几种方法。它们可以概略地以下列项为特征：a)所使用的传感器的数量、b)开关滤波器的使用、c)不同照明之间的切换、或d)多个带通滤波器的使用、分束器的使用等[Y.Garini、I.T.Young和G.McNamara的“Spectral imaging:Principles and applications”Cytometry Part A 69A，735-747(2006)]。

在下文将详细地描述这些现有技术。

[开关滤波器]

一些多光谱成像系统具有单个图像传感器且实施反射成像模式和荧光成像模式之间的快速切换机制。这可以使用安装在滤光轮或滤波器立方块上的带通激发滤波器设置和发射滤波器设置来实现，该滤光轮或滤波器立方块被快速更换，从而以高频交替地记录反射图像和荧光图像。该方法为直接的且允许最高的光吞吐量，但是需要机械地移动零件，比如滤光轮。进一步地，根据滤波器配置，它允许一次仅记录一个荧光团的强度。处于接近视频速度频率的开关滤波器在技术上为复杂的且需要与照相机的抓帧序列的准确机械同步。

为了避免机械组件，可以使用光谱可调滤波器，例如液晶可调滤波器。适合于不同荧光团的光谱设置之间的切换可以非常快速(<1ms)，然而可调滤波器的透射吞吐量被限制。此外，可调滤波器对光透射角度和光偏振高度敏感，且与相当高的成本相关联。

[分束器]

用于多光谱成像的替选方法为使用多个传感器，其中，在每个传感器的前面布置对应的发射滤波器。通过穿过单个物镜且使用光学分束器布置来将光传递到每个传感器，光可以到达每个传感器，或者每个传感器可以具有独立的物镜。在任一情况下，每个传感器与滤波器配对，该滤波器可以阻断激发波长且记录来自一个荧光团的发射[LuciaM.A.Crane等人的J Vis Exp.2010；(44)：2225]。附加传感器可以记录具有不同成像路径的反射图像。这个概念很简单，但是多个传感器、分束器或物镜的使用增大了尺寸、设计复杂度和成本。

[快速切换照明]

用于多光谱成像的另一方案使用不同激发光之间的切换。其中，替选地利用具有特定激发光谱的激发光束照明对象，滤波器阻断该特定激发光谱进入一个或多个照相机中。在US 20130286176 Al中，使用单个颜色传感器、激发荧光的激光激发、以及开启和关闭的宽带照明源。当仅激光激发源开启时，则传感器可以捕获发射的荧光，以及当宽带照明开启时，则传感器可以捕获反射的图像。该系统产生反射图像和荧光团的图像，但是观察者可以在视觉上体验由于不同源的开启-关闭切换而造成的令人烦扰的闪烁。

[阻断多个带通图像]

另一个方法使用与单色传感器配对的具有多个带通区域的滤波器。在该方法中，在单色传感器前面的滤波器阻断激发波长进入单色传感器中。可以单独地利用激发扫描使不同荧光团成像。可替选地，滤波后的多分量荧光可以被分为取决于波长的路径，然后使这些路径成像到单色传感器的不同空间区域上。利用该方法，可以利用单色传感器同时记录多个通道。

在替选方法中，颜色传感器可以用于利用多通道(因此彩色)传感器记录多分量荧光。然后可以处理多通道传感器输出，从而获得各个荧光分量。

附加传感器可以用于通过将反射的激发光分到不同的光学路径中而记录反射图像，该不同的光学路径使该光成像在该传感器上。这与反射一起提供多个荧光成像带，但是观察者将在视觉上感知伪彩色表示。根据特定激发波长，可能无法甚至在数字化上修正伪感知。

可以进一步将反射和荧光二者分到多个附加颜色传感器上以增加光谱通道的数量。每个通道在传感器的前面具有窄带通滤波器，以及计算每个单独的窄滤波器带中的强度[US20120085932Al]。

根据在具体应用中使用的激发滤波器和发射滤波器的精确组合，所使用的滤波器组被称为“Pinkel”、“Sedat”、或“全-多频带”。

发明内容

本发明旨在提供用于多光谱成像的方法和装置，该方法和装置避免了上文提及的现有技术的问题且为简单的、快速的且有成本效益的。

该问题通过根据权利要求1的方法和根据权利要求12的装置以及根据权利要求17的内窥镜或外科显微镜及其根据权利要求18的用途来解决。

附图说明

在下文中提供本发明的不同示例。其中，针对类似的或相同的元件，使用类似的或相同的附图标记。在以下示例中，可以组合地描述对于本发明必需的特征和可选的特征的组合。然而，以这类组合描述的可选特征分别可以单独地且逐一地被使用以改进如在本权利要求中所描述的本发明。

结合图1至图58示出多个示例，图1至图58全部示出本发明的示例的多个方面。

具体实施方式

示例1

图1描述了本发明的一般概念。本发明的系统包括照明系统100，该照明系统100产生且引导包含光谱多路复用特性和时间多路复用特性的光以照明对象400。从对象400发出的光被成像系统200收集且检测或成像，该成像系统200包括多个元件，比如透镜、滤波器、分光器、和光传感器/检测器阵列(即照相机)等。照明系统100和检测系统200均连接到控制和处理单元300，该控制和处理单元300控制照明系统的操作、使操作同步且从检测系统200抓取图像、以及处理图像数据，用于后续评估、显示和存储。最终，显示/可视化系统500单独地或同时地/叠加地显示分解的图像。

照明系统100在两个(或更多个)交替阶段中操作，如图2所示。在阶段1中，系统利用展示光谱形状的光照明对象，其中高强度和低强度的区域类似于图2A中所示的区域。在图2A和图2B中，对于每个照明阶段，提供在两个传感器阵列的前方的照明光谱和透射光谱。各种光谱形状是可能的，但是必不可少的是，光具有在比高强度区域的波长长的波长下具有非常低的强度的光谱区域。在那些区域中，在利用第一光激发时由对象发射的荧光可以被成像系统检测，而不检测相关量的反射光。在照明的阶段2中，通常利用具有不同光谱形状的光照明对象，该光谱形状优选地展现近似互补的结构，如图2B所示。成像系统200包括由分束器202或等效方法分离的两个(或更多个)成像通道/路径。每个成像通道具有图像传感器阵列211、图像传感器阵列221，用于检测和记录处于不同阶段的荧光图像和反射图像。到达图像传感器的光在光谱上衰减，使得通常阶段1的照明光在到达成像传感器2之前衰减，以及阶段2的照明光在到达成像传感器1之前衰减。

通过交替对象的照明，可以利用两个传感器交替地记录光谱互补的反射图像和荧光图像。在照明阶段1中，从对象反射的光的光谱带被传输到检测器传感器221且在检测器传感器221中被检测，形成反射图像，而从对象发射的荧光被传输到传感器211且在传感器211中被检测，形成荧光图像。在照明阶段2中，从对象反射的光的光谱带被传输到检测器传感器211且在检测器传感器211中被检测，形成反射图像，而从对象发射的荧光被传输到传感器221且在传感器221中被检测，形成荧光图像。

在光到达每个传感器之前的衰减量可以被近似评估，从而当传感器优选地用于检测荧光(即，在阶段2中的传感器221，以及在阶段1中的传感器211)时，检测的荧光信号应当优选地为渗透的激发光的100倍。

示例2

在图3中示出了优选实施方式之一。该实施方式使用两个宽带白光源111和121，这两个宽带白光源111和121可以被交替地开启和关闭、被两个互补的多带通滤波器112和122滤波。利用多通带多色镜101组合来自这两个光源111和121的两个光束。在那些元件之间，准直透镜可以可选地放置以便将更多光引导到待成像的区域。成像系统200包括透镜、滤波器、反光镜和成像传感器。利用物镜201(或充当物镜的透镜系统)将来自对象400的光收集在检测系统200中，用在开放手术中的该物镜201优选地具有200mm的对焦距离。物镜之后的光被多色通带镜202分离且将光分离成两个路径，使得这些光路径具有互补的光谱内容。两个互补的多带通滤波器213和223使光束衰减，这些光束通过多通道或多色传感器阵列211和221来成像。处理/控制单元由抓帧器301、控制单元302、和处理单元303组成，以生成图像501...图像507。可选的透镜212、透镜214、透镜222、透镜224可以被用在各个元件之间以将图像转发到传感器。镜分束器202以及多带通滤波器213和多带通滤波器223优选地放在光学上无限大的修正成像空间中。镜202通常为1mm至3mm厚。为了保持光学成像质量，分色镜202的平面度应当为λ/10。

干扰多带通滤波器和多色滤波器通常被制作为激发/发射/镜滤波器组，用以在荧光显微法中用作Sedat组、Pinkel组或全多频带组。在图4中示出了四带滤波器组的示例，该四带滤波器组初始被配置成使四个荧色物成像。该组可以被配置成用在照明系统和成像系统中。可以在位置122和位置223上使用激发滤波器、在位置112和位置213上使用发射滤波器，以及在101和202上使用多色镜。可以针对各种荧色物应用优化滤波器、滤波器组的各种不同组合。优选地，在滤波器传输带之间设置有小的谱隙，以避免串扰(参看图表)。这个带的宽度取决于操作在一系列入射角之下的滤波器的特性连同在具有现实条件的环境中执行的滤波器组的需求。

针对两种照明模式使用这样的滤波器组指的是，在阶段1中，该组的激发滤波器用于对来自源121的白光滤波，以及在阶段2中，发射滤波器用于对来自源111的白光滤波。多色镜101用于将多个光束组合为一个光束。实际上且假设组织中的荧色物的标称浓度(通常在100×10^-9M到1×10^-3M之间)，6个数量级的光密度(O.D.)的干扰多个带通滤波器的阻带中的常规衰减率是足够的，然而期望的是，在许多情况下，2或3的O.D.的衰减可以是充足的。

如图5A所示，阶段1，利用光谱成形的光照明对象400，该光部分地被反射、透射且吸收以激发荧光。在传感器211前面的发射滤波器213使阶段1中反射的激发光衰减，该传感器211仅记录荧光发射。互补地，在传感器221前面的滤波器223透射反射的激发光，因此传感器221检测阶段1中反射的激发光。相比之下，在阶段2中，利用具有与阶段1中的照明光几乎互补的光谱形状的光照明对象400。阶段2中的照明光也部分地被对象反射、透射且吸收以也激发荧光。从对象反射的激发光被滤波器213透射且被传感器211检测，该传感器211检测对象的反射图像。互补地，在传感器221前面的滤波器223使来自阶段2中的照明源的反射激发衰减且记录荧光发射。总而言之，在阶段1中，传感器211记录荧光且传感器221记录对象400的反射图像。在阶段2中，传感器221记录荧光且传感器211记录对象400的荧光图像。

在图5B和图5C中示出了一系列按顺序获取的反射图像和荧光图像。该系统可以使(几乎)整个可视光谱的荧光图像和反射图像二者成像。这意味着，在每两个照明周期(阶段)中，互补记录反射图像和荧光图像，而不遗失所有光谱区域的任何相关或实质部分。如果通过将每帧的反射图像与来自对侧传感器的前一帧的反射图像(其具有互补反射光谱)组合而使照明阶段和图像的记录的频率快到足以适应任何可能的对象移动，则创建全部光谱的组合的反射图像。这是组合反射1与反射2、反射2与反射3，以此类推。类似地，将每帧的荧光图像与来自对侧传感器的前一帧的荧光图像(其具有互补荧光光谱)组合，创建全部光谱的组合的荧光图像。这是组合荧光1与荧光2、荧光2与荧光3，以此类推。

该组合方法不仅增大荧光和反射的光谱覆盖范围，而且还使每个照相机的光谱测量的数量成倍增加。因此该技术提供盈余光谱成像(对于相对小的变化)。将不记录仅几个小的光谱区域，原因是在互补的光谱区域之间可需要存在小的谱隙的实际实现问题。然而，那些谱隙不改变图像的颜色印象。

对象的照明和传感器的曝光的控制从处理和控制单元300中的信号来提供。两个宽带光源可以为白炽灯、气体灯(比如Hg、Xe或混合物)、发光二极管(Light EmittingDiode，LED)、或任何其它宽带光源。LED源可以以高频速率来开启和关闭，其中上升时间和下降时间比100微秒快。系统可以以视频速率(即大约以25fps)、利用交替阶段照明对象。在此以及在更高的照明速率下，照明场的视觉感知是均匀的，其中任何闪烁效果是几乎观察不到的。另外，由于两个阶段具有互补的光谱照明，因此系统的整体颜色平衡为宽带白色，类似于未滤波的各个宽带源的光的色貌。

传感器优选地为具有记录多个光谱区域中的图像的能力的多通道(多色)传感器。每个光谱区域具有不同的光谱敏感度且记录对象中的各种反射物质和荧光物质的光谱多路复用的反射光。多通道颜色传感器阵列的示例为RGB(红-绿-蓝)或CMYG(蓝绿-洋红-黄-绿)图案传感器且在图6中示出了典型的颜色敏感度。这些信号在光谱上被混合且通过图像处理而在光谱上不混合。

示例3

获取的图像被传送到处理单元300以备一系列图像处理操作，诸如演示、配准、噪声滤波、背景暗噪声减少、针对色帧的颜色校正、和光谱解混。特别地，最简单形式的光谱解混可以为从照相机和分量空间生成的颜色通道图像之间的线性变换。分量可以为光可携带来自其的信息的任何事物，诸如可以为来自那些分量的衍生物的材料、浓度或特性、或数量，且它们可具有类似于对象400的部分401、部分402等的特定空间分布。在计算分量501、分量502等的空间分布的图像之后，可以使用颜色映射(诸如伪色)将这些图像存储、显示或覆盖在其它图像上。

一些示例(但不限于此)为：a)吸收体分布。反射光的光谱通过组织中的吸收和透射光谱来成形，且这被记录在颜色传感器信号中。通过系统和组织使组织吸收和/或系统校准建模在具有已知浓度的吸收体上，可以导出内在组织吸收体(比如氧化的和去氧化的血红蛋白、黑色素等)、或还有外部施用的吸收造影剂(例如亚甲蓝)的浓度；b)另外，从氧化的和去氧化的血红蛋白分布的图，可以计算氧饱和度图以及相关的生理或病理参数；c)荧色物分布。荧光要么来自内生的荧色物、要么来自外部施用的荧光造影剂。荧光信号被颜色传感器记录，以及通过系统和组织建模和/或系统校准，可以导出荧色物分布。另外，可以计算传送关于癌症的更具体信息的荧色物图之间的比率。

示例4

在下文中呈现了针对用于计算荧光分量的示例性图像处理的基本描述。类似值(如反射吸收分布)以及导出值类似地被建模和计算。照相机测量不同颜色通道的信号强度。该信号通过所有分量的总和的光强度来创建，该光强度与传感器的光谱灵敏度结合，所有分量在光谱上被透射滤波器滤波且另外被RGB颜色滤波器滤波。假设检测器响应是线性的，则生成的信号为：

其中，S_C为出自所有组合的颜色传感器图像的具体谱色c中的信号；例如{颜色}＝{R1，G1，B1，R2，G2，B2...}。I_λ(λ，f)为光谱荧光通道强度密度。它取决于波长和荧光通道。每个荧光通道的特征是特定的光谱光特性。在最简单的情况下，成像系统的荧光通道的光谱光特性对应于荧光团。在该情况下，I_λ(λ，f)对应于荧光团的光谱发射谱。在该情况下，考虑荧光团浓度、荧光团量子产率和光谱照明光强度，可以确定I_λ(λ，f)的准确值。T(λ，c)为特定空间颜色传感器或像素的总透射特性，这也展现了包括发射滤波器的光学系统的透射特性。假设荧光活性被定位成靠近组织表面使得荧光发射光谱轮廓和强度不受组织本征吸收严重影响以及其它非线性效果(比如淬火)可忽略不计，则光谱荧光团强度I_λ(λ，f)可以被写成I_λ(λ，f)＝c(f)*Φ_λ(λ，f)：

其中，c(f)为荧光团f的浓度。在将荧光通道f用于反射成像的情况下，c(f)为强度因子。用于浓度的符号c与颜色通道指数相同。Φ_λ(λ，f)为摩尔光谱荧光强度密度，描述荧光团f的发射的光谱轮廓。该强度通过荧光团的浓度c(f)来调整大小。在f为反射通道的情况下，Φ_λ(λ，f)为具有光谱分布的通道的标准化的光谱反射强度。作为一个示例，Φ_λ(λ，f)可以为眼睛中的红色受体的光谱响应。这会导致对于该红色通道的自然色印象。在重排之后，公式

导致荧光团浓度和传感器测量的通道强度之间的线性关系：

该线性关系允许计算所有的荧光通道强度和反射通道强度c(f)。其中，存在针对具有通道红、绿和蓝的传感器以及染料异硫氰酸荧光素(FITC)、Atto647和吲哚菁绿(ICG)计算矩阵M的示例。在图7中给出了它们的荧光团激励和发射光谱。

信号等式为：

S_红＝c(FITC)*M(FITC，红)+c(Atto647)*M(Atto647，红)+c(ICG)*M(ICG，红)

其中针对FITC和红色检测器通道的组合示例地写出系数M：

可以通过倒置系数矩阵M来获得荧光强度：

如果检测器颜色通道的数量等于待解决的荧光通道的数量，则等式系统可以被求解为等式的线性系统。变量S_C由成像系统测量。如果系统的其它参数是已知的(Φ_λ(λ，f)和T(λ，c))，则可以计算c(f)的值。在校准过程中可以提前确定这些因子且因此矩阵M(f，c)。为了计算c(f)，矩阵M(f，c)需要求逆。

如果被测通道的数量大于荧光通道的数量，则系统为超定的。处理该有利情况的一个选项为计算M(f，c)的伪逆，其不再为方矩阵。可以使用各种算法来改善计算的结果且例如使源自于传感器中的测量的噪声最小化。

矩阵M可以从系统建模和/或从系统校准来计算。在系统建模中，可以从光源到颜色传感器阵列像素对光通道光谱含量建模。参数包括但不限于：照明源光谱分布、激发滤波器的光谱透射、或照明光的光谱轮廓、荧色物、激发和发射光谱以及量子产率、可能地组织中的分量的近似深度，也如组织的光学特性、成像系统(透镜、分束镜、滤波器、镜等)的透射特性、和最终传感器阵列的光谱灵敏度。建模计算将浓度信息连接到记录信号的矩阵M(正演问题)，且可以从逆算问题的解答导出分量分布。可替选地，系统校准可以利用记录已知组成、浓度和位置的分量的信号且然后求解未知的矩阵M，或者通过利用解混算法的盲目分解来完成，该解混算法诸如主分量分析(Principle Component Analysis，PCA)、独立分量分析(Independent Component Analysis，ICA)或类似的统计算法。最终，建模或一般地使用现有信息可以潜在地用于确定除了被测通道的数量以外的更多未知项。

代替线性建模描述，该系统可以使用非线性建模描述来更详细地建模。采用该方式，可以考虑非线性的潜能，诸如检测器或高荧色物浓度的淬火效应。最终，利用建模和/或现有信息，可以计算从比可用通道多的分量恢复信息的矩阵，这最初会为欠确定的系统。

最终，如前所示，解混的分量的数量与可从来自颜色传感器的组合图像得到的通道(颜色)的总数相关。然而，照明和/或透射中的光谱带的数量独立于通道(颜色)的数量和解混的分量的数量。通常，在感兴趣的区域中可用的谱带越多，越不可能将不记录来自特定分量的光谱特征。因此，许多“窄”光谱带提供反射图像的更准确的颜色表示以及各种分量的更准确的解混。然而，在光谱带的数量小于通道的数量的情况下，各种分量的光谱解混是可行的。

重要的是强调，多频带滤波器的光谱带的数量对于待解混的荧光团的数量而言不是相关的数学条件。反而，照相机通道的数量在数学上是重要条件。

示例5

在下文中描述基础光源和各种替代物。

[基础光源]

如前所述，最基础的光源100(参看图8)包括两个独立的光源111、121，这两个光源优选地为宽带LED 111和宽带LED 121。相比于传统光源，诸如卤素灯或氙气灯，LED通常具有非常快速的切换性能。可选地利用准直透镜119和准直透镜129使光束准直，以及利用滤波器122对源121滤波且然后使用多色镜101对源121组合。

图9A示出了宽带LED的光谱，宽带LED对于光源111、光源121可以相同或不同。该光谱通常用于白光LED。图9B示出了多频带激发滤波器122的透射光谱。图9C提供了由LED源121发射的且由滤波器122滤波的光的强度谱。

在优选实施方式中，具有最大光谱功率密度的两个宽带高功率LED源的发射光谱大于30mW/nm。该光利用多带通滤波器来滤波，如图9B所示。该滤波器具有传输带(420nm-460nm、510.5nm-531.5nm、590nm-624nm、677.5nm-722.5nm)，在每个传输带中具有90％的近似最大的传输。滤波器在阻断区域中的衰减特性通常至少为光学密度2(O.D.2)。通常滤波器的带外抑制/衰减特性和O.D.6一样好。

在图9C中示出了在利用对应的多频带滤波器滤波之后的光源的有效发射。第一光(源)的光谱通过在该照明阶段期间所累积的光来成形，以及第二光(源)的光谱为诸如图9A中固有的宽带发射轮廓，或类似的宽带。因此，光的所有绘制光谱为在对应阶段期间累积的光谱。

利用该基础光源的一个潜在缺点是，照明场对于观察者在强度方面和光谱含量方面的视觉感知可能不是最佳的。这两种光具有不同的整体强度和光谱含量，以及当它们交替时可呈现强度或颜色的视觉闪烁。另外，光谱含量不是平衡的且色外观可以不是自然的。

[具有两个滤波器的光源]

替选的照明源为基础光源的变型，其中区别是第二光也利用滤波器112(图10)来滤波。对第二光滤波的基础优势是，它促进整个颜色感知的优化且使闪烁最小化。滤波器112也可以为多带通滤波器。它的光谱透射特性可以与滤波器122互补且可以具有与在传感器阵列211前面的荧光发射滤波器213(参看图10B和图10C)相同或类似的透射特性。互补的滤波器112和滤波器122累积地提供光谱连续的照明，该照明几乎等于原始宽带源的宽带照明，因此提供自然颜色感知。另外，强度或颜色闪烁的效果较小。然而，第二光(阶段2)的光照明的光谱形状自由改变以便达到最佳的颜色感知和最小的强度闪烁。

[光纤耦合的光源]

另外，光源100的输出可以与光纤耦合透镜系统联接而进入光导管中。该光导管可以为单个光纤、光学纤维束、或液芯光导管。

[具有单独控制的窄带源的光源]

在照明系统的替选实现中，利用多频带滤波器滤波的宽带光源中的一者或多者用一组窄带的单独控制的源来替换，这组窄带的单独控制的源可选地通过各自的窄带滤波器来滤波。这类源可以为激光器、激光二极管、LED等。在图11中示出了基本原理图，其中，发光模块111已经被多个激光源123、133、143、153来替换。模块123的发射光通过滤波器125滤波。多色镜101将激光器的辐射与模块123的辐射组合。所有的光被一起耦合到光纤103。

分束器101也可以为偏振分束器。采用该方式，可以组合处于相同波长的不同源，使损耗最小化。多个激光器133、143和153可以代替一个宽带源，例如图10中的源111。激光器可以具有薄的光谱发射轮廓或也可以为可调谐的。一些激光器可以需要清除滤波器来抑制不想要的放大的自发发射。激光器也可以在波长和强度上为可调谐的，它们可以为连续波或脉冲。不同的激光源被长传多色镜104(截止波长为415nm)、长传多色镜105(截止波长为650nm)和长传多色镜106(具有大约785nm的截止波长的高反射率的平面反光镜)组合。包括一个阶段中的照明的这些或类似的窄带源可以同时照明(具有全部或部分时间重叠)、或可以按顺序操作。然而，与照明阶段相关联的曝光时段内的任何时间组合被视为在一个照明阶段中累积的光谱分布。

在图12中示出了优选的光谱场景。图12示出了图11中示出的第一光源的光谱。上部图示出了宽带LED光源的各个光谱强度和各个窄带激光器的强度。中部图示出了发射激光器的透射光谱。下部图示出了耦合到光纤中的光的组合强度。其中，宽带LED源覆盖整个光谱范围且与窄带激光源组合，该窄带激光源可以优选地为(出于切换原因)激光二极管。在该情况下使用普遍的模块，比如405nm激光二极管模块、633nm激光二极管模块和785nm激光二极管模块。处于405nm的二极管激光器可以激发广泛用于脑部手术的原卟啉IX(PPIX)。处于633nm的二极管激光器可以激发高度稳定且明亮的荧光团，诸如用在荧光探针中的Alexa647，以及以785nm发光的二极管激光器激发临床相关的吲哚菁绿(ICG)。

[多个LED源]

在该替选的照明系统100c中，利用几个LED光源生成照明光，如图13所示。代替使用两个宽带LED源，该选项使用具有较窄的光谱发射的多个LED121、131、141、151...。这需要更复杂的照明设备，但是在另一方面，输出功率可以显著增大且可以独立地使不同LED的强度平衡。大多数单色LED仍在旁侧光谱上具有带尾的窄发射。因此，可以可选地在每个LED的前面使用激发滤波器122、激发滤波器132、激发滤波器142、激发滤波器152以清除激发光谱。类似于激光源，由许多窄带源组成的LED被视为一个照明灯，以及LED可以同时照明(具有全部或部分时间重叠)或可以无重叠按顺序操作。然而，与照明阶段相关联的曝光时段内的任何时间组合被视为在一个照明阶段中累积的光谱分布。

这类照明子系统(比如图13中所描述的照明子系统)可以被组合在多阶段照明系统中，如图14的示意图所示。其中，提供两个光源100c和100d，各光源将其发射光耦合到分别用于样本400的照明的光纤103c和光纤103d中。

图15至图18分别示出了LED光源的发射光谱、在发射光束中布置的滤波器的透射光谱、以及发射光在通过所述滤波器之后的强度光谱。所有的四个光源在一起可以替换一个光谱宽带光源。

该优选配置针对多频带滤波器的每个带具有一个激发LED。这将需要用于四带通滤波器的8个单个的不同LED。在图19中示出了这类配置的光谱。图19在左侧示出了构成第一光源的4个LED的光谱、对应滤波器的透射光谱以及第一光产生的发射光谱。在右侧示出了对应于第二光的光谱。在光谱中已暗示，各个LED与一种光相关联且因此与一个阶段相关联。然而，该组的4个单独LED还可以使用在每个单独LED前面的4个单独的单带通滤波器来滤波。而且，各个LED不严格地连接到阶段之一。图20示出了4个市场上可买到的具有处于380nm、490nm、565nm和635nm的发射峰的LED的真实发射光谱。

图21示出了被四带通滤波器滤波的上述四个LED的形成的照明光谱轮廓。针对4个单独LED中的每一者使LED强度标准化。在该情况下，第一LED 380最低限度地配合单带发射滤波器，第二LED 490和第三LED 565非常良好地配合其各自的带通滤波器。第四LED 635没有非常良好地配合其激发带通滤波器的光谱透射。

[使用灯中的光闸来创建照明]

在图22中所示的另一示例中，不同光源之间的暂时切换使用具有可变透明度的光学元件168和光学元件165来执行。在最简单的情况下，这些具有可变透明度的光学元件168和光学元件165为机械光闸。它们也可以为光调制器或声光设备。从光源161传出的宽带光被多色镜162分离，然后被互补的激发滤波器164和激发滤波器167滤波以及被类似于元件162的多色元件169再次合并。镜子163和镜子166用于对齐和引导被系统中的滤波器165滤波的部分光束。为了进一步改善，应当使激发光准直以使损耗最小化且优化系统中的滤波器性能。

[通过光学检测系统照明]

在如图23所示的替选实施方式中，照明系统被配置成通过光学系统照明。光学导光管将光从多光谱照明系统100传送到成像设备200的处于连接器端口204的部分。照明路径可以包含用于优化对对象400的照明的光学透镜系统203。然后光被偏振滤波器206滤波且随后与具有分束器设备205的成像路径组合。这类设备可以为偏振分束器立方体205。然后使光通过可旋转的半波片207，当光正在通过时，该半波片207旋转偏振的角度。这允许根据半波片的位置减少或消除反射光的反射。在简单组装中，半波片207位于物镜201前面。

示例6

在下文中将各种替选的检测器系统描述为基础实施方式。描述主要包含不同实施方式之间的区别。

[立体分束器]

替选检测实施方式200a包括用于将光束分为两个单独光束的立体分束器202a而非镜/双色镜/多色镜，如图24所示。立体分束器由于在非涂覆侧的反射而不产生副像，且通常可以具有更好的光学平滑度特性。分光元件202a优选地具有根据发射滤波器223和发射滤波器213的光谱透射特性。可替选地，分束器也可以为中性立体分束器(优选地50:50分束器)或偏振分束器。

[具有多个分束器的多个照相机]

在如图25所示的替选实施方式中，具有多个传感器阵列(多于两个，211、221、231...)，其中多于一个分束器202b、202c...用于将光束分成不同的成像路径。滤波器213、滤波器223、滤波器233具有互补特性且被设计成支持用于后文描述的系统的多阶段操作的多个检测器。

[在单个芯片上的多个图像]

在替选配置中，两个传感器被具有较大面积的一个单个传感器阵列来替代(参看图26)。光学路径优选地被双色镜202d分离且然后通过成像路径210使第一图像形成在传感器211的第一半部上。第二图像被镜202f对齐且然后也成像在同一传感器的另一半部上，但是它穿过与滤波器213互补的发射滤波器223。采用该方式，一个传感器阵列检测两个图像。

该设置是更紧凑的且仅需要一个多通道传感器，但是它展现了附加的挑战。每个照明阶段的荧光图像和反射图像二者均需要被调节到传感器的同一动态范围上以便不使传感器饱和或曝光不足。如果这利用单次曝光是不可能的，则可以使用多个曝光的序列，例如如图27所示。在该情况下，为了正确地曝光具有较低强度的图像(即荧光)，需要较长的曝光时间，以及在该情况下使反射图像曝光过度或饱和。在同一照明阶段期间，较短的曝光，使荧光图像曝光不足以及将反射图像适当地记录在传感器的动态范围内。类似地时序也可用在另一阶段中。

[三个传感检测器]

该设置使用三向光束分离法来将光束分离到多个单独的传感器(图28)。该设置优选地具有与设置200a(图24)相同的第一透镜元件201。分束元件202e不同于202a。该分束元件202e利用通常用于3-CCD照相机的概念将光束分离到3个不同路径中。代替具有2个传感器路径，该设置使用3个传感器路径210、220和230。每个路径具有其特定的发射滤波器213、发射滤波器223和发射滤波器233，这些发射滤波器适合于多阶段成像到传感器211、传感器221和传感器231。该方法可以被扩展到提供多个成像路径(3个以及更多)的类似的多个分束器。

[两个完全独立的光学系统]

在替选的检测实施方式中(图29)，相比于检测器200a，检测器200h使用两个完全独立的光学检测路径而无光束分离。每个路径包括物镜元件212和物镜元件222、发射滤波器213和发射滤波器223、可选地成像适配透镜214和成像适配透镜224、以及传感器211和传感器221。

相比于光束分离方法，原理上不同时配准多个图像，即由于不同的成像视角而在这些图像之间存在小的差别。图像的配准在后续图像处理步骤来完成。

[多通道颜色传感器]

在前文实施方式中所描述的传感器211、221等通常为多通道颜色传感器。这意味着每个单独传感器记录多个不同的光谱分布中的光场。这可以利用以下各种选项来实现：a)在像素前面具有微型滤波器的传感器，该微型滤波器遵循拜耳(Bayer)RGGB微型滤波器模式或其改造版(比如RG(IR)B、CMYG)，b)任何其它滤波器镶嵌模式，其中每个像素记录具有不同光谱分布的照明物，和/或c)在单色传感器上的任何其它光束分离、颜色滤波和成像。

通常，RGGB模式实现更准确的颜色再现，而CMYG可以为更敏感的(图30)。全分辨率彩色图像可以通过去马赛克来恢复，这可以发生在照相机硬件中或后续发生在图像处理中。微型滤波器模式通常可以被扩展到多种颜色或光谱透射轮廓，比如ABCDEFGHI等。如此示例为平版印刷而形成图案的双色滤波器阵列，如在US 6638668 B2中所公开。

可替选地，多通道颜色传感器可以基于Foveon X3传感器(参看US6632701)或类似技术(图31)。相比于微型滤波器模式，Foveon传感器具有在空间上布置在x方向和y方向上的光电传感器，以及多个层(层1、层2...)竖直叠放。每个层由于硅吸收和对于光之上的层的不同透射深度而对不同的光谱区域敏感，因此每个层的所生成的图像对应于不同的颜色。利用这点可以实现更高的空间分辨率。

在替选实施方式中，多通道传感器(比如211或221)被单色传感器251替换，使用分束器或镜252和镜253将光束分为三个部分以及利用滤波器或利用双色镜(图32)对光束滤波。每个滤波器或双色镜具有特定的透射光谱轮廓，该轮廓将光分离为图32B和图32C中的不同颜色。不同图像被形成在单色传感器中，各单色传感器使不同的光谱带成像。

另外，多颜色通道可以利用多次分光和多个滤波器来实现，诸如棱镜3-CCD几何结构(如在U.S.3659918中所公开)。在这个或类似分光实现方式中，每个路径被滤波以携带具有特定颜色(例如RGB)的光谱的光。该方法可以被扩展到提供多个成像路径(3个以及更多)的类似的多个分束器。

示例7

对于大多数荧光应用，需要避免或阻断环境光，这是因为环境光的强度比源自于荧光染料的荧光的强度强多个数量级。环境光可来自于太阳且穿过窗户到达对象上，或环境光可由室内灯发射。在现有技术的系统中，通常环境黑暗以避免来自荧光通道中的环境光的密集信号。作为替选，将会穿过发射滤波器的环境光的特定波长区域可以被滤波器阻断。遗憾地，这类滤波器通常非常昂贵，且不可能用这类滤波器覆盖大的窗口或室内灯，或这类滤波器刚好不是对于任何配置都可用。

在此呈现的技术描述了允许室内照明和检测荧光的替选方案。本发明在开放式手术期间的外科荧光成像中是特别重要的。呈现了两个不同的选项。两个选项利用脉冲光源作为环境照明来操作。在第一方法/实施方式中，在记录(在权利要求中称为“保持记录”)帧期间阻断成像路径中的所有光，以及第二方法/实施方式在用于环境照明的帧之间使用传感器阵列的停滞时间。

示例8

相比于人眼的最大频率感知(例如处于200Hz)，使室内灯的照明以高频发出脉冲。脉冲的持续时间(占空比)通常为整个周期的一小部分(例如该周期的5％-20％，通常0.1ms-5ms)，因为这允许更长的曝光时间用于荧光成像(参看图33)。用于使荧光信号成像的光路径在环境照明的光脉冲期间被阻断。该图示出了成像系统的阶段以及允许环境照明的光闸设备的对应时序。

[实施方式的详细描述]

在图34中所示的实施方式中，提供室内照明/环境照明光源902，该光源902的光被耦合到激发光路径中。还在成像路径中提供附加的光闸900。在该实施方式中，出于简化原因，光闸位于光学系统200的物镜前面。然而，光闸也可以位于路径中的另一位置。可替选地，光闸设备900可以被包括在传感器阵列的正前方的成像路径中。光闸900和室内照明902二者均由控制/处理单元300来控制。

当关闭光闸900时，光闸900阻断所有的光进入成像/检测路径且因此光不到达传感器阵列系统200。来自源902的环境照明的操作频率不一定连接到荧光成像系统的操作频率。如果成像系统以30Hz-60Hz运转来生成对于人眼的流畅的荧光和反射的图像流，则是优选的。环境照明902优选地利用较高的频率来操作，因此人眼在室内环境中感知不到任何闪烁。

优选地，环境照明系统902的操作频率为成像频率的高次谐波。在该情况下，每个按顺序拍摄的图片等同地受关闭的成像路径影响。但是也可以检测环境照明时序以及数字地校正略有不同地遮蔽的成像路径的影响(若需要)。

光闸900可以为可允许或阻断光沿着光束路径传播的任何机电设备。在优选实施方式中，环境光和光学成像路径903被光束斩波轮901(参看图35)来遮蔽，该光束斩波轮901以光闸效应的频率的一半来旋转。

斩波轮901为以特定频率中断成像路径的良好选择且通常以比光学光闸更高的频率操作。可替选地，斩波轮可以用通过使路径不透明而保持图像记录的不同设备来交换，该不同设备比如光电调制器、SLM、或声波-光学调制器。在另一替选中，使用偏振滤波器且使用具有光的可变偏振敏感透射的电子设备来关闭路径。这还允许有效地阻断成像路径。

光源可以为可利用短脉冲操作的任何类型的环境光源。光源902优选地包括电子脉冲LED。这类LED很好地适合于手术室的环境照明以及可以使这类LED以比人眼的频率高很多的频率发出脉冲。

示例9

如图36所示的替选实施方式使用来自不同光源的照明光的附加阶段(第3阶段)，该附加阶段一直在用于环境照明的成像设置的阶段1和阶段2之间。该阶段以其它阶段的频率的双倍进行运转。该光源可以为独立的(类似于光源902)或被包括在照明系统的光源100中。由该光源发射的光不一定用于成像，但可以主要地用于改善人眼在对象和/或周围环境中的视觉感知。

在基础实施方式中，成像区域的照明仅被优化用于检测图像分量和图像处理，尤其用于解混不同的荧光团。通常，这类照明对于外科医生的视觉印象而言不是最佳的且可以形成低的图像对比度和非自然的视觉印象。然而，附加的第三照明阶段的光谱分布和强度是自由的以优化用户(OR中的外科医生和医务人员)的整体视觉感知和亮度，如针对所有照明阶段所累积感知的。

在第3阶段中的照明脉冲短得足以适应两个阶段之间的成像传感器的停滞时间(参看图36)。通常，停滞时间发生在将数据从传感器200传送到控制单元300时。因此需要具有高准确度的短脉冲。如果成像系统以30Hz的频率工作，则脉冲式环境照明可以以双倍的该频率(即60Hz)工作。如果假设环境照明应当仅消耗1％的占空比，则脉冲的脉冲宽度应当大约170μs。如果环境照明消耗5％的占空比，则附加的照明阶段提供更明亮的场以及脉冲式环境照明持续时间为800μs。

示例10

在前文描述中，使用两个照相机和两个不同阶段的场景描述了组合式光谱和时间多路复用系统的概念。然而，相同的概念可以被扩展到在更详尽的成像场景中的其它照相机和阶段。例如扩展到3个照相机和3个阶段、4个照相机和4个阶段等。这些允许例如获取关于反射图像和荧光图像的附加光谱信息。另外，替选配置在两个阶段中操作，但是可以使用多于两个照相机，这在两个多通道照相机无法解决基本特征(比如荧光寿命或红外区域中的灵敏度)的情况下提供优势。

在本部分中，将详细地描述更高维度系统的附加示例：

示例10A

其中遵循利用3个光源和3个照相机操作在3个阶段中的系统和方法的描述(参看图37，示出了针对3个光和3个照相机的设置的示意图)。该示例性系统具有三个不同的光源110、120和130。在图38、图39和图40中分别绘制了光源的各自示例性发射光谱。在3个阶段中通过光源照明样本。在第一阶段中，第一光源照明样本，在第二阶段中，第二光源照明样本，以及在第三阶段中，第三光源照明样本。检测器包括3个独立的传感器211、221和231，以及利用分别位于各传感器前面的滤波器213、滤波器223和滤波器233使光衰减。每个传感器具有各自的透射滤波器，该各自的透射滤波器匹配位于成像路径中的每个各自光源的发射光谱，即，在图41中所示的具有透射特性的滤波器放置在传感器1前面、在图42中所示的滤波器放置在传感器2前面、以及在图43中所示的滤波器放置在传感器3前面。采用该方式，在每个源的照明光谱与到达每个传感器的光之间存在对应性。在每个阶段中，所有的三个传感器记录多通道(彩色)图像。

在表1中示出了照明光和用于使反射光和发射光透射或衰减的滤波器之间的对应性。

表1：用于不同照相机的滤波器配置

在阶段1中，传感器1记录光谱带中的反射图像，其中光谱带被光源1照明。在该阶段(阶段1)中，照相机2和照相机3无法记录从光源(源1)发射的光，这是因为位于其成像路径中的滤波器阻断了激发光。但是在该阶段期间，这些照相机中的每一者记录在各自的滤波器透射带中的荧光发射。类似地，在第二阶段和第三阶段中，一个照相机检测反射的激发光而另外两个照相机检测发射的荧光，如图表2所示。整个成像周期在3个阶段中关闭，如图44所示，以及总计，所有照相机在每个阶段中的所有颜色通道的记录导致组合的数据组(或组合的图像)，其包括多路复用光谱图像，每个多路复用光谱图像具有反射激发或荧光发射的不同信息。每个照相机的积累时间可以在每个阶段中改变以适应每个图像的动态范围。

表2、用于每个阶段的照相机功能

	反射	荧光
			阶段1	照相机1	照相机2、照相机3
阶段2	照相机2	照相机1、照相机3
			阶段3	照相机3	照相机1、照相机2

假设每个传感器具有3个检测通道(例如标准的RGB照相机)，则在3个阶段完成以后，系统记录来自9个通道的组合的反射图像和来自18个通道的组合的荧光信息。

如果每个照相机的检测通道的数量n_{照相机通道}不为3，则整个系统的反射通道的数量N_反射和荧光通道的数量N_荧光为：

N_反射＝3·1·n_{照相机通道}，以及

N_荧光＝3·(3-1)·n_{照相机通道}

该设置的主要优势是用于荧光图像和反射图像的通道的总数量增加，这使得在图像处理之后能够将反射图像和荧光图像更准确地分解为其准确的分量。相比于两个照相机设置，滤波器设计和制造变得更复杂，图像处理变得在计算上更密集，以及到达每个传感器的总光更少。可以通过更长的曝光时间、更灵敏的照相机传感器、和更高强度光源来补偿形成的较低的光强度且因此较低的S/N比。

示例10B

时间和光谱多路复用的原理也可以被扩展到4个阶段、4个光源和4个照相机，如图45所示。在阶段1中利用光源110、在阶段2中利用光源120、在阶段3中利用光源130以及在阶段4中利用光源140照明样本。在图46、图47、图48和图49中示出了光源的4个不同的照明光谱。在图50、图51、图52、图53中分别示出了在照相机前面的不同的滤波器213、滤波器223、滤波器233和滤波器243的特性(在表3中相对于光源的光谱特性所指定的特性)、以及滤波器的光谱透射轮廓。在该情况下，透射指的是实际上强度的相当大的一部分被透射，而阻断指的是光强度通过滤波器优选地以10^Λ-4至10^Λ-6的因子衰减。

表3：用于相对于不同光源的照明光谱的不同照相机的滤波器设计

前面的滤波器	照相机1	照相机2	照相机3	照相机4
					光源1的照明光谱	透射	阻断	阻断	阻断
光源2的照明光谱	阻断	透射	阻断	阻断
					光源3的照明光谱	阻断	阻断	透射	阻断
光源4的照明光谱	阻断	阻断	阻断	透射

使样本成像，将成像路径分为4个局部路径，以及在每个路径中对光滤波且然后将光聚焦到各自的照相机上。每个照相机前面的滤波器使由相同编号的光源发射的光透射，但是阻断从另外3个光源发射的所有光。每个照相机在一个阶段中记录反射图像且在3个其它阶段中记录荧光图像。表4示出了记录组合。

表4：在不同阶段针对不同照相机的荧光图像和反射图像的记录

	反射	荧光
			阶段1	照相机1	照相机2、照相机3、照相机4
阶段2	照相机2	照相机1、照相机3、照相机4
			阶段3	照相机3	照相机1、照相机2、照相机4
阶段4	照相机4	照相机2、照相机3、照相机3

N_反射＝4·1·n_{照相机通道}，以及

N_荧光＝4·(4-1)·n_{照相机通道}

如图54所示，整个成像周期在4个阶段中关闭，以及总计，所有照相机在每个阶段中的所有颜色通道的记录导致组合的数据组(或组合的图像)，该数据组(或组合的图像)包括多路复用光谱图像，该数据组(或组合的图像)具有反射激发或荧光发射的不同信息。每个照相机的积累时间可以在每个阶段中改变以适应每个图像的动态范围。在图55中示出了具有用于四个阶段的所有传输光谱的组合绘图。

示例10C

根据所示原理可以将这个概念扩展到更高数量的照相机和阶段。

N_荧光＝n_阶段·n_{荧光照相机/阶段}·n_{照相机通道}

N_反射＝n_阶段·n_{反射照相机/阶段}·n_{照相机通道}

其中照相机的数量为恒定的，因此

n_照相机＝n_{荧光照相机/阶段}+n_{反射照相机/阶段}

这导致

N_荧光＝n_阶段·(n_照相机-n_{反射照相机/阶段})·n_{照相机通道}

N_反射＝n_阶段·n_{反射照相机/阶段}·n_{照相机通道}

在描述的场景中，在每个阶段中一个照相机记录反射。这将公式简化为

N_荧光＝n_阶段·(n_照相机-1)·n_{照相机通道}

N_反射＝n_阶段·1·n_{照相机通道}

这意味着，利用10个阶段和10个RGB照相机，对于每个图像可以总共记录30个反射通道和270个荧光通道。每个通道的光强度相比两个照相机设置更低，但是因此光谱通道的数量更高，这还可以改善输出。因此在理论上，可以分离270个不同的荧光分量。

当然，这类设置提出对硬件的高需求。例如，有挑战性的是设计用于这类设置的各自滤波器。这需要10个不同的滤波器用于激发和发射。滤波器应当为双带滤波器，从而如果光源10为激发荧色物，则传感器1至传感器9可以仍记录荧光。当然，如果每个滤波器为三带滤波器或具有更高数量的透射带的多频带滤波器，则将是理想的。

代替使用许多单独照相机，也可以将不同图像一个接一个地放在一个单芯片上。这需要更大的传感器和更复杂的光学设置，但是保留了使用和控制许多不同照相机的麻烦。

示例11

多光谱成像方法和系统可以通过集成到各种成像工具中、例如集成到医疗器械中来实现。在如图56A所示的第一实施方式中，通过将检测器200与照相机适配器附接而将多光谱成像系统与作为物镜的变焦镜头291一起使用，其中照明系统100利用导光管将光传送到对象。在如图56B所示的另一集成中，检测系统200连接到手术显微镜292的视频端口，且照明系统100利用导光管连接到照明端口以通过显微镜的物镜照明对象。在图56C所示的另一实施方式中，检测系统200可选地使用适配器连接到硬式内镜的目镜端口，以及照明系统100利用导光管连接到照明端口。在图56D的另一实施方式中，检测系统200被小型化且被集成到弹性内镜的尖端中，同时照明系统100附接到该内镜的照明端口。在如图56E所示的另一实施方式中，检测系统200连接到弹性纤维镜的照相机端口，该弹性纤维镜使用弹性纤维束将图像从尖端传送到远端点，以及照明系统100连接到照明端口。

示例12

在下文中描述本发明的方法的几个可行应用。

a)应用场景：血氧的成像：在下文中通过评估组织上含氧的血红蛋白与缺氧的血红蛋白(HbO和Hb)相对浓度来使示例性氧饱和成像。由于HbO和Hb具有如图57所示的不同吸收光谱，因此反射光携带可记录在系统中的光谱轮廓信息。通过在光谱上解混多个反射分量，可以生成a)在视觉系统中待显示的RGB图像，和b)HbO和Hb分量的体内分布的附加图。氧饱和图通过HbO与总的血氧饱和度之间的比率来计算。

b)应用场景：癌性病变、解剖特征、或官能条件的检测。另一设想的应用为使用系统使用于体内临床诊断成像的可注射的荧光造影剂的体内分布可视化。这些荧光造影剂可以为无定位的，比如用于突出血管化、血液灌注等的荧光蛋白或吲哚菁绿，或以通过结合到与组织中的相关官能或病理活动相关联的分子位点而可利用荧光突出疾病(诸如癌症)、医疗状况(诸如炎症)、或解剖特征(诸如神经或淋巴结)的方式来定位。一个示例为在脑部手术期间使用5-ALA(诱导在癌细胞中产生原卟啉的化合物)对恶性胶质肿瘤成像。这些应用可以涉及将发明方法集成在医学成像系统中，该医学成像系统比如手术显微镜、内窥镜、腹腔镜、胃窥镜、气管镜、检眼镜、眼底照相机等。

c)应用场景：多上报器成像

特别感兴趣的是将发明的实时多光谱成像技术应用在利用双上报器诊断方法的临床应用中。使用两个或更多个荧光探针可以提供关于不同生物标记的多样信息以获取组织的病理或官能状态。不同药剂(其在解混之后作为图像分量)的体内分布的组合可以增强待成像的目标(即病变)的可视化，提高病理特征的检测敏感度和特异性。

d)应用场景：机器检查

实时多光谱荧光成像的附加设想的应用场景是关于机械检查。由于内部封闭而难以在视觉上检查的引擎或机械部分(诸如齿轮)可能具有损害，比如小裂纹。在利用荧光溶液冲洗引擎的内部之后，可以使用内窥镜使这些结构缺陷可视化，以在内部检查保持有荧光流体的裂纹的位置。实时多光谱成像可以同时提供颜色反射图像和荧光图像。

e)应用场景：pH敏感的染料

化学环境可以影响荧光染料的发射或激发。改变染料吸收和发射特性的这些参数之一为pH值。

发射敏感的染料的情况：

优选的是，以检测在光谱上对pH值的变化敏感的信号的方式来优化各自滤波器的透射带。还优选的是，具有极大地取决于pH值的检测通道，而其它大部分对pH值的变化不敏感。

这例如可以通过调整发射滤波器频带来实现，使得各自测量的荧光带的中心匹配染料发射光谱在pH值变化时改变最大的光谱点，或染料发射光谱最低程度地取决于pH值的光谱点。

激发敏感染料的情况：

优选的是，以检测在光谱上对pH值的变化敏感的信号的方式来优化各自滤波器和光源的激发带。还优选的是具有激发带使得一些检测通道极大地取决于pH值，而其它通道大部分对pH值的变化不敏感。

激发滤波器带应当被调整，使得各自带的中心匹配染料激发光谱在pH值变化时改变最大的光谱点，或染料激发光谱最低程度地取决于pH值的光谱点。

以如下这类方式在多光谱上记录、在光谱上解混和处理记录的图像：这些图像使pH值的空间分布可视化。

f)应用场景：通过PPIX发射光谱中的差别来区分肿瘤浸润区和实体肿块

对于肿瘤诊断，对患者实施5-ALA，导致原卟啉IX(PPIX)在肿瘤组织中的积累。物质PPIX既为荧光染料、又为用于光动力治疗的药剂。

PPIX的荧光发射光谱根据肿瘤内部的位置来改变。更精确地，相比于实体肿块，浸润区展现不同的荧光发射光谱。可以使用该光谱差别，以便在肿块和浸润区之间区分。

在620nm和635nm处具有最大值的两个不同峰值的PPIX光谱可以被记录且利用本发明的系统来解混。

在第二方面的成像场景中，优选地在大约405nm处在两个阶段中激发PPIX。但是在阶段1中，优选地将发射记录在590nm到627nm之间的光谱带中。在阶段2中，优选地将荧光记录在628nm到650nm之间的光谱区域中。

另外，也可以记录其它荧光团和自发荧光。

g)应用场景：自发荧光

感兴趣的应用是内在组织自发荧光的光谱检测，该自发荧光为通常在不实施荧光造影剂(例如荧光团)的情况下所发射的荧光。组织内在的自发荧光归因于组织中存在或产生的各个分子，组织诸如NADPH、黄素、胶原蛋白、弹性蛋白等。存在、产生、积累或其它浓度属性被链接到各种组织特征，诸如解剖特征、官能特征和病理特征。根据本发明的组织自发荧光的多光谱成像和相关联的化合物的光谱解混可以揭示组织的帮助评估或诊断医疗状况的特征或特性。自发荧光的多光谱成像和解混可以利用系统管理的荧光分子而一起发生。

h)应用场景：视网膜成像

可以通过眼睛使视网膜成像。目前，该成像模式被用在主要出于视网膜本身的诊断目的的临床实践中。

眼睛将透明窗口提供给在视网膜血管中直视的主体的血管。利用根据本发明的视网膜的多光谱成像和光谱解混，可以识别存在于视网膜中或在其血管中循环的荧光分子。这些荧光分子可已经被系统管理，以自由地循环或瞄准细胞(可能为转移性癌细胞)、微生物、病毒或分子。多光谱成像和解混可以识别这些物质，这些物质通常可以提供关于血液循环或目标的循环的信息，这可以帮助评估“患者”的官能或病理状态。因此可以使用视网膜成像获得关于视网膜自身的信息以及还获得关于在血液中循环的化合物的信息。

i)应用场景：机器人手术

多光谱成像和系统的感兴趣应用为将其与外科手术机器人系统组合。首先，它可以使外科医生利用在反射色域中或在(自发)荧光域中关于组织解剖、官能或疾病的视觉多光谱信息来操作。在第二层面上，可以提供提高机器人操作的安全性的输入，例如禁止医生意外损伤(即切割)组织(例如神经)。在第三层面上，它可以直接向自动化的机器人手术过程提供输入和/或反馈，这降低了人员控制或使人员控制最小化。

示例13

目前为止所描述的场景具有相同数量的阶段(光源)和传感器。根据需求，使用组合式时间和光谱多路复用的系统的原理还覆盖具有与照相机不同数量的阶段的实施方式。随后描述两个不同的实施方式作为示例。那两个场景中的第一场景具有比阶段(光)多的照相机，而那些场景中第二场景具有比照相机多的阶段(光)。

利用两个阶段(光)和三个传感器的光谱和时间多路复用

在此参照图58描述的实施方式是从在图3中所示的基础实施方式导出的。它在多光谱检测器200中具有一个附加照相机。该检测器可以也在两个阶段(来自两种光)中记录光。附加传感器例如用于记录光谱区域中的光，在该光谱区域中，其它传感器不敏感，例如在UV中或更有可能在红外区域中。

在我们的示例中，该附加单色传感器的光谱敏感度在高于800nm的近红外(NIR)区域中很高。因此该传感器通过记录例如在NIR中发射的荧光染料(诸如ICG)的光而支持其它传感器。这类染料被期望用于临床应用，这是因为这类染料通过血红蛋白在组织中示出比在蓝色或绿色区域中发射的染料更少的吸收。另外，该传感器还可以在两个阶段之一中记录反射图像。

该系统在两个阶段中操作且因此具有两种光。这些光需要匹配NIR区域中的光谱需求，以提供用于荧光染料的激发光且还提供用于待记录在NIR区域中的反射光的照明。

激发扫描：三个阶段-两个照相机

这部分描述了具有比照相机多的阶段(光)的实施方式。该实施方式是从图3中所示的基础实施方式导出的。它具有附加阶段且因此附加的第三光。因此成像系统的一个时段被划分为三个不同获取阶段。

该实施方式具有在染料之间进行区分的附加能力，这些染料具有非常类似的发射光谱但非常不同的激发光谱。

如果血液中的强吸收体(比如血红蛋白)为当前样本，则记录的不同染料的发射光谱被血红蛋白的吸收的改变所管理。因此不再可能在两个不同染料的发射光谱之间区分。

这是例如针对染料的情况，该染料比如原卟啉IX(PPIX)和Cy5，这二者均在600nm和650nm之间发射。在该区域中，血红蛋白的吸收率按数量级变化且因此不再可能在两个不同发射之间区分。

在这类情况下，激发扫描可以帮助在染料之间区分。在同一光谱区域中的两种染料的发射被记录在两个阶段中。但是在这两个阶段中的激发需要是不同的，以便能够在不同染料之间区分。

Claims

1.一种用于获取对象(400)的荧光图像和反射图像的方法，包括如下步骤：

至少利用第一光和第二光交替地照明所述对象(400)，其中，所述第一光和所述第二光在光谱上被成形，使得至少一个光具有被一个或多个低光强度的光谱区域分离的多个高光强度的光谱区域，其中，所述第一光和所述第二光的具有高强度的所述光谱区域至少部分不重叠，以及其中，这两个光中的至少一者具有波长比高光强度的相邻区域的波长长的至少一个低光强度的区域，以及

在利用所述光中的至少一者照明所述对象(400)的同时记录至少所述对象(400)的第一图像和所述对象(400)的第二图像，

其中，记录为所述第一图像的光被修改，从而使所述第二光的至少一个高强度的光谱区域衰减，

以及其中，记录为所述第二图像的光被修改，从而使所述第一光的至少一个高强度的光谱区域衰减。

2.根据前一项权利要求所述的方法，其特征在于，所述图像中的一者或两者被传感器阵列(200)记录，其中，一个或两个传感器阵列(200)优选地为多通道阵列、优选地为颜色传感器阵列(200)，其中，每个通道具有不同的光谱灵敏度。

3.根据前一项权利要求所述的方法，其特征在于，所述第一图像和所述第二图像

a)利用不同的传感器阵列(200)来记录，所述不同的传感器阵列(200)定位成彼此靠近或均定位在局部光路径中，

或

b)利用单个传感器阵列(200)来记录，其中，所述传感器阵列(200)的两个不同区域均定位在局部光路径中，

其中，在a)和/或b)中，所述局部光路径通过将从所述对象(400)传出的光分为两个局部光来生成。

4.根据前述权利要求中任一项所述的方法，其特征在于：

在利用所述第一光照明所述对象(400)时记录的第一图像和在利用所述第二光照明所述对象(400)时记录的第二图像被合成以生成第一合成图像，其中优选地，所述第一图像和所述第二图像为彼此相继记录的图像，

和/或

在利用所述第二光照明所述对象(400)时记录的第一图像和在利用所述第一光照明所述对象(400)时记录的第二图像被合成以生成第二合成图像，其中优选地，所述第一图像和所述第二图像为彼此相继记录的图像。

5.根据前述权利要求中任一项所述的方法，其特征在于，在记录的所述图像的通道图像空间、例如颜色传感器的彩色图像空间中提供的数据被转换为分量图像空间的值，其中，所述分量优选地为荧色物、吸收体、导出值或噪声的空间分布。

6.根据前述权利要求中任一项所述的方法，其特征在于：

a)针对所述光中的至少一者的处于较短波长的至少一个高强度区域与较长波长的至少一个低光强度区域之间的光强度的比大于或等于1×10²，优选地大于或等于1×10³，优选地大于或等于1×10⁶，

和/或

b)待记录的所述光的未衰减的光谱区域与衰减的光谱区域的强度之间的衰减比大于或等于1×10²，优选地大于或等于1×10³，优选地大于或等于1×10⁶，

和/或

c)待记录为所述第一图像的光在所述第二光的至少一个高强度的光谱区域中的衰减量使得记录在所述未衰减的光谱区域中的光的强度优选地高于记录在所述衰减的光谱区域的总和中的光的强度，

和/或

待记录为所述第二图像的光在所述第一光的至少一个高强度的光谱区域中的衰减量使得记录在所述未衰减的光谱区域中的光的强度优选地高于记录在所述衰减的光谱区域的总和中的光的强度。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述第一光和/或所述第二光通过如下项来生成：

a)来自两个宽带光源(111、121)的宽带光，例如白光，其中，所述宽带光被多带通滤波器(112、122)滤波以便生成所述第一光和所述第二光，其中，至少两个所述多带通滤波器(112、122)具有互补的光谱透射特性，

或

b)多个窄带光源，优选地多个发光二极管(LED)，其中，从所述窄带光源传出的光可选地被所述光路径中的多频带滤波器滤波，

或

c)根据a)的宽频带光源和根据b)的多个单独的LED的组合。

8.根据前述权利要求中任一项所述的方法，其特征在于，使用多带通滤波器对记录为所述第一图像的光和记录为所述第二图像的光滤波，其中，用于对记录为所述第一图像的光滤波的所述多带通滤波器具有与用于对记录为所述第二图像的光滤波的所述滤波器的光谱透射特性互补的光谱透射特性。

9.根据前一项权利要求所述的方法，其特征在于，用于对记录为所述第一图像的光滤波的所述多带通滤波器和用于对记录为所述第二图像的光滤波的所述多带通滤波器分别具有对应于所述第一光和所述第二光的光谱形状的透射特性。

10.根据前述权利要求中任一项所述的方法，其特征在于，记录的图像的数量等于或小于交替照明所述对象的不同光的数量。

11.根据前述权利要求中任一项所述的方法，其特征在于，至少利用具有第一照明时段的所述第一光和具有第二照明时段的所述第二光交替地照明所述对象(400)，以及

利用另一光的脉冲照明所述对象(400)，其中，所述另一光的脉冲持续时间比所述第一照明时段短且比所述第二照明时段短，以及在利用另一光的所述照明期间保持记录所述第一图像和所述第二图像，

或

至少利用具有第一照明时段的所述第一光、具有第二照明时段的所述第二光、和具有第三照明时段的第三光交替地照明所述对象(400)。

12.一种用于获取对象(400)的荧光图像和反射图像的成像装置，包括：

至少第一光源和第二光源，所述第一光源和所述第二光源配置成至少利用来自所述第一光源的第一光和来自所述第二光源的第二光交替地照明所述对象(400)，其中，所述第一光和所述第二光在光谱上被成形，使得至少一个光具有被一个或多个低光强度的光谱区域分离的多个高光强度的光谱区域，其中，所述第一光和所述第二光的具有高强度的所述光谱区域至少部分不重叠，以及其中，这两个光中的至少一者具有波长比高光强度的相邻区域的波长长的至少一个低光强度的区域，以及

至少第一传感器和第二传感器，所述第一传感器和所述第二传感器配置成在利用所述光中的至少一者照明所述对象(400)的同时，通过所述第一传感器记录所述对象(400)的第一图像以及通过所述第二传感器记录所述对象(400)的第二图像，

第一滤波器，所述第一滤波器配置成修改记录为所述第一图像的光，从而使所述第二光的至少一个高强度的光谱区域衰减，以及

第二滤波器，所述第二滤波器配置成修改记录为所述第二图像的光，从而使所述第一光的至少一个高强度的光谱区域衰减。

13.根据前一项权利要求所述的成像装置，其特征在于，所述第一图像和/或所述第二图像被一个或两个传感器阵列(200)记录，其中，所述传感器阵列(200)中的至少一者或两者优选地为多通道阵列、优选地为颜色传感器阵列(200)，其中，每个通道具有不同的光谱灵敏度。

14.根据前述权利要求所述的成像装置，其特征在于，所述第一图像和所述第二图像利用如下项来记录：

a)不同的传感器阵列(200)，所述不同的传感器阵列(200)定位成彼此靠近或均定位在局部光路径中，

或

b)单个传感器阵列(200)，其中，所述传感器阵列(200)的两个不同区域均定位在局部光路径中，

15.根据前三项权利要求中任一项所述的成像装置，其特征在于：

所述第一传感器阵列(200)配置成在利用所述第一光照明所述对象(400)时记录第一图像，以及

所述第二传感器阵列(200)配置成在利用所述第二光照明所述对象(400)时记录第二图像，以及

合成单元，所述合成单元配置成合成所述第一图像和所述第二图像以生成第一合成图像，其中优选地，所述第一图像和所述第二图像为彼此相继记录的图像，

和/或

所述第一传感器阵列(200)配置成在利用所述第二光照明所述对象(400)时记录所述第一图像，以及

所述第二传感器阵列(200)配置成在利用所述第一光照明所述对象(400)时记录所述第二图像，以及

第二合成单元，所述第二合成单元配置成合成所述第一图像和所述第二图像以生成第二合成图像，其中优选地，所述第一图像和所述第二图像为彼此相继记录的图像。

16.根据权利要求12至15中任一项所述的装置，其特征在于：

和/或

17.一种内窥镜或手术显微镜，包括根据权利要求12至16中任一项所述的成像装置。

18.根据前述权利要求中任一项所述的方法、装置、内窥镜或手术显微镜用于记录反射图像和/或荧光图像的用途，所述反射图像和/或所述荧光图像用于在汽车应用、医疗诊断、医学治疗、和/或化学和/或物理分析中的内部检查。