CN103959328B - 基于光纤的显微图像的连续和实时校准方法及对应的装置 - Google Patents

Abstract

根据第一方面，本发明涉及一种用于处理借助具有非一致的传递函数和不规则的空间位置的图像检测器获取的图像的方法，包括：从多个图像累积数据；定义仿射图，所述仿射图关联测量相关信号的各个检测器；对来自所关联的检测器的累积数据执行统计分析；以及对由统计分析的结果构造的系统求解，以估计每个检测器传递函数，检测器传递函数的集合构成成像系统的校准。

Description

基于光纤的显微图像的连续和实时校准方法及对应的装置

技术领域

本发明总体上涉及用于处理图像的方法，图像是借助于具有非一致的传递函数和不规则的空间位置的图像检测器，尤其是借助于由多个光纤组成的像导(image guide)获取的。

背景技术

在通过光纤束执行激光扫描成像时，原始输出是由检测器在扫描过程中直接观察到的信号样本的集合。

如美国专利No.7,903,848中所述的，可以首先从这个原始输出重构原始图像。在这个原始图像中，若干像素可以与每一个给定光纤相关联。与给定光纤相关联的这些像素中的每一个都提供由在其远端面向光纤的相同空间体积的组织返回的信号的不同测量。这个返回的信号起因于荧光、反向散射，或者由入射光与组织之间的相互作用引起的任何其他辐射。

那些各种各样的测量不同，因为在扫描过程中注入光纤中的激发光的准确量实际上取决于激光斑点相对于光纤的空间位置。而且，如果激光斑点与若干光纤重叠，相应的测量会合成由这些光纤收集的返回信号。依据原始数据值，可能与朝向光纤的空间体积相关联的返回信号的估计通常可以由某种方式的方法来进行，如美国专利No.5,878,159所述的，或者借助如美国专利No.7,903,848中的严格统计模型。所得到的估计是可与给定光纤相关联的测量。

如此进行，每一个光纤都可以概念性地视为用作单个检测器或CCD像素。但至少由于以下四个原因，这个想象的CCD与通常的CCD不同：

a.光纤束不是由规则间隔的光纤构成。这个想象的CCD不是方形网格；

b.注入、传送及随后收集的光量对于每一个光纤也是特定的，部分由于光纤参数不完全相同，并且临近的系统光学器件具有偏差。结果，这个想象的CCD的像素通常至少具有不同的灵敏度；

c.一些光学散射效应(瑞利、菲涅耳、拉曼等)会在界面处或光纤内出现，由此，一些或者是线性的或者是非线性的信号也会出现。为此，即使没有由组织直接产生的对象信号，从光纤收集的返回信号也是非空的。此外，这个背景值对于每一个光纤都不同；及

d.另外，以上的这三个现象会随时间改变。例如，在荧光成像环境下，如果光纤呈现一些自发荧光，其强度由于光漂白通常将降低。

总之，在原始像素与光纤关联后，每一个光纤都可以视为具有特定传递函数(例如，特定偏移或特定增益或灵敏度)的单像素检测器。成像系统从而是不规则的，因为传递函数是时变的且非一致的，即与像素有关的，并且因为像素不规则地定位在空间域中。在下文中，为了清楚，我们将这些概念性检测器称为光纤，但应明确，论述不必局限于实际的物理光纤。

在美国专利No.5,878,159中，利用相干光纤束，即在整个束的长度内保持光纤的空间布置的光纤束，执行通过光纤束的成像。在其他场合中，使用相干光纤束会具有优势。在该情况下，原始像素至光纤的关联还需要考虑入出(in-out)光纤对应性，使得每个光纤仍然可以视为单像素检测器，其相对于远端处的其他光纤的空间位置是已知的。通过诸如在Lazaro等的Sensors,2009或者Demuynck and Menendez,WSEAS Transactions onSignal Processing,2008中描述的不同手段，可以进行入出光纤对应性的恢复。美国专利No.7,903,848和美国专利Pat.No.5,878,159提出了处理来自具有非一致的光纤传递函数的检测器的数据的不同手段。美国专利Pat.No.5,878,159仅公开了以下发明，其中光纤传递函数是简单线性函数(返回的光纤信号建模为由与光纤有关的增益常数乘以对象信号)。因此没有解决当对象信号为空时背景信号非空的情况。美国专利No.7,903,848公开了一种图像处理方法，其补偿仿射光纤传递函数。这可以通过获取两个图像来实现，一个在均质背景介质中(例如，空气或水)，一个在具有强对象信号的均质介质中(例如，荧光显微镜情况下的荧光溶液)。于是从这两个图像推导出仿射光纤传递函数(即，偏移和增益)。应注意，为了清楚，即使我们将这些参考图像称为在均质介质中获取的，但在其他环境中，它们也可以简单地对应于均匀对象信号(例如平面场图像)。

基于光纤的成像系统例如通常用于在显微镜级别进行显微内镜，即内窥镜检查。在这个临床环境下，在成像系统的每一次使用之前，即每一次显微内镜过程之前，美国专利No.7,903,848所要求的获取两个图像是成问题的。实际上，将光纤束的远端放入均质介质中会危及与患者接触的光纤的洁净度或无菌状态，并加重医务人员操作过程的负担。还应明确，在其他用途情况下，找到适当的均质介质并非无足轻重。为了解决这个问题并仍能够补偿仿射光纤传递函数，PCT专利申请No.PCTIB2009008012公开了一个发明，其中，在过程之前通常仅在空气中获取背景图像。随后将这个背景图像自动映射为数据(例如，背景和强对象信号图像)，其已经在过程之前(例如在制造过程中)获得，并与成像系统一起存储(例如在控制计算机上)。依据现场背景图像和映射的在前数据，PCT专利申请No.PCTIB2009008012推导出仿射光纤传递函数的增益和偏移。成像系统通常包括持久性单元(例如激光器扫描)和一次性附件(例如光纤束)。在PCT专利申请No.PCTIB2009008012的方案中，在获得现场图像处理所需的数据的制造过程中，通常仅一次性附件是可用的，而持久性单元仍保留在末端用户地点。此外，显然，在制造过程中获得的任何数据将随时间保持恒定，即使成像系统的特性在长期会改变，例如由于老化或环境特性。因此，数据仅可以是在图像获取时完整的最终成像系统所获得的有偏差的近似。这将导致光纤传递函数的有偏差的近似，并从而导致次最优的图像质量。此外，这个解决方案需要将具有与其相对应的数据的一次性附件发送到末端用户。数据需要由图像处理方法访问，这通常会需要在一次性附件的第一次使用之前进行繁重的安装过程。

除了已经列出的这些在前方案的缺点以外，它们全都共同具有其他通常的缺点。因为通常不能在具有与感兴趣的最终对象(其特性通常是未知的)完全相同的物理特性(例如数值孔径)的介质上获得参考图像(背景和强对象信号)，在任何情况下，估计的光纤传递函数都仅是在对象上所见到的光纤传递函数的有偏差的近似。换句话说，这些光纤传递函数通常不仅取决于持久性单元和一次性附件，还取决于完整的成像装置，包括被成像的介质。

而且，这些在前方案没有一个可以应对时变的光纤传递函数。但如前所述，这种情景至少在显示自发荧光背景信号的光纤情况下是典型的。由于光纤自发荧光造成的偏移值通常随时间降低，不同光纤之间是不同的量，这使得在使用前执行的任何偏移测量都不太相关。它不仅没有反映在过程中实时观察到的平均背景级别，而且不同光纤之间这个背景的变化中的差别影响图像质量，并最终呈现为图像上的遮蔽物(veil)，即静止图案。就在使用成像系统前光纤适当的预照射会导致自发荧光的稳定，并因此被认为是可能的解决方案。然而，这对末端用户强加了强烈的约束，并且不能推广到其他时变物理现象。

现有技术表明非一致的图像检测器的问题起因于其他领域中，已经借助不同方法解决，如Weiss ICCV 2001或Kuhn et al.Astronomical Society of the Pacific 1991中所示的。因此，需要一种系统和方法，其允许处理由这种检测器提供的数据。

发明内容

提出的发明的目的在于提出一种新的方式来补偿这些非一致的、时变的光纤传递函数，以便在观察均匀介质时获得一致的图像。对光纤传递函数的补偿的估计称为成像系统的校准。我们公开了一种方法，确保从使用过程中由成像系统获得的对象图像直接计算的校准的连续且实时的优化。我们的发明无需在现场借助对于用户繁重的过程，或者在制造步骤过程中借助对于用户复杂的数据传送，获得前校准数据。

依据以下的说明和附图，本发明的以上及其他目的、特点、操作效果和优点会变得显而易见。

附图说明

以下将通过参考附图的优选实施例来更为具体的说明本发明：

图1是以高层级表示根据本发明的系统的主要组件的示例性状态图。

图2是表示在本文公开的发明的可能的操作模式之间的转换的示例性状态图。

图3示出图2中所示的成像系统漂移处理子组件的示例性流程图。

具体实施方式

总体上，本发明的实施例提供了一种方法，其可以应对比简单增益系数更复杂的光纤传递函数，应对光纤传递函数的时变情况，及应对检测器的不规则空间布置。

盲校准概述

本发明的实施例允许基于其接收的输入对象信号找到成像系统的最优校准。这个校准在其不必依赖于特定在前校准数据的意义上可以称为盲校准。

支持本发明的基础观察是在观看物理对象时，邻近光纤随时间几乎见到相同的对象信号。这个特性起因于图像的主要是连续的本质。这对于自然图像已经是经过透彻地研究，并且适用于几乎所有物理对象的图像。已知事实：光纤传递函数通常在时间上是恒定的，或者相比于对象信号变化而缓慢变化，从邻近光纤观察到的返回信号是强时间相关的。给定光纤传递函数的模型，可以推导出在邻近光纤之间的关系函数的模型。每一个新的帧都提供对每一组邻近光纤的每一个关系函数的一个样本测量。通过累积与感兴趣对象有关的足够量的这些测量，我们的发明计算了这些关系函数的良好的估计。如稍后更清楚的，这个关系函数估计步骤也可以称为回归步骤。通过逆转光纤函数的完整系统，本发明提供了光纤传递函数的适应性估计。也可以使用可替换的、计算上需要更多的选择。例如，代替两步的、回归-逆转过程，在一些情况下基于在相连光纤的测量与传递函数之间的差异，构造单一成本函数是有优势的。这个成本函数随后可以相对于光纤传递函数进行优化。

我们的发明的原理不局限于直接空间邻近，而是只要定义了关联光纤的仿射图(affinity graph)就可以起作用，已知这些光纤在统计上见到高度相关的对象信号。在本发明的仿射性与空间邻近有关的一些实施例中，这个图通常可以由光纤位置的Delaunay三角测量来构造，它是定义空间邻近的直观手段。而且，对象和返回信号不必局限于标量值，而可以完全是向量值，如在美国专利No.7,869,679中公开的成像系统中的。

盲校准一般数学推导

使p_i为光纤i相对于任意光纤，例如第一个，的空间位置的空间位置；

使v_i(t)为由光纤i在时间t测量的返回信号。v_i(t)可以是标量值或向量值；

使u_i(t)为光纤i在时间t所见到的对象信号。u_i(t)可以是标量值或向量值；

使ψ_i(.)为光纤i的传递函数。由于假定光纤传递函数相比于对象信号在时间上恒定或缓慢变化，为了简单，我们不以时间来表征它们；

使E为光纤仿射图的边缘。

给定了这些符号，至于成像噪声：

v_i(t)≈ψ_i(u_i(t)) (1)

假定对于形成仿射图的边缘的任意光纤对(i,j)∈E，由这两个光纤所见到的对象信号高度相关，并且仅相差噪声项，其仅在我们具有的边缘的稀疏集上较大：

u_i(t)≈u_j(t) (2)

ψ_i(u_i(t))≈ψ_i(u_j(t)) (3)

显然，以上关系不必局限于两个相关光纤见到的对象信号仅相差噪声项的情况，而是适应于相关光纤观察到借助已知的变换函数的对象信号的噪声变换形式。

支持本发明的观点是使用这些关系来估计光纤传递函数。假定对象信号u_i(t)的足够变化(从而也假设u_j(t)的足够变化)，就会存在v_i(t)和v_j(t)的大变化。依据这个返回信号，我们的发明提出了为仿射图中的每一相关光纤对估计合成传递函数这个回归步骤的结果导致等式的超定系统，等式可以逆转或求解以得到全部个体光纤传递函数的估计。

时变适应性校准概述

即使每一个盲校准依赖于光纤传递函数在时间上是恒定的假设，但我们的发明可以用于通过工作在假设成立的时间窗口上来估计时变光纤传递函数。在本发明的优选实施例中，该方法将在缓存器中累积观察到的返回信号，根据以上的假设来选择缓存器的最大尺寸。只要缓存器包含足够的信息，盲校准过程就可以启动。

图1中示出本发明如何借助时间窗口处理这种时变校准的示例性概述。

依据相邻光纤返回信号的关系函数的估计需要特定量的样本，其具有足够宽范围的值，以获得准确的估计。例如，如果光纤束远端保留在空气中，光纤仅收集噪声和背景信号，并且不可能有回归。以相同的方式，如果光纤观察到恒定的不太运动的对象，回归通常也不可能。光纤收集的对象信号需要随时间改变。在典型的成像环境中，光纤相对于被成像对象的运动将产生光纤观察到的宽范围的信号。在其它实施例中，对象信号变化可以来自对象自身的变化，就如同对象受到光漂白的情况。另一个实施例可以包括信号的主动变化，意味着变化可以源自有意的动作，例如照明调制或施加的束到对象的运动。

时间窗口越大，回归越准确，从而校准也越准确。然而，在一些情况下获得快速估计也是有利的。例如，如果初始校准(在启动第一次盲校准之前所使用的)基于粗略的在前知识，进行以后细化的快速的第一次估计是用户非常感兴趣的。通过使得其标准在时间窗口上相适应，本发明可以用于实现该结果。

初始化

可以以许多不同的方式来初始化校准。一个最明显的选择是依赖于现有技术来执行初始化。例如，可以依赖于在成像系统启动时获取的背景图像。这可以单独提供光纤传递函数的一些参数的有用的第一估计，同时可以根据可能不提供信息的先验知识而设定其它参数。另一个补充选择是使用在制造过程中预先计算的数据，如在PCT专利申请No.PCTIB2009008012中所公开的。

可以结合在前选择的另一个选择依赖于一旦已经估计校准就保存它们。在成像系统启动过程中，如果由于成像系统以前的使用而存在保存的校准，该方法可以取回保存的校准。

然而，成像系统通常在两个不同使用之间不是完全相同的配置。例如，如果成像系统包括持久性单元和需要拔掉的一次性附件(例如，出于洁净的目的)，在使用之间的重新插入有可能会改变光纤在原始图像上的外观。这使得保存和重加载校准成为并非无关紧要的操作。有利的，在第一次校准成像系统时，可以借助于例如在空气或背景中的参考图像的获取来执行保存校准。例如，这可以结合用于成像系统的真正第一次初始化的背景图像的获取来进行。这个参考图像可以用于识别保存其传递函数的光纤。图像以及光纤的位置可以存储在磁盘上。一旦校准估计是可用的，则可以连同参考图像一起存储估计的光纤传递函数。在下一次成像系统校准时，可以借助背景图像映射参考图像，以前存储的光纤传递函数可以用作初始化。

如上所述，这些方案可以以多种方式结合。例如，光纤传递函数的一些部分可以来自保存的校准，而其它的可以来自可替换方案，例如但不限于在现有技术中提供的那些。还可以使用在制造过程中获取的图像来用作参考图像用以进行保存。

稳定盲校准

依据在前的说明，显然地，对新的盲校准求解意味着大量的回归和等式的大逆向系统的求解。公知的，由于数值误差和不稳定性，解决这种问题并不简单。除了标准的那些以外，我们现在提供一些稳定计算的手段，其尤其适合用于本发明的给定实施例中。应注意，一些提出的技术不必局限于时变光纤传递函数的情况，而也可以用于在时间上恒定的光纤传递函数的更简单的情况。

标准回归技术通常依赖于噪声的高斯模型。在我们的情况下，光纤关系函数的测量中的噪声没有理由是正态分布的，而更有可能是长尾型的，具有通常对应于获取图像中的强边缘的大值。这些大值用作回归中的离群值，并会强烈地偏移回归结果。其次，经典回归是不对称的。它们假定说明性变量是无误差的，这通常不会是我们情形中的情况。为了回避以上的缺点，我们的发明可以结合鲁棒的正交回归方法来使用，其包括但不限于M-估计、最小修剪方差估计等。而且，我们的发明还可以得益于使用噪声的准确统计模型来执行适应性的回归。例如这可以借助最大似然估计来进行。

在通常的设定中，在执行回归前，在光纤关系函数的测量上应用一些预处理也是有用的。例如，当方法估计有足够的数据来执行盲校准时，去除对应于饱和光纤的数据并对数据滤波以便得到动态范围的相对均匀的覆盖是有利的。这个步骤的目的是避免得到过多的相似值用于回归。在一些情况下，这确实偏移了回归和鲁棒的统计。例如，中值估计器不能处理大于总数一半的样本表示背景的情况。会存在相反的问题，如果存在极少的背景帧，回归会是不准确的。为了减轻这个问题，可以增加虚拟背景帧。更普遍地，可以对样本加权以便更好地均衡相应的柱状图。

仍参考回归问题和要解决的系统的构造，会出现其他实际问题。一旦计算了回归，一些回归结果就会具有高于其他的置信度。因而感兴趣的会是例如通过加权要求解的逆向系统中的相应等式来解释这些置信度。为此，可以使用更好地适应于噪声模型的诸如r-平方系数的拟合优度的标准测量，或者任何其他拟合优度测量。

而且，还会发生光纤束中的一些光纤是不起作用的(dead)，它们几乎不传送任何光。在这些光纤及其相邻光纤之间计算的回归可能是错误的。在此情况下，会希望检测并拒绝相应的回归。例如，这可以通过在置信度量(例如拟合优度)上固定阈值来进行。如果置信度低于阈值，在逆向系统中就可以以0权重来使用相应的回归。如果去除了过多的关联，系统的级别就会降低。在典型的操作模式中，这个级别与关联光纤的仿射图中连接组件的数量有关。对于每一个组件的求解与其他无关，因为在它们之间不存在关联。如果存在若干连接组件，若干选项可以用于计算最终的校准。在本发明的一些实施例中，可以独立地求解所有连接组件。在其他实施例中，我们可以选择仅求解最大连接组件的光纤传递函数，并将结果传送到剩余光纤。在再其他的实施例中，例如通过施加一些平滑度约束可以合并独立的每个组件的解。

在本发明的一些实施例中，我们可以访问关于邻近光纤之间的关系函数或者光纤传递函数的在前信息。这个信息可以用于规则化回归计算或系统逆转。

例如，如果在成像系统使用前获取初始背景图像，并且如果假定背景信号在时间上保持恒定，就可以补偿返回信号中的背景信号，并从而对简化的光纤传递函数起作用。另一个实例会是如下情况：同样获取初始背景图像，但会具有背景信号的时间演化的模型(例如自发荧光降低)。在回归和系统逆转中都会引入这个时间演化法则。当随后在实际例子上产生作用时，这些实施例的优势更为明显。

当用于时变模式中时，本发明的一些实施例还可以得益于在估计校准上引入时间平滑性或一致性。例如这可以通过引入在前校准结果作为要求解的系统中的规则化项来进行。其他选项包括但不限于简单地缩放校准，以使得连续的校准在估计对象信号的最终亮度方面匹配。

与其他可能的图像处理组件的交互作用

在许多成像系统中，除了光纤传递函数，还可以存在可调全局系统传递函数，其可以按照输入数据来调整。通常的情形是检测链增益的调整或激发激光中的波动。常常进行这种调整以避免检测器饱和，并将信号保持在电子器件的最优动态范围中。借助较少的适应修改，我们的发明可以处理这些情况。使γ_t(.)为(已知的)可调全局系统传递函数，由光纤i在时间t测量的返回信号选择成为：

v_i(t)≈γ_t(ψ_i(u_i(t)))

将样本变换为可以将相同的校准处理应用于

除了这种已知的对成像系统的全局变化以外，还会发生在使用过程中，会运行自动控制以检查并有可能校正成像系统结构的任何漂移。例如，如果成像系统包括需要插接在一起的持久性单元和一次性附件，总体配置就会对连接极为敏感。连接器中的任何偏移都会导致配置变化，其会影响到光纤关联的原始像素，并使得光纤传递函数作废。将当前原始图像再次映射到参考图像将解决到光纤关联的原始像素问题，但以前的光纤传递函数仍会变成无用的。在其它情况下，也可以是由系统检测配置漂移，并有可能在对光纤传递函数没有任何持久影响的情况下加以补偿。本发明可以适应于任何这些永久的或暂时的成像系统结构变化。在永久变化的情况下，只要一累积了足够的新返回信号，则要求执行新的盲校准会是有利的。在暂时变化的情况下，简单地停止累积返回信号，直至获知系统回归其以前的配置为止会是有利的。

离线及延迟时间模式

在前所述的部分校准系统特别适于在线操作模式。然而，借助较小的修改，校准算法可以应用为对已经获取的序列、或者具有一些延迟的或当前获取的序列的后处理。

如果光纤传递函数在时间上几乎恒定，则有可能无需历史缓存器，且有可能无需决定何时启动估计，因为整个序列可以用于计算新的校准。

从一个长序列估计的校准也可以应用于在前或后不久获取的短序列，由于没有足够的数据，对它的估计是不可能的。

在离线模式的另一个实施例中，可以组合若干序列，以获得更好的校准估计，以及施加到全部输入序列的校准。

而且，在离线或延迟时间模式中，仍可以使用时间窗口，但无需由当前帧来关闭。例如，选择以当前帧为中心的时间窗口会是有利的。

仿射光纤传递函数的示例性实现方式细节

下面，我们推导用于仿射光纤传递函数的情况的完整模型。仿射光纤传递函数可以完全由偏移和增益来表征。我们因此将关注每个光纤的这两个参数的估计。为了清楚，我们关注现有的基于光纤的显微成像技术，其包括荧光成像、第二谐波发生(SHG)和相干反斯托克斯拉曼散射(CARS)，即使仿射光纤传递函数的情况不局限于这些特定类型的成像。

给定用于光纤传递函数的仿射模型并使用每一对的光纤(仿射图的边缘)，我们得到仿射构成的传递函数关联相邻光纤对的时间返回信号的这些仿射函数的系数是校正系数，用以相对于另一个光纤校准一个光纤。可以将它们概念性地视为偏移和增益图的斜率，即使这个观念在诸如我们的不规则网格上是不恰当定义的。计算系统的校准因此依据从其斜率恢复偏移和增益而在概念上完整。

荧光成像模型

在通过光纤的荧光成像的典型情况下，由检测器收集的强度第一部分来自光纤自身中产生的背景信号(由于自发荧光效应，拉曼散射等)，其他部分来自由被观察组织产生的荧光。

在经典荧光(又名单光子荧光)中，二者的强度都与光源的强度、不同的扩展、单个光纤的传输(在激发波长和在荧光波长)，以及与光纤的耦合系数成比例。但背景仅取决于光纤特性，组织信号取决于组织内荧光分子的浓度，并与之成比例。

收集的信号因此可以合成为以下的总和：

a.可变值，与荧光分子的浓度成比例，系数仅与光纤有关，及

b.恒定值，其仅与光纤有关。

更具体地，比尔–朗伯定律教导了荧光强度还与一些吸收和发射系数成比例，它们对于荧光分子是特定的。在这个环境下，我们不能将它们从浓度自身中分离出。在下文中，术语“浓度”必须理解为有效浓度，即实际浓度与吸收和发射系数的乘积。

依据以上的论述，我们可以见到荧光成像模型实际上是仿射成像模型的具体实例。

存在其它类型的荧光，例如双光子激发。在此情况下，信号不再与光源的强度成比例，而是与其平方成比例。结果，与光纤中的耦合系数及其在激发波长的传输的相关性也上升为幂2。然而，与组织中荧光分子的浓度的相关性由于单独分子的贡献的不相干的总和而保持相同，即线性。

因此显然，在这个双光子情况下，荧光成像模型仍是仿射成像模型的具体实例，但系数当然与用于典型荧光的不同。

其它显微成像模型

本说明可以推广到更复杂的成像模态，例如第二谐波发生(SHG)或相干反斯托克斯拉曼散射(CARS)。此时，单独分子的贡献相干地求总和，即在振幅上，使得所得到的强度随分子浓度的平方而改变。但由检测器收集的信号仍是两个贡献的总和：

a.组织信号，与浓度的平方成比例，具有一定与光纤有关的乘法系数，及

b.与光纤有关的附加背景信号

依据本论述，我们注意到我们仍面对仿射成像模型的具体实例，假如代替以有效浓度操作，我们现在以这个数量的平方操作。

在以下部分中，我们将不区分以上提出的各种成像模型，我们将一直参照广义浓度，其可以理解为有效浓度自身，或者其函数。对于第二谐波发生(SHG)或相干反斯托克斯拉曼散射(CARS)情况，这包括其平方。在任何情况下都应明确，仅作为常见的成像模型来提出荧光、SHG和CARS，其它类型的成像也可以得益于我们的发明。

核心假设的数学评价

从现在起，我们简单地将α_i称为光纤的增益，β_i为光纤的偏移。校准系统需要估计这些值，以便能够恢复对象信号。

在以前的部分中，我们提及我们的发明依赖于相邻光纤几乎见到相同的事物的假设。在显微成像的特定情况下，整个假设自然地得自于广义浓度的主要连续的本质。

a.p_i仍指代光纤i相对于任意光纤，例如第一个，的空间位置的空间位置；

b.使v_i(t)为由光纤i在时间t测量的返回信号。在此环境下，以黑体字v突出我们现在关注标量信号的事实；

c.使C(ρ)为在被成像对象中位置ρ的广义浓度；

d.使为在时间t光纤束远端相对于被成像对象的空间位置；

e.由光纤i成像的体积中的广义浓度u_i(t)从而由给出给定这些符号，仿射模型可以公式化为：

v_i(t)＝α_iu_i(t)+β_j (5)

使E为空间相邻图的边缘的集合。我们例如通常可以使用与光纤的Delaunay三角测量相关联的不定向图。使(i,j)∈E，我们得到

借助自然的假设：广义浓度的变化几乎总是平滑的，急剧的变化很少(意味着梯度值的分布是稀疏的)，最后的等式可以重写为：

其中，X_t是噪声项，其分布是稀疏的。这种分布的一个实例是拉普拉斯分布。依据(6)，看起来是由两个相邻光纤收集的返回信号实际上可以由仿射等式来近似相关，它们因此会是高度相关的。

仿射系统模型

在这个仿射情况下，支持本发明的使用光纤关系函数来估计校准的观点是转变为使用这些关系来估计{α_i}和{β_i}。考虑从两个相邻光纤观察到的返回信号v_i(t)和v_j(t)，在两个返回信号之间的仿射关系的系数a_ij、b_ij可以由仿射回归来估计：

v_j(t)～a_ijv_i(t)+b_ij

借助等式(6)确定系数，我们得到：

或者以其它角度：

通过考虑所有相邻光纤对，我们获得两个线性系统，一个不知道α_i，一个不知道β_i。因此，这使得我们能够由从观察的到未校准的返回信号的仿射关系估计校准。

在以下部分中，我们仅考虑相邻光纤之间的仿射关系，通常依赖Delaunay三角测量来定义相邻。我们当然也可以寻找在较远的光纤之间的仿射关系，例如彼此相距两或三个边缘。

回归：仿射性关系估计

使用模型(6)，我们想要从两组观察到的返回信号x_k＝v_i(t_k)和y_k＝v_j(t_k)估计回归系数a和b，返回信号是从两个相邻光纤i和j收集，并在时间{t_k}_1≤k≤m采样的：

一般最小二乘

最经典的方法是使用最小二乘回归：

然而，若干缺点与这个方法相关联。首先，X_t没有理由是正态分布的，更有可能是长尾型的，大值对应于获取图像中的强边缘。如上所述，这些大值可以偏移最小二乘估计。还注意到，最小二乘回归是不对称的。假定说明性变量x是无误差的。结果是回归的x_k＝a′y_k+b′的结果将不是回归y_k＝ax_k+b的逆。我们在此具有的说明中的噪声将斜度估计向0偏差，这已知为衰减偏差。

鲁棒的正交回归

由于我们得到变量中有误差的回归，即两个变量中的测量误差，如果假定误差的变化对于两个变量相同是合理的，那么可以有利地使用正交回归来估计a和b。在正交回归中，目标函数是到回归线的平方距离的总和：

这个方案可以帮助固定衰减偏差。此外如前所示，为了解决离群值的存在，我们的方法可以有利地依赖于鲁棒的回归方法。现有技术中提出的任何鲁棒的方法，最小中位方差估计，最小修剪方差、最小绝对偏差、M-估计等，都可以用于我们的发明的实施例中。

拟合优度

如所述的，部分由于可能的光纤束中不起作用的光纤，检测并拒绝不适合的回归是有利的。除了诸如r-平方系数的标准拟合优度测量以外，我们的发明的实施例可以得益于使用r-平方的鲁棒形式，例如：

其中，w_k是来自鲁棒估计器的最终权重，其中

且类似于r-平方，r_robust ²属于[-1,1]。

可替换的回归

在以上的回归方法中，没有考虑噪声的结构。然而，这么做是有利的。例如，如果我们假设噪声X_t具有拉普拉斯分布，那么对于回归的最大似然估计是使得绝对差的总和最小的一个：

而且，在以上的回归方法中，噪声隐含地假定为同方差的，即噪声的变化对于所有样本是相同的，尽管部分由于扫描的不稳定性，成像系统会展现出多样化的噪声。结果，具有较高值的样本会受到具有较高变化的噪声的影响。为了解决这个异方差噪声，通过假设噪声变化与样本值成比例，本发明的实施例可以有利地优化回归中的相对误差：

线性系统求解

增益估计

一旦已经计算回归，就需要求解线性系统(7)。两个线性系统共用相同的左侧。首先，考虑增益线性系统：

{a_ijα_i-α_j＝0}_(i，j)∈E (9)

使n为光纤数量，m＝|E|为关联相邻光纤的仿射图中边缘的数量，例如Delaunay三角测量。在光纤图案使六边形的通常设置中我们具有使E＝(u_k,v_k)_1≤k≤m为仿射图的边缘。使A为m×n矩阵，例如：

A是稀疏的，每条线仅有两个非0系数。线性系统(9)可以重写为A.α＝0。注意，0是平凡解，但非兴趣的解。如果α是非无效解，那么λα也是解。这是所预料的，因为我们测量的是光纤之间的相对增益，因此应用于光纤增益的任何乘法因子将不会改变相对增益。

不失普遍性的情况下，我们可以增加约束||α||＝1。系统是超定的，最小二乘解

是对应于A^TA的最小特征值的特征向量。可以通过使用稀疏SVD算法来计算特征向量。

尽管一般稀疏SVD算法可以用于求解系统，但本发明的实施例还可以利用问题的结构。由于估计的增益为正，其上的误差通常可以更好地模拟为乘法，问题可以有利地转换到log域：

或者以其它角度：

其中并且

使M为m×n矩阵，例如：

系统(10)可以重写为M的秩为n-1。为了使得解唯一并且使系统规则化，我们可以增加先验的结果，增益接近于1(其对数值接近于0)：

如前所述，本发明的其它有利实施例可以考虑我们在关系式(10)中得到的置信度。取决于由回归估计提供的拟合优度测量，我们可以向关系式增加更多的权重，其中有强置信度。使g_ij为拟合优度测量，如例如依据用于光纤i和j的回归(8)所定义的。使用连续函数w是有利的，其将低于给定拟合优度阈值评价为零，并随后增大。

使W为由W_kk＝w(g_uk,vk)定义的对角加权矩阵。加权系统为：

系统(12)例如可以以任何直接稀疏QR因数分解算法或任何迭代方法来求解。

偏移估计

用于偏移估计的线性系统为：

有若干方式来求解系统，包括但不限于：

a.可以由a_ij来近似因子

b.使用根据在前部分提出的方法获得的α的估计值，可以计算因子

c.使用根据在前部分提出的方法获得的α的估计值，可以使用估计随后求解线性系统并推导

如果偏移的初始估计是可用的，例如在成像系统的校准过程中获取的背景图像，本发明的实施例可以使用它来规则化解。例如，如果已知背景按照乘法律减小，就可以由qβ⁽⁰⁾从时间t₀的背景β⁽⁰⁾近似时间t₁的光纤背景β，其中，q是未知因子。在(13)中引入β_i＝qβ_i ⁽⁰⁾，我们获得：

q的鲁棒估计例如可以由以下提供：

依据这个估计，我们可以获得β的近似并将这个值用作系统(13)的规则化。如在前部分所述地加权系统，偏移估计可以重写为：

其中，A是(11)中定义的m×n矩阵。

于是可以借助任何前述方法来有利地求解等式(14)。

决定何时启动估计

在仿射光纤传递函数的环境下，我们仍需要决定何时可以进行估计。在这个情形下，我们公开了可以有利于测试的两个标准。首先，我们要求在最后p个样本上计算的相邻光纤之间的相关系数的小分位数高于给定阈值。这会确保在大多数相邻光纤返回信号之间很可能存在良好的仿射关系。

其次，我们可以要求光纤的给定片段在时间窗口内具有至少大量的样本，其返回信号不仅仅是光纤的背景(例如自发荧光)，而且解决了在光纤的远端收集的对象信号。为了确定样本是否不仅来自光纤的背景，本发明的实施例例如可以检查其值是否优于对光纤最后估计的偏移值加上光纤的估计噪声的因数，例如标准偏差、最大绝对偏差等。这个标准可以确保由光纤收集的值的范围足够宽以进行可靠的回归。

而且，我们可以计算连续帧之间的相关系数：

如果这个系数高于给定阈值，那么我们就可以考虑不存在束到对象的运动。如果许多连续图像不具有束到对象的运动，我们就可以在历史中仅保留这些中的第一个。这个滤波可以是有利的，因为几乎相同的连续帧不一定使得回归更准确。相反，它们可以在强边缘任一侧上偏移光纤之间的回归。

快速背景估计

在荧光成像的环境下，光纤自发荧光背景通常随时间减小，如果光纤束没有被预照射，起初较快，随后更慢。在以前部分提出的机制中，仅当收集到足够的有用观察信号时，才估计增益和偏移。使用这个方案存在两个潜在的缺点。首先，当光纤束几乎没有收集到远端对象信号时，它有可能错过在最有利的时间估计背景的机会(这个情形通常在光纤束需要接触被成像对象时发生)。其次，如果光纤束仅见到高荧光对象信号，从没有低对象信号，那么回归截距系数b_ij将是不准确的，结果得到的偏移也是。这就是为什么在此情况下不尝试任何背景估计会是有利的。

在本发明的优选实施例中，可以进行可替换的快速背景估计。这个快速背景估计依赖于在以前部分中做出的假设，在时间t的偏移β(t)可以由qβ(t₀)来很好地近似，表示为了获得新的背景估计，仅需估计一个参数q。

我们现在公开了一种算法，用以快速更新背景。可以如下操作。对于每一帧，识别极有可能测量背景的样本。标记满足这个标准的光纤。处理帧，直至标记了固定的一小部分的光纤。此时，我们可以寻找在当前偏移下的历史缓存器中的所有值，并从它们做出q的估计。由以下给出示例性的估计：

操作模式

在以前部分中解释的校准估计基本上是在线过程，连续累积帧，并且当足够的信息可用时，估计新的校准。然而取决于时间会希望略有不同的行为。在图2中，我们提出了取决于获取的历史，定制这些行为的一些可能的手段。在启动时，会需要快速估计，即使不是非常准确的。一旦提供了初始估计，就可以执行较慢但更准确的估计。结果，在线校准可以建模为状态图。每一个状态都可以具有用于估计、启动决定和校准系数估计的不同参数。

在本发明的优选实施例中，可以定义五个状态，它们在图2中示出了：

a.在初始状态中，会需要快速估计，可以相应地设定参数。仅估计增益会是有利的，因为从启动校准过程中获取的背景图像计算的偏移应仍是准确的。当然，快速背景估计也可以。一旦成功地执行了增益估计，系统就可以转变到第二状态，无需刷新历史缓存器。基本原理在于保持历史缓存器并累积更多帧以细化在前估计。如果尝试了估计但是失败，则系统可以停留在这一状态而无需刷新历史缓存器，但在尝试另一个估计之前，等待累积更多的帧。

b.在第二状态中，可以调整参数以得到准确的估计。同样，仅估计增益会是有利的。当然，快速背景估计也可以。一旦成功地执行了增益估计，系统就可以转变为第三状态，可以刷新历史缓存器。如果尝试了估计但是失败，则系统可以停留在这个状态，并可以刷新历史缓存器。

c.第三状态会是巡察状态。与第二状态相比，通常仅增大历史缓存器大小。实现了增益和背景估计，以及快速背景估计。不论估计成功还是失败，系统都可以停留在这个状态，但在每一次估计后可以刷新历史缓存器(有可能除了快速背景估计以外)。

d.第四状态是特定状态，当检测到成像系统配置的永久漂移时，系统可以转变至该特定状态。在此情况下，会需要再次估计计算的增益。其非常类似于第一状态，因为我们会需要快速的新增益估计。在尝试估计后，不论其成功与否，系统可以转变回其移动到这个状态前的状态。图3显示了在遇到这个永久漂移时可以采取的步骤的流程图。

e.第五状态也是特定状态，当检测到成像系统的暂时漂移时，系统可以转变至该特定状态。在此情况下，系统可以停留在这个状态，直至漂移被校正，以后可以转变回其移动到这个状态前的状态。图3显示了在遇到这个暂时漂移时可以采取的步骤的流程图。

尽管本发明的在前文字说明使得普通技术人员能够得到并使用目前认为是其最优模式的，但普通技术人员会理解并意识到在此存在特定实施例、方法和实例的变化、组合和等价物。本发明因此应不受上述的实施例、方法和实例的限制，而是由公开的本发明的范围和精神内的全部实施例和方法来限定。

Claims (27)

1.一种用于处理通过成像系统获取的图像的方法，所述成像系统包括用于检测图像的检测器，所述检测器具有非一致的传递函数和不规则的空间位置，所述方法的特征在于，其包括：

从多个图像累积数据；

定义仿射图，所述仿射图的边缘定义测量相关信号的数对检测器；

对来自每一对检测器的累积数据执行统计分析；以及

对由所述统计分析的结果构造的系统求解，以估计每个检测器传递函数，检测器传递函数的集合构成所述成像系统的校准。

2.根据权利要求1所述的方法，其中，所述统计分析包括回归。

3.根据权利要求2所述的方法，其中，一旦与对于所述累积数据的回归相关联的相关系数的分位数达到阈值，就执行校准。

4.根据权利要求1所述的方法，其中，通过改变数据累积窗口来执行时变适应性校准。

5.根据权利要求2所述的方法，其中，一旦与对于所述累积数据的回归相关联的相关系数的分位数达到阈值，就连续执行校准。

6.根据权利要求1所述的方法，其中，累积数据由连续图像构成，对于所述连续图像，在所述连续图像之间计算的相关系数达到阈值。

7.根据权利要求5所述的方法，其中，取决于所述累积数据的内容，在不同时间更新所述检测器传递函数的不同参数。

8.根据权利要求1所述的方法，其中，借助于参考图像初始化所述校准。

9.根据权利要求1所述的方法，其中，为以后的初始化保存并恢复每一个校准。

10.根据权利要求1所述的方法，其中，由相邻信息来构造所述仿射图。

11.根据权利要求1所述的方法，进一步包括将所述校准用于图像重构。

12.根据权利要求1所述的方法，其中，在对所关联的检测器执行所述统计分析之前，对所述累积数据进行滤波。

13.根据权利要求1所述的方法，其中，在对所关联的检测器执行所述统计分析之前，对所述累积数据进行预处理。

14.根据权利要求1所述的方法，其中，通过使用在前信息、依据回归的拟合优度测量、或者鲁棒的计算方法来稳定所述求解。

15.根据权利要求4所述的方法，其中，通过使用关于时间演化或时间平滑度约束的在前信息来稳定所述求解。

16.根据权利要求8所述的方法，其中，时间背景演化的模型用于更新所述背景的初始估计。

17.根据权利要求1所述的方法，其中，离线或以延迟时间计算所述校准。

18.根据权利要求17所述的方法，其中，组合图像的若干不同序列，以计算所述校准。

19.根据权利要求8所述的方法，其中，所述参考图像是背景图像。

20.根据权利要求1所述的方法，其中，由基于所述检测器的空间定位的Delaunay三角测量来构造所述仿射图。

21.一种用于使用用于检测图像的检测器进行图像获取并且实施用于处理借助这样的检测器获取的图像的方法的装置，所述检测器具有非一致的传递函数和不规则的空间位置，所述装置的特征在于，其包括：

用于从多个图像累积数据的构件；

用于定义仿射图的构件，所述仿射图的边缘定义测量相关信号的数对检测器；

用于对来自每一对检测器的累积数据执行统计分析的构件；以及

用于对由所述统计分析的结果构造的系统求解，以估计每个检测器传递函数的构件。

22.根据权利要求21所述的装置，进一步包括用于保存和加载计算的校准的构件。

23.一种成像系统，包括：

根据权利要求21所述的装置，

包括多个光纤的像导，每个光纤用作所述用于检测图像的检测器的单个检测器。

24.根据权利要求23所述的成像系统，其中，所述成像系统是显微成像系统。

25.根据权利要求24所述的成像系统，其中，所述成像系统具有若干成像带。

26.根据权利要求24所述的成像系统，其中，所述显微成像系统是标准荧光成像系统、双光子荧光成像系统、第二谐波发生(SHG)成像系统或相干反斯托克斯拉曼散射(CARS)成像系统。

27.根据权利要求25所述的成像系统，其中，所述若干成像带是频谱带。