CN110501315A - 提供概览图像的方法 - Google Patents

Abstract

本发明涉及一种提供在样品平面中布置的物体的概览图像的方法，并且该方法包括以下步骤：生成光片，捕获来自样品平面的检测光，通过检测器将捕获的检测光以至少一个捕获的像的图像数据的形式成像在检测平面中，其中捕获的像在相对于样品平面倾斜的像平面中延伸，捕获物体中的至少一个区域的倾斜的堆栈的形式的多个像，并且将倾斜的堆栈变换到归一化Z堆栈，其中将相对于参考轴线的正确取向分配给捕获的像的图像数据。根据本发明的方法以归一化Z堆栈的最大强度投射为特征，其中通过将选择的像点中的每一个作为虚拟投射成像到平行于检测器的像平面的投射平面中，生成得到的概览图像。

Description

提供概览图像的方法

技术领域

本发明涉及提供概览图像的方法，特别是在使用光片的显微术方法中提供概览图像的方法。

背景技术

例如在捕获物体的图像数据之前、期间或之后提供概览图像，以向用户提供捕获具有物体的快速概览的图像数据的方法和设备。概览图像例如可以用于选择要成像的区域(感兴趣的区域，ROI)和/或评估捕获的图像数据的质量。

从现有技术已知的提供概览图像的可能的方法已知为最大强度投射(MIP)和最小强度投射。以下的文本将讨论最大强度投射，其还简称为MIP。

图1中高度示意性图示了MIP的原理(标准MIP)。在物体1(例如生物样品)的体积中，同时或顺序地捕获图像数据9。所述图像数据9例如表示不同强度的标记物2。标记物2例如可以是配备有发光染料的结构或分子，并且通过激发辐射将其激发以发射例如荧光辐射。捕获发射的检测辐射的发射位置和相应的强度。本说明书的含义内的术语“标记物”包括染料以及已经用染料标记的结构或已经以这种方法标记的分子。

如果相互平行的轴线束实质上穿过物体1放置(作为示例由箭头所示)，则可以将具有最高(最大)强度的像点投射到沿着轴线的每一个延伸的投射平面3上。为了简化起见，标记物2和像点在此等同，除非本说明书明确地提及不同含义。如果具有低强度的标记物2和具有高强度的标记物2在此位于轴线中的一个上，则在各个情况下，具有较高强度的标记物2被投射，而具有较低强度的标记物2被具有较高强度的区域2覆盖并且未示出。图1示出了在各个情况下作为实心圆的较高强度的标记物2和作为空心圆的具有较低强度的标记物2。

MIP允许以相对较低的运算成本快速确立概览图像。与相应的标记物2的二维位置相关的信息保持完整，而与标记物2的空间取向相关的信息丢失。如果从不同方向进行多个MIP，则产生可以旋转(如果需要的话，在不同观察方向上)的概览图像是可能的。

在此仅作为示例提及DE 10 2005 029 225 A1，其公开了制造最大强度投射/最小强度投射的系统和方法。

MIP在医疗成像的领域中的用途例如描述在Prokop，M.等人的(1997：最大强度投射在CT血管造影中的用途：基础评论；放射影像学1997，17：433-451)中。

发明内容

本发明基于指定在光片显微术中产生概览图像的改进的可能性的目的。

该目的通过根据权利要求1的方法来实现。有利的实施例是从属权利要求的主题。

本方面用于提供样品平面中布置的物体(例如生物样品)的概览图像。方法包括连续进行的以下步骤A至F。在方法的其他配置中，可以进行其他步骤和/或中间步骤。

在步骤A中，生成光片，其中光片沿着第一光轴来生成并且至少部分地在样品平面上。在步骤B中，沿着第二光轴捕获来自样品平面的光(检测光)，其中第一光轴和第二光轴在样品平面中相交并且一起围成直角。此外，第一光轴和第二光轴与正交于样品平面的参考轴线各围成不为零的角度。

在步骤C中，通过检测器将捕获的光以至少一个捕获的像的图像数据的形式成像在检测平面中，其中捕获的像在相对于样品平面倾斜的像平面中延伸。倾斜对应于第一光轴相对于样品平面的倾斜。此外，在步骤D中，在光片和物体的相对移动中，通过在样品平面中移动光片来捕获物体的至少一个区域中的多个像。相对移动可以是渐进地或连续地或是两种可能性的顺序组合。相对于样品平面倾斜的捕获的像形成像的倾斜堆栈。像平面相对于彼此平行。

在步骤E中，将倾斜的堆栈虚拟地变换到归一化Z堆栈，其中将相对于参考轴线的正确取向分配给捕获的像的图像数据。该过程还称为“去倾斜”。优选地沿着参考轴线或与其平行的轴线来实现对特别是归一化Z堆栈的层和/或区域的示意图的观察。

根据本发明的方法的特征在于，在步骤F，在归一化Z堆栈中进行最大强度投射，其中所有像点沿着光轴或沿着与其平行的轴线一个位于另一个后面，沿着检测物镜的光轴(也就是说沿着第二光轴)关于它们的相应的强度来评估所有像点，并且沿着每个轴线选择具有最高强度的像点。在选择像点的过程中，可选地可以固定强度的较低阈值，低于该阈值不进行选择。

在步骤F中，通过将选择的像点中的每一个作为虚拟投射成像到平行于检测器的像平面的投射平面中，生成得到的概览图像。

为了简化起见，样品携载件(例如玻璃或样品台)的表面在该描述中与样品平面等同。

在此，像点还被理解为意味着图片元件(像素)。例如，检测器可以具有指定的分辨率(每单元区域的像素)。图片元件的强度或像素的强度被理解为像点的强度。

特别是高分辨率显微术和/或荧光显微术的显微术领域中的光片被理解为以板或片的形状照明的空间。光片的空间对准由形成为光片的照明辐射的传播方向来优选地限定。

光片是为照明样品体积提供照明束路径的区域，在样品体积的区域中照明辐射的空间范围不超过例如在检测方向上或检测物镜的光轴的方向上测得的10μm，并且其中因此适合于根据光片显微术的原理来检测或测量样品体积。

实际上在光片显微术中已经发现次极大(还称为“旁瓣”)可以在光片的生成中频繁地发生。这些次极大实际上平行于实际光片延伸，在它们的效果方面表示单独的光片并且具有比实际光片更低的辐射强度。尽管较低的辐射强度，次极大可以例如导致对发射标记物的激发或对照明辐射的反射。因为这些非期望的激发和发射或者反射，检测器捕获了附加的图像数据，其在得到的像(在该情况下为得到的概览图像)中引起离焦成像的区域或结构、和/或幻影结构。幻影结构是表示要成像的物体的不存在的结构的图像数据，或导致结构在错误位置处的成像的图像数据。

沿着检测物镜的光轴在归一化Z堆栈中进行MIP导致以下有利的效果：至少部分不正确捕获的区域或结构由具有较高强度的实际结构覆盖。结果是改进的概览图像。通过根据本发明的方法获得的像在此还称为LSFM-MIP。

在方法的有利的配置中，将概览图像(更具体的是它的图像数据)捕获为概览图像数据集合。在步骤G中，将概览图像数据集合的拷贝件确立为拷贝图像数据集合，该拷贝件具有相对于得到的概览图像的对比度减少的对比度。该拷贝图像数据集合的图像数据以像素化的方式抵消概览图像数据集合的各自对应的图像数据，使得获得了具有相对于得到的概览图像增加的对比度的计算出的概览图像。在图像处理的领域中该进程已知为不清晰的遮蔽”。

可以将得到的概览图像或计算出的概览图像变换到正交于参考轴线延伸的像平面。由于这样的变换，相应的概览图像正如使用者沿着参考轴线观察概览图像。因此，使用者对概览图像的直观使用和解释变得更容易。

附图说明

下面基于附图和示例性实施例更详细地解释本发明。附图中：

图1示出了根据现有技术的最大强度投射的原理的示意图，

图2示出了光片显微术的布置的示意图，以及用于图像数据捕获和图像处理的所选的方法步骤的示意图，

图3示出了图像处理和概览图像的产生的所选择的方法步骤的示意图，

图4示出了光片显微术的布置的示意图，以及根据本发明的用于图像数据捕获和图像处理的所选择的方法步骤的示意图，

图5示出了本发明的用于图像处理和得到的概览图像的产生的所选择的方法步骤的示意图，

图6示出了物体细节和以下的得到的概览图像的可比较的示意图：a)使用根据现有技术的MIP，b)根据本发明的方法的第一配置的MIP，以及c)根据本发明的方法的第二配置的计算出的概览图像和d)使用使用反卷积步骤和根据现有技术的MIP的的概览图像。

具体实施方式

图2以简化的方式示出了光片显微术的布置。要成像的物体1布置在样品携载件4(具有用作样品平面5的朝上表面)上。照明物镜6以其第一光轴A1穿过样品携载件4指向样品平面5和物体1。配置照明物镜6，使得通过该照明物镜6以及诸如柱面透镜或扫描仪的其它可能的元件(在此未示出)，光片8可以沿着第一光轴A1来生成并且垂直于附图平面。因此以横截面示出了光片8。

同样出现的检测物镜7以其光轴(称为第二光轴A2)穿过样品携载件4同样地指向样品平面5和物体1。第一光轴A1和第二光轴A2在样品平面5中相交，并且相对于彼此成90°角。为了简化起见，在样品携载件4的朝上表面的上方的空间同样地称为样品平面5。检测物镜7的聚焦位置或焦平面与光片8重合，使得位于光片8中的区域通过检测物镜7被清晰地成像到像平面中并且称为清晰成像的图像数据9s的区域。由粗实线使清晰成像的图像数据9s的区域可视化(见下文)。

图2示出了两个坐标系。具有轴线x、y和z的笛卡尔坐标系特别是与样品携载件4、样品平面5和参考轴线B有关。样品平面5在由轴线x和y(x轴和/或y轴)所限定的xy平面中延伸，而参考轴线B在轴线z(z轴)的方向上延伸。该坐标系还称为归一化Z堆栈的坐标系12(参见图3)。

具有轴线X’、Y’和Z’的第二坐标系特别是与第一光轴A1和第二光轴A2有关。第一光轴A1平行于由两个轴线X’和Y’所限定的X’-Y’平面。第二光轴A2在轴线Z’的方向上。该坐标系还称为检测坐标系11(参见图3)。

第一光轴A1和第二光轴A2各相对于垂直于样品平面5的参考轴线B围成不为零的角度，在此该角度各称为α1和α2。

例如，物体1中示出了位于相同水平位置上的四个近似球形的物体区域。这些物体区域是例如用荧光染料标记的蛋白，并且为了简化起见因此在下文中称为标记物2.1至2.4。荧光染料是通过照明物镜6和光片8的照明辐射可激发的，并且在激发的状态下，发射荧光辐射作为检测辐射。沿着第二光轴A2通过检测物镜7将该检测辐射捕获为图像数据9。荧光染料的激发和激发辐射的发射仅当对应的标记物2.1至2.4位于光片8内才发生。

物体1沿着样品平面5相对于光片8移动(由箭头标记)。图像数据各在不同时间点t1至t5的过程中被捕获，并且各储存为捕获的图像数据9。

图2作为示例示出了在时间点t3捕获图像数据9。在过去发生的时间点t1，标记物2.1位于光片8内。由所述标记物2.1发射的检测辐射与在像平面中的二维位置一起被捕获并且分配到时间点t1。像平面作为示例由平行于X’-Y’平面的细实线来示出，并且例如对应于同样地未示出的检测器的检测表面。各由实心圆来标记对相应的标记物2.1至2.4的空间分辨捕获。为了简化起见，图2和4示意性示出了分配到单独时间点t1至t5的像平面。所用的检测器允许通过确定捕获的检测辐射的原点来对区域2二维定位。这可以作为示例通过具有检测元件的阵列(矩阵)的位置敏感的检测器来实现。

在时间点t2，标记物2.1至2.4中没有一个位于光片8内，并且因此没有捕获对应的图像数据9且像平面仅示出为线，其具有清晰成像的图像数据9s的区域。在时间点t3，第二标记物2.2移动到光片8中并且发射检测辐射，将其捕获为图像数据9并保存。在标记物2.3和2.4的情况下，同样过程发生在时间点t4和t5。

为了能够向光片显微术的布置的使用者提供直观可理解的概览图像OV(参见图3和6)，捕获的图像数据9被转移到归一化Z堆栈10。为此，通过称为去倾斜DS的方法步骤，用计算的方法将捕获的图像数据9变换为虚拟的归一化Z堆栈10。例如，如果使用者在各个情况下安排要出现的归一化Z堆栈10的一部分或(优选地水平的)层，则它们将给定沿着参考轴线B观察现在数字化物体1的印象。标记物2.1至2.4的图像数据9以横向和定位正确的方式示出。

图3示出了捕获的图像数据9从检测坐标系11到归一化Z堆栈10的坐标系12的变换的方法步骤。通过检测物镜7所捕获的检测辐射以空间分辨的方式来捕获(如图2示意性示出的)，使得在检测坐标系11中标记物2.1至2.4的位置信息以图像数据9的形式存在。这由中断的实线来示意性示出，并且具有与第二光轴A2的倾斜(参见图2和图4)对应的倾斜。为了简明起见，检测坐标系11和坐标系12彼此不完全重叠。

限定归一化Z堆栈10的坐标系12，并且图像数据9的坐标从检测坐标系11转移(特别是转换)到坐标系12。如果适当的话，通过插值法或其他已知的方法来补充缺失的图像数据9。

如上文中参考图1的原理中所描述，然后可以沿着Z轴进行MIP。各沿着轴线(由箭头标记的)坐落的图像数据9的相应最高强度被投射到投射平面3中，并且获得概览图像OV。

本发明中值得注意的是可由光片8的非期望次极大8a引起的成像像差。图4中示意性示出了还称为旁瓣的次极大8a。

如果如关于图2已经提及的，物体1和光片8然后相对于彼此移位，并且在时间t1至t5捕获图像数据9，则错误地发生附加的图像数据9。图4作为示例再次示出了时间点t3。第二标记物2.2位于光片8内。由光片8的照明辐射激发的至少一个荧光染料发射了检测辐射，其通过检测物镜7以空间和时间分辨的方式在图像数据9的形式下被捕获。然而，在时间点t3，第三标记物2.3已经由次极大8a中的一个的照明辐射照明并且被激发以发射检测辐射。这意味着，在时间点t3，除了第二标记物2.2的图像数据9，现在还捕获了第三标记物2.3的图像数据9，其中由于次极大8a的照明辐射的较低强度以及第三标记物2.3没有位于检测物镜7的焦平面中的事实，因而第三标记物2.3的检测辐射以较低强度和锐度的图像数据9的形式被捕获。由次极大8a中的一个的效果而引起的焦平面外的位置的检测辐射表示为图像数据9u的像，其已离焦成像并且由空心椭圆来标记。

不同于图2，在作为示例选择的时间点t1至t5中的每一个，清晰成像的图像数据9s的区域表示为粗实线的形式，并且可以示意性地表示已离焦成像的图像数据9u的区域。在时间点t4，第二和第四标记物2甚至位于次极大8a内，因此除了来自焦平面的清晰成像的图像数据9s的区域以外，捕获已离焦成像的图像数据9u的两个区域。

在捕获图像数据9、9s、9u之后，进行去倾斜DS的步骤，并且如上所述，产生归一化Z堆栈10。对于与根据本发明相关的其他解释，下文将仅展示清晰成像的图像数据9s的区域和已离焦成像的图像数据9u的区域。

为了简化起见，图5受限于归一化Z堆栈10的坐标系12。如果进行如关于图3所解释的MIP，则获得概览图像OV，对此不仅清晰成像的图像数据9s的区域做出贡献，而且已离焦成像的图像数据9u的三个区域也做出贡献。

相比之下，如果在第二光轴A2的方向上进行MIP(参见图2和图4)，则许多——在目前的情况下甚至所有——已离焦成像的图像数据9u的区域在投射方向上被清晰成像的图像数据9s的区域覆盖。在根据本发明的方法中所使用的投射平面3和通过所述方法所获得的概览图像OV在左上方倾斜地示出。

可以将概览图像OV变换到正交于参考轴线延伸的像平面，以再次使得使用者在Z轴的方向上观看成为可能。

因此，，根据本发明的方法用于获得与在沿着Z轴进行MIP时的情况相比更少的、已离焦成像的图像数据9u的区域对其做出贡献的概览图像OV。

图6a)至6d)中示出了本发明的实际效果。图6a)示出了使用如关于图2和3上文所描述的最大强度投射(称为标准MIP)已经创造的物体1的截面的概览图像OV。例如次极大8a给出已离焦成像的图像数据9u的区域，所述区域由箭头表示。

相比之下，图6b)中，已经通过如关于图4和5已经解释的根据本发明的方法的第一配置(LSFM-MIP)来产生概览图像OV。在概览图像OV中，已离焦成像的图像数据9u的区域的比例显著减少。概览图像OV呈现得更清晰、具有更高对比度，并且示出了成像的结构的更多细节。作为示例示出的是清晰成像的图像数据9s，其在图6a)中仍然极大地受已离焦成像的图像数据9u的区域影响。

在根据本发明的方法的其他配置中，得到的概览图像OV未被展示而是被捕获为概览图像集合。

在步骤G中，将得到的概览图像OV的拷贝件创建为拷贝图像数据集合，其中所述拷贝件具有相对于得到的概览图像OV的对比度减少的对比度。概览图像数据集合的各自对应的图像数据以像素化的计算减去拷贝图像数据集合的图像数据，使得获得了具有相对于得到的概览图像增加的对比度的计算出的概览图像OVcomp。图6c)中示出了这样计算出的概览图像OVcomp。

LSFM-MIP的概览图像OV和计算出的概览图像OVcomp在X’轴的方向上比标准MIP的情况更长些。如果在X’轴的方向上将LSFM-MIP的图像压缩，则可以在尺寸方面产生类似标准MIP呈现的图像。必要压缩的因子在此取决于成像的物体1的高度和长度。在附图6b)和6c)的图像中进行这样的压缩。

图6d)示出了在随着根据图6a)的MIP的进行应用反卷积过程(DCV)之后的物体1的截面。如果这样的MIP应用于根据现有技术所获得的Z堆栈(其先前被反卷积)，则次极大不再可见。图6d)示出了尽管计算费用较低，但是还可以通过根据本发明的方法获得可定性比较的概览图像。

附图标记

1 物体

2 (激发的)标记物

3 投射平面

4 样品携载件

5 样品平面

6 照明物镜

7 检测物镜

8 光片

8a 次极大、旁瓣

9 图像数据

9s 清晰成像的图像数据

9u 已离焦成像的图像数据

10 归一化Z堆栈

11 检测坐标系

12 (归一化Z堆栈10的)坐标系

A1 第一光轴

A2 第二光轴

B 参考轴线

DS 去倾斜(方法步骤)

OV (得到的)概览图像

OVcomp 计算出的概览图像

α1 角度(在第一光轴A1和参考轴线B之间)

α2 角度(在第二光轴A2和参考轴线B之间)

Claims (3)

1.一种提供在样品平面(5)中布置的物体(1)的概览图像(OV)的方法，包括以下步骤：

-步骤A：生成光片(8)，其中所述光片(8)沿着第一光轴(A1)来生成并且至少部分地在所述样品平面(5)上，

-步骤B：沿着第二光轴(A2)捕获来自所述样品平面(5)的检测光，

-其中所述第一光轴(A1)和所述第二光轴(A2)在所述样品平面(5)中相交并且一起围成直角，以及

-所述第一光轴(A1)和所述第二光轴(A2)与正交于所述样品平面(5)的参考轴线(B)各围成不为零的角度(α1、α2)。

-步骤C，通过检测器将所捕获的检测光以至少一个捕获的像的图像数据(9)的形式成像在检测平面中，其中所捕获的像在相对于所述样品平面(5)倾斜的像平面中延伸，

-步骤D：在所述光片(8)和所述物体(1)的相对移动中通过在所述样品平面(5)中移动所述光片(8)来捕获所述物体(1)中的至少一个区域的多个像，其中所捕获的像相对于所述样品平面倾斜并且形成倾斜的堆栈，

-步骤E，将所述倾斜的堆栈变换到归一化Z堆栈(10)，其中将相对于所述参考轴线(B)的正确取向分配给所捕获的像的图像数据(9)，

所述方法的特征在于，

在步骤F中，在所述归一化Z堆栈(10)中进行最大强度投射，其中所有像点沿着所述第二光轴(A2)或沿着与其平行的轴线一个位于另一个后面，关于所有像点的相应的强度来评估所述所有像点，并且沿着每个轴线选择具有最高强度的像点，以及

通过将选择的像点中的每一个作为虚拟投射成像到平行于所述检测器的像平面的投射平面(3)中，生成得到的概览图像(OV)。

2.根据权利要求1的方法，其特征在于，将所述得到的概览图像(OV)捕获作为概览图像数据集合。

其中，在步骤G中，将所述概览图像数据集合的拷贝件确立为拷贝图像数据集合，所述拷贝件具有相对于所述得到的概览图像的对比度减少的对比度，以及

所述拷贝图像数据集合的图像数据(9)抵消所述概览图像数据集合的各自对应的图像数据(9)，使得获得了具有相对于所述得到的概览图像(OV)增加的对比度的计算出的概览图像(OVcomp)。

3.根据权利要求1或2所述的方法，其特征在于，将所述概览图像(OV)变换为正交于所述参考轴线(B)延伸的像平面。