CN106104355A - 用于同时捕获样本的在多个深度上的图像数据的方法 - Google Patents

Abstract

公开了一种虑及从体积样本的多个深度同时捕获图像数据的新颖的方法。所述方法虑及在动态地改变样本中的获取深度的同时进行2D或3D图像的无缝的获取。这个方法也可以被使用于自动聚焦。另外，当使用如图2所描绘的倾斜的配置时，这种从样本捕获图像数据的方法虑及在速度和光敏性方面的最佳效率，特别是用于本文提到的对样本的2D或3D成像的用途。所述方法可具体地与包括在正交XY坐标系中的2D像素阵列的成像传感器一起使用，其中在那里存在用于电子电路的间隙。另外，其它成像传感器也可以被使用。而且，给出了自动实行本方法的成像设备。

Description

用于同时捕获样本的在多个深度上的图像数据的方法

技术领域

本发明涉及对样本成像的领域，并且本发明有利地应用于数字病理学领域。

具体地，本发明涉及用于同时捕获样本的在多个深度上的图像数据的方法，且涉及用于在多个深度上同时捕获样本的图像数据的成像系统。

背景技术

数字扫描显微镜通常制作被放置在显微镜载片上的样本（诸如组织样本）的数字图像。这典型地是通过扫描在整个显微镜载片上的样本并且把不同的图像跨度（span）缝合在一起和/或通过叠加以不同的波长测量的图像而完成的。图1示意地表示这样的显微镜载片的截面100。包括有玻璃载片101、盖玻片102和封固剂103，封固剂103用于固定和密封例如像生物组织层那样的样本104。例如从WO 2001/084209已知，数字扫描显微镜可以包括2D线传感器（line sensor），其也称为线扫描照相机或线性阵列传感器。这样的传感器仅仅包括一行（也被不同地称为一排）传感像素。还已知，例如与像2D阵列传感器的其它类型的传感器比较，1D线传感器能够提供更好的连续的机械扫描操作，较少的缝合问题，并且可以虑及使用所谓的时间延迟积分（TDI）线传感器。

而且，当前的成像传感器设计提供由光敏部件（即光电二极管）组成的感光像素，而且也包括非光敏部件，像多个电荷-电压转换器（CVC），它们被嵌入在像素本身中，导致较低的填充因子。这意味着，像素典型地具有用于CVC的四个晶体管（全域快门）中的三个晶体管（滚动快门），且需要用于寻址和读出的垂直和水平金属线。然而，像素的这样的非光敏部件减小了该像素的填充因子，这在低光照条件期间是特别有害的。在传统的传感器中，像素的由此引起的低光敏性典型地通过应用微透镜而被克服。这样的微透镜试图有效地将少量的光聚焦到成像传感器的像素上，以使得附带的损失被最小化。另外，当前可得到的成像传感器在读出感兴趣区（ROI）时提供相对较低的速度，因为在给定的像素尺寸的有限空间内只可以提供有限数目的读出电子装置。

发明内容

本发明的发明人认识到，当成像传感器相对于光学路径倾斜（这常常被应用，尤其是在数字病理学中）时，微透镜的使用是特别不合适的。而且，本发明的发明人发现，用倾斜的传感器扫描样本和对样本成像导致在Z方向上的过采样，使得只有成像传感器的特定区域需要被使用于图像捕获。因此，本发明的发明人发现，在成像期间人们可以仅仅使用2D成像设备或成像传感器的像素行，这些像素行沿扫描方向相对于彼此偏移一个偏距（offset）。作为例子，这个偏距或者可以是如图3到5所描绘的非光敏的间隙（gap），或者可以是当前不被使用于图像生成的、一行或多行停用的像素。对于这样的成像设备，在这里给出了新颖的成像方法，关于它的细节将在几个不同的示范性实施例的上下文中进行解释。本发明的目的可被看作为提供用于图像捕获的改进的方法和系统。

本发明的目的通过独立权利要求的主题被解决。本发明的另外的实施例和优点被并入从属权利要求中。

所描述的实施例类似地是关于用于图像捕获的方法和成像系统。

按照本发明的示范性实施例，提出了用于同时捕获样本的在多个深度上的图像数据的方法。所述方法使用具有光轴的成像设备，且该成像设备包括相对于光轴倾斜的成像传感器。在所提出的方法中所使用的成像传感器具有包括多个像素的第一像素行，和包括多个像素的第二像素行。第一和第二像素行具有沿成像设备的光轴到样本的、不同的光学路径长度，并且第一像素行和第二像素行沿扫描方向相对于彼此偏移某个偏距。所述方法包括以下步骤：沿扫描方向（X’）扫描样本，扫描方向（X’）基本上垂直于光轴且垂直于第一与第二像素行的主延伸方向（Y）；从第一像素行捕获样本的第一图像；以及同时地从第一像素行捕获样本的第二图像和从第二像素行捕获样本的第三图像。而且，本方法的另外的步骤是从第二像素行继续捕获样本的图像，以及停止从第一像素行捕获样本的图像。

因此，提出了用于在扫描期间在改变捕获深度的同时生成无缝2D或3D图像的读出方法。这允许不完全平的和/或体积样本（volumetric sample）的快速图像获取（acquisition），以及可以特别是在数字载片扫描仪中应用，例如用于数字病理学的，但也可以在其它技术领域中应用。通过这种方法，有可能捕获无缝图像，而这在没有临时（temporary）双读出（即同时读出）的情况下将不可能，因为在线传感器中的改变不仅仅导致获取深度的改变，也导致沿扫描方向的平移。后者的这种平移或是造成图像上的间隙，或是造成图像数据的重复。如前面描述的方法对于防止间隙是必须的。对于重复，部分图像数据可被丢弃，而不需要双获取。重要的是强调指出，当传统2D CMOS传感器被使用于2D自动聚焦系统的用途时，当改变在传统2D CMOS传感器中的ROI时也需要这个方法。这是因为如果2D CMOS传感器相对于光轴倾斜的话，则导致获取深度的有效改变的ROI中的任何改变也将导致沿扫描方向的平移。如果要得到不失真的最终图像的话，沿扫描方向的这种平移将需要被补偿。如本文解释的，本发明避免了这样的失真。所提出的方法可以由本文所公开的成像设备自动实行。

当然，可以由本方法使用比第一和第二行更多的像素的行来捕获图像数据。正如从图3到图5显示的实施例示例中可以容易地推断的，可以使用大量的、全部彼此相对地偏移的像素行/线传感器。

正如有经验的读者从本公开内容中容易看到的，像素行中的每个像素捕获图像，而随后的处理生成由像素行捕获的图像。

通常，在离样本的不同距离处提供两个照相机，即，至少两行像素，使得它们聚焦在样本中的不同深度处。

如下面定义的“偏距”被定位在这两个照相机之间。另外，也可以使用大的2D传感器，正如在后面更详细地说明的和在例如图3上显示的。

当在本发明的上下文中使用时，术语“偏距”或“间隙”应被理解为在两个相邻的像素行之间的空间或距离，该空间不是感光的。这个空间例如可被使用于把读出电子装置放置在传感器的这样的区域中，或可以由当前未激活的并因此是不感光的一个或多个像素行来体现，因为在该间隙中的像素正好没有被使用。所述偏距当前没有在捕获图像。

因此，公开了一种虑及从体积样本的多个深度同时捕获图像数据的新颖方法。所述方法虑及在动态地改变样本中的获取深度的同时无缝地获取2D或3D图像。这个方法也可被使用于自动聚焦。另外，当使用如图2所描绘的倾斜配置时，从样本捕获图像数据的这种方法虑及在速度和光敏性方面的最佳效率，特别是用于这里提到的对样本的2D或3D成像的用途。

例如，本方法可以由把多个TDI线传感器组合在单个管芯（die）上的、成像设备的成像传感器来应用，这将在图3到图5所示的实施例的上下文中更详细地进行解释。这里，TDI线传感器被用间隙间隔开。这样的传感器可以具有双（TDI）读出引擎，它允许以最大的速度和灵敏度有效地读出至少两个线传感器。通过这个新颖的设计和读出方法而达到的优于相同尺寸和分辨率的传统2D传感器的改进是双重的。首先，在光敏部件/像素行（TDI线传感器）之间的间隙可被使用来安放传感器的逻辑和连接电路。这虑及使在传感器的光敏区域中的像素的感光部件最大化，即，使填充因子最大化。这虑及敏感的传感器，而没有在2DCMOS传感器上常见的微透镜。避免微透镜对于把传感器倾斜地放置在光学路径中是重要的。其次，所述间隙虑及更快速的读出，因为更多的电路可以在该间隙中的该传感器上，从而虑及更快速的读出方法和更快速的传感器。

正如本领域技术人员将容易地理解的，本发明可以不限于其中传感器应当相对于光轴倾斜的系统的配置。本发明包括其它配置，其中传感器是不倾斜的且其中成像系统被安排成使得这个传感器可以对样本的偏斜的（oblique）截面成像。因此，从样本到传感器的、所述不同的光学路径长度的生成可以通过使用本领域熟知的其它技术来完成，所述其它技术诸如是在光学路径中插入光学元件，例如棱镜。

同时捕获样本的在多个深度上的图像数据的方法克服了由使用常规2D CMOS传感器用于自动聚焦和3D成像的常规成像方法所引起的两个问题。一方面，可以改进由于在常规2D CMOS传感器中的像素的低填充因子造成的低光敏性。这正常地是用微透镜克服的，但当如图2所示，传感器相对于光学路径被倾斜时，微透镜不适合使用。而且，通过本发明可以增加常规2D CMOS传感器的ROI读出时的低速度，因为更多的读出电子装置可被放置在第一像素行与第二像素行之间的空间中，正如例如在图4和图5的上下文中更详细地描述的。

按照本发明的另一个示范性实施例，所述偏距或者是在第一和第二像素行之间的第一非光敏间隙，或者是在第一和第二像素行之间的一个或多个非捕获像素行，该一个或多个非捕获像素行被停用。

按照本发明的另一个示范性实施例，非光敏间隙平行于第一和第二像素行地延伸。正如将在图3的上下文中解释的，这个方向将被称为Y方向。本发明的方法可以与包括在正交XY坐标系中的2D像素阵列的成像传感器一起使用，传感器的2D像素阵列包括多个像素，且像素行的每一个像素沿Y方向延伸。

正如从在图3到图5的上下文中所描绘和解释的示范性实施例将变得明显的并就其进行阐明的，用于同时捕获样本的在多个深度上的图像数据的方法的步骤由扫描成像系统在扫描样本期间实行。这样的扫描成像系统是本发明的另一个示范性实施例。

按照本发明的另一个示范性实施例，在扫描期间实行第二图像和第三图像的同时捕获的时间与花费来桥接在第一像素行与第二像素行之间的偏距的时间一样长。因此，读出方法在扫描期间在改变捕获深度的同时生成无缝的2D或3D图像。显然，这允许不完全平的和/或体积样本的快速图像获取。用以确定用多长时间来桥接相应偏距的计算可以由技术人员毫无问题地完成。从两个照相机（即两个像素行）之间的距离开始，在投影中人们知道所述距离涉及到多少像素。通过曝光频率，即行速率，人们知道在偏距/间隙中有多少像素。在另一个示范性实施例中，如果例如样本位置在扫描期间可能变动，则进行实时检测也是有可能的。可能需要实时检测的一个例子会是其中没有扫描，但在流体中有流动的情形。这个流动可能是不太规则的，这意味着，在间隙被桥接之前它不是固定的曝光量。在这种情形下的实时检测将是在对象流过时对于它的横向位置的跟踪。

按照本发明的另一个示范性实施例，所述方法还包括以下步骤：检测是否要求改变获取深度，以及基于检测到要求改变获取深度而启动第二像素行。许多不同的技术装置可被使用于检测是否要求改变获取深度。例如，如在成像领域中已知的聚焦信号检测、在附加光学路径中（例如在共焦显微镜中）的检测、对于样本的形状和/或取向的在前的知识、或预测最佳聚焦位置的方法，均可被使用来确定哪个新行或哪些新行需要被激活以用于图像捕获。因为这样的方法对于技术人员已经是已知的，因此在这里不以更多的细节来描述它们。

按照本发明的另一个示范性实施例，被使用于本文提出的方法的成像传感器还包括第三像素行，其包括多个像素，其中第一、第二和第三像素行每个具有沿成像设备的光轴到样本的不同的光学路径长度。而且，第一像素行和第三像素行沿扫描方向（X’）相对于彼此偏移某个偏距，以及第一像素行位于第二和第三像素行之间。利用这个成像传感器并按照所述方法，倘若检测到要求增加获取深度，则第二像素行就被激活，而倘若检测到要求减小获取深度，则第三像素行就被激活。

换句话说，第一，捕获来自第一个线传感器的图像，第二，检测到需要改变获取深度，即，需要把从当前的线传感器获取改变到从上面或下面的线传感器获取，以及第三，同时地从当前的和新的（或者上面或者下面的）线传感器捕获两个图像的时间与花费来以当前的扫描速度桥接两个线传感器之间的间隙的时间一样长。随后，继续捕获来自新的线传感器的图像或图像数据，以及停止从原先的线传感器进行捕获。利用这个流程，有可能捕获无缝图像。

按照本发明的另一个示范性实施例，丢弃由第一像素行和/或第二像素行得到的重复数据是本方法的一部分。倘若在同时捕获图像数据的步骤期间捕获到图像数据的重叠，则可以丢弃或删除一部分。可以在这里应用如前面相对于对用多长时间桥接在两个像素行之间的偏距或间隙的确定所给出的相同计算。人们可以或者扔掉已经捕获的数据，等待直到被激活的行在扫描期间处于还没有被成像的地带中为止，或者人们可以组合这两个替换例。

按照本发明的另一个示范性实施例，在重复数据被丢弃后根据捕获的图像生成样本的最终图像是本方法的一部分。

按照本发明的另一个示范性实施例，提出一种如前面描述的方法，这是一种用于生成样本的三维（3D）图像的方法。这个3D成像方法包括以下步骤：从包括第一像素行的第一组像素行捕获样本的第一图像；以及同时地从第一组像素行捕获样本的第二图像和从包括第二像素行的第二组像素行捕获样本的第三图像。此外包括以下步骤：继续从第二组像素行捕获样本的图像，和停止从第一组像素行捕获样本的图像。

按照本发明的另一个示范性实施例，给出一种带有第一和第二像素行的成像系统，每个像素行包括多个像素。设备被配置成沿扫描方向（X’）扫描样本，以及第一像素行和第二像素行沿扫描方向相对于彼此偏移某个偏距。而且成像系统被配置成从第一像素行捕获样本的第一图像，以及被配置成同时地从第一像素行捕获样本的第二图像和从第二像素行捕获样本的第三图像。而且，成像系统被配置成继续从第二像素行捕获样本的图像，以及被配置成停止从第一像素行捕获样本的图像。这方面的实施例将在以下附图的上下文中更详细地进行解释。

该成像系统具有包括所提到的像素行的成像传感器，其中成像传感器相对于成像系统的光轴是倾斜的。

按照本发明的另一个示范性实施例，该成像系统的第一像素行是第一个块的一部分，所述第一个块由沿Y方向延伸的若干相邻的像素行组成，以及第二像素行是第二个块的一部分，所述第二个块由沿Y方向延伸的若干相邻的像素行组成。而且，第一和第二个块是被沿Y方向延伸的非光敏间隙互相分隔开的。这样的TDI实施例可以从图４和图５推断。

按照本发明的另一个示范性实施例，该成像系统不包括微透镜。

按照本发明的另一个示范性实施例，每个偏距或非光敏间隙具有所使用的成像传感器的至少一个像素宽度的宽度。

按照本发明的另一个示范性实施例，给出一种扫描成像系统，其中所述系统是用于对样本成像的数字扫描显微镜。

按照本发明的另一个示范性实施例，在扫描成像系统中，成像传感器围绕作为旋转轴的Y轴进行倾斜。

按照本发明的另一个示范性实施例，本文提出的方法在数字扫描显微镜中/由数字扫描显微镜使用来生成病理学样本的图像。

从下文描述的实施例将会明白本发明的这些和其它特征，并参照这些实施例阐明本发明的这些和其它特征。

附图说明

本发明的示范性实施例将在以下的附图中被描述。

图1示意地显示显微镜载片的截面。

图2示意地显示按照本发明示范性实施例的扫描显微镜。

图3显示按照本发明示范性实施例的成像传感器在对象空间中的投影。

图4示意地显示使用TDI原理和按照本发明示范性实施例的方法的成像传感器。

图5示意地显示带有使用按照本发明示范性实施例的方法的成像传感器的布置。

图6示意地显示按照本发明示范性实施例的方法的流程图。

具体实施方式

按照本发明的成像系统的一个示范性实施例，扫描显微镜200在图2中被显示。成像系统200可以实行如本文描述的、用于同时捕获样本的在多个深度上的图像数据的方法。具体地，成像系统200被配置成实行如在图6的上下文中公开的步骤S1到S5。然而，重要的是要指出，成像系统200虑及用于在扫描期间在改变捕获深度的同时生成无缝2D或3D图像的读出方法。这允许非完全平的和/或体积样本的快速图像获取。利用本方法和成像系统200，有可能捕获无缝图像，这在没有临时双读出（即同时读出）的情况下将是不可能的，因为线传感器中的改变不仅仅导致获取深度的改变，也导致沿扫描方向的平移。后者的这种平移或是造成图像中的间隙，或是造成图像数据的重复。本发明的方法防止了间隙。对于重复，部分图像数据可以被丢弃，而不需要双获取。

当然，扫描成像系统200被安排成用于对样本成像，样本例如是可被放置在玻璃载片201与盖玻片202之间的组织层，图2上未示出。成像路径P可包括：显微镜物镜206，它可包括一个或多个透镜203、204、205；孔径207，用于阻挡来自组织样本的未散射的反射光；镜筒透镜208；以及按照本发明的成像传感器209。成像传感器209包括2D像素阵列，它在这里也可以被称为像素矩阵。例如，传感器是CMOS成像传感器，但其它种类的传感器也可以与本发明一起使用。正如从图2可以看到的，成像传感器209相对于显微镜物镜的光轴倾斜。成像传感器209可以是如本文解释的自聚焦成像传感器。系统200还包括控制模块，用于控制扫描仪的操作过程，特别是控制用于对样本成像的扫描过程。控制模块典型地包括处理器，诸如举例而言FPGA（现场可编程门阵列）或DCP(数字信号处理器)。应当指出，光轴O可以平行于在以下的图3上定义的轴Z 309。

本发明的方法例如可以通过如图3所示的成像传感器300而被实行，且这将在后面更详细地说明。在示范性实施例中，该方法包括以下步骤：从一个线传感器/像素行304捕获图像；通过无论什么装置检测到需要改变获取深度，即，将获取从当前线传感器/像素行304改变到在上面或下面的线传感器/像素行；以及同时地从当前行304和新行310捕获两个图像的时间与以当前的扫描速度花费来桥接两个线传感器之间的非光敏间隙305c的时间一样长。作为进一步的步骤，包括继续从新的线传感器310进行捕获和停止从原先的线传感器304进行捕获。利用这个方法，有可能捕获无缝图像，这在没有临时双读出的情况下将是不可能的，因为线传感器中的改变不仅导致获取深度的改变，也导致沿扫描方向的平移。后者的这种平移造成图像上的间隙或重复。有利地，本方法避免了最终图像中的间隙。对于重复，部分图像数据可以被丢弃，而不需要双获取。关于丢弃图像数据的更详细的方面已在前面描述过。

关于被使用于本方法的传感器，图3显示了成像传感器311的投影300。而且，成像传感器311可以是自聚焦成像传感器。图3显示出成像传感器311包括几个TDI块304、310，它们分别包括沿着用轴308显示的Y方向伸展的、多个平行的像素行。TDI块304和310通过非光敏间隙305c被分隔开，在该间隙中安置至少一个所述块的像素的读出电子装置。如果想要的话，也可以把两个TDI块304和310的读出电子装置都安置在间隙305c中。然而，也有可能块310的像素的读出电子装置被安置在非光敏间隙305c中，而块304的像素的读出电子装置被安置在非光敏间隙305a中。显然，有可能提供TDI块304和310作为不包括电荷-电压转换器和/或逻辑和/或连接电路的像素行。后面的这些部件被成像传感器311的所述非光敏间隙整体地包括，这样使得通过达到适当的低光敏性而达到填充因子的最大化。应当指出，TDI块304和310仅仅被示意性地图示，这样使得多个相邻的像素行并没有在这里被详细地描绘。从以下的图4可以推断构成TDI块的这样的各个像素行。另外，间隙305a、305b和305c在图3中仅仅被示意地画出。301表示玻璃载片，302表示盖玻片，而组织样本用303示出。此外，扫描方向X’用箭头306描绘，并且可以容易地推断，扫描方向X’基本上垂直于限定传感器311的2D像素阵列的Y方向308。X方向307也在图3上被示出。

图3的成像传感器比起同样尺寸和分辨率的传统2D传感器具有双重的改进。提供了对于在传感器的光敏区域中像素的感光部件的最大化，这样使得填充因子被最大化。这虑及了不带有微透镜的敏感的传感器。对于把传感器倾斜地放置在例如扫描成像显微镜的光学路径中，避免微透镜是重要的。而且，间隙305a、305b和305c虑及更快速的读出，因为有更多的电路可以处在传感器上的这些间隙中，从而虑及更快速的传感器。

图4示意地显示按照本发明示范性实施例的成像传感器400。该成像传感器包括2D像素阵列421。2D像素阵列包括第一像素行410，它包括多个像素，例如像素415、416、417。正如从图4可以推断的，第一像素行410沿Y方向422从阵列的左端延伸到阵列的右端，因此，它在阵列的整个宽度上延伸。Y方向垂直于X方向423。2D像素阵列还包括第二像素行411，它包括多个像素，像素418和419被示范性地带有参考标号地显示。同样地，第二行411也沿Y方向422延伸。而且，提供了在第一和第二像素行之间的第一非光敏间隙402。正如从图4可以推断的，这个间隙也沿Y方向延伸。此外，第一行的像素和/或第二行的像素的读出电子装置412和413被安置在第一非光敏间隙402内。当然，例如像FPGA那样的部件也可以被传感器包括在内。

第一非光敏间隙402具有的宽度为传感器的至少一个像素的宽度420。在这个实施例中，间隙宽度约为传感器的一个像素的宽度420的五倍。同样地，第二非光敏间隙403也具有这样的宽度。而且，正如从图4可以推断的，有几个相邻的像素行407到410的第一个块405被成像传感器400包括在内。这个第一个块405可作为TDI块被控制。第一非光敏间隙402包括读出电子装置412、413，诸如像素行410或像素行411的电流电压转换器，而且它还可以包括成像传感器400的逻辑电路和/或成像传感器400的连接电路。同样地，第二非光敏间隙403包括第二TDI块404和第三TDI块406的像素的这样的读出电子装置414。正如前面已描述的，也可以提供成像传感器400，使得TDI块的读出电子装置沿所显示的X方向423全部被提供在所述TDI块的下面或上面的相邻的间隙内。因此，有可能提供全部由光电二极管组成的TDI块，但其本身不包括读出电子装置，因为它们被移到相邻的间隙。在另一个示范性实施例中，传感器具有128个这样的像素行的块404、405、406，以及具有127或128个间隙。

TDI块可被看作为带有沿Y方向延伸的行/排（lines/rows）和沿X方向延伸的列的2D像素阵列。TDI动作沿列发生。这个TDI动作可以或者是传统的CCD方式的TDI，其中电荷（charge）是沿着列、与对象相对于传感器的运动同步地进行转移（transfer）的。替换地，TDI可以在数字域中实行，其中像素电荷首先被转换成数位（digital number），然后在数字域中与对象相对于传感器的运动同步地进行转移。这个 “数字的”TDI可以在图像传感器本身上进行，或 “在芯片外”，在诸如FPGA的计算单元或计算机上进行。本发明的系统还可以包括控制模块，它控制成像传感器的读出，以使得想要的TDI过程发生。

按照这样的实施例的、使用TDI的更详细的例子在图4的上下文中进行解释。在图4上，四个TDI级（例如407、408、409、410）的三个块404、405和406被在像素矩阵中指定。应当指出，TDI块是指总的像素矩阵的子阵列，它充当功能TDI单元。本领域技术人员将以明显的方式推导出：按照这样的实施例的TDI传感器可如何运行。某些实施例在这里将作为非限制性例子被描述。所有的这些实施例可应用于两种主要的成像传感器类型，即，CCD和CMOS成像传感器。对于CCD图像传感器，TDI动作典型地通过把电荷从一组像素复制到另一组像素而在模拟域中被执行。对于CMOS图像传感器，TDI动作典型地通过把一组像素的数字值加到另一组像素的数字值而在数字域中被执行。然而，数字和模拟TDI二者都可被应用到CCD和CMOS的任一种。

在下面，TDI动作被描述为像素值转移，如果采用模拟TDI，它应当被理解为模拟电荷转移，以及如果采用数字TDI，它应当被理解为像素值转移。

回到图4的例子，传感器被移到相对于显微镜载片更远的扫描位置，与此同时像素值被转移。在图4的例子中，将假设TDI动作向上工作，而样本相对于传感器的平移也向上进行。对于每次曝光像素行或级410（一级优选地包括完整像素行）从像素值0开始，以及在每次曝光后，在块405中来自级407的像素值组成最终图像。当在一个完整的TDI周期期间跟随样本的图像的单个行时，在本领域中已知的处理过程如下：在时间t=0的曝光期间，样本的图像被成像传感器捕获。在t=1的下一次曝光时，样本被平移成使得在t=0时投影在级410上的样本图像的一部分现在被投影在级409上。在t=0与t=1的曝光之间，在级410中的像素的值被复制到级409。在t=1时的曝光期间，由级409上的曝光产生的像素值被加到已经存在的、由t=0时在级410上的曝光产生的值。在级409中的值现在是由t=0时级410的曝光和t=1时级409的曝光所产生的像素值的和值。在t=1和t=2的曝光之间，在级409中的像素的值被复制到级408。在t=2的曝光期间，由在级408上的曝光产生的像素值被加到已经存在的、由t=0时在级410的曝光加上t=1时在级409的曝光所产生的值。在级408中的值现在是由t=0时级410的曝光和t=1时级409的曝光以及t=2时级408的曝光所产生的像素值的和值。在t=2和t=3的曝光之间，在级408中的像素的值被复制到级407。在t=3时的曝光期间，由在级407上的曝光产生的像素值被加到已经存在的值，该已经存在的值是由t=0时在级410的曝光加上t=1时在级409的曝光和t=2时在级408的曝光所产生的。在级407中的值现在是由t=0时级410的曝光和t=1时级409的曝光，以及t=2时级408的曝光和t=3时级407的曝光所产生的像素值的和值。因为样本的图像在传感器上以与TDI动作相同的方向和相同的速度平移，所以在本例中，对样本上相同的区域进行了四次相等的曝光。这等同于四倍长的曝光时段，而不用减慢样本的平移且不会引入附加的运动模糊。

以上的描述也适用于任何其它的块，诸如块404和406或本发明的成像传感器的任何另外的块。

应当指出，在这样的实施例中，TDI块的四级可能能够以相同的聚焦去捕获相同区域的图像。

因此，每个TDI块的级可以是使得它们与样本间隔开近似相同的距离。

例如，通过回过来参考以上描述的第一个详细的实现，四级可被使用于每个块。因此，每个TDI块可以由被安置成互相紧挨着的、带着具有与像素尺寸相同尺寸的间距的四个像素行组成。这里应当指出，间距可以是指在两个相邻的像素的中心之间的距离。在本发明的每个实施例中的每个TDI块可以被间隔开一个大于所述间距的非光敏间隙距离。该间隙距离确定传感器的深度定位的Z分辨率。在使得每个TDI块的各个像素更近地在一起的同时，具有相对较大的间隙可能是有利的。这样，可以得到相对较大的Z范围，而无需使用太多的像素，因为每个TDI级的各个级是更近地在一起的。结果，它们在相似的深度上获取，从而减小由于一个或多个级的散焦而造成的图像柔化。

按照本发明的另一个示范性实施例，图5显示带有成像传感器501的布置500，成像传感器501包括被非光敏间隙506分隔开的第一像素行508和第二像素行509。第一TDI块502、第二TDI块503、第三TDI块505和第128个TDI块504分别包括四行像素。对于这些像素行，显示了中断516，因为像素行比起这里在图5上所显示的长得多。正如前面描述的，像素行可以由几千个像素组成，例如，4000个或更多的像素。

图5还显示了两个TDI引擎510、513，它们被安置在成像传感器上，并因此是成像传感器的一部分。这样的TDI引擎被配置成实行任何已知的和本文提到的TDI过程。这样，TDI被制作在芯片上。本发明还包括其它实施例，其中TDI过程在芯片之外例如由外部计算机实行。八个输入和输出分接头511和514是用于把传感器连接到数据总线的标准引脚。可选地，在用户想要更高带宽的情形下，可以使用24个输入和输出分接头512、515。

图6示意地显示按照本发明的示范性实施例的方法的流程图。详细地，在图6上给出了用于在扫描期间在改变捕获深度的同时生成无缝2D或3D图像的读出方法。所述方法能够同时捕获样本的在多个深度上的图像数据。所述方法使用像例如在图2的上下文中描述的设备那样的成像设备。所使用的成像设备具有光轴，并且包括相对于光轴倾斜的成像传感器300、400。成像设备的这样的成像传感器包括：第一像素行410，其包括多个像素415、416；以及至少一个第二像素行411，其包括多个像素418、419。第一和第二像素行具有沿成像设备的光轴到样本的、不同的光学路径长度，并且它们沿扫描方向相对于彼此偏移开一个偏距402。

图6所显示的方法教导沿扫描方向X’扫描样本，即步骤S1，所述扫描方向X’基本上垂直于成像传感器的第一和第二像素行的主延伸方向Y。第二步骤S2定义在步骤S3之前从第一像素行捕获样本的第一图像，步骤S3要求同时地从第一像素行捕获样本的第二图像和从第二像素行捕获样本的第三图像。此外，在步骤S4，继续从第二像素行捕获样本的图像。在步骤S5，停止从第一像素行捕获样本的图像。

在图6上描绘的、带有步骤S1到S5的方法因此可被看作为能够在扫描期间在改变捕获深度的同时生成无缝2D或3D图像的读出方法。这虑及对于非完全平的和/或体积样本的快速图像获取。用于确定在扫描期间花费多长时间来桥接相应的偏距（即在相邻的像素行之间的间隙）的计算可以由技术人员毫无问题地完成，并且可以实施在本文所公开的成像设备中。从两个照相机（即，两个像素行）之间的距离出发，在投影中人们知道所述距离涉及到多少个像素。通过曝光频率，即行速率，人们知道在偏距/间隙中有多少个像素。

实行本方法的成像设备能够确定何时开始同时的图像捕获。具体地，在本发明的示范性实施例中，检测是否要求改变获取深度，以及基于检测到要求改变获取深度而由成像设备自动地实行第二像素行的对应的启动。许多不同的技术手段可被使用于检测是否需要改变获取深度，如本文之前所描述的。

通过图6解释的方法虑及对于如图1所示的、非完全平的和/或体积样本的快速图像获取，并且可以特别地应用于例如用于数字病理学的数字载片扫描仪中，但也可以应用于其它技术领域。利用图6的这个方法，有可能捕获无缝图像，这在没有临时双重读出（即同时读出）的情况下是不可能的，因为线传感器中的改变不仅仅导致获取深度的改变，也导致沿扫描方向X’的平移。后者的这种平移或是造成图像上的间隙，或是造成图像数据的重复。前面描述的方法对于防止间隙是必须的。对于重复，部分图像数据可以被丢弃，而不需要双获取。

本领域技术人员在实践要求保护的本发明时，可以从对附图、公开内容和所附权利要求的研究中懂得并实现所公开的实施例的其它变例。例如，如先前解释的，在本申请中描述的本发明包括其它配置，其中传感器没有相对于光轴倾斜，以及其中成像系统被安排成使得这个传感器可以对样本的倾斜的截面成像。因此，从样本到传感器的、所述不同的光学路径长度的生成可以通过使用本领域熟知的其它技术来完成，所述其它技术诸如是在光学路径中插入光学元件，例如棱镜。

在权利要求中，单词“包括”并不排除其它单元或步骤，而不定冠词“一”或“一个”（“a”或“an”）并不排除多个。单个处理器或其它单元可以完成在权利要求中阐述的几个项目或步骤的功能。仅仅是某些措施在互相不同的从属权利要求中被阐述的事实并不表明这些措施的组合不能被使用来获益。在权利要求中的任何参考标号不应当被解释为限制权利要求的范围。

Claims (17)

1.用于通过使用具有光轴的成像设备同时捕获样本的在多个深度上的图像数据的方法，

所述设备包括成像传感器，该成像设备被安排成使得传感器能对样本的倾斜截面成像，该成像传感器具有：

第一像素行（410），包括多个像素（415，416）；

第二像素行（411），包括多个像素（418，419）；

所述第一和第二像素行具有沿成像设备的光轴到样本的、不同的光学路径长度，

所述第一像素行和第二像素行沿扫描方向相对于彼此偏移一偏距（305a-305c，402，403）；

所述方法包括以下步骤：

沿基本上垂直于该光轴和第一和第二像素行的主延伸方向（Y）的扫描方向（X’）扫描样本（S1）；

从第一像素行捕获样本的第一图像（S2）；

同时地从第一像素行捕获样本的第二图像和从第二像素行捕获样本的第三图像（S3）；

继续从第二像素行捕获样本的图像（S4）；

停止从第一像素行捕获样本的图像（S5）。

2.按照权利要求1的方法，

其中所述偏距或者是在第一和第二像素行之间的第一非光敏间隙（402），或者是在第一和第二像素行之间的非捕获的像素行，该非捕获的像素行被停用。

3.按照权利要求2的方法，

其中所述非光敏间隙平行于该第一和第二像素行地延伸。

4.按照任一前述的权利要求的方法，

其中步骤S1到S5在扫描样本期间被实行。

5.按照任一前述的权利要求的方法，

其中在扫描期间实行第二图像和第三图像的同时捕获的时间与花费来桥接第一像素行与第二像素行之间的偏距的时间一样长。

6.按照任一前述的权利要求的方法，还包括以下步骤：

检测是否要求改变获取深度，以及

基于检测到要求改变获取深度而启动第二像素行。

7.按照权利要求6的方法，

其中预测最佳聚焦位置的方法被使用于检测是否要求改变获取深度。

8.按照权利要求6或7的其中一项的方法，所述成像传感器还包括：

第三像素行，其包括多个像素，

其中所述第一、第二和第三像素行每个具有沿成像设备的光轴到样本的、不同的光学路径长度，

其中第一像素行和第三像素行沿扫描方向（X’）相对于彼此偏移一偏距，

其中第一像素行处在第二和第三像素行之间，

所述方法还包括以下步骤：

倘若检测到要求增加获取深度，就启动第二像素行；或倘若检测到要求减小获取深度，就启动第三像素行。

9.按照任一前述的权利要求的方法，还包括以下步骤：

丢弃通过第一像素行和/或第二像素行获取的重复数据。

10.按照权利要求9的方法，还包括以下步骤：

在重复数据被丢弃后，根据所捕获的图像来生成样本的最终图像。

11.按照任一前述的权利要求的方法，

其中所述成像系统是包括在正交XY坐标系中的2D像素阵列的成像传感器（400），该传感器的2D像素阵列包括第一、第二和第三像素行，以及

其中第一、第二和第三像素行的每一个沿Y方向延伸。

12.按照任一前述的权利要求的方法，用于生成样本的三维（3D）图像，所述方法进一步包括以下步骤：

从包括第一像素行的第一组像素行捕获样本的第一图像；

同时地从第一组像素行捕获样本的第二图像和从包括第二像素行的第二组像素行捕获样本的第三图像；

继续从第二组像素行捕获样本的图像；以及

停止从第一组像素行捕获样本的图像。

13.按照任一前述的权利要求的方法，其中所述成像传感器相对于光轴倾斜。

14.一种用于在多个深度上同时捕获样本的图像数据的成像系统，所述系统包括：

第一像素行（410），包括多个像素（415，416）；

第二像素行（411），包括多个像素（418，419）；

其中该设备被配置成沿扫描方向（X’）扫描样本；

其中第一像素行和第二像素行沿扫描方向相对于彼此偏移一偏距（305a-305c，402，403），

其中所述成像系统被配置成从第一像素行捕获样本的第一图像，

其中所述成像系统被配置成同时地从第一像素行捕获样本的第二图像和从第二像素行捕获样本的第三图像，以及

其中所述成像系统被配置成继续从第二像素行捕获样本的图像，以及被配置成停止从第一像素行捕获样本的图像。

15.按照权利要求14的成像系统，

其中第一和第二像素行是包括在正交XY坐标系中的2D像素阵列的成像传感器（400）的一部分，

其中第一和第二像素行沿Y方向延伸，

所述成像传感器还包括在第一和第二像素行之间的第一非光敏间隙（402），

其中第一非光敏间隙沿Y方向延伸，以及

其中第一像素行的像素和/或第二像素行的像素的读出电子装置（412，413）被安置在第一非光敏间隙（402）中。

16.按照权利要求15的成像系统，

其中以下部件中的至少一个部件被安置在传感器的第一非光敏间隙中或另一个非光敏间隙中：

第一和第二像素行中的至少一个像素行的像素的电流电压转换器，

所述成像传感器的逻辑电路，以及

所述成像传感器的连接电路。

17.按照权利要求14到16的任一项的成像系统，其中所述成像传感器相对于光轴倾斜。