CN102138160B - 用于成像基底上的特征的方法和装置 - Google Patents

Abstract

一种用于成像基底上的特征的方法，包括扫描基底并产生其图像，在图像上覆盖网格模型，使网格模型与图像上的至少一些特征的位置适配，以及提取该特征的图像。

Description

用于成像基底上的特征的方法和装置

技术领域

本发明涉及一种用于成像基底上的特征的方法和装置，并且特别涉及一种用于成像微阵列上的斑点(spot)的方法和装置。

背景技术

在各种技术应用中，基底上的特征的成像以及分析是一项重要的任务。例如，在生物化学分析中，根据预定义的图案(pattern)在基底上应用载体物质的小斑点是一种常见技术。随后，少量的不同细胞(cell)材料被添加到载体物质的斑点，并且通过在某些时间段之后得到基底上的斑点的图像且通过分析该图像内的特征来监视不同斑点随着时间的细胞生长。

可以通过根据预定义的图案将特征布置在基底上来制造这些特征的成像。通常，使用专用扫描仪硬件来执行扫描，并且在制备基底期间仅在被登记到注释文件(annotation file)中的斑点的预定义已知位置处扫描基底。这种常用技术在若干方面都受到限制。

根据基底上的特征的数量，整个基底的扫描需要大量的单次扫描，包括扫描装置执行对应的大量重复且非常精确的机械移位(displacement)以将基底移动到扫描仪或者与基底相关的扫描仪的前面。在生物化学应用中，基底可以包含单个基底上的多于3888个特征，这需要相当大数量的机械移位步骤。因此，扫描需要高精度和相当昂贵的硬件。

此外，扫描过程强烈依赖于关于斑点在基底上的位置的精确信息。在缺少精确的定位信息的情况下或者在扫描仪和基底之间存在未对准的情况下，扫描会失败。

基于这些缺陷，存在对一种改进的方法以及对应装置的需要，其允许更迅速地成像基底上的特征以及对成像硬件的要求的降低，特别在基底包含大量特征的情况下。

发明内容

本发明的目的在于提供一种用于成像特征的改进方法和装置，其包括便利的扫描过程以及加速的成像。通过包括独立权利要求1的特征的方法以及包括独立权利要求12的特征的装置来实现上述目的。

在从属权利要求中限定本发明的优选实施例。

本发明的用于成像基底上的特征的方法包括扫描基底并产生其图像，在所述图像上覆盖(overlay)网格模型，使该网格模型与至少一些特征在图像上的位置适配(fit)，以及提取特征的图像。

当通过使用放置在图像上的网格模型来识别特征的位置时，本发明的方法允许单个或者若干个扫描步骤中的基底的独立扫描而不管特征的位置。该网格模型优选地是一组通过边缘连接的点，其中网格模型中的每个点被指定基底上的一个特征，也就是说网格模型中的点的数量等于基底上相关特征的数量。当在扫描的图像上覆盖网格模型时，网格模型的点的位置最初不与基底上的特征的实际位置相对应。网格模型与特征在图像上的位置的后续适配考虑到它们的位置的精确确定和所识别的位置处和周围的特征的部分图像的提取以用于进一步分析。

由于网格模型与图像的特征的适配，不需要包括重复扫描步骤的扫描过程。因此，降低了对扫描仪的要求。此外，由于可以避免在扫描仪的重复移位步骤期间所消耗的时间，可以减少整个成像过程的时间。

根据一个实施例，网格模型基于先验已知的基底上的特征的位置的图案。当为特定基底创建网格模型时，包括特征之间的距离或关于它们彼此的定向的附加信息的该图案被用来限定网格模型的点的初始位置并建立对应点之间的边缘以限定点的邻域(neighborhood)。

根据另一实施例，网格模型基于包括以下各项的组中的网格：规则网格、直线网格(rectilinear grid)、笛卡尔网格、多边形网格、以及六边形网格。

规则、直线、笛卡尔网格表示分别由全等(congruent)或不全等(incongruent)的矩形或者由单位正方形(unit square)的基底平面的镶嵌布置(tesselation)。网格模型的点被放置在该镶嵌布置的节点上。特征的位置的图案也可由多边形或者六边形网格(其描述通过多边形或者六边形的平面的平铺(tiling))来表示。网格模型的点被放置在网格的对应节点上。

根据本发明的另一实施例，覆盖包括通过粗略近似来确定基底的一些特征的位置，并且将网格模型的一些点覆盖到所述位置上。举例来说，这可以通过这样做来完成：即识别特征在基底的图像上的区域的拐角(corner)或者三个突出点(例如边界点)，并且用它们来对准网格模型的对应拐角。比如仿射变换的任何方法可以用来适配网格模型的剩余点。该覆盖限定用于其他步骤的初始配置。

根据另一个实施例，处理基底的图像同样具有优势，尤其在扫描过程期间产生多个图像的情况下。具体来说，在网格模型的适配之前可以减小它们的尺寸。一方面，尺寸的减小进一步加速处理步骤(因为需要处理的数据量减少了)；并且另一方面，尺寸减小对应于图像的高斯平滑并且因此降低了图像中的噪声。

在另一个实施例中，在网格模型的适配之前进一步处理图像，包括滤波器的应用、平滑、边缘增强、颜色适应等等的一个或若干个处理。一个或若干个这些方法的利用帮助进一步区分图像中的特征特性，例如将使用平滑来减少图像中的噪声、或者使用边缘增强来强调特征的边沿和纹理(texture)。选择性的颜色增强可以被应用以增强具有特定颜色特性的特征的对比度(contrast)。

根据另一实施例，该适配可以包括网格模型的能量函数的结果的迭代优化。该能量函数是网格模型的点的函数并表示点的当前拓扑结构(topology)。另外，该能量函数还描述了网格模型的点与特征在图像上的位置的偏差。通过将网格模型的点移动到其优化全局能量的给定领域中的位置来优化全局能量(即能量函数的结果)。针对网格模型的每个点重复该过程以确定下一个优化的全局能量。重复这些直到能量函数的结果保持最优并且不能进一步改进为止。也可应用其他的迭代细化(iterative refinement)方法。

在优选实施例中，能量函数的结果被最小化且所述能量函数被定义为：E(P)＝αF(P)+βG(P)+γH(P)，其中α，β和γ是加权因子，F(P)是由网格模型的相邻点之间的距离确定的距离项，G(P)是网格模型的正交性(perpendicularity)项，而H(P)是曲率项，该曲率项是由网格模型的点与根据图像的曲率图计算出的特征的位置的偏差确定的。

对应的项被给定为：

$F\left(P\right)=\underset{p_{i,j}}{\mathrm{\Σ}}f(p_{i,j},p_{i-1,j})+f(p_{i,j},p_{i+1,j})+f(p_{i,j},p_{i,j-1})+f(p_{i,j},p_{i,j+1})$

其中f(p，q)＝(D_interspot-d(p，q))²

其中以及

$H\left(P\right)=-\underset{p_{i,j}}{\mathrm{\Σ}}\mathrm{curv}\left(I_{\mathrm{\σ}}\left(p_{i,j}\right)\right)$

特别地，项F(P)和G(P)表示网格模型的空间配置，并且确保网格模型的点将近似于笛卡尔网格。特别地，当斑点间的距离偏离了已知距离时F(P)具有更高的值。当两个相邻的点之间的角度偏离了90度时G(P)具有更高的值。除了空间属性之外，H(P)被用于创建网格模型的点与特征位置之间的链接。H(P)源自基底的图像的曲率图(下面将会对其描述)并且当点远离特征位置时其具有更高的值。

根据另一个实施例，网格模型与至少一些特征的位置的适配包括使网格模型的点与特征的中心适配。此处，网格模型的点被优化以使得在适配过程之后它们标记每个特征的中心。

一个优选的实施例包括所述特征是微阵列上的斑点。

根据另一实施例，该微阵列包括siRNA转染细胞的生成的结果。在该实施例中，基底包括微阵列，并且特征包括微阵列上的斑点，每个斑点具有siRNA转染细胞的生长的结果。

本发明还包括一种装置。本发明的成像装置包括：图像获取设备，其被适用于扫描特征的基底并产生其至少部分图像；以及识别特征在图像上的位置的分析设备，其被适用于在图像上覆盖网格模型，使网格模型与至少一些特征的位置适配，并且提取特征的图像。

本发明的图像获取设备被适用于扫描基底而不考虑位于该基底上的特征的位置。扫描可以被执行以使得产生基底的一个或多个图像。图像数据被存储在数据库中或者立即由分析设备使用以识别特征在图像上的位置。为了这样做，分析设备使用覆盖在图像(包括一个或若干个已扫描的图像)上并且与特征的位置适配的网格模型。基于网格模型的点的最终位置，分析设备提取特征的部分图像。

根据该装置的一个实施例，根据图案来布置基底上的特征，该图案是包括以下各项的组中的网格：规则网格、直线网格、、笛卡尔网格、多边形网格以及六边形网格。选择特征的特定布置会有利于图像上的特征的分析以及网格模型的适配的过程。

在一个实施例中，基底是微阵列。该微阵列可以包括一个或若干个核酸的斑点，或者可以是细胞的微阵列。根据一个实施例，该图像获取设备被适用于产生具有亚细胞分辨率的图像。

根据另一实施例，该装置还包括在基底上生成特征的印刷机(printer)，以及包含特征的位置的注释文件。该注释文件描述特征的拓扑结构，并且因此可以被用于定义网格模型的初始图案并提供必要的数据和信息。

根据该装置的另一个实施例，该印刷机生成斑点并且在每个斑点上应用来自库的核酸或者来自库的化合物，所述库包括RNAi库、siRNA库或化合物库/cDNA库，以使得该微阵列表示整个库或者其子集。在该实施例中，成像装置扫描包含斑点的微阵列，识别斑点在对应图像上的位置并提取斑点的图像以用于进一步分析。

结合附图，根据本发明以下示例性实施例的详细描述，本发明的其他特征优点和特性将变得显而易见。

附图说明

图1示意性示出根据本发明的成像装置的实施例；

图2a-2d显示根据本发明的一个实施例的成像方法的步骤和步骤的结果，包括扫描基底上的特征的图像(图2a)，通过扫描获得特征的单个图像(图2b)，在基底的图像上覆盖笛卡尔网格模型(图2c)，以及适配的笛卡尔网格模型(图2d)；

图3a-3c描绘根据本发明的一个实施例的网格模型的能量函数的项，包括两个相邻点之间的距离(图3a)，网格模型的两个相邻点之间的正交性(图3b)，以及图像的曲率图(图3c)；

图4a和4b显示跟据本发明的一个实施例的使用通过适配过程获得的坐标提取的特征的矩形图像(图4a)，以及示出覆盖在红色siRNA斑点图像上的网格和丢失的斑点检测的与大的微阵列适配的网格模型；以及

图5示出根据本发明的一个实施例由成像装置的图像获取设备产生的斑点通道的图像，其中该基底是包括siRNA转染细胞的斑点的微阵列。

具体实施例

图1示出根据本发明的成像装置1的实施例，其包括用于产生基底11的图像的图像获取设备10、分析设备12、印刷机13以及数据库14。

利用图像获取设备10扫描包含大量特征的基底131而不管特征的位置，从而得到基底11的单个图像或者多个部分图像。

例如，使用亚细胞分辨率来扫描包括具有3888个斑点的微阵列的基底131可以得到大约5500灰度级的图像或者大约1800rgb图像。这些图像的组合可以表示微阵列的整个表面。基底11的图像被存储在数据库14中以用于分析设备12中的其他处理。

根据如图1所示的实施例，分析设备12首先访问数据库14并在执行图像的其他处理之前降低图像的分辨率(图1中的步骤121)。然而，该步骤是可以省略的。如果图像获取设备10已产生了基底11的多个图像，则分析设备12布置和组合这些图像以形成基底131的整个表面的单个图像。

在下一步骤中，分析设备12使网格模型与特征在基底11的图像上的位置适配(图1中的步骤122)。下文更详细描述的该适配过程需要基底131上的特征的拓扑结构的一些知识，例如它们的尺寸或者关于彼此的相对位置。该信息可以被存储例如在注释文件132中，所述注释文件132是在基底131的制造期间创建的或者是由本领域技术人员已知的适当方法随后确定的。通常，根据图案在基底131上布置特征，所述图案例如是规则网格、直线网格、笛卡尔网格、多边形网格、六边形网格等。

在适配网格模型之后(图1中的步骤122)，基于由适配的网格模型获得的关于它们的位置的信息提取特征的图像(图1中的步骤123)。如果在适配网格模型之前图像尺寸已被减小，则从数据库14中检索原始图像并且该原始图像被用于替代尺寸减小的图像以用于特征图像的提取。必须注意的是特征可以被定位在基底11的多个图像上，并且因此可以需要基底11的若干个图像来提取特征的图像。

在随后的步骤中，如下面将描述的那样，所提取的特征的图像被分析(图1中的步骤124)。在本实施例中，基底131由印刷机13生成，并且基底131包括微阵列，优选地包括密封混合物的核酸或细胞的微阵列。细胞随后在微阵列上生长并在每个斑点位置上被核酸转染。印刷机13还生成包含每个斑点的坐标的注释文件132。然而，应当注意的是由于包含细胞生长的基底131中的不规律性和大小，这些信息不会被用于创建基底11的图像。而是被用于限定初始网格模型以用于适配分析设备12的网格模型的步骤122。

基于图2a-2d所示的特定实施例来解释前面提到的识别基底上的特征的方法。基底上的特征201的图像包括在单个图像上的或者多个图像21上的特征20，它们被布置并组合以形成基底的整个图像(图2a)。通常，特征20将不会如图2b所示的那样正好位于图像22的中心，而是更有可能与其他特征相比更接近于图像23的边缘或拐角之一，并且在特定情况下可以成为多达四个相邻图像21的部分。

如图2c所示，特征201的图像被初始网格模型203覆盖。在一个实施例中，该初始网格模型203包括由边缘28连接的点25。初始网格模型203的点25以及由边缘28限定的其邻域基于基底上的特征20的位置的图案，并且可以包括任何适合的图案，例如规则网格、直线网格、笛卡尔网格(如图2c所示的那样)或者比如六边形网格的多边形网格。

通过特征20的位置的粗略近似将该初始网格模型203放置在特征201的图像上。该近似可以通过任何合适的技术来完成。例如，初始网格模型203的三个拐角点24可以放置在特征201的整个图像上的特征组20的对应拐角上。图像201上的初始网格模型203的放置可以手动完成。然而，也可以使用自动过程。然后通过适合的技术(例如包括剪切的仿射变换)使初始网格模型203变形。在网格模型203的初始放置之后，使初始网格模型203的点25与特征20的位置适配，得到如图2d所示的适配的网格模型204。在适配过程之后，适配的网格模型204的每个点26指示特征20的精确位置。即使特征20已被破坏或者丢失，适配的网格模型204的对应点27指示该丢失特征的最可能的位置。

初始网格模型203的点25与特征20的位置的适配可以通过任何适合的技术(包括统计学方法或者优化方法)来完成。优选地，通过优化绑定到(boundto)网格模型的能量函数的结果来完成适配。

该能量函数可被最小化并被定义为网格模型203、204的点25的三个项的加权和，所述三个项表示作为距离项301的两个相邻点25之间的距离31，作为正交性项302的网格模型203、204的正交性，以及作为曲率项303的点25的邻域中的特征201的图像的特性，如图3a-3c所示的那样。加权和的项的加权因子可以被用来定义每个项关于全局能量(即能量函数的结果)的相对重要性。

两个点25之间的距离31的初始值先前由基底上的特征的基本(underlying)图案确定，并且如图3a所示的那样由处于其初始状态的边缘28的长度给出。例如，对于笛卡尔网格，对于由边缘28连接的每一对点25的距离31是相同的。当两个点25之间的距离31远偏离初始值时，对应的距离项301(其可以被用来定义能量函数的一部分)具有较高的值。因此，距离项301的最小化确保点25保持接近彼此之间的初始距离。

如图3b所示，网格模型203、204的正交性由连接点33的两个相邻点34的两个边缘28之间的角度32来表征。例如，对于规则网格来说，该角度32的初始值优选为90度。然而，它可以是任意值并由初始网格模型203限定。当角度32远偏离初始值时，能量函数的对应正交性项302具有较高的值。与距离项301相似，正交性项302的最小化确保点25保持接近适配的规则网格模型204中的矩形图案。

在该实施例中，能量函数的曲率项303由投影在特征201的图像上的网格模型203、204的点25的邻域给出。在该实施例中，特征201的图像包括图片元素(像素)的矩阵，每个像素具有至少一个颜色值(例如对于灰度级图像的一个值，或者对于rgb图像的三个值)。曲率项303是由点25的当前位置给出的邻域中的特征201的图像的像素的颜色值的函数。该邻域是由任意大小和形状的窗口限定的。该窗口可以是矩形大小，如在图像处理中使用的大多数卷积技术的情况。在该特定实施例中，该矩形窗口的大小被描绘为围绕网格模型203、204的点25的正方形(如图2c，2d，3a和3b所示的那样)。显而易见的是该窗口的每个大小和形状(例如圆形或椭圆形大小)可以被代替。曲率项303可以例如基于如图3c所示的经过计算的曲率图，当点25远离特征20的位置时该项具有较高的值。

该曲率图curv()被定义为逐点的(point by point)图像I_σ的高斯曲率与原始图像I_σ的乘积(I_σ是具有大小为σ的高斯核的滤波图像I的结果)。函数curv()倾向于产生在其中突出给定大小的斑点类(spot-like)对象的图。某点处的二维表面的高斯曲率是该点处的海塞矩阵(Hessian Matrix)的行列式(determinant)(该海塞矩阵是二阶导数矩阵)。只有在所考虑的点形成帽状物(cap)或杯状物(cup)的情况下该正值为高。当在该点处乘以原始图像值时，杯状物会在图上产生低的值而帽状物会产生高的值。因此，负的曲率项303的最小化确保所有的(所有位置的和)点25在特征201的图像上朝向特征20的位置移动。

能量函数可以被给定为E(P)＝αF(P)+βG(P)+γH(P)，其中α，β和γ是加权因子，P＝(P_1，1，p_1，2，...，p_n，m)是网格模型203、204的点25，并且对应的项被给定为：

作为距离项301，其中，f(p，q)＝(D_interspot-d(p，q))²，其中D_interspot为距离31的初始值，并且d(p，q)表示由边缘28连接的两个点p和q 25的当前距离31，以及作为正交性项302，其中

以及

作为基于上述曲率图的曲率项303。

在网格模型204的适配之后，每个点25的坐标被用于提取特征401的图像(如图4a所示)。如前面所提及的那样，特征20可以位于多达四个相邻图像21上。在特定实施例中，这可以是使用来自于将网格模型204适配到降低分辨率的图像上的坐标由相邻高分辨率图像生成的高分辨率合成斑点图像。

图4b示出特定实施例的结果，包括示出覆盖在红色siRNA斑点图像上的网格(如插图中所示)以及丢失的斑点检测27的在大的微阵列上的适配网格模型204。分析未印刷的点可以被自动检测并从以下方式的任何其他分析排除。由适配的网格模型204的点25给出的每个斑点的理论位置处的邻域应当示出具有对于正确印刷的斑点的相对较强斑点亮度以及曲率的图片。因此，示出比阵列的正常分布更低的亮度和曲率的图片被看作未印刷的斑点并且被移除。

可以使用源自包括siRNA斑点的微阵列的图像。图5给出这种源自斑点通道的图像的示例。该图像包含四个斑点50、51，它们之一完全在图像上50而它们中的三个仅部分可见51。

一旦网格模型204被适配并且特征图像401被一个接一个地自动提取，就利用其他算法进一步分析它们。这创建了一连串(a flow of)注释图像，每个都具有每个图像的单个中心特征。对于如本发明的一个实施例所公开的微阵列上的斑点的分析，这种类型的图像时有利的，因为在该应用领域中大多数图像分析算法已被专门设计为分析位于单个斑点上的细胞。

所描述的本发明的特征和特性对于本发明的任何组合是重要的。

参考标记

1      成像装置                                    图1

10     图像获取设备

11     基底的图像

12     分析设备

121    降低图像分辨率的步骤

122    适配网格模型的步骤

123    提取特征的图像的步骤

124    分析所提取的特征的图像的步骤

13     印刷机

131    基底

132    注释文件

14     数据库

201    特征的图像                                  图2

20     特征

21     图像

202    特征在图像上的位置

22     在其中心处具有特征的图像

23     具有多个特征的图像

203    初始网格模型

24     拐角点

25     点

28     边缘

204    适配的网格模型

26     与特征适配的点

27     与丢失的特征适配的点

301    距离项                                      图3

31     距离

302    正交性项

32     角度

33     点

34     相邻的点

303    曲率项

401    所提取的特征的图像                          图4

402    适配的网格模型

5      包括斑点的微阵列的部分图像                  图5

50     斑点

51     部分斑点

Claims (14)

1.一种用于成像基底上的特征（20）的方法，包括：

- 扫描基底并产生其图像（21）；

- 在图像（21）上覆盖网格模型（203）；

- 使网格模型（204）与至少一些特征（20）在图像（21）上的位置适配；以及

- 提取特征（20）的图像，

其中所述适配包括所述网格模型（203）的能量函数的结果的迭代优化，

其中能量函数的结果被最小化，并且所述能量函数被定义为：

E(P)=αF(P)+βG(P)+γH(P),

其中α，β和γ是加权因子，F(P)是由网格模型（203）的相邻点（25）之间的距离（31）确定的距离项（301），G(P)是网格模型（203）的正交性项（302），且H(P)是曲率项（303），所述曲率项（303）由网格模型（203）的点（25）与根据图像（21）的曲率图计算出的特征（20）的位置的偏差确定，并且对应的项被给定为：

其中 

其中 

，以及

。

2.根据权利要求1所述的方法，其中所述网格模型（203）基于基底上的特征（20）的位置的图案。

3.根据权利要求1或2所述的方法，其中所述网格模型（203）基于包括以下各项的组中的网格：规则网格、直线网格、笛卡尔网格、多边形网格以及六边形网格。

4.根据权利要求1或2所述的方法，其中所述覆盖包括通过粗略近似确定基底上的一些特征（20）的位置以及将所述网格模型（203）的一些点（25）覆盖到所述位置上。

5.根据权利要求1或2所述的方法，其中在所述网格模型（203）的适配之前减小所述图像（21）的尺寸。

6.根据权利要求1或2所述的方法，其中在所述网格模型（203）的适配之前处理所述图像（21）包括滤波器的应用、平滑、边缘增强以及颜色适应中的至少一个。

7.根据权利要求1或2所述的方法，其中使网格模型（203）与至少一些特征（20）的位置适配包括使网格模型（203）的点（25）与特征（20）的中心适配。

8.根据权利要求1或2所述的方法，其中所述特征（20）是微阵列上的斑点。

9.根据权利要求8所述的方法，其中所述微阵列包括siRNA转染细胞的生成的结果。

10.一种用于成像基底上的特征（20）的装置，包括：

- 用于扫描基底并产生其图像（21）的模块；

- 用于在图像（21）上覆盖网格模型（203）的模块；

- 用于使网格模型（204）与至少一些特征（20）在图像（21）上的位置适配的模块；以及

- 用于提取特征（20）的图像的模块，

其中所述适配包括所述网格模型（203）的能量函数的结果的迭代优化，

其中能量函数的结果被最小化，并且所述能量函数被定义为：

E(P)=αF(P)+βG(P)+γH(P),

其中α，β和γ是加权因子，F(P)是由网格模型（203）的相邻点（25）之间的距离（31）确定的距离项（301），G(P)是网格模型（203）的正交性项（302），且H(P)是曲率项（303），所述曲率项（303）由网格模型（203）的点（25）与根据图像（21）的曲率图计算出的特征（20）的位置的偏差确定，并且对应的项被给定为：

其中 

其中

，以及

。

11.根据权利要求10所述的装置，其中根据图案来布置所述基底（131）上的特征，所述图案是包括以下各项的组中的网格：规则网格、直线网格、笛卡尔网格、多边形网格以及六边形网格。

12.根据权利要求10或11所述的装置，其中所述基底（131）是包括斑点的微阵列，并且其中所述图像获取设备（10）包括用于产生具有亚细胞分辨率的图像（11）的模块。

13.根据权利要求12所述的装置，还包括印刷机（13）模块，在基底（131）上生成特征的，以及包含特征的位置的注释文件（132）。

14.根据权利要求13所述的装置，其中所述印刷机（13）模块生成斑点，并且在每个斑点上应用来自库的核酸或者来自库的化合物，所述库包括RNAi库、siRNA库或化合物库/cDNA库，以使得所述微阵列表示整个库、子集或者其任何组合。

Images