CN105144237B - 微球的实时跟踪和关联 - Google Patents

Abstract

用于跟踪并关联粒子的方法和设备包括捕捉粒子的第一图像和第二图像的光学检测器。使用视频检测器捕捉粒子的多个视频帧。视频检测器以比图像被光学检测器捕捉的速率更快的速率捕捉粒子的视频帧，以跟踪粒子的移动。识别粒子在粒子的第一图像中的第一图像位置，并且然后使用多个视频帧将粒子的第一图像位置与粒子在第二图像中的第二图像位置关联。

Description

微球的实时跟踪和关联

相关申请的交叉引用

本申请要求2013年3月15日提交的美国临时专利申请序列号61/790,327的优先权，其内容通过引用合并于此。

技术领域

本发明涉及运动跟踪和图像配准的方法和设备，并且更具体地涉及来自以离散时间间隔捕捉的粒子的图像的粒子的实时跟踪和关联。

背景技术

给定以离散时间间隔捕捉的粒子图像集，其中图像之间经过的时间太大以至于不能解析个体随机粒子运动，不可以识别每个图像中的相同粒子。例如，特定粒子在第一图像中的定位在第二图像中可能是空的或被不同的粒子占据，因为在第一图像被捕捉的时间与第二图像被捕捉的时间之间的时间内图像中的粒子可能移动。像这样，可能难以将两个单独图像中的测量归属于共同的粒子。

图1是示出以离散时间间隔捕捉的两个粒子图像之间的随机粒子移动的结果的图示。粒子图像110可以是在粒子图像120被捕捉之前的时间处捕捉的图像。如根据两个粒子图像110和120明显的是，粒子111在第一粒子图像110被捕捉的时间与第二粒子图像120被捕捉的时间之间的时间内从其在成像面上的定位移开。当没有在第一粒子图像110和第二粒子图像120被捕捉之间的时间期间跟踪粒子111的能力的情况下，可能难以将对应于图像110中的粒子111的测量与对应于图像120中的粒子111的测量关联。

图2是示出两个单独图像中的粒子定位的变化的图示。这样的定位变化可能是由系统光学元件引起，即使粒子没有移动。如图1那样，从单个粒子取得的测量可以来自检测器的不同区域。

发明内容

用于跟踪和关联来自以离散时间间隔捕捉的粒子的图像的粒子的方法和设备允许从多个图像中的多个粒子之中进行各个粒子的测量。除了使用第一光学检测器捕捉粒子的“分类”图像(例如，针对检测光学签名，诸如荧光发射的图像)之外，系统还可以包括第二光学检测器，本文中被称作视频检测器，其以比图像被第一光学检测器捕捉的速率更快的速率捕捉帧。这样的系统能够更紧密地跟踪粒子的移动，由此能够更准确地识别在一个时间段内取得的多个不同的图像中的相同粒子。结果，系统可以改进从通过多个图像对粒子进行测量而获取的数据的准确度。

例如，考虑用于微滴中的荧光粒子的检测的荧光光学系统。由于微滴表面特性，微滴内的粒子移动可能是易变的。为了实现多重和高限制检测，可能需要捕捉不同波长的多个“分类”图像。当用单个光学检测器连续捕捉这些图像时，由于移动部分(例如，滤光轮、聚焦位置)和/或捕捉整合时间(capture integration time)，在第一图像和最后一个图像被捕捉的时间之间可能经过数秒。因此由于在图像捕捉之间粒子的移动会变得难以将第一分类图像中的粒子的位置与后续分类图像(例如，第二图像、第三图像、第四图像、等等)中的粒子的位置关联。本文公开的方法和设备通过跟踪和关联以离散时间间隔取得的图像中的粒子来解决该问题。

公开了一种方法。在一个实施例中，该方法可以包括使用光学检测器捕捉一个或更多个粒子的第一图像和第二图像以及使用视频检测器捕捉一个或更多个粒子的多个视频帧。此外，在一些实施例中，该方法可以包括使用处理器识别粒子在一个或更多个粒子的第一图像中的第一图像位置。在一些实施例中，该方法可以包括使用处理器，利用多个视频帧将粒子在第一图像中的第一图像位置与粒子在第二图像中的第二图像位置关联。

在一些实施例中，该方法可以包括对使用光学检测器捕捉的图像中的每个图像标记时间戳。此外，该方法可以包括对使用视频检测器捕捉的多个视频帧中的每个视频帧标记时间戳。该方法可以包括在使用处理器将粒子在第一图像中的第一图像位置与粒子在第二图像中的第二图像位置关联时使用时间戳。

在一些实施例中，该方法可以包括将所识别的第一图像中的第一图像位置从图像坐标系中的位置变换为视频帧坐标系中的位置，以识别第一视频帧位置。此外，该方法可以包括识别多个视频帧中的、具有与第一图像的时间戳最接近的时间戳的第一视频帧。在一些实施例中，该方法可以包括识别具有与第一视频帧位置最接近的、所识别的第一视频帧中的位置的粒子。在一些实施例中，该方法可以包括跟踪粒子从第一视频帧到第二视频帧的移动，以定位粒子在第二视频帧中的第二视频帧位置。此外，该方法可以包括将视频帧坐标系中的第二视频帧位置逆变换为图像坐标系中的位置，以识别第二图像中的第二图像位置。

在一些实施例中，该方法可以包括利用视频检测器以通过校准例程确定的帧速率捕捉多个视频帧。在一些实施例中，该方法可以包括在存储装置中存储多个视频帧。

在一些实施例中，该方法可以包括至少捕捉一个或更多个粒子的第三图像，以及使用多个视频帧将粒子在第一图像中的第一图像位置与粒子在第三图像中的第三图像位置关联。

在方法的实施例中，视频检测器具有是光学检测器的帧速率的至少三倍的帧速率。在一些实施例中，视频检测器具有是光学检测器的帧速率的至少3倍的帧速率。

在一些实施例中，粒子可以包括两个荧光团，并且光学检测器可以被配置成以对应于两个荧光团的不同波长捕捉第一图像和第二图像。此外，在一些实施例中，粒子可以包括三个荧光团，并且光学检测器可以被配置成以对应于三个荧光团的不同波长捕捉第一图像、第二图像和第三图像。

还公开了一种设备。在一些实施例中，该设备可以包括被配置成保持一个或更多个粒子的成像区域。此外，该设备可以包括被配置成照射成像区域中的一个或更多个粒子的光辐射装置。在一些实施例中，该设备可以包括：光学检测器，被配置成捕捉一个或更多个粒子的第一图像和第二图像；以及视频检测器，被配置成捕捉一个或更多个粒子的多个视频帧。此外，该设备可以包括耦接到光学检测器和视频检测器的处理器，其被配置成识别粒子在一个或更多个粒子的第一图像中的第一图像位置。处理器还可以被配置成使用多个视频帧将粒子在第一图像中的第一图像位置与粒子在第二图像中第二图像位置关联。

在一些实施例中，处理器还可以被配置成对使用光学检测器捕捉的图像中的每个图像标记时间戳，并且对使用视频检测器捕捉的多个视频帧中的每个视频帧标记时间戳。此外，在一些实施例中，处理器还可以被配置成将所识别的第一图像中的第一图像位置从图像坐标系中的位置变换为视频帧坐标系中的位置，以识别第一视频帧位置。此外，处理器还可以被配置成识别多个视频帧中具有与第一图像的时间戳最接近的时间戳的第一视频帧，以及识别具有所识别的第一视频帧中的与第一视频帧位置最接近的位置的粒子。处理器还可以被配置成跟踪粒子从第一视频帧到具有与第二图像的时间戳最接近的时间戳的第二视频帧的移动，以定位粒子在第二视频帧中的第二视频帧位置。此外，处理器还可以被配置成将第二视频帧中的第二视频帧位置从视频帧坐标系中的位置逆变换为图像坐标系中的位置，以识别第二图像中的第二图像位置。

在一些实施例中，该设备可以包括二向色镜，其将从光辐射装置辐射的光与从成像区域中的粒子发射的光分开。在一些实施例中，该设备可以包括光学部件，用于聚焦从粒子辐射的光。

在一些实施例中，该设备可以包括位于成像区域与光学检测器之间的滤波器。滤波器可以被配置成允许具有第一波长的光从成像面通过滤波器并传递至光学检测器，以及反射或吸收具有与第一波长不同的波长的光。

在一些实施例中，视频检测器可以被配置成以是光学检测器捕捉图像的速率的至少三倍的速率捕捉视频帧。在一些实施例中，视频检测器可以被配置成以是光学检测器捕捉图像的速率的至少十倍的速率捕捉视频帧。在一些实施例中，处理器可以被配置成通过校准例程确定视频检测器捕捉视频帧的速率。

在一些实施例中，处理器可以被配置成使用硬件机构将光学检测器与视频检测器彼此时间同步。在一些实施例中，处理器可以被配置成使用软件机构将光学检测器与视频检测器彼此时间同步。

根据权利要求10所述的设备，其中，成像区域是成像面。

根据权利要求10所述的设备，其中，成像区域是三维容积。

在一些实施例中，本文公开的方法和设备使用不止一个光学检测器和不止一个视频检测器。

术语“耦接”被限定为连接，尽管不一定是直接连接，以及不一定是机械连接。

术语“一种(a)”和“一个(an)”被定义为一个或更多个，除非本公开内容另有明确要求。

术语“包括(comprise)”(和其它形式的包括，诸如“包括(comprises)”和“包括(comprising”)、“具有(have)”(和其它形式的具有，诸如“具有(has)”和“具有(having)”、“包含(include)”(和其它形式的包含，诸如“包含(includes)”和“包含(including”)、“包涵(contain)”(和其它形式的包含，诸如“包涵(contains)”和“包涵(containing”)是开放式连系动词。结果，“包括”、“具有”、“包含”或“包涵”一个或更多个步骤或元件的方法和装置拥有这些一个或更多个步骤或元件，但是不限于仅拥有这些一个或更多个元件。同样地，“包括”、“具有”、“包含”或“包涵”一个或更多个特征的方法的步骤或装置的元件拥有这些一个或更多个特征，但是不限于仅拥有这些一个或更多个特征。此外，以某一方式被配置的装置或结构以至少该方式被配置，但是也可以用未列出的方式来配置。

前述内容已经相当广泛地概述了本公开内容的特征和技术优势，使得之后的本公开内容的详细描述可以被更好地理解。下文中将描述构成本公开内容的权利要求的主题的、本公开内容的附加特征和优势。本领域技术人员应理解，所公开的构思和具体实施例可以被容易地用作用于修改或设计用于实现本公开内容的相同目的的其它结构的基础。本领域技术人员还应认识到，这样的等同构造不应背离所附权利要求阐述的本公开内容的精神和范围。在结合附图考虑时，根据以下描述，将更好地理解被认为是本公开内容的关于其组织和操作方法二者的特征的新颖特征连同其另外的目的和优势。然而，应明显理解，仅出于说明和描述的目的提供了每个图，并且每个图不意在作为本公开内容的限制的定义。

附图说明

以下附图构成本说明书的一部分，并且被包括以进一步展示本发明的某些方面。参考这些附图中的一个或更多个，结合本文呈现的具体实施例的详细描述可以更好地理解本发明。

图1是示出以离散时间间隔捕捉的两个粒子图像之间的随机粒子移动的结果的图示。

图2是示出以离散时间间隔捕捉的两个图像之间的粒子一致(uniform)移动的结果的图示。

图3是图示用于跟踪并关联粒子的粒子成像设备的一个实施例的示意性框图。

图4是图示用于跟踪并关联粒子的方法的一个实施例的流程图。

图5是图示用于跟踪并关联粒子的方法的另一实施例的流程图。

图6A和图6B是示出粒子的两个粒子图像的结果的图示。

图6C是示出彼此交叠的粒子的多个视频帧位置的结果的图示。

图7A至图7B是示出两个粒子图像位置的结果和彼此交叠的粒子的多个视频帧位置的图示。

图8是图示用于跟踪并关联粒子的粒子成像设备的实施例的示意性框图。

图9是图示用于跟踪并关联粒子的方法的实施例的流程图。

具体实施方式

将参考附图中图示的且在以下描述中详细说明的非限制性实施例来更全面地说明各个特征和有利详情。省略公知的起始材料、处理技术、部件和装备的描述，以不会详细地不必要地使本发明模糊。然而，应理解，在指示本发明的实施例的同时，详细描述和具体示例仅以图示的方式给出，而不是以限制的方式给出。根据本公开内容，在基本发明构思的精神和/或范围内的各种替代、修改、添加和/或重新布置对于本领域技术人员而言将变得明显。

在以下描述中，包括多个具体细节以提供对所公开的实施例的透彻理解。然而，本领域技术人员将认识到，可以不使用一个或更多个具体细节或使用其它方法、部件、材料等来实践本发明的实施例。在其它实例中，没有详细示出或描述公知的结构、材料或操作以避免使本发明的多个方面模糊。

虽然本文描述了关于微球或微珠的一些实施例，但是应理解本文描述的系统和方法也可以用于其它粒子，这些其它粒子包括微粒、金纳米粒子、量子点、纳米点、纳米粒子、纳米壳、纳米晶体、微滴、稀土金属粒子、磁粒子、胶乳粒子、细胞、微生物、囊泡、细胞器官、有机物、非有机物、或本领域已知的任何其它散体(discrete)物质。粒子可以由各种物质形成，这些物质包括胶乳、聚苯乙烯、琼脂糖、硅石、玻璃或葡聚糖。在某些实施例中，粒子可以是被形成为乳剂的微滴，该乳剂包括例如油包水乳剂或水包油乳剂。在具体实施例中，微滴体积可以为大约1-5微微升(picoliter)，5-10微微升；10-50微微升；50-100微微升；100-500微微升；500-1000微微升；1000-5000微微升；5000-10000微微升；10000-50000微微升；50000-100000微微升；100000-500000微微升或500000-1000000微微升。在具体实施例中，微滴体积可以为大约1-5毫微微升(femtoliter)，5-10毫微微升；10-50毫微微升；50-100毫微微升；100-500毫微微升；500-1000毫微微升；1000-5000毫微微升；5000-10000毫微微升；10000-50000毫微微升；50000-100000毫微微升；100000-500000毫微微升或500000-1000000毫微微升。在某些实施例中，微滴体积可以为大约1.0-1.5微升；1.5-2.0微升；2.0-2.5微升；或2.5-3.0微升。粒子可以具有包括颜色、荧光或化学发光的光学特性。粒子可以用作用于分子反应的媒介。在Fulton的美国专利第5,736,330号、Chandler等人的美国专利第5,981,180号、Fulton的美国专利第6,057,107号、Chandler等人的美国专利第6,268,222号、Chandler等人的美国专利第6,449,562号、Chandler等人的美国专利第6,514,295号、Chandler等人的美国专利第6,524,793号和Chandler等人的美国专利第6,528,165号中示出并描述了适当粒子的示例，上述美国专利如同本文全部阐述那样通过引用被合并。本文描述的系统和方法可以与这些专利中描述的任何粒子一起使用。此外，用于在本文描述的方法和系统实施例中使用的粒子可以从诸如德克萨斯州奥斯汀的Luminex公司的制造商获得。本文中可以可交换地使用术语“微珠”和“微球”。

此外，与本文描述的系统和方法兼容的粒子的类型包括具有附着于粒子的表面或与粒子的表面相关联的荧光材料的粒子。在Chandler等人的美国专利第6,268,222号、Chandler等人的美国专利第6,649,414号、Chandler等人的美国专利第7,718,262号中示出并描述了这些粒子的类型，其中荧光染料或荧光粒子被并入粒子中以提供分类荧光(即，被测量并用于确定粒子或粒子所属的子集的身份的荧光发射)，上述美国专利如同本文全部阐述那样通过引用被合并。在本文描述的方法和系统中可以使用的粒子的类型还包括具有合并到粒子的核中的一个或更多个荧色物或荧光染料的粒子。

可以在本文描述的方法和系统中使用的粒子还包括在曝光于一个或更多个适当的光源时呈现一个或更多个荧光信号的粒子。此外，粒子可以被制造，使得在激发时粒子呈现多个荧光信号，每个荧光信号可以被分开地或结合地使用以识别粒子。

本文描述的方法一般地包括分析粒子的一个或更多个图像以及处理从图像测量的数据以确定粒子的一个或更多个特征，诸如但不限于表示在多个检测波长处粒子的荧光发射幅值的数值。可以根据Fulton的美国专利第5,736,330号、Chandler等人的美国专利第5,981,180号、Chandler等人的美国专利第6,449,562号、Chandler等人的美国专利第6,524,793号、Chandler等人的美国专利第6,592,822号、Chandler等人的美国专利第6,939,720号、Roth的美国专利第8,031,918号中描述的方法执行粒子的一个或更多个特征的后续处理，诸如使用一个或更多个数值来确定表示粒子所属的多重(multiplex)子集的令牌ID和/或表示束缚于粒子的表面的分析物的存在和/或量的报告值，上述美国专利如同本文全部阐述那样通过引用被合并。在一个实施例中，可以在仪器中使用本文描述的方法。仪器是具有自动化图像处理软件的多重平台，其能够测量在成像场随机分布的高达50个光学不同的磁珠群的荧光强度。

现在转至附图，图3图示了用于跟踪并关联粒子的粒子成像设备300的一个实施例。应注意，图3不是按比例绘制的，并且没有详细示出系统的一些元件以不会使系统模糊。

根据一个实施例，粒子成像装置300可以包括被配置成保持多个粒子的成像面302、以及照射成像面302上的粒子的光辐射装置304。在一个实施例中，光辐射装置304可以是红外照射器。在一些实施例中，光辐射装置可以是LED、激光器或多谱灯。二向色镜312可以用于将从光辐射装置304辐射的光与发射的光分开，并且由此在被光辐射装置304照射之后从成像面302上的粒子被辐射。

粒子成像装置300还可以包括被配置成捕捉粒子在成像面302上的多个图像的光学检测器310、以及被配置成捕捉粒子的多个视频帧的视频检测器306。从成像面302上的粒子辐射的光可以被光学部件316聚焦，被分束器314分开，并且被导向光学检测器310和视频检测器306。为了产生更可靠的图像，例如，在用光学检测器310捕捉粒子的图像或用视频检测器306捕捉粒子的视频帧之前，粒子可以至少部分地在成像面302上不动。

粒子成像装置300还可以包括设置在成像面302与光学检测器310之间的滤波器308，以在多个图像被光学检测器310捕捉之前对多个图像滤波。在一些实施例中，滤波器308可以被配置成允许具有第一波长的光从成像面302通过滤波器308并传递至光学检测器310，以及反射或吸收具有与第一波长不同的波长的光。这允许基于特定波长的粒子的荧光对粒子执行测量。在一个实施例中，由光学检测器310捕捉的粒子的每个图像可以是特定波长处的粒子的图像。例如，粒子的第一图像可以仅示出辐射第一波长的光的粒子，并且粒子的第二图像可以仅示出辐射第二波长的光的粒子。在一些实施例中，粒子可以辐射多个波长的光，并且由此可以出现在以不同波长滤波的粒子的多个图像中，诸如第一图像和第二图像。因为一次使用视频检测器306可以跟踪并解析粒子的位置，所以视频检测器可以捕捉多于一个波长的粒子的视频帧。如此，即使粒子由于滤波对光学检测器是不可见的，粒子也可以对视频检测器是可见的。因此，即使粒子没有发射到达光学检测器的某一波长的光，也可以使用视频检测器跟踪粒子的位置。

粒子成像装置300还可以包括处理器318，其耦接至光学检测器310和视频检测器306并且其被配置成将光学检测器310与视频检测器306同步。处理器318可以通过对用光学检测器310捕捉的多个图像中的每个图像标记时间戳以及对用视频检测器306捕捉的多个视频帧中的每个视频帧标记时间戳，将光学检测器310与视频检测器306时间同步。处理器318还可以被配置成使用诸如携带同步脉冲的电气连接的硬件将光学检测器310和视频检测器306彼此时间同步。在一些实施例中，视频检测器306可以是与图像检测器相同类型的检测器。然而，在一些实施例中，视频检测器306可以具有比图像检测器310更小的分辨率。此外，视频检测器306可以被配置成以比光学检测器310捕捉图像更快的速率捕捉视频帧。通过以比光学检测器310捕捉图像更快的速率捕捉视频帧，视频检测器306可以允许处理器更紧密地跟踪在用光学检测器310捕捉图像的时间瞬时之间粒子的移动。例如，当第一图像被光学检测器310捕捉时，视频检测器306可以开始捕捉视频帧，并且可以以比光学检测器310捕捉图像更快的速率继续捕捉视频帧，直到光学检测器310捕捉粒子的其最后的图像。因为视频帧与用光学检测器取得的图像相比在连续帧之间具有更少的时间，所以可以使用测量的粒子的相对定位来跟踪粒子的移动。可以通过多种方法来确定视频帧被捕捉的速率。例如，在一个实施例中，处理器318可以被配置成确定视频检测器306通过校准例程捕捉视频帧的速率。这样的校准例程可以例如以不同帧速率获取视频帧，并且在给定粒子的移动的类型和量的情况下确定允许粒子的准确跟踪的最小帧速率。帧速率然后可以增大预定量以确保粒子被准确地跟踪。在另一实施例中，处理器318可以被配置成基于已知的设计特征确定视频检测器306捕捉视频帧的速率，在该情况下速率被预先确定为显著快的以准确捕捉粒子移动。例如，在一些实施例中，视频帧速率可以是图像被捕捉的速率的三倍，这会允许在两次图像捕捉之间有两个视频帧。在一些实施例中，视频帧速率可以是图像检测器的帧速率的十倍快，这会提供在两次图像捕捉之间有九个视频帧。更大的视频帧速率可以允许更好地跟踪粒子，而且也会要求更多的处理和存储资源。粒子成像装置300还可以包括存储装置320以存储由视频检测器306捕捉的多个视频帧和/或由光学检测器310捕捉的图像。

处理器318还可以被配置成识别粒子X在光学检测器310捕捉的第一图像I₁中的第一图像位置I_P1，以及使用多个视频帧将粒子X的第一图像位置I_P1与粒子X在光学检测器310捕捉的第二图像I₂中的第二图像位置I_P2关联。可以在图像坐标系中指定由光学检测器310捕捉的图像中的定位，并且可以在视频帧坐标系中指定视频检测器306捕捉的视频帧中的定位。例如，如果视频检测器306具有比光学检测器310更小的分辨率，则可以使用不同的坐标系来描述由两个检测器取得的图像中的定位(或粒子位置)。粒子可以出现在两个图像中，但是可以在两个图像中具有不同坐标，这是因为两个图像具有不同分辨率，并且因此具有不同坐标系。处理器318可以被配置成将所识别的第一图像I₁中的第一图像位置I_P1从图像坐标系中的位置变换为视频帧坐标系中的位置。通过将定位坐标从图像坐标系变换为视频帧坐标系，可以识别第一视频帧位置F_P1，其中第一视频帧位置F_P1是对应于图像中的第一图像位置I_P1的、视频帧中的位置。

为了将来自由光学检测器310捕捉的单独的图像的粒子关联，可以分析相关视频帧。例如，相关视频帧可以是大约在第一图像I₁被光学检测器310捕捉的时间与第二图像I₂被捕捉的时间之间被捕捉的视频帧。光学检测器310捕捉的第一图像I₁与第二图像I₂之间的关系可以不是关键的，因为第一图像I₁与第二图像I₂各自仅区分第一图像I₁与第二图像I₂是由光学检测器310捕捉的两个单独的图像。例如，第二图像I₂可以是在第一图像I₁被捕捉之后由光学检测器310捕捉的第四图像。作为另一示例，第二图像I₂可以在第一图像I₁被捕捉之前被捕捉，这可以是下述情况，即在取得图像之后处理数据并且处理器使用在稍晚时间取得的图像作为开始点。然而，与第一图像I₁最相关的视频帧可以是在第一图像I₁被捕捉之前或之后的最短时间量内被捕捉的视频帧。因此，处理器318可以被进一步配置成识别具有与光学检测器310捕捉的第一图像I₁的时间戳最接近的时间戳的、由视频检测器306捕捉的多个视频帧的第一视频帧F₁。

为了使用视频帧跟踪特定粒子X的移动，可以在第一视频帧F₁中识别粒子X。因此，处理器318还可以被配置成识别具有与第一视频帧位置F_P1最接近的、在识别的第一视频帧F₁中的位置的粒子Y。第一视频帧F₁中的粒子Y可以是与第一图像I₁中的粒子X相同的粒子，因此粒子X和粒子Y下文中将被称作粒子X。为了跟踪粒子X从第一图像I₁被捕捉的时间到第二图像I₂被捕捉的时间的移动，处理器318可以被配置成跟踪粒子X从第一视频帧F₁到第二视频帧F₂的移动，以定位粒子X在第二视频帧F₂中的第二视频帧位置F_P2。在实施例中，即使在第一视频帧F₁与第二视频帧F₂之间取得附加视频帧，第二视频帧F₂也可以是具有与光学检测器310捕捉的第二图像I₂的时间戳最接近的时间戳的视频帧。在一些实施例中，跟踪粒子X的移动可以包括实时地或在处理器执行的软件后处理步骤中以连续视频帧跟踪粒子X。

利用被识别的粒子X的第二视频帧位置F_P2，处理器318可以被配置成将第二视频帧F₂中的第二视频帧位置F_P2从视频帧坐标系中的位置逆变换为图像坐标系中的位置，以识别粒子X在第二图像I₂中的第二图像位置I_P2。通过将定位坐标从视频帧坐标系变换回图像坐标系，粒子X在第二图像I₂中的第二图像位置I_P2可以被识别为与根据逆变换操作被识别的粒子X的第二图像位置I_P2最接近的、粒子在第二图像I₂中的位置。

图4是示出用于跟踪并关联粒子的方法400的一个实施例的流程图。实现图4的方法400的优选实施例可以是图3中公开的设备，但是本领域技术人员将容易认识到也可以使用其它实施例和设备来实现图4的方法400，而不背离本公开内容的范围或精神。在块402处，可以由处理器将光学检测器与视频检测器同步。在块404处，可以使用光学检测器来捕捉一个或更多个粒子的第一图像和第二图像。例如，图6A和图6B是示出由光学检测器捕捉的粒子611的第一图像602和第二图像604的图示。第一图像602和第二图像604分别可以是由光学检测器以离散时间间隔捕捉的粒子611的图像。因此，602可以是例如粒子611的第一图像，而604可以是在比第一图像更晚的时间处取得的粒子611的第二图像。根据图6A和图6B，明显的是，在第一图像被捕捉的时间与第二图像被捕捉的时间之间的时间期间，粒子从第一图像602中的定位611A移动到第二图像604中的定位611B。如先前讨论的，第一图像602和第二图像604可以是在被光学检测器捕捉之前被滤波的图像，以示出不同荧光波长的粒子611。

为了在粒子611从其在第一图像602中的定位611A移动至其在第二图像604中的定位611B时跟踪粒子611的移动，在块406处，可以用视频检测器捕捉一个或更多个粒子的多个视频帧。例如，图6C是示出彼此交叠的粒子611的多个视频帧位置611C-611F以示出粒子611随时间的移动的图示。多个视频帧位置611C-611F可以示出利用视频检测器在不同的视频帧中捕捉的粒子611的连续视频帧位置。例如，视频帧位置611D可以是当在视频帧位置611C处示出粒子611的视频帧被捕捉之后的时间处捕捉的视频帧中的粒子611的位置。因此，视频帧位置611C可以是用视频检测器捕捉的粒子611的第一视频帧位置，视频帧位置611D可以是被捕捉的粒子611的第二视频帧位置，视频帧位置611E可以是被捕捉的粒子611的第三视频帧位置，等等。

为了识别可以使用多个视频帧跟踪的有关粒子，在块408处可以识别第一粒子在一个或更多个粒子的第一图像602中的第一图像位置。例如，第一粒子可以是来自第一图像602的粒子611，并且其第一图像位置可以是611A。在有关粒子被识别为粒子611的情况下，在块410处可以使用多个视频帧将第一粒子611在第一图像602中的第一图像位置611A与第一粒子611在第二图像中的第二图像位置关联。例如，第二图像可以是图6B的第二图像604，第二图像位置可以是图6B的611B，并且用于将来自第一图像602的第一图像位置611A与来自第二图像604的第二图像位置611B关联的多个视频帧可以是在多个视频帧位置611C-611F处捕捉粒子611的多个视频帧。

图5是示出用于跟踪并关联粒子的方法500的实施例的流程图。更具体地，方法500提供可以用于使用在多个视频帧位置611C-611F处捕捉粒子611的多个视频帧将第一粒子611在第一图像602中的第一图像位置611A与第一粒子611在第二图像604中的第二图像位置611B关联。为了确保使用多个视频帧跟踪的粒子对应于第一图像602中的粒子611，在块502处所识别的第一粒子611在第一图像602中的第一图像位置611A可以从图像坐标系中的位置变换为视频帧坐标系中的位置。通过这样做，对应于粒子611在第一图像602中的第一图像位置611A的、视频帧中的第一视频帧位置可以被识别。

在块504处，可以识别具有与第一图像602的时间戳最接近的时间戳的第一视频帧。例如，在位置611C处捕捉粒子611的视频帧可以被识别为具有与第一图像602的时间戳最接近的时间戳的第一视频帧。在块506处，可以识别具有与第一视频帧位置最接近的、在所识别的第一视频帧中的视频帧位置的粒子。例如，在块506处被识别的粒子可以是粒子611，因为通过在块504处被识别的第一视频帧捕捉的、粒子611的视频帧位置611C最接近在块502处被识别的第一视频帧位置。因此，由于在一些实施例中，在块506处被识别的粒子也可以是与粒子611相同的粒子，除了在与图像坐标系相对的视频帧坐标系中之外，在块506处被识别的粒子下文中同样将被称作粒子611。这是期望的结果，因为用多个视频帧跟踪的粒子611应与在第一图像602中识别的粒子611相同，使得在第二图像604中的粒子的第二图像位置611B可以与粒子611在第一图像602中的第一图像位置611A关联。

在块508处，可以从第一视频帧到第二视频帧跟踪粒子611的移动，以定位粒子611在第二视频帧中的第二视频帧位置。在一些实施例中，可以通过使用图像序列中的绝对定位并假设最接近粒子在先前图像中的位置的图像中的每个粒子对应于同一粒子，来跟踪粒子。如果视频图像的采样率足够快，则这样的假设应成立。参照图6，可以从在位置611C处捕捉粒子611的视频帧到在位置611F处捕捉粒子611的视频帧跟踪粒子611。因此，在位置611F处捕捉粒子611的视频帧可以被识别为第二视频帧，而粒子611的位置611F可以是第二视频帧位置。在一个实施例中，第二视频帧可以是具有与由光学检测器捕捉的第二图像604的时间戳最接近的时间戳的视频帧。利用在第二视频帧内识别的粒子611的视频帧位置，在块510处可以将第二视频帧中的第二视频帧位置611F从视频帧坐标系中的位置逆变换为图像坐标系中的位置，以识别第二图像602中的第二图像位置。作为逆变换结果在块510处识别的第二图像位置可以或可以不位于与由光学检测器捕捉的第二图像604中的粒子611的第二图像位置611B完全相同的位置处。然而，当粒子在第二视频帧中的位置被逆变换以获得对应于粒子在第二视频帧中的视频帧位置的图像位置时，在块510处被识别的第二图像位置可以是第二视频帧的任何粒子的最接近位置。因此，可以使用多个视频帧来识别粒子611在第二图像604中的第二图像位置611B，因为第二图像位置611B可以是与根据对第二视频帧位置611F进行逆变换而确定的图像坐标系位置最接近的任何粒子在第二图像中的位置。

图7A是示出两个粒子图像位置和彼此叠加的粒子的多个视频帧位置以图示方法400和500的一个实施例的图示。可以在由光学检测器捕捉的第一图像中识别粒子711，并且粒子711的第一图像位置可以被识别为位置711A。第一图像位置711A可以从图像坐标系位置变换成视频帧坐标系位置以识别第一视频帧位置。视频帧位置711C-711F可以用可与光学检测器同步的视频检测器连续捕捉。使用图像和视频帧的时间戳，在视频帧位置711C处捕捉粒子的视频帧可以被识别为具有与在第一图像位置711A处捕捉粒子711的第一图像的时间戳最接近的时间戳的视频帧。视频帧位置711C可以被识别为最接近变换识别的第一视频帧位置的视频帧位置，并且因此位于视频帧位置711C处的粒子可以被识别为要用多个视频帧跟踪的粒子。该粒子是与来自第一图像的粒子711相同的粒子，除了该粒子在视频帧坐标系之外。可以根据在视频帧位置711C-711F处捕捉粒子的视频帧连续地跟踪粒子的移动。可以从第一视频帧继续跟踪视频帧，直到在多个视频图像中具有最接近光学检测器捕捉的第二图像的时间戳的第二视频帧被识别。第二视频帧中被跟踪的粒子的第二视频帧位置711F可以被逆变换，以识别粒子711在光学检测器捕捉的第二图像中的第二图像位置。在光学检测器捕捉的第二图像中具有与根据逆变换操作被识别的第二图像位置最接近的位置的粒子可以在第二图像中被识别为粒子711，由此将粒子711在第一图像中的第一图像位置711A与粒子在第二图像中的第二图像位置711B关联。

图7B示出了与图7A和粒子711相比粒子721在位置721A与721B之间移动更少或图像721A-B和视频帧711C-F的采样率更快的实施例。如在图7B中看到的，视频帧位置711C最接近图像位置721A。然后在视频帧位置721C-F中跟踪粒子721。最后，视频帧位置721F用于识别粒子721的第二图像位置721B。如此，即使粒子721已经在两个图像被取得之间的时间期间移动，粒子721在第一图像位置721A中的测量和粒子721在第二图像位置721B中的测量也可以与相同粒子相关联。

图8是示出用于跟踪和关联微球粒子的粒子成像设备800的另一实施例的示意框图。如同图3，应注意，图8不是按比例绘制的，并且没有详细示出系统的一些元件，以不使系统模糊。粒子成像设备800的成像面802、光辐射装置804、视频检测器806、滤波器808、光学检测器810、分束器812、镜814、光学部件816、处理器818和存储装置820以与图3中的粒子成像设备300的成像面302、光辐射装置304、视频检测器306、滤波器308、光学检测器310、二向色镜312、分束器314、光学部件316、处理器318和存储装置320相似的方式起作用，在于视频检测器和图像检测器二者可以同时对相同的粒子成像。尽管图3的粒子成像设备300将二向色镜312置于光学部件316的、光学检测器310位于的侧(摄像机侧)，但是图8的粒子成像设备800在光学部件816的、光辐射装置804位于的侧(物侧)上使用分束器814。因此，图8中的图像检测器810可以具有与视频检测器806的光学元件分立的其自己的光学元件。

图9是示出用于跟踪并关联微球粒子的方法900的一个实施例的流程图。实现图9的方法900的优选实施例可以是图3或图8中公开的设备，但是本领域技术人员将容易认识到其它实施例和设备也可以实现图9的方法900，而不背离本公开内容的范围或精神。方法900可以适于两个图如前由光学检测器捕捉的场景，除了粒子在第二图像中的位置可能不是可确定的之外。例如，如果粒子不发射特定波长的荧光(或发射该波长的不可估计的光的量)，并且滤波器808仅发射具有该相同波长的光，则图像检测器810可能不会注意到粒子的荧光。方法可以在块902处开始，在块902处识别第一图像和第二图像。第一图像和第二图像可以是光学检测器以离散时间间隔捕捉的图像。粒子在第一图像中的位置可以是可确定的，但是粒子在第二图像中的位置可以是可确定的或可以不是可确定的。在块904处，可以识别第一粒子在第一图像中的第一图像位置。在块904处已识别第一图像位置的第一粒子可以是可能寻求测量的粒子，并且因此第一粒子在多个图像中的位置可以被确定以收集来自对第一粒子的多个图像执行的测量的数据。在块906处，可以将第一图像位置从图像坐标系中的位置变换为视频坐标系中的位置，以识别第一视频帧中的第一视频帧位置。第一视频帧可以是在与第一图像被光学检测器捕捉的时间最接近的时间处由视频检测器捕捉的视频帧。如前，在第一视频帧中可以识别具有与作为变换操作结果在块906处被识别的第一视频帧位置最接近的、第一视频帧中的位置的粒子。第一视频帧中被识别的粒子可以是第一粒子，并且第一粒子可以以视频检测器捕捉的连续视频帧被跟踪。如结合图3和图5所公开的，光学检测器和视频检测器可以时间同步以帮助识别相关视频帧，从而跟踪粒子的移动。光学检测器捕捉的每个图像和视频检测器捕捉的每个视频帧可以被标记时间戳，以识别图像与视频帧之间的时间关系。可以使用连续捕捉的视频帧来连续跟踪第一粒子，直到大约第二图像被光学检测器捕捉的时间。虽然在一些实施例中连续取得第一图像和第二图像，但是在一些实施例中可以在第一图像与第二图像之间取得一个或更多个图像。

对于由光学检测器捕捉的第二图像，在块908处可以识别具有最接近第二图像的时间戳的两个时间戳的两个视频帧。对于在块908处识别的两个视频帧中的每个，在块910处可以识别与两个视频帧中的每个视频帧中的第一视频帧位置最接近的粒子的视频帧位置。在块912处，可以将在块908处捕捉的两个视频帧中的每个视频帧中的两个粒子的视频帧位置插值，以确定在视频帧坐标系中第一粒子的第二视频帧位置。在块914处，可以对第二视频帧位置施加逆变换，以确定第二图像中第一粒子的图像位置。第二图像中第一粒子的图像位置可以被确立为与作为块914处的逆变换操作结果的图像位置最接近的第二图像中的粒子的位置。然而，因为图像检测器取得的图像可以被滤波(仅允许特定波长到达检测器)，所以第一粒子可能不出现在第二图像中。然而，因为第二图像中的定位是已知的，所以可以知道粒子没有发射在第二图像中被捕捉的光的事实，并且该信息可以归属于第一粒子。在一些实施例中，如果在图像中粒子的期望位置的预定半径内没有找到粒子，则可以确定粒子不发射被检测到的波长的光。通过确定第一粒子的第二图像位置和第一粒子的第一图像位置，关于在第一图像和第二图像中取得的粒子的信息可以被关联(即使粒子没有出现在图像之一中)。

本文描述的方法和设备通常被描述为与成像面内的粒子一起实现。然而，方法和设备也可以与其它成像区域中的粒子一起使用。例如，成像区域可以包括三维区域或容积，诸如水滴或微壁。此外，多个检测器可以与本文中描述的方法一起使用。例如，置于不同定位的两个或更多个视频检测器可以用于跟踪三维移动的粒子的位置。该跟踪信息然后可以用于将由一个或更多个光学检测器在不同时间处取得的测量关联到特定粒子。

在一些实施例中，有形计算机可读介质(诸如CD、硬盘、RAM或闪存)例如可以被制成、记录或写入，以具有在由处理器执行时能够执行本文描述的方法的指令。

鉴于本公开内容可以得到并执行本文公开并要求保护的所有方法，而无需过度实验。虽然已经关于优选实施例描述了本发明的设备和方法，但是本领域技术人员将明白可以对方法、在本文描述的方法的步骤或步骤序列中施加变化，而不会背离本发明的构思、精神和范围。例如，本文公开的方法可以在采集信息时实时地应用，或可以在后处理步骤中采取所有措施之后执行该方法。此外，可以对公开的设备进行修改，并且对于本文描述的部件可以取消或替代部件，其中实现相同或相似的结果。对于本领域技术人员明显的所有这样的相似的替代和修改被认为是在所附权利要求限定的本发明的精神、范围和构思之内。

虽然已经详细描述了本公开内容及其优点，但是应理解在本文中可以进行各种改变、替代和变更，而不背离所附权利要求限定的公开内容的精神和范围。而且，本申请的范围不意在限于说明书中描述的过程、机器、制造、事物构成、手段、方法和步骤的具体实施例。如本领域技术人员根据公开内容将容易理解的，可以根据本公开内容利用与本文描述的相应实施例执行基本上相同的功能或实现基本相同的结果的现存的或后来发展的本过程、机器、制造、事物构成、手段、方法或步骤。因此，所附权利要求意图在其范围内包括这样的过程、机器、制造、事物构成、手段、方法或步骤。

Claims (16)

1.一种用于跟踪并关联粒子的方法，包括：

使用光学检测器捕捉一个或更多个粒子的第一图像和第二图像；

使用视频检测器捕捉所述一个或更多个粒子的多个视频帧；

使用处理器识别粒子在所述一个或更多个粒子的所述第一图像中的第一图像位置；

使用所述处理器对使用所述光学检测器捕捉的所述第一图像和所述第二图像标记时间戳；

使用所述处理器对使用所述视频检测器捕捉的所述多个视频帧中的每个视频帧标记时间戳；

使用所述处理器将所识别的所述第一图像中的第一图像位置从图像坐标系中的位置变换为视频帧坐标系中的位置，以识别第一视频帧位置；

使用所述处理器识别所述多个视频帧中具有与所述第一图像的所述时间戳最接近的时间戳的第一视频帧；

使用所述处理器识别具有所识别的第一视频帧中的与所述第一视频帧位置最接近的位置的粒子；

使用所述处理器跟踪所述粒子从所述第一视频帧到第二视频帧的移动，以定位所述粒子在所述第二视频帧中的第二视频帧位置；以及

使用所述处理器通过将所述视频帧坐标系中的所述第二视频帧位置逆变换为所述图像坐标系中的位置来识别所述第二图像中的第二图像位置，以将所述粒子在所述第一图像中的所述第一图像位置与所述粒子在所述第二图像中的第二图像位置关联。

2.根据权利要求1所述的方法，其中，所述视频检测器以通过校准例程确定的帧速率捕捉所述多个视频帧。

3.根据权利要求1所述的方法，还包括至少捕捉所述一个或更多个粒子的第三图像，以及使用所述多个视频帧将所述粒子在所述第一图像中的所述第一图像位置与所述粒子在所述第三图像中的第三图像位置关联。

4.根据权利要求1所述的方法，其中，所述视频检测器具有是光学检测器的帧速率的至少三倍的帧速率。

5.根据权利要求1所述的方法，其中，所述粒子包括两个荧光团，并且所述光学检测器被配置成以对应于所述两个荧光团的不同波长捕捉所述第一图像和所述第二图像。

6.根据权利要求3所述的方法，其中，所述粒子包括三个荧光团，并且所述光学检测器被配置成以对应于所述三个荧光团的不同波长捕捉所述第一图像、所述第二图像和所述第三图像。

7.一种用于跟踪并关联粒子的设备，包括：

成像区域，被配置成保持一个或更多个粒子；

光辐射装置，被配置成照射所述成像区域中的所述一个或更多个粒子；

光学检测器，被配置成捕捉所述一个或更多个粒子的第一图像和第二图像；

视频检测器，被配置成捕捉所述一个或更多个粒子的多个视频帧；以及

耦接到所述光学检测器和所述视频检测器的处理器，被配置成：

识别粒子在所述一个或更多个粒子的所述第一图像中的第一图像位置；

对使用所述光学检测器捕捉的所述第一图像和所述第二图像标记时间戳；

对使用所述视频检测器捕捉的所述多个视频帧中的每个视频帧标记时间戳；

将所识别的所述第一图像中的第一图像位置从图像坐标系中的位置变换为视频帧坐标系中的位置，以识别第一视频帧位置；

识别所述多个视频帧中具有与所述第一图像的所述时间戳最接近的时间戳的第一视频帧；

识别具有所识别的第一视频帧中的与所述第一视频帧位置最接近的位置的粒子；

跟踪所述粒子从所述第一视频帧到第二视频帧的移动，以定位所述粒子在所述第二视频帧中的第二视频帧位置；以及

通过将所述视频帧坐标系中的所述第二视频帧位置逆变换为所述图像坐标系中的位置来识别所述第二图像中的第二图像位置，以将所述粒子在所述第一图像中的所述第一图像位置与所述粒子在所述第二图像中第二图像位置关联。

8.根据权利要求7所述的设备，还包括：

二向色镜，将从所述光辐射装置辐射的光与从所述成像区域中的所述粒子发射的光分开；以及

光学部件，聚焦从所述粒子辐射的所述光。

9.根据权利要求7所述的设备，还包括位于所述成像区域与所述光学检测器之间的滤波器，其中，所述滤波器被配置成：

允许具有第一波长的光从所述成像区域通过所述滤波器并传递至所述光学检测器；以及

反射或吸收具有与所述第一波长不同的波长的光。

10.根据权利要求7所述的设备，其中，所述视频检测器被配置成以是所述光学检测器捕捉图像的速率的至少三倍的速率捕捉视频帧。

11.根据权利要求7所述的设备，其中，所述处理器被配置成通过校准例程确定所述视频检测器捕捉视频帧的速率。

12.根据权利要求7所述的设备，其中，所述处理器还被配置成使用硬件机构将所述光学检测器与所述视频检测器彼此时间同步。

13.根据权利要求7所述的设备，其中，所述处理器还被配置成使用软件机构将所述光学检测器与所述视频检测器彼此时间同步。

14.根据权利要求7所述的设备，其中，所述成像区域是成像面。

15.根据权利要求7所述的设备，其中，所述成像区域是三维容积。

16.一种有形计算机可读介质，包含在由处理器执行时使得所述处理器执行步骤的指令，所述步骤包括：

使用光学检测器捕捉一个或更多个粒子的第一图像和第二图像；

使用视频检测器捕捉所述一个或更多个粒子的多个视频帧；

使用处理器识别粒子在所述一个或更多个粒子的所述第一图像中的第一图像位置；

使用所述处理器对使用所述光学检测器捕捉的所述第一图像和所述第二图像标记时间戳；

使用所述处理器对使用所述视频检测器捕捉的所述多个视频帧中的每个视频帧标记时间戳；

使用所述处理器将所识别的所述第一图像中的第一图像位置从图像坐标系中的位置变换为视频帧坐标系中的位置，以识别第一视频帧位置；

使用所述处理器识别所述多个视频帧中具有与所述第一图像的所述时间戳最接近的时间戳的第一视频帧；

使用所述处理器识别具有所识别的第一视频帧中的与所述第一视频帧位置最接近的位置的粒子；

使用所述处理器跟踪所述粒子从所述第一视频帧到第二视频帧的移动，以定位所述粒子在所述第二视频帧中的第二视频帧位置；以及

使用所述处理器通过将所述视频帧坐标系中的所述第二视频帧位置逆变换为所述图像坐标系中的位置来识别所述第二图像中的第二图像位置，以将所述粒子在所述第一图像中的所述第一图像位置与所述粒子在所述第二图像中的第二图像位置关联。