CN103765191B - 非破坏性地检测流体中未溶解的颗粒的方法和装置 - Google Patents

Abstract

此处公开的装置、方法和计算机程序产品可用于非破坏性检测器皿中的流体中的诸如玻璃鳞片和/或蛋白质聚集体之类的未溶解颗粒，所述流体包括但不限于包含药物的流体。

Description

非破坏性地检测流体中未溶解的颗粒的方法和装置

背景技术

为了表征给定药品配方的品质，区分各种颗粒类型是重要的。例如，低特异性的区分可能将诸如玻璃薄片之类的物体混淆为蛋白质颗粒物质。需要高特异性的区分系统，以在确定配方时提供准确的判决。当没有关于特定药品中的颗粒类型的信息时，可能难以正确地表达药品配方。

不幸的是，常规的颗粒检测技术不适于检测蛋白质聚集体以及其他小的和/或脆弱的颗粒。人类检查员通常不能察觉小于约100微米的颗粒。自动检查技术通常是破坏性的；也就是说，它们涉及将正在检查的流体从其容器去除，这通常导致该流体不适于治疗使用。此外，常规的非破坏性检查系统仅使用容器的单个快照来确定是否存在颗粒，这经常导致不精确的颗粒尺寸测量和/或颗粒计数。常规的检查技术还可能涉及对诸如蛋白质聚集体之类的更脆弱颗粒的破坏。例如，高速旋转（例如，以2000rpm或更高转速旋转若干秒）装有流体的瓶可能撕裂流体中的蛋白质聚集体。

发明内容

这里公开的技术的一实施例涉及用于非破坏性地检测至少部分地装有流体的器皿中的颗粒（即，未溶解颗粒）的装置，所述流体诸如为水性流体、乳浊液、油、有机溶剂。这里使用时，术语“检测”将被理解为包括检测、表征、区分、辨别或识别颗粒的存在、数量、位置、身份、尺寸、形状（例如，伸长度或圆度）、颜色、荧光性、对比度、吸光度、反射度或其他特性，或者这些特性中的两个、三个、四个、五个、六个、七个、八个、九个、十个、十一个、十二个或更多的组合。在示范性实施例中，该装置包括成像器以获取表示流体中颗粒的轨道（trajectory）的时间序列数据（time-series data）。操作上耦合到成像器的存储器储存该时间序列数据，操作上耦合到存储器的处理器检测和/或识别所述颗粒。更具体而言，该处理器反转该时间序列数据的时间顺序以形成反转时间序列数据，根据该反转时间序列数据评估颗粒的轨道，并且基于该轨道确定颗粒的存在或类型。如这里定义的那样，反转时间序列数据包括已经以相反时间顺序排列的时间序列数据的帧，使得最后发生的事件首先出现（反之亦然）。

另一些实施例包括用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法和对应的计算机程序产品。实施该方法包括例如用处理器反转表示流体中的颗粒的轨道的时间序列数据的时间顺序以形成反转时间序列数据，该处理器执行编码在非易失性存储器中的计算机程序产品的指令。该方法还包括根据所述反转时间序列数据评估所述颗粒的轨道，然后基于所述轨道检测和/或识别所述颗粒。

另一实施例是一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的装置，该装置包括：

（a）至少两个成像器，定位成从不同视角对颗粒进行成像，每个成像器配置为获取流体中的颗粒的一幅或多幅二维图像；

（b）存储器，操作上耦合到所述成像器并且配置为储存所述时间序列（time-series）；以及

（c）处理器，操作上耦合到所述存储器并且配置为通过以下步骤来检测所述颗粒：

（i）组合来自至少三幅图像的二维图像以确定指示器皿中的颗粒的位置的三维数据；以及

（ii）至少部分地基于所述三维数据来检测所述颗粒。

还包括一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法，该方法包括：

（a）使用至少两个成像器以不同视角对颗粒进行成像从而各成像器分别获取器皿中的颗粒的一幅或多幅二维图像；

（b）组合来自至少两幅图像的二维图像以确定指示器皿中的颗粒的位置的三维数据；以及

（c）至少部分地基于该三维数据来检测所述颗粒。

本发明的另一些实施例包括用于非破坏性地检测至少部分地装有流体的器皿中的（一个或多个）透明或反射性物体（例如，玻璃薄片）的装置、方法和计算机程序产品。成像器获取根据时间的、表示从器皿中的多个空间位置反射的光的数据，并且将所述数据储存在操作上耦合到成像器的存储器中。操作上耦合到存储器的处理器基于所述数据，通过识别由所述数据表示的多个位置中的每个位置的相应的最大反射光量，来检测（有可能响应于编码在计算机程序产品中的指令）所述物体（例如，玻璃薄片）。所述处理器然后基于最大反射光量超过预定值的相应空间位置的数量来确定器皿中是否存在所述物体（例如，玻璃薄片）。

本发明的另一实施例是一种非破坏性地确定至少部分装有流体的器皿中的未溶解颗粒的数量和尺寸的方法。所述方法包括：

（a）接收在指定成像条件下获得的器皿中的颗粒的至少一幅图像；

（b）基于所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；

（c）确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及

（d）基于以下各项确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息：

（i）所述表观颗粒尺寸族群信息，以及

（ii）指示在与所述指定成像条件对应的条件下成像的一组

或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。

本发明的另一实施例是一种用于确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的装置，所述装置包括至少一个处理器，所述至少一个处理器配置为：

（a）接收在指定成像条件下获得的器皿中的颗粒的至少一幅图像；

（b）基于所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；

（c）确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及

（d）基于以下各项确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息：

（i）所述表观颗粒尺寸族群信息，以及

（ii）指示在与所述指定成像条件对应的条件下成像的一组

或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。

本发明的另一实施例是一种用于非破坏性地确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的计算机程序产品，所述计算机程序产品包括非易失性的、计算机可读指令，所述指令在由处理器运行时使处理器：

（a）接收在指定成像条件下获得的器皿中的颗粒的至少一幅图像；

（b）基于所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；

（c）确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及

（d）基于以下各项确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息：

（i）所述表观颗粒尺寸族群信息，以及

（ii）指示在与所述指定成像条件对应的条件下成像的一组

或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。

本发明的又一实施例是一种用于非破坏性地检测至少部分装有流体的器皿中的未溶解颗粒的方法，所述方法包括：

（a）使用至少一个成像器来对所述颗粒进行成像；

（b）处理所述图像以确定指示所述器皿中的颗粒的位置的位置数据；

（c）至少部分地基于所述位置数据来检测所述颗粒，其中至少部分地基于所述位置数据来检测所述颗粒包括识别所述器皿的子区域中颗粒的存在；

（d）当颗粒位于所述器皿的子区域中时，使用传感器来确定所述颗粒的特性；

（e）生成指示所确定的特性的颗粒特性数据；以及

（f）将所述颗粒特性数据与标识所述颗粒的数据相关联。

本发明的另一实施例是一种用于非破坏性地检测至少部分装有流体的器皿中的未溶解颗粒的装置，所述装置包括：

（a）定位成对所述颗粒进行成像的至少一个成像器；

（b）至少一个传感器，配置成当所述颗粒位于所述器皿的子区域中时，确定所述颗粒的特性；

（b）至少一个处理器，操作上耦合到所述至少一个成像器和所述传感器中的每一个并且配置为：

处理所述图像以确定指示所述器皿中的颗粒的位置的位置数据；

至少部分地基于所述位置数据检测所述颗粒并且识别所述器皿的子区域中所述颗粒的存在；

当所述颗粒位于所述器皿的子区域中时，使用来自所述传感器的信号以确定所述颗粒的特性；

生成指示所确定的特性的颗粒特性数据；以及

将所述颗粒特性数据与标识所述颗粒的数据相关联。

本发明的另一实施例是一种用于非破坏性地检测至少部分装有流体的器皿中的未溶解颗粒的装置，其中所述器皿包括绕纵轴设置的透明管状器皿壁，所述装置包括：成像器，配置为获取流体中的颗粒的一幅或多幅图像，所述成像器包括定位成将所述颗粒成像到传感器上的至少一个成像光学元件；照明光源，至少部分地定位在经过所述器皿并且与所述器皿的纵轴基本正交的平面内，所述照明光源布置成基本消除从所述光源发射的从所述器皿壁反射或折射并且被所述至少一个光学元件成像到传感器上的光线的存在。

本发明的另一实施例是一种非破坏性检测至少部分装有流体的器皿中的未溶解颗粒的方法，其中所述器皿包括绕纵轴设置的透明管状器皿壁，该方法包括：使用成像器来获取流体中的颗粒的一幅或多幅图像，所述成像器包括定位成将颗粒成像到传感器上的至少一个成像光学元件；以及用至少部分定位在经过所述器皿并且与所述器皿的纵轴基本正交的平面内的照明光源照射所述器皿，所述照明光源布置成基本消除从所述光源发射的从所述器皿壁反射或折射并且被所述至少一个光学元件成像到传感器上的光线的存在。

与其他颗粒检测系统和技术不同，本发明的系统和技术进行非破坏性操作，不需要从器皿去除流体以检测、计数和识别器皿中的颗粒。结果，本发明的系统和技术可用于研究在长时间跨度上（例如，若干分钟、小时、天、月或年）颗粒、流体和器皿的变化以及它们之间的相互作用。此外，本发明的系统和技术不一定涉及或导致对器皿中的甚至更脆弱的颗粒（诸如小的蛋白质聚集体）的破坏。它们还捕捉时间序列数据，即，表示移动流体中的颗粒轨道的数据。因为本发明的系统使用时间序列数据代替器皿的单帧快照，所以它们能更精确地评估器皿中的颗粒数量和颗粒尺寸。它们还能从颗粒的运动导出关于每个颗粒的更多信息，诸如颗粒形态和颗粒成分。例如，下落的颗粒倾向于比上升的颗粒更致密。

前述发明内容仅是示范性的，无意以任何方式成为限制。除了所示方面之外，上述实施例和特征、其他方面、实施例、以及特征将通过参照下面的图以及详细说明而变得显然。

附图说明

附图被包括在本说明书中并且构成说明书的一部分，附图示出了所公开的技术的实施例，并且与文字描述一起用于说明所公开的技术的原理。

图1A-1C分别示出视觉检查单元、视觉检查成像模块和视觉检查平台，它们每个可用于检测和识别至少部分装有流体的容器内的颗粒。

图2A示出样本准备、加载、以及图1A-1C所示的视觉检查系统的操作。

图2B示出由示范性视觉检查系统捕捉的处理了的颗粒图像以及颗粒在器皿中的移动流体中的轨道。

图3A-3C示出根据颗粒检测和识别，包含所准备的流体以及一个或多个颗粒的三类器皿搅拌：圆柱形器皿的旋转（图3A）、注射器的倒转和旋转（图3B）、以及注射器的摇摆（图3C）。

图4是用于对圆柱形器皿进行成像的远心透镜的光线图。

图5A示出含有流体的圆柱形器皿中的流体弯月面和记录体积。

图5B示出由容器形状产生的圆柱形容器内的畸变和盲点。

图5C和5D示出当对圆柱形器皿进行成像时补偿畸变和盲点的技术。

图5E示出针对容器内在各个位置的颗粒，由容器的形状产生的圆柱形容器中的畸变和盲点。

图5F示出由圆柱形容器导致的畸变的理论模型，每个模型对应于相同容器，但装有不同折射率的流体。该图还示出确认理论模型的对应实验测量。

图5G示出使用校正光学元件来校正圆柱形容器中由容器的形状所产生的畸变。

图5H是图5G的校正光学元件的细节视图。

图5I示出用于选择若干校正光学元件之一的设备。

图6A-6D示出颗粒跟踪系统，具有多个成像器以从许多角度（图6A和6B）、从相同角度以更高帧速（图6C）、以及从相同角度以不同空间分辨率（图6D）来捕捉移动颗粒的时间序列数据。

图7A和7B示出触发图像获取和照明以用于使用双传感器成像器来对颗粒进行成像。

图8是灵活多用途照明结构的示意图，其包括位于正在检查的器皿的前面、后面和下面的光源。

图9A至9C示出来自不同角度的照明以用于使用图8所示的光源区分不同的颗粒种类。

图9D示出用于使用图9A-9C的配置来区分不同的各种颗粒种类的照明序列和时序（timing）图。

图10A-10C示出来自部分装有流体的器皿的眩光（图10A）以及光源在通过绕器皿的纵轴旋转成像器而定义的区域外的定位（图10B和10C）。

图10D-10E示出用于减少或消除来自器皿的眩光的替选照明方案。

图11是适于对偏振（手性）颗粒进行成像的成像配置的示意图。

图12是适于对荧光颗粒进行激发和成像的成像配置的示意图。

图13A和13B示出用示范性视觉检查系统获取的玻璃薄片（图13A）和蛋白质（图13B）的最大强度投影图像。

图14包括流程图，其示出不同的一般颗粒检测和识别过程，以及图像预处理、颗粒跟踪和统计分析子过程。

图15A和15B示出背景扣除之前（图15A）和之后（图15B）的时间序列数据帧。

图16A是以八比特灰度级示出的颗粒的时间序列数据帧（在左边示出）。

图16B是图16B所示的时间序列数据帧的逼近视图。

图16C和16D分别是图16A和16B所示的时间序列数据帧的定限版本。

图17A-17D示出一对连续的时间序列数据帧（图17A）可以如何用于执行预测跟踪（图17B-17D）。

图18A示出显示了若干颗粒的灰度级时间序列数据帧。

图18B示出了用于定位颗粒的几何中心的图18A的定限版本。

图19示出显示了颗粒碰撞/遮挡（occlusion）的连续时间序列数据帧。

图20A示出具有彼此相邻的一对颗粒在高亮区域内的时间序列数据帧。

图20B-20E是连续的时间序列数据帧，显示了看起来像图20A的高亮区域中的颗粒传播经过彼此的颗粒遮挡。

图21A-21C示出了针对直轨道（图21A）、弯曲轨道（图21B）和抛物线轨道（图21C），由伪像（诸如器皿壁上的擦痕或污垢片）的背景扣除导致的移动颗粒的表观遮挡。

图22A-22C示出使用反转时间序列数据来定位不规则形状的颗粒的质心（图22B和22C），以及使用质心定位来确定颗粒轨道（图22A）。

图23A-23D示出在圆柱形器皿中观察和模拟的流体动力学。图23A示出弯月面形状的改变。图23B和23C示出装有流体的器皿内的涡流形成。图23D示出示范性涡流中的颗粒轨道。

图24A和24B示出反转时间序列数据的连贯帧的逼近视图，其中颗粒碰撞还未被正确地解决（图24A），以及在错误校正之后的相同图（图24B）。

图25A-25E示出由于颗粒移动引起的时间相关的颗粒尺寸测量。

图25F是图25C所示颗粒的时间相关Feret直径的曲线图。

图26A示出不同时间间隔的处理了的时间序列数据的帧，迹线指示不同的颗粒轨道。

图26B示出根据图26A所示的颗粒轨道，多个时间相关颗粒属性的示范性测量。

图27A-27F示出利用后角照明，对关注区域的检测。图27A示出原始图像（时间序列数据的帧），其经受边缘检测（图27B）、灰度级定限（图27C）、弯月面和瓶基底的识别（图27D）、关注区域确定（由图27E中的虚线定界）以及剪裁（图27F）以产生容器中可见的流体的图像。

图28A-28C示出背后照亮的瓶的填充体积检测。图28A示出瓶的原始图像。图28B示出利用定限和边缘检测确定的关注区域（由虚线定界）。瓶表面上的缺陷（图28C所示）可能妨碍填充体积检测。

图29A-29D示出从下面照亮的瓶的填充体积检测。图29A和29B是部分装满的器皿（图29A）和空器皿（图29B）的假色（false-color）图像。图29C和29D示出部分装满的、空的和部分填充的器皿的自动弯月面检测。

图30示出适于处理时间序列数据的处理器。

图31示出对包括亮颗粒和暗淡颗粒的图像的灰度级定限的示例。

图32示出具有标准尺寸（100μm）的颗粒族群的表观颗粒尺寸的直方图。

图33示出两个颗粒族群的表观颗粒尺寸计数曲线，每个族群具有所指示的标准尺寸（μm）。

图34示出四个颗粒族群的表观颗粒尺寸计数校准曲线，每个族群具有所指示的标准尺寸（μm）。

图35示出将校准曲线的叠加拟合到样本表观颗粒尺寸计数曲线。

图36比较了确定颗粒的数量和尺寸的两种技术（原始数据分箱（raw binning）和LENS）的结果。

图37示出确定颗粒的数量和尺寸的过程，特征在于对阈值尺寸之上和之下的颗粒采用不同的尺寸确定技术。

图38A-38C示出颗粒跟踪系统，具有多个成像器以从多个角度捕获移动颗粒的时间序列数据。

图39示出传播经过容器的、被图38A-C的颗粒跟踪系统的两个成像器（左面板）中的每个和三个成像器（右面板）中的每个所接收的光线。

图40示出与视觉检查的人工结果相比较的、自动颗粒检测系统（由“APT”指明）的颗粒检测结果。

图41示出自动颗粒检测系统的颗粒检测和归类结果。

图42示出针对自动颗粒检测系统，对颗粒计数随样品稀释度变化的线性度进行总结的图表。

图43示出用于对蛋白质聚集体颗粒进行检测和计数的自动颗粒检测系统的精度。

图44示出与视觉检查的人工结果对照的、自动颗粒检测系统（由“APT”指明）的蛋白质聚集体颗粒检测结果。

图45示出和视觉检测单元一起使用的分光计。

具体实施方式

图1A示出示范性自动视觉检查单元100，其配置为非破坏性地检测和/或识别至少部分装有流体的透明容器10中的颗粒，流体诸如为含蛋白质的药品复合物、药物、生物技术产品、饮品、以及由美国食品药品管理局管理的其他半透明流体。

虽然在一般实施例中，对颗粒是否存在的检测可以通过观察容器的其中外观非均匀的部分（例如，足跟部（heel））来实现，但是对于诸如计数和确定尺寸之类的颗粒特性测量而言，可能需要穿过容器的基本均匀的垂直壁观察颗粒以减少畸变。这涉及微小的填充体积，因为单元100可见的容器10中的流体的表观上二维的横截面必须有适当的面积以提供可用的统计。所需的填充体积依赖于容器的圆直径（容器越小，所需的填充体积越小）。在各种实施例中，容器的内部容积可以被至少1%、至少5%、至少10%、至少20%、至少30%、至少40%、至少50%、至少60%、至少70%、至少80%、至少90%、或至少100%地填充有流体。

在各种实施例中，这里描述的颗粒检测技术本质上是光学的。因此，在一些实施例中，容器10的壁在照明波长处足够透明以允许包含在其中的液体可见。例如，在一些实施例中，容器10可以由清澈透明的硼硅酸盐玻璃制成，但是可以使用其他适当的材料。包含在器皿内的流体的浑浊也是重要的，应足够低以允许期望的可见水平。在一些实施例中，流体具有0-100NTU（散射浊度）范围内的浑浊度，优选0-20NTU，更优选地0-10NTU。用于浑浊度测量的标准颗粒可见于例如EPA指南手册的浑浊度规定的第三章（1999年4月）中。

示范性系统可以基于颗粒的不同光学特性来检测和识别折射和/或散射光的透明和/或半透明颗粒（例如，蛋白质聚集体、玻璃鳞片或薄片、以及油滴）、反射光的颗粒（例如，金属鳞片）、和/或吸收光的颗粒（例如，炭黑和塑料颗粒）。本发明的一些视觉检查单元100可以通过使用照明序列（诸如下面描述的那些）来检测所有这三类颗粒。本发明的视觉检查单元100也可以专门配置来检测、识别和/或跟踪蛋白质（其可呈现为致密结合的聚集体、具有高的水含量的松散结合的棉絮状物质）、（反射性）晶体、胶状物质、和/或非晶聚集体。

术语“蛋白质”可与术语“多肽”互换地使用，在其最宽意义上指的是两个或更多亚单位氨基酸、氨基酸类似物或类肽物。亚单位可以通过肽键链接。在另一实施例中，亚单位可以通过其他键（例如，酯、醚等）链接。这里使用时，术语“氨基酸”指的是自然的和/或非自然或合成的氨基酸，包括甘氨酸以及D和L光学异构体、氨基酸类似物和类肽物。三个或更多氨基酸的肽一般称为寡肽，如果肽链短的话。如果肽链长，则该肽一般称为多肽或蛋白质。术语“肽片段”在这里使用时也指的是肽链。

容器10可以是矩形或圆柱形器皿，由玻璃或塑料制成（例如，杯、瓶、安瓿（ampoule）、筒、试管、或注射器）；它也可以具有其他形状和/或由不同材料制成，只要它提供成像波长处容器内容物的可视性。虽然特定实施例提供了容器内容物的清楚的、不受扰动的可视性，但是另一些实施例可以安排图像获取的时间以与容器不受扰动的时段一致，和/或采用后处理以补偿所记录的数据的畸变。

单元100包括成像器110，其具有将容器内容物的图像投影到传感器上的汇聚光学器件。在本例子中，汇聚光学器件包括远心透镜114，传感器是电荷耦合器件（CCD）112。存储器140耦合到CCD112，记录并且存储表示容器内容物的图像流，耦合到存储器140的处理器130如下所述地分析所记录的图像序列以检测和识别容器10中的颗粒。本领域技术人员将理解，处理器130可以用下列器件实现：适当配置的通用处理器（例如，使用Core^TMi5或高级微器件公司的Athlon^TM处理器的通用处理器）、现场可编程门阵列（例如， 或-6FPGA）、或者专用集成电路。处理器140可以实现于固态存储器（例如，闪存）、光学盘（例如，CD或DVD）、或磁介质中，并且可以选择为任意适当的尺寸（例如，1GB、10GB、100GB或更大）。

照明系统120包括设置在容器10周围的一个或多个光源122a和122b，在图像获取期间对容器10及其内容进行照明。视觉检查单元100可集成到检查模块160中，检查模块160还包括芯轴150、摇动器、超声振荡器、或其他搅拌器以在成像之前旋转、摇动或以其他方式搅拌容器内容物，并且在成像期间保持容器10，如图1（b）中那样。

图1（c）示出中高吞吐量视觉检查平台170，其包括一个或多个检查模块160-1至160-5（一般称为检查模块160）、机器人180和瓶托盘172，瓶托盘172将未检查和/或已检查了的容器10保持在独立的容器阱中。通过来自用户或自动控制器（未示出）的指令，机器人180将容器10从瓶托盘172移动到检查模块160，检查模块160捕捉并且记录容器10中移动的颗粒的时间序列数据。机器人180然后将容器10返回到瓶托盘172.

在一些示例中，瓶托盘172的顶层和/或容器阱的边缘由缩醛树脂或其他类似材料制成，容器阱的内部边缘是带斜面的以防止容器10在插入到容器阱中和从容器阱移除时被剐蹭。瓶托盘172可包括铝或不易翘曲或破裂的其他类似材料制成的基底层。容器阱的壁通常较厚以在来往于视觉检查平台170携带（例如，被人携带）托盘172时牢固地保持住瓶。取决于其构造，瓶托盘172可将容器10保持在预定义的位置以在微米级公差内，从而便于机器人180进行容器获取和插入，机器人180能以微米级精度进行操作。

机器人180是“拾取和放置”系统，其从托盘172抽取瓶，沿轨182（其从托盘172上方延伸到芯轴160上方）移动每个容器10，并把容器10放置在特定芯轴160上。一些机器人还可配置为在放置容器10之前旋转容器10，避免了对芯轴160的需要。替选地，机器人180可包括六轴机器臂，其能够旋转、振动和/或摇摆（例如，执行下面描述的来回摇摆针头）容器10，这也避免了对芯轴160的需要。本领域技术人员将容易地意识到，其他加载和搅拌机构和序列可以与本发明的视觉检查系统和过程一起使用。

视觉检查平台170如图2（a）所示的那样操作。在步骤202，待检查的容器10被清洁（例如，利用适当的溶剂，手工清洁），然后在步骤204中被加载到托盘172中。机器人180从托盘172取出容器10，并将其置于芯轴160上。接下来，在步骤206，处理器130根据成像器110获取的静态容器10的图像，确定弯月面和/或关注区域（ROI）（例如，容器10的装有流体的部分）的尺寸和位置。替选地，用户可以指定弯月面和/或关注区域的位置，如果装填体积以及容器的形状和容积足够确定地已知的话。一旦处理器130定位了ROI，芯轴160就可以在步骤208中旋转容器10和停止旋转，这导致流体移动，并且容器10中的颗粒变成悬浮在移动流体中。在步骤210，成像器110将时间序列数据以表示ROI的快照（以规则地间隔开的时间间隔拍摄）的静态图像（称为“帧”）的序列的形式记录在存储器140中。

在成像器110已经获取了足够多的时间序列数据之后，处理器130扣除背景数据，其可表示容器的一个或多个表面上的污垢和/或擦痕。还可以从时间序列数据滤除噪声，如本领域技术人员理解的那样，并且执行下面描述的强度定限。处理器130还反转时间序列数据的顺序。也就是说，如果时间序列数据中的每个帧具有指示其获取顺序的索引1、2、...、n-1、n，则反转时间序列数据中的帧排列为索引顺序是n、n-1、...、2、1。如果需要，处理器130还选择如下面描述的那样要分析的数据的起点和终点。（本领域技术人员将容易地意识到，处理器130能以任何顺序执行背景扣除、噪声过滤、强度定限、时间序列数据反转、以及起点/终点确定。）在步骤212，处理器130跟踪流体中的或与流体一起的颗粒移动，然后在步骤214中基于颗粒的轨道确定颗粒的尺寸和数量，和/或以其他方式表征颗粒。

各检查模块160可执行相同类型的检查，允许对容器10进行并行处理；模块160的数量可以根据所期望的吞吐量进行调整。在另一些实施例中，每个模块160可配置为执行不同类型的检查。例如，各模块160可以以不同的照明波长检查颗粒：模块160-1可寻找响应于可见光（即，约390nm至约760nm波长的辐照）的颗粒，模块160-2可使用近红外照明（760-1400nm）来检查容器，模块160-3可使用短波长红外照明（1.4-3.0μm）来检查容器，模块160-4可以在紫外波长（10-390nm）处检查颗粒，模块160-5可以在X射线（10nm以下）处检查颗粒。替选地，一个或多个模块160可以寻找偏振效果和/或颗粒荧光性。

在具有不同类型的模块160的实施例中，第一模块160-1可执行初步检查，后续检查视初步检查的结果而定。例如，第一模块160-1可执行可见光检查，该检测表明特定容器包含偏振敏感的颗粒。处理器130然后可以指示配置为执行基于偏振的测量的模块160-2来检查该容器以确认（或者反证）偏振敏感颗粒的存在。模块160-1获取的可见光时间序列数据可表明特定容器10中若干颗粒的存在，但不表明颗粒类型，这可导致处理器130命令例如模块160-3进行红外检查。

容器搅拌以引发颗粒移动

如上所述，机械搅拌容器10导致容器10底部或容器内壁侧面上的颗粒变成悬浮在容器内的流体中。在特定实施例中，用户和/或视觉检查系统选择并执行搅拌序列，其导致容器内的流体进入层流体系，层流体系是其中流体以平行的层流动，没有漩涡、涡流和层之间的扰乱的一种体系。在流体动力学中，层流是特征在于高动量扩散和低动量对流的流动体系，换言之，层流是混乱湍流的相反面。搅拌还导致颗粒变成悬浮在移动流体中。最终，摩擦导致流体停止移动，此时颗粒可粘附到容器的壁或者沉淀到容器底部。

与湍流相比，层流产生更平滑的颗粒运动，这使得更容易评估颗粒轨道。（当然，处理器也可配置为评估某些湍流体系中的颗粒轨道，只要传感器帧速足够快以捕捉颗粒轨道的“平滑”部分。）如果需要，容器可以按基本产生层流的方式被搅拌。例如，芯轴可按特定速度（或速度曲线）旋转容器特定时间，如根据针对不同的容器尺寸和形状和/或不同的液平面和粘滞度的流体行为测量所确定的那样。

在一特定实施例中，伺服器或步进电机驱动保持圆柱形容器的芯轴，使容器绕其中心轴旋转，如图3（a）所示。以足够的速度旋转容器10甚至导致重颗粒（诸如金属鳞片）从容器10的底部上升并且进入到流体中。对于许多流体和颗粒而言，电机以300rpm驱动保持容器10的芯轴约三秒钟。（可能需要更高的旋转速度来激活重颗粒。）在旋转三秒之后，电机突然停止，允许流体在现在静态的容器中自由流动。此时，成像器110开始捕捉旋转流体的视频。存储器140记录视频多达约七至十五秒，这取决于所监视的容器的尺寸（存储器140记录更小容器中的流体的更短视频，因为在更小的容器中，由于增大的壁拉滞影响，流体更快地慢下来）。

在另一实施例中，芯轴以两阶段搅拌/成像序列旋转容器10。在第一阶段，芯轴以300rpm旋转容器10三秒，使较不致密的（更脆弱的）颗粒诸如蛋白质变成悬浮在移动流体中。然后，成像器110捕捉移动流体中的蛋白质的视频。一旦成像器110已经收集了足够的时间序列数据，第二阶段开始：芯轴以约1600-1800rpm旋转容器10一至三秒，使更致密的颗粒诸如金属鳞片变成悬浮在移动流体中，并且成像器110捕捉表示更致密颗粒在容器10中移动的时间序列数据。第二阶段的高速旋转可能足够强以使蛋白质聚集体暂时溶解或变性，其可以在流体慢下来或停止移动之后重新形成。两阶段操作使得可以检测致密的颗粒（其可能不能被低速旋转激活）和蛋白质（其可能被高速旋转变性）二者。

根据（但不限于）下列参数中的任意参数，本发明的系统也可采用其他旋转序列：流体粘滞性、流体填充水平、流体类型、表面张力、容器形状、容器尺寸、容器材料、容器纹理、颗粒尺寸、颗粒形状、颗粒类型和颗粒密度。例如，本发明的系统可以在对容器内容物进行成像之前旋转更大的容器更长的时段。给定流体/容器组合的确切搅拌方案可以通过例行试验来计算、表征和/或确定。

如果视觉检查模块使用预定搅拌序列以用于良好表征的容器/流体组合，那么可以仅在流体（以及悬浮颗粒）处于层流体系时触发数据获取。替选地，可以获取附加的时间序列数据，处理器可以基于容器/流体组合和/或搅拌序列来自动地选择开始帧和结束帧。

在一些实施例中，数据获取可以基于容器中的流体流动的检测特性来触发。例如，如下面详细描述的那样，在一些实施例中，可以检测容器中流体的弯月面并且监视弯月面的移动以确定旋转后流体中的漩涡弛豫的时间。在一些这样的例子中，数据获取可以始于所检测的弯月面的移动已经返回到基本稳定的状态时。

上述视觉检查系统中的任何系统也可用于检测和/或识别至少部分装有药品32或其他流体的注射器12中的原生和外来颗粒，如图3B所示。注射器12通常针头向下地储存。这样，微粒可能沉淀在注射器的针头34中。为了看见这些颗粒，机器人或人工可以倒置注射器12，即，机器人或人工将注射器12绕与其纵轴垂直的轴旋转180o，使得针头34指向上。沉淀在针头34中的微粒竖直落下，从而被成像器110看见。机器人或人工还可以在倒转期间旋转注射器以使流体充分流动。

许多注射器12具有内径较小的针筒（barrel），这剧烈增大了壁拉滞效果。对于许多药品32，壁拉滞导致所有旋转流体运动在约一秒内停止。这对于实际颗粒分析而言是非常短的时间窗口。幸运的是，绕与其纵轴垂直的轴轻柔地摇摆注射器12（如图3C所示）产生了持续长于一秒的颗粒运动。横向摇摆可用机器人或手工完成，其通过注射器12的运动和在注射器12的针筒内振荡的任何气泡30的运动搅动了颗粒。上述视觉检查模块、单元和平台被设计为是可重新配置的，并且可以适应替选搅拌方法。

一旦完成搅拌，视觉检查系统应保持静止以用于视频记录阶段。由于一般采用的成像器的高分辨率，图像的空间分辨率非常精细（例如，约10微米或更精细），并且可以至少如衍射极限那样精细。对于某些配置，样品的小的（例如，10微米）移动相当于检测图像中的整个像素移动。这样的运动有损于静态特征去除（背景扣除）的有效性，这又降低了分析工具的性能和输出数据的整体性。

由此可知，震动隔离是关键设计考量因素。在特定实施例中，示范性视觉检查系统的基底例如使用震动衰减减震台、浮体和/或垫圈而与实验室环境机械隔离。此外，在单元内部，诸如计算机和机器人控制器之类的震动源可与系统的其余部分机械隔离。替选地，数据获取可与容器相对于成像器的剩余运动（residal motion）同步，或者用执行像素移位或某些其他运动补偿行为的摄像机执行。这样的剩余运动也可以被记录以用于后处理从而去除图像运动的有害影响。

成像器配置

示范性视觉检查系统可以使用具有任意适当的传感器的标准现有成像器，包括但不限于图像耦合器件（CCD）或互补金属氧化物半导体（CMOS）阵列。传感器的选择是灵活的，一定程度上取决于特定应用的要求。例如，具有高帧速的传感器能实现快速移动的颗粒（例如，在低粘滞性流体中）的轨道的精确绘图。灵敏度和噪声性能也是重要的，因为许多蛋白质颗粒在溶液中是透明的，弱地散射光，产生暗淡图像。为了改善噪声性能，传感器可以被冷却，如本领域已知的那样。对于大多数应用，单色传感器由于相对于彩色摄像机稍微更高的分辨率以及特有的更高灵敏度而提供最佳的性能。然而，对于应用的小子集而言，彩色传感器可能是优选的，因为它们捕捉颗粒的颜色，这可能在确定其来源（例如，衣物纤维）时是非常重要的。在产品质量研究（也称为鉴定）时，例如，彩色传感器可用于区别可能污染药品的制造设备中的不同类型材料（例如，纤维）。

为了检查整个容器，成像器的视野应涵盖整个流体体积。同时，成像器应能够分辨小颗粒。视觉检查系统用大像幅高分辨率传感器实现大视野和精细分辨率二者，诸如Allied Vision Technologies（AVT）的Prosilica GX3300八百万像素CCD传感器，其具有3296×2472像素。其他合适的传感器包括ACT Pike F505-B和Basler PilotpiA2400-17gm五百万像素摄像机。当选择成像光学器件以对1ml BDHypak注射器的盛液主体进行完全成像时，AVT Prosilica GX3300CCD传感器捕捉在两个横向维度上空间分辨率为大约每像素十微米的时间序列数据。高速和高分辨率的组合意味着记录时间序列数据涉及大的数据传输速率和大的文件大小。必然结果是，下面描述的视频压缩技术被专门设计来减小数据储存要求，同时保持图像中捕获的颗粒的精细细节的完整性。

将关注区域成像到传感器上的汇聚光学器件应被选择为以极小的斑点尺寸（等于或小于传感器的像素尺寸）提供整个体积的锐利图像，以确保系统以最精细的可行分辨率操作。此外，汇聚光学器件优选具有足够大的景深以适应整个样品体积。

远心透镜诸如图4所示的透镜114尤其适用于流体体积的视觉检查，因为它们被专门设计为对景深不敏感。如本领域技术人员所理解的那样，远心透镜是多元件透镜，其中主光线被校准且平行于像空间和/或物空间中的光轴，这导致恒定的放大倍率，而与图像和/或物体的位置无关。换言之，对于离具有远心透镜的成像器特定距离范围内的物体，成像器所捕捉的物体的图像是锐利的且具有恒定的放大倍率，而与物体离成像器的距离无关。这使得可以捕捉这样的图像，在该图像中在容器10的“背面”处的颗粒看起来类似于在容器10的“前面”处的颗粒。如果使用均匀的暗底板，使用远心透镜还减小了对环境光的检测。合适的远心透镜114包括Edmund Optics的NT62-901大像幅远心透镜和Edmund Optics的NT56-675TECHSPEC Silver系列0.16×远心透镜。

容器特定的盲点

几乎任何视觉检查系统的一个目的在于提供对100%容器容积的检查。然而，在现实中，可能有其中颗粒不能被检测到的固定区域，如图5A所示。第一，弯月面附近的液体可能难以被包括在分析中，因为弯月面本身以可能使在该位置的检测器饱和的方式散射光，模糊了任何颗粒和其他关注特征。第二，对于瓶而言，容器的基底通常在角落处是弯曲的，一般称为“足跟”。弯曲足跟具有畸变并且最终模糊足够靠近瓶底游走的任何颗粒的效果。第三，对于注射器而言，橡皮塞产生中心圆锥体，其稍微侵入到容器容积中。该圆锥体的尖部有可能遮掩颗粒，尽管它是小的。最精巧的盲点由于瓶的弯曲而产生。

圆柱形容器也可导致透镜效果，如图5B所示（由弯曲光线18所示），其会削弱远心透镜的性能。容器的弯曲壁也产生盲点14。

图5E示出圆柱形容器10导致的透镜效果的示例。摄像机/观察者在图的底部。如上所述，当对容器10中的颗粒进行成像时可使用远心透镜以确保颗粒在图像中具有一致的外观，而不依赖于它们在容器内的位置，即，它们离摄像机的距离。为了实现该目的，在一些实施例中，远心透镜的焦深被选择为大于流体体积的直径。在一些实施例中，在没有校正光学元件时，容器弯曲削弱了该原理。

如图所示，所成像的容器10中的颗粒的形状和放大倍率将依赖于颗粒在容器中的位置。在容器前面中央的颗粒501根本不畸变（上插图）。在后面侧部的相同颗粒502畸变最多（下插图）。注意，对于圆柱形容器，畸变仅沿水平轴（如下插图中显见的那样）发生。

为了减轻这些影响，可选的校正光学器件，诸如校正透镜116，被置于远心透镜114和容器10之间，如图5C所示。附加的空间校正光学器件118可提供对容器的形状导致的畸变的额外补偿，如图5D所示。在各种实施例中，除了校正透镜116和光学器件118之外附加地，或者替代地，可以使用任何合适的校正光学元件，例如基于容器10的弯曲和/或流体的折射率所调整的校正光学元件。

例如，在一些实施例中，可以开发圆柱形容器10导致的透镜效果的模型。模型可以基于表征光学畸变的参数的合适集合，包括例如容器外径、容器内径、容器折射率、液体折射率和照明光波长。可以使用本领域已知的任何合适的技术来开发该模型，包括例如光线跟踪技术。图5F示出两组不同容器参数的透镜效果的理论模型的示例（上左、下左），以及对应的物理场景的实验数据（上右、下右）。如图所示，理论模型和实验数据良好一致。

参照图5G和5H，校正光学元件503（示为透镜）被用于校正上述透镜效果。校正光学元件的设计可以基于容器的理论光学模型，指示容器的光学属性的实验数据、或者它们的组合。如图所示，校正光学元件503由折射材料制成，具有圆柱形前和后表面。在一些实施例中，透镜的设计可以利用自由参数来确定，包括前和后表面的半径、透镜厚度、透镜折射率和透镜相对于容器的位置。

在一些实施例中，其他形状可以用于透镜的前后表面，例如抛物线或任意定制形状。在一些实施例中，放松表面应为圆柱形的要求将增大用于校正光学元件503的设计的参数空间的大小，由此允许改善的校正。

在一些实施例中，校正光学元件503可包括多个元件，由此进一步增大设计参数空间。在一些实施例中，校正光学元件503可校正其他类型的光学畸变、像差或其他效果。例如，在使用多波长照明的情况下，校正光学元件503可用于校正色差。

在一些实施例中，校正光学元件503可以设计为校正特定容器和/或流体类型导致的畸变。因为单个自动视觉检查单元100可能与多个容器类型一起使用，所以在一些实施例中，可能希望允许校正光学元件503被选择性改变以匹配所检查的特定容器10。例如，图5I示出保持多个校正光学元件503的架子504。架子可被移动（手工或自动地）以将元件中选定的一个置于成像器110的光学链中。注意，虽然示出了架子，但是在各种实施例中，可以使用从一组多个光学元件中选出一个光学元件的任何其他合适的机构。

替选的视觉检查系统可包括适应性光学器件以补偿由于容器的弯曲引起的畸变。例如，远心透镜114可配置为捕捉从可变形镜子（诸如微机电系统（MEMS）镜子）反射的容器10的图像。传感器112使用背景数据来推导出表面弯曲、表面缺陷和容器10中的其他瑕疵导致的像差的性质和大小。传感器112将该信息反馈到可变形镜子，可变形镜子响应于该信息调节其表面以补偿该像差。例如，可变形镜子可沿一方向弯曲或弯折以补偿容器弯曲。由于可变形镜子动态地响应，所以它能用于补偿各个容器10特定的像差。

此外，颗粒跟踪可适于结合这些已知盲点位置检测颗粒失踪，允许程序预测同一颗粒是否可能在视频序列中稍后重新出现以及在哪里出现，如下面描述的那样。

将在下面描述处理盲点相关问题的其他技术（例如，使用多个成像器）。

摄像机帧速

下面描述的使用最近邻匹配（贪婪（greedy））算法的有效颗粒跟踪可视为三个主要因子的函数：摄像机捕捉速率（帧速）、颗粒密度（在二维图像中）以及典型颗粒速度。对于使用最近邻匹配算法的真实有效跟踪，摄像机应优选足够快以满足条件：

摄像机速率>（最大颗粒速度）/（最小颗粒间分隔距离）。

现实中，当将三维体积投影到二维图像上时，颗粒可能看起来彼此非常接近（甚至彼此遮挡），实际上它们在容器中良好地间隔开。当考虑到该因素时，考虑平均最近邻居距离比考虑表观最小颗粒间分隔距离更有意义。注意，这里最近邻居距离是给定时间序列数据帧中相邻颗粒之间的距离，而最近邻匹配距离指的是时间序列数据的连续帧中单个颗粒的所观察的位置差异之间的距离。从最近邻匹配距离方面重写摄像机速度标准给出：

摄像机速率>（最大颗粒速度）/（最小颗粒间分隔距离）。

替选的视觉检查系统可使用预测跟踪技术来代替最近邻匹配（贪婪）颗粒跟踪技术。预测技术使用颗粒的已知轨道知识，结合容器的空间限制和预期的流体行为方面的知识，来评估颗粒在后面的帧中最可能的位置。当适当地实施时，该方案可以通过高速密集地生成的图像更精确地跟踪颗粒移动。

当尝试检测和测量较大容器中的非常小的颗粒时，有利的是最大化图像传感器的空间分辨率。通常，这具有降低传感器的最大可获得帧速的直接影响。

用多个成像器的视觉检查

单个摄像机的使用可能因已知盲点的存在而性能受损。此外，将三维颗粒分布绘制到二维图像上可能由于遮挡而导致不确定性（例如，如图5E所示，其中在容器背面中心的颗粒被在前面中心的颗粒遮挡）。替选的视觉检查系统（例如，如图6所示）可通过关联来自两个或更多成像系统的结果而在原理上解决该问题。通过关联来自两个或更多摄像机的位置轨道信息，可以构建详细的三维轨道图，其可以更健全并且与二维轨道图相比更少可能发生遮挡所导致的错误（在下面论述）。

对于给定颗粒浓度和颗粒速度，增大成像器的空间分辨率还限制了数据获取速率（帧速）。当检查未知容器时，可能不能确保颗粒浓度将适当地低。同时，为了使诸如玻璃或金属之类的重颗粒悬浮在流体中，容器中的旋转速度可能需要非常高，导致所捕获的视频流中的高颗粒速度。解决该矛盾的一种途径是采用下面描述的新颖的成像硬件配置。假设最好的商业可得的传感器已经被采用，并且容器中的颗粒散射足够量的光，仍可以通过复用两个或更多传感器（具有来自专用触发源的恒定的、可靠的触发）来增大数据获取速率。

此外，通过放松对全容器检查的要求，并且替代地仅考虑容积的子集，示例性视觉检查系统可配置为提供比10微米更精细的空间分辨率。通常，对于亚可见颗粒（尤其是蛋白质聚集体）而言，这是可接受的，因为更小的颗粒倾向于以更高数量出现并且更均质地分布在整个容积中。替选地，示例性视觉检查系统可通过使用具有不同放大倍率的多个成像器而提供全容器检查和精细空间分辨率二者，以并行地获得大面积和精细分辨率的时间序列数据。

同时可以使用替选放大倍率，例如，如图6A所示，一个成像器1102注视全容器，具有更高放大倍率的第二成像器1104（例如，长工作距离显微镜物镜）对更小的子体积进行放大并且检查例如非常小的颗粒（例如，具有约10微米、5微米、1微米或更小直径的颗粒）。其他视觉检查系统可包括绕一圈或多圈发光二极管（LED）1120（安装在容器10上方和下方）照明的容器10设置的多个成像器1102、1104和1106，如图6B所示。安装在不同位置的相同成像器1102提供双目视野。具有长工作距离显微镜物镜的成像器1104提供容器10的子容积的精细分辨率，具有替选传感器（例如，红外传感器、测辐射热计等）的成像器1106提供额外的时间序列数据。

图6C和6D示出利用远心成像属性的替选成像配置。在远心透镜的背面开口处，50/50立方体分束器1202将所投影的图像分成两个单独的成像臂。每个成像臂可包括高分辨率低速传感器1222，其与另一臂中的传感器1222以交插方式操作，如图6C所示，以使帧速翻倍。也就是说，以半周期的相对相位差同时运行两个传感器1222改善了时间分辨率，改善因子为2。图像流然后可以组合以提供是传感器标称帧数的两倍的单个影像。

替选地，每个臂可包括不同的传感器，如图6D所示，例如，以补偿成像传感器阵列中的折衷：摄像机分辨率越精细，摄像机的最大可行帧数越慢（例如，全分辨率下10-50或15-25帧每秒，低分辨率下50-200帧每秒，等等）。为了精确地跟踪颗粒，首要的传感器性能参数是高的时间分辨率（高帧数）。然而，为了精确地确定颗粒尺寸，首要的传感器性能参数是精细的空间分辨率（图像中的像素尽可能多）。目前，对空间分辨率和数据传输速率的主要限制是数据传输总线。对于标准个人计算机总线（例如，双GigE或CameraLink总线），可得的成像器可以获取空间分辨率为约10微米每像素、数据传输速率为约25帧每秒的、4厘米高的容器的时间序列数据。

图6D示出实现快帧速和精细分辨率的一种途径：用高分辨率低速传感器1222和具有更适中的空间分辨率但是更高的帧速的传感器1224二者来对流体进行成像。外部触发可确保两个摄像机以相称的方式同步。由于摄像机在观察相同图像的副本，所以它们的数据可以直接关联以产生改善的颗粒分析。

图7A和7B示出照明光源120和多个摄像机的时序和控制。在图7A和图7B二者中，触发控制器702发射通过抽选主脉冲信号而得到的两个触发信号（在图7A和图7B中标为臂1和臂2）。以交插的方式，臂1触发信号驱动第一摄像机（图7A中的1102a，图7B中的1222a），臂2触发信号驱动第二摄像机（图7A中的1102b，图7B中的1222b）。也就是说，触发器信号使第一和第二摄像机获取交替的帧序列。触发控制器702还可用照明信号驱动照明光源120，这导致每当第一或第二摄像机获取图像时，照明光源120就照明容器。其他的触发序列也是可行的；例如，触发控制器702可以驱动以不同帧速获取图像的额外的摄像机和/或高和低分辨率摄像机的组合。

其他布置是可行的，如对本领域技术人员而言显然的那样。例如，每个臂上的图像传感器可以彼此等价，但是汇聚光学器件可以不同。一个臂可包括额外的图像放大光学器件以对图像的特定子集进行“放大”，提供宽场并且同时放大的视野。

照明配置

本发明的视觉检查系统利用各种颗粒与光相互作用的方式来检测和识别装有流体的容器中的颗粒。颗粒与光的相互作用是多种因素的复杂函数，包括颗粒的尺寸、形状、折射率、反射率和不透明度。蛋白质颗粒可主要通过折射来散射光，而薄片玻璃颗粒可主要反射光。一些颗粒，例如胶原蛋白，可改变光的本征物理属性，诸如偏振的旋转。调整检测器、颗粒和光的几何结构以最大化各种颗粒类型之间的对比度可导致高度准确的检测和区分。

图8-12示出各种照明配置，其被调整或者可以在不同照明模式之间切换/激励以用于特定类型的颗粒、容器和/或流体。例如，光源可以按一种方式照明颗粒以最大化它们朝向检测器反射或折射的光量，同时保持背景为暗以最大化颗粒和背景的图像之间的对比度。此外，光源可以按任何合适的波长或波长范围发出辐射。例如，它们可以发射宽带白光（390-760nm）、窄带光束（例如，在632nm）、或者甚至紫外或X射线辐射。合适的范围包括10-3000nm、100-390nm（紫外）、390-760nm（可见光）、760-1400nm（近红外）、以及1400-3000nm（中波长红外）。X射线发射（<10nm）也是可行的。当作为一个完整的整体时，这里公开的大量照明选项允许本发明的视觉检查系统检测和识别可能出现在药品中的所有颗粒范围。

由于一些颗粒仅非常弱地散射光，所以通常有利的是用尽可能多的光照射样品。样品照射的上限主要由所检查的产品的光敏性决定。波长的明智选择也可能是必要的，尤其是对于生物产品；准确的选择取决于被照射的产品。以大约630nm为中心的单色红光表示“折衷方案”，就不太昂贵的光源而言其是容易得到的波长。

LED阵列（诸如来自CCS Lighting公司的LDL2系列LED阵列）对于照明药品中见到的颗粒而言是有效的；然而，也可使用准直激光束。在一些情况下，照明光学器件可以在流体体积内对将要准直的照明光束进行图案化或成形（与在容器外相反）。对于替选光源，如果担心来自光源的加热，则可以通过使用光学波导或光纤124（如图8所示）将光传递到检查区域。

可以基于所分析的流体和/或颗粒的吸收和/或反射率来选择照明波长；这对于光敏性的药品而言是非常重要的。红光（630nm）提供被蛋白质吸收低和被水吸收低之间的良好平衡。与时间序列数据获取同步地频闪照明通过最小化药品暴露到入射光的时间而进一步保护了光敏药品的完整性。频闪还具有两个优点：当以此方式运行时，LED更有效地操作，并且频闪减小了运动模糊效果，运动模糊效果对颗粒尺寸测量造成未得到处理的损害，如下面描述的那样。

图8示出示例性可重新配置的照明系统120，其包括若干光源122a-122f（统称为光源122），其可以是LED，激光器、荧光或白炽灯、闪光灯、或者任何其他合适的光源或合适光源的组合。光源122可发射可见、红外、和/或紫外辐射。它们可以根据需要而是窄带或宽带的，并且可以利用适当的光学过滤器或偏振器而被过滤。在图8中，例如，偏振器126对背照射容器的光源122f发射的光进行偏振。除了背光源122f之外，照明系统120包括在容器10周围的矩形棱柱的角处的四个光源122a-122d。另一光源122e经由耦合到指向容器10底部的准直器126的光纤124从底部照射容器10。在一些例子中，光纤124和准直器126可以容纳在用于旋转器皿的芯轴的中空轴128内。

图8所示的多个光源122可以用于基于给定颗粒与光的相互作用来确定要区分的给定颗粒的光学属性。本领域技术人员将理解，不同颗粒以变化的方式与光相互作用。相互作用的一般模式包括散射、反射、遮挡、或旋转光的偏振，如表1所示，其中“X”表示此类颗粒将利用给定光照技术而显现，如图9A-9D和图11所例示的那样（描述于下）。“M”表示此类颗粒或许可利用给定技术而显现，但是仍可能能够利用后处理图像片段和特征识别技术而被检测/区分。

表1：针对各种颗粒类型的光相互作用

图9A-9C示出可利用图8的照明系统120实现（为了清楚，一些光源122被省略）的不同的照明图案以基于光相互作用来区分颗粒类型。在图9A中，光源122a和122b提供后角光照，其对于显现蛋白质以及散射光的大多数颗粒类型是有用的。在图9B中，光源122e提供底部光，其对于显现朝向成像器110反射光（水平箭头）的反射性颗粒诸如玻璃薄片是有用的；散射但不反射光的颗粒（例如，蛋白质）可能不会在传感器上显现（斜线箭头）。在图9C中，光源122f提供均匀的背光，其对于显现遮挡光的颗粒诸如金属、暗塑料和纤维是有用的。本领域技术人员将容易地意识到，其他光源和/或照明图案和序列也是可行的。

图9D示出图9A-9C的光照技术可以如何顺序应用来捕捉散射、反射和/或遮挡颗粒的时间序列数据。在该例子中，包含均匀背光、后角光、底部光和单个摄像机的系统每帧交替光照，使得一次仅启动一个特定光源122（或者光源122的组合）。对于单个成像器（未示出），所获取的时间序列数据的每帧仅适用一组光。重复此序列，提供每种光照配置的视频。

顺序使用前述光照技术获取视频序列将提供每个光源122的几乎同时的视频。完成时，这提供三个交插的视频，每种光照技术一个视频。对于每个视频，给定帧中的颗粒可与使用替代的光照技术的另两个视频中的同一颗粒关联（忽略帧之间的小时间差）。使用根据给定颗粒与各种光照技术相互作用的方式所包含的交互信息，可以做出关于颗粒的材料成分的结论。

该技术可以与其他图像特征提取信息结合以提高特异性。例如，视频可以自动分割以确定每帧中的特征。对于每种光照技术，诸如尺寸、形状、亮度、平滑度等之类的信息可以针对每个特征自动地确定。这可以有助于在不同光照技术中的每种下的可见性方面区分具有类似特点的不同颗粒类型。

图10A-10C示出如何减小由来自光源122的离开容器10的光的不想要的反射/折射所导致的眩光。对容器10进行照明导致不想要的眩光呈现在成像器110捕获的图像中，成像器110的光轴与来自光源122的反射离开容器表面的光的传播方向对准。眩光可模糊原本可被检测的颗粒，并且使传感器的区域变得饱和。定位成像器110或光源122使得成像器的光轴不与光源122发射的反射离开容器表面的光线一致或平行可减小或消除传感器检测的眩光。例如，将光源122置于通过绕容器10的纵轴旋转成像器所定义的排除区域之外可以减小传感器捕获的不想要的反射和/或折射光量。替选地，区域100可定义为与圆柱形容器的中心轴正交的平面，厚度等于容器的垂直壁的高度。如本领域所理解的那样，具有更复杂形状诸如凹陷侧壁的容器可具有不同的排除区域和不同的校正光学器件。

从区域1000之上或之下倾斜地对容器侧壁进行照明或者直接从容器基底下面进行照明也较小了成像器110检测的眩光。从下面对容器10进行照明（例如，用光源122e（图8））也提供了反射光的颗粒（例如，玻璃薄片）和散射光的颗粒（例如，蛋白质）之间良好的对比度。

图10D-10E示出用于减小或消除来自容器10的眩光的替选照明方案，其中一个或多个光源122置于上述排除区域中（例如，在容器10的水平平面中）。

图10D-10E示出光线从成像器10的传感器经过成像器的成像光学器件（如图所示，包括远心透镜）并且反向穿过容器10向外传播的光线光学模型。沿从传感器反向传播的任何光线定位的光源将折射或反射光到传感器上，由此可能使容器10及其内容物模糊。然而，应注意，存在位于容器10的水平平面中并且接近容器10的外壁的两个区域1001。如图10E所示，如果一个或多个光源122置于区域1001中，那么来自光源的眩光可以被减小或基本消除。

注意，因为远心透镜用于所示的示例中，所以仅垂直于传感器入射的光线需要在光线光学模型中被考虑。然而，考虑到其他光线，类似的方案可以应用于其他类型的成像光学器件。例如，在一些实施例中，来自传感器的一组代表性光线（例如，包括成像系统的主光线）可以反向传播以识别没有或基本没有反向传播光线的区域。照明光源可以置于所识别的区域中，同时避免了眩光。

图11示出用于使用偏振光将细长的蛋白质聚集体与纤维素和/或纤维（天然的或合成的）区分开的装置。照明系统120朝向容器10发射光，容器10夹在交叉的偏振器900之间，在没有颗粒时交叉的偏振器900提供黑图像。改变入射光的偏振的颗粒在成像器10所检测的时间序列数据中呈现为白的。

如果已知关注颗粒发荧光，那么可采用荧光成像以用于颗粒识别，如图12所示。在该例子中，照明光源920发蓝光，其激励关注颗粒。置于成像器110前面的窄带（例如，绿）过滤器922确保仅来自受激颗粒的荧光将到达检测器。这些照明和过滤波长可被选择以适于特定的关注波长。

最后，可以检测（和识别）颗粒，诸如小片黑的、不透明的材料，其既不散射（折射）光，又不反射光。对于这样的不透明颗粒，样品应被从后面直接背照射。于是颗粒可被识别为亮背景上的暗特征。如果需要，不透明颗粒的图像可以被颠倒，以形成绘制为具有与散射和反射性颗粒的图像相同极性的图像（也就是说，从而颗粒呈现为暗背景上的光点，而不是亮背景上的暗点）。

薄片特定的视觉检查平台

如本领域技术人员理解的那样，玻璃薄片是通过与玻璃容器的内表面相关的化学反应形成的玻璃的薄的、柔性的块或鳞片。本发明的系统和技术可用于和/或调整来检测、识别和计数玻璃薄片以最小化分发含有玻璃薄片的药物的可能性，从而防止含玻璃薄片（过量）的药物的分发。本发明的系统和技术还可以用于和/或调整来研究玻璃薄片形成，其依赖于给定配方的构成，并且与蛋白质和其他类型的特定物质不同，因为它们反射和散射光。不被任何特定理论所束缚，看起来某些条件比其他条件更可能促进或阻碍玻璃薄片的形成。例如，通过制管工艺和/或在更高热下制造的玻璃瓶倾向于比模制的玻璃瓶更容易形成薄片。以高pH值（碱性）配置且具有某些缓冲剂（诸如柠檬酸盐和酒石酸盐）的药物溶液也与薄片相关。药品保持暴露到容器内表面的时间长度和药品温度也影响将形成玻璃薄片的可能性。更多内容可参见例如美国食品药品管理局的对药品制造商的建议：Formation ofGlass Lamellae in Certain Injectable Drugs（2011年3月25日）（www.fda.gov/Drugs/DrugSafety/ucm248490.htm），其通过引用整体合并于此。

为了创建用于根据该原理进行区分的系统，成像器可以按一般方式对准瓶，并且入射光取向为穿过容器底部（与摄像机轴正交）。这产生了非常小的来自散射颗粒（例如，蛋白质）的信号和大的来自反射颗粒（例如，玻璃薄片）的信号。换言之，在薄片漂浮经过器皿时，它们呈现为间歇地闪光。该技术已经表现出在区分薄片颗粒和蛋白质聚集体时是高度确定的。此外，使用该成像技术获得的信号与瓶内薄片的浓度相关。结果，该技术不仅可以用于非破坏性地检测商业产品中的薄片，还可用作确定哪些配方成分导致更多/更少薄片存在的工具。

图13A和13B示出用示范性视觉检查系统获得的玻璃薄片（图13A）和蛋白质（图13B）的最大强度投影（MIP）图像。常规MIP图像用于计算机化的层析成像中以可视化沿一个空间轴（例如，z轴）观察的三维空间。典型的常规MIP图像表示沿与可视化轴平行的光线取得的数据最大值。在此例子中，然而，图13A和图13B所示的MIP图像是表示二维图像的时间演进的数据的可视化结果，它们沿时间轴而不是空间轴投影。

为了产生图13A和13B所示的MIP图像，处理器选择时间序列数据中的至少一些像素的最大值，其中每个像素表示从器皿中的相应空间位置反射（和/或透射）的光量。用所得值绘图将产生MIP图像，诸如图13A和13B所示的那些，其表示像素的最亮历史值。处理器通过计数MIP图像中其值超过预定阈值的像素的数量来对MIP图像进行评分。如果得分超过表示类似器皿中该数量的薄片的历史值，则处理器确定器皿在统计学上可能包含玻璃薄片。处理器还可通过根据MIP图像评估玻璃薄片的该数量、平均尺寸和/或尺寸分布来确定薄片污染的严重程度。

本发明的系统还可用于例如根据与时间相关的颗粒反射光量的差异和/或根据颗粒透射光量的差异来区分玻璃薄片和器皿中的其他颗粒。一些非薄片颗粒可把来自从下面照射器皿的光源（例如，图8中的光源122e）的光反射到检测器。例如，玻璃块、金属块和外来纤维可利用底部光照配置而连续显现。这些颗粒类型将在它们移动经过容器时被一直检测到，这与薄片相反，薄片是取向相关的，仅在它们自己排列为把光反射向成像器时的若干帧可见。可对底部光照时间序列图像采用颗粒跟踪技术以跟踪一直可见的、还在移动的特定物质。这些跟踪物然后可从用于薄片评分的MIP计算去除，或者替代地包括在交互光信息技术中以确定给定颗粒如何与其他光照取向相互作用。例如，反射光的金属颗粒可以在底部光照配置中被跟踪。该颗粒在用背光（例如，图8中的光源122f）照射时遮挡光。使用这两种规格使得可以区分金属颗粒和玻璃块，玻璃块反射底部光照但是不遮挡后光照。

颗粒检测、跟踪和表征

如上所述，图1所示的视觉检查单元100可以记录高质量、高分辨率的、对照暗背景成像的亮颗粒的单色图像流（时间序列数据）。（替选地，颗粒可显示为白背景上的暗点。）因为药品可含有不同半径颗粒的宽范围混合物，所以时间序列数据可利用多种不同的方案来分析以区分图像上的特征和背景。通常，单个图像（时间序列数据的帧）上的颗粒外观不足以对重要对象做出真实准确的量化评估（例如，计数/尺寸）。例如，在一帧时间序列数据中呈现为单个颗粒的对象可能实际上是彼此碰撞或经过彼此的两个或更多颗粒，其可导致准确的颗粒计数和/或颗粒尺寸评估。

视频序列中的帧之间的图像特征时间关联改善了颗粒计数和尺寸测量的精确度。将连续帧中的图像特征链接到一起以形成每个颗粒的时间相关轨道的过程被称为颗粒跟踪、配准或分派。存在用于其他应用的颗粒跟踪技术（周知地，在流体力学的实验研究中）。然而，这些应用一般采用良好定义的球形示踪颗粒。将该原理应用到药品和其他流体需要显著更复杂的解决方案。此外，对于一些颗粒种类，时间（跟踪）分析不总是实用的。在这样的例子中，可采用统计方法作为替选来产生特性测量。

图14提供颗粒检测和识别的高级概览1300，其始于时间序列数据的获取1310。时间序列数据（和/或反转时间序列数据）被预处理1320，预处理了的、反转的时间序列数据被用于二维颗粒识别和测量1330，这可包括反转时间序列数据的统计分析1340和/或颗粒跟踪1350。如上所述，反转时间序列数据是其帧已经被以相反时间顺序重新排序的时间序列数据。在完成颗粒识别和测量1330之后，进行颗粒报告生成1360。

时间序列数据的预处理

预处理1320包括静态特征去除（背景扣除）1321、图像噪声抑制/过滤1322和强度定限1323。静态特征去除1321利用了如下事实：旋转容器激活了流体和包含于其中的颗粒。它们的动态动作允许它们与其他成像特征区别开。由于图像捕捉始于容器已经停止旋转之后，所以可以假定在移动的任何特征都可能是颗粒。静态特征因此是无关的，可以从图像去除以改善清晰度。

在一实施例中，最小强度投影确定图像中的静态特征的大致模板。这包括例如可能存在于容器壁上的擦痕、污垢和缺陷。然后，该“静态特征图像”因此可以被从整个视频序列扣除以产生对照黑背景仅包含移动特征的新视频序列。例如，图15A和15B示出静态特征去除之前和之后的单帧时间序列数据。在图15A中，眩光、擦痕和其他静态特征使部分容器变得模糊。背景扣除去除了许多静态特征，留下具有更清晰的可见移动颗粒的图像（图15B）。

该方案的附加说明是，大多数玻璃缺陷诸如表面擦痕散射较显著量的光，在捕获图像中呈现为亮白点，如检测器像素饱和那样。这些特征的扣除可导致图像中的“死”区。当颗粒在这些被照明的缺陷前面或后面移动时，它们可能被部分遮挡，或者甚至完全消失。为了解决该问题，“静态特征图像”可被保留并且用于将缺陷位置关联到颗粒位置以最小化表面缺陷对颗粒尺寸和计数数据的影响（作为旁注，建议在操作该系统之前应用清洁规程以确保表面缺陷已经被尽可能多地去除）。数据还可例如被过滤1322，以去除高频和/或低频噪声。例如，向（反转的）时间序列数据应用空间带通过滤器以去除和/或抑制在第一空间频率或第二空间频率之上变化的数据。

一旦背景特征已经被去除，就通过将图像中的每个像素的强度值舍入到预定数量的值之一来对时间序列数据进行定限1323。考虑图16A和16C所示的灰度级图像，其根据左侧所示的八比特灰度级来分级（其他可行的灰度级包括16比特和32比特）。每个像素具有从零到255的强度值，其中零表示没有检测到光，255表示检测到最大量的光。将127或以下的那些强度值舍入到零，128或以上的那些强度值舍入到255，产生图16B和16D所示的黑白图像。本领域技术人员将容易认识到，其他阈值（和多个阈值）也是可行的。

颗粒检测

图像中颗粒的有效检测依赖于多种图像处理和分割技术。分割指的是一种计算过程，通过该过程，图像中的关注特征被简化成离散的、可管理的对象。用于从图像提取特征的分割方法被广泛使用在例如医学成像领域，并且这些技术已经被用于颗粒识别。简言之，从摄像机获取的图像利用定限、背景（静态特征）扣除、过滤（例如，带通过滤）、和/或其他技术被预处理以最大化对比度。完成时，处理器130分割图像，然后选择图像的某些区域作为代表性颗粒，并且相应地对这些区域进行归类。合适的分割方法包括但不限于置信连接、分水线（watershed）、水平集（level-set）、图划分（graph partitioning）、基于压缩的方法、聚类、区域生长、多灰度等级、边缘检测和基于直方图的方案。在获取图像之后，分割可产生附加信息以将所获取的图像上的给定特征与颗粒类型相关联。例如，关于给定分割特征的信息诸如面积、周长、强度、锐度和其他特性然后可用于确定颗粒类型。

颗粒跟踪和时间反转

关键的是，没有先前可用的颗粒识别工具完全详细地考虑颗粒在瓶内移动时颗粒的时间行为。如果仅根据单个“快照”来进行测量，那么确定颗粒的数量和尺寸可能是不准确的。然而，时间序列数据提供颗粒行为的更完整图像，其可利用颗粒跟踪来解决1340，图像跟踪能产生每个单独颗粒的时间相关展开表（spreadsheet），实现了其基本属性的健壮且准确得多的测量。颗粒跟踪是视频显微术以及流体力学工程（其中一般称为颗粒跟踪测速或PTV）中大量使用的技术。

尽管PTV是已知的，但是大多数颗粒跟踪解决方案假定颗粒在连续视频帧之间的移动是轻微的，并且小于给定图像中颗粒之间的典型分隔距离。在这样的情况下，足以通过识别最接近的匹配的相邻物来链接颗粒位置。然而，在许多应用中，这不是适当的模型。由于旋转速度（例如，约300rpm、1600rpm、和/或1800rpm）和可能的高颗粒浓度，可能预期在连续帧之间颗粒移动得远快于典型颗粒间分隔距离。这可以通过采用预测跟踪的形式来解决，预测跟踪涉及在通过颗粒的先前移动预测的区域中搜索颗粒。预测跟踪包括评估数学预测颗粒在后续帧中的大致未来位置的物理公式，如图17所示。为了改善性能，预测跟踪的此阶段可与局部流体行为知识（如果已知的话）相耦合，例如，如关于图21C描述的那样。

形成给定轨道的准确预测可能需要一些先前数据点以使轨道基于其上。这给出了一个难题，在图像序列的开始，当颗粒最快速地移动时，可能只有少量甚至没有先前数据以使位置预测基于其上。然而，随着时间推移，容器中的壁拉滞使旋转流体慢下来并且最终停止。足够长时间地记录时间序列数据产生其中颗粒显著慢下来甚至停止的帧。

反转视频的时间线1331，从而颗粒一开始呈现为静态，随着视频前进而慢慢加速，提供“先前”数据点以用于确定轨道。在其中颗粒现在刚开始移动的视频开始处，最近邻匹配原理可用于建立每条轨道的初始阶段。在适当时间处，系统然后可以切换到预测模式。以此方式反转所获取的数据的时间线极大地改善了性能。

图17示出采用时间反转的预测跟踪的概览。颗粒跟踪的目的是将帧i中的颗粒ai的位置跟踪链接到其在帧i+1中的位置ai+1，如图17A所示。如果帧之间颗粒a的移动小于到其最近邻居颗粒b的距离d，那么这是简单的。如果颗粒的移动方向未知或随机，则最简单的方法是具有搜索区，一般是半径为rs的圆，其中rs被选择为长于颗粒移动的预期范围，但是小于典型颗粒间分隔距离d，如图17B所示。在反转影像时间线之后，如图17C中那样，颗粒呈现为开始缓慢移动。然而，一会儿之后，颗粒呈现为加速，最近邻匹配搜索法可能开始失效。反转时间序列数据的开始的若干帧部分地建立轨道，产生颗粒速度和加速度的一些知识。该信息可被输入到适当的公式中以预测颗粒在帧i+1中的大致位置，如图17D中那样。该预测跟踪法比简单的最近邻匹配跟踪更有效得多，尤其在密集和/或快速移动的样品中。

质心检测

图18A和18B示出定限（thresholding）之后（反转的）时间序列数据中的颗粒的质心检测。首先，处理器130将灰度级图像（图18A）转换为定限图像（图18B）。每个颗粒呈现为二维投影，其形状和尺寸取决于记录该帧时颗粒的形状、尺寸和取向。接下来，处理器使用任何适当的方法（例如，铅垂线法，通过几何分解等）计算每个二维投影的几何中心，或形心（例如，如坐标xi和yi所示）。处理器130可以逐帧比较特定颗粒的形心的位置以确定颗粒的轨道。

颗粒遮挡

这里公开的视觉检查系统中的每一个都将三维体积（容器及其内容物）投影到图像传感器的二维表面上。对于给定的二维传感器，三维体积中的颗粒可能呈现为路径交叉。当这发生时，一个颗粒可能部分地或完全地遮挡另一颗粒，如图19所示。在图19（1）中，识别图像序列中的新颗粒；通过图像序列跟踪该颗粒将产生一系列顺序脚印，如图19（2）所示。采用搜索区来寻找连续帧中的可能匹配，如图19（3）所示。偶尔超过一个候选颗粒将占据搜索区，如图19（4）所示，在该情况下系统选择最佳匹配。如本领域技术人员容易意识到的那样，最佳匹配可利用不同方案的组合中的任一个来确定。例如，表示一帧中的候选颗粒的数据可以与表示前一帧中的颗粒的数据进行比较和/或关联。比较和/或关联参数（包括但不限于尺寸、形状、亮度和/或外观改变）导致候选颗粒的匹配。示范性视觉检查系统可应付碰撞、遮挡和暂时性颗粒消失，例如图19（5）所示的遮挡。当颗粒再显现时，如图19（6）所示，可重新构建轨迹。示范性系统还能解决当两个轨迹（track）（和它们的搜索区域）碰撞时导致的冲突，确保形成正确的轨道，如图19（7）所示。

图20示出二维图像中颗粒遮挡的另一情况：（a）是悬浮颗粒的典型图像。图20（b）-（e）示出图20（a）中的方框区域的逼近视图，两个颗粒从相反方向彼此靠近。（反转）时间序列数据中的下一帧显示遮挡导致两个颗粒呈现为单个虚大颗粒。如果遮挡是部分的（图20（c）），那么这可导致看起来是单个虚大颗粒。如果遮挡是完全的（图20（d）），那么较小颗粒可能从视野完全丢失，颗粒计数可能减小一个。这在检查药品时可能是非常重要的，因为虚增尺寸测量值可能足以超过规定阈值，而实际上所检查的产品仅包含可接受的亚可视颗粒。如图20（e）所示，颗粒已经移动超过了彼此，独立跟踪可以继续进行。通过分析颗粒轨道和后续时间相关尺寸轮廓，视觉检查系统可以自动地校正由于遮挡引起的错误，导致更低的不当驳回率。

解决丢失颗粒

如上所述，颗粒可能由于多种原因而从给定视频序列的一部分消失。它们可能横穿“盲点”和/或上述静态特征去除导致的“死”区。最终，一些颗粒类型可能表现出它们相对于成像光学器件呈现和消失（闪烁）的光学行为。在这些情况下，处理器可以如下地预测这些“丢失颗粒”的移动。如果颗粒在某时间范围内重新出现在预期位置，则处理器可以链接轨道并且内插虚拟颗粒数据以用于中间帧。注意，从监管的立场来看，重要的是清楚知道虚拟颗粒数据被适当地标记，从而它可以与真实测量的颗粒数据区别开。

图21A-21C示出跟踪和重现丢失颗粒的一种技术，即，在视频序列的过程中从视场暂时性消失的颗粒。消失可能由于遮挡在另一（较大）颗粒后面、遮挡在表面缺陷后面、经过已知盲点或仅由颗粒的光学几何形状的属性（例如，一些类型的颗粒可能仅在特定取向下可见）而引起。找到或重现从视场消失的颗粒改善了检测和识别颗粒的精确度。

图21A示出找到被容器表面上的缺陷遮挡的颗粒的预测跟踪。表面缺陷散射大量光，使图像的对应区域饱和。在采用静态特征去除之后，这导致图像中的“死区”。经过该区域的任何颗粒暂时性消失。处理器130可以通过创建虚拟颗粒来重现“丢失的”颗粒以用于有限数量的脚印。如果颗粒重现并且被检测到，那么轨迹被联合。

更具体而言，在颗粒消失之前，处理器130使用预测跟踪来确定颗粒的速度。还可以使用预测跟踪和颗粒的速度来外推预期颗粒位置。如果颗粒在预期位置再次出现，则虚拟位置可以被链接以形成完整轨道。如果颗粒在预定时间窗口中没有再次出现，则可以用信号通知其永久丢失，并且不再跟踪。

图21B示出如何跟踪在离开视线时经历方向改变或显著加速度的颗粒。并非预测颗粒轨道，处理器130利用流体的局部行为的本质，追溯既往地链接打断的轨道。在该例子中，处理器130通过考虑在该速度和灰度的流体的层流特性来联合轨道。

图21C示出颗粒在经过已知盲点时如何消失和重现。在该示例中，颗粒经过在容器的极边缘处的已知盲点。用关于盲点相对于容器图像的位置的信息对处理器130进行编程，使得处理器130能够重新构建轨道。

颗粒形状不规则性

一些颗粒不是球形或足够小以被视为点状，如大多数颗粒跟踪技术所假设的那样。实际上，许多颗粒是不规则形状的，在它们穿过流体移动时可能相对于摄像机翻滚和旋转，如图22A-22C所示。在一些情况下，不规则形状的颗粒可能呈现为两个单独的颗粒，每个具有其自己的轨道，如图22B所示。二维物体的测量质心的这种不可预测的移动可能模糊了颗粒的真实移动。该行为严重复杂化了预测跟踪过程。这里描述的视觉检查系统可以包含处理不规则形状颗粒的表观紊乱运动的功能，例如通过针对不规则形状的颗粒计算图22A和22C所示的平均轨道。

容器/产品特定的流体动力学

旋转后容器内颗粒的运动是流体在重力影响下的运动的组合。流体的运动是流体的粘滞力、填充体积、容器形状和尺寸、以及初始旋转速度的函数。颗粒跟踪性能可通过将流体系统的物理约束知识纳入到轨道建立中来而得到显著改善。

在常规容器中旋转的液体的流体动力学可能在某些条件下非常复杂。将流体动力学知识（当它涉及在药品工业中一般使用的容器时）纳入到轨道构建中来构成了相对于现有技术的新颖性和发展的重要领域。

图23示出典型容器中的流体行为的一些示例，带有与视觉检查平台产生的真实世界颗粒轨道比较的计算模型结果。研究揭示了意料之外的微妙之处：作为示例，在图23D中可以看见沿瓶中央的狭窄垂直柱的颗粒移动，这是因为旋转阶段产生的漩涡（图23A）的弛豫而引起的。当在该中央柱体中的流体向上垂直移动时，它可以向上带动一般预期会下沉的重颗粒。这可以例如导致识别泡沫和外来颗粒之间的困扰，泡沫预期会上升，外来颗粒由于容器特定的流体运动而上升。

示范性视觉检查系统可以借助于药品的预期流体动力学现有知识来产生比否则可能的结果准确得多的结果。以此方式结合物理模型（诸如图23所示的模型）和颗粒跟踪给出了相对于已有技术的显著改善。

错误校正

虽然这里公开的视觉检查系统在大多数实验条件下是健壮的，但是跟踪在小的三维体积中移动的大量颗粒的挑战的复杂性意味着总是有产生一些错误的风险，主要是当颗粒“碰撞”时，在连续帧之间形成不正确的轨道。

对视觉检查系统的物理约束的理解可以被有利地使用。宽泛地讲，每个颗粒局部周围的流体的主要移动是层流（而不是湍流或随机）。这本质上意味着，用足够快的摄像机，该系统中的自然颗粒轨道应该在方向上平滑地变化，没有突然、陡峭的改变，特别是当颗粒经过图像中容器的中心时。一旦完成了初始轨道链接，该系统可以回溯地分析轨道以寻找这样的错误。如果检测到错误，则系统可以比较附近的轨道以确定是否可以发现更物理一致的解决方案。这示于图24B中。

准确颗粒计数

颗粒计数可以通过在颗粒检测之后在单个时间点获取的快照图像（例如，如图24A所示）中计数颗粒数目来推导，其中每个颗粒被标有计数编号。该方法是直接了当的，但是有可能由于多种原因而系统性地少计体积中的颗粒数量。例如，一个或多个颗粒可能被另一颗粒或表面缺陷所遮挡。颗粒可能在已知（或未知）盲点中。此外，极小或模糊的颗粒可能在移动经过测量阈值时从视野间歇性地出现和消失。

这里论述的颗粒跟踪的一个优点是可以解决所有这些问题。结果，因为健壮的颗粒跟踪，颗粒计数可以通过计数单独颗粒轨迹（如图24B所示）的数目而不是单个图像中的颗粒数目或若干图像的统计分析而得到改善。计数颗粒轨道数量而不是单帧（或全部帧）中的颗粒数量带来了相对于常规颗粒跟踪技术的显著改善。改善程度随呈现的颗粒的数量和尺寸而变化。粗略地讲，随着颗粒数目增大，碰撞几率增大，因此由于本发明的颗粒跟踪的时间性能而引起的改善成比例地增大。

准确确定颗粒尺寸

常规的颗粒测量系统从静态图像测量颗粒尺寸。最典型地，根据规定和/或工业标准，这通过测量颗粒的最长表观轴的长度或Feret直径来进行，如图25所示，其可将颗粒尺寸定义为颗粒的最长单个尺度。在该定义下，1mm的头发被归类为与1mm直径的球形颗粒相同。鉴于此，根据二维图像，最大Feret直径是合理使用的测度。然而，来自静态图像的颗粒尺寸测度受到若干严重问题的困扰。

首先，在三维体积的二维投影中，多个颗粒很可能重叠，产生看起来单个非常大的颗粒。在对允许的颗粒尺寸规定了非常严格的上限的工业领域，这成为严重问题，尤其是对于生产应用程序而言，它可能导致错误的驳回，尤其是对于密集装填的样品。

第二，当不规则形状的颗粒在容器内流动时，它们可能不可预测地翻滚（相对于摄像机）。对于单个二维快照，可能不能保证给定颗粒的最长尺度正交于摄像机的视轴。系统因此可能系统地将颗粒尺寸确定得更小，这可能在严格监管的工业领域导致可怕的结果。通过颗粒跟踪来检查颗粒在容器内流动时颗粒的最大Feret直径提供了准确得多的对颗粒的最大尺度的测量。

第三，当颗粒绕圆柱形容器移动时，它们一般将长轴与围绕液体流的方向对准，如图25A和25B所示。一般而言，对于圆柱形容器，这意味着细长颗粒可能在图像中心呈现得比在横向极边缘处更大。通常，当颗粒相对于图像传感器的光学轴正交地行进时，成像器检测到最大表观颗粒尺寸（Feret直径）。如果当单个颗粒在容器内流动时被跟踪，其正确的最大长度可以被准确地测量，有时候这是静态测量程序难以实现的。

最后，尽管通过频闪照明（如前所述）来努力最小化运动模糊的影响，但是仍可能在图像捕捉序列的开始处当流体和颗粒最快速地移动时，发生一定程度的运动模糊。通过使用颗粒尺寸的时间相关分析，由于运动模糊而引起的数据中的伪像（其容易增大所测量的颗粒尺寸）可以被识别和抑制。

图25C-25E示出了使用时间序列数据来跟踪颗粒轨道以获得更精确的颗粒尺寸测量。图25C示出旋转之后100微米聚合物微球体在瓶中移动的典型轨迹。当颗粒呈现为与容器中心交叉时，它们的速度正交于视线方向，颗粒相对于摄像机移动得最快，如图25D所示。例如，如果初始旋转速度为300rpm，并且颗粒的径向位置rp为5mm，那么颗粒速度vp为大约9.4m/s。在该速度下，仅10μs的摄像机曝光时间由于运动模糊而使表观颗粒尺寸加倍。图25E示出运动模糊可以如何严重地影响图像：在左边，颗粒移动最快（约300rpm）并且被拉长；在右边，相同颗粒处于静态，看起来更圆。

图25F是图25C所示颗粒的时间相关Feret直径的曲线图。由于圆柱形容器的透镜效果，颗粒的表观尺寸在容器边缘附近减小（右轴标号D）。最大颗粒尺寸的最佳评估发生在颗粒以适中速度经过容器中央时（右轴标号B）。如果速度太高（这一般发生在容器旋转之后的头若干秒期间），则运动模糊夸大了颗粒尺寸（右轴标号A）。最终，由于液体拉滞，颗粒将完全停止移动（右轴标号C）。在该例子中，中间范围的峰值（右轴标号B）是最大颗粒尺寸的最准确读数。

颗粒表征

图26A示出时间序列数据的连续帧，具有颗粒和其轨道二者。大致平面的轨迹表示100微米聚合物微球体（其模仿蛋白质聚集体）的轨道。这些颗粒几乎中性浮力地与液体一起移动，没有明显的下沉或上升。垂直下降轨迹表示100微米玻璃珠的轨道，其最初与液体一起旋转，但是随序列进展而下沉。上升轨迹表示气泡和具有正浮力的颗粒的轨道。

颗粒跟踪实现了多个时间相关属性的测量，其给出了关于所检查的颗粒的性质的重要线索。例如，从规章的角度看一般能视为良性的气泡会使当前基于光学的检查机器混乱，导致虚假的肯定和不必要的驳回。在该例子中，颗粒的时间相关运动（在流体开始慢下来时，气泡倾向于垂直上升）导致非常明显的特性，其能容易地根据颗粒跟踪所产生的轨道而识别。类似地，中性浮力的颗粒不会上升或下降很多，而致密颗粒下沉到容器底部。较轻颗粒可以在通过旋转流体所形成的漩涡中被带动，重颗粒可以具有直线轨道。

更宽泛地，颗粒跟踪过程产生时间相关的展开表，诸如图26B所示的那样，其包含所有相关参数的细节，包括位置、移动速度、移动方向、加速度、大小（例如二维面积）、尺寸（最大Feret直径）、伸长度、球度、对比度和亮度。这些参数提供可用于将颗粒归类为特定种类的鲜明特征。通过颗粒跟踪方案可实现的该方法对于大多数关注颗粒工作良好。基于大量这样的时间相关测度逐个颗粒地对颗粒进行归类的能力是本发明的特别有利之处。

视频压缩

可视化相当大的容器中的非常小的颗粒受益于使用非常高分辨率的图像传感器。图像捕捉速率也需要被最大化以确保构建准确的轨道。这些要求的组合导致非常大的视频文件，例如1GB、2GB、5GB、10GB或更大。对于一些应用而言，除了分析数据之外，可能还需要获得原始视频。甚至对于适度大小的样品组，所涉及的大的文件大小可能使数据储存成本极高。

（反转）时间序列数据的视频压缩可用于减小（反转）时间序列数据文件的大小。保护颗粒数据的完整性可能要求使用无损视频压缩。研究表明更一般使用（并且更有效）的有损压缩技术（例如MPEG）可能使图像严重畸变和混乱，导致许多不想要的视觉伪像。

虽然无损压缩与有损压缩相比一般是相当低效的，但是有许多步骤可以改善其效率。时间序列数据的大多数帧显示一小撮小的、对照暗背景亮的对象集合。暗背景不包含有用信息。它不是真的黑，而是它由非常暗淡的随机噪声构成。用纯黑背景替代该背景大大简化了图像，使得标准无损压缩技术（例如，zip、Huffyuv）的操作更有效率得多。

该过程已经在文献中的其他位置得到描述。然而，这里新颖的是具体地确定给定帧中实质上构成背景的是什么。其他压缩过程设置阈值强度水平并且假设图像中在该水平以下的所有像素是背景的一部分。这是广为有效的策略，但是可能导致所保留的颗粒的尺寸的稍微减小，并且能完全地去除其亮度在本征随机背景“噪声”的上限相同水平的非常微弱的颗粒。

尽管这些常规技术对（反转）时间序列数据有作用，但是示范性实施例中采用的压缩在使用破坏性定限之前采用分析微弱颗粒的背景的独特阶段。这确保了保持数据完整性且同时最大地减小数据储存要求之间的最佳平衡。

填充体积/弯月面检测

视觉检查平台的自动实施例准确地检测样品的填充体积，这在不保证填充体积将跨越特定轮次保持一致的研究应用中是重要的。当处理非常大的数据文件（诸如高分辨率图像传感器产生的那些数据文件），导致对数据传输和储存的压力时是尤其有用的。因为该原因，可能期望限制所记录的图像以覆盖不超过流体体积，因为任何其他信息是不相关的。

示范性系统可以采用例如自动边缘检测或特征识别算法来检测图像中容器的边界，如图27-29所示并且下面描述的那样。因为弯月面和瓶基底都是单个独特特征，所以许多可行的光照配置和/或图像处理技术可用来准确地识别它们在图像中的位置。测量填充体积和确定图像的由流体占据的区域将产生关注区域。具体而言，根据图8，使用光源122f（背光）、122e（底部光）以及122a和122b（后角光照）的组合的配置全部都可以用于检测填充体积，如下面描述的那样。

图27A-27F示出使用图8的后角光照122a和122b自动检测容器内的关注区域。图27A示出容器的静态图像，其中器皿的基底和弯月面清楚可见为独特的明亮物体。作为示例，处理器可采用边缘检测来识别容器的垂直壁和关注区域宽度w，如图27B所示。为了检测外观可能较难预测的弯月面和瓶基底，该过程可例如采用强度定限和分割来提供关注区域的简化图像（如图27C所示）。在该阶段，处理器可自动识别不适于颗粒分析的容器，例如其表面被擦伤和/或覆盖有污垢的容器。该系统的有效性可能因过度混浊、容器表面缺陷、或过高颗粒浓度（由此单独颗粒不再能在图像中被离散化）而受损。如果处理器确定容器是满意的，则与弯月面和瓶基底对应的对象然后可以被隔离和简化，如图27D所示。处理器将关注区域的垂直高度h定义为弯月面的下边缘和瓶基底的上边缘之间的距离，如图27E所示。最后，处理器可以利用关注区域的宽度和高度尺度来处理原始图像流，从而仅图像的被可见流体占据的区域被记录，如图27F所示。

图28A-28C示出对利用背光配置（例如，图8的光源122f）获得的数据执行的类似弯月面检测过程。图28A示出表示用背光成像的典型容器的时间序列数据的帧。弯月面、壁和基底清晰可辨，并且可以利用边缘检测自动识别，如图28B中那样。然而，诸如大的擦痕之类的缺陷有可能对弯月面位置的准确检测有害，不论是使用背光（图28B）还是后角光（例如，如图29C中那样，将在下面描述）。在一实施例中，使用图像的强度定限来识别弯月面和瓶基底。由于这些是较大对象，并且由于他们的形状散射较大量的光朝向检测器，所以它们能被清晰识别，与可能存在的任何其他特征不同。

图29A-29D示出具有大致平面底部的圆柱形器皿中的弯月面的检测。自动的填充体积检测始于定限（图29A）以检测弯月面，其然后设置关注区域并且也是填充体积的测量。接下来，在图29B中，倾斜光照突出显示诸如擦痕（如图所示）、灰尘、指纹、玻璃缺陷或凝结物之类的可能使边缘检测变得困难的表面缺陷。如图29C中那样，从下面对瓶进行光照（例如，使用图8的光源122e）以对表面缺陷（相对）不敏感的方式照明了弯月面，这里，即使表面被重度擦伤，弯月面也是可见的。从下面进行光照还使得可以区分空瓶和满瓶，如图29D所示，并且在那些极限之间的所有填充水平准确地检测弯月面高度。从下面对瓶进行照明提高了弯月面检测的有效性，因为它减少了由于擦痕和其他表面缺陷（图27C）引起的错误。设置光源122e稍微成角度地照射器皿进一步减小了对表面缺陷的敏感性。对于由于没有透明的容器基底而可能难以从底部照射的注射器而言，可以通过以小角度倾斜地进行照射而实现类似的效果。

与上述弯月面检测类似的检查技术也可以用于筛查可能破坏识别和分析流体中悬浮的颗粒的任何后续尝试的特征。这可包括识别过于混浊的液体、严重损伤的容器（包括过多擦伤或表面污垢）以及其中颗粒浓度太高以至于颗粒不再能离散开的液体。

处理器和存储器

本领域技术人员将容易地意识到，这里公开的处理器可包括任何适当的设备，其提供执行应用程序的处理、储存和输入/输出器件等。示例性处理器可实现在集成电路、现场可编程门阵列和/或任何其他合适的架构中。示范性处理器还可通过通信网络而链接到其他计算设备，包括其他处理器和/或服务器计算机。通信网络可以是当前使用相应协议（TCP/IP、蓝牙等）以彼此通信的远程访问网络、全球网络（例如因特网）、全球计算机集合、局域网或广域网以及网关的一部分。其他电气设备/计算机网络架构也是合适的。

图30是示范性处理器50的内部结构的图示。处理器50包括系统总线79，总线是用于计算机或处理系统的组件之间的数据传输的硬件线路的集合。总线79实质上是连接计算机系统的不同元件（例如，处理器、盘储存器、存储器、输入/输出端口、网络端口等）的共享管道，其实现元件之间的信息传输。附连到系统总线79的是I/O器件接口82，以用于将各种输入和输出器件（例如，键盘、鼠标、显示器、打印机、扬声器等）连接到处理器50。网络接口86允许计算机连接到附连到网络的各种其他设备。存储器90为计算机软件指令92和数据94提供易失性和/或非易失性储存，计算机软件指令92和数据94用于实施示范性视觉检查系统和技术的实施例。盘储存器95为用于实施示范性视觉检查的实施例的计算机软件指令92和数据94提供（附加的）非易失性储存。中央处理单元84也附连到系统总线79并且用于执行计算机指令。

在一实施例中，处理器例程92和数据94是计算机程序产品（泛指为92），包括计算机可读介质（例如，可移除储存介质，诸如一个或多个DVD-ROM、CD-ROM、磁碟、磁带等），其提供至少一部分软件指令以用于示范性视觉检查系统。计算机程序产品92可以通过任何合适的软件安装程序来安装，如本领域公知的那样。在另一实施例中，至少一部分软件指令也可通过线缆、通信和/或无线连接来下载。在另一些实施例中，示范性程序是实现在传播介质中的传播信号上的计算机程序传播信号产品107（例如，无线电波、红外波、激光波、声波、或者在全球网络诸如因特网或其他网络上传播的电波）。这样的载体介质或信号提供至少一部分软件指令用于示范性例程/程序92。

在替选实施例中，传播信号是传播介质上承载的模拟载波或数字信号。例如，传播信号可以是在全球网络（例如，因特网）、电信网络或其他网络上传播的数字化信号。在一实施例中，传播信号是在一段时间在传播介质上传输的信号，诸如在毫秒、秒、分钟或更长时段在网络上分组发送的用于软件应用的指令。在另一实施例中，计算机程序产品92的计算机可读介质是处理器50可接收和读取的传播介质，例如通过接收传播介质并且识别传播介质中实现的传播信号来进行，如上面针对计算机程序传播信号产品所描述的那样。

一般而言，术语“载体介质”或瞬时载体涵盖前述瞬时信号、传播信号、传播介质、储存介质等。

传感器冷却

在上述实施例中，电子传感器用于捕获颗粒图像。电子传感器诸如CCD经受若干类型的随机噪声，其有损于测量信号的完整性，尤其是在低信号强度时。在一些实施例中，传感器可被冷却以减少噪声。冷却可以利用任何合适的技术来实现，包括例如使用热电冷却器、热交换器（例如制冷器）、液氮冷却、以及它们的组合。

在各种实施例中，噪声减少有利于颗粒检测，尤其涉及蛋白质聚集体的检测。在典型应用中，蛋白质聚集体可能较大（例如，高达数百微米直径），然而这些聚集体颗粒的物理结构一般非常松散，具有低密度（大部分颗粒可能是多孔的并且填充有环境介质）并且相对于周围介质具有低折射率对比度。由于这些物理属性，蛋白质聚集体与其他颗粒诸如玻璃碎片或纤维相比可以散射较少量的光。

影响当前的电子图像传感器的噪声中的许多本质上是热。该噪声主要影响传感器的动态范围的较低端。例如，在一些实施例中，较低的X%（例如，10%）的动态范围被噪声占据并且在图像定限过程（例如，如上所述）期间必须被去除。用于颗粒检测的阈值最小必须大于该值X%，由此从信号去除低强度数据。这可能妨碍微弱颗粒诸如蛋白质聚集体的准确检测。通过减小噪声，例如通过冷却传感器，可以使用更低的阈值，允许改善的对低强度信号的检测。

图31示出上述定限问题。图31的画面A示出来自使用这里描述的设备和技术获取的典型图像序列的剪裁片段。如图所示，图像是8比特灰度级图像，也就是说，每个像素可具有从0（黑）到255（白）线性范围内的强度值。图像含有两个颗粒，一个相对较亮，一个非常暗淡。图31的画面B示出强度直方图，显示了“背景”的强度值，背景对应于图像中的方框，不包含任何颗粒。

至少部分地由于热影响，传感器在强度直方图的低端表现出高斯背景噪声曲线。该曲线的宽度决定用于颗粒检测的阈值。简言之，颗粒需要比背景噪声明显更亮以在定限过程后幸存。

图31的画面C示出亮颗粒的强度直方图。颗粒图像具有显著数量的像素在直方图中的阈值右边，从而将在定限之后可容易被检测到。

相反，如图31的画面D所示，较暗淡的颗粒具有较少数量的像素在阈值上方，它将很可能在定限/分割过程中被抹去。然而，如果冷却或其他技术应用来减小噪声基底，由此向左移动阈值，那么有可能较暗淡的可以能被检测到。

基于光的枚举和非破坏性尺寸确定（LENS）

当对容器内的颗粒执行非破坏性尺寸确定和计数时，在一些实施例中，存在容器本身产生的可感知的伪像。液体界面折射穿过瓶的光，这导致用于尺寸确定和计数程序的一幅或多幅颗粒图像中可感知的畸变。结果，给定尺寸的颗粒在图像中看起来高达例如四倍那么大，这取决于它们在瓶内的空间位置。注意，对于圆柱形容器，颗粒图像一般仅沿横轴拉伸，而不沿瓶的垂直轴拉伸（见图5E，这些效果的图示）。

如上所述，在一些实施例中，这些畸变效果可以利用校正光学计数而被校正（例如，减轻或者甚至消除）。然而，在一些实施例中，这样的光学校正可能是不完全或不可用的。在这样的情况下，不能执行颗粒尺寸到检测器上的对应图像的直接关联。

例如，图32示出利用来自容器的畸变未被校正（对应于图5E所示的情形）的系统获取的流体中的标准尺寸（如图所示，100μm直径）颗粒（聚合物微球体）的族群的检测图像尺寸的直方图。清楚显示了由于容器畸变影响而引起的表观图像尺寸的显著变化。

该变化使得不同尺寸的颗粒族群之间的区分变得困难，因为它们可能在每个尺寸族群的检测器上在表面面积方面实质上重叠。例如，图33示出流体中的两个标准尺寸（如图所示，100μm和140μm直径）颗粒族群的所检测的图像尺寸的直方图。清楚示出了两个尺寸族群的直方图之间的明显重叠。

在一些实施例中，可应用处理技术来揭示准确的尺寸信息，甚至在存在上述畸变效果时。处理利用使用已知尺寸标准获得的数据被校准。例如，图34示出四个不同的标准尺寸颗粒（聚合物微球体）族群的实验获取的表观尺寸直方图。尽管示出了四个校准曲线，但是在各种实施例中，可以使用任何适当的数量。在一些实施例中，可以使用至少两个、至少三个、至少四个、至少五个、或者至少六个曲线。在一些实施例中，曲线数量在2-100的范围，或其任意子范围，诸如4-6。在一些实施例中，一组实验校准曲线可以被插值以产生附加曲线（例如，对应于在实验测量值之间的尺寸值）。

在一些实施例中，校准曲线可以对应于实际尺寸相差任意适当量的颗粒族群，例如差异为至少1μm、至少5μm、至少10μm、至少20μm、或者更大，例如在1μm至1000μm的范围或其任何子范围。

一旦已经确定了校准曲线，就可以获得具有未知尺寸的颗粒样品的表观尺寸分布曲线（例如，根据一幅或多幅静态图像，或者任何其他合适的技术）。样品曲线可以在相同或类似的实验条件下获得（例如，相同的类似的容器尺寸和形状、流体属性、照明条件、成像条件等）。该样品曲线与校准曲线进行比较以确定指示样品中的颗粒的尺寸的信息。

例如，在一些实施例中，校准曲线的加权叠加被与样品曲线进行比较。叠加的加权发生变化以将叠加拟合到样品曲线，例如使用本领域已知的任何合适的拟合技术。然后最佳拟合到样品曲线的加权提供关于样品中的颗粒实际尺寸的信息。例如，在一些实施例中，每个校准曲线在最佳拟合叠加中出现的次数对应于样品中该尺寸的种类的计数。

图35示出校准曲线的叠加拟合到实验样品曲线。在该例子中，准备样品使得已知颗粒在75-125μm直径的范围内。图36示出根据拟合的所得尺寸计数，与通过简单地将来自对应图像的原始表观尺寸分箱所获得的尺寸计数相比较。对于原始数据，在实际的75-125μm尺寸范围外有显著数量的虚假计数。相反，从校准曲线的拟合得到的结果显示出大幅减小数量的虚假计数。

注意，尽管已经描述了一种比较样品数据和校准数据的可行方案，但是可以使用其他合适的技术。例如，在一些实施例中，样品曲线可以利用校准曲线作为基础函数而分解，类似于使用正弦基础函数对波形进行Fourier分解。一般地，可以使用任何合适的卷积、去卷积、分解、或其他技术。

在一些实施例中，基于光的枚举和非破坏性（LENS）尺寸确定技术可以结合先前描述的颗粒跟踪技术来使用。例如，在颗粒的形状近似于用于生成校准数据的尺寸标准中的颗粒形状时，LENS技术将倾向于更好地操作。此外，当颗粒数量大（例如大于10、大于50、大于100、或者更多），提供更大的数据集以供算法处理时，该技术倾向于更好地执行。

然而，在一些应用中，存在的颗粒数量可能较少。在一些应用中，可以关注样品中的较大颗粒。此外，在一些应用中，样品可包括形状与尺寸标准颗粒的形状不同的颗粒。例如，纤维将是细长的而不是许多标准中使用的球形。在这些条件下，LENS技术可能工作地不是那么有效率。

一般而言，任意数量的颗粒可以利用上述技术被计数。在一些实施例中，可以计数的颗粒数量的上限由样品中的颗粒/颗粒重叠决定。一般地，容器中存在的颗粒越多，更可能两个颗粒对于单个2D检测器将不会呈现为分开的。这是每体积的颗粒数和颗粒尺寸的函数。典型地，大颗粒占据检测器上的更多面积（因此当与小颗粒比较时，对于给定的每毫升计数，更可能交叠）。例如，在某些条件下，在10cc的瓶中装有8ml的流体，在由于颗粒重叠而引起的少计数和过大尺寸确定变得明显之前，多达大约500颗粒（直径50μm）可被计数。

然而，上面给出的颗粒跟踪技术可以对于确定较大颗粒的数量和尺寸是有效的。因此，在一些实施例中，可以使用两种方案的混合。图37示出这样的混合过程的示范性实施例。在步骤3701，例如使用任何上述技术记录图像序列。在步骤3702，处理图像序列（例如，滤波、定限、分割等）。在步骤3703，在步骤3702中产生的颗粒数据可以被筛选以寻找阈值尺寸以上的颗粒。这些大颗粒可以从数据集合被去除并且利用跟踪技术在步骤3704中被处理。这可提供大颗粒的高质量的时间相关尺寸测量。如果有较小颗粒（尺寸阈值以下）的背景存在，则其可以利用LENS技术在步骤3705中被处理。通过两种不同的技术产生的数据然后可以在步骤3706中组合以产生所检查的容器的单个颗粒报告。

在各种实施例中，用于确定应用哪种技术的尺寸阈值可以设置为任何合适的阈值或者约1μm的极小值或更大，例如约在1-400μm颗粒宽度或直径的范围或其任意子范围，例如约1至约50μm、约50至约250μm、或者约75至约100μm。在一些实施例中，发送到每种技术的颗粒数据可以利用尺寸之外的其他标准来选择，例如与颗粒尺寸相关的信息。一般地，可以使用任何适当的标准组合。

三维成像和颗粒检测技术

如上所述，在一些实施例中，自动视觉检查单元100可包括两个或更多成像器110，允许容器10的内容物的三维成像。

例如，图38A-38C示出包括三个成像器110的单元100。如图所示，成像器110绕容器10以120度间隔定位成圆，然而在各种实施例中，可以采用更多或更少的传感器。相邻成像传感器之间的角度不需彼此相等，然而，在一些实施例中，相等角度布置简化了下面描述的图像处理技术。

在一些实施例中，每个成像器110基本相同。成像器110可排列为使得它们全部都相对于容器10处于相同的物理高度，容器10在每个成像器的视场中居中。

在一些实施例中，甚至当注意优化该物理排列时，也可能发生小的布置错误。为了解决该问题，成像器110可以通过对已知的校准固定物进行成像来被校准。任何足够小的横向或垂直排列偏差然后可以通过相应地重新采样和移位所捕获的图像来得到解决。在一些实施例中，图像可以被处理以校正成像器110中使用的不同传感器之间的灵敏度波动或其他性能特性差异。

图38C示出单元100的单个成像臂。如上面详细描述的那样，通过采用远心成像装置，确保了仅基本平行于成像轴的光线到达成像器110的成像器表面。如图39所示，使用几何光线光学技术（或者其他合适的技术），可以建立容器10内的将穿过容器壁到达传感器表面的光线的模型。

已知光矢后，可以从二维图像上取一点或区域，并且传播该强度回到容器10中。一次从二维图像取一水平行，可以绘制出容器容积内的二维水平网格。与各三维图像110关联的水平网格可以被叠加以产生单个地图。通过对其他水平传感器行重复该过程，可以建立二维网格的垂直堆叠以形成三维（3D）结构，例如对应于容器10的全部或部分容积。

颗粒候选可以按与上述方式类似的方式使用强度定限而在所得3D结构中被识别。定限可以对来自成像器110的原始二维图像进行，或者可以对叠加之后的3D结构内的水平地图进行。

使用定限了的3D结构，可以识别候选颗粒，由此获得容器10的流体体积内的颗粒的3D位置的直接测量。在典型应用中，3D位置测量对于大部分流体体积是准确的，然而在一些实施例中，例如当成像器110包括远心透镜时，可能遇到由于容器弯曲和相关联的透镜效应引起的盲点（例如，如图39的右画面所示）。

当使用120度角的三个成像臂时，如图所示，盲点成对地紧密相关（见图39，右画面）。三个盲点区域3901内的准确3D定位可能是行不通的。然而，在那些区域中，可以通过检查来自最接近的成像臂的二维数据来建立位置数据。

在各种实施例中，盲点问题可以通过增大传感器臂的数量以确保图像重叠来得到减轻或消除。

虽然已经描述了使用多个成像器110来确定关于容器10的内容物的3D信息的一个示例，但是将理解，可以使用其他技术。例如，在使用两个成像器的实施例中，可以应用立体成像技术来确定3D信息。

在例如特征在于静态或缓慢移动的样品的一些实施例中，3D信息可以使用旋转成像臂以与医学计算层析成像机器类似的方式来获得。旋转臂将获取来自各种视角的时间序列的2D图像，其可用于建立3D信息，例如使用任何合适的技术，诸如医学成像领域已知的那些技术。如果以相对于样品的动态变化快的速度来获取图像，则3D图像可提供准确的3D信息以用于颗粒检测。

在一些实施例中，利用上述技术产生的3D信息可以适于检测候选颗粒位置，但是对于确定其他颗粒特性例如颗粒尺寸和形状并不理想。因此，在一些实施例中，可以使用混合方案。例如，在一些实施例中，颗粒的3D位置基于3D信息（例如，如上所述地产生的3D结构）来确定。一旦已经确定了颗粒的三维定位，就可以将这些位置与根据来自一些或全部成像器110的二维图像获得的尺寸和形状测量关联起来。

在一些实施例中，可以对3D位置数据进行颗粒跟踪，例如使用与上述二维技术类似的3D跟踪技术。

在一些实施例中，3D跟踪是有利的，尤其当与从每个成像器110获得的二维图像结合使用时。

在3D跟踪中，颗粒-颗粒遮挡（例如，如图5E所示）得到减少或消除。在一些实施例中，可能发生遮挡，例如，对于真3D定位失效的盲点中的密集样品。

如在上述二维的例子中那样，在一些示例中，可以在3D情况下使用预测跟踪技术，其利用了与容器10内的流体动力学相关的信息。

在一些实施例中，一旦3D颗粒位置已经被跟踪，则关于颗粒特性（例如，尺寸和形状）的信息可以根据来自多个成像器110的二维数据被收集到每个颗粒的多个时间相关数据集中。在一些实施例中，与用单个成像传感器可以实现的情况相比，这可允许各颗粒特性（例如，尺寸和形状）的更准确测量。例如，在一些实施例中，该技术允许细长颗粒的更清楚检测和尺寸测量，因为颗粒外观不再严重依赖于其相对于单个成像器110的取向。

在一些实施例中，该方案可用于减轻由容器10的弯曲导致的透镜效果。使用颗粒的3D位置，在通过每个成像器110获得的二维图像上测量的颗粒尺寸可以被调节以校正透镜效果，例如通过用透镜效果缩放因子修正尺寸测量的横向（水平）分量来进行。该缩放因子可以基于穿过容器10到达每个成像器110的光的光学传播模型（如上面详细描述的那样）来确定。

光谱检测

图45示出传感器4500（如图所示，光栅光度计），其可以与这里描述的类型的视觉检查单元100一起使用。例如，传感器4500可形成与图38A所示的单元100的实施例一起使用的第四成像臂。

传感器4500可用于检测容器10中的一个或多个颗粒的特性（例如，光谱特性）。例如，如图所示，容器10被宽带光源122照射。传感器4500接收来自容器10的穿过畸变校正光学器件4501（例如，上述类型中的任何类型的畸变校正光学器件）和远心透镜4501的光。来自透镜4501的光被引导至衍射光栅4503上，其将光的光谱成分分离，然后成像在成像传感器4504上。在一些实施例中，衍射光栅4503操作为使得沿传感器4504的一个维度（例如，垂直维度）的入射光位置对应于光的波长。成像传感器4504的另一维度对应于容器10内的不同空间位置。也就是说，传感器4500提供容器子区域的光谱信息，例如，在所示配置中，子区域是容器10的水平“切片”。

当颗粒经过该中央水平平面时，它们的光谱特征可以被记录。同时，如上面详细描述的那样，单元100的常规成像臂可用于跟踪容器中的颗粒的位置（例如，在三个维度上）。该信息可用于确定何时给定颗粒进入传感器4500所覆盖的检测子区域。当颗粒进入子区域时，传感器4500将感测颗粒的特性（例如，光谱特征）。单元100可以生成与该特性相关的信息，并且将该数据与跟踪数据中指示颗粒身份的数据相关联。

在各种实施例中，特性数据可以用于任何适当目的，例如识别颗粒类型。例如，关于给定颗粒的光谱信息可以与关于该颗粒的尺寸、形状、移动或其他信息组合以确定颗粒类型。

在一些实施例中，传感器4500和照明光源122可以被修改以检测颗粒荧光性或者任何其他适当特性。一般地，颗粒的任何光谱特性可以被检测，包括颜色、吸收谱、发射谱、透射谱或这些谱中的任何谱的组合。

尽管在上述示例中，传感器4500包括在具有三个成像臂的单元100中，但是在另一些实施例中，可以使用任何其他适当数量的成像臂，例如一个、两个、四个、五个或更多。在使用单个成像臂的一些实施例中，传感器4500可以与成像臂对准，例如通过使用分束器（未示出）把来自容器10的光束分开，并且将分量引导至单个成像臂和传感器4500。在例如使用多个成像臂的另一些实施例中，传感器4500可以相对于成像器取向在任何合适的角度。

样品属性的原位测量

在一些实施例中，检查单元100可以包括一个或多个检测器（未示出），检测器可用于测量容器10中的流体的折射率。例如，在一些实施例中，窄离轴准直激光束可以被引导穿过容器10的流体填充部分并且被检测以测量由于容器10的折射引起的束移位。如果容器10的材料和几何形状已知，则该信息可以用于确定流体的折射率。在各种实施例中，可以使用任何其他合适的折射率检测技术。

在一些实施例中，所测量的流体折射率可以用作这里描述的任何处理方案（例如，用于补偿容器10的弯曲引起的透镜效果的处理）中的输入参数。

在一些实施例中，检查单元100还可以包括一个或多个检测器（未示出），检测器可用于测量指示容器10的形状的信息。例如，在一些实施例中，窄离轴准直激光束可以被引导穿过容器10的空气填充部分（上部）并且被检测以测量相对于基准的束移位。该偏转可用于精确地测量容器的壁厚（例如，具有0.25mm或更小的准确度。在各种实施例中，可以使用确定容器形状的任何其他合适的技术。

在一些实施例中，所检测的几何形状信息可用于确定容器10中的流体的折射率，例如，如上面所描述的那样。在一些实施例中，所检测的几何形状信息可用作这里描述的各种处理技术（例如，用于补偿容器10的弯曲引起的透镜效果的处理）的输入，或者用于任何其他合适的目的。

浸式成像

如这里详细论述的那样，在各种实施例中，容器10中的流体的折射属性可能导致不想要的图像畸变效果。在一些实施例中，这些效果可通过用与空气相比折射率更接近地匹配流体折射率的介质填充容器10与用于对容器进行成像的成像器110之间的一些或全部空间而得到减轻。

在一些实施例中，折射畸变可通过使容器10的折射率匹配容器内容纳的流体而得到进一步减轻。

在一些实施例中，这些浸式成像技术可减小或消除对校正光学器件和/或用于减小畸变（例如，上面详细描述的透镜效果）的处理的需要。

样品温度控制

在一些实施例中，检查单元100可包括一个或多个器件（未示出）以用于控制容器10内的样品的温度。例如，在一些实施例中，温度控制器件可用于在℃至40℃、0℃至100℃的范围或者其他合适的范围改变容器的温度。在一些实施例中，温度控制器件可将温度维持在稳定值，例如变动少于5℃、2.5℃、1℃、0.1℃、0.01℃或更小的值。

温度控制可以在温度控制对于确保样品在检测过程期间不劣化而言重要的应用中特别有利。在一些实施例中，通过以受控方式改变样品温度，可以针对温度敏感产品进行温度和时间相关的稳定性研究。例如，该平台可以用于测量药品温度从例如4℃（冷藏）可控地增大到20℃（室温），或者到37℃（人体温度）时，蛋白质聚集体的溶解。

在各种实施例中，温度控制可以使用任何适当的技术来实现。在一些实施例中，检查单元内的环境可以被密封并且热隔离，温度利用例如空调单元被控制。在一些实施例中，加热线圈和热电冷却器（例如，Peltier冷却器）可集成在用于容器10的样品支架中。在多个容器保持在托盘中的实施例中，托盘温度可以通过穿过托盘循环加热/冷却工作流体而得到控制（例如，通过使工作流体经过热交换器）。一般地，可以使用一个或多个温度传感器和/或恒温器来提供闭环温度控制。

迭代检查技术

在一些实施例中，检查单元100可以用一个或多个修正的操作参数（例如，旋转速度）重新运行给定样品的检查，修正操作参数可以基于初始检查操作的输出结果而选择。该过程可以迭代地重复以更好地调整所检测的特定样品的操作参数。

例如，在一些实施例中，如果颗粒检测和尺寸确定操作的输出返回的结果在预期结果范围外（表明初始检查中的错误），则可以重新运行检查过程（例如，用修正的转速）。

用于自动校准的背景参考绘图

如上面详细描述的那样，在各种实施例中，期望表征由穿过容器10到达成像器110的光的折射导致的畸变效果（例如，透镜效果）。在一些实施例中，检查单元100本身可用于绘制出容器10导致的畸变。该地图然后可以在图像处理期间使用以补偿这些效果。

例如，在一些实施例中，一个或多个校准标记（例如，网格）可以置于容器10后面作为用于成像器110的背景。通过检测所获得的图像中的这些标记（例如，使用边缘检测或者其他合适的特征检测技术），并且将它们的外观与已知实际外观进行比较，可以检测并且绘制折射畸变。

在一些实施例中，该方案可以用于校正非圆柱形容器导致的畸变，例如绕轴旋转对称但是关于轴具有变化的外周的容器（诸如外形类似于现在的塑料苏打瓶的容器）。

振动自动检测和减轻

如上所述，在一些实施例中，振动可降低检查单元100的性能。振动导致本应静态的特征（诸如容器表面上的装饰性缺陷）在视频获取期间振荡。这可能通过产生小的但是有效的振荡光晕而减弱静态特征去除阶段的性能，该光晕在静态特征去除中幸存并且有可能导致后续颗粒检测算法中的欺骗性结果。在各种实施例中，可以使用下列技术中的一种或多种来减弱振动影响。

在一些实施例中，在去除的静态特征周围形成的振荡光晕特征可以通过增大与所检测的静态特征对应的图像区域的尺寸（例如，一个或若干像素大小）使得包含细振荡光晕的图像区域在颗粒分析阶段之前也被删除而得到减轻。然而，在一些实施例中，该方案可能是不利的，因为它会减小有效可用传感器面积。

在一些实施例中，可以使用检测振荡特征的存在的筛选算法。例如，特征可通过处理图像以定位振荡但并不横穿图像的特征来检测到。在一些实施例中，特征可以基于它们与所检测的静态特征的接近度而被进一步识别。

在一些实施例中，容器振动特性可以从所捕获的图像检测到，例如使用边缘检测来检测容器壁的移动，使得系统可以自动地检测并且可能警告用户不可接受的高水平环境振动。

在一些实施例中，容器振动特性可以利用物理传感器来检测。例如，在一些实施例中，在检查期间保持和操纵容器的工具头可包括运动检测器件（例如，高精度加速度计），其提供反馈，系统可根据反馈自动地向用户提供关于振动水平在确定阈值以上的警告。

示例

下面提供这里描述的类型的自动视觉检查单元100的实施例的示范性性能特性。

参照图40，给出单元100，其具有容器10，每个容器10包括已知尺寸的仅单个聚合物球体。对每个容器执行多个检测轮次（n=80），测量检测百分比（图中标有“APT”的数据条）。如图所示，系统的检测百分比对于在直径15-200μm范围的颗粒尺寸而言为90%以上。给出了由训练过的人执行的相同任务的检测百分比以用于比较（标有“人”的数据条）。注意，对于200μm以下的颗粒尺寸，人检测能力迅速落后。

参照图41，在另一测试中，给出带容器的单元100，容器保持125μm直径的视觉截限上下的颗粒。单元100检测颗粒并且还基于尺寸将颗粒归类为在125μm视觉截限以上还是以下。如图所示，对于直径15-200μm范围的颗粒尺寸，系统的检测百分比在90%以上。单元100还以非常高的准确程度正确地归类了所检测的颗粒。

参照图42，针对多个尺寸表征产生稀释系列，各系列由保持给定浓度的颗粒的容器构成。所得容器被单元100分析以提供颗粒计数，并且使用回归（regression）来确定R平方“R^2”的值以获得计数对照倒数稀释因子的线性度。如图所示，对于15-200μm范围的颗粒尺寸，“R^2”的值为0.95以上，表明良好的线性度。

参照图43，含有蛋白质颗粒的挤压样品被单元100分析以确定根据颗粒尺寸分箱的颗粒计数。示出通过10个轮次取得的每个分箱的颗粒计数的精确度。蛋白质颗粒是未知尺寸的，使得不可能进行绝对值准确度比较，但是，如图所示，确定蛋白质的数量和尺寸的系统精确度是高的。测量的归一化误差为3%，表明良好的精确度。

参照图44，还通过检测空白和含蛋白质颗粒的瓶来显示单元100的特性。单元100的性能与观察同一组瓶的认证视觉检查者的表现相比较。单元100（图中标有“APT”）在三个轮次中正确地检测所有40个蛋白质瓶和80个空白。分类可见和亚可见颗粒时的自我一致性为100%。人类在这两类仅得分约85%。

结论

本领域普通技术人员意识到，用于非破坏性颗粒检测和识别的自动系统和方法中涉及的过程（处理视觉检查中所需的时间序列数据）可以实现在包括计算机可用介质的制造物品中。例如，这样的计算机可用介质可包括其上储存有计算机可读程序代码段的可读存储器件，诸如硬驱动器、CD-ROM、DVD-ROM、计算机盘碟或固态存储器组件（ROM、RAM）。计算机可读介质还可包括通信或传输介质，诸如总线或通信链路，光学的、有线的或无线的均可，其上携载有程序代码段，作为数字信号或模拟信号均可。

这里使用了流程图。流程图的使用不意味着对所执行的操纵的顺序进行限制。这里描述的主题有时示出了包含在不同的其他组件内或与其连接的不同组件。将理解，这样描绘的架构体系仅是示例性的，实际上可以实施许多其他架构体系，其实现了相同的功能。在概念的意义上，实现相同功能的任何组件布置被有效地“相关联”，使得所期望的功能得以实现。因此，这里结合来实现特定功能的任何两个组件可以看作彼此“相关联”使得期望功能得以实现，而与结构体系或中间组件无关。类似地，如此关联的任何两个组件也可以看作彼此“操作上连接”或“操作上耦合”以实现所需功能，能够如此关联的任何两个组件也可以看作彼此“操作上可耦合”以实现所需功能。操作上可耦合的特定示例包括但不限于可物理上配合和/或物理上相互作用的组件和/或可无线地互动和/或无线地互动的组件和/或逻辑上互动和/或逻辑上可互动的组件。

关于这里基本任意复数和/或单数术语的使用，当对于上下文和/或应用而言合适时，本领域技术人员能从复数转换到单数和/或从单数转换到复数。为了清楚，各种单数/复数改变可以在这里明确说明。

本领域技术人员将理解，一般而言，这里使用的以及所附权利要求（例如，所附权利要求的主体）中指明的术语一般旨在是“开放”的术语（例如，术语“包括”应理解为“包括但不限于”，术语“具有”应理解为“至少具有”，术语“包含”应理解为“包含但不限于”等等）。本领域技术人员还将理解，如果引入性权项描述语想要特定数量，那么这样的目的将在权利要求中明确说明，在没有这样的说明的情况下，不存在这样的目的。例如，为了辅助理解，下面的所附权利要求可以包含对引入性短语“至少一个”和“一个或多个”的使用以引入权利要求描述语。

然而，这样的短语的使用不应解释为暗示由不定冠词“一”或“一个”引入的权利要求描述语将包含这样引入的权利要求描述语的任何特定权利要求限制到仅包含一个这样的描述语的主题，甚至在相同权利要求包含引入性短语“一个或多个”或“至少一个”以及不定冠词诸如“一”或“一个”时（例如，“一”和/或“一个”一般应解释为意味着“至少一个”或“一个或多个”）；这对于用于引入权利要求描述语的定冠词的使用也成立。此外，即使明确描述了具体数量的所引入的权利要求描述语，本领域技术人员也将意识到，这样的描述语一般应理解为意味着至少所述数量（例如，不带其他修饰的“两个描述语”这样的简单描述一般意味着至少两个描述语，或者两个或更多描述语）。

此外，在使用类似于“A、B和C等中的至少一个”的习惯用语的场合，一般这样的结构在本领域技术人员将理解这样的习惯用语的意义上使用（例如，“具有A、B和C中的至少一个的系统”将包括但不限于具有单独A、单独B、单独C、A和B一起、B和C一起、A和C一起、和/或A、B和C一起的系统，等等）。在使用类似于“A、B或C等中的至少一个”的习惯用语的场合，一般这样的结构在本领域技术人员将理解该习惯用语的意义上使用（例如，“具有A、B或C中的至少一个的系统”将包括但不限于具有单独A、单独B、单独C、A和B一起、B和C一起、A和C一起、和/或A、B和C一起的系统，等等）。

本领域技术人员还将理解，说明书、权利要求或附图中给出两个或更多替选项的几乎任何转折连词和/或短语应理解为预期到包括项之一、项中的任一个、或者两个项的可能性。例如，短语“A或B”将理解为包括“A”或“B”或“A和B”的可能性。

这里使用时，术语光学元件可以指的是任意合适组合的一个或多个折射性、反射性、衍射性、全息、偏振或过滤元件。这里使用时，诸如“光”、“光学”之类的术语或其他相关术语应理解为不仅指的是人眼可见光，而且还可以包括例如电磁光谱中的紫外、可见和红外部分的光。

前面对示范性实施例的描述已经为了示范和说明而给出。其无意是穷尽的或者限制到所公开的精确形式，在上面的教导下，修改和变化是可行的，并且可以从实践所公开的实施例而获得。本发明的范围旨在由所附权利要求及其等价物定义。

Claims (16)

1.一种用于非破坏性地确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的方法，所述方法包括：

(a)接收在指定成像条件下获得的所述器皿中的颗粒的至少一幅图像；

(b)根据所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；

(c)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及

(d)根据以下信息确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息：

(i)所述表观颗粒尺寸族群信息，以及

(ii)指示在与所述指定成像条件对应的条件下成像的一组或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。

2.如权利要求1所述的方法，其中，步骤(d)包括：

将多组标准尺寸颗粒的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群。

3.如权利要求2所述的方法，其中，所述多组标准尺寸颗粒包括至少四组，各组具有不同的相应标准尺寸。

4.如权利要求3所述的方法，其中，所述至少四组标准尺寸颗粒中的每组的相应尺寸与所述至少四组标准尺寸颗粒中的其它组中的每组的相应尺寸具有至少1μm的不同。

5.如权利要求2所述的方法，其中，将多组标准尺寸颗粒条件的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群的步骤包括：

通过调整所述多组标准尺寸颗粒的表观尺寸分布的权重，最小化所述叠加与所检测的颗粒的表观颗粒尺寸族群之间的差异。

6.如权利要求1所述的方法，包括在步骤(c)和(d)之前，预处理所述至少一幅图像以选择第一组颗粒用于根据所述颗粒的表观尺寸进行计数，其中步骤(c)和(d)仅应用到所述第一组颗粒。

7.如权利要求6所述的方法，其中，所述第一组颗粒中的颗粒是根据表观尺寸阈值来选择的。

8.如权利要求7所述的方法，其中，所述至少一幅图像包括多幅时间序列的图像，并且所述方法包括：

通过根据所述时间序列的图像确定与所述第一组颗粒不同的第二组颗粒的轨道，检测或计数所述第二组颗粒中的颗粒。

9.一种用于确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的装置，包括：

(a)用于接收在指定成像条件下获得的所述器皿中的颗粒的至少一幅图像的部件；

(b)用于根据所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息的部件；

(c)用于确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息的部件；以及

(d)用于根据以下信息确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息的部件：

(i)所述表观颗粒尺寸族群信息，以及

(ii)指示在与所述指定成像条件对应的条件下成像的一组或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。

10.如权利要求9所述的装置，还包括：

用于将所成像的多组标准尺寸颗粒的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群的部件。

11.如权利要求10所述的装置，其中，所述多组标准尺寸颗粒包括至少四组，各组具有不同的相应标准尺寸。

12.如权利要求11所述的装置，其中，所述至少四组标准尺寸颗粒中的每组的相应尺寸与所述至少四组标准尺寸颗粒中的其它组中的每组的相应尺寸具有至少1μm的不同。

13.如权利要求9所述的装置，还包括通过如下步骤来将多组标准尺寸颗粒条件的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群的部件：

通过调整所述多组标准尺寸颗粒的表观尺寸分布的权重，最小化所述叠加与所检测的颗粒的表观颗粒尺寸族群之间的差异。

14.如权利要求9所述的装置，还包括用于预处理所述至少一幅图像以选择第一组颗粒用于根据所述颗粒的表观尺寸进行计数的部件，其中步骤(c)和(d)仅应用到所述第一组颗粒。

15.如权利要求14所述的装置，其中，所述第一组颗粒中的颗粒是根据表观尺寸阈值来选择的。

16.如权利要求15所述的装置，其中，所述至少一幅图像包括多幅时间序列的图像，并且所述装置还包括通过根据所述时间序列的图像确定与所述第一组颗粒不同的第二组颗粒的轨道，检测或计数所述第二组颗粒中的颗粒的部件。