CN105378453A - 用于流体样本中的颗粒的分类的系统和方法 - Google Patents

Abstract

描述了一种颗粒分类器系统和一种训练该系统的方法。颗粒分类器系统适于液体样本中的颗粒的分类，所述颗粒分类器系统包括：-光学检测组件，其包括具有光轴的至少一个图像采集设备，图像采集设备被配置为采集垂直于所述光轴的图像采集区域的图像；-样本设备，其包括适于保持液体形式的样本的至少一个样本容器；-平移布置，其被配置为使所述图像采集区域平移通过所述样本容器的至少一部分；-控制系统，其被配置为控制所述光学检测组件和所述平移单元以采集多个图像采集区域的图像；-图像分析处理系统，其被编程为通过包括以下各项的方法来分析所述所采集的图像：创建由所述所采集的图像捕获的单独颗粒的对象（子图像），创建每个单独颗粒的对象的堆叠，识别包括其中所述颗粒清晰的至少一个对象和其中所述颗粒模糊的两个对象的对象的完整堆叠，以及针对对象的所述完整堆叠中的每一个确定至少N个特征的特征的集合的值的集合，其中N大于或等于1，并且其中特征的所述集合的所述值的确定涉及从其中所述颗粒清晰的所述至少一个对象和/或其中所述颗粒模糊的所述至少两个对象所获得的数据；以及-人工智能处理系统，其被编程为将每个单独颗粒的特征的所述所确定的集合的值的所述集合与颗粒分类相关联。

Description

用于流体样本中的颗粒的分类的系统和方法

技术领域

本发明涉及一种适于液体样本中的颗粒的分类的颗粒分类器系统、一种用于训练包括人工智能处理系统的颗粒分类器系统的方法、一种针对目标颗粒的存在而分析测试液体样本的方法、以及一种液体样本中的颗粒的分类的方法。颗粒分类器系统和方法可以用于诸如水、血液、尿液、牛奶和类似流体之类的流体中的颗粒的自动分类。

背景技术

在来自2006年的美国申请第0249082号中，Holmertz等人公开了一种用于对牛奶中的体细胞和脂肪滴进行计数的方法和装置。装置采集流过管中的相机的生牛奶的图像。图像包括脂肪滴、体细胞和牛奶的其它部分的颗粒。以高空间分辨率对颗粒清晰成像，并且在图像的采集之后，对其数字处理-优选地通过使用神经网络。来自装置的输出是脂肪滴计数或体细胞计数，根据其使用测量室的大小的估计值来计算浓度。装置要求大量图像（数千个）以得到足够高准确度的浓度。

在来自1998年的美国专利第5,715,182号中，Asai等人公开了一种用于流体中的颗粒的分类和检查的设备。在所呈现的设备中，诸如尿液之类的流体在流动池中向下流过相机，其中相机清晰采集尿液的图像。一次仅对一个颗粒进行成像，并且在采集之后，单元提取清晰成像的颗粒的特性。然后，将特性馈给到被训练为在所讨论的颗粒之间进行区分的神经网络。

在所提到的现有技术分类设备中，流体中的颗粒必须一次一个地通过相机。这是非常耗费时间的，因为必须针对所得分类的合理良好统计而采集许多图像。而且，仅采集每个颗粒的一个图像（清晰），但是由于若干不同颗粒可能看起来非常相同，因而可能难以精确地对其进行分类。

在来自2008年的美国专利第7,469,056号中，Ramm等人公开了一种用于执行药物发现中的自动化细胞筛选的系统，其包括自动化显微镜、快速自动聚焦设备和数字成像系统。过程在软件中实现，通过所述软件，利用最小用户交互对相关细胞材料进行分段和量化。

Lindberg等人的WO2009/091318公开了一种用于液体样本中的颗粒的分析的方法和装置。所公开的装置适于从包括颗粒的液体样本采集许多图像。所公开的方法包括识别最清晰的颗粒图像并且使用颗粒的最清晰图像以用于识别颗粒的类型。

发明内容

本发明的目标是提供一种适于液体样本中的颗粒的分类的颗粒分类器系统，以及一种简单且可靠的液体样本中的颗粒的分类方法，并且其中可以以快速且简单的方式训练颗粒分类器系统。

本发明的另一目标是提供一种用于训练包括人工智能处理系统的颗粒分类器系统的方法，该方法是相对快速且简单的。

另一目标是提供一种针对目标颗粒的存在而分析测试液体样本的方法，该方法是可靠且快速的。

这些和其它目标已经由本发明解决，如权利要求中所限定的并且如以下本文所描述的。

已经查明，本发明及其实施例具有许多附加优点，其从以下说明对于技术人员将是清楚的。

根据本发明，适于液体样本中的颗粒的分类的颗粒分类器系统包括：

-光学检测组件，其包括具有光轴的至少一个图像采集设备，图像采集设备被配置为采集垂直于光轴的图像采集区域的图像；

-样本设备，其包括适于保持液体形式的样本的至少一个样本容器；

-平移布置，其被配置为使图像采集区域平移通过样本容器的至少一部分；

-控制系统，其被配置为控制光学检测组件和平移单元以采集多个图像采集区域的图像；

-图像分析处理系统，其被编程为通过包括以下各项的方法分析所采集的图像：

　●创建由所采集的图像捕获的单独颗粒的对象（子图像），

　●创建每个单独颗粒的对象的堆叠，

　●识别包括以下各项的对象的完整堆叠：

　　o其中颗粒清晰的至少一个对象，以及

　　o其中颗粒模糊的两个对象，以及

　●针对对象的完整堆叠中的每一个，确定至少N个特征的特征的集合的值的集合，其中N至少是1，并且其中特征的集合的值的确定涉及从其中颗粒清晰的至少一个对象和/或其中颗粒模糊的至少两个对象所获得的数据；以及

-人工智能处理系统，其被编程为将每个单独颗粒的特征的所确定的集合的值的集合与颗粒分类相关联。

术语“液体样本”和“流体样本”可交换地使用。

“子图像”是所采集的图像的分段，而术语“对象”用于表示已经选择用于另外的用途的子图像。有利地，对象是包括一个单颗粒的图像的子图像，优选地对象已经通过预测试使得其包括一个单颗粒的图像。

在实施例中，针对改进的结果，子图像在其包括一个单颗粒的图像时被批准为对象。

在实施例中，一个或多个对象由具有误差的子图像形式的具有（多个）误差的对象提供，诸如其中对象的部分是模糊的，其中颗粒未完全示出和/或其中若干颗粒是聚集的。在一个单颗粒的足够数目的经批准的对象不可用的情况下，优选地仅使用具有误差的这样的一个或多个对象。

对象的“堆叠”是相同颗粒的对象的群集。堆叠通常包括一个清晰对象和许多模糊对象。在实施例中，对象的堆叠包括一个单颗粒的多个经批准的对象。有利地，堆叠的所有对象以一个单颗粒的经批准的对象的形式。然而，在实施例中，对象的堆叠包括一个单颗粒的多个经批准的对象和具有误差的一个或多个对象。

“特征”是堆叠的性质，诸如大小、圆周、颜色等。特征值是针对给定特征所确定的，例如所计算的值，并且有利地以数字（诸如17,9或0.23）的形式。在实施例中，特征的值以代码-例如颜色代码的形式。所有特征将从所采集的颗粒图像确定并且有利地从对象确定。通过数据挖掘有利地获得特征提取和/或特征值确定。

在实施例中，预选择诸如大小或形状之类的许多特征类型。光学检测组件、样本设备、平移布置和控制系统可以单独或组合，如其从现有技术所已知的，例如如WO2010/063293、US2011/0261164、EP2031428和US2009/0295963中所描述的。这些元件在现有技术中是众所周知的。组合的这些部件的要求在于，其能够保持液体样本并且被配置为采集固定液体样本内的多个图像采集区域的图像。以下描述优选示例。

在实施例中，图像采集设备是扫描相机，其被配置为扫描通过样本容器中的液体的至少一部分，图像采集设备优选地被配置为在与光轴不同的扫描方向上扫描通过样本容器中的液体的至少一部分。

样本设备有利地包括多个相同或不同的样本容器。

平移布置有利地被配置为以每个所采集的图像之间的步长使图像采集区域平移。步长优选地是预选择的步长。在确定对象的堆叠中的对象之间的距离时利用步长。

在实施例中，平移布置被配置为使样本设备和光学检测组件相对于彼此移动，从而使图像采集区域平移通过样本容器的至少一部分。

图像分析处理系统被编程为对所采集的图像进行分析。

图像分析处理系统（也被称为分析设备）有利地包括所采集的图像存储到其上的存储器。有利地，还存储关于所采集的图像的位置的数据，使得关于对象和可选地其它子图像的位置的数据可以被检索以与对象，例如连同原始图像（即所采集的图像）中的子图像的位置一起存储。例如，大小和其它相关数据可以被存储为子图像中的元数据。

通过识别看起来仅包括一个颗粒的图像区域来获得由所采集的图像捕获的单独颗粒的对象。分段有利地包括将数字图像划分为多个分段（像素的集合，也被称为超级像素）的过程。分段的目标是将图像的表示简化和/或改变为对于分析更有意义且更容易的事物。图像分段典型地用于定位图像中的对象和边界（线、曲线等）。在实施例中，图像分段包括将标签分配给图像中的每一个像素使得具有相同标签的像素共享特定视觉特性的过程。

有利地，首先针对坏区，诸如具有欠佳光水平的区、其中样本容器外部的物品可能已经使图像模糊的区、具有在图像采集期间流动的标志的区等，对所采集的图像进行扫描。然后，从流程的其余部分丢弃这些区。随后，执行所采集的图像的其余部分中的颗粒的分段。

分段有利地包括可能看起来是颗粒的图像的图像中的每个分段的识别。优选地，从图像的其余部分复制每个经识别的分段，并且该子图像有利地应用于许多滤波器，诸如形状滤波器、大小滤波器、对比度滤波器、强度滤波器等。

当子图像被接受为包括颗粒的图像（清晰或模糊）时，其被称为“对象”。当已经识别并且记录原始图像中的所有可能对象时，可以存储原始图像以用于稍后的使用。

在实施例中，如果子图像通过一个或多个滤波器并且子图像然后是包括颗粒的图像的候选者，则子图像被接受为包括颗粒的图像，并且因此记录和存储子图像。当子图像被接受时，其被提升为对象。

通过使用涉及相对于其它对象的位置的液体样本中的对象的位置的数据来提供每个单独颗粒的对象的堆叠的创建。从而，可以确定哪些对象示出清晰或模糊的相同颗粒。

将每一个对象添加到许多堆叠之一，其中每个堆叠包括相同颗粒的对象。有利地，每个堆叠包括关于其中在流体样本中找到它的位置的信息，和/或相应对象包括关于其中在所采集的图像中找到它的位置的信息。使用位置信息，另外的对象可以连接到包括相同颗粒的对象的先前创建的堆叠。如果对象不能涉及先前创建的堆叠，则有利地创建新堆叠。

在实施例中，利用盲分段。在盲分段中，当找到其中对颗粒清晰成像的对象时，创建新堆叠。通过计算先前和随后所采集的图像中的位置并且在这些位置处裁去相同大小的子图像，将另外的子图像添加到堆叠。这样，不保证子图像包括颗粒的图像，但是可能性是高的，并且对于一些颗粒类型-具体而言相对大的颗粒-和/或对于一些颗粒分类器系统-具体而言其中所采集的图像之间的距离是相对低的-该流程工作良好。通过盲分段所找到的这样的子图像被称为“盲对象”。堆叠中的盲对象的数目可以例如是3或更多、5或更多、或甚至7或更多。盲对象被认为是对象并且同样地在图像分析处理中处置。

堆叠可以包括如期望那样多的对象。在平移布置包括步进马达或类似步进式平移布置的情况下，堆叠的对象的数目将取决于步长。自然地，颗粒的大小对于对象堆叠中的对象的数目也是相关的。而且，景深是相关的。在实施例中，每个堆叠包括从3到100个对象。有利地，每个堆叠包括从5到50个对象。

在实施例中，图像分析处理系统被编程为通过包括创建由所采集的图像捕获的单独颗粒的子图像（对象）的方法来分析所采集的图像，其中通过复制围绕单独颗粒的子图像外围线内的所有像素并且使经复制的像素经受至少一个滤波器中的滤波来创建每个对象，所述滤波器优选地包括形状滤波器、大小滤波器、对比度滤波器或强度滤波器。

围绕单独颗粒的对象外围线原则上可以具有任何形状。在实施例中，围绕单独颗粒的对象外围线优选地是矩形、二次型、圆形或被成形为多边形。

在实施例中，分析处理系统被编程为通过包括创建由所采集的图像捕获的单独颗粒的对象（子对象）并且提供单独颗粒的对象的堆叠的方法来分析所采集的图像，其中对象各自仅包括一个颗粒。

在实施例中，图像分析处理系统被编程为通过包括创建由所采集的图像捕获的单独颗粒的对象并且提供单独颗粒的对象的堆叠的方法来分析所采集的图像，其中对象包括围绕颗粒的无颗粒区域。优选地，无颗粒区域是由图像分析处理系统可检测的。

在实施例中，图像分析处理系统被编程为识别对象的完整堆叠，其中对象的完整堆叠包括在清晰对象的任一侧上所采集的至少一个模糊对象。这提供系统的增加的可靠性。

在实施例中，图像分析处理系统被编程为识别对象的完整堆叠，其中对象的完整堆叠包括至少5个对象，诸如至少9个对象、诸如至少15个对象、诸如至少25个对象、诸如至少49个对象。

在实施例中，图像分析处理系统被编程为针对对象的完整堆叠中的每一个确定至少N个特征的特征的预定集合的值，其中N是3或更多，诸如4或更多、诸如多达大约1000。

一些颗粒在清晰成像时对于光学显微术是透明的，但是在模糊成像时可以是部分不透明的。因此，这些颗粒将在模糊位置中被检测为对象，但是在清晰时将在堆叠中留下“孔”。来自图像的“人工”对象可以有利地适于清晰对象。

当没有另外的对象被添加到堆叠时，堆叠将关闭并且评估堆叠是否完整，在这一点上确定堆叠是否包括清晰颗粒的至少一个对象和模糊颗粒的至少两个图像。

针对堆叠中的每个对象，有利地计算聚焦品质因数(afocusfigureofmerit)或聚焦值(focusvalue)。聚焦值是对象多么接近清晰成像的量化。聚焦值越高，对象就越接近最清晰。可以绘制堆叠的聚焦值。在实施例中，堆叠的聚焦值用于分类，在这一点上来自具有较高聚焦值的堆叠的特征值比来自具有较低聚焦值的堆叠的特征值的权重更高。

有利地，在清晰颗粒的对象的每一侧上存在至少一个对象。如果堆叠是完整的，则堆叠被认为是接受的并且得到所处理的状态。否则，丢弃对象的堆叠。

当已经处理堆叠时，其准备用于特征提取。可以限定和计算大量特征，并且针对对象的完整堆叠中的每一个，确定至少N个特征的特征的集合的值的集合，其中N至少是1，并且其中特征的集合的值的确定涉及从其中颗粒清晰的至少一个对象和/或其中颗粒模糊的至少两个对象所获得的数据。

在人工智能处理系统中处理所获得的值的集合，所述人工智能处理系统被编程为将针对每个单独颗粒的特征的所确定的集合的值的集合与颗粒分类相关联。

在实施例中，人工智能处理系统与图像分析处理系统和可选地共享存储器集成。

在实施例中，人工智能处理系统和图像分析处理系统是分离的元件，其被布置为是数字连接的，例如无线和/或经由互联网。

在实施例中，颗粒分类器系统包括两个操作模式，其包括训练模式和分类模式。为了使用颗粒分类器系统进行分类，应当训练颗粒分类器系统，如以下更详细描述的。由于对象的堆叠和针对堆叠的值的集合的生成，已经查明，颗粒分类器系统训练起来是相对简单且快速的。通过几个训练过程，颗粒分类器系统将能够分类所选颗粒类型。而且，可以使用非常简单的方法训练颗粒分类器系统，所述方法可以由用户在已经接收几个指令之后执行。

在实施例中，颗粒分类器系统在其训练模式中被编程为将特征的集合的值与由颗粒分类器系统的用户提供的分类相关联。

有利地，与分类相关联的特征的每个集合存储在存储器中。

在实施例中，颗粒分类器系统在其分类模式中被编程为基于来自颗粒的对象的特征的集合并且使用包括存储在存储器上的与相应分类相关联的特征的多个集合的人工智能处理系统对颗粒进行分类。

人工智能处理系统可以是适于对颗粒进行分类的任何人工智能处理系统。人工智能处理系统有利地被编程为具有分类算法。在实施例中，人工智能处理系统被编程为应用统计均衡算法。从而，人工智能处理系统能够使用与所学到的值集合以及其统计学变化的确切匹配二者对颗粒进行分类。

有利地，人工智能处理系统包括神经网络，诸如包括多个节点层的前馈人工神经网络。

根据本发明，图像分析处理系统被编程为针对对象的完整堆叠中的每一个，确定至少N个特征的特征的集合的值的集合。颗粒分类器系统的图像分析处理系统有利地被编程为针对大量特征确定值的集合，所述特征-依赖于待分类的颗粒的类型-可以被选择或取消选择。

特征可以是任何特征，其单独或组合其它特征可以用于区分一种类型的颗粒与另一类型的颗粒。

可以限定和实现许多不同特征。可以针对每一个对象堆叠确定，例如计算许多特征中的每一个，但是通常选择特征的子集合。子集合中的特征应当被选择为尽可能多地提供关于不同种类颗粒之间的差异的信息。

一个特征可以是对象的圆周。如果颗粒具有不同大小，则有利地应当选择该特征，这是因为其将提供关于颗粒的类型的有用信息，但是如果颗粒具有近似相同的大小，则不应当选择或单独应用该特征。

当表征包括在其中人们将寻找例如细菌、结晶体和白血细胞的诸如尿液之类的流体中的颗粒时，特征的一个集合可以是最佳的，但是当流体是牛奶时，特征的相同集合可能不提供充足信息。在牛奶中，不同子集合可以用于表征颗粒，诸如脂肪滴和体细胞（在乳腺炎的情况下）。

在实施例中，分类器系统适于生物或非生物起源或其组合的颗粒的分类。生物颗粒可以选自以下各项的组：细菌、古生菌、酵母、真菌、花粉、病毒、血细胞、诸如白血球、红血球和血小板；卵细胞、精子、受精卵、干细胞、体细胞、结晶体、脂肪滴和其混合物。

特征可以包括基于清晰阈值化对象的特征，诸如：

●空间描述符，诸如面积、周边长度、包围圆的面积等，和/或

●形态描述符，诸如凸形、离心率、形状因子等，和/或

●二元矩(binarymoments)。

特征还可以包括基于清晰对象的灰度版本的特征，诸如

●对比度、光散射性质、吸收等，和/或

●各种类型的灰度矩，和/或

●在聚焦灰度图像的傅里叶空间中提取的特征，和/或

●颗粒度。

特征还可以包括基于清晰对象的颜色版本的特征，例如

●预主导的颜色图案，和/或

●色调。

而且，特征可以包括基于来自对象堆叠（即许多清晰和模糊的对象）的信息的特征，诸如

●对象的各种聚焦曲线(focuscurve)的签名/描述符，诸如FWHM、AUC、曲线与平滑曲线之间的偏差等，和/或

●对象的各种强度曲线的签名/描述符，诸如FWHM、AUC、曲线与平滑曲线之间的偏差等，和/或

●通过将灰度/二元特征应用到对象堆叠中的单独对象所生成的曲线的签名/描述符，

●堆叠的时间参数的评价，

●相位和吸收图、布朗运动和自进式特性，和/或

●流动特性。

在实施例中，图像分析处理系统被编程为确定特征的集合的值，所述特征包括以下各项中的至少一项：

●涉及模糊对象的特征，

●涉及清晰对象的灰度版本的特征，

●涉及清晰对象的颜色版本的特征，涉及清晰对象的阈值化版本的特征，和/或

●涉及清晰和模糊对象二者的特征。

在实施例中，涉及模糊对象的特征可以包括以下各项之一：

●颗粒（形状）的圆周，

●颗粒（横截面积）的大小，

●最大与最小直径之间的比，

●颜色变化（颜色变化的程度），和/或

●预主导的颜色图案。

在实施例中，涉及清晰对象的特征包括以下各项中的至少一项：

●颗粒（形状）的圆周，

●颗粒（横截面积）的大小，

●最大与最小直径之间的比，

●颜色变化（颜色变化的程度），

●预主导的颜色图案，和/或

●颗粒的圆周内的子颗粒的数目。

在实施例中，涉及模糊对象和清晰对象二者的特征包括以下各项中的至少一项：

●从一个对象到另一对象的颗粒（形状）的圆周中的（多个）差异，

●从一个对象到另一对象的颗粒（横截面积）的大小中的（多个）差异，

●从一个对象到另一对象的最大与最小直径之间的比中的（多个）差异，

●从一个对象到另一对象的颜色变化（颜色变化的程度）中的（多个）差异，

●从一个对象到另一对象的预主导的颜色图案中的（多个）差异，

●从一个对象到另一对象的颜色中的（多个）差异，和/或

●相应对象之间的距离。

当已经针对对象堆叠确定特征的所选集合时，将特征值传递到流程中的下一步骤-最后的分类。在实施例中，特征集合有利地是诸如（17，3，199，……0.11）之类的值的列表，其中每个值是针对特定特征所确定，例如所计算的值。在实施例中，特征集合以二元图案的形式。

在实施例中，通过使用两个或更多维度中的不同种类散布图来简化特征的选择。

在实施例中，特征的选择包括数据挖掘以找到显著特征-诸如从一个颗粒类型到另一颗粒类型显著地不同的特征。

有利地，人工智能处理系统能够将特征的集合与颗粒的特定种类相关联，从颗粒的对象的完整堆叠获得特征的集合，并且特征的集合与颗粒的特定种类的关联基于与颗粒的种类相关联的特征的多个集合和与颗粒的至少一个其它种类相关联的特征的多个集合的统计均衡和处理。

在实施例中，针对每个堆叠计算特征的集合中的每个特征的值，但是颗粒保持未分类。然后，将特征的集合组合为特征的整体。该整体覆盖流体样本中的所有颗粒，并且对于该整体可以分配和确定特征的集合。整体特征的示例可以是颗粒的平均大小，但是可以是针对堆叠所确定的任何特征。而且，整体的特征包括涉及特征图的形状或密度的特征。整体的特征的集合可以用作用于相对于整体对每个单独颗粒进行分类的信息。结果是相对于整体所限定的颗粒特征的集合。

在实施例中，颗粒分类器系统适于顺序地采集图像的集合并且对由图像的第一集合捕获的颗粒和由至少图像的第二集合捕获的颗粒进行分类，从而从图像的第一集合创建对象的堆叠的第一整体并且从图像的第二集合创建对象的堆叠的第二整体。

图像的集合的数目可以如期望那样高。有利地，通过分别扫描通过样本或样本的部分而获得图像的相应集合，其中在相应扫描之间提供时间延迟。从而，可以观察到相应颗粒的改变。该实施例非常适于分析生物颗粒，例如生命颗粒。那样，可以分析生长。该方法还可以适于分析颗粒的衰减。可以依赖于可能发生的改变的期望速率而选择相应扫描之间的时间延迟。

堆叠的实例包括至少一个堆叠并且有利地多个堆叠。

在实施例中，系统适于识别单独颗粒的第一整体的对象的堆叠和相应单独颗粒的第二整体的对象的堆叠，并且检测第一整体的对象的堆叠与相应单独颗粒的第二整体的对象的堆叠之间的改变。可以有利地在扫描之后立即执行对改变的检测，并且对随后扫描的时间延迟可以被调整为提供期望程度的改变。从而，可以确定一个或多个颗粒的发展时间。

在实施例中，系统适于从堆叠中的对象确定颗粒的布朗运动。

有利地，针对整体的对象的堆叠确定至少N个特征的特征的集合，其中N个特征可以是如以上所描述的。

在实施例中，使用来自对象的堆叠的整体的特征对颗粒进行重新分类。例如，单独颗粒的第一整体的对象的堆叠可以导致第一分类，并且单独颗粒的第二或另外的整体的对象的堆叠可以导致重新分类，例如更精细的分类，因为获得了另外的数据。

在实施例中，图像分析处理系统适于针对尚未分类的颗粒（未分类的颗粒）的对象的每个堆叠确定特征的集合的值，并且创建特征的集合的整体，并且其中图像分析处理系统适于使用特征的集合的整体对这些先前未分类的颗粒进行分类。

当训练颗粒分类器系统时，存在可以跟随的若干流程。一种方案是利用仅包括一种类型颗粒的液体样本来馈给颗粒分类器系统。然后，颗粒被分类为相同种类，并且可以选择最好地描述颗粒的特征的集合。

这可以使用样本中的不同类型颗粒并且针对包括相同类型颗粒的若干样本完成若干次。这样，可以创建堆叠的库，其中每一种类型的颗粒由对象的许多堆叠表示。

用于一种类型的颗粒的特征的最佳集合可以不是用于另一类型的颗粒的最佳集合。当两个或更多不同类型颗粒存在于一个液体样本中时，可以在给出颗粒的最好可能分类的特征的所有集合当中选择特征的经组合的集合。

因此，本发明还涉及一种用于训练颗粒分类器系统的方法。所述方法包括使用人工智能处理系统对液体样本中的至少一个单独颗粒进行分类，所述方法包括：

-提供一起包括至少一个第一类型颗粒和至少一个第二类型颗粒的一个或多个液体样本，

-采集液体样本中的多个第一类型颗粒和多个第二类型颗粒的至少3个图像，其中单独的第一类型和第二类型颗粒分别是清晰或模糊的，

-创建由所采集的图像捕获的单独颗粒的对象（子图像），并且针对每个第一类型颗粒和针对每个第二类型颗粒提供对象的堆叠，并且识别包括其中颗粒清晰的至少一个对象和其中颗粒模糊的两个对象的对象的完整堆叠，

-针对对象的堆叠中的每一个确定至少N个特征的特征的集合，其中N大于0，并且其中特征的确定涉及从其中颗粒清晰的至少一个对象和其中颗粒模糊的至少两个对象所获得的数据，以及

-通过利用数据馈给人工智能处理系统来对其进行训练，所述数据包括与第一类型颗粒种类相关联的数据的第一类型集合和与第二类型颗粒种类相关联的数据的第二类型集合。

用于训练的方法可以利用与先前所描述的用于对颗粒分类的系统类似的颗粒分类器系统。

在实施例中，方法包括提供包括多个第一类型颗粒和多个第二类型颗粒的液体样本，以及使用从所提供的液体样本中的颗粒所获得的数据的集合对人工智能处理系统进行训练。这可以针对优选地具有不同浓度的第一类型和第二类型颗粒的若干液体样本完成。

更简单的方案是使用其中仅一种类型颗粒存在于液体样本中的训练方法。这优选地使用相同颗粒的若干不同液体样本完成，即方法包括提供排他性地包括一种类型的颗粒的至少一个液体样本，以及使用从所提供的（多个）液体样本中的颗粒所获得的数据的集合对人工智能处理系统进行训练。

在一些情况中，获得仅包括一种类型样本的液体样本可能是非常困难或不可能的。在这些情况中，知悉特定百分比的颗粒仅具有一种类型是足够的。

颗粒的其余部分可以具有若干不同类型。在训练期间，分类器系统有利地被提供有某一百分比，例如75%的颗粒具有一种类型并且颗粒的其余部分具有一种或多种不同类型的信息。然后，可以对分类器系统进行调节，使得输出等于这种想要的结果。

在实施例中，用于训练的方法包括；提供至少一个液体样本，其包括主导数量的一种类型的颗粒，优选地至少大约75%的颗粒、诸如至少大约80%的颗粒、诸如至少大约85%的颗粒、诸如至少大约90%的颗粒、诸如至少大约95%的颗粒是相同类型的颗粒；以及使用从所提供的（多个）液体样本中的颗粒所获得的数据的集合对人工智能处理系统进行训练。

在实施例中，方法包括提供仅包括第一类型颗粒的至少一个液体样本和提供仅包括第二类型颗粒的至少一个液体样本，并且使用从所提供的液体样本中的颗粒所获得的数据的集合对人工智能处理系统进行训练。

在实施例中，用于训练分类器系统的方法包括使用监督式学习或半监督式学习。

在监督式学习中，技术人员对许多颗粒进行分类并且将结果馈给到分类器系统。当优选的大量颗粒已经被手动分类并且馈给到分类器系统时，可以选择特征的集合以便让分类器系统给出与手动所获得的相同结果。当利用半监督式学习系统时，技术人员对许多颗粒进行分类并且将结果馈给到分类器系统。分类系统将连续地学习并且在做出对新颗粒的正确分类方面变得更好。对于新颗粒，分类系统提出分类并且技术人员接受或拒绝所提出的分类。在拒绝的情况下，技术人员可以校正分类并且从而将更多“知识”或经验提供给分类系统。

在实施例中，用于训练分类器系统的方法包括提供一起包括T种不同类型颗粒的一个或多个液体样本（其中T是3或更多），提供颗粒的完整堆叠，从堆叠确定特征，并且使用与相应类型的颗粒种类相关联的特征的集合对人工智能处理系统进行训练。

在一些情况中，需要针对特定类型颗粒的流体样本的筛选。在这些情况中，流体样本可以被认为包括目标类型颗粒和不特别感兴趣的颗粒。

在用于训练分类器系统的方法的实施例中，第一类型颗粒具有目标类型，并且第二类型颗粒不具有目标类型。

在用于训练分类器系统的方法的实施例中，目标类型是选自以下各项的组的颗粒：细菌、古生菌、酵母、真菌、花粉、病毒、白细胞、诸如粒性白细胞、单核细胞、红血球、血小板、卵细胞、精子、受精卵、干细胞、体细胞、结晶体、脂肪滴和其混合物。

当已经利用包括目标颗粒的集合的流体样本对系统进行训练时，系统可以用于针对目标颗粒中的一个或多个的存在而对测试流体进行筛选。

人工智能处理系统有利地使用分类算法执行处理。分类算法的输入包括特征的子集合的值，并且输出是颗粒的类型（或这样的颗粒的代码），诸如细菌、脂肪滴、白血球、红血球、结晶体等。在实施例中，已经将计数器分配给每一个期望类型的颗粒，并且在每次已经识别颗粒时，用于具体所识别的类型的颗粒的计数器增加1。

在人工智能处理系统使用分类算法执行处理的情况下，可以例如如以上所描述的那样对其进行训练。

在实施例中，当已经对所有经处理的堆叠和所确定的颗粒类型应用分类算法时，可以确定液体的体积。使用来自所采集的完整图像的数目的信息、平移布置的步长和图像的所丢弃部分，可以确定体积。

当已经确定体积时，可以容易地计算总颗粒浓度以及每一类型颗粒的颗粒浓度。最后，可以决定颗粒的总数目和不同颗粒浓度对于可靠测量结果是否是足够的，或对新图像的采集是否应当发起并添加到结果。当测量的总结果被确定为足够准确时，停止测量流程。

在分析液体样本的方法的实施例中，方法包括顺序地采集图像的集合并且对由图像的第一集合捕获的颗粒和由至少图像的第二集合捕获的颗粒进行分类，从而从图像的第一集合创建对象的堆叠的第一整体并且从图像的第二集合创建对象的堆叠的第二整体，优选地如系统的以上说明中所描述的。

在实施例中，整个样本或其部分的表征通过确定对象的堆叠的整体的特征的集合和确定实例特征阵列（也被称为特征云）而获得，所述特征云可以例如提供云级信息，其不能从颗粒级特征直接评价，但是可以从来自实例的对象的多个堆叠进行检测。

通过该方法，堆叠的特征的集合可以用作特征空间中的数据点，其中每个点表示颗粒，并且从而可以确定特征云。

可以由（多个）云特征确定的表征的示例是云矩、云形状参数、聚簇数目、云密度等。

在实施例中，（多个）云特征可以提供关于温度、压力、熵等的信息，这是归因于样本中的颗粒的一般外观。

在实施例中，方法包括将所确定的（多个）云特征与在已知样本上所提供的确定相关或比较，并且从而评价样本的状态或特性。

填充有同样样品（例如细菌或酵母）并且在相等条件下生长的样本期望具有特征空间中的相同云密度/分布。这意指任何云特征期望为统计相等的。

由于内部或外部效应而发生的样本的任何改变期望会改变云密度/分布，并且因此更改对应云特征，其进而可以用于表征样本中的群体的状态。

可以通过使用云特征，例如通过云相关来检测的效应的示例是：

●营养

●诸如温度、pH、抗生素之类的环境

●污染（样本被随时间演变为可检测级的次级群体所污染）

●育种（浓度增加并且次级效应可以是演化的大小的分布）

●活动性

●突变（由于云中的颗粒特征的新值的外观，可以改变云的形状）

●结构模式/发展（聚簇形成、样品的不同生命周期、老化、活/死）。

使用云特征，例如云相关对群体状态的评价可以分为样本的表征或样本中的颗粒的时间演化。在实施例中，方法用于使用经训练的颗粒分类器系统针对目标颗粒的存在而对测试液体样本进行分析，颗粒分类器系统被训练为对目标颗粒进行分类，该方法包括：

-提供测试液体样本，

-采集液体样本中的单独颗粒的至少3个图像，其中颗粒分别是清晰或模糊的，

-创建由所采集的图像捕获的单独颗粒的子图像（对象），并且针对每个单独颗粒提供对象的堆叠，并且识别包括其中颗粒清晰的至少一个对象和其中颗粒模糊的两个对象的对象的完整堆叠，

-针对对象的堆叠中的每一个确定至少N个特征的特征的集合，其中N至少是1，以及

-允许人工智能处理系统将每个单独颗粒的特征的所确定的集合的值的集合相关联以对颗粒进行分类并且确定是否已经对至少一个目标颗粒进行分类。

在一些情况中，期望的不是仅仅检测目标颗粒是否存在于流体样本中。可以合期望的是，知悉存在于给定体积流体样本中的目标颗粒的数目-即浓度。还可以合期望的是，知悉与其它类型颗粒相比的相对浓度，因为存在超过一个种类的目标颗粒。这是在使用血液以进行测量时的情况。在确定所谓的3部分差异或5部分差异时的实施例中，确定不同白细胞（嗜中性白细胞、淋巴细胞、单核细胞、嗜酸性细胞和嗜碱性细胞）中的每一种的数目，并且有利地计算其相对浓度。

在用于分析测试液体的方法的实施例中，方法包括执行确定测试液体中的目标颗粒的数目的定量分析。

在实施例中，用于使用经训练的颗粒分类器系统对液体样本中的颗粒分类的方法包括：

-采集液体样本中的单独颗粒的至少3个图像，其中单独颗粒是清晰或模糊的，

-创建单独颗粒的子图像（对象）并且将每一个对象分配到包括单独颗粒的不同图像的对象的堆叠，使得对象的堆叠包括其中颗粒清晰的至少一个对象和其中颗粒模糊的两个对象，

-针对对象的堆叠确定至少N个特征的特征的集合，其中N大于0，并且其中特征的集合的确定涉及从其中颗粒清晰的至少一个对象和其中颗粒模糊的至少两个对象所获得的数据，

-将特征的集合馈给到经训练的颗粒分类器系统的人工智能处理系统并且用于对单独颗粒进行分类，以及

-允许人工智能处理系统将每个单独颗粒的特征的所确定的集合的值的集合相关联以对颗粒进行分类。

在本发明的范围内可以以各种方式组合包括范围和优选范围的本发明的所有特征，除非存在不组合这样的特征的特定原因。

附图说明

现在将参考附图以示例的方式描述本发明的优选实施例。应当理解，这些优选实施例的说明不应当被解释为限制本发明的范围。

图1示出了光学检测组件和包括含有颗粒的流体样本的样本固定器的示例，

图2示出了包括大量颗粒的流体样本的两个图像的示例，

图3示出了根据本发明的系统的示意图，

图4示出了针对对象的堆叠所计算的聚焦曲线的示例，

图5a、5b、6a和6b图示了对象的两个堆叠的对象和示例1中所获得的堆叠的聚焦曲线。

附图是示意性的并且可以为了清晰而简化。自始至终，相同参考数字用于同样或对应的部分。

具体实施方式

本发明的系统包括光学检测组件。在优选实施例中，光学检测组件包括至少一个图像采集设备，其包括CCD相机或CMOS相机。光学检测组件还包括透镜、棱镜、虹膜、孔径和使用在显微术中的其它常见光学部件。光学检测组件适于采集图像，其中可以识别单独生物有机体。在美国临时申请US61/146,850中描述了光学检测组件的一个实施例，其中提供了一种用于获得相对于样本设备布置的样本的多个图像的装置。装置包括至少第一光学检测组件，其包括至少第一图像采集设备。第一光学检测组件具有光轴和对象平面。对象平面包括图像采集区域，从所述图像采集区域，可以通过第一图像采集设备将电磁波检测为图像。装置还包括：至少一个平移布置，其被布置为使样本设备和第一光学检测组件相对于彼此移动；以及外壳，其被配置为支持第一光学检测组件和平移布置，其中第一光学检测组件和平移布置被布置为使得样本设备的至少一部分与图像采集区域相交。样本设备和第一光学检测组件相对于彼此的移动沿着扫描路径，其限定相对于光轴的角度θ，其中θ大于0。

US61/146,850还公开了一种用于获得样本的多个图像的方法。该方法包括相对于样本设备布置样本并且相对于用于获得多个图像的装置布置样本设备。装置包括至少第一光学检测组件，其具有至少第一图像采集设备。第一光学检测组件具有光轴和对象平面，其中对象平面具有图像采集区域，从所述图像采集区域，可以通过第一图像采集设备将电磁波检测为图像。

图像采集区域与样本的至少一部分相交。在沿着第一扫描路径的扫描长度之上，样本设备和第一检测组件相对于彼此移动。扫描路径和光轴一起限定角度θ，其大于0。而且，方法包括获得多个图像。

在US61/146,850中，还公开了一种用于获得样本的多个图像的系统。系统包括样本设备和具有至少第一光学检测组件的装置，所述第一光学检测组件包括至少第一图像采集设备。装置的第一光学检测组件具有光轴和对象平面。该对象平面包括图像采集区域，从所述图像采集区域，可以通过第一图像采集设备将电磁波检测为图像。该系统的装置还包括：至少一个平移布置，其被布置为使样本设备和第一光学检测组件相对于彼此移动；以及外壳，其被布置为支持第一光学检测组件和平移布置，其中第一光学检测组件和平移布置被布置为使得样本设备的至少一部分与图像采集区域相交。样本设备和第一光学检测组件相对于彼此的移动沿着扫描路径，其限定相对于光轴的角度θ，其中θ大于0。原则上，US61/146,850的扫描路径可以包括对象平面和样本相对于彼此的任何运动。具体而言，扫描路径可以包括沿着扫描轴布置的基本上直的扫描线。扫描路径还可以由基本上旋转运动限定，在该情况中，θ是光轴与旋转运动的局部切线之间的角度。在实施例中，扫描路径局限于平面，诸如直线、圆形运动、螺旋运动或任何其它适合的路径。

图1a中示出了根据本发明的光学检测组件的优选实施例，示出了包括流体样本4的样本设备32，所述流体样本4包括多个颗粒2、2’、2’’、2’’’、2’’’’。样本设备32具有纵向平移轴Z。在样本固定器的一侧处提供光源24，并且在样本固定器的另一侧上提供物镜26和图像传感器8。光源24通过流体样本4向图像传感器8传送光30，其中当流体样本4中的颗粒2、2’、2’’、2’’’、2’’’’处于图像传感器的视场中时，采集其图像。平移布置（未示出）可以以小步骤使样本设备32相对于图像传感器8平移，并且对于每个步骤采集新图像。

在图1b中，已经在4个步骤中在扫描方向A上移动包括图像传感器、透镜26和光源24的光学检测组件。已经在位置28、28’、28’’、28’’’、28’’’’中通过图像传感器对颗粒2、2’、2’’、2’’’、2’’’’进行成像。颗粒2、2’、2’’、2’’’、2’’’’中的一些可能已经在所有5个位置28、28’、28’’、28’’’、28’’’’中成像，而颗粒2、2’、2’’、2’’’、2’’’’中的一些可能仅已经在图像28、28’、28’’、28’’’、28’’’’中的一个或两个中成像。

对接近图像位置28、28’、28’’、28’’’、28’’’’定位的颗粒2、2’、2’’、2’’’、2’’’’清晰成像，而将对远离（但是仍然在图像传感器的视场内）定位的颗粒2、2’、2’’、2’’’、2’’’’模糊成像。

结合平移布置的步长，系统的景深可以被布置为确保给定颗粒在一个图像中清晰成像，并且在该图像的每一侧上的至少一个图像中模糊成像，其中该图像是清晰的。即如果颗粒2’’在图像28’’中清晰成像，则其将在图像28’和28’’’中模糊成像。其还可以在图像28和28’’’’中模糊成像，但是图像质量可能太差以致于不能使用。在另一示例中，颗粒2’’在图像28’、28’’和28’’’中清晰成像，而图像28和28’’’’是模糊的。

在图2a中，示出了从样本固定器中的流体所采集的图像28，流体包括大量颗粒。已经标记出两个颗粒2和2’。在图2b中，示出了图像28’，当采集图像时，图像28’是线中的下一个。而且，在图2b中，已经标记出两个颗粒2和2’。如可以看到的，颗粒2在图像28中清晰成像并且在图像28’中模糊成像，而对标记为2’的颗粒情况相反。

在图3中，显示了根据本发明的系统的示意图。系统包括光学检测组件40，其包括图像采集设备41和透镜41a。光学检测系统可以是具有内置相机的标准光学显微镜。在图3中，示出了具有斜视观察的光学显微镜。光照设备43通过样本设备42向光学检测组件40传送光，诸如激光或来自LED的光。包括待成像的颗粒的流体包含在样本设备42中。系统包括平移布置44。可以使用平移布置44使样本设备42沿着Z轴相对于光学检测组件40平移，从而使流体中的颗粒移动通过图像采集区段。移动的步长由平移布置44控制以便确保多个并且有利地所有颗粒成像至少3次-一次清晰和至少两次模糊。

最佳步长可以由光学系统确定，即景深和光学分辨率的要求。如果系统具有大景深，则可以增加步长，而小景深可以要求小步骤。较小的景深可以提供较大的视角，从而使得能够同时扫描更大数目的颗粒，但是还引起所成像的颗粒的较差光学分辨率。

系统还包括控制系统46，其适于控制平移布置44相对于光学检测组件40的运动以及控制从相机的图像采集。例如，方法包括使样本设备42平移一步，从相机采集图像并且将图像转移到系统的图像分析设备48。当图像分析设备48在分析图像时，控制系统46发起平移以用于采集新图像。

当图像到达分析设备48时，其存储在存储器中。首先针对坏区，诸如具有高/低光水平的区、其中样本容器外部的对象可能已经使图像模糊的区等，对图像进行扫描。然后，从流程的其余部分丢弃这些区。然后，执行图像的其余部分中的颗粒的分段。分段包括可能看起来是颗粒的图像的图像中的每个分段的识别。从图像的其余部分复制每个经识别的分段，并且将该子图像应用到许多滤波器，诸如形状滤波器、大小滤波器、对比度滤波器、强度滤波器等。如果子图像通过这些滤波器，则子图像是包括颗粒的图像的候选者，并且因此对子图像进行记录和存储。将关于原始图像中的子图像的位置的数据、大小和其它相关数据存储为子图像中的元数据。通常，子图像是矩形的，但是其原则上可以具有任何形状，只要在元数据中描述该形状即可。

当子图像被接受为包括颗粒的图像（清晰或模糊）时，其被称为“对象”。当已经识别并且记录原始图像中的所有可能对象时，可以存储原始图像以用于稍后的使用。

然后，将每一个对象添加到对象的许多堆叠之一。对象堆叠包括在先前图像中所识别的对象。每个堆叠包括关于其中在图像中找到它的位置的信息，并且使用该信息可以将新对象连接到包括相同颗粒的对象的先前创建的对象堆叠。如果对象不能涉及先前创建的堆叠，则创建对象的新堆叠。

对象的堆叠是开放的，只要将新对象添加到堆叠即可。取决于平移布置的步长和景深，堆叠可以包括许多对象。通常，堆叠包括从1至20-25个，但是其可以包括如45-50个对象那样多或甚至更多。如果新图像采集不以将新对象添加到特定堆叠而结束，则可以关闭堆叠。这可以在平移布置44已经将相机移出颗粒的范围时发生。

对于堆叠中的每个对象，计算聚焦品质因数或聚焦值。聚焦值是对象多么接近清晰成像的量化。聚焦值越高，对象就越接近清晰。可以绘制对象60的堆叠的聚焦值，如图4中所示，图4示出了作为ID的函数的聚焦值，ID是堆叠的对象的所识别的顺序。如可以看到的，曲线具有顶点，其指示最接近顶点的对象是清晰成像的对象。曲线上的其它对象或多或少地模糊成像。

系统还包括人工智能处理系统50以用于对颗粒进行分类。如以上所描述的，对人工智能处理系统进行训练。有利地，人工智能处理系统50和图像分析处理系统集成在公共单元中。

如从图4可见的，来自对象61的聚焦值F中的两个丢失-由它们应当期望处于其中的虚正方形指示。有时候，在图像的采集期间，丢弃图像的区，并且如果所丢弃的区包括属于开放对象堆叠的对象，则对象将丢失，从而在聚焦曲线中留下“孔”。因此，可以有利的是，即使没有新对象添加到堆叠，也使对象的堆叠开放。

一些颗粒在清晰成像时对于光学显微术是透明的，但是在模糊成像时可以是部分不透明的。因此，这些颗粒在模糊位置中将被检测为对象，但是在清晰时将在堆叠中留下“孔”。取决于步长和景深，该“孔”可以是1、2或甚至5或更多个位置。

为了填上对象堆叠中的孔，因此可以有利的是，针对许多位置从图像裁去“人工”对象并且添加到堆叠，直到模糊对象出现或对象不会由于坏区而被丢弃。如果在许多图像采集之后没有新的真实对象添加到堆叠，则可以从堆叠移除人工对象并且可以关闭堆叠。

当已经关闭对象的堆叠时，将堆叠传递到下一级。在该级中，确定堆叠是否包括清晰颗粒的至少一个对象和可以模糊的颗粒的至少两个对象。如果清晰颗粒的对象的每一侧上存在至少一个对象，则认为堆叠是接受的并且得到所处理的状态。否则，丢弃对象的堆叠。

当已经处理堆叠时，其准备用于特征提取。可以限定和计算大量特征，并且此处将仅提及几个特征。本领域技术人员将理解到，可以限定和计算更多不同特征。

特征可以有利地是如以上所描述的，并且优选地包括基于清晰阈值化对象的特征，诸如：

●空间描述符，诸如面积、周边长度、包围圆的面积等，

●形态描述符，诸如凸形、离心率、形状因子等，

●二元矩。

特征还可以包括基于清晰对象的灰度版本的特征，诸如

●对比度、光散射性质、吸收等，

●各种类型的灰度矩，

●在聚焦灰度图像的傅里叶功率谱中提取的特征。

而且，特征可以包括基于来自对象堆叠（即许多清晰和模糊的对象）的信息的特征，诸如

●对象的各种聚焦曲线的签名/描述符，诸如FWHM、AUC、曲线与平滑曲线之间的偏差等，

●对象的各种强度曲线的签名/描述符，诸如FWHM、AUC、曲线与平滑曲线之间的偏差等，

●通过将灰度/二元特征应用到对象堆叠中的单独对象所生成的曲线的签名/描述符。

目前，已经限定app.80个不同特征，并且在系统中定期限定和实现新特征。可以针对每一个对象堆叠计算许多特征中的每一个，但是通常选择特征的子集合。子集合中的特征应当被选择为尽可能多地提供关于不同种类颗粒之间的差异的信息。

一个特征可以是对象的圆周。如果颗粒具有不同大小，则应当选择该特征，这是因为其将提供关于颗粒的类型的有用信息，但是如果颗粒具有近似相同的大小，则不应当选择该特征。

当表征包括在其中人们将寻找例如细菌、结晶体和白血细胞的诸如尿液之类的流体中的颗粒时，特征的一个集合可以是最佳的，但是当流体是牛奶时，特征的相同集合可能不会提供充足信息。在牛奶中，不同子集合可以用于表征颗粒，诸如脂肪滴和体细胞（在乳腺炎的情况下）。

当已经针对对象堆叠计算特征的所选集合时，将特征值传递到流程中的下一步骤-最后的分类。特征集合可以是诸如（17，3，199，……11）之类的值的列表，其中每个值是针对特定特征所计算的值。

将特征的集合转移到人工智能处理系统50以用于对颗粒进行分类。

示例1

示例：酵母细胞的生存能力

在该示例中，描述了一种使用如以上所描述的颗粒分类器系统对酵母细胞进行分类的方法。将酵母细胞分类为要么是“死”的要么是“活”的。

使用以上所描述的颗粒分类器对包括多个酵母细胞的液体样本进行分析，并且获得对象的多个堆叠，每个堆叠包括至少一个清晰对象和两个模糊对象。

在图5中，示出了酵母细胞的堆叠的对象。在左上角，使对象负向离焦。以左向右的顺序一行接一行地使对象对齐。跟随对象的顺序，可以看到，聚焦F逐渐增加并且最后到达由箭头表示并利用粗线勾勒的完美聚焦（清晰对象）。使以下对象逐渐离焦（正向离焦）。这样，可以在如图5a中所示的一个复合图像中看到单个酵母细胞的完整聚焦行为。图5b示出了用于图5a的堆叠的聚焦曲线。

图6a示出了以对应于图5a的堆叠的对象的顺序对齐的对象的另一堆叠的对象。图6b示出了用于图6a的堆叠的聚焦曲线。

颗粒分类器系统将图5a中所看到的酵母细胞分类为死酵母细胞并且将图6a的酵母细胞分类为活酵母细胞。

如果仅看清晰对象，即利用箭头所指示的，则在外观方面不存在明显差异并且判断细胞的生存能力（“死”或“活”）是非常困难的-并且有时甚至是不可能的。没有形态或纹理特征将会揭露细胞是死的还是活的。

然而，当使用酵母细胞的模糊信息时，可以看到，判断生存能力变得简单得多。例如，图6a的一些模糊对象示出活酵母细胞的中心的亮斑。图5a的模糊对象不具有该特征。

而且，可以看到，如图5b和6b中所示的聚焦曲线彼此显著不同。对于死细胞，聚焦曲线表现为单峰高斯形曲线，即其仅具有单个最大值。对于活细胞，聚焦曲线表现为双峰高斯形曲线，即其具有两个不同的最大值。

示例2

使用整体特征对颗粒进行分类：

在未知大小或形状的单养酵母细胞的样本中，我们想要根据增殖的阶段对每个细胞进行分类。假定所有细胞处于增殖状态，其中它们要么是单独的（未增殖），两个细胞连接的（具有单个子代的增殖），要么是多个对象连接的（较高等级的增殖）。在分段、堆叠生成和特征计算之后，颗粒的大小分布将示出单个细胞大小的倍数附近的峰，即1个单位大小、2个单位大小等附近的峰。清楚的是，对应于最低峰的区域对应于单个细胞的大小，其到目前为止是未知的。现在，可以根据其最接近的分布中的峰对整体中的所有颗粒进行分类，即最接近最低峰的颗粒未增殖，并且更接近第二峰的颗粒被分类为单个子代细胞。

Claims (42)

1.一种适于液体样本中的颗粒的分类的颗粒分类器系统，所述颗粒分类器系统包括：

-光学检测组件，其包括具有光轴的至少一个图像采集设备，所述图像采集设备被配置为采集垂直于所述光轴的图像采集区域的图像；

-样本设备，其包括适于保持液体形式的样本的至少一个样本容器；

-平移布置，其被配置为使所述图像采集区域平移通过所述样本容器的至少一部分；

-控制系统，其被配置为控制所述光学检测组件和所述平移单元以采集多个图像采集区域的图像；

-图像分析处理系统，其被编程为通过包括以下各项的方法来分析所述所采集的图像：

创建由所述所采集的图像捕获的单独颗粒的对象（子图像），

创建每个单独颗粒的对象的堆叠，

识别包括其中所述颗粒清晰的至少一个对象和其中所述颗粒模糊的两个对象的对象的完整堆叠，以及

针对对象的所述完整堆叠中的每一个确定至少N个特征的特征的集合的值的集合，其中N大于或等于1，并且其中特征的所述集合的所述值的确定涉及从其中所述颗粒清晰的所述至少一个对象和/或其中所述颗粒模糊的所述至少两个对象所获得的数据；以及

-人工智能处理系统，其被编程为将每个单独颗粒的特征的所述所确定的集合的值的所述集合与颗粒分类相关联。

2.根据权利要求1所述的颗粒分类器系统，其中所述颗粒分类器系统包括两个操作模式，其包括训练模式和分类模式。

3.根据权利要求2所述的颗粒分类器系统，其中所述颗粒分类器系统在其训练模式中被编程为将特征的所述集合的所述值与由所述颗粒分类器系统的用户所提供的分类相关联。

4.根据权利要求2或3所述的颗粒分类器系统，其中所述颗粒分类器系统在其分类模式中被编程为基于来自所述颗粒的对象的堆叠的特征的集合并且使用包括存储在所述存储器上的与相应分类相关联的特征的多个集合的所述人工智能处理系统对颗粒进行分类。

5.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像采集设备是被配置为扫描通过所述样本容器中的流体的至少一部分的相机，所述图像采集设备优选地被配置为在与所述光轴不同的扫描方向上扫描通过所述样本容器中的流体的至少一部分。

6.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述样本设备包括多个相同或不同的样本容器。

7.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述平移布置被配置为以每个所采集的图像之间的步长使所述图像采集区域平移，所述步长优选地是预选择的步长。

8.根据权利要求7所述的颗粒分类器系统，其中所述步长被用于确定对象的所述堆叠中的对象之间的距离。

9.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述平移布置被配置为使所述样本设备和所述光学检测组件相对于彼此移动。

10.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为通过包括创建由所述所采集的图像捕获的单独颗粒的对象的方法来分析所述所采集的图像，其中通过复制围绕单独颗粒的对象外围线内的所有像素并且使所述经复制的像素经受至少一个滤波器中的滤波来创建每个对象，所述滤波器优选地包括形状滤波器、大小滤波器、对比度滤波器或强度滤波器。

11.根据权利要求10所述的颗粒分类器系统，其中围绕单独颗粒的所述对象外围线是矩形、二次型、圆形，优选地所述对象外围线被成形为多边形。

12.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为通过包括创建由所述所采集的图像捕获的单独颗粒的对象并且提供所述单独颗粒的所述对象的堆叠的方法来分析所述所采集的图像，其中所述对象各自仅包括一个颗粒。

13.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为通过包括创建由所述所采集的图像捕获的单独颗粒的对象并且提供所述单独颗粒的所述对象的堆叠的方法来分析所述所采集的图像，其中所述对象包括围绕所述颗粒的无颗粒区域。

14.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为识别对象的完整堆叠，其中对象的所述完整堆叠包括在清晰对象的任一侧上所采集的至少一个模糊对象。

15.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为识别对象的完整堆叠，其中对象的所述完整堆叠包括至少5个对象，诸如至少9个对象、诸如至少15个对象、诸如至少25个对象、诸如至少49个对象。

16.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为针对对象的所述完整堆叠中的每一个确定至少N个特征的特征的预定集合的值，其中N是2或更多，诸如3或更多、诸如4或更多、诸如多达大约100。

17.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统被编程为确定包括以下各项中的至少一项的特征的集合的值：

涉及模糊对象的特征，和/或

涉及清晰对象的灰度版本的特征，和/或

涉及清晰对象的阈值化版本的特征，和/或

涉及清晰和模糊对象二者的特征。

18.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述分类器系统适于对选自以下各项的组的颗粒的分类：细菌、古生菌、酵母、真菌、花粉、病毒、白细胞、诸如粒性白细胞、单核细胞、红血球、血小板、卵细胞、精子、受精卵、干细胞、体细胞、结晶体、脂肪滴和其混合物。

19.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述人工智能处理系统能够将特征的集合与颗粒的特定种类相关联，从颗粒的对象的完整堆叠获得特征的集合，并且特征的集合与颗粒的所述特定种类的关联基于与颗粒的所述种类相关联的特征的多个集合和与颗粒的至少一个其它种类相关联的特征的多个集合的统计方法和处理。

20.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述人工智能处理系统包括神经网络。

21.根据前述权利要求中任一项所述的颗粒分类器，其中所述人工智能处理系统被编程为应用统计方法。

22.根据前述权利要求中任一项所述的颗粒分类器，其中所述神经网络是前馈人工神经网络。

23.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述系统适于顺序地采集图像的集合并且对由图像的第一集合捕获的颗粒和由至少图像的第二集合捕获的颗粒进行分类，从而从图像的所述第一集合创建对象的堆叠的第一整体并且从图像的所述第二集合创建对象的堆叠的第二整体。

24.根据权利要求23所述的颗粒分类器系统，其中所述系统适于识别单独颗粒的所述第一整体的对象的堆叠和所述相应单独颗粒的所述第二整体的对象的堆叠，并且检测所述第一整体的对象的所述堆叠与所述相应单独颗粒的所述第二整体的对象的堆叠之间的改变。

25.根据权利要求23或24所述的颗粒分类器系统，其中针对所述整体的对象的堆叠中的每一个确定至少N个特征的特征的集合。

26.根据权利要求23-25中任一项所述的颗粒分类器系统，其中使用来自对象的堆叠的所述整体的特征对所述颗粒进行重新分类。

27.根据前述权利要求中任一项所述的颗粒分类器系统，其中所述图像分析处理系统适于确定未分类的颗粒的对象的每个堆叠的特征的集合的值并且创建特征的集合的整体，并且其中所述图像分析处理系统适于使用特征的集合的所述整体对所述未分类的颗粒进行分类。

28.根据权利要求23-27中任一项所述的颗粒分类器系统，其中所述系统适于从堆叠中的对象确定颗粒的布朗运动。

29.一种用于训练包括人工智能处理系统的用于液体样本中的至少一个单独颗粒的分类的颗粒分类器系统的方法，所述方法包括：

-提供一起包括至少一个第一类型颗粒和至少一个第二类型颗粒的一个或多个液体样本，

-采集所述液体样本中的多个所述第一类型颗粒和多个所述第二类型颗粒的至少3个图像，其中所述单独的第一类型和第二类型颗粒分别是清晰或模糊的，

-创建由所述所采集的图像捕获的所述单独颗粒的对象，并且针对每个第一类型颗粒和针对每个第二类型颗粒提供对象的堆叠，并且识别包括其中所述颗粒清晰的至少一个对象和其中所述颗粒模糊的两个对象的对象的完整堆叠，

-针对对象的所述堆叠中的每一个确定至少N个特征的特征的集合，其中N大于或等于1，并且其中所述特征的确定涉及从其中所述颗粒清晰的所述至少一个对象和其中所述颗粒模糊的所述至少两个对象所获得的数据，以及

-通过利用数据馈给人工智能处理系统对其进行训练，所述数据包括与第一类型颗粒种类相关联的数据的第一类型集合和与第二类型颗粒种类相关联的数据的第二类型集合。

30.根据权利要求29所述的用于训练的方法，其中所述颗粒分类器系统根据权利要求1-28中任一项所述。

31.根据权利要求29或30所述的方法，其中所述方法包括提供包括多个第一类型颗粒和多个第二类型颗粒的至少一个液体样本，以及使用从所提供的液体样本中的颗粒所获得的数据的集合对所述人工智能处理系统进行训练。

32.根据权利要求29-31中任一项所述的用于训练的方法，其中所述方法包括提供排他性地包括一种类型的颗粒的至少一个液体样本，以及使用从所提供的一个或多个液体样本中的颗粒所获得的数据的集合对所述人工智能处理系统进行训练。

33.根据权利要求29-32中任一项所述的用于训练的方法，其中所述方法包括：提供至少一个液体样本，其包括主导数量的一种类型的颗粒，优选地至少大约75%的颗粒，诸如至少大约80%的颗粒、诸如至少大约85%的颗粒、诸如至少大约90%的颗粒、诸如至少大约95%的颗粒是相同类型的颗粒；以及使用从所提供的一个或多个液体样本中的颗粒所获得的数据的集合对所述人工智能处理系统进行训练。

34.根据权利要求29-33中任一项所述的用于训练的方法，其中所述方法包括提供仅包括所述第一类型颗粒的至少一个液体样本和提供仅包括所述第二类型颗粒的至少一个液体样本，以及使用从所提供的液体样本中的颗粒所获得的数据的集合对所述人工智能处理系统进行训练。

35.根据权利要求29-34中任一项所述的用于训练的方法，其中所述方法包括使用监督式学习或半监督式学习对所述人工智能处理系统进行训练。

36.根据权利要求29-35中任一项所述的用于训练的方法，其中所述方法包括：提供一起包括T种不同类型颗粒的一个或多个液体样本，其中T是3或更多；提供针对所述颗粒的完整堆叠；从所述堆叠确定特征；以及使用与相应类型颗粒种类相关联的特征的所述集合对所述人工智能处理系统进行训练。

37.根据权利要求29-36中任一项所述的用于训练的方法，其中所述第一类型颗粒具有目标类型，并且所述第二类型颗粒不是所述目标类型。

38.根据权利要求37所述的用于训练的方法，其中所述目标类型是选自以下各项的组的颗粒：细菌、古生菌、酵母、真菌、花粉、病毒、白细胞、诸如粒性白细胞、单核细胞、红血球、血小板、卵细胞、精子、受精卵、干细胞、体细胞、结晶体、脂肪滴和其混合物。

39.一种使用根据权利要求22-38中任一项的经训练的颗粒分类器系统针对目标颗粒的存在而对测试液体样本进行分析的方法，所述颗粒分类器系统被训练为对所述目标颗粒进行分类，所述方法包括：

-提供所述测试液体样本，

-采集所述液体样本中的单独颗粒的至少3个图像，其中所述颗粒分别是清晰或模糊的，

-创建由所述所采集的图像捕获的所述单独颗粒的对象，并且针对每个单独颗粒提供对象的堆叠，并且识别包括其中所述颗粒清晰的至少一个对象和其中所述颗粒模糊的两个对象的对象的完整堆叠，

-针对对象的所述堆叠中的每一个确定至少N个特征的特征的集合，其中N大于或等于1，以及

-允许所述人工智能处理系统将每个单独颗粒的特征的所述所确定的集合的值的所述集合相关联以对所述颗粒进行分类，并且确定是否已经对至少一个目标颗粒进行分类。

40.根据权利要求39所述的分析测试液体样本的方法，其中所述方法包括执行用于确定所述测试液体中的目标颗粒的数目的定量分析。

41.一种使用根据权利要求29-38中任一项的经训练的颗粒分类器系统对液体样本中的颗粒进行分类的方法，所述方法包括：

-采集所述液体样本中的所述单独颗粒的至少3个图像，其中所述单独颗粒是清晰或模糊的；

-创建所述单独颗粒的对象，并且将所述对象中的每一个分配到包括所述单独颗粒的不同图像的对象的堆叠，使得对象的所述堆叠包括其中所述颗粒清晰的至少一个对象和其中所述颗粒模糊的两个对象，

-针对对象的所述堆叠确定至少N个特征的特征的集合，其中N大于或等于1，并且其中特征的集合的确定涉及从其中所述颗粒清晰的所述至少一个对象和其中所述颗粒模糊的所述至少两个对象所获得的数据，

-将特征的所述集合馈给到经训练的颗粒分类器系统的人工智能处理系统并且用于对所述单独颗粒进行分类，以及

-允许所述人工智能处理系统将每个单独颗粒的特征的所述所确定的集合的值的所述集合相关联以对所述颗粒进行分类。

42.根据权利要求41所述的用于分类的方法，其中所述颗粒分类器系统根据权利要求1-28中任一项所述。