CN113496251A

CN113496251A - 确定用于识别图像中的物体的分类器的装置、识别图像中的物体的装置和相应方法

Info

Publication number: CN113496251A
Application number: CN202110372625.0A
Authority: CN
Inventors: 哈拉德·加尔达
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2020-04-08
Filing date: 2021-04-07
Publication date: 2021-10-12
Also published as: US20210319269A1; JP2021168131A; EP3893146A1

Abstract

一种用于确定用于识别图像中的物体的分类器的装置(100)，被配置为接收针对图像的像素的初步注释(110)，初步注释(110)包括像素属于物体或背景的注释。装置还被配置为将初步注释(110)变换为增强注释(120)，增强注释(120)还包括像素属于背景和物体之间的过渡的注释以及像素属于物体之间的过渡的注释中的至少一个。基于增强注释和图像的像素的表示来确定分类器(130)。

Description

确定用于识别图像中的物体的分类器的装置、识别图像中的物体的装置和相应方法

技术领域

示例涉及用于识别图像中的物体的装置以及用于确定用于识别图像中的物体的分类器的装置。

背景技术

有多个任务需要识别图像中的物体。例如，在显微术或医学诊断应用中，可能需要识别图像内的微生物或细胞器。除其他外，这对于计数探针内多种不同微生物的数量可能是有意义的。在这样的应用中，第一任务可以是识别图像内的微生物，而第二任务可以是确定所识别的微生物的特定类型，例如，对识别的物体进行分类。

识别图像内的微生物可能需要将微生物与图像的背景区分开，并识别微生物，这些微生物从显微镜的视角重叠，从而使得它们在二维图像内直接接触。可以使用诸如边缘滤波器之类的滤波器或使用针对图像内像素的强度的阈值来执行图像中物体的识别。但是，例如在图像具有不可预测的或强烈变化的特征的情况下，这种常规方法可能仅获得令人不满意的结果。对于用常规方法难以在其中识别物体的图像，一个特定的例子是具有低对比度的图像。不可预测的或变化的特征例如可以是由在其中拍摄图像的不同环境引起的或使用的图像拍摄技术的固有属性。

因此，需要改善图像内物体的识别。

发明内容

这种要求可以通过独立权利要求之一的主题来满足。

实施例涉及一种用于确定用于识别图像中的物体的分类器的装置，该装置被配置为：接收针对图像的像素的初步注释，初步注释包括像素属于物体或背景的注释；以及将初步注释变换为增强注释。增强注释还包括以下至少之一：像素属于背景和物体之间的过渡的注释；像素属于物体之间的过渡的注释。此外，装置被配置为基于增强注释和图像的像素的表示来确定分类器。使用增强注释已被证实能够确定高度可靠的分类器，增强注释可以将图像内的像素另外表征为不仅属于物体或背景，而且还属于背景和物体之间的过渡和/或不同物体之间的过渡。与仅使用初步注释确定的分类器相比，如此确定的分类器实现更好的分类结果。与常规确定的分类器相比，具有更好分类结果的分类器以更低故障率确定二维图像内的像素是属于物体还是属于背景。

根据实施例，分类器是随机森林。随机森林是可以确定像素是属于物体还是背景的统计分类器。最终，随机森林还可以确定像素是否属于背景与物体之间的过渡以及像素是否属于物体之间的过渡。与其他分类技术相比，可以使用较小的一组训练数据来训练或确定随机森林。因此，使用随机森林可以允许训练分类器以对图像内的像素进行分类，即使仅有限的数据量可被生成用于训练目的。

在其他实施例中，装置被配置为使用图像的像素的子集的表示和增强注释来训练分类器。仅使用图像内的像素的子集来训练分类器可以例如允许将图像内的剩余像素用作用于检查分类器的性能的参考组。因此，单个图像内的像素可以既用作训练数据又用作验证数据，这可以导致训练分类器所需的图像的数量减少。

在其他实施例中，装置被配置为使用分类器和图像的像素的表示来确定指示图像内的像素属于物体的概率的概率图。确定概率图可以允许进一步的处理步骤，处理步骤在最终得出像素是否属于物体的结论之前评估每个像素属于物体的概率。与其中分类器直接生成像素属于物体还是背景的二进制信息的实现方式相比，这可以导致更好的检测准确度。

其他实施例涉及一种用于识别图像中的物体的装置，该装置被配置为基于分类器和图像的像素的表示来确定指示图像内的像素属于物体的概率的概率图。装置还被配置为使用概率图和初步注释来得出属于物体的像素，初步注释包括像素属于物体或背景的注释。通过不仅评估概率图，而且通过另外考虑初步注释，可以提高关于像素是否属于物体的最终确定的准确度。

在其他实施例中，装置被配置为改变阈值直到度量满足预定标准为止，阈值指示具有高于阈值的概率的像素属于物体。度量基于具有高于阈值的概率的像素与具有属于物体的初步注释的像素的关系。使用基于两者的度量，使用阈值将被分类为属于物体的像素和根据初步注释被假定为属于物体的像素可用于确定阈值，从而与不考虑初步注解来确定阈值的方法相比，确定准确度增加。

在其他实施例中，装置被配置计算图像中的所有物体的平均戴斯系数(Dicecoefficient)作为度量。戴斯系数是针对根据初步注释的分类和通过应用阈值得到的分类的相似性的量度。因此，使用戴斯系数来判断所选择的阈值的适当性可以得出针对特定图像或特定系列的图像的适当选择阈值。

根据其他实施例，装置被配置为改变阈值直到度量被最大化。找到使度量最大化的阈值可以得出针对特定图像或特定系列的图像的最佳可能阈值。

其他实施例涉及一种用于基于概率图和针对图像的像素的初步注释来识别图像中的物体的装置，概率图指示图像内的像素属于物体的概率，以及初步注释包括像素属于物体或背景的注释。装置被配置为改变阈值直到度量满足预定标准为止，阈值指示具有高于阈值的概率的像素属于物体，度量基于具有高于阈值的概率的像素与具有属于物体的初步注释的像素的关系。使用基于两者的度量，使用阈值将被分类为属于物体的像素和根据初步注释被假定为属于物体的像素可以得出要确定的阈值，从而确定准确度高。

根据实施例，装置被配置为计算图像中的所有物体的平均戴斯系数作为度量。使用戴斯系数来判断所选阈值的适当性可以得出针对特定图像或特定系列的图像的可靠阈值。

用于确定用于识别图像中的物体的分类器的方法的实施例包括接收针对图像的像素的初步注释，初步注释包括像素属于物体或背景的注释。方法还包括将初步注释变换为增强注释，增强注释还包括以下中的至少一项：像素属于背景和物体之间的过渡的注释，以及像素属于物体之间的过渡的注释。此外，方法包括使用增强注释和图像的像素的表示来确定分类器。使用增强注释已被证实能够确定可靠的分类器，增强注释可以将图像内的像素另外表征为不仅属于物体或背景，而且还属于背景和物体之间的过渡和/或物体之间的过渡。与仅使用初步注释确定的分类器相比，如此确定的分类器可以实现更好的分类结果。

根据实施例，方法进一步包括使用图像的像素的子集的表示和增强注释来训练分类器。仅使用图像内像素的子集来训练分类器可以允许将图像内的剩余像素用作用于检查分类器的性能的参考组。因此，单个图像内的像素可以用作训练和验证数据，这可以减少训练分类器所需的图像的数量。

其他实施例涉及一种用于基于概率图和针对图像的像素的初步注释来识别图像中的物体的方法，概率图指示图像内的像素属于物体的概率，以及初步注释包括像素属于物体或背景的注释。方法包括改变阈值直到度量满足预定标准为止，阈值指示具有高于阈值的概率的像素属于物体，度量基于具有高于阈值的概率的像素与具有属于物体的初步注释的像素之间的关系。使用基于两者的度量，使用阈值将被分类为属于物体的像素和根据初步注释被假定为属于物体的像素可以得出要确定的阈值，从而确定准确度高。

根据方法的另一实施例，方法进一步包括计算图像中的所有物体的平均戴斯系数作为度量。使用戴斯系数来判断所选阈值的适当性可以得出针对特定图像或特定系列的图像的可靠阈值。

附图说明

装置和/或方法的一些示例将在下面仅通过示例的方式并参考附图进行描述，其中：

图1示意性地示出了用于确定用于识别图像中的物体的分类器的装置的实施例；

图2示意性地示出了用于识别图像中的物体的装置的实施例；

图3示意性地示出了用于识别图像中的物体的装置的另一实施例；

图4示出了用于确定用于识别图像中的物体的分类器的方法的实施例的流程图；以及

图5示出了用于识别图像中的物体的方法的实施例的流程图；

图6示出了具有附加处理步骤的用于识别图像中的物体的方法的实施例的另一流程图；以及

图7示出了显微镜系统的实施例。

具体实施方式

现在将参考示出了一些示例的附图更全面地描述各种示例。在附图中，为了清楚起见，线，层和/或区域的厚度可能被放大。

图1示意性地示出了用于确定用于识别图像中的物体的分类器的装置100的实施例。

用于确定用于识别图像中的物体的分类器130的装置100被配置为接收针对图像的像素的初步注释110，并将初步注释变换为增强注释120。虽然可以通过硬件或软件来实现初步注释110、增强注释120以及分类器130，出于以下描述的目的，通过图1中的装置100内的功能块来示出这些特征。

初步注释110包括像素属于物体或背景的注释，并且增强注释120包括像素属于背景和物体之间的过渡的注释，和/或像素属于物体之间的过渡的注释。注释是可用于图像的像素的补充信息，其将像素表征为属于特定组或类别。在初步注释110的情况下，存在两组被表征的像素，第一组是属于物体的像素，以及第二组是属于背景的像素。在增强注释120的情况下，至少存在附加第三组，第三组最终是在物体和背景之间的过渡处的像素。可选地，附加第三组可以是在不同物体之间的过渡处的像素。另外可选地，增强注释120可以另外地包括两个附加组，即，第三组是在物体和背景之间的过渡处的像素，而第四组是在不同物体之间的过渡处的像素。

可以通过任意方式使注释可用，例如作为与对应图像一起加载和处理的附加文件，或者也可以将注释与图像一起存储为单个文件。初步注释110也可以由装置的用户输入或生成，装置的用户手动标记图像内看起来属于物体的区域以及同样地手动标记看起来属于背景的区域。替代地，初步注释110也可以从已经存在的文件中读取或存储在要处理的图像内。

增强注释120可以例如从初步注释110自动生成。原则上存在任意不同的方式来创建包括附加注释的增强注释120。基于初步注释110来确定增强注释120的一个特定示例可以例如使用以下标准。

如果像素在初步注释110中被标记为背景，并且如果在3x3像素的邻域中没有像素(在初步注释110中)被注释为属于物体，则该同一像素在增强注释120中也可以被注释为背景。

如果像素在初步注释110中未被注释为背景，并且如果在3x3邻域中没有像素(在初步注释110中)被注释为属于另一物体，则该同一像素在增强注释120中可以被注释为物体。

如果在初步注释110中将像素标记或注释为背景，并且如果在3x3邻域中确实有像素(在初步注释110中)被注释为属于物体，则在增强注释120中可以将该同一像素注释为属于物体和背景之间的过渡。同样地，如果在初始注释110中将像素注释为物体，并且如果在3x3邻域中确实有像素(在初始注释110中)被注释为背景，则在增强注释120中可以将该同一像素注释为属于物体和背景之间的过渡。

如果像素在初步注释110中被标记为物体，并且在3x3邻域中至少一个像素(在初步注释110中)被注释为属于另一物体并且如果3x3邻域没有像素被注释为背景，则该同一像素在增强注释120中可以被注释为属于物体之间的过渡。

利用生成的增强注释120，装置100基于增强注释120和图像的像素的表示来确定分类器130。增强注释120包括对图像内的各个像素的更详细的表征，导致确定分类器130的能力，从而与使用初步注释110确定或训练的分类器相比，它可以对像素进行更精确的分类。作为输出，生成的分类器130可以提供每个像素的分类，指示像素是属于背景还是属于物体。

分类器130的确定可以基于机器学习。根据本发明的实施例，对于机器学习，需要有标签的训练数据集，有标签的训练数据集由图像本身或图像的关联表示以及初步注释110给出。然而，根据实施例，机器学习不是直接基于有标签的数据集。取而代之的是，对有标签的数据集进行修正，以支持以后更好的机器学习。特别地，初步注释110被变换至增强注释120以使得能够基于使用增强注释120的可用训练数据来实现可靠的机器学习。使用机器学习，本发明的实施例可以避免参数值的任何手动输入(而它在常规方法中可能被需要)，从而系统的用户不需要知道算法和关联装置的工作方式以及如何对像素进行分类。

根据先前描述的实施例，使用增强注释120和图像的像素的表示来确定分类器130。存在用于生成可用于确定分类器130的图像的像素的表示的任意方式，包括使用图像的像素的灰度值的可能性，灰度值最初被确定为像素的唯一表示。然而，其他实施例可以将滤波器应用于图像(例如，由显微镜内的相机拍摄的图像)以生成用于确定分类器130的图像的表示。尽管一些实施例可以应用单个滤波器以生成像素的表示，其他实施例可以应用多个滤波器。如果应用单个滤波器，则像素的表示包括单一量，对应于滤波后图像中的像素的灰度值。如果应用多个滤波器，则像素的表示可以包括多个量或数，对于每个所使用的滤波器存在一个量或数。在这种情况下，像素的表示可以是具有多个元素的特征向量，每个元素是应用一个特定滤波器后的像素的灰度值，并且使用图像的像素的特征向量确定分类器130。尽管滤波器的任意组合可用来获得适当的特征向量，但一个特定的选择是使用以下滤波器，而每个滤波器又利用下表中给出的不同参数而被多次使用。

不管所使用的图像的像素的表示如何，都可以使用任意机器学习模型来确定分类器130。一种特定的选择可以是使用随机森林。当然，也可以使用其他统计分类器。随机森林例如可以具有100个决策树。其他的实施例可以同样地使用具有较小或较大数目的决策树的随机森林。

根据一些实施例，使用像素的表示和图像的像素的子集的增强注释来训练分类器，而不属于子集的其他像素可以用于测试。例如，可以为每个类别或注释最初选择相同数量的像素，并且所有选定的像素的50％用于分类器训练，而剩余50％用于测试。

根据另外的实施例，进一步确定概率图，概率图指示图像内的像素属于物体的概率。概率图包括指示图像内的各个像素属于物体的概率的数据。信息可以对于图像的所有像素或仅对于像素的一小部分存在。可以在分类器训练之后或作为训练的一部分，使用当前训练步骤的分类器和图像的像素的表示来确定概率图。例如，如果使用随机森林作为分类器模型，则随机森林的不同决策树的输出可以被评估以计算每个像素属于物体的概率。

一旦确定或训练了分类器130，它就可以使用仅图像、图像与初步注释、或图像与增强注释作为输入来确定属于物体的像素。为了将训练后的分类器130与其他图像一起使用，可以存储完整地描述训练后的分类器的参数。尽管明确地描述训练后的分类器的参数的数量和类型不同并且取决于机器学习模型(分类器的类型)的选择，但很明显，可以存储所有这些参数以重建训练后的分类器以供与图像或系统一起重复使用。

在训练或确定分类器的同时计算概率图的情况下，一旦确定了分类器130，则也可以在装置100内可选地执行指示阈值的确定，阈值指示具有高于阈值的概率的像素属于物体。一旦确定阈值，就可以将其存储以与训练后的分类器130一起重复使用以分析其他图像。

由于也可以独立于分类器本身的确定(即当在其他图像上重复使用训练后的分类器130以识别图像中的物体时)来确定阈值，随后与图2的装置200一起讨论关于如何可以生成阈值的细节。

换句话说，借助于装置100确定分类器130的算法可总结如下。可选地，可以应用滤波器来确定图像的像素的表示。为像素创建特征向量，可以由用户对像素进行标记和注释以提供初步注释。用户生成的初步注释将被变换为增强注释，以及训练随机森林分类器。可选地，计算物体像素概率图。进一步可选地，可以确定概率的阈值。

图2示意性地示出了用于识别图像中的物体的装置200的实施例。

装置确定概率图210，概率图210指示图像内的像素属于物体的概率。确定基于如上所述确定的分类器以及用于训练分类器的图像的像素的表示。已训练所使用的分类器以对所选择的像素的表示进行操作，也就是说，相同的像素的表示已被用于确定已经用作输入或通过装置200生成的分类器。

装置的输出是图像的像素是否属于物体的信息，需要进一步评估概率图以确定所述信息。因此，装置还被配置为使用概率图和初步注释来得出属于物体的像素，初步注释包括像素属于物体或背景的注释。与常规方法不同，装置200不仅仅评估概率图来确定像素是否属于物体。取而代之的是，装置200额外地使用初步注释，初步注释还包括所述信息，尽管最终以另一种形式。结合这两种信息，可以提高确定像素是否属于物体的准确度。

装置200被配置为确定度量，度量基于具有高于阈值的概率的像素与具有属于物体的初步注释的像素之间的关系以组合两种信息源。阈值用于指示具有高于阈值的概率的像素属于物体。装置还被配置为改变阈值直到度量满足预定标准为止，最后获得经自动选择以适合所分析的特定图像的阈值。对于后续图像，即使是来自同一源的图像，可以确定不同的阈值以最佳适合每个个体图像。

一些实施例可以改变阈值直到度量被最大化。为此，阈值可以例如通过直接搜索或模式搜索来确定。选择初始值和初始步长。通过将步长相加至以及减去自当前值来生成当前阈值的相邻值。如果相邻值比当前值好，则最佳相邻值将成为新的当前阈值，以及步长乘以大于1的扩展因数。如果没有相邻值比当前阈值好，则将步长除以扩展因数。初始阈值可以例如通过大津法(Otsu)的方法任意确定。扩展因数也可以任意选择，例如为2。初始步长也可以在很宽的值范围内选择，一个特定选择是选择尽可能大的步长，同时确保两个初始相邻值都在[0，1]区间内。总结优化，确定初始阈值和初始步长。计算当前阈值的分割准确度，(当前阈值+步长)和(当前阈值-步长)。如果初始阈值的分割准确度高于其他阈值，则步长减小。如果分割准确度对于另一个阈值更佳，则具有最佳分割准确度的阈值将成为新的当前阈值，并且步长增大。当步长变得小于或等于最小值时，算法终止。

根据一些实施例，将图像中的所有物体的平均戴斯系数D用作度量。戴斯系数D是针对根据初步注释的分类(随后称为A)和通过应用阈值而得到的分类(随后称为B)的相似性的量度。

根据初步注释(例如，由用户标记)关于单个物体的戴斯系数D被限定为：

其中，A是属于标记物体的所有像素的集合，B是属于相交检测到的物体的所有像素的集合，相交检测到的物体是通过应用阈值得出的。如果没有相交的物体，则D为0。如果恰好一个检测到的物体与标记物体相同，则D为1。

为了计算戴斯系数，可以限定将物体像素的连续区域视为物体并在不同物体之间进行区分。例如，属于背景的所有像素在结果图像中可能具有灰度值为1。物体像素的灰度值可以是大于1的整数。属于同一物体的像素具有相同的灰度值。属于不同物体的像素具有不同的灰度值。

因此，使用戴斯系数来确定阈值，可以保证初步注释和使用阈值作出的确定之间的最大一致性且因此得到针对特定图像或特定系列的图像的适当选择的阈值。

阈值的确定也可以独立于概率图的确定而执行，概率图可以被预先确定并且与对应的像素的表示一起作为输入提供给相应装置。图3示意性地示出了用于识别图像中的物体的对应装置300。

装置基于概率图310和针对图像的像素的初步注释320来识别图像中的物体300。装置被配置为改变阈值330直到度量满足预定标准为止，阈值330指示具有高于阈值的概率的像素属于物体，度量基于具有高于阈值的概率的像素与具有属于物体的初步注释的像素的关系。

可以如关于图2的装置200所讨论的那样执行阈值的确定，并且例如可以包括计算图像中的所有物体的平均戴斯系数作为度量。

图4示出了可以在装置100中执行的，用于确定用于识别图像中的物体的分类器400的方法的实施例的流程图。因此，关于各个处理步骤的细节已经相对于图1进行描述并且在下面的流程图的简要描述中将不再重复。在图4的流程图中，假设要在使用显微镜制作的荧光图像中识别物体。然而，其他实施例也可以用于识别任意其他图像和应用中的物体。

方法包括接收针对图像的像素的初步注释410，初步注释包括像素属于物体412或背景414的注释。初步注释410可以从文件中加载，或者可替代地可由显微镜系统的用户手动生成或输入。为此，显微镜系统可以提供用户接口，用户接口使用户能够标记或注释图像内的各个像素。

图像本身及其表示可以同样地预先生成并从存储器中读取。可替代地，它可以由用户使用显微镜从系统中获取。为此，图4的流程图还示出了接收所生成的显微镜图像416以及通过所选择的滤波器来生成图像的像素的表示418的可选步骤。

根据方法，初步注释410用于生成增强注释420。增强注释还包括以下中的至少一项：像素属于背景和物体422之间的过渡的注释，以及像素属于物体424之间的过渡的注释。

如图4中所示，基于增强注释420和基于图像的像素的表示418来确定分类器430。在所示的实施例中，使用机器学习来确定分类器，以训练用于对图像的表示418内的物体进行分类的随机森林。

如已经相对于装置100所描述的那样，图4的流程图也说明确定概率图440和确定最佳阈值442的可选步骤。此外，在可选步骤444中，可以存储训练后的分类器的配置以供以后重复使用。可选地，所存储的配置还可以包括关于所确定的阈值的信息。

换句话说，为了确定显微镜的荧光图像中的物体，可以按照以下方式总结物体检测算法。几个滤波器应用于荧光图像。对于荧光图像的每个像素，从滤波后图像的对应像素的强度创建特征向量。随机森林分类器将特征向量作为输入并计算概率图，即对于每个像素确定属于物体的概率。将概率超过阈值的每个像素视为物体像素。物体像素的连续区域被视为物体。属于背景的所有像素在结果图像中具有灰度值为1。物体像素的灰度值是大于1的整数。属于相同物体的像素具有相同的灰度值。属于不同物体的像素具有不同的灰度值。

图5示出了用于识别图像中的物体的方法的实施例的流程图，方法可以在装置200或300之一中执行。

方法500使用概率图以及针对图像的像素的初步注释，概率图指示图像内的像素属于物体的概率，并且初步注释包括像素属于物体或背景的注释。在步骤502，通过任何其他手段生成、加载或提供概率图和初步注释。

此外，方法包括改变阈值504直到度量满足预定标准为止，阈值指示具有高于阈值的概率的像素属于物体，度量基于具有高于阈值的概率的像素以及具有属于物体的初步注释的像素之间的关系。

图6示出了用于识别图像中的物体的方法的另一实施例的流程图。

方法包括使用训练后的分类器确定指示图像内的像素属于物体的概率的概率图610。在图6所示的实施例中，确定概率图610包括生成显微镜图像602和对图像进行滤波604以生成像素的表示606的可选步骤。为了生成概率图612，应用了预训练的分类器608。

此外，方法包括使用概率图和初步注释得出属于物体的像素630，初步注释包括像素属于物体或背景的注释。在图6中所示的实施例中，得出像素630包括优化用于生成二进制图像616的阈值614，二进制图像包括关于像素是否被确定为属于物体的信息。

图6还示出了在图像内限定物体的可选步骤。为此，可以执行连通区域分析618，以便将被确定为物体的像素以及彼此直接相邻的像素分组。可以在步骤620中通过将分离的像素的组分配给相同物体来确定物体。

换句话说，图6示出了用于物体检测的算法的流程图。几个滤波器应用于显微镜图像。对于每个像素，生成包含滤波后图像的对应灰度值的向量。这称为“特征向量”。分类器将属于物体的概率分配给每个像素。具有物体像素概率大于此阈值的所有像素均被视为物体像素。物体像素的连续区域被视为物体。

前述实施例的一种特定实施方式可以按照以下方式确定图像中的物体并可选地对其进行分类。用户标记(注释)的连续物体像素区域被视为整个物体。用户标记被变换为内部注释，内部注释考虑了物体与背景之间的过渡以及相邻物体的边界。在训练分类器时，应用内部或初步注释。分类器用于计算物体概率图。物体概率图是有阈值的。确定阈值，以使关于用户标记的物体的平均戴斯系数最大化。因此，与仅通过像素分类进行的物体检测相比，物体检测变得更加准确。

很难猜出合适的物体概率阈值。因此，期望自动确定它。这可以通过满足以下条件的优化算法来完成。它可被应用于单个标量变量。它没有导数，可以在几次迭代中获得最佳或接近最佳的目标函数值。可以使用直接搜索算法来找到最佳阈值。直接使用初始值。此初始值通常是随机数或随机数的向量。因此，直接搜索是一种随机优化方法。

一些实施方式基于对荧光图像中的细胞、细胞器或多细胞生物进行检测并可选地进行分类的算法。算法基于物体和背景的用户注释。如果用户也将类别分配给标记物体，则还可以可选地学习检测到的物体的分类。

本发明的实施例可以与示出任意物体的任意图像一起使用。一种特定应用可以是检测荧光图像中的物体。这些物体可以是例如使用显微镜的探针中的微生物或细胞器。

因此，显微镜的实施例可以包括装置100、200或300的实施例，或者能够执行方法300或400的实施例。在其他实施例中，装置100、200或300可以不在显微镜中实施，但是显微镜可以被配置为与装置100、200或300接口。同样地，显微镜可以不直接执行方法300或400，但是能够与执行方法的外部实体接口。例如，在显微镜控制处理的同时，显微镜可能能够与执行例如机器学习或使用分类器的方法和处理步骤的外部硬件或计算机系统接口。例如，可以使用显微镜的图形用户接口来执行处理的控制，以标记图像内的区域以生成初步注释或选择先前确定的分类器。

图7示出了可以与本文所述的装置或方法一起使用的显微镜系统700的实施例。系统700包括显微镜704和装置或计算机702。显微镜700被配置为与装置702接口以便控制装置702或通过装置702执行的方法。特别地，可以由装置702在显微镜704的控制下执行任何先前描述的方法400、500或600。换句话说，装置702可以体现如先前所描述的装置100、200或300中的一个或全部。

换句话说，一些实施例涉及显微镜，显微镜包括结合图1至图6中的一个或多个所描述的系统。可替代地，显微镜可以是结合图1至图6中的一个或多个所描述的系统的一部分或与其连接。图7示出了被配置为执行本文描述的方法的系统700的示意图。系统700包括显微镜704和计算机系统702。显微镜704被配置为拍摄图像并且被连接到计算机系统702。计算机系统702被配置为执行本文描述的方法的至少部分。计算机系统702可以被配置为执行机器学习算法。计算机系统702和显微镜704可以是分开的实体，但是也可以被一起集成在一个共同的壳体中。计算机系统702可以是显微镜704的中央处理系统的部分，和/或计算机系统702可以是显微镜704的子组件的部分，例如显微镜704的传感器、致动器、相机或照明单元等。

计算机系统702可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如，个人计算机、笔记本电脑、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，具有分布在多个位置的一个或多个处理器和一个或多个存储设备的云计算系统，例如，本地客户端和/或一个或多个远程服务器场和/或数据中心)。计算机系统702可以包括任何电路或电路的组合。在一个实施例中，计算机系统702可以包括一个或多个可以是任何类型的处理器。如本文所使用的，处理器可以指任何类型的计算电路，例如但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、非常长的指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)，例如来自于显微镜或显微镜组件(例如相机)或任何其他类型处理器或处理电路。可以包括在计算机系统702中的其他类型的电路可以是定制电路、专用集成电路(ASlC)等，或者诸如，例如一个或多个电路(例如通信电路)，用于诸如移动电话、平板电脑、笔记本电脑、双向无线电和类似电子系统之类的无线设备。计算机系统702可以包括一个或多个存储设备，其可以包括一个或多个适合于特定应用的存储单元，例如随机存取存储器(RAM)形式的主存储器，一个或多个硬盘驱动器和/或一个或多个处理可移动媒体的驱动器，可移动媒体诸如光盘(CD)、闪存卡、数字视频磁盘(DVD)等。计算机系统702还可以包括显示设备、一个或多个扬声器以及键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户将信息输入计算机系统702并从计算机系统702接收信息的任何其他设备。

方法步骤中的一些或全部可以通过(或使用)硬件装置，例如，处理器、微处理器、可编程计算机或电子电路来执行。在一些实施例中，这种装置可以执行一些最重要的方法步骤中的一个或多个。

取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用非暂时性存储介质执行实施，诸如可以使用数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM、和EPROM、EEPROM或闪存，其上存储有电子可读控制信号，电子可读控制信号与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，电子可读控制信号能够与可编程计算机系统协作，从而执行本文描述的方法之一。

通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。程序代码可以例如被存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的，用于执行本文描述的方法之一的计算机程序。

换句话说，因此，本发明方法的实施例是一种计算机程序，该计算机程序具有程序代码，当计算机程序在计算机上运行时，程序代码用于执行本文描述的方法之一。

因此，本发明的其他实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，计算机程序用于在由处理器执行时执行本文所述的方法之一。数据载体，数字存储介质或记录介质通常是有形的和/或非过渡的。本发明的其他实施例是如本文所述的装置，其包括处理器和存储介质。

因此，本发明的其他实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列例如可以被配置为经由数据通信连接，例如经由互联网来传送。

另一个实施例包括处理装置，例如计算机或可编程逻辑器件，其被配置为或适于执行本文描述的方法之一。

另一实施例包括一种计算机，计算机上安装了用于执行本文描述的方法之一的计算机程序。

根据本发明的另一实施例包括一种装置或系统，装置或系统被配置为(例如，以电子方式或光学方式)将用于执行本文描述的方法之一的计算机程序传送给接收器。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。通常，方法优选地由任何硬件装置执行。

如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合，并且可以缩写为“/”。

尽管已经在装置的上下文中描述了一些方面，但是很显然，这些方面也代表了对相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应装置的相应块或项目或特征的描述。

实施例可以基于使用机器学习模型或机器学习算法。机器学习可以指计算机系统可以用来执行特定任务而无需使用显式指令，而是依赖于模型和推理的算法和统计模型。例如，在机器学习中，代替对数据的基于规则的变换，可以使用从对历史和/或训练数据的分析推断出的数据的变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了使机器学习模型分析图像的内容，可以使用训练图像作为输入并且训练内容信息作为输出来训练机器学习模型。通过用大量的训练图像和/或训练序列(例如单词或句子)和相关的训练内容信息(例如标签或注释)训练机器学习模型，机器学习模型“学习”以识别图像的内容，因此可以使用机器学习模型识别训练数据中未包含的图像的内容。同样的原理也可以用于其他类型的传感器数据：通过使用训练传感器数据和期望输出来训练机器学习模型，机器学习模型“学习”传感器数据和输出之间的变换，这可以用于基于提供给机器学习模型的非训练传感器数据提供输出。所提供的数据(例如，传感器数据、元数据和/或图像数据)可以被预处理以获得特征向量，特征向量被用作机器学习模型的输入。

可以使用训练输入数据来训练机器学习模型。上面指定的示例使用一种称为“监督学习”的训练方法。在监督学习中，使用多个训练样本对机器学习模型进行训练，其中每个样本可以包括多个输入数据值，以及多个期望输出值，即每个训练样本与期望输出值相关联。通过指定训练样本和期望输出值，机器学习模型“学习”基于类似于在训练期间提供的样本的输入样本要提供哪个输出值。除了监督学习之外，还可以使用半监督学习。在半监督学习中，一些训练样本缺少相应的期望输出值。监督学习可以基于监督学习算法(例如，分类算法、回归算法或相似性学习算法。当输出被限制为一组有限的值(类别变量)，即输入被分类为有限的一组值中的一个时，可以使用分类算法。当输出可能具有(在范围内的)任何数值时，可以使用回归算法。相似性学习算法可能与分类和回归算法相似，但基于从使用衡量两个物体之间相似或相关程度的相似性函数的示例中学习。除了监督学习或半监督学习之外，还可以使用无监督学习来训练机器学习模型。在无监督学习中，(仅)可以提供输入数据并且可以使用无监督学习算法来查找输入数据中的结构(例如，通过对输入数据进行分组或聚类，查找数据中的共性)。聚类是将包含多个输入值的输入数据分配到子集(群集)中，以便根据一个或多个(预定义)相似性标准，相同群集中的输入值是相似的，而与包含在其他群集中的输入值不相似。

强化学习是第三组机器学习算法。换句话说，强化学习可用于训练机器学习模型。在强化学习中，训练一个或多个软件参与者(称为“软件代理”)以在环境中采取行动。基于所采取的行动，计算奖励。强化学习基于对一个或多个软件代理进行训练以选择行动，以使累积奖励增加，导致变得更擅长于其被给定的任务的软件代理(通过增加奖励来证明)。

此外，某些技术可以应用于某些机器学习算法。例如，可以使用特征学习。换句话说，可以使用特征学习来至少部分地训练机器学习模型，和/或机器学习算法可以包括特征学习组件。特征学习算法(可以称为表示学习算法)可以将信息保留在其输入中，但也以使其有用的方式对其进行变换，通常作为执行分类或预测之前的预处理步骤。例如，特征学习可以基于主分量分析或聚类分析。

在一些示例中，可以使用异常检测(即离群值检测)，其目的是提供对通过与大多数输入或训练数据明显不同而引起怀疑的输入值的识别。换句话说，可以使用异常检测来至少部分地训练机器学习模型，和/或机器学习算法可以包括异常检测组件。

在一些示例中，机器学习算法可以将决策树用作预测模型。换句话说，机器学习模型可以基于决策树。在决策树中，关于物品(例如一组输入值)的观察可以由决策树的分支表示，并且与物品相对应的输出值可以由决策树的叶子表示。决策树可以支持离散值和连续值作为输出值。如果使用离散值，则决策树可以表示为分类树，如果使用连续值，则决策树可以表示为回归树。

关联规则是可以在机器学习算法中使用的另一种技术。换句话说，机器学习模型可以基于一个或多个关联规则。通过识别大量数据中的变量之间的关系来创建关联规则。机器学习算法可以识别和/或利用一个或多个关系规则，这些关系规则表示从数据中得出的知识。规则可以例如用于存储、操纵或应用知识。

机器学习算法通常基于机器学习模型。换句话说，术语“机器学习算法”可以表示可以用于创建、训练或使用机器学习模型的一组指令。术语“机器学习模型”可以表示代表所学知识的数据结构和/或规则的集合(例如，基于由机器学习算法执行的训练)。在实施例中，机器学习算法的使用可以暗示基础机器学习模型(或多个基础机器学习模型)的使用。机器学习模型的使用可能暗示机器学习模型和/或作为机器学习模型的数据结构/规则的集合由机器学习算法训练。

例如，机器学习模型可以是人工神经网络(ANN)。ANN是受生物神经网络启发的系统，例如可以在视网膜或大脑中发现。ANN包括多个互连的节点以及节点之间的多个连接，所谓的边。通常有三种类型的节点：接收输入值的输入节点，(仅)连接到其他节点的隐藏节点以及提供输出值的输出节点。每个节点可以表示人工神经元。每个边可以从一个节点到另一节点传输信息。节点的输出可以被限定为其输入的(非线性)函数(例如其输入之和)。可以基于边或提供输入的节点的“权重”在函数中使用节点的输入。节点和/或边的权重可以在学习过程中进行调整。换句话说，人工神经网络的训练可以包括调整人工神经网络的节点和/或边的权重，即，以对于给定输入实现期望输出。

可替代地，机器学习模型可以是支持向量机、随机森林模型或梯度提升模型。支持向量机(即支持向量网络)是利用相关联学习算法的监督学习模型，相关联学习算法可用于分析数据(例如，在分类或回归分析中)。可以通过向输入提供属于两个类别之一的多个训练输入值来训练支持向量机。可以训练支持向量机以将新的输入值分配给两个类别之一。可替代地，机器学习模型可以是贝叶斯网络，其是概率有向非循环图形模型。贝叶斯网络可以使用有向非循环图来表示一组随机变量及其条件相依性。可替代地，机器学习模型可以基于遗传算法，遗传算法是模仿自然选择过程的搜索算法和启发式技术。

附图标记列表

100 用于确定分类器的装置

110 初步注解的接收

120 初步注释的变换

130 分类器的确定

200 用于识别物体的装置

210 概率图的确定

220 属于物体的像素的得出

300 用于识别物体的装置

310 概率图

320 初步注释

330 阈值的改变

400 用于确定分类器的方法的流程图

410 接收初步注释

412 像素属于物体的注释

414 像素属于背景的注释

416 接收或生成图像

418 确定图像的像素的表示

420 变换初步注释

430 确定分类器

440 确定概率图

442 确定阈值

444 存储配置

500 用于识别图像中的物体的方法

502 提供概率图和生成的初步注释

504 改变阈值

600 用于识别图像中的物体的方法

602 生成显微镜图像

604 对显微镜图像进行滤波

606 使用滤波后图像

608 应用分类器

610 确定概率图

612 生成概率图

614 优化阈值

616 生成二进制图像

618 执行连通区域分析

620 确定物体

630 得出属于物体的像素

700 显微镜系统

702 装置或计算机

704 显微镜

Claims

1.一种用于确定用于识别图像中的物体的分类器的装置(100)，被配置为：

接收针对图像的像素的初步注释(110)，所述初步注释包括像素属于物体或背景的注释；

将所述初步注释变换为增强注释(120)，所述增强注释还包括以下至少之一：

像素属于所述背景和物体之间的过渡的注释，以及

像素属于物体之间的过渡的注释；以及

基于所述增强注释和所述图像的像素的表示来确定(130)分类器。

2.根据权利要求1所述的装置，其中，所述分类器是随机森林。

3.根据权利要求1或2所述的装置，还被配置为：

使用所述图像的像素的子集的表示和增强注释来训练所述分类器。

4.根据权利要求1至3中任一项所述的装置，还被配置为：

使用所述分类器和所述图像的像素的表示来确定指示图像内的像素属于物体的概率的概率图。

5.一种用于识别图像中的物体的装置(200)，被配置为：

基于权利要求1至4中任一项所述的分类器以及基于图像的像素的表示，确定指示图像内的像素属于物体的概率的概率图(210)；以及

使用所述概率图和初步注释得出属于物体的像素(220)，所述初步注释包括像素属于物体或背景的注释。

6.根据权利要求5所述的装置，被配置为：

改变阈值直到度量满足预定标准为止，所述阈值指示具有高于所述阈值的概率的像素属于物体，所述度量基于具有高于所述阈值的概率的像素与具有属于物体的初步注释的像素的关系。

7.根据权利要求6所述的装置，被配置为：

计算所述图像中的所有物体的平均戴斯系数作为所述度量。

8.根据权利要求6或7所述的装置，还被配置为：

改变所述阈值直到所述度量被最大化。

9.一种用于基于概率图(310)和针对图像的像素的初步注释(320)来识别图像中的物体(300)的装置，所述概率图指示所述图像内的像素属于物体的概率，以及所述初步注释包括像素属于物体或背景的注释，所述装置被配置为：

改变阈值(330)直到度量满足预定标准为止，所述阈值指示具有高于所述阈值的概率的像素属于物体，所述度量基于具有高于所述阈值的概率的像素与具有属于物体的初步注释的像素的关系。

10.根据权利要求9所述的装置，被配置为：

计算所述图像中的所有物体的平均戴斯系数作为所述度量。

11.一种用于确定用于识别图像中的物体的分类器(400)的方法，包括：

接收针对图像的像素的初步注释(410)，所述初步注释包括像素属于物体或背景的注释；

将所述初步注释(420)变换为增强注释，所述增强注释还包括以下至少之一：

像素属于所述背景和物体之间的过渡的注释，以及

像素属于物体之间的过渡的注释；以及

使用所述增强注释和所述图像的像素的表示来确定分类器(430)。

12.根据权利要求11所述的方法，还包括：

13.一种用于基于概率图和针对图像的像素的初步注释来识别图像中的物体的方法(500)，所述概率图指示所述图像内的像素属于物体的概率，以及所述初步注释包括像素属于物体或背景的注释，所述方法包括：

改变阈值(502)直到度量满足预定标准为止，所述阈值指示具有高于所述阈值的概率的像素属于物体，所述度量基于具有高于所述阈值的概率的像素与具有属于物体的初步注释的像素的关系。

14.根据权利要求13所述的方法，还包括：

计算所述图像中的所有物体的平均戴斯系数作为所述度量。

15.一种计算机程序，具有程序代码，如果所述程序代码在可编程处理器上执行，导致执行根据权利要求11至14中任一项所述的方法。