CN116367922A - 用于识别实验器材的方法和设备 - Google Patents

Abstract

在一个方面，本发明涉及一种用于识别实验器材项目(310，320，330，340，350)的计算机实施的方法，所述实验器材项目(310，320，330，340，350)包括第一光学特征和第二光学特征，其中，所述方法包括如下步骤：用至少第一光学记录设备(150)获取所述实验器材项目的第一图像，所述第一图像显示所述第一光学特征的至少一部分；用至少第二光学记录设备(160)获取所述实验器材项目(310，320，330，340，350)的第二图像，所述第二图像显示所述第二光学特征的至少一部分；以及通过使用至少第一识别算法识别所述第一图像中的所述第一光学特征，从而获得第一识别数据，所述第一识别数据编码关于所述第一光学特征的第一信息和指示是否需要至少进一步识别的信息，其中，如果根据编码在所述第一识别数据中的所述信息不需要所述至少进一步识别，则所述方法进一步包括如下步骤：通过使用关于所述第一光学特征的至少所述第一信息识别所述实验器材项目，并且其中，如果根据编码在所述第一识别数据中的所述信息需要所述至少进一步识别，则所述方法进一步包括如下步骤：通过使用至少第二识别算法识别所述第二图像中的所述第二光学特征，从而获得第二识别数据，所述第二识别数据编码关于所述第二光学特征的信息；以及通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目(310，320，330，340，350)。

Description

用于识别实验器材的方法和设备

技术领域

本发明涉及一种用于识别实验器材的方法和设备。特别地，本发明涉及用于识别定位在自动化实验室系统(ALS)以及更具体地自动化移液系统的工作台上的实验器材的方法。本发明还涉及一种被配置为执行本发明的方法的ALS，例如自动化移液系统。

背景技术

自动化实验室系统在生物化学实验室被广泛使用，例如以自动地移动生物或化学样本、自动地运行对这种样本的测试和/或自动地合成新化学化合物。特别地，自动移液系统以可编程、自动化的方式在容器组之间转移液体。

使用自动化实验室系统允许提高实验室程序的再现性、准确性和效率，并且自动实验室系统无需或仅需最少的人为干预或监督来执行所述程序。特别地，这允许最少化当处理危险材料时出现的安全问题以及可能影响实验室活动或程序、特别是重复性实验室活动或程序的人为错误来源。

自动化实验室系统可以包括检测部件并且执行检测方法以检测和/或识别定位在其工作台上的样本和/或实验器材。已知检测部件是例如板式读取器或高分辨率相机，并且检测方法可以基于光学或计算视觉技术。

样本和/或实验器材的检测和识别尤其允许自动验证、选择、和/或记录由ALS执行的实验室程序。例如，通过使用检测部件，ALS可以识别样本和/或实验器材以及它们在工作台上的位置。ALS然后可以使用在识别期间采集的信息来自动验证实验室程序。特别地，ALS可以评估要执行的操作步骤和必须执行所述步骤的时间顺序是否与实验器材在工作台上的位置和要执行的实验室程序相兼容。这样，人为错误的空间可以进一步减小。

此外，在一些情况下，实验室程序可以由位于工作台上的样本和/或实验器材的类型并且由它们在工作台上的位置唯一地确定。如果是这种情况，则样本和/或实验器材的识别和检测允许ALS自动推断要执行的实验室程序，从而减少对ALS进行编程所需的时间。

发明内容

为了用于验证、选择和/或记录由ALS执行的实验室程序，样本和/或实验器材的识别和/或检测必须是充分准确的。通常，所需准确性可以通过使用通常牵涉较多并且计算成本高的准确检测方法和/或比如高分辨率多色相机等昂贵检测部件来实现。

因此，需要准确性提高、计算成本较低和/或可以通过使用更便宜的检测部件来执行的检测方法。这些问题中的至少一些问题至少部分地通过本申请的发明来解决，所述发明涉及根据权利要求1所述的计算机实施的方法、根据权利要求13所述的数据处理系统、根据权利要求14所述的计算机程序产品和根据权利要求15所述的计算机可读存储介质。本发明的实施例是从属权利要求的主题。

在一个方面，本发明涉及一种用于识别实验器材项目的计算机实施的方法，所述实验器材项目包括第一光学特征和第二光学特征。本发明的方法包括至少如下步骤：

-用至少第一光学记录设备获取所述实验器材项目的第一图像，所述第一图像显示所述第一光学特征的至少一部分；

-用至少第二光学记录设备获取所述实验器材项目的第二图像，所述第二图像显示所述第二光学特征的至少一部分；以及

-通过使用至少第一识别算法识别所述第一图像中的所述第一光学特征，从而获得第一识别数据，所述第一识别数据编码关于所述第一光学特征的第一信息和指示是否需要至少进一步识别的信息。

如果根据编码在所述第一识别数据中的所述信息不需要所述至少进一步识别，则所述方法进一步包括如下步骤：

-通过使用至少关于所述第一光学特征的所述第一信息识别所述实验器材项目。

如果根据编码在所述第一识别数据中的所述信息需要所述至少进一步识别，则所述方法进一步包括如下步骤：

-通过使用至少第二识别算法识别所述第二图像中的所述第二光学特征，从而获得第二识别数据，所述第二识别数据编码关于所述第二光学特征的信息；以及

-通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目。

获取第一和/或第二图像的(多个)步骤可以分别通过借助于第一和/或第二光学记录设备捕获所述图像来执行。替代性地，获取第一和/或第二图像的(多个)步骤可以通过访问具有先前获取的图像的存储设备来执行。

识别第一和/或第二光学特征的步骤可以分别通过借助于第一识别算法获得第一识别数据和/或通过借助于第二识别算法获得第二识别数据来执行。第一和/或第二识别数据可以分别是第一和/或第二识别算法的输出，并且特别地，可以分别通过执行第一和/或第二识别算法来生成。

根据本发明，关于光学特征(例如第一和/或第二光学特征)的信息可以包括指示对所述特征在对应图像中的位置的估计的信息。关于光学特征的信息还可以包括指示前述位置估计的可靠性的信息。根据本发明，与第一和第二光学特征相对应的图像分别是第一和第二图像。

例如，关于光学特征的信息包括指示预期所述特征在第一概率下位于其中的对应图像的区域的信息。如果是这种情况，则关于所述光学特征的信息还可以包括第一概率的值。

关于光学特征的信息可以包括指示对光学特征是什么的估计的信息以及可选地指示所述估计的可靠性的信息。特别地，关于光学特征的信息可以指示光学特征被估计为颜色(例如红色)、象形图(例如生物危害符号)和/或字母数字字串(例如词语“无菌”)。例如，关于光学特征的信息包括指示光学特征在第二概率下被估计为给定颜色(如红色)的信息。如果是这种情况，则关于所述光学特征的信息还可以包括第二概率的值。

特别地，指示是否需要至少进一步识别的信息指定通过使用第一识别算法识别第一光学特征是否已不确定和/或不足以用于识别实验器材项目。例如，如果对第一光学特征是什么的估计不被认为是足够可靠的，例如如果所述估计的概率降到给定阈值以下，则第一光学特征的识别是不确定的。

在一些情况下，即使识别是足够可靠的，第一光学特征的识别也可能不足以用于识别实验器材项目。例如，第一识别算法可以可靠地估计第一光学特征是生物危害符号。然而，实验器材项目上存在生物危害符号可能不足以唯一地识别实验器材项目，例如因为许多实验器材项目具有生物危害符号。

指示是否需要至少进一步识别的信息可以编码在比如整数、浮点或布尔变量等变量中。例如，如果这个变量是布尔类型，则值“真”编码指示需要至少进一步识别的信息，并且值“伪”编码指示不需要至少进一步识别的信息。

指示是否需要至少进一步识别的信息还可以包括指示对实验器材项目是什么的估计的信息和/或指示所述估计的可靠性的信息。例如，信息可以指示实验器材项目被估计为板、吸头、试管或吸头盒。例如，指示是否需要至少进一步识别的信息包括指示实验器材项目在第三概率下是吸头盒的信息。如果是这种情况，特别地，如果第三概率低于给定阈值(例如，阈值是0.6或0.8)，则需要至少进一步识别。

通过使用至少关于第一光学特征的信息识别实验器材项目的步骤可以通过借助于第一实验器材识别算法获得第一实验器材识别数据来执行。此外，通过使用至少关于第二光学特征的信息识别实验器材项目的步骤可以通过借助于第二实验器材识别算法获得第二实验器材识别数据来执行。第一和/或第二实验器材识别数据可以分别是第一和/或第二实验器材识别算法的输出。

第一和/或第二实验器材识别数据可以分别包括关于实验器材项目的第一和/或第二信息。关于实验器材项目的信息可以包括指示对实验器材项目是什么的估计的信息以及可选地指示所述估计的可靠性的信息。例如，关于实验器材项目的信息包括指示这个项目在第四概率下被估计为吸头盒的信息。在这种情况下，关于所述光学特征的信息可以包括第四概率的值。关于实验器材项目的信息可以进一步包括指示对实验器材项目在工作台上的位置的估计的信息以及可选地指示所述估计的可靠性的信息。

通过使用至少关于第二光学特征的信息识别实验器材项目的步骤可以与识别第二图像中的第二光学特征的步骤一起执行。如果是这种情况，特别地，关于第二光学特征的信息可以包括关于实验器材项目的第二信息。

根据本发明的方法，只有在第一光学特征的识别证明是不确定或不足够准确时才执行识别第二光学特征的步骤。这样，在不加区分地增加计算成本的情况下和/或在不损害实验器材识别的准确性的情况下提高识别实验器材项目的效率，因为仅在需要时才识别第二光学特征。通过考虑到第一识别算法的输出的方法来自动地并动态地评估对识别第二光学特征的需要。

特别地，本发明的方法默认地提供了通过仅使用第一识别算法和第一图像执行的计算量相对较轻的实验器材识别。只有在第一识别算法的结果是不确定或不足够准确时才提供更准确(尽管计算成本高)的实验器材识别。

例如，通过使用第一识别算法识别第一光学特征的步骤可以比识别第二光学特征的步骤计算成本低。特别地，可能是这种情况，因为第一识别算法不如第二识别算法准确和/或第一图像的分辨率低于第二图像的分辨率。

此外，第一图像和第二图像独立于彼此而被获取并且被单独处理，使得它们不必须形成立体图。因此，第一和第二光学记录设备不必须相对于彼此配置和/或同步以形成立体光学记录设备。这简化了硬件和执行本发明的方法所需的设置。

算法特别地是用于处理输入信息以获得输出信息的指令集合，例如序列。算法的指令可以在计算机中实施并且由例如根据本发明的数据处理系统的处理器执行。特别地，算法的输入信息编码在可以由执行算法的处理器访问的输入数据中。特别地，处理器根据算法的指令处理输入数据以生成通常编码在输出数据中的输出信息。根据本发明，特别地，算法处理数据，此时算法包括当由处理器执行时使所述处理器处理这些数据的指令。

图像可以是向量图像或二维像素网格，例如矩形像素网格。特别地，像素在图像中的位置可以依据其在图像中的二维图像坐标来单一地确定，所述坐标表示所述像素在二维像素网格中的位置。

图像(例如第一和/或第二图像)可以通过至少位图来编码。对图像或其一部分进行编码的位图可以包括指定所述图像或其一部分的每个像素的强度(即颜色)的位阵列，例如由所述位阵列组成。位图可以是调色板索引的，使得阵列的条目被索引到颜色表上。阵列的条目可以存储对像素的颜色进行编码的位。位图可以包括表示二维像素网格的点矩阵数据结构，例如由所述点矩阵数据结构组成。位图可以进一步包括涉及每像素的位数量、二维网格的每行的像素数量和/或所述网格的每列的像素数量的信息。图像查看器可以使用编码在位图中的信息来在计算设备的屏幕上渲染图像。

在本发明的实施例中，第一图像包括第一像素阵列，第一像素阵列的每个像素具有在阵列中的相应位置和相应强度值。在这个实施例中，第一识别算法处理第一输入数据，所述第一输入数据包括第一像素阵列的每个像素的位置和强度值。

特别地，第二算法处理第二输入数据。此外，在这种情况下，第二输入数据可以编码关于第一光学特征的第一信息。

第二图像可以包括第二像素阵列，这个像素阵列的每个像素具有在阵列中的相应位置和相应强度值。在这种情况下，第二输入数据可以包括第二像素阵列的每个像素的位置和强度值。

像素的强度(例如颜色)可以用RGB颜色模型、CMY颜色模型或CMYK颜色模型来表达。特别地，在RGB颜色模型中，像素的强度可以借助于三个整数值来确定，每个值在0至255的范围内。替代性地或结合上文，在RGB模型中，像素的强度可以通过使用色调、饱和度、值(HSV)表示或色调、饱和度、亮度(HSL)表示来表达。

特别地，在灰度图像中，像素的强度可以用单个整数值来表达，并且特别地，所述值可以在0至最大值的范围内。例如，所述最大值可以等于256或65,536。此外，在二元图像中，像素的强度可以用单个整数值来表达，所述单个整数值可以采用第一强度值(例如值“0”)或第二强度值(例如值“1”)。

第一识别算法和第二识别算法可以彼此相等。在这种情况下，特别地，第一识别算法的输出不同于第二识别算法的输出，因为第一输入数据不同于第二输入数据。例如，第一输入数据包括第一像素阵列的每个像素的位置和强度值、指示第一相机相对于工作台的位置的信息、指示第一图像的分辨率的信息、和/或指示第一相机是否为多色相机的信息。替代地，第二输入数据可以包括第二像素阵列的每个像素的位置和强度值、指示第二相机相对于工作台的位置的信息、指示第二图像的分辨率的信息、和/或指示第二相机是否为单色相机的信息。

本发明的方法的实施例包括如下步骤：

-通过使用关于所述实验器材相对于工作台的位置的第一位置信息来确定所述第一图像中的第一感兴趣区域(ROI)。

此外，在这个实施例中，通过使用所述第一识别算法识别所述第一图像中的所述第一光学特征的所述步骤是通过使用所述第一感兴趣区域来执行的。

替代性地或结合上文，所述方法可以包括如下步骤：

-通过使用关于所述实验器材相对于所述工作台的位置的第二位置

信息来确定所述第二图像中的第二ROI，

并且通过使用所述第二识别算法识别所述第二图像中的所述第二光学特征的所述步骤是通过使用所述第二ROI来执行的。

特别地，工作台可以包括在根据本发明的ALS中。例如，工作台可以被划分为多个台面区域，例如四个台面区域。第一和/或第二位置信息可以包括关于台面区域的位置的信息，实验器材项目定位或预期定位在所述台面区域中。

确定第一ROI和/或第二ROI的步骤可以分别通过使用第一和/或第二ROI确定算法来执行。例如，第一和/或第二ROI确定算法分别处理第一和/或第二位置数据。特别地，第一和/或第二位置数据分别编码关于实验器材相对于工作台的位置的第一和/或第二位置信息。例如，第一ROI确定算法的输出和/或第二ROI确定算法的输出可以分别包括关于第一ROI在第一图像中的位置和/或第二ROI在第二图像中的位置的信息。

第一和/或第二ROI可以分别包括第一像素阵列和/或第二像素阵列或者由这些组成。此外，第一和/或第二ROI可以显示台面区域的至少一部分，实验器材项目定位或预期定位在所述台面区域中。在所述信息足以正确地获得ROI的像素中的每一个的位置的范围内，关于ROI在图像中的位置的信息可以指定包括在ROI中的像素中的一些的位置。例如，如果ROI是图像的矩形区域，则关于所述区域的顶点的位置的信息足以获得ROI的像素中的每一个的位置。

关于第一ROI在第一图像中的位置的信息可以包括在第一输入数据中，使得通过使用第一识别算法识别第一图像中的第一光学特征的步骤是通过使用第一ROI来执行的。替代性地或结合上文，关于第二ROI在第二图像中的位置的信息可以包括在第二输入数据中，使得识别第二图像中的第二光学特征的步骤是通过使用第二ROI来执行的。

特别地，至少第一识别算法的指令和/或一些指令的执行顺序取决于第一ROI在第一图像中的位置，使得通过使用第一识别算法识别第一光学特征的步骤是通过使用第一ROI来执行的。例如，至少第二识别算法的指令和/或一些指令的执行顺序取决于第二ROI在第二图像中的位置，使得通过使用第二识别算法识别第二光学特征的步骤是通过使用第二ROI来执行的。

通过使用实验器材项目相对于工作台的位置检测ROI以及使用所述ROI识别光学特征协同地起作用以提高识别光学特征的准确性。特别地，似乎是这种情况，因为实验器材项目可以占据相对于工作台的有限数量个预确立的位置。这样，识别光学特征的识别算法可以针对这些预确立的位置中的每一个进行有效地优化。

本发明的方法可以进一步包括如下步骤：

-通过使用至少位置确定算法来获取关于所述实验器材相对于所述工作台的位置的第三位置信息。

在这种情况下，第一识别算法可以处理第一输入数据，所述第一输入数据取决于第三位置信息。特别地，第一输入数据进一步包括第三位置信息，使得第一输入数据取决于所述信息。

位置确定算法可以处理位置确定输入数据。特别地，位置确定输入数据可以包括第一和/或第二像素阵列。位置确定输入数据可以包括关于第一ROI在第一图像中的位置的信息和/或关于第二ROI在第二图像中的位置的信息。例如，位置确定输入数据包括第一和/或第二位置信息。

获取第三位置信息的步骤可以包括确定第一和/或第二图像是否显示高度适配器。如果是这种情况，则获取第三位置信息的步骤可以包括确定高度适配器在第一和/或第二图像中的位置。替代性地或结合上文，获取第三位置信息的步骤可以包括确定高度适配器的高度。例如，这个高度的确定取决于高度适配器在第一和/或第二图片中的位置。指示高度适配器的位置和高度的信息最终是关于布置在所述适配器上的实验器材项目的位置和/或关于实验器材项目相对于工作台的表面的高度的信息。

关于高度适配器的存在、位置和/或高度的信息提高识别布置在所述适配器上的实验器材项目的准确性。例如，高度适配器的存在和高度限制了实验器材识别的可能结果的数量。特别地，指示高度适配器的位置和高度的信息指示布置在所述高度适配器上的实验器材项目不能是无法布置在检测到的高度适配器上的任何实验器材项目。此外，关于高度适配器的存在和高度的信息允许更好地估计第一和/或第二相机与实验器材项目之间的距离。这引起对光学特征以及继而对实验器材项目的更准确识别。

关于第一ROI在第一图像中的位置的信息可以包括在第一输入数据中，使得通过使用第一识别算法识别第一图像中的第一光学特征的步骤是通过使用第一ROI来执行的。替代性地或结合上文，关于第二ROI在第二图像中的位置的信息可以包括在第二输入数据中，使得通过使用第二识别算法识别第二图像中的第二光学特征的步骤是通过使用第二ROI来执行的。

本发明的方法的实施例包括如下步骤：

-从第一识别算法池当中选择所述第一识别算法。

在这种情况下，选择第一识别算法的步骤可以至少取决于第三位置信息。此外，选择第一识别算法的步骤可以进一步取决于第一ROI在第一图像中的位置和/或取决于第一位置信息。

在这个实施例中，第三位置信息允许动态地选择识别算法，考虑到实验器材项目相对于工作台的位置，所述识别算法最适合用于识别所述项目。因此提高实验器材识别的准确性。

在本发明的一个实施例中，如果根据编码在所述第一识别数据中的所述信息需要至少进一步识别，则所述方法进一步包括如下步骤：

-从第二识别算法池当中选择所述第二识别算法。

此外，在这个实施例中，选择第二识别算法的步骤至少取决于编码在第一识别数据中的信息。选择第二识别算法的步骤可以进一步取决于第二ROI在第二图像中的位置和/或取决于第二位置信息。

通常，第一识别数据包括关于第一光学特征以及因此关于实验器材项目的至少部分信息。在这个实施例中，所述信息用于动态地选择识别算法，考虑到通过第一算法获得的信息，所述识别算法最适合用于识别第二光学特征以及因此实验器材项目。因此提高实验器材识别的准确性。

根据所述方法的实施例，所述第一和/或第二识别算法分别包括至少第一和/或第二机器学习算法。

特别地，机器学习算法包括用于处理输入信息以获得输出信息的指令，并且这些指令中的至少一些通过使用一组训练数据和训练算法来设置。第一和/或第二机器学习算法可以包括人工神经网络(ANN)、决策树、随机森林、支持向量机(SVM)等。例如，第一和/或第二机器学习算法可以是卷积神经网络和/或深度神经网络，比如AlexNet。

特别地，ANN是将ANN输入映射到ANN输出中并且包括多个互连节点的算法，每个节点借助于可以与节点相关的激活函数将输入映射到输出中。特别地，节点的激活函数可以取决于偏置并且取决于对所述节点的输入的数据项目进行加权的一个或多个权重。ANN的权重的值可以通过借助于至少训练集和训练算法训练ANN来获得。根据示例性训练算法，迭代地调整权重的值以便最小化成本函数的值，所述成本函数通常取决于ANN的权重、ANN输入、ANN输出和/或偏置。

特别地，第一和/或第二机器学习算法是分类器。例如，第一和/或第二机器学习算法分别是第一和/或第二二元分类器。例如，第一和/或第二二元分类器可以执行二元分类以分别评估第一和/或第二光学特征是否被识别为特定光学特征(例如生物危害符号和/或红色)。在这种情况下，第一和/或第二识别数据可以分别指定第一和/或第二光学特征是否被识别为特定光学特征。

替代性地或结合上文，第一和/或第二机器学习算法可以执行多类别分类以分别评估第一和/或第二图像是否显示特定光学特征池当中的特定光学特征。例如，特定光学特征池可以包括特定象形图(例如生物危害符号)、特定字母数字字串(例如词语“无菌”)、特定颜色(例如“红”色)等。

第一和/或第二机器学习算法可以是置信度加权分类器。特别地，第一和/或第二机器学习算法执行概率分类。例如，如果第一机器学习算法是置信度加权分类器，则第一识别数据指定特定光学特征列表，并且针对这个列表中的每个特定光学特征指定第一光学特征是所述特定光学特征的相应概率。如果第二机器学习算法是置信度加权分类器，则第二识别数据可以指定特定光学特征列表，并且针对这个列表中的每个特定光学特征指定第二光学特征是所述特定光学特征的相应概率。

例如，第一机器学习算法检查第一光学特征是否显示在第一图像中，提供对所述特征在第一图像中的位置的估计，并且识别所述特征。第二机器学习算法可以检查第二光学特征是否显示在第二图像中，并且提供对所述特征在第二图像中的位置的估计。

例如，第一和/或第二机器学习算法是包括多个层和多个参数的前馈卷积ANN，ANN的参数是权重和其偏置。层数量可以在4与18之间，特别地在5与17之间，并且更特别地在6与16之间。参数数量可以在10000与1000000之间，特别地在15000与900000之间，并且更特别地在20000与800000之间。

第一实验器材识别算法和/或第二实验器材识别算法可以分别包括第三和/或第四机器学习算法。特别地，第三和/或第四机器学习算法可以是分类器，例如二元和/或置信度加权分类器。第三和/或第四机器学习算法可以是ANN、决策树、随机森林、SVM、贝叶斯(Bayesian)网络等。

例如，第三和/或第四机器学习算法可以分别是第一和/或第二决策树，所述第一和/或第二决策树处理输入数据以“决定”实验器材项目是什么，例如提供对实验器材项目是什么的估计。特别地，第一和/或第二决策树的输入数据可以包括例如如通过使用第一识别算法获得的关于第一光学特征的第一信息。第二决策树的输入数据可以进一步包括例如如通过使用第二识别算法获得的关于第二光学特征的第二信息。

通常已知的是，对象检测和识别通常是对于机器学习算法具挑战性的任务。通常，包括具有相对大数量的层和参数的卷积神经网络的仅一些机器学习算法可以执行这个任务并且输送准确结果。然而，这些算法需要不鼓励其在ALS中使用的广泛训练。然而，出人意料地，机器学习算法可以以足够高的准确性并且在不需要广泛训练程序和/或大训练数据集的情况下识别在ALS的工作台上的实验器材项目以及其光学特征。然而，关于根据本文描述的建议的有限ROI，可以降低ANN模型的所需复杂度，减少它们的参数计数、训练时间和数据集要求。

根据本发明的实施例，第一机器学习算法通过使用第一ROI执行多类别分类以评估第一图像是否显示第一特定光学特征池当中的特定光学特征。在这种情况下，选择第一图像中的第一ROI的步骤是通过使用关于至少第一特定光学特征池中的光学特征的信息和/或指示所述元素在包括所述元素的实验器材项目上的位置的信息来执行的。特别地，选择第一图像中的第一ROI的步骤可以通过使用关于第一特定光学特征池的多个光学特征的每个元素的信息和/或指示所述每个元素在包括所述每个光学特征的实验器材项目上的位置的信息来执行。在这种情况下，第一ROI可以基本上对应于第一图像的区域，在所述区域中，第一特定光学特征池的元素相对于彼此具有最高的方差。因此，可以降低第一机器学习算法的复杂度(例如参数数量)、其训练时间和/或训练数据集的大小，同时获得足够高的分类准确性。

在本发明的方法的又一实施例中，第二机器学习算法通过使用第二ROI执行多类别分类以评估第二图像是否显示第二特定光学特征池当中的特定光学特征。在这种情况下，选择第二图像中的第二ROI的步骤是通过使用关于第二特定光学特征池的多个光学特征的每个元素的信息和/或指示所述每个元素在包括所述元素的实验器材项目上的位置的信息来执行的。在这种情况下，第二ROI可以基本上对应于第二图像的区域，在所述区域中，第二特定光学特征池的元素相对于彼此具有最高的方差。因此，可以降低第二机器学习算法的复杂度(例如参数数量)、其训练时间和/或训练数据集的大小，同时获得足够高的分类准确性。特别地，第一光学记录设备是第一相机。第一识别算法可以至少取决于与第一相机相关联的第一组内在校准参数，和/或至少取决于与第一相机相关联的第一组外在校准参数。

例如，第一输入数据可以取决于(例如包括)第一组内在校准参数的元素和/或第一组外在校准参数的元素，使得第一识别算法分别取决于第一组内在校准参数的元素和/或第一组外在校准参数的元素。特别地，第一组外在校准参数和/或第一组内在校准参数分别由与第一相机相关联的一个或多个外在校准参数和/或一个或多个内在校准参数组成。

替代性地或结合上文，第二光学记录设备是第二相机。第二识别算法可以至少取决于与第二相机相关联的第二组内在校准参数和/或至少取决于与第二相机相关联的第二组外在校准参数。

例如，第二输入数据可以取决于(例如包括)第二组内在校准参数的元素和/或第二组外在校准参数的元素，使得第二识别算法分别取决于第二组内在校准参数的元素和/或第二组外在校准参数的元素。特别地，第二组外在校准参数和/或第二组内在校准参数分别由与第二相机相关联的一个或多个外在校准参数和/或一个或多个内在校准参数组成。

特别地，与相机相关联的外在校准参数描述了所述相机相对于世界坐标系并根据相机模型(比如针孔相机模型)的位置和/或取向。第一和/或第二组外在参数可以分别包括适合于描述从三维世界坐标系到第一和/或第二相机的三维坐标系的变换的外在校准参数。特别地，第一和/或第二组外在参数可以包括适合于确定三维旋转矩阵的条目和三维平移向量的坐标的参数。第一和/或第二组外在参数可以分别通过使用外在校准方法校准第一和/或第二相机来获得。

特别地，与相机相关联的内在校准参数可以描述所述相机的内在特性并且可以通过使用内在校准方法校准所述相机来获得。第一组内在参数可以包括适合于描述第一相机的三维坐标系到第一图像的二维坐标的投影变换的内在校准参数。例如，第一组内在校准参数包括第一相机的焦距、缩放因数、偏斜因数、主点坐标、径向畸变系数和/或切向畸变系数。

第二组内在参数可以包括适合于描述第二相机的三维坐标系到第二图像的二维坐标的投影变换的内在校准参数。第二组内在校准参数可以包括第二相机的焦距、缩放因数、偏斜因数、主点坐标、径向畸变系数和/或切向畸变系数。

第一组外在校准参数中的外在参数和/或第一组内在校准参数中的内在参数可以由第一识别算法使用以处理第一图像，从而提高第一输入数据的质量。例如，所述参数可以用于调整第一相机的内在特性的第一图像和/或对齐显示在第一图像中的工作台和/或实验器材项目。替代性地或结合上文，前述参数可以由第一算法使用以获取关于在第一图像中描绘的场景的几何特征的信息。例如，外在和/或内在参数可以用于估计第一图像中的对象的大小和/或确定第一相机相对于工作台或实验器材项目的位置。这样，提高了识别第一光学特征的准确性。

同样地，第二组外在校准参数中的外在参数和/或第二组内在校准参数中的内在参数可以由第二识别算法使用以提高识别第二光学特征的准确性。特别地，第二识别算法使用所述参数来处理第二图像并且因此提高第二输入数据的质量。此外，前述参数可以用于获取关于第二图像中描绘的场景的几何特征的信息。

替代性地或结合上文，第一ROI确定算法可以至少取决于与第一相机相关联的第一组内在校准参数和/或至少取决于与第一相机相关联的第一组外在校准参数。第二ROI确定算法可以至少取决于与第二相机相关联的第二组内在校准参数和/或至少取决于与第二相机相关联的第二组外在校准参数。

出于上文描述的相同原因，第一组外在校准参数中的外在参数和/或第一组内在校准参数中的内在参数可以由第一ROI确定算法使用以提高识别第一ROI的准确性。此外，第二组外在校准参数中的外在参数和/或第二组内在校准参数中的内在参数可以由第二ROI确定算法使用以提高识别第二ROI的准确性。

根据本发明的方法的进一步实施例，第一识别算法和/或第二识别算法分别取决于对实验器材项目的形状的第一估计和/或取决于对实验器材项目的形状的第二估计。特别地，第一和/或第二输入数据分别包括指示对实验器材项目的形状的第一和/或第二估计的信息。

对实验器材项目的形状的第一和/或第二估计可以是描述一类实验器材项目的通用形状的模型。例如，96聚合酶链反应(PCR)板和96微量滴定(MTP)板两者的形状可以通过均匀地分布在矩形内部的96个小圆圈来建模。

第二识别算法可以取决于对实验器材项目的形状的第二估计，并且所述估计可以通过使用借助于第一识别算法获得的第一识别数据来获得。例如，如果关于第一光学特征的第一信息指定第一光学特征是给定纹理图案，并且如果所述图案仅存在于PCR板和96MTP板的表面上，则第二输入数据可以包括指定实验器材项目的形状被估计为通过均匀地分布在矩形内部的96个小圆圈来建模的信息。

对实验器材项目的形状的估计可以由第一和/或第二识别算法使用以检测并更容易地识别相应光学特征，从而提高所述特征的识别准确性。如果所述估计与外在和/或内在校准参数一起使用，则进一步提高准确性。

替代性地或结合上文，第一和/或第二识别算法可以分别取决于对第一和/或第二光学特征的形状的估计。

在本发明的实施例中，所述第二识别数据编码指示是否需要至少进一步识别的信息。

在这个实施例中，如果根据编码在所述第二识别数据中的所述信息需要至少进一步识别，则所述方法进一步包括如下步骤：

-通过使用至少第三识别算法识别所述第一图像中的所述第一光学

特征，从而获得第三识别数据，所述第三识别数据编码关于所述第一光学特征的第二信息。

如果根据编码在所述第二识别数据中的所述信息需要至少进一步识别，则通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目的所述步骤可以通过使用关于所述第一光学特征的所述第二信息来执行。

通过使用所述第三识别算法识别所述第一光学特征的所述步骤可以通过借助于所述第三识别算法获得所述第三识别数据来执行。第三识别数据可以是第三识别算法的输出，并且特别地，可以通过执行所述算法来生成。例如，指示是否需要至少进一步识别的信息指定第二光学特征的识别是否已不确定和/或不足以用于识别实验器材项目。

根据这个实施例，只有在第二光学特征的识别证明是不确定或不足够准确时才执行通过使用第三识别算法识别第一光学特征的步骤。这样，在不加区分地增加计算成本的情况下和/或在不损害实验器材识别的准确性的情况下增加识别实验器材项目的效率，因为仅在需要时两次识别第一光学特征。通过考虑到第二识别算法的输出的方法来自动地并动态地评估对第一光学特征的第二识别的需要。通过如下事实进一步提高实验器材项目识别的准确性：所述识别是通过使用关于第一光学特征的信息和关于第二光学特征的信息两者来执行的。

根据本发明，第三算法可以处理第三输入数据。特别地，第三输入数据编码关于第一光学特征的第一信息和/或关于第二光学特征的信息。在这个实施例中，实验器材项目的识别依赖于关于第一光学特征的信息和关于第二光学特征的信息两者，并且因此是更准确的。

在本发明的实施例中，如果根据编码在所述第二识别数据中的所述信息需要至少进一步识别，则所述方法进一步包括如下步骤：

-从第三识别算法池当中选择所述第三识别算法，

其中，选择第二识别算法的步骤至少取决于编码在第一识别数据中的信息和/或编码在第二识别数据中的信息。

分别从第一、第二和/或第三池当中选择第一、第二和/或第三识别算法的步骤可以通过使用选择算法来执行。特别地，选择算法可以处理第一、第二和/或第三位置信息以选择第一算法。进一步地，选择算法可以处理编码在第一识别数据中的信息和/或关于第一算法的信息以选择第一识别算法。此外，选择算法可以处理编码在第一识别数据中、第二识别数据中的信息、关于第一识别算法的信息和/或关于第二识别算法的信息以选择第二识别算法。

除识别第一光学特征和第二光学特征的前述步骤之外，本发明的方法可以进一步包括一个进一步步骤或多个进一步步骤。所述进一步步骤可以是通过使用至少识别算法识别第一和/或第二图像中的对应光学特征的步骤。对应光学特征可以是第一特征、第二特征或不同于第一特征和第二特征的另一特征。在进一步步骤中使用的识别算法生成识别输出数据，所述识别输出数据包括指示是否需要进一步识别的信息，例如因为在进一步识别步骤期间执行的识别不确定或不足以识别实验器材项目。

例如，在方法的一个实施例中，进一步步骤在通过使用至少第一识别算法识别第一光学特征的步骤之前执行并且不引起对应光学特征的确定识别。例如，进一步步骤可以在通过使用至少第一识别算法识别第一光学特征的步骤之后并且在通过使用至少第二识别算法识别第二光学特征的步骤之前执行。在这种情况下，执行识别第二光学特征的步骤，因为通过使用至少第一识别算法识别第一光学特征的步骤和进一步步骤两者都不引起确定识别。

在本发明的方法的实施例中，如果根据编码在所述第二识别数据中的所述信息需要至少进一步识别，则通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目的所述步骤是通过使用关于所述第一光学特征的所述第一信息来执行的。在这个实施例中，实验器材项目的识别依赖于关于第一光学特征的信息和关于第二光学特征的信息，并且因此是更准确的。

根据本发明的实施例，如果根据编码在所述第一识别数据中的所述信息不需要所述至少进一步识别，则所述方法进一步包括如下步骤：

-通过使用至少关于所述实验器材项目的所述第一信息来生成工作台的虚拟表示。

替代性地或结合上文，如果根据编码在所述第一识别数据中的所述信息需要所述至少进一步识别，则所述方法可以进一步包括如下步骤：

-通过使用至少关于所述实验器材项目的所述第二信息来生成工作台的虚拟表示。

工作台的虚拟表示可以被存储并且提供由包括工作台的ALS执行的实验室程序的自动生成文档。替代性地或结合上文，虚拟表示可以用于自动地验证并且在需要的情况下校正实验室程序。此外，通过使用虚拟表示，ALS可以自动推断要执行的程序。

第一和/或第二光学记录设备可以包括多色相机、单色相机、灰度相机、黑白相机、UV相机、IR相机、摄影机、一维相机传感器和/或三维RGBD相机或者由这些组成。

在本发明的实施例中，第二光学记录设备是多色相机和/或第一光学记录设备是单色相机和/或灰度相机。特别地，第一光学记录设备和/或第二光学记录设备分别是具有第一和/或第二像素分辨率的数字相机。第一像素分辨率可以低于或等于921,600个像素，并且特别地，低于或等于414720个像素。此外，第一和/或第二像素分辨率可以低于或等于2157840个像素，并且特别地低于或等于2073600个像素。

这个实施例允许使用至少通常比高分辨率相机便宜的低分辨率相机，同时满足识别第二光学特征的准确性要求。特别地，在这种情况下，在识别第二光学特征时使用关于第一光学特征的信息会补偿第二图像的低分辨率。

在本发明的方法的一个实施例中，获取第一图像的步骤在由第一系统时间值表征的第一时刻执行。获取第二图像的步骤在第二时刻执行，所述第二时刻由系统时间的第二系统时间值表征。第一时间系统值和第二时间系统值符合预定关系。

即使第一和/或第二光学记录设备可相对于彼此和/或相对于工作台移动，也可以执行方法的这个实施例。如果例如工作台大于第一和/或第二光学记录设备的视野，则可能需要这一点。在这种情况下，预定关系可以以这样方式取决于由第一和/或第二光学记录设备描述的轨迹，即使得在第一时刻和在第二时刻，实验器材项目分别在第一和第二光学记录设备的视野内。

特别地，第一时间系统值和第二时间系统值彼此相等。

即使定位在工作台上的实验器材项目随时间改变，也可以执行所述方法的这个实施例。如果是这种情况，则第一时间系统值等于第二时间系统值的要求保证第一和第二光学记录设备获取同一场景的图像，使得两者都显示实验器材项目。

特别地，系统时间是实施本发明的方法的计算机(例如本发明的数据处理系统)的系统时间。系统时间可以由所述计算机的系统时钟测量。

特别地，实验器材项目包括在临床或实验室环境中使用的容器或者由所述容器组成。这个容器可以由玻璃、塑料、金属等制成。例如，实验器材项目可以包括培养皿或由培养皿组成，所述培养皿可以包括顶部、盖子和/或底部。此外，实验器材项目包括样本瓶和/或试管或者由样本瓶和/或试管组成。实验器材项目可以是单用途的、多用途的和/或一次性的。

此外，根据本发明，实验器材项目可以包括板、吸头、试管、贮液器、吸头盒、高度适配器、贮液器架和/或试管架，或者由这些组成。

根据本发明，第一光学特征和/或第二光学特征可以包括标记、表意文字、象形图、一组字母数字字符、纹理图案、孔图案、突出部图案、条码和/或颜色。

例如，第一光学特征可以包括一组字母数字字符和/或孔图案或者由这些组成，并且第二光学特征可以是颜色，例如实验器材项目的一部分的颜色。特别地，孔图案可以是C形、H形、I形、L形、O形、T形、U形或V形。

关于第一光学特征的信息可以传达关于实验器材项目所属类别的信息。在这种情况下，关于第一光学特征的信息可以与关于第二光学特征的信息一起传达指示实验器材项目是所述类别的哪个构件的信息。

在本发明的实施例中，如果根据编码在所述第一识别数据中的所述信息需要至少进一步识别，则通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目的所述步骤是通过使用关于所述第一光学特征的所述第一信息来执行的。这个实施例中，实验器材项目的识别依赖于关于第一光学特征的信息和关于第二光学特征的信息，并且因此是更准确的。

例如，如果第一光学特征是生物危害符号，则所述特征可以传达实验器材项目是属于包括生物危害材料的试管类别的试管的信息。此外，如果第二光学特征是红色，则第一和第二光学特征传达实验器材项目是所述类别的特定构件(即包括特定生物危害材料、例如氯仿的试管)的信息。

在本说明书中描述本发明的方法的步骤所根据的顺序未必反映执行所述步骤所根据的时间顺序。

本发明涉及一种数据处理系统，所述数据处理系统包括第一光学记录设备、第二光学记录设备和被配置为执行根据本发明的方法的处理装置。

本发明还涉及一种自动化实验室系统，所述自动化实验室系统包括本发明的数据处理系统。特别地，本发明的ALS包括第一光学记录设备、第二光学记录设备、被配置为执行本发明的方法的处理装置、以及用于定位实验器材项目的工作台。例如，ALS是自动化移液系统。特别地，ALS的工作台承载实验器材项目。

本发明还涉及一种计算机程序产品，所述计算机程序产品包括指令，所述指令当由根据本发明的系统执行程序时使所述系统执行本发明的方法。

本发明涉及一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令当由根据本发明的系统执行时使所述系统执行本发明的方法。

附图说明

在下文关于附图描述本发明的示例性实施例。所述图和对应详细说明仅用于提供对本发明的更佳理解并且不构成对如权利要求书中定义的本发明范围的任何限制。特别地：

图1是根据本发明的数据处理系统的实施例的示意性表示；

图2是本发明的方法的第一实施例的操作的流程图；

图3a、图3c是通过使用根据本发明的数据处理系统的实施例获取的第一图像的示意性表示；

图3b、图3d是通过使用根据本发明的数据处理系统的实施例获取的第二图像的示意性表示；以及

图4是本发明的方法的第二实施例的操作的流程图。

具体实施方式

图1是根据本发明的数据处理系统(DPS)100的第一实施例的示意图。所述数据处理系统100可以包括计算设备或其集群。数据处理系统100包括彼此进行数据通信的处理元件110和存储装置120。处理元件110可以由CPU和/或GPU组成或者包括CPU和/或GPU，并且包括被配置为执行本发明的方法的步骤的多个模块111至116。

存储装置120可以包括易失性主存储器121(例如RAM、DRAM、SRAM、CPU快取存储器等)和/或非易失性主存储器122(例如ROM、PROM、EPROM等)。特别地，易失性主存储器可以由RAM组成。例如，易失性主存储器121临时保存用于由处理元件执行的程序文件和相关数据，并且非易失性主存储器122可以包含用于DPS 100的操作系统的启动代码。

存储装置120可以进一步包括辅助存储器123，所述辅助存储器可以存储操作系统和/或用于执行本发明的方法的算法的指令。此外，辅助存储器123可以存储包括指令的计算机程序产品，所述指令当计算机程序产品由DPS 100执行时使DPS 100执行根据本发明的方法。

辅助存储器123、主存储器121、122和处理元件110不需要物理地容纳在同一壳体中，并且可以替代地在空间上彼此分离。特别地，辅助存储器123、主存储器121、122和处理元件110可以在空间上彼此分离，并且可以经由有线和/或无线介质(未示出)彼此交换数据。

DPS 100可以包括输入/输出(I/O)接口140，所述输入/输出接口允许DPS 100与输入/输出设备(例如显示器、键盘、触摸屏、打印机、鼠标、相机等)通信。DPS 100可以进一步包括被配置为连接DPS 100与合适网络(未示出)的网络接口控制器(NIC)130。根据本发明，合适网络可以例如是内联网、因特网或蜂窝网络。

数据处理系统100包括形式分别为第一数字相机150和第二数字相机160的第一光学记录设备和第二光学记录设备。特别地，第一相机150和第二相机160分别是灰度相机和多色相机。第一相机150和第二相机160分别被配置为获取第一图像和第二图像，并且可以是照相机和/或摄影机。如图1中所示出的，第一相机150和/或第二相机160可以经由I/O接口140连接到处理元件110。例如，第一相机150和/或第二相机160可以经由NIC 130无线地连接到I/O接口。第一相机150和/或第二相机160可以是与I/O接口140或外围设备一起使用的智能设备，所述智能设备具有它们自身的存储器以用于存储相关联指令和数据。

处理元件110包括被配置为执行本发明的方法的多个模块111至116。特别地，第一获取模块111被配置为操作第一相机150以获取第一图像。第二获取模块112被配置为操作第二相机160以获取第二图像。处理元件110包括第一识别模块113，所述第一识别模块被配置为通过使用第一识别算法识别第一图像中的第一光学特征。第二识别模块114被配置为通过使用关于第一光学特征的第一信息识别实验器材项目。处理元件110进一步包括第三识别模块115，所述第三识别模块被配置为通过使用至少第二识别算法识别第二图像中的第二光学特征。第四识别模块116被配置为通过使用关于第二光学特征的信息识别实验器材项目。第一识别模块113和第三识别模块115可以是同一模块。特别地，第二识别模块114和第四识别模块116可以是同一模块。处理元件110可以进一步包括被配置为确立根据编码在第一识别数据中的信息是否需要进一步识别的评估模块(未示出)。

例如，DPS 100可以是包括第一相机150和第二相机160的计算机系统，并且更特别地可以是智能电话、台式计算机、平板、膝上型计算机等。此外，DPS 100可以是根据本发明的ALS，特别是自动移液系统。在这种情况下，DPS 100包括用于定位一个或多个实验器材项目和/或用于转移液体的移液头(未示出)的工作台(未示出)。所述移液头可以借助于伺服和/或步进马达相对于工作台移动。

图2是根据本发明的方法的第一实施例的操作的流程图200。特别地，根据本发明的方法的第一实施例可以由在上文描述并且在图1中示意性地描绘的DPS 100执行。

方法的第一实施例执行具有过滤器的1000μl吸头盒的识别。这个识别通过使用第一和第二光学特征来执行。第一光学特征是包括四个孔的L形孔图案341并且第二光学特征是具有过滤器的1000μl吸头盒的颜色，例如青色。为了讨论，假设具有过滤器的1000μl吸头盒是包括这两个光学特征的唯一实验器材项目。

在步骤210，DPS 100获取图3a和图3c中示意性地表示的第一图像300a。第一图像300a通过使用第一相机150来获取并且因此是灰度图像。如图3a中所示出的，第一图像300a显示DPS 100的工作台370的俯视图。工作台370包括废物容器350和用于定位实验器材项目的四个区域371至374。

作为96MTP板的第一实验器材项目310定位在第一区域371上。第一实验器材项目310包括分布在十二列和八行中的九十六个加样孔312。第一实验器材项目310包括两组字母数字字符311、313。第一组字母数字字符321形成描绘字母A、B、C、D、E、F、G和H的列。第二组字母数字字符323形成描绘数字一到十二的行。第一实验器材项目310的加样孔312包含第一化合物。

第二实验器材项目320和第三实验器材项目定位在第二区域372上。第二实验器材项目320是包括分布在12列和8行中的96个加样孔322的96MTP板。第二实验器材项目320包括两组字母数字字符321、323。第一组字母数字字符321形成描绘字母A、B、C、D、E、F、G和H的列。第二组字母数字字符323形成描绘数字一到十二的行。第二实验器材项目320的加样孔322包含第二化合物。第三实验器材项目是55mm高度适配器，第二实验器材项目320布置到所述高度适配器上。特别地，图3a描绘了高度适配器的五个销331至335。

作为具有过滤器的1000μl吸头盒的第四实验器材项目340定位在第三区域373上。第四实验器材项目340包括布置在十二列和八行中的九十六个吸头342以及包括四个孔的L形孔图案341。第五实验器材项目360定位在第四区域374上。第五实验器材项目360是包括100ml试管364、30ml试管363、第一贮液器架模块362和第二贮液器架模块TC 361的贮液器架。第一贮液器架模块362包括直径为16mm的四个反应器皿和/或第二贮液器架模块361包括直径为29mm的两个反应器皿。特别地，第一贮液器架模块362和/或第二贮液器架模块361可以借助于热模块(未示出)进行温度控制。

在步骤220，DPS 100获取图3b和图3d中示意性地表示的第二图像300b。第二图像300b通过使用第二相机160来获取，并且因此是多色图像。如图3b中所示出的，第二图像300a显示DPS 100的工作台370的俯视图，所述俯视图基本上相同于在第一图像300a(对照图3a)中显示的俯视图。第二图像300b通过使用多色相机来获取，并且因此，第二图像300b与第一图像300a的不同之处至少在于：前一图像300a显示实验器材项目的颜色。特别地，在图3b中，第一实验器材项目310、第二实验器材项目320、第三实验器材项目和第四实验器材项目340的颜色由阴影线区域示意性地表示。例如，第一实验器材项目310是绿色的，第二实验器材项目320是黄色的，并且第四实验器材项目340是青色的。第一和第二实验器材项目两者都是96MTP板。然而，它们包含不同的化合物，并且因此通过它们的颜色来彼此区分开。

第一图像300a和/或第二图像300b可以存储在DPS 100的主存储器和/或辅助存储器中并且可以由处理元件110访问以分别识别第一光学特征和/或第二光学特征。

在步骤230，DPS 100通过使用第一识别算法识别第一图像300a中的第一光学特征，即L形孔图案341。特别地，第一识别算法处理包括第一图像300a的像素的位置和强度的第一输入数据。第一识别算法通过检查包括四个孔的L形孔图案341是否显示在第一图像300a中并且通过提供对所述孔图案341在第一图像300a中的位置的估计来识别第一光学特征。特别地，第一识别算法可以包括机器学习算法，例如ANN。

第一识别算法生成第一识别数据作为输出，所述数据包括关于第一光学特征的信息。关于第一光学特征的信息指定L形孔图案341在第一指定概率下显示在第一图像300a中的指定位置处并且以相对于给定方向的指定取向来显示。在图3c中，指定位置由虚线框380标记并且给定方向由点虚线390表示。特别地，如图3c中所示出的，L形孔图案341的指定取向使得由孔图案341形成的L的较长臂(即包括三个孔的臂)基本上平行于给定方向390。

在步骤240，根据编码在第一识别数据中的信息确立是否需要进一步识别。这可以通过将第一指定概率与给定阈值进行比较来实现。给定阈值可以例如在0.8或0.9之间。因此，在这个实施例中，第一指定概率编码指示是否需要至少进一步识别的信息。

如果概率大于给定阈值，则DPS 100执行第一实验器材识别算法，所述第一实验器材识别算法处理输入数据并生成第一实验器材识别数据(步骤250)。例如，在这种情况下，第一实验器材识别算法的输入数据包括指定L形孔图案341在第一指定概率下显示在第一图像300a中的指定位置处并且以相对于给定方向390的指定取向来显示的信息。

第一实验器材识别算法包括指令，所述指令当由处理元件110执行时使处理元件访问查找表以评估与第一光学特征相关联的实验器材项目是什么，即包括具有四个孔的L形孔图案341的实验器材项目。查找表使第一光学特征与具有过滤器的1000μl吸头盒相关联，因此第一实验器材识别数据包括指定所识别实验器材项目是具有过滤器340的1000μl吸头盒的信息。

第一实验器材识别算法包括指令，所述指令当由处理元件110执行时使处理元件估计具有过滤器340的1000μl吸头盒在工作台370上的位置。所述估计可以通过使用指示所识别实验器材项目的形状和特征以及L形孔图案341在第一图像300a中的指定位置和取向的信息来获得。因此，第一实验器材识别数据包括指定所识别实验器材项目位于工作台370的第四区域374中的信息。

特别地，指示所识别实验器材项目的形状和特征的信息包括指定如显示在第一图像300a中的所识别实验器材项目具有带有指定尺寸和九十六个加样孔的矩形形状的信息。此外，具有过滤器340的1000μl吸头盒包括具有指定尺寸的L形孔图案341。具有过滤器340的1000μl吸头盒的孔图案341以这样的方式取向，即由孔图案形成的“L”的较长臂基本上平行于具有过滤器340的1000μl吸头盒的较短边343(对照图3a或图3c)。

第一实验器材识别算法可以使用第一相机的外在校准参数、内在校准参数、以及具有过滤器340的1000μl吸头盒的尺寸来估计第一图像300a的区域的大小，所述区域显示具有过滤器340的1000μl吸头盒。

如果替代地概率低于给定阈值，则DPS 100通过使用第二识别算法识别第二图像300b中的第二光学特征(步骤260)。特别地，这个实施例可以包括从第二识别算法池当中选择第二识别算法的步骤。第二识别算法的选择至少取决于编码在第一识别数据中的信息，即基于指定第一光学特征在第一指定概率下是L形孔图案341的信息。当包括L形孔图案341的唯一实验器材项目是具有过滤器340的1000μl吸头盒时，由DPS 100选择的第二识别算法评估第二图像300b是否包括具有强度与青色相对应的像素的区域。

更具体地，第二识别算法处理包括第二图像300b的像素的位置和强度的第二输入数据。第二识别算法包括指令，所述指令当由处理元件110执行时使DPS 100评估第二图像300b是否包括具有强度与青色相对应的像素的区域以及所述区域的位置。特别地，所述评估是通过定位强度落在与青色相对应的强度范围内的像素来执行的。例如，如果强度用RGB颜色模型来表达，则强度范围可以包括具有在0与100之间的第一RGB值、在200与255之间的第二RGB值和在200与255之间的第二RGB值的强度。替代性地，如果强度用RGB颜色模型来表达，则与青色相关联的强度范围可以通过使用HSL或HSV表示来表达。

第二识别算法生成第二识别数据作为输出，所述数据包括关于第二光学特征的信息。关于第二光学特征的信息指定第二图像300b的矩形区域的像素的强度在第二指定概率下对应于青色，所述矩形区域位于第二图像300b的指定位置处。在图3d中，第二图像300b的矩形区域由虚线框385标记。

第二输入数据可以进一步包括指示L形孔图案341在第一图像300a中的指定位置的信息，并且第二识别算法可以通过使用所述信息检测矩形区域385。例如，第二识别算法可以使用第一相机150和第二相机160的内在和外在参数以考虑到孔图案341在第一图像300a中的位置而估计所述图案341在第二图像300b中的对应位置。矩形区域385因此可以通过分析位于包括L形孔图案341在第二图像300b中的对应位置的区域中的像素的强度来检测。

在步骤270，通过使用关于第一光学特征341的第一信息和关于第二光学特征的信息来识别实验器材项目。更具体来说，DPS 100执行第二实验器材识别算法，所述第二实验器材识别算法处理输入数据并且生成第二实验器材识别数据。例如，第二实验器材识别算法是决策树并且输入特征是光学特征341在第一图像300a中的第一和第二指定概率、大小、指定位置和指定取向，以及矩形区域在第二图像300b中的大小、指定位置和取向。在这种情况下，第二实验器材识别算法考虑到输入特征而评估实验器材项目是否为具有过滤器340的1000μl吸头盒，并且如果是这种情况，则评估其在工作台370上的位置。因此，在这个实施例中，第二实验器材识别数据可以指定实验器材项目是位于工作台370的第四区域374中的具有过滤器340的1000μl吸头盒。

第一识别数据、第二识别数据、第一实验器材识别数据和/或第二实验器材识别数据可以存储在DPS 100的主存储器和/或辅助存储器中。

根据本发明的方法的又一实施例可以包括上文描述的第一实施例的步骤210至270。这个前一实施例与后一实施例的不同之处在于执行步骤210至270所根据的顺序。特别地，在进一步实施例中，获取第二图像330b的步骤220可以在获取第一图像330a的步骤210之前或在通过使用第一识别算法识别第一光学特征341的步骤230之后执行。

图4是根据本发明的方法的第二实施例的操作的流程图400，例如，可以由在上文描述并在图1中示意性描绘的DPS 100执行所述方法。方法的第二实施例执行位于DPS 100的工作台的第二区域上的实验器材项目的识别。

在步骤405，DPS 100通过使用第一相机150获取第一图像300a。第一图像300a是灰度图像并且基本上相同于通过执行本发明的方法的第一实施例来获取的同向图像。因此，在图3a和图3c中示意性地表示通过执行步骤405获取的第一图像300a。特别地，第一图像300a显示DPS 100的工作台370的俯视图。工作台370包括废物容器350和用于定位实验器材项目的四个区域371至374。

在步骤410，DPS 100通过使用第二相机160获取第二图像300b。第二图像300b是多色图像并且基本上相同于通过执行本发明的方法的第一实施例获得的同向图像。因此，在图3b和图3d中示意性地表示通过执行步骤410获取的第一图像300a。

在步骤415，DPS 100通过使用第一位置信息来确定第一图像300a中的第一ROI。所述信息指定要识别的实验器材项目是定位在工作台370的第二区域372上的实验器材项目。第一ROI是第一图像300a的矩形区域，所述矩形区域显示工作台370的第二区域372。

第一ROI通过使用第一ROI确定算法通过处理第一图像300a的像素以及编码第一位置信息的第一位置数据来获得。例如，第一ROI确定算法使用与第一相机150相关联的内在和外在校准参数检测第一图像300a的矩形区域，所述矩形区域显示工作台370的第二区域372。

在步骤420，DPS 100获取关于要识别的实验器材项目相对于工作台370的位置的第三位置信息。所述信息通过使用位置确定算法来生成。所述算法处理位置确定输入数据，所述输入数据包括第一ROI中所包括的像素的位置和强度。

位置确定算法包括ANN，所述ANN处理位置确定输入数据以通过检测高度适配器的销中的至少一些来确定第一ROI是否显示所述高度适配器。如图3a或图3c中所示出的，第一ROI显示55mm高度适配器的销331至335。因此，ANN检测所述销331至335并且提供对它们在第一ROI中的位置的估计以及对高度适配器的高度的估计。特别地，所述高度被估计为等于55mm。

位置确定算法包括指令，所述指令当由处理元件110执行时使DPS 100通过估计要识别的实验器材项目的位置来获取第三位置信息。通过使用销331至335在第一ROI中的位置来执行所述估计。特别地，第三位置信息指定要识别的实验器材项目被包括在第一图像330a的第三ROI中。在图3c中，第三ROI由虚线正方形399标记。第三位置信息进一步指定显示在第一ROI中的高度适配器的所估计高度。

在步骤425，从第一识别算法池当中选择第一识别算法。这个选择取决于第一ROI在第一图像300a中的位置并且取决于第三位置信息，特别是取决于显示在第一ROI中的高度适配器的所估计高度。为了讨论，假设仅两个实验器材项目可以布置在所估计高度的高度适配器(即96MTP板或具有过滤器的1000μl吸头盒)上。

相应地，选定识别算法是执行多类别分类以检测L形孔图案的置信度加权分类器，所述L形孔图案包括四个孔和/或两组字母数字字符，第一组形成描绘字母A至H的列，第二组形成描绘数字一至十二的行。此外，这个算法可以被优化以对显示在第一ROI中的场景执行多类别分类，例如对位于工作台的第二区域372中的对象进行分类。特别地，当识别第二光学特征时，第一识别算法考虑图像的透视，所述透视尤其取决于第二区域372相对于第一相机的位置。第一识别算法还可以考虑照明条件，所述照明条件通常表征工作台370的第二区域372。

在步骤430，DPS 100通过使用第一识别算法识别第一光学特征。特别地，第一识别算法处理包括第三ROI 399的像素的位置和强度的第一输入数据。所述算法通过检查第三ROI 399是否显示包括四个孔或两组字母数字字符的L形孔图案来识别第一光学特征，第一组形成描绘字母A至H的列，第二组形成描绘数字一至十二的行。

第一识别算法生成第一识别数据作为输出，所述识别数据包括关于第一光学特征的信息。在这种情况下，关于第一光学特征的信息可以指定第三ROI 399在第三指定概率下显示两组字母数字字符，第一组321形成描绘字母A至H的列并且第二组323形成描绘数字一至十二的行。关于第一光学特征的信息可以进一步指定第三ROI 399在第四指定概率下不显示包括四个孔的L形孔图案。此外，关于第一光学特征的第一信息指定第一光学特征在第五指定概率下由两组字母数字字符组成，第一组321形成描绘字母A至H的列并且第二组323形成描绘数字一至十二的行。

特别地，第五指定概率等于0.98并且指示满足对识别第一光学特征的准确性的要求。在这种情况下，关于第一光学特征的第一信息是可靠的但不确定的。特别地，所述信息允许推断实验器材项目320是96MTP板，即所述项目属于96MTP板的类别。然而，关于第一光学特征的第一信息不足以识别哪种化合物包含在所述实验器材项目中。为了识别化合物，必须识别实验器材项目321的第二光学特征(即颜色)。

因此，在这个实施例中，关于第一光学特征的第一信息指定需要至少进一步识别。因此，在步骤435，根据关于第一光学特征的第一信息确立需要进一步识别，并且因此必须执行步骤445、450和455。

在步骤445，DPS 100从第二识别算法池当中选择第二识别算法。第二识别算法的选择至少取决于关于第一光学特征的第一信息。当包括第一光学特征的实验器材项目的唯一类别是96MTP板的类别时，由DPS 100选择的第二识别算法识别显示在第三ROI 399中的96MTP板的平均颜色。

在步骤450，DPS 100通过使用第二识别算法识别图像300b中的第二光学特征。第二识别算法处理包括第二图像300b的像素的位置和强度的第二输入数据以及指示第三ROI399的位置的信息。例如，第二识别算法可以使用第一相机150和第二相机160的内在和外在参数以考虑到第三ROI 530在第一图像300a中的指定位置而估计第二图像300b中的对应第四ROI。在图3d中，第四ROI由点虚线框395标记并且显示96MTP板320。

第二识别算法包括指令，所述指令当由处理元件110执行时使DPS 100计算第四ROI 395的像素的平均强度并且识别实验器材项目的颜色。特别地，通过评估平均强度是落在与黄色相关联的强度范围内还是与绿色相关联的范围内来执行颜色识别。例如，如果强度用RGB颜色模型来表达，则与绿色相关联的强度范围包括具有在0与100之间的第一RGB值、在200与255之间的第二RGB值和在0与100之间的第三RGB值的强度。与黄色相关联的强度范围可以包括具有在230与255之间的第一RGB值、在230与255之间的第二RGB值以及在0与100之间的第三RGB值的强度。如果强度用RGB颜色模型来表达，则与绿色相关联的强度范围和/或与黄色相关联的强度范围还可以通过使用HSV或HSL表示来表达。

替代性地或结合上文，第二识别算法可以包括ANN和/或SVM，所述ANN和/或SVM处理第四ROI 395的像素以识别实验器材项目的颜色。

第二识别算法生成第二识别数据作为输出，所述第二识别数据包括关于第二光学特征的信息。当第四ROI 395显示黄色96MTP板320时，关于第二光学特征的信息指定显示在第四ROI 395中的实验器材项目的颜色在第六指定概率下是黄色。

在步骤455，通过使用关于第一光学特征321、323和第二光学特征的第一信息识别实验器材项目。更具体来说，DPS 100执行第二实验器材识别算法，所述第二实验器材识别算法处理输入数据并且生成第二实验器材识别数据。例如，在这种情况下，第二实验器材识别算法的输入数据包括编码在关于第一光学特征341的第一信息和关于第二光学特征的信息中的信息。

特别地，第二实验器材识别算法是决策树。在这个实施例中，第二实验器材识别数据可以指定位于工作台370的第二区域372中的实验器材项目是布置在55mm高度适配器331至335上的黄色96MTP板320并且96MTP板320的加样孔包含第二化合物。

如果在步骤430，第一识别算法生成指定第一光学特征是L形孔图案的第一识别数据，则将已执行步骤440而非步骤445、450和455。在这种情况下，实验器材项目将已被识别为具有过滤器的1000μl吸头盒，所述吸头盒是包括L形孔图案的唯一实验器材项目。

在任何未明确描述的情况下，关于附图描述的各个实施例或其各个方面和特征可以彼此组合或交换而不限制或加宽所描述发明的范围，只要这样的组合或交换是有意义的并且在本发明的意义上。关于本发明的特定实施例或关于特定图所描述的优点在任何适用的情况下也是本发明的其他实施例的优点。

Claims (15)

1.一种用于识别实验器材项目(310，320，330，340，350)的计算机实施的方法，所述实验器材项目(310，320，330，340，350)包括第一光学特征和第二光学特征，其中，所述方法包括如下步骤：

用至少第一光学记录设备获取(210)所述实验器材项目(310，320，330，340，350)的第一图像(300a)，所述第一图像(300a)显示所述第一光学特征的至少一部分；

用至少第二光学记录设备获取(220)所述实验器材项目(310，320，330，340，350)的第二图像(300b)，所述第二图像(300b)显示所述第二光学特征的至少一部分；以及

通过使用至少第一识别算法识别(230)所述第一图像(300a)中的所述第一光学特征，从而获得第一识别数据，所述第一识别数据编码关于所述第一光学特征的第一信息和指示是否需要至少进一步识别的信息，

其中，如果根据编码在所述第一识别数据中的所述信息不需要所述至少进一步识别，则所述方法进一步包括如下步骤：

通过使用至少关于所述第一光学特征的所述第一信息识别(250)所述实验器材项目(310，320，330，340，350),

并且其中，如果根据编码在所述第一识别数据中的所述信息需要所述至少进一步识别，则所述方法进一步包括如下步骤：

通过使用至少第二识别算法识别(260)所述第二图像(300b)中的所述第二光学特征，从而获得第二识别数据，所述第二识别数据编码关于所述第二光学特征的信息；以及

通过使用至少关于所述第二光学特征的所述信息识别(270)所述实验器材项目(310，320，330，340，350)。

2.根据权利要求1所述的方法，

其中，所述方法包括如下步骤：

通过使用关于所述实验器材相对于工作台的位置的第一位置信息来确定所述第一图像(300a)中的第一感兴趣区域，

并且通过使用所述第一识别算法识别所述第一图像(300a)中的所述第一光学特征的所述步骤是通过使用所述第一感兴趣区域来执行的，

和/或其中，所述方法包括如下步骤：

通过使用关于所述实验器材相对于所述工作台的位置的第二位置信息来确定所述第二图像(300b)中的第二感兴趣区域，

并且通过使用所述第二识别算法识别所述第二图像(300b)中的所述第二光学特征的所述步骤是通过使用所述第二感兴趣区域来执行的。

3.根据权利要求1或2所述的方法，进一步包括如下步骤：

通过使用至少位置确定算法来获取关于所述实验器材项目(310，320，330，340，350)相对于所述工作台的位置的第三位置信息，

其中，

所述第一识别算法处理第一输入数据，所述第一输入数据取决于所述第三位置信息，和/或所述方法包括如下步骤：

从第一识别算法池当中选择所述第一识别算法，

其中，选择所述第一识别算法的所述步骤至少取决于所述第三位置信息。

4.根据前述权利要求中任一项所述的方法，其中，所述第一光学记录设备是第一相机，其中，所述第一识别算法至少取决于与所述第一相机相关联的第一组内在校准参数，和/或至少取决于与所述第一相机相关联的第一组外在校准参数。

5.根据前述权利要求中任一项所述的方法，其中，所述第二光学记录设备是第二相机，其中，所述第二识别算法至少取决于与所述第二相机相关联的第二组内在校准参数，和/或至少取决于与所述第二相机相关联的第二组外在校准参数。

6.根据前述权利要求中任一项所述的方法，其中，如果根据编码在所述第一识别数据中的所述信息需要至少进一步识别，则所述方法进一步包括如下步骤：

从第二识别算法池当中选择所述第二识别算法，

其中，选择所述第二识别算法的所述步骤至少取决于编码在所述第一识别数据中的所述信息。

7.根据前述权利要求中任一项所述的方法，其中，所述第二算法处理第二输入数据，所述第二输入数据编码关于所述第一光学特征的所述第一信息。

8.根据前述权利要求中任一项所述的方法，其中，所述第二识别数据编码指示是否需要至少进一步识别的信息，

其中，如果根据编码在所述第二识别数据中的所述信息需要至少进一步识别，则所述方法进一步包括如下步骤：

通过使用至少第三识别算法识别所述第一图像(300a)中的所述第一光学特征，从而获得第三识别数据，所述第三识别数据编码关于所述第一光学特征的第二信息，

并且其中，如果根据编码在所述第二识别数据中的所述信息需要至少进一步识别，则通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目(310，320，330，340，350)的所述步骤是通过使用关于所述第一光学特征的所述第二信息来执行的。

9.根据权利要求8所述的方法，其中，所述第三算法处理第三输入数据，所述第三输入数据编码关于所述第一光学特征的所述第一信息和/或关于所述第二光学特征的所述信息。

10.根据前述权利要求中任一项所述的方法，

其中，所述第一光学特征和/或所述第二光学特征包括标记、表意文字、象形图、一组字母数字字符、纹理图案、孔图案和/或颜色；和/或

其中，所述实验器材项目(310，320，330，340，350)包括板、吸头、试管、贮液器、吸头盒、高度适配器、贮液器架和/或试管架。

11.根据前述权利要求中任一项所述的方法，其中，如果根据编码在所述第一识别数据中的所述信息需要至少进一步识别，则通过使用至少关于所述第二光学特征的所述信息识别所述实验器材项目(310，320，330，340，350)的所述步骤是通过使用关于所述第一光学特征的所述第一信息来执行的。

12.一种数据处理系统(100)，包括第一光学记录设备、第二光学记录设备、以及被配置为执行根据权利要求1至11中任一项所述的方法的处理装置。

13.一种自动化实验室系统，包括第一光学记录设备(150)、第二光学记录设备(160)、被配置为执行根据权利要求1至11中任一项所述的方法的处理装置、以及用于定位实验器材项目(310，320，330，340，350)的工作台。

14.一种计算机程序产品，所述计算机程序产品包括指令，所述指令当由根据权利要求12或13所述的系统执行程序时使所述系统执行根据权利要求1至11中任一项所述的方法。

15.一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令当由根据权利要求12或13所述的系统执行时使所述系统执行根据权利要求1至11中任一项所述的方法。

Images