CN114298963A - 用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的方法 - Google Patents

Abstract

本发明公开了一种用于确定经配置用于传输样品管(118)的传输接口(116)的至少一个空腔(114)的至少一种状态的方法。所述方法包括：i)(166)通过使用至少一个相机(136)捕获所述传输接口(116)的至少一部分的至少一个图像；ii)(168)通过使用至少一个处理单元(140)对所述图像应用至少一个经训练的模型来将所述空腔(114)的状态分类为至少一个类别，其中基于所述传输接口(116)的图像数据对所述经训练的模型进行训练，其中所述图像数据包括空腔(114)处于不同状态时所述传输接口(116)的多个图像；iii)(170)经由至少一个通信接口(164)提供至少一个空腔(114)的经确定的类别。

Description

用于确定经配置用于传输样品管的传输接口的至少一个空腔 的至少一种状态的方法

技术领域

本发明涉及一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的方法。本发明进一步涉及一种用于传输接口的检查装置。该方法和装置具体地可用于医学或化学实验室领域。然而，本申请的其他应用领域也是可能的。

背景技术

在医学或化学实验室领域，样品传输系统用于在实验室自动化系统的实验室站之间（例如，在仪器之间）分配样品管。管可包含多种样品（诸如血液、血清或血浆、尿液或化学物质），并且管也可以是具有不同形状、直径、颜色、高度等的几种类型。实验室自动化系统可包括提供传输系统和相应实验室站之间的接口的传输接口。传输接口可包括多个空腔，该多个空腔用于接收样品管以将它们递送到相应的实验室站。为了实现全自动化，可能需要确定空腔的状态，诸如是否存在管或空腔是否为空的空腔。

US 10,140,705 B2 描述了用于在实验室环境中检测样品管的特性的方法和系统，样品管包括可被训练和校准的抽屉视觉系统。分析由至少一个相机捕获的管托盘的图像以提取图像块，这些图像块允许处理器自动确定管槽是否被占用、管是否具有盖以及管是否具有管顶杯。可使用随机森林技术和多个训练图像块来训练处理器。可使用可插入抽屉中的三维校准目标来校准相机。

WO 2019084468 A1 描述了用于识别承载在支架中的多种样品容器的系统和方法。执行这些系统和方法以识别支架中的样品容器并检测与容器和/或支架相关联的各种特性，评估这些特性以确定支架中容器的有效性和/或类型。

US 2018/0164335 A1 描述了在体外诊断设置中使用的系统和方法，该体外诊断设置包括：自动化轨道；多个载体，该多个载体被配置成沿着自动化轨道承载多个样品器皿；以及表征站，该表征站包括多个光学装置。与表征站通信的处理器可被配置成分析图像以自动表征与每个载体和/或样品器皿相关的物理属性。

WO 2019/018313 A1 描述了一种用于表征试样和/或试样容器（包括杂散光补偿）的质量检查模块。该质量检查模块包括：质量检查模块内的成像位置，该成像位置被配置成接收包含试样的试样容器；一个或多个图像捕获装置，该一个或多个图像捕获装置被配置成从一个或多个视点捕获成像位置的图像；以及一个或多个光源，该一个或多个光源被配置成为一个或多个图像捕获装置提供背光照明；以及一个或多个杂散光块，该一个或多个杂散光块位于接收来自一个或多个光源的杂散光的区域中，从而能够补偿影响图像的杂散光，并提供杂散光补偿图像。

WO 2018/022280 A1 描述了一种确定试样容器盖的特性以识别容器盖的基于模型的方法。该方法包括：提供包括容器瓶盖的试样容器；捕获以不同的曝光长度和使用多个不同的标称波长拍摄的容器瓶盖的背光图像；从每个标称波长的不同曝光长度的图像中选择最佳曝光的像素，以生成每个标称波长的最佳曝光的图像数据；将最佳曝光像素至少分类为管、标签或瓶盖中的一个；以及基于分类为瓶盖的最佳曝光像素和每个标称波长的图像数据来识别容器瓶盖的形状。

JP 2019027927 A 描述了一种用于确定容器中作为分析目标的样品的状态的装置。该装置采集样品的图像，使用样品的图像在该图像中设置的检测范围内分析检测目标的位置和大小，并基于分析结果确定样品的状态。

DE 10 2014 224 519 A1 描述了一种用于对具有传输转盘的容器加标签的加标签装置，在该传输转盘上布置有多个容器接收器以实现容器对齐。加标签容器具有针对容器上的第一对齐特征的第一检测单元，并且具有布置在传输转盘上的至少一个第一标签单元，用于基于根据第一对齐特征的容器对齐来施加标签。加标签装置包括针对容器封闭件上的第二对齐特征的第二检测单元。用于基于根据第二对齐特征的容器对齐来施加标签的至少一个第二标签单元布置在传输转盘上。

尽管已知的方法和装置具有优点，但仍存在若干技术挑战。在不同的和/或变化的光照和/或照明条件下以及在视点与空腔之间的距离变化的情况下，将空腔状态分类和检测到不同类别可能是存在问题的。考虑到这些因素的校准可能会耗费时间，因此会耗费成本。

待解决的问题

因此，期望提供至少部分地解决类似种类的已知方法和装置的上述技术挑战的方法和装置。具体地，应提出允许以简单且经济有效的方式将空腔状态分类和检测为不同类别的方法和装置，即使在不同的和/或变化的光照和/或照明条件下和/或在视点与空腔之间的距离变化的情况下也是如此。

发明内容

这个问题由具有独立权利要求的特征的一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的方法和检查装置来解决。在从属权利要求中以及整个说明书中，列出了可以以单独方式或以任意组合实现的有利实施例。

如下文所使用的，术语“具有”、“包括”或“包含”或其任意语法变化形式以非排他性方式使用。因此，这些术语既可指除了由这些术语引入的特征之外，在此上下文中描述的实体中不存在其他特征的情况，也可指存在一个或多个其他特征的情况。作为示例，表述“A具有 B”、“A 包括 B”和“A 包含 B”既可指以下情况：除 B 之外，A 中不存在其他任何元素（即，A 由 B 单独且唯一地组成的情况），并且又可指以下情况：除 B 之外，实体 A 中还存在一个或多个其他元素，诸如元素 C、元素 C 和 D 或甚至其他元素。

此外，应注意，指示特征或元素可存在一次或多于一次的术语“至少一个/种”、“一个/种或多个/种”或类似表述通常在引入相应特征或元素时仅使用一次。在下文中，在大多数情况下，当提及相应的特征或元素时，尽管相应的特征或元素可能只存在一次或多于一次，但不会重复使用表述“至少一个/种”或“一个/种或多个/种”。

此外，如下所用，术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语与任选特征结合使用，而不限制替代可能性。因此，由这些术语引入的特征是任选特征，并且无意以任何方式限制权利要求的范围。如技术人员将认识到的，本发明可通过使用替代特征来执行。类似地，由“在本发明的实施例中”引入的特征或类似表述意图成为任选特征，而对本发明的替代实施例没有任何限制，对本发明的范围没有任何限制，并且对将以这种方式引入的特征与本发明的其他任选或非任选特征相结合的可能性也没有任何限制。

在本发明的第一方面，公开了一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的方法。

如本文所用，术语“样品”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可以指但不限于诸如化学或生物化合物的物质的等分试样。具体地，样品可以是或可包括至少一种生物标本，诸如以下项中的一项或多项：血液；血清；血浆；尿液；唾液。另外地或另选地，样品可以是或可包括化学物质或化合物和/或试剂。

如本文所用，术语“样品管”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于经配置用于执行以下一项或多项的容器：容纳样品、储存样品和/或传输样品。样品管可以是玻璃管，也可以是透明塑料管。样品管可以是圆柱形管，例如，具有圆形和/或多边形横截面的圆柱形管。其他类型或形式的样品管也是可能的。样品管可包括管底、管体和盖，盖包括盖的密封。管底可被配置成将样品管限制在样品管的下端。管体可经配置用于形成样品管的形状。盖可经配置用于通过使用特定密封类型的机制在样品管的上端可逆地封闭样品管。例如，样品管的盖密封可包括螺旋式密封、橡胶式密封、血凝式密封或推进式密封中的一种或多种。样品管的上端、下端可根据样品管的使用方式来定义。

传输接口可以是实验室自动化系统(LAS)的一部分，特别是对于大型实验室。如本文所用，术语“实验室自动化系统”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于指经配置用于自动处理样品管的系统。具体地，LAS可经配置用于自主地和/或完全或部分自动地处理样品管及其封闭的样品。使用LAS的实验室可以是例如临床实验室、法医实验室或血库。作为示例，LAS可包括至少一个传输模块（诸如致动器），该至少一个传输模经配置用于处理至少一个样品管，诸如经配置用于例如顺序或并行地处理多个样品管。例如，传输模块可经配置用于自动移动至少一个样品管诸如穿过系统内的多个处理站。作为示例，传输模块可以是或可包括机械臂、传送系统或转盘中的一个或多个。其他传输模块是已知的并且可被使用。LAS可进一步包括一个或多个处理站，该一个或多个处理站用于处理和/或加工包含在至少一个样品管中的一个或多个样品。例如，可提供一个或多个用于向样品添加组分的站、一个或多个用于加热样品的站或一个或多个用于诸如通过离心法进行样品分离的站。LAS可包括至少一个分析系统，该至少一个分析系统用于进行样品分析。LAS可包括至少一个预分析系统，该至少一个预分析系统具体地用于制备一个或多个样品以用于后续样品分析。

如本文所用，术语“传输接口”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于形成物理边界的装置，该物理边界经配置用于在传输模块和连接的装置（特别是处理站）之间转移至少一个样品管或提供至少一个样品管的转移。

传输接口可包括多个空腔，每个空腔经配置用于接收和/或固持至少一个样品管。如本文所用，术语“空腔”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于经配置用于接收和/或固持至少一个样品管的接收区和/或固持区。空腔可包括至少一个固持器。例如，固持器可以是经配置用于接收和固持恰好一个样品管的单个固持器。固持器可经配置用于与样品管直接接触以接收和固持样品管。例如，固持器可在一侧，特别是在顶面或正面开口，以便能够插入样品管。

传输接口可包括至少一个转盘，其中空腔分布在，特别是均匀分布在转盘的圆周上。转盘可以是可旋转的。传输接口可在至少一个输入位置，特别是最少一个输入位置处面向传输模块。在输入位置，固持器和/或固持器和样品管可装载到，特别是自动地相应的空腔上。传输接口可在至少一个另外的位置，特别是至少一个另外的位置（表示为输出位置）处面向传输模块和/或另外的传输模块。在输出位置，固持器和/或固持器和样品管可从传输接口转移到传输模块和/或另外的传输模块。传输接口可包括至少一个转子，该至少转子经配置用于移动空腔，特别是用于旋转空腔。传输接口可包括至少一个移交位置，其中在移交位置，样品管可从传输接口转移到连接的装置和/或从连接的装置转移到传输接口。

如本文所用，术语“至少一个空腔的状态”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于将空腔表征为诸如以下各项的类别的任意信息：空的空腔；空腔中存在固持器；空腔中有封闭样品管；空腔中有开口固持器。空的空腔可以是无样品管和固持器的空腔。类别存在固持器可进一步分为带样品管或不带样品管的固持器。类别有封闭样品管可指在空腔中有固持器和样品管的情况，其中样品管被样品管的盖封闭。类别有开口样品管可指在空腔中有固持器和样品管的情况，其中样品管未被样品管的盖封闭。

该方法包括以下步骤，这些步骤可具体地以给定顺序执行。然而，应当注意，不同的顺序也是可能的。此外，还可以一次或重复执行一个或多个方法步骤。此外，可以同时或以适时重合的方式执行两个或更多个方法步骤。该方法可包括未列出的其他方法步骤。

所述方法包括：

i)通过使用至少一个相机捕获传输接口的至少一部分的至少一个图像；

ii) 通过使用至少一个处理单元在图像上应用至少一个经训练的模型来将空腔的状态分类为至少一个类别，其中基于传输接口的图像数据对经训练的模型进行训练，其中该图像数据包括空腔处于不同状态时传输接口的多个图像；

iii)经由至少一个通信接口提供至少一个空腔的经确定的类别。

如本文中所使用的术语“相机”是广义的术语，且将被赋予对于本领域普通技术人员普通和惯常的含义，并且不限于特殊或自定义的含义。该术语具体可以指但不限于具有至少一个成像元件的装置，该至少一个成像元件经配置用于记录或捕获空间分辨的一维、二维或者甚至三维光学数据或信息。相机可以是包括像素矩阵的像素化相机。作为示例，相机可包括经配置用于记录图像的至少一个相机芯片诸如至少一个CCD芯片和/或至少一个CMOS芯片。相机可以是传输接口的元件或单元。

除该至少一个相机芯片或成像芯片之外，相机可包括其他元件，诸如一个或多个光学元件，例如一个或多个镜头。作为示例，相机可包括可自动或手动调整的一个或多个可变镜头，诸如至少一个可变变焦相机镜头。然而，另选地，相机可以是定焦相机，该定焦相机具有相对于相机固定地调整的至少一个镜头。

相机具体地可以是彩色相机。因此，诸如对于每个像素，可提供或生成颜色信息，诸如三种颜色的颜色值。更大数量的颜色值也是可行的，诸如每个像素有四个颜色值。彩色相机是技术人员通常已知的。因此，作为示例，相机芯片可由多个颜色传感器组成，每个芯片包含三个或更多个颜色传感器，诸如颜色记录像素，如一个像素用于红色(R)、一个像素用于绿色(G)以及一个像素用于蓝色(B)。对于每个像素，诸如对于R、G、B，可由像素来记录值，诸如0至255范围内的数字值，其取决于相应颜色的强度。作为示例，可使用四色组代替使用三色组诸如R、G、B。像素的颜色灵敏度可由滤色器或由相机像素中使用的传感器元件的适当固有灵敏度生成。这些技术是技术人员通常已知的。

如本文所用，术语“图像”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于通过使用相机记录的数据，诸如来自相机的多个电子读数，诸如相机芯片的像素。因此，图像可以是或可包括信息值的至少一个数组，诸如灰度值和/或颜色信息值的数组。图像可以是单色图像，也可以是多色或彩色图像。

如本文所用，术语“捕获至少一个图像”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于成像、图像记录、图像采集、图像捕获中的一种或多种。捕获至少一个图像可包括捕获单个图像和/或多个图像诸如一系列图像。例如，图像的捕获可包括连续记录图像序列，诸如视频或电影流。步骤i)中的图像可以是使用相机捕获的至少一个视频流的帧。

如本文所用，术语“捕获传输接口的至少一部分的至少一个图像”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于捕获包括目标区的至少一个图像。具体地，图像的捕获可指其中捕获整个传输接口的至少一个图像的实施例以及其中捕获目标区（诸如传输接口的空腔的区域或区）的至少一个图像的实施例。

传输接口的至少一部分的至少一个图像可从顶视图捕获。顶视图的特征可在于相机在与放置传输接口的平面基本上平行的平面中的位置。术语“基本上平行”可指相机平行于放置传输接口的平面的实施例，其中与平行布置的偏差小于20%，优选10%，更优选5%是可能的。

图像的捕获可与传输接口的移动同步。另外地或另选地，图像的捕获可自动发起（诸如以循环间隔进行成像）或在自动检测到相机的视野内和/或视野的预定扇区内存在至少一个对象时自动发起。作为示例，图像的捕获可包括使用相机采集图像流，其中一个或多个图像自动地采集或通过用户交互来采集。图像的捕获可由处理器（诸如传输接口的处理器）执行和/或支持。所捕获的图像可存储在至少一个数据存储装置（诸如传输接口的至少一个数据存储装置）中。

如本文所用，术语“处理单元”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于以下项：任意逻辑电路，其经配置用于执行计算机或系统的基本操作；和/或一般来讲装置，其经配置用于执行计算或逻辑操作。特别地，处理单元可经配置用于处理驱动计算机或系统的基本指令。作为示例，处理单元可包括至少一个算术逻辑单元(ALU)、至少一个浮点单元(FPU)（诸如数学协处理器或数值协处理器）、多个寄存器（具体地是经配置用于向ALU提供操作数并存储操作结果的寄存器）以及存储器（诸如L1和L2高速缓冲存储器）。特别地，处理单元可以是多核处理器。具体地，处理单元可以是或可包括中央处理单元(CPU)。另外地或另选地，处理单元可以是或可包括微处理器，因此，具体地，处理器的元件可包含在一个单一集成电路(IC)芯片中。另外地或另选地，处理单元可以是或可包括一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)等。处理单元可以是传输接口的处理单元。

该方法（特别是步骤i)）可包括预处理步骤，该预处理步骤包括以下一项或多项：对图像进行缩放；对图像进行成形；背景减法；至少一个平滑步骤，该至少一个平滑步骤包括应用至少一个滤波器，诸如高斯滤波器、Savitzky-Golay平滑、中值滤波器和/或双边滤波。预处理可由处理单元执行。例如，该方法可包括通过使用处理单元确定所捕获图像的目标区。确定目标区的过程可通过使用至少一个计算机视觉过程来实现。此类技术是技术人员通常已知的。由于带有或不带有固持器和管的空腔的形状或多或少为圆形，因此可使用基本计算机视觉方法（例如，霍夫圆变换）找到空腔位置，以确定整个目标区。另外地或另选地，可使用其他预处理步骤或过程。

如本文所用，术语“经训练的模型”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于使用机器学习、深度学习、神经网络或其他形式的人工智能中的一种或多种在至少一个训练数据集上训练的数学模型。如本文所用，术语“训练”是广义的术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可指但不限于构建经训练的模型，特别是确定模型的参数，特别是权重的过程。

经训练的模型可以是卷积神经网络(CNN)模型。CNN模型可基于针对对象分类、检测和定位配置的CNN架构。最先进的CNN架构就像构建块一样，可在自定义数据（在这种情况下，具有不同状态的传输接口空腔图像）上重用和训练，使得基于CNN的模型可基于给定的输入图像获得自定义权重。具体地，卷积神经网络模型基于YOLOV3-tiny深度学习架构。关于YOLOV3-tiny深度学习架构，参考Joseph Redmon和Ali Farhadi，“YOLOv3：渐进式改进”，2018 arXiv:1804.02767，其内容通过引用包含在此。YOLOV3-tiny深度学习架构可比基于区的卷积神经网络(R-CNN)快1000倍，并且比具有相似或更好预测精度的Fast R-CNN快100倍。分类的快速推理时间可能是选择CNN架构的重要考虑因素。

该方法可包括对模型进行预训练和对模型进行再训练。可使用迁移学习技术在传输接口的图像数据上训练预先经训练的模型。图像数据包括空腔处于不同状态时传输接口的多个图像。多个图像可包括空腔处于不同状态时传输接口的图像，这些状态具有不同的照明条件和/或视点与空腔之间的距离。具体地，该方法可包括至少一个训练步骤，特别是在步骤 i) 之前。训练步骤可包括生成至少一个训练数据集。训练数据集可以是带标签的样品数据的集合。可通过捕获传输接口的至少一部分的多个图像的集合来生成训练数据集，其中对于多个图像，空腔处于不同状态，例如：空的空腔；空腔中存在或不存在固持器；空腔中有封闭样品管；或空腔中有开口样品管等。此外，对于多个图像的集合，可改变光照和照明条件。此外，对于多个图像的集合，可改变相机和空腔之间的距离。可对所捕获的多个图像的集合进行手动注释，并且可使用类别中的一个对目标区（诸如边界框）加标签。

模型的训练可包括使用迁移学习技术。具体地，模型（特别是YOLOv3-tiny模型）可使用卷积权重，这些卷积权重在图像数据上（诸如在如例如在以下各项中所描述的Imagenet数据集上）预训练：J. Deng、W. Dong、R. Socher、L. Li、Kai Li和Li Fei-Fei的“ImageNet：大规模分层图像数据库”，2009 IEEE 计算机视觉和模式识别会议，佛罗里达州迈阿密，2009 年，第 248-255 页；doi：10.1109/CVPR.2009.5206848。使用迁移学习技术的好处可解释如下：知道如何驾驶汽车的人可快速有效地学习如何驾驶卡车。类似地，已被训练来检测通用对象（诸如人类、汽车、自行车等）的模型可快速学习如何确定空腔的状态，因为CNN模型中的较低卷积层已知道如何识别微小特征如线条、边缘、点等。

为了训练模型以便能够确定空腔的状态，可将训练数据集分成训练集和测试集，例如，分成4:1的比例。可进一步调整标准YOLOV3-tiny模型的设置并且可调谐超参数以能够对空腔状态进行分类并且允许对经训练的模型进行额外的训练，特别是再训练。模型的参数，特别是YOLOV3-tiny模型的卷积权重，可在训练集上训练并由测试集测试。在训练集上训练并由测试集测试的模型在本文可表示为候选模型。

该方法可进一步包括生成最终经训练的模型。具体地，该方法可包括基于未见的输入数据，诸如基于至少一个例如历史的、自定义准备的数据集再训练候选模型。这可允许甚至进一步调整用于经训练的模型的参数（特别是权重）和/或考虑自定义条件。可通过训练来生成最终经训练的模型（具有调整的权重），直到CNN模型，具体地是YOLOV3-tiny模型的平均损失函数值远小于1。

经训练的模型经配置用于将空腔的状态分类为至少一个类别。步骤 ii) 中的分类可包括确定空腔的状态的类别。类别的确定可表示为预测类别。类别选自由以下项组成的组：空的空腔；空腔中存在固持器；空腔中有封闭样品管；空腔中有开口样品管。经训练的模型可经配置用于定位样品管和/或固持器和/或用于识别转盘中的样品管。因此，经训练的模型可经配置用于表征传输接口本身，特别是转盘的所有空腔。

经训练的模型可经配置用于将不同的图像区分类为不同的类别。例如，在图像包括多于一个空腔的情况下，经训练的模型经配置用于确定图像的每个空腔的状态。因此，经训练的模型可经配置用于一次表征多个载体。

该方法可包括在接口处使用新型样品管并且必须确定空腔状态的情况下对较早训练的模型进行再训练。可能仅需要使用新样品管图像进行单次再训练。

如本文所用，术语“通信接口”是一个广义术语且被赋予对本领域普通技术人员而言普通且惯常的含义，并且不限于特殊或自定义的含义。该术语具体地可以指但不限于形成边界的物项或元件，该边界配置成用于传输信息。特别地，通信接口可配置成用于传输来自计算装置（例如计算机）的信息，诸如将信息发送或输出到例如另一装置上。附加地或另选地，通信接口可配置成用于将信息传输到计算装置上（例如传输到计算机上），诸如，以便接收信息。通信接口可具体地提供用于传输或交换信息的途径。特别地，通信接口可提供数据传输连接，例如蓝牙、NFC、电感耦合等。作为示例，通信接口可以是或可包括至少一个端口，该端口包括网络或Internet端口、USB端口和磁盘驱动器中的一者或多者。通信接口可进一步包括至少一个显示装置。

该方法可包括基于经确定和/或经提供的类别，特别是通过使用处理单元，确定传输接口必须旋转多少次以获得清空和/或是否可以使用连接的装置开始操作，特别是立即开始操作。该方法可包括捕获转盘的至少一个图像。在步骤ii) 中，可对每个空腔的状态进行分类。在步骤iii) 中，提供至少一个空腔的状态。例如，转盘可包括五个空腔。该方法可返回空腔中有两个包括样品管而另外三个为空。此外，关于转盘中各个空腔的位置或相对位置的信息可由经训练的模型提供。因此，可以根据空腔的状态及其位置来确定传输接口可能需要旋转多少次以获得清空和/或是否可以立即开始管向和从连接的装置的转移，而无需任何清空。

在本发明的另一个方面，公开了一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的计算机程序，该计算机程序经配置用于在计算机或计算机网络上执行时，使计算机或计算机网络完全或部分地执行根据本发明的方法。该计算机程序经配置成执行用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的方法的步骤ii) 至iii)中的至少一个。该计算机程序可进一步包括用于在步骤i)中例如从顶视图捕获至少一个图像的指令。

具体地，计算机程序可存储在计算机可读数据载体上和/或计算机可读存储介质上。如本文所用，术语“计算机可读数据载体”和“计算机可读存储介质”具体地可以指非暂时性数据存储装置，诸如具有存储在其上的计算机可执行指令的硬件存储介质。计算机可读数据载体或存储介质具体地可以是或可包括诸如随机存取存储器(RAM)和/或只读存储器(ROM)之类的存储介质。

本文进一步公开并提出了一种具有程序代码工具的计算机程序产品，以便在计算机或计算机网络上执行该程序时，在本文所附的一个或多个实施例中执行根据本发明的方法。具体地，程序代码工具可存储在计算机可读数据载体上和/或计算机可读存储介质上。

本文进一步公开并提出了一种具有存储在其上的数据结构的数据载体，在加载到计算机或计算机网络中之后，诸如在加载到计算机或计算机网络的工作存储器或主存储器中之后，该数据载体可在本文所公开的一个或多个实施例中执行根据本发明的方法。

本文进一步公开并提出了一种具有存储在机器可读载体上的程序代码工具的计算机程序产品，以便在计算机或计算机网络上执行程序时，在本文所公开的一个或多个实施例中执行根据本发明的方法。如本文所用，计算机程序产品是指作为可交易产品的程序。该产品通常能够以任意格式（诸如以纸质格式）存在，或在计算机可读数据载体上存在。具体地讲，计算机程序产品可以分布在数据网络上。

在本发明的另一个方面，公开了一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的检查装置。该检查装置包括

-至少一个相机，该至少一个相机经配置用于捕获传输接口的至少一部分的至少一个图像；

-至少一个处理单元，该至少一个处理单元经配置用于通过在图像上应用至少一个经训练的模型来将空腔的状态分类为至少一个类别，其中基于传输接口的图像数据对经训练的模型进行训练，其中该图像数据包括空腔处于不同状态时传输接口的多个图像；

-至少一个通信接口，该至少一个通信接口经配置用于提供至少一个空腔的经确定的类别。

该检查装置可经配置用于执行根据本发明的方法，诸如根据以上公开的实施例中的任一个和/或根据以下进一步详细公开的实施例中的任一个的方法。

根据本发明所述的方法和装置与本领域中已知的类似方法和装置相比可提供大量的优点。特别地，当传输接口启动时，传输接口可使用其相机单元拍摄图像诸如快照，并确定空腔状态。然后，可决定它需要旋转多少次以获得清空，或者是否可以使用连接的装置立即开始操作。此外，根据本发明的解决方案使用最先进的对象分类、检测和定位的CNN架构。CNN架构可随时间更新和/或替换。基于CNN的模型可减轻手动几何特征提取以进行对象分类的负担。根据本发明的解决方案可使用现成的相机进行图像采集，并且可消除使用特殊昂贵相机的需要，因为图像处理可在具有强大处理单元的连接的计算机上完成，而不是在特殊相机的微控制器中完成。此外，本发明可允许轻松包括任何新样品管，因为该方法仅需要对新样品图像进行单次再训练。此外，可使用同一经训练的模型来检测多个装置中的空腔状态，因为在类似设置中更容易将此解决方案扩展到其他类别。

总结并在不排除进一步可能实施例的情况下，可设想下列实施例：

实施例1. 一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的方法，该方法包括：

i)通过使用至少一个相机捕获传输接口的至少一部分的至少一个图像；

ii)通过使用至少一个处理单元在图像上应用至少一个经训练的模型来将空腔的状态分类为至少一个类别，其中基于传输接口的图像数据对经训练的模型进行训练，其中该图像数据包括空腔处于不同状态时传输接口的多个图像；

iii)经由至少一个通信接口提供所确定的至少一个空腔的结果类别。

实施例2. 根据前一项实施例所述的方法，其中该经训练的模型为卷积神经网络模型。

实施例3. 根据前一项实施例所述的方法，其中该卷积神经网络模型基于YOLOV3-tiny深度学习架构。

实施例4. 根据前述实施例中任一项所述的方法，其中该经训练的模型经配置用于将不同的图像区分类为不同的类别。

实施例5. 根据前述实施例中任一项所述的方法，其中步骤 i) 中的图像是通过使用相机捕获的至少一个视频流的帧。

实施例6. 根据前述实施例中任一项所述的方法，其中该方法包括预处理步骤，该预处理步骤包括以下一项或多项：对图像进行缩放；对图像进行成形；背景减法；至少一个平滑步骤，该至少一个平滑步骤包括应用至少一个滤波器，诸如高斯滤波器、Savitzky-Golay 平滑、中值滤波器和/或双边滤波。

实施例7. 根据前述实施例中任一项所述的方法，其中该类别选自由以下项组成的组：空的空腔；空腔中存在固持器；空腔中有封闭样品管；空腔中有开口样品管。

实施例8. 根据前述实施例中任一项所述的方法，其中该方法包括至少一个训练步骤，其中该训练步骤包括生成至少一个训练数据集，其中该训练数据集是通过捕获传输接口的至少一部分的多个图像的集合而生成的，其中对于多个图像，空腔处于不同状态。

实施例9. 根据前一项实施例所述的方法，其中该训练步骤包括使用迁移学习技术。

实施例10. 根据前两项实施例中任一项所述的方法，其中该训练步骤包括基于至少一个自定义准备的数据集对经训练的模型进行再训练。

实施例11. 根据前述实施例中任一项所述的方法，其中该方法包括基于经确定和/或经提供的类别确定传输接口必须旋转多少次以获得清空和/或是否可以使用连接的装置开始操作，特别是立即开始操作。

实施例12. 一种用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的计算机程序，其中该计算机程序包括指令，当程序由至少一个处理器执行时，使处理器执行根据前述实施例中任一项所述的方法，特别是执行步骤 ii) 至 iii)。

实施例13. 一种计算机可读存储介质，该计算机可读存储介质包括指令，该指令在由至少一个处理器执行时，使处理器执行根据涉及方法的前述实施例中任一项所述的方法。

实施例14. 用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态的检查装置，其中该检查装置包括

-至少一个相机，该至少一个相机经配置用于捕获传输接口的至少一部分的至少一个图像；

-至少一个处理单元，该至少一个处理单元经配置用于通过在图像上应用至少一个经训练的模型来将空腔的状态分类为至少一个类别，其中基于传输接口的图像数据对经训练的模型进行训练，其中该图像数据包括空腔处于不同状态时传输接口的多个图像；

-至少一个通信接口，该至少一个通信接口经配置用于提供至少一个空腔的经确定的类别。

实施例 15. 根据前一项实施例所述的检查装置，其中该检查装置经配置用于执行根据涉及方法的前述实施例中任一项所述的方法。

附图说明

优选地结合从属权利要求，在随后的实施例描述中将更详细地公开进一步的可选特征和实施例。其中，如本领域技术人员将认识到的，各个任选特征可以以单独的方式以及以任何任意可行的组合来实现。本发明的范围不受优选实施例的限制。在附图中示意性地描绘了实施例。其中，这些图中相同的附图标记指相同或功能上可比较的元件。

附图中：

图1示出了根据本发明的包括检查装置的实验室自动化系统的细节，该检查装置用于确定经配置用于传输样品管的传输接口的至少一个空腔的至少一种状态；

图2示出了根据本发明的方法的流程图；

图3示出了根据本发明的训练步骤；并且

图4A至图4B示出了实验结果。

具体实施方式

图1以高度示意性方式示出了根据本发明的包括检查装置112的实验室自动化系统 (LAS)110的细节，该检查装置用于确定经配置用于传输样品管118的传输接口116的至少一个空腔114的至少一种状态。

样品管118可经配置用于进行以下一项或多项：容纳样品、储存样品或传输样品。样品管118可以是玻璃管，也可以是透明塑料管。样品管118可以是圆柱形管，例如，具有圆形和/或多边形横截面的圆柱形管。其他类型或形式的样品管也是可能的。样品管118可包括管底、管体和盖，盖包括盖的密封。管底可被配置成将样品管118限制在样品管的下端。管体可经配置用于形成样品管118的形状。盖可经配置用于通过使用特定密封类型的机制在样品管的上端可逆地封闭样品管。例如，样品管的盖密封可包括螺旋式密封、橡胶式密封、血凝式密封或推进式密封中的一种或多种。样品管118的上端和下端可根据样品管118的使用方式来定义。

样品可以是诸如化学或生物化合物的物质的等分试样。具体地，样品可以是或可包括至少一种生物标本，诸如以下项中的一项或多项：血液；血清；血浆；尿液；唾液。另外地或另选地，样品可以是或可包括化学物质或化合物和/或试剂。

实验室自动化系统110可以是经配置用于自动处理样品管118的系统。具体地，LAS110可经配置用于自主地和/或完全或部分自动地处理样品管118及其封闭的样品。使用LAS 110 的实验室可以是例如临床实验室、法医实验室或血库。作为示例，LAS 110 可包括至少一个传输模块120（诸如致动器），该至少一个传输模经配置用于处理至少一个样品管118，诸如经配置用于例如顺序或并行地处理多个样品管118。作为示例，传输模块120可经配置用于自动移动至少一个样品管118诸如穿过系统内的多个处理站。作为示例，传输模块120可以是或可包括机械臂、传送系统或转盘中的一个或多个。其他传输模块120是已知的并且可被使用。LAS 110可进一步包括一个或多个处理站，该一个或多个处理站用于处理和/或加工在至少一个样品管中的一个或多个样品。例如，可提供一个或多个用于向样品添加组分的站、一个或多个用于加热样品的站或一个或多个用于诸如通过离心法进行样品分离的站。LAS 110可包括至少一个分析系统，该至少一个分析系统用于进行样品分析。LAS110 可包括至少一个预分析系统，该至少一个预分析系统具体地用于制备一个或多个样品以用于后续样品分析。

传输接口116可经配置用于在传输模块120和连接的装置122（特别是处理站）之间转移至少一个样品管118或提供至少一个样品管的转移。

传输接口116可包括多个空腔114，每个空腔经配置用于接收和/或固持至少一个样品管118。空腔114可以是或可包括经配置用于接收和/或固持至少一个样品管118的接收区和/或固持区。空腔114可包括至少一个固持器124。例如，固持器124可以是经配置用于接收和固持恰好一个样品管118的单个固持器。固持器124可经配置用于与样品管118直接接触以接收和固持样品管118。例如，固持器124可在一侧，特别是在顶面或正面开口，以便能够插入样品管118。

传输接口116可包括至少一个转盘126，其中空腔114分布在，特别是均匀分布在转盘126的圆周上。空腔114可通过使用定位元件（诸如定位星）进行定位。转盘126可以是可旋转的，特别是通过使用至少一个转子128进行旋转。传输接口116可在至少一个输入位置130，特别是最少一个输入位置130处面向传输模块 120。在输入位置130处，固持器124和/或固持器124和样品管118可装载到，特别是自动装载到相应的空腔114上。传输接口116可在至少一个另外的位置，特别是最少一个另外的位置（表示为输出位置 132）处面向传输模块120和/或另外的传输模块。在输出位置132处，固持器124和/或固持器124和样品管118可从传输接口116转移到传输模块120和/或另外的传输模块。传输接口116可包括至少一个移交位置 134，其中在移交位置 134 处，样品管118 可从传输接口116转移到连接的装置122和/或从连接的装置122转移到传输接口116。在移交位置 134 处，任选地，样品管118可居中，由附图标记135表示。

至少一个空腔114的状态可以是将空腔114表征为诸如以下各项的类别的任意信息：空的空腔；空腔114中存在固持器124；空腔114中有封闭样品管118；空腔114中有开口固持器124。空的空腔114可以是无样品管118和固持器124的空腔114。类别存在固持器124可进一步分为带样品管118或不带样品管的固持器 124。类别有封闭样品管118可指在空腔114中有固持器124和样品管118的情况，其中样品管118被样品管的盖封闭。类别有开口样品管118可指在空腔114中有固持器124和样品管118的情况，其中样品管118未被样品管的盖封闭。

检查装置112包括至少一个相机 136，该至少一个相机经配置用于捕获传输接口116的至少一部分的至少一个图像。相机136可以是包括像素矩阵的像素化相机。作为示例，相机136可包括经配置用于记录图像的至少一个相机芯片，诸如至少一个 CCD 芯片和/或至少一个 CMOS 芯片。相机136可以是传输接口116的元件或单元。

除至少一个相机芯片或成像芯片之外，相机136可进一步包括另外的元件，诸如一个或多个光学元件，例如一个或多个镜头。作为示例，相机136可包括可自动或手动调整的一个或多个可变镜头，诸如至少一个可变变焦相机镜头。然而，另选地，相机136可以是定焦相机，该定焦相机具有相对于相机136固定地调整的至少一个透镜。

相机136具体地可以是彩色相机。因此，诸如对于每个像素，可提供或生成颜色信息，诸如三种颜色的颜色值。更大数量的颜色值也是可行的，诸如每个像素有四个颜色值。彩色相机是技术人员通常已知的。因此，作为示例，相机芯片可由多个颜色传感器组成，每个芯片包含三个或更多个颜色传感器，诸如颜色记录像素，如一个像素用于红色 (R)、一个像素用于绿色 (G) 以及一个像素用于蓝色 (B)。对于每个像素，诸如对于 R、G、B，可由像素来记录值，诸如 0 至 255 范围内的数字值，其取决于相应颜色的强度。作为示例，可使用四色组代替使用三色组诸如 R、G、B。像素的颜色灵敏度可由滤色器或由相机像素中使用的传感器元件的适当固有灵敏度生成。这些技术是技术人员通常已知的。

捕获至少一个图像可包括成像、图像记录、图像采集、图像捕获中的一种或多种。捕获至少一个图像可包括捕获单个图像和/或多个图像诸如一系列图像。例如，图像的捕获可包括连续记录图像序列，诸如视频或电影流。步骤 i) 中的图像可以是使用相机136捕获的至少一个视频流的帧。

相机136可经配置用于捕获包括目标区的至少一个图像。具体地，图像的捕获可指其中捕获整个传输接口116的至少一个图像的实施例以及其中捕获目标区（诸如传输接口116的空腔114的区域或区）的至少一个图像的实施例。

图像的捕获可与传输接口116的移动同步。另外地或另选地，图像的捕获可自动发起（诸如以循环间隔进行成像）或在自动检测到相机136的视野内和/或视野的预定扇区内存在至少一个对象时自动发起。作为示例，图像的捕获可包括使用相机136采集图像流，其中一个或多个图像自动地采集或通过用户交互来采集。图像的捕获可由处理器（诸如传输接口116的处理器）执行和/或支持。所捕获的图像可存储在至少一个数据存储装置（诸如传输接口116的至少一个数据存储装置）中。

相机136可以是识别单元138的一部分，该识别单元经配置用于进行以下一项或多项：诸如通过读取至少一个条形码来识别样品管118；识别样品管118的存在；检测样品的盖；等等。

检查装置112包括至少一个处理单元140，该至少一个处理单元经配置用于通过在图像上应用至少一个经训练的模型来将空腔114的状态分类为至少一个类别，其中基于传输接口116的图像数据对经训练的模型进行训练，其中该图像数据包括空腔114处于不同状态时传输接口116的多个图像。多个图像可包括空腔114处于不同状态时传输接口116的图像，这些状态具有不同的照明条件和/或视点与空腔114之间的距离。处理单元140可以是或可包括：任意逻辑电路，其经配置用于执行计算机或系统的基本操作；和/或一般来讲装置，其经配置用于执行计算或逻辑操作。特别地，处理单元140可经配置用于处理驱动计算机或系统的基本指令。作为示例，处理单元140可包括至少一个算术逻辑单元 (ALU)、至少一个浮点单元 (FPU)（诸如数学协处理器或数值协处理器）、多个寄存器（具体地是经配置用于向 ALU 提供操作数并存储操作结果的寄存器）以及存储器（诸如 L1 和 L2 高速缓冲存储器）。特别地，处理单元140可以是多核处理器。具体地，处理单元140可以是或可包括中央处理单元 (CPU)。另外地或另选地，处理单元140可以是或可包括微处理器，因此，具体地，处理器的元件可包含在一个单一集成电路 (IC) 芯片中。另外地或另选地，处理单元140可以是或可包括一个或多个专用集成电路 (ASIC) 和/或一个或多个现场可编程门阵列(FPGA) 等。处理单元140可以是传输接口116的处理单元。

处理单元140可经配置用于执行至少一个预处理步骤，该至少一个预处理步骤包括以下一项或多项：对图像进行缩放；对图像进行成形；背景减法；至少一个平滑步骤，该至少一个平滑步骤包括应用至少一个滤波器，诸如高斯滤波器、Savitzky-Golay 平滑、中值滤波器和/或双边滤波。例如，处理单元140可经配置用于确定所捕获的图像的目标区。例如，可由处理单元140读取图像（其也表示为输入图像）并且可对其进行再成形。然后，可将输入图像传递给执行均值减法和缩放的图像函数。图像函数可允许减少输入图像中的光照变化，并可使用缩放进行归一化。确定目标区的过程可通过使用至少一个计算机视觉过程来实现。此类技术是技术人员通常已知的。因此，作为示例，可使用模式识别技术来检测空腔114等。另外地或另选地，可使用其他预处理步骤或过程。

经训练的模型可以是使用机器学习、深度学习、神经网络或其他形式的人工智能中的一种或多种在至少一个训练数据集上训练的数学模型。经训练的模型可以是卷积神经网络 (CNN) 模型。CNN 模型可基于针对对象分类、检测和/或定位配置的CNN架构。最先进的CNN架构就像构建块一样，可在自定义数据（在这种情况下，具有不同状态的传输接口空腔图像）上重用和训练，使得基于CNN的模型可基于给定的输入图像获得自定义权重。具体地，卷积神经网络模型基于 YOLOV3-tiny 深度学习架构。关于 YOLOV3-tiny 深度学习架构，参考 Joseph Redmon 和 Ali Farhadi，“YOLOv3：渐进式改进”，2018 arXiv:1804.02767，其内容通过引用包含在此。

YOLOV3-tiny 深度学习架构可比基于区的卷积神经网络 (R-CNN) 快1000倍，并且比具有相似或更好预测精度的 Fast R-CNN 快100倍。分类的快速推理时间可能是选择CNN架构的重要考虑因素。

使用迁移学习技术基于传输接口116的图像数据对经训练的模型进行训练。图像数据包括空腔114处于不同状态时传输接口116的多个图像。多个图像可包括空腔114处于不同状态时传输接口116的图像，这些状态具有不同的照明条件和/或视点与空腔114之间的距离。图 3 中示出训练模型的实施例。训练可包括生成至少一个训练数据集，用附图标记 142 表示。训练数据集可以是带标签的样品数据的集合。可通过捕获传输接口116的至少一部分的多个图像的集合来生成训练数据集，其中对于多个图像，空腔114处于不同状态，例如：空的空腔 114；空腔114中存在或不存在固持器 124；空腔114中有封闭样品管118；或空腔114中有开口样品管118等。此外，对于多个图像的集合，可改变光照和照明条件。此外，对于多个图像的集合，可改变相机136和空腔114之间的距离。可预处理所捕获的多个图像的集合，用附图标记 144 表示。如上所述，可由处理单元 140，特别是至少一个数据预处理模块 146 执行预处理。可例如通过使用至少一个显示装置 148 来可视化所捕获的图像。可对所捕获的多个图像的集合进行手动注释，并且可使用类别中的一个对目标区（诸如边界框）加标签，用附图标记 150 表示。该过程可反复进行，直到处理完所有的图像数据。

为了训练模型以便能够确定空腔114的状态，可将训练数据集分成训练集 152 和测试集 154，例如，分成4:1的比例。

模型的训练可包括使用迁移学习技术。具体地，模型（特别是 YOLOv3-tiny 模型，在图 3 中用附图标记 156 表示）可使用卷积权重，这些卷积权重在图像数据（诸如如例如在以下各项中所描述的 ImageNet 数据集的图像）上预训练：J. Deng、W. Dong、R.Socher、L. Li、Kai Li 和 Li Fei-Fei 的“ImageNet：大规模分层图像数据库”，2009 IEEE计算机视觉和模式识别会议，佛罗里达州迈阿密，2009 年，第 248-255 页；doi：10.1109/CVPR.2009.5206848。使用迁移学习技术的好处可解释如下：知道如何驾驶汽车的人可快速有效地学习如何驾驶卡车。类似地，已被训练来检测通用对象（诸如人类、汽车、自行车等）的模型可快速学习如何确定空腔的状态，因为CNN模型中的较低卷积层已知道如何识别微小特征如线条、边缘、点等。

可进一步调整标准 YOLOV3-tiny 模型 156 的设置并且可调谐超参数以能够对空腔状态114进行分类并且允许对经训练的模型进行额外的训练，特别是再训练。模型的参数，特别是 YOLOV3-tiny 模型 156 的卷积权重，可在训练集 152 上训练并由测试集154测试。在训练集152上训练并由测试集154测试的模型在本文可表示为候选模型158。候选模型158可通过训练生成，直到平均损失小于1。

如图 3 所示，训练可进一步包括生成最终经训练的模型 160。具体地，该方法可包括基于未见的输入数据 162，诸如基于至少一个例如历史的、自定义准备的数据集再训练候选模型158。这可允许甚至进一步调整用于经训练的模型的参数（特别是权重）和/或考虑自定义条件。可通过训练来生成最终经训练的模型 160（具有更新的权重），直到CNN模型，具体地是 YOLOV3-tiny 模型的平均损失函数值远小于 1。

如图3中进一步可视化的，经训练的模型经配置用于将空腔114的状态分类为至少一个类别。类别选自由以下项组成的组：空的空腔；空腔中存在固持器；空腔中有封闭样品管；空腔中有开口样品管。图3中示出示例性的四个类别 C1 至 C4。经训练的模型可经配置用于定位样品管118和/或固持器124和/或用于识别转盘126中的样品管118。因此，经训练的模型可经配置用于表征传输接口116本身，特别是转盘126的所有空腔114。

经训练的模型可经配置用于将不同的图像区分类为不同的类别。例如，在图像包括多于一个空腔114的情况下，经训练的模型经配置用于确定图像的每个空腔114的状态。因此，经训练的模型可经配置用于一次表征多个空腔114。

在传输接口116处使用新型样品管118并且必须确定空腔状态的情况下，可对经训练的模型进行再训练。可能仅需要使用新样品管图像进行单次再训练。

检查装置进一步包括至少一个通信接口164，该至少一个通信接口经配置用于提供至少一个空腔114的经确定的类别。在图1的实施例中，通信接口164为处理单元140的一部分。通信接口164可配置成用于传输来自计算装置（例如计算机）的信息，诸如将信息发送或输出到例如另一装置上。附加地或另选地，通信接口164可配置成用于将信息传输到计算装置上（例如传输到计算机上），诸如，以便接收信息。通信接口164可具体地提供用于传输或交换信息的途径。特别地，通信接口164可提供数据传输连接，例如蓝牙、NFC、电感耦合等。作为示例，通信接口164可以是或可包括至少一个端口，该端口包括网络或 Internet端口、USB 端口和磁盘驱动器中的一者或多者。通信接口164可进一步包括至少一个显示装置。

处理单元140可经配置用于基于经确定和/或经提供的类别来确定传输接口116必须旋转多少次以获得清空和/或是否可以使用连接的装置开始操作，特别是立即开始操作。相机136可捕获转盘126的至少一个图像。处理单元140可对空腔114中的每一个的状态进行分类。例如，转盘126可包括五个空腔。处理单元140可确定空腔中有两个包括样品管而另外三个为空。此外，关于转盘126中各个空腔114的位置或相对位置的信息可由经训练的模型提供。因此，可以根据空腔114的状态及其位置确定传输接口116可能需要旋转多少次以获得清空和/或是否可以立即开始管向和从连接的装置 122 的转移，而无需任何清空。

图 2 示出了根据本发明的方法的流程图。该方法包括以下步骤，这些步骤可具体地以给定顺序执行。然而，应当注意，不同的顺序也是可能的。此外，还可以一次或重复执行一个或多个方法步骤。此外，可以同时或以适时重合的方式执行两个或更多个方法步骤。该方法可包括未列出的其他方法步骤。所述方法包括：

i)（用附图标记 166 表示）通过使用相机136捕获传输接口116的至少一部分的至少一个图像；

ii)（用附图标记 168 表示）通过使用处理单元140在图像上应用经训练的模型来将空腔114的状态分类为至少一个类别，其中基于传输接口116的图像数据对经训练的模型进行训练，其中该图像数据包括空腔处于不同状态时传输接口116的多个图像；

iii)（用附图标记170表示）经由至少一个通信接口164提供至少一个空腔114的经确定的类别。

图4A至图4B示出了使用根据本发明的方法得到的实验结果。在图4A至图4B中，图像显示为具有所识别的和经分类的空腔114。重要的是要注意，即使相机的视角发生了少量变化，空腔的分类也是可靠的。对于图4A至图4B，预测置信度阈值设置为0.5，非极大值抑制阈值设置为0.4，以便仅在置信度水平超过 50% 时获得正确的分类边界框。这些值是可配置的，并且可根据需要进行更新。

具体地，在图4A中，识别出十一个空腔 114。八个空腔114被分类为空的空腔，用附图标记172表示。一个空腔114被分类为空腔114中有固持器124，用附图标记174表示。一个空腔114被分类为空腔114中有开口样品管118，用附图标记176表示。一个空腔114被分类为空腔114中有封闭样品管118，用附图标记 178 表示。

在图4B中，识别出十二个空腔114。九个空腔114被分类为空的空腔，用附图标记172表示。一个空腔114被分类为空腔114中有固持器 124，用附图标记174表示。一个空腔114被分类为空腔114中有开口样品管118，用附图标记176表示。一个空腔114被分类为空腔114中有封闭样品管118，用附图标记178表示。

附图标记列表

110 实验室自动化系统

112 检查装置

114 空腔

116 传输接口

118 样品管

120 传输模块

122 连接的装置

124 固持器

126 转盘

128 转子

130 输入位置

132 输出位置

134 移交位置

135 居中

136 相机

138 识别单元

140 处理单元

142 生成至少一个训练数据集

144 预处理

146 数据预处理模块

148 显示装置

150 手动注释

152 训练集

154 测试集

156 YOLOv3-tiny 模型

158 候选模型

160 最终经训练的模型

162 未见的输入数据

164 通信接口

166 捕获

168 分类

170 提供

172 空的空腔

174 空腔中有固持器

176 开口样品管

178 封闭样品管

Claims (15)

1.一种用于确定经配置用于传输样品管(118)的传输接口(116)的至少一个空腔(114)的至少一种状态的方法，所述方法包括：

i) (166)通过使用至少一个相机(136)捕获所述传输接口(116)的至少一部分的至少一个图像；

ii) (168)通过使用至少一个处理单元(140)对所述图像应用至少一个经训练的模型来将所述空腔(114)的状态分类为至少一个类别，其中所述经训练的模型是基于所述传输接口(116)的图像数据所训练的，其中所述图像数据包括空腔(114)处于不同状态时所述传输接口(116)的多个图像；

iii) (170)经由至少一个通信接口(164)提供至少一个空腔的经确定的类别。

2.根据前一项权利要求所述的方法，其中所述经训练的模型为卷积神经网络模型。

3.根据前一项权利要求所述的方法，其中所述卷积神经网络模型基于YOLOV3-tiny深度学习架构。

4.根据前述权利要求中任一项所述的方法，其中所述经训练的模型经配置用于将不同的图像区分类为不同的类别。

5.根据前述权利要求中任一项所述的方法，其中步骤 i) 中的所述图像是通过使用所述相机(136)捕获的至少一个视频流的帧。

6.根据前述权利要求中任一项所述的方法，其中所述方法包括预处理步骤，所述预处理步骤包括以下中的一项或多项：对所述图像进行缩放；对所述图像进行成形；背景减法；至少一个平滑步骤，所述至少一个平滑步骤包括应用至少一个滤波器，诸如高斯滤波器、Savitzky-Golay平滑、中值滤波器和/或双边滤波。

7.根据前述权利要求中任一项所述的方法，其中所述类别选自包括以下的组：空的空腔(114)；所述空腔(114)中存在固持器(124)；所述空腔(114)中有封闭样品管(118)；所述空腔(114)中有开口样品管(118)。

8.根据前述权利要求中任一项所述的方法，其中所述方法包括至少一个训练步骤，其中所述训练步骤包括生成至少一个训练数据集，其中所述训练数据集是通过捕获所述传输接口(116)的至少一部分的多个图像的集合而生成的，其中对于所述多个图像，所述空腔(114)处于不同状态。

9.根据前一项权利要求所述的方法，其中所述训练步骤包括使用迁移学习技术。

10.根据前两项权利要求中任一项所述的方法，其中所述训练步骤包括基于至少一个自定义准备的数据集对所述经训练的模型进行再训练。

11.根据前述权利要求中任一项所述的方法，其中所述方法包括基于经确定和/或经提供的类别确定所述传输接口(116)必须旋转多少次以获得清空和/或是否可以使用连接的装置(122)开始操作。

12.一种用于确定经配置用于传输样品管(118)的传输接口(116)的至少一个空腔(114)的至少一种状态的计算机程序，其中所述计算机程序包括指令，当所述程序由至少一个处理器执行时，所述指令使所述处理器执行根据前述权利要求中任一项所述的方法，特别是步骤 ii) 至 iii)。

13.一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令当由至少一个处理器执行时，使所述处理器执行根据涉及方法的前述权利要求中任一项所述的方法。

14.一种用于确定经配置用于传输样品管(118)的传输接口(116)的至少一个空腔(114)的至少一种状态的检查装置(112)，其中所述检查装置(112)包括

- 至少一个相机(136)，所述至少一个相机经配置用于捕获所述传输接口(116)的至少一部分的至少一个图像；

- 至少一个处理单元(140)，所述至少一个处理单元经配置用于通过对所述图像应用至少一个经训练的模型来将所述空腔(114)的状态分类为至少一个类别，其中所述经训练的模型是基于所述传输接口(116)的图像数据所训练的，其中所述图像数据包括空腔(114)处于不同状态时所述传输接口(116)的多个图像；

- 至少一个通信接口(164)，所述至少一个通信接口经配置用于提供至少一个空腔(114)的经确定的类别。

15.根据前一项权利要求所述的检查装置(112)，其中所述检查装置(112)经配置用于执行根据涉及方法的前述权利要求中任一项所述的方法。

Images