CN114585443B - 训练诊断分析仪模型的设备和方法 - Google Patents

训练诊断分析仪模型的设备和方法 Download PDF

Info

Publication number
CN114585443B
CN114585443B CN202080076081.7A CN202080076081A CN114585443B CN 114585443 B CN114585443 B CN 114585443B CN 202080076081 A CN202080076081 A CN 202080076081A CN 114585443 B CN114585443 B CN 114585443B
Authority
CN
China
Prior art keywords
tube
type
tube assemblies
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080076081.7A
Other languages
English (en)
Other versions
CN114585443A (zh
Inventor
R·R·P·纳拉姆文卡特
B·S·波拉克
张耀仁
V·纳拉辛哈墨菲
V·辛赫
A·卡普尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN114585443A publication Critical patent/CN114585443A/zh
Application granted granted Critical
Publication of CN114585443B publication Critical patent/CN114585443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/15Devices for taking samples of blood
    • A61B5/150007Details
    • A61B5/150343Collection vessels for collecting blood samples from the skin surface, e.g. test tubes, cuvettes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00821Identification of carriers, materials or components in automatic analysers nature of coded information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种训练诊断设备的模型的方法包括:在诊断设备中提供第一类型的一个或多个第一管组件和第二类型的一个或多个第二管组件;使用成像装置捕获一个或多个第一管组件和第二管组件中的每一个的至少一部分的一个或多个第一图像。训练模型包括基于一个或多个第一图像和一个或多个第二图像来标识第一类型的管组件和第二类型的管组件。第一类型的管组件被分组为第一组,并且第二类型的管组件被分组为第二组。公开了其他方法和设备。

Description

训练诊断分析仪模型的设备和方法
相关申请的交叉引用
本申请要求保护2019年10月31日提交的题为“APPARATUS AND METHODS OFIDENTIFYING TUBE ASSEMBLIES”的美国临时专利申请第62/929,071号的权益,该美国临时专利申请的公开内容以其整体在所有目的上通过引用并入本文。
技术领域
本公开的实施例涉及标识管组件的设备和方法。
背景技术
自动化测试系统可以使用一种或多种试剂进行临床化学或化验,以标识生物样本(样本)中的分析物或其他成分,所述生物样本诸如血清、血浆、尿液、间质液、脑脊液等。出于方便和安全的原因,这些样本几乎总是包含在样本管(例如,血液收集管)中。样本管可以被加盖,并且在一些情况下,顶盖可以包括颜色和/或形状,所述颜色和/或形状提供关于如下内容的信息:要进行的测试的类型、被包含在管中的添加剂的类型(例如,血清分离剂、诸如凝血酶的凝血剂、或抗凝血剂及其特定类型,如EDTA或柠檬酸钠、或抗糖酵解添加剂)、管是否具有真空能力等。
在某些自动化测试系统中,对样本容器和样本进行数字成像和处理,诸如利用计算机辅助数字成像系统,从而可以判别顶盖的类型和颜色。在成像期间,可以捕获样本管(包括顶盖)和样本的一个或多个图像。
然而,在某些状况下,这样的系统可能提供性能上的变化,并且可能不恰当地表征管类型。因此,寻求经由数字成像和处理来表征样本管的改进的方法和设备。
发明内容
根据第一实施例,提供了一种训练诊断设备的模型的方法。该方法包括:在诊断设备中提供第一类型的一个或多个第一管组件;在诊断设备中提供第二类型的一个或多个第二管组件;使用成像装置捕获一个或多个第一管组件中的每一个的至少一部分的一个或多个第一图像;使用成像装置捕获一个或多个第二管组件中的每一个的至少一部分的一个或多个第二图像;训练模型以基于所述一个或多个第一图像和所述一个或多个第二图像来标识第一类型的管组件和第二类型的管组件;将第一类型的管组件分组为第一组;以及将第二类型的管组件分组为第二组。
根据第二实施例,提供了一种操作诊断设备的方法。该方法包括训练诊断设备的模型,包括:训练诊断设备的模型,包括:在诊断设备中提供第一类型的一个或多个第一管组件;在诊断设备中提供第二类型的一个或多个第二管组件;使用成像装置捕获一个或多个第一管组件中的每一个的至少一部分的一个或多个第一图像;使用成像装置捕获一个或多个第二管组件中的每一个的至少一部分的一个或多个第二图像;以及训练模型以基于所述一个或多个第一图像和所述一个或多个第二图像来标识第一类型的管组件和第二类型的管组件。该方法进一步包括:将第一类型的管组件分组为第一组;将第二类型的管组件分组为第二组;将包含位于其中的试样的一个或多个管组件装载到诊断设备中;对包含试样的一个或多个管组件进行成像;使用所述模型将包含试样的一个或多个管组件标识为第一类型或第二类型;以及基于所述标识将包含试样的一个或多个管组件分组为第一组或第二组。
根据第三实施例,提供了一种诊断设备。该设备包括:配置为存储第一类型的一个或多个第一管组件和第二类型的一个或多个第二管组件的位置;成像装置,被配置为对一个或多个第一管组件的至少一部分和一个或多个第二管组件的至少一部分进行成像;运送装置,被配置为将一个或多个第一管组件和一个或多个第二管组件至少运送到成像装置;控制器,包括耦合到存储器的处理器,所述存储器在其中存储有指令,所述指令当由处理器执行时:训练模型以标识第一类型的管组件和第二类型的管组件;以及,将第一类型的管组件分组为第一组并且将第二类型的管组件分组为第二组。
本公开的其他方面、特征和优点可以从以下描述中变得显而易见,该描述说明了多个示例实施例和实现方式。本公开还可以有其他和不同的实施例,并且其若干细节可以在各个方面进行修改,所有这些都不脱离其范围。因此,附图和描述本质上被认为是说明性的,而不是限制性的。本公开将覆盖落入权利要求范围内的所有修改、等同物和替代物。
附图说明
下面描述的附图出于说明的目的,并且不一定是按比例绘制的。因此,附图和描述本质上要被认为是说明性的,而不是限制性的。附图不旨在以任何方式限制本公开的范围。贯穿全文使用相同的数字来表示相同或相似的元件;
图1是根据一个或多个实施例的诊断设备的俯视示意图,该诊断设备被配置为对管组件进行标识和分组;
图2A图示了流程图,该流程图示出了根据一个或多个实施例的训练诊断设备以通过管类型对管组件进行分类的方法;
图2B-2C图示了根据一个或多个实施例的位于诊断设备中的托盘中的管组件,其中诊断设备被配置为通过管类型对管组件进行分类;
图2D图示了根据一个或多个实施例的位于用于运行时测试的诊断设备的托盘中的管组件;
图3A-3D图示了根据一个或多个实施例的不同类型的管组件的示例;
图4A图示了根据一个或多个实施例的来自位于圆盘槽中的管组件的原始图像的一个相机的示例,其中圆盘遮蔽了管组件的图像的部分;
图4B图示了根据一个或多个实施例的对应于图4A的图像的二元掩模;
图5图示了根据一个或多个实施例使用图4B的二元掩模从图像中提取的顶盖补片(patch);
图6图示了根据一个或多个实施例的用于颜色提取的顶盖的图像区域,并且包括各种像素落入的颜色聚类,其中纯黑色背景指代包括使其来自原始图像的颜色值被忽略的像素的背景类;
图7图示了根据一个或多个实施例的由诊断设备检测并显示给用户的顶盖的颜色;
图8A是根据一个或多个实施例的第一管的第一顶盖的掩模图像的示意图,包括指示掩模图像与图3A的第一管组件对准的位置的框;
图8B是根据一个或多个实施例的第二管的第二顶盖的掩模图像的示意图,包括指示掩模图像与图3B的第二管组件对准的位置的框;
图9A图示了根据一个或多个实施例的包括顶盖的第一管组件的部分,该顶盖可被分析以确定行梯度;
图9B图示了根据一个或多个实施例的作为图9A所示的第一管组件的垂直位置的函数的宽度;
图9C以图表形式图示了如在图9B的示图上绘制的第一管组件的曲线图的一阶导数;
图10A图示了根据一个或多个实施例的包括顶盖的第二管组件的部分,该顶盖可以被分析以确定行梯度;
图10B以图表形式图示了根据一个或多个实施例的作为图10A所示的第二管组件的垂直位置的函数的宽度;
图10C以图表形式图示了根据一个或多个实施例的在图10B的示图上绘制的第二管组件的曲线图的一阶导数;
图11A图示了根据一个或多个实施例的穿过第一管组件并且由成像装置捕获的示例光谱(例如,R、G、B)的条形图;
图11B图示了根据一个或多个实施例的穿过第二管组件并由成像装置捕获的示例光谱(例如,R、G、B)的示图;
图11C图示了根据一个或多个实施例的产生图11A的示图的背照式第一管组件的一部分的摄影图像;
图11D图示了根据一个或多个实施例的产生图11B的示图的背照式第二管组件的一部分的摄影图像;
图12图示了根据不同标准用于相同和/或不同管类型的顶盖的不同颜色组合;
图13图示了HSV颜色空间中的LDA(线性判别分析)示图,该示图试图纯粹依靠颜色(针对跨不同制造商的管类型集合)来分离管类型;
图14图示了根据一个或多个实施例的适于对管类型进行成像和区分的诊断设备的示意图;
图15图示了示出根据一个或多个实施例的训练诊断设备模型的方法的流程图;
图16图示了示出根据一个或多个实施例的操作诊断设备的方法的流程图。
具体实施方式
诊断实验室可以使用来自不同制造商的试管(例如,管组件)来容纳期望在其中执行一个或多个测试的试样。管组件可以包括管,诸如其上附接有盖的有底封闭管。不同的管组件类型(例如,管类型)可以具有不同的特性,诸如不同的大小和其中不同的化学添加剂。例如,许多管类型具有化学活性,这意味着管中包含一种或多种化学添加剂,用于改变或保持试样的状态或以其他方式帮助其处理。例如,管的内壁可以涂覆有一种或多种添加剂,或者可以在管的其它地方提供添加剂。例如,包含在管中的添加剂的类型可以是血清分离剂、诸如凝血酶的凝血剂、如EDTA或柠檬酸钠的抗凝血剂、抗糖酵解添加剂或用于改变或保持试样特性的其他添加剂。管组件制造商可以将管上的顶盖的颜色与管中包含的特定类型的化学添加剂相关联。
不同的制造商可能具有他们自己的标准,用于将诸如顶盖的颜色和顶盖的形状之类的管组件的特征与管组件的特定性质相关联。例如,所述特征可以与管的内容物相关,或者可以与管是否被提供有真空能力相关。在一些实施例中,制造商可以将具有灰色顶盖的所有管组件与包括配置为测试葡萄糖和乳酸盐的草酸钾和氟酸钠的管、包括用于静态电解质(诸如钠、钾、氯和碳酸氢盐)的肝素的绿色顶盖相关联。薰衣草色的顶盖可以标识包含EDTA(乙二胺四乙酸——一种抗凝血剂)的管,EDTA被配置为测试CBC w/diff.、HgBA1c和甲状旁腺激素。其他顶盖颜色,诸如红色、黄色、浅蓝色、宝蓝色、粉色、橙色和黑色可以用于表示其他添加剂或缺少添加剂。在进一步的实施例中,可以使用顶盖的颜色组合,诸如黄色和薰衣草色用于EDTA和凝胶分离剂的组合,或者绿色和黄色用于肝素锂和凝胶分离剂。
实验室可以使用该颜色信息来对管进行进一步处理。由于这些管可以具有化学活性(通常内衬有如凝血剂、抗凝血剂或抗糖酵解化合物等物质),因此将哪些测试可以在哪些类型的管上运行相关联变得很重要,因为测试几乎总是特定于内容物的。因此,实验室可以通过分析顶盖的颜色来确认对管中的试样运行的测试是正确的测试。
这些与制造商相关的标准本身可能因地区而异。例如,在欧洲,制造商可以对一种管类型使用第一顶盖颜色,而在美国对相同的管类型使用第二顶盖颜色。由于标准不一致,因此诊断设备目前不可能仅基于顶盖的颜色来自动确定管的化学内容物。如上所述,实验室使用管类型信息来进一步测试管内的试样。因为管类型可以具有化学活性,所以有必要了解哪些测试可以在哪些管组件上运行。
参考图12,其图示了可以用于类似管类型的不同顶盖标准的示例。如图12所示,一些不同的顶盖标准可以将相似的顶盖类型和/或顶盖颜色与不同的管类型一起使用。实验室当前的工作流期望实验室技术人员非常熟悉这些管类型标准。因为实验室中现场使用的诊断设备不知道这些标准,所以对每个单个管组件执行手动输入,以描述管的内容物和实验室技术人员期望的功能。随着新的管类型、新的管类型标准以及来自新的或现有制造商的管组件在实验室中被使用,实验室技术人员需要熟悉新的管类型和标准。
本文公开的方法和设备通过为实验室技术人员提供在不同管类型上训练一个或多个模型(例如,机器学习模型)的过程,减轻了为每个管组件手动输入信息的工作量。在试样测试期间,经训练的模型可以实时对不同类型的管组件进行分类。该方法和设备还使得能够在实验室和/或诊断设备之间传递机器学习模型。
训练模型可以由诊断设备的用户来执行。用户可以获得用于相同测试的管组件,并且可以将这些管组件放置在诊断设备中。例如,用户可以将第一管类型的第一多个管组件装载到诊断分析仪中。然后,诊断分析仪可以捕获第一多个管组件的图像,然后将其用于训练模型。第二管类型的第二多个管组件也可以由诊断分析仪以类似的方式进行成像,以进一步训练模型。模型和/或诊断分析仪可以执行将第一类型的管组件分组成第一组和将第二类型的管组件分组成第二组的操作。第一组中的管组件可以与诊断分析仪执行的特定测试相关联,并且第二组中的管组件可以与不同的测试相关联。
在一些实施例中,从图像中提取或标识顶盖的一种或多种颜色,并进行注释以帮助用户训练模型来标识和/或分类特定的管类型。在其他实施例中,来自管组件的图像的其他信息,诸如管高度和/或管直径、管材料(半透明或透明)、顶盖材料、顶盖不透明度或顶盖半透明度、顶盖形状、顶盖维度、顶盖维度梯度、顶盖重量等,可以用于训练模型。这样的其他信息可以直接从图像中获得,或者否则由训练模型的操作者注释。
本文公开的测试方法和设备可以使用人工智能,即一个或多个训练模型(例如,分类或判别模型),诸如神经网络(例如,卷积神经网络——CNN),以通过管类型来标识和分类管组件。深度学习可以用于训练特定模型来标识和分类管组件。管的某些物理特性和/或附接到其上的顶盖的物理特性和颜色可以通过训练的模型来标识,以便标识各种管组件的管类型。
本文描述的设备和方法使得诊断实验室能够区分由诊断分析仪使用的每种管类型,这与现有的设备和方法相比具有优势。本文公开的方法和设备可以减少操作者手动输入管组件信息所花费的时间。针对每个可能的管类型和/或管组件的统一模型可能不是必要的,因为操作者可以仅针对实验室和/或分析仪中使用的管类型训练模型,这可能只是所有可能的管类型的一个小的子集。可以节省现场训练模型的时间,因为训练可以容易地在训练场所之外非现场进行,所述训练场所可以是或包括诊断分析仪。在设置时,可以将非现场训练的模型移植(例如,下载)到新的诊断设备。使用训练模型的诊断设备可以实时执行管内容物/功能确定,因此可以基于(一个或多个)先前训练的模型自动推断大量冗余的手动输入信息。
在一些实施例中,本文公开的方法和设备使得诊断设备的用户能够定义他们自己的管组件分类,所述分类可以用于根据实验室的要求定制管组件的功能。例如,本文公开的训练方法和设备可以使得用户能够区分管类型,并基于诊断分析仪或实验室特有的管类型、添加剂和/或管功能来创建管组件的分类或分组。
本文中参照图1至图16进一步详细描述上述方法和设备。
现在参考图1,其图示了诊断设备100的实施例的顶视示意图。诊断设备100可以被配置为对位于管组件102中的试样执行一个或多个测试(化验和/或化学测试)。管组件102可以在诊断设备100内的位置104处被存储、输入和可能输出。在图1所示的实施例中,位置104可以包括保持多个托盘111的容器或其他器具,其中每个托盘111可以保持一个或多个管组件102。
一个或多个成像装置106可以位于视觉系统107中,视觉系统107位于诊断设备100中、邻近于诊断设备100或耦合到诊断设备100,并且可以被配置为对管组件102进行成像。在一些实施例中,一个或多个成像装置106可以位于成像模块108内或者作为成像模块108的一部分。在图1中描绘的实施例中,成像模块108的顶部被移除以图示位于成像模块108内的部件。一个或多个光源110可以位于成像模块108中,并且可以被配置为如本文所述对管组件102进行背面照明和/或正面照明。
诊断设备100可以包括运送装置112,该运送装置112可以被配置为在至少位置104和一个或多个成像装置106之间运送管组件102,并且进一步运送到一个或多个分析器模块118。运送装置112可以包括机器人114和输送带或轨道116,其中机器人114被配置为在位置104(即从托盘111之一)和轨道116之间移动管组件102。轨道116可以被配置为至少在位置104和视觉系统107之间运送管组件102,以对其进行预筛选。
诊断设备100可以包括一个或多个分析器模块118(例如,诊断分析器或免疫分析仪器等),其被配置为对管组件102中的试样执行临床化学测试或化验,其中管组件102可以通过轨道116访问一个或多个分析器模块118。在一些实施例中,管组件102被放置在载体120(例如,圆盘)中,以促进管组件102在轨道116上的移动。可以使用其他合适的载体,诸如被编程为在轨道116周围的期望位置停止的线性马达装置。
诊断设备100可以包括控制器122,其至少耦合到机器人114、轨道116、载体120、一个或多个成像装置106和一个或多个光源110。控制器122可以被配置为从至少机器人114和一个或多个成像装置106接收数据。控制器122还可以被配置为向至少机器人114、一个或多个成像装置106和一个或多个光源110发送命令。存储器122A可以包括在其中存储的指令,当由处理器122B执行时,所述指令可以用于训练一个或多个模型以标识如本文所述的各种类型的各种管组件。可以对模型进行训练以标识其他类型的管组件102。编程指令还可以指示控制器122将各种类型的管组件102分类成各种组。
另外参考图2A,其图示了示出训练由诊断设备100(图1)使用的模型的方法200的实施例的流程图。还参考图2B-2C,其图示了当模型经历不同阶段的训练时诊断设备100的实施例的部分。在图2B-2C所示的实施例中,管组件102位于诊断设备100中的多个托盘111中。在诊断设备100的实施例中,位置104(图1)可以包括多个托盘111位于其中的抽屉217(例如,位置)。在一些实施例中,诊断设备100可以包括多个抽屉,并且多个抽屉中的每一个可以保持一个或多个托盘111或容器。本文描述的托盘111可以用于在模型训练期间将相同管类型的管组件隔离在一起。在图2B-2C的实施例中,抽屉217包括四个托盘111,分别称为第一托盘211A(例如,第一容器)、第二托盘211B(例如,第二容器)、第三托盘211C(例如,第三容器)和第四托盘211D(例如,第四容器)。可以由诊断设备100使用或在诊断设备100中使用其他装置来隔离类似的管组件。
在本文描述的实施例中,适于训练模型的诊断设备100具有位于其中的四种类型的管组件102(管类型),其中一种管类型在训练期间装载在每个托盘111中。例如,装载可以由实验室操作员手动执行。可以使用其他数量的托盘111和管类型。各种类型的管组件102可具有相同或非常相似的物理特性。例如,相似的(例如,甚至相同的)管类型可以来自同一制造商,并且可以具有相同的顶盖颜色和/或维度或其他特性,诸如高度、宽度和/或重量。
在一些实施例中,不同的管类型可以被配置为执行相同的功能,诸如抗凝血功能、凝血功能或其他功能。例如,第一制造商可以提供具有红色顶盖的第一管类型,其包含特定的化学添加剂并且被配置用于第一类型的测试。第二制造商可以提供具有不同颜色(例如蓝色顶盖)的第二管类型,其包含与第一管类型相同的化学添加剂,并且被配置用于第一类型的测试。在一些实施例中,本文公开的方法和设备可以训练诊断设备100中的模型,以将第一管类型和第二管类型分类在一起或分组在一起(在软件中),因为它们包括在第一类型的测试中使用的相同化学物质。
不同管组件类型的各种标识特性可以用于对不同管组件类型进行分类,以在框208中训练模型。例如,标识特性可以包括顶盖颜色的特定组合,或者两种或更多种颜色的顶盖颜色组合、顶盖形状、顶盖材料、顶盖不透明度或半透明度、顶盖重量、顶盖维度或一个或多个维度的梯度、管高度、管直径、管材料等。在一些实施例中,管类型可以仅由顶盖颜色或顶盖颜色的组合(例如,灰色和红色)来限定。
在图2B-2C中公开的实施例中,示出了四种管组件类型(管类型),分别称为第一管类型202A、第二管类型202B、第三管类型202C和第四管类型202D。如所示出的那样,第一管类型202A由水平线表示。如所示出的那样,第二管类型202B由交叉线表示。如所示出的那样,第三管类型202C由斜线表示。如所示出的那样,第四管类型202D由垂直线表示。可以使用更少或更多的管类型。
另外参考图3A-3D,其图示了不同管组件(管类型)的实施例的正视图。图3A图示了第一管类型202A的第一管组件320的正视图。图3B图示了第二管类型202B的第二管组件322的正视图。图3C图示了第三管类型202C的第三管组件324的正视图。图3D图示了第四管类型202D的第四管组件326的正视图。第一管组件320可以包括第一顶盖320A和第一管320B。第二管组件322可以包括第二顶盖322A和第二管322B。第三管组件324可以包括第三顶盖324A和第三管324B。第四管组件326可以包括第四顶盖326A和第四管326B。
例如,第一管组件320可以从第一制造商提供,第二管组件322可以从第二制造商提供,第三管组件324可以从第三制造商提供,第四管组件326可以从第四制造商提供。在一些实施例中,管组件320-326中的所有或一些可以从同一制造商提供。第一管组件320和第二管组件322可以被配置为与相同类型的测试一起使用。第三管组件324和第四管组件326可以被配置为与不同类型的测试一起使用。如图3A-3C所示,第一顶盖320A、第二顶盖322A和第三顶盖324A具有不同的几何特性,并且顶盖320A-326A可以具有不同的顶盖颜色或者甚至不同顶盖颜色的组合。此外,一些管类型在高度和/或宽度方面可能不同。例如,第二管322B与第一管320B相比更短,第一管320B与其他管相比更宽。
诊断设备100的操作者或用户可以通过将相同管类型的多个实例装载到单独的托盘111中来开始如框206中所述和图2A中所示的训练方法200。例如,操作者可以为每个托盘装载111单独的管类型。在一些实施例中,可以在每个托盘111中提供相同管类型的几个实例(副本),用于训练以计及管组件之间的变化,诸如制造公差。该过程导致针对每种管类型训练非常严格的(一个或多个)管类型模型。
在图2B的实施例中,第一管类型202A被装载到第一托盘211A中,第二管类型202B被装载到第二托盘211B中,第三管类型202C被装载到第三托盘211C中,第四管类型202D被装载到第四托盘211D中。
在管组件102被装载到适当的托盘211A-211D中之后,运送装置112(图1)可以将管组件102运送到视觉系统107,以按照框208训练模型。例如,机器人114可以将管组件102移动到轨道116,在轨道116处,管组件102被运送到视觉系统107的一个或多个成像装置106,所述一个或多个成像装置106可以响应于来自控制器122的命令来捕获管组件102的图像。捕获的图像可以是像素化图像,其中每个像素化图像可以包括多个像素。在捕获图像之后,运送装置112然后可以将管组件102返回到托盘111。
在一些实施例中,管组件102被一个接一个地发送到视觉系统107并进行成像。例如,每个管组件102可以被放置在传送装置或载体120(例如圆盘)中,并被运送到视觉系统107。如下所述,算法可以分析每个图像。使用先前获取的参考图像(例如,其中没有管组件的空载体120)和同一载体槽或容贮器(例如,圆盘槽或容贮器)中的管组件102的图像,可以执行背景减除以获得二元掩模,其用于突出显示图像中对应于管组件102的像素。
图4A图示了来自位于圆盘槽中的第二管组件322的原始图像的一个成像装置(其他实施例可以使用其他数量的成像装置,例如三个相机)的示例,其中圆盘(例如,载体120-图1)遮蔽了第二管322B的图像的一些较低部分。图4B图示了对应于图4A的图像的二元掩模428。二元掩模428可能包括一些无关噪声,所述噪声稍后可以被滤除。
可以分析每种管类型的二元掩模428,以确定管组件的哪一部分对应于顶盖。二元掩模的顶部部分对应于顶盖的最顶部像素(顶盖320A-326A——取决于管类型),并且可以通过在应用形态学后处理以突出显示顶盖区域并使用连接的部件来移除噪声之后推断在掩模的哪个点处宽度最大来计算最底部像素。例如,图像或掩模的最宽部分W4可以是顶盖的底部。图5图示了使用二元掩模428提取的所得顶盖补片530(具有一些缓冲部,其可以是第二管322B的顶部)的示例。生成顶盖补片530可以涉及标识二元掩模428的最宽部分W4并将最宽部分W4上方的像素分配为第二顶盖322A的算法。包括最宽部分W4和最宽部分W4下面的一些像素的像素也可以被分配为第二顶盖322A。第二顶盖322A下方的像素可以被称为缓冲部。在一些实施例中,图5的顶盖补片530可以是图4A的图像的裁剪部分。
顶盖补片530的图像顶盖区域(具有一些缓冲)可以被提取和后处理以移除噪声,例如源自之前减去图像的噪声。可以通过形态学操作来移除噪声,以计及掩模和连接的部件周围的噪声(例如,计及预期掩模之外的无关噪声)。在该过程的这一点上,图像中对应于顶盖的像素是已知的。例如,可以提取像素的颜色和强度,并且可以将这些像素中的每一个转换成色调-饱和度-值(HSV)颜色空间。图13中示出了映射在HSV颜色空间中的顶盖的示例。可以通过将三维锥形(HSV)颜色空间映射到归一化的二维圆形空间来执行无监督聚类,以从顶盖中提取两种颜色。
图6示出了用于颜色提取的来自图5的顶盖补片530的示例区域,以及像素属于哪个颜色聚类。在图6的实施例中,两种颜色被示出为亮区域604和暗区域602,每个区域都可以包括像素。亮区域604可以是例如顶盖的蓝色部分,并且暗区域602可以是例如第二顶盖322A的深蓝色部分。在针对顶盖补片530提取两种颜色的情况下,二维圆形空间上的颜色之间的距离参照差异阈值,以确定该距离是否对应于多色顶盖,诸如第三顶盖324A(图3C)。在第三顶盖324A的实施例中,亮区域604可以是例如红色,暗区域602可以是例如灰色。纯黑色背景可以指代包括来自原始图像部分的颜色值被忽略的像素的背景类。
可以为用户显示由诊断设备100检测到的颜色。如果检测到两种颜色,诸如利用多色顶盖(例如,第三顶盖324A),则可以显示这两种颜色,或者两种颜色中每一种的平均值。例如,如果颜色在二维圆形空间中是接近的,则可以显示这两种颜色的平均值。图7中示出了顶盖颜色的显示740的示例。第一图表750示出了多个个体单元750A,其可以是由视觉系统107(图1)成像的第一顶盖的颜色。在图7的实施例中,个体单元750A示出由视觉系统107成像的薰衣草色顶盖的变化或不同色调。例如,个体单元750A中的一个或多个可以示出由视觉系统107成像的薰衣草色,并且一个或多个其他个体单元750A可以示出由视觉系统107成像的薰衣草色。诊断设备100的用户可以验证第一图表750中所示的颜色是正确的,并且它们相应的管组件类型都被分类为相同的管类型。
第二图表752示出了蓝色顶盖的颜色变化,其可被分类为相同的管类型或来自单色顶盖。例如,个体单元752A可以示出不同的蓝色色调,用户可以确认它们都属于相同的管类型。第三图表754示出了紫色顶盖的颜色变化,其可被分类为相同的管类型或来自单色顶盖。例如,个体单元754A可以示出不同的紫色色调,用户可以确认它们都属于相同的管类型。第四图表756示出了包括红色和灰色在内的顶盖颜色的变化。个体单元756A示出由每个顶盖成像的两种颜色。由第四图表756表示的顶盖可以被分类为来自多色顶盖(例如,第三顶盖324A -图3)。
例如,训练的结果(例如,训练的模型)可以存储在存储器122A(图1)中。在一些实施例中,训练的结果可以是下面描述的数据库的形式,并且可以用于几个目的。数据库可以提供可移植性,以便能够将数据库或训练模型转移到其他诊断设备。数据库可以消除存储管组件的图像的需要,因为从图像中提取的特征可以存储在数据库中,并且可以由训练的模型用于将来的分析。在一些实施例中,尽管取决于被成像的管组件的类型向用户显示一种或两种(或更多种)颜色,但是数据库可以存储这两种颜色(在所有情况下)用于将来的分析。
该模型可以基于由本文所述的管组件102的图像和相关联的图像处理标识的管组件102的物理特性来训练。经训练的模型可以包括一个或多个经训练的分类模型,诸如机器学习模型和/或神经网络(例如卷积神经网络——CNN),其通过如本文所述的管类型来标识和分类管组件。因此,训练模型可以包括例如训练判别模型、训练神经网络、训练卷积神经网络和/或训练支持向量机。在一些实施例中,深度学习可以用于训练模型以标识和分类如本文所述的管组件。
在一些实施例中,诊断设备100和/或用户可以验证已经被训练的管类型模型。如果两个不同分类的管类型过于相似,则诊断设备100和/或用户也可以修复冲突,如图2A的框210所示。诊断设备100可以运行检查以确保在训练期间没有任何错误(例如,所述管组件中的一个具有不同的类型,一个管具有错误的顶盖,等等)。在上述实施例中,由于对于一个管类型内的每个管组件,可以存储两个颜色值,因此颜色空间中的这两个点可以与该管类型中的其他管组件进行比较,以确保这些点在颜色空间中彼此足够接近,以构成相同的管类型。例如,颜色可以在颜色空间中彼此相距在预定距离内。这样的间隔的示例由图13中的第一顶盖颜色1302和第二顶盖颜色1304示出。如本文所述,第一顶盖颜色1302和第二顶盖颜色1304可被分类为相同的管类型或相同的组。
如上所述,随着(一个或多个)管类型模型被训练,操作者可以将管类型分配给一个或多个组,其中各个组可以与管组件的内容物或管类型的特定功能相关,如这里所述以及如框208(图2A)中所述。在一些实施例中,分配可以在模型的训练期间执行。至少一个组可以包括在特定测试的执行期间使用的管组件。例如,遵循一组特定的标准,实验室可以将第一托盘211A中的第一管类型202A的第一管组件320和第二托盘211B中的第二管类型202B的第二管组件322分配到一个组(组A)中,如图2C所示。A组可以被定义为包含具有所定义功能的管组件或用于特定测试(诸如葡萄糖测试)的化学添加剂。B组和C组中的管组件可以用于执行特定测试的其他功能。
利用严格定义的管类型模型,可以将管类型分组(例如,分类)到第一组中,其中可以计算包络,该包络在第一组中的管类型和其他组的管类型之间创建不同的边界。在一些实施例中,用户可以将每个托盘分配给一个组,该托盘可以代表一种管类型。如本文所述,该组可以是新的组或现有组。例如,新管类型组件可以如本文所述被标识,并被分配到新的或现有的组。
在定义了组之后,可以检查组之间的重叠。检查重叠可以确定具有相似颜色顶盖的管组件是否被分配到不同的组(例如,分类),这可能使得难以在不同的组之间限定分离边界。例如,具有红色塑料顶盖的管类型和具有红色橡胶顶盖的管类型可以被分配到不同的组,但是诊断设备可能无法区分顶盖。在管类型定义严格基于颜色的实施例中,对应的管组件可能必须属于同一组,否则诊断设备可能在运行时获得不可靠的分类结果。
在一些实施例中,如果两个训练组过于相似,则诊断设备100或其用户可以修复冲突,如图2A的框210中所述。否则,诊断设备100可以继续进行测试。如果模型已经被成功训练(即,组之间没有重叠),则经训练的模型可以被移植(拷贝)到其他诊断设备。如本文所述,另一诊断设备中的表征方法然后可以使用经训练的模型在运行时(例如,在测试期间)对管组件进行分类。
在运行时,管组件102可以随机装载在托盘111中,诸如图2D中所示的那样。诊断设备100可以执行许多功能,诸如圆盘槽占用、流体体积估计、条形码读取、HILN(溶血、黄疸、血脂和正常确定)、伪影检测(例如,凝块、泡沫或气泡的检测)等。除了这些功能之外,顶帽和其他特征,诸如用于训练的那些特征,可以被提取并参考经训练模型中的所有组。作为响应,管组件102中的一个或多个可以被分类到数据库中的一个组中,并且与管组相关联的对应性质/功能可以应用于管组件。在分类之后,操作者可以看到监视器上显示的管内容物的性质使用上述组形式的先验信息自动填充。例如,组A(图2C)、组B和组C中的管组件的管内容物可以自动填充,并且可以显示在监视器123(图1)上。在一些实施例中,操作者能够验证管组件中的试样通过管组件的组或分类被分配到适当的测试。
本文描述的模型的训练可以补充现有的诊断设备100。例如,因为训练可以支持各种各样的管类型,所以只有少数管类型可能具有基于视觉的分组冲突,这可以通过本文描述的其他方法来解决。此外,本文描述的训练方法可以使得操作员能够快速训练模型以标识实验室中使用的管类型,因为在训练模型时可以使用较少的手动注释。
本文描述的模型和方法可以使得诊断设备100(图1)能够突出显示与分配给组的管类型的冲突,诸如当两个相似的管类型被分配给如上所述的不同组时。更进一步地,在运行时,管组件被快速分类到所述组之一中,而不是求助于人工输入到所述组之一中。此外,所述组可以由操作员定制。通过将管类型分组,操作员可以确保将正确的管类型用于特定测试。例如,所述方法和模型通过将在运行时分类的管类型与针对管组件中的试样安排的一个或多个测试进行比较,有助于发现何时使用了错误的管类型。可以使用数据库或其他比较方法来将管类型与允许用于特定测试的管类型进行比较,这可以存储在特定分析器模块118的测试菜单等中。
除了前述之外,本文公开的方法、装置和模型可以使用顶盖的几何形状、顶盖的颜色以及顶盖和管的其他特性来在不同的管类型之间进行区分。包括颜色和几何形状的顶盖和/或管特征可以输入到模型中,该模型可以是诸如线性支持向量机之类的多维判别模型,以标识管组件。所述方法和设备可以使用管组件102(图1)的正面照明和/或背面照明来标识管组件102的特性。例如,在一些实施例中,一个或多个光源110,诸如一个或多个板光源,可以对管组件的正表面进行照明,并且可以捕获反射光的图像。在其他实施例中,一个或多个光源110,诸如板光源,可以对管组件进行背面照明,并且成像装置可以捕获穿过管组件的光的图像。然而,正面照明可以至少对颜色提供改进的判别。
在一些实施例中,对标识为顶盖的区域中的图像的进一步处理可以使用颜色确定算法来提取或标识顶盖的颜色。进一步的处理可以用于训练模型和/或由模型用于对管组件102(图1)进行分类。如上所述,该算法可以确定多色顶盖(例如,第三顶盖324A——图3C)的颜色。在这些实施例中,可以标识表示顶盖的每个像素的颜色值。诸如通过使用计算机算法,可以确定所有像素或一个补片的像素的颜色值的平均值(平均颜色)。然后,可以确定平均颜色的颜色分量,并将其用于训练模型和/或由模型用于对管组件102进行分类。
在一些实施例中,可以在HSV(色调、饱和度、值)颜色空间中计算平均颜色,以产生颜色色调、饱和度和值分量。图13中提供了映射在HSV颜色空间中的管组件的示例。这些颜色分量提供了可以输入到模型(例如,判别模型)的三个维度或矢量,以帮助清楚地对管类型进行分类。可以使用其他颜色表征方法,诸如使用HSL、RGB(红、绿、蓝)、Adobe RGB、YIQ、YUV、CIELCAB、CIELUV、ProPhoto、sRGB、Luma plus Chroma、CMYK等。
在一些实施例中,与顶盖几何形状相关的特征可以被输入到模型中。例如,与维度梯度相关的几何特征(例如,指示维度变化率的行梯度和/或列梯度)可以被输入到模型中。例如,算法可以从顶部到底部或从底部到顶部扫描(例如,光栅扫描)顶盖的图像,以确定作为垂直位置(例如,沿着y轴)的函数的顶盖的宽度,其中宽度是沿着水平轴或x轴计算的。例如,该算法可以从顶部到底部扫描顶盖的掩模图像,分析顶盖的形状,并且存储宽度的绝对值和沿着顶盖图像的y轴的一阶数值导数。一阶数值导数可以通过下面的等式(1)来计算,这是针对单个轴的:
等式(1)。
等式(1)产生行梯度。可以计算行梯度的最大值,称为RG-max。RG-max的值是顶盖宽度的最剧烈改变的函数,并且与顶盖宽度的最剧烈改变相关,并且可以是模型的向量输入。在其他实施例中,可以分析顶盖的其他几何特征并将其输入到模型中。例如,可以分析沿着顶盖的顶表面的轮廓并将其输入到模型中。在其他实施例中,可以分析顶盖高度的梯度并将其输入到模型中。
在一些实施例中,可分析顶盖的材料以获得可以输入到模型中的一个或多个其他区别特性。分析顶盖材料可以包括计算顶盖的不透明度的量度。例如,算法可以跨多个光谱(波长)使用高曝光时间的顶盖的背照式图像,并且可以分析结果。在一些实施例中,可以使用三种可见光谱(RGB)。例如,背照式红色通道图像可以曝光大约10309,背照式绿色通道图像可以曝光大约20615/>,并且背照式蓝色通道图像可以曝光大约10310/>。可以在训练期间计算每个颜色通道的统计数据并将其输入到模型中。例如,可以计算RGB的每个波长的高曝光图像的平均值。利用这三个平均值(R-mean、G-mean、和B-mean),该模型可以使用多维(7维)判别特征空间(H、S、V、RG-max、R-mean、G-mean、B-mean)来进行顶盖标识和/或分类。
在n维特征空间中(在该实施例中n=7),模型(例如,判别模型或判别器)可以被训练以正确地标识管类型。诸如判别器之类的模型的示例是线性支持向量机(SVM),其在高维特征空间中围绕每个顶盖和/或管类型绘制决策超边界。然后可以标识顶盖和/或管类型。在一些实施例中,更多的特征,诸如顶盖高度、直径或其他基于视觉的特征可以作为附加维度被包括在模型中。也可以利用顶盖重量,诸如在成像阶段之后的去顶盖站处。在其他实施例中,可以使用其他背照式或非可见光(例如,IR或近IR)来添加更强大的模型,以利用颜色空间的维度复杂性。
本文描述的模型和算法可以将特定的顶盖与其适当的管类型相关联,而不仅仅依赖于顶盖的颜色。模型和算法可以在没有来自操作员的输入的情况下执行这些任务,即,判别可以自动化。下面的描述提供了实现上述方法和设备的示例,以基于附接到管上的顶盖来区分管类型。在其他实施例中,可以分析管组件的特性,并且模型和算法可以基于所述分析来确定管类型。
再次参考图3A-3D,第一顶盖320A可以具有第一颜色,并且第二顶盖322A可以具有第二颜色。在一些实施例中,第一颜色可能类似于第二颜色,使得仅颜色的计算机算法可能无法区分第一颜色和第二颜色。在其他实施例中,第一颜色可以不同于第二颜色。本文所述的方法和设备可以分析上述特征和颜色,以区分第一顶盖320A和第二顶盖322A,并且从而区分第一管组件320的管类型和第二管组件322的管类型。
一个或多个成像装置106(图1)可以捕获第一管组件320和第二管组件322的一个或多个图像。图像可以是由像素组成的像素化图像,其中每个图像包括多个像素。另外参考图8A和8B,其中图8A图示了从第一管320B移除的第一顶盖320A的掩模图像的示意图,并且图8B图示了从第二管322B移除的第二顶盖322A的掩模图像的示意图。在一些实施例中,在控制器122上执行的算法可以将图像中的像素分类为顶盖,并且可以隔离那些像素用于附加处理。图8A和8B周围的框指示掩模图像与图3A的第一管组件320和图3B的第二管组件322对准的位置,这包括类似的框。
图8A的图像中的像素位置可以用于分析原始彩色图像以确定第一顶盖320A的颜色。确定第一顶盖320A的颜色可以通过计算像素的平均颜色、像素的中间颜色、像素的模式值或像素的其他颜色值来执行。诸如k均值聚类的更高级无监督机器学习方法也可以用于创建颜色聚类。可以在HSV颜色空间中计算平均颜色,以生成HSV颜色模型的三个颜色特征维度(H-色调、S-饱和度和V-值(亮度)),用于输入到第一管组件320的模型。相同的过程可以应用于图8B中的像素位置,以生成三个颜色特征维度,用于输入到第二管组件322的模型。
通过分析包括第一顶盖320A和/或第一管320B的第一管组件和包括第二顶盖322A和/或第二管322B的第二管组件322的几何特征,可以获得输入到模型的附加维度。在控制器122上执行的算法可以分析维度梯度,诸如第一顶盖320A的行梯度,并且可以包括第一管320B的部分。同样,算法可以分析维度梯度,例如第二顶盖322A的行梯度,并且可以包括第二管322B的部分。
参考图9A,其图示了第一管组件320的部分,该部分可被分析以确定几何梯度,诸如行梯度。还参考图10A,其图示了第二管组件322的部分,该部分可被分析以确定几何梯度,诸如行梯度。参考图9A,该算法可以从顶部到底部扫描第一顶盖320A和第一管320B的一部分,以确定指示第一顶盖320A和第一管320B的一部分的形状的数值。在图3A的实施例中,数值是第一顶盖320A和第一管320B的顶部的各种宽度。
另外参考图9B,其图示了作为沿着图9A所示的第一管组件320的垂直维度的函数的各种宽度维度。如图9A和9B所示,第一管组件320在垂直位置V31处具有宽度W31,并且在垂直位置V32处具有宽度W32。第一管组件320在垂直位置V33处具有宽度W33,这是第一管320B的宽度。这些宽度可以表示第一管组件320在作为垂直位置的函数的宽度方面的独特几何性质。
另外参考图9C,其图示了第一管组件320的图9B的维度图(宽度维度相对于垂直维度)的一阶导数。等式(1)可以应用于图9B的图,以产生图9C的图。注意,在处理期间可以忽略第一顶盖320A的最顶部的行,因此当等式(1)应用于像素的最顶部的行时,一阶导数不接近无穷大。图9C的图的y轴被称为宽度。被称为RG-max1的/>宽度的最大值在图9C的图上示出,并且可以作为另一个模型输入来输入到第一管组件320的模型中。
另外参考图10B,其以图形方式作为垂直维度(位置)的函数图示了图10A所示的第二管组件322的各种宽度。如图10A和10B所示,第二管组件322在垂直位置V41处具有宽度W41,在垂直位置V42处具有宽度W42。第二管组件322在垂直位置V43处具有宽度W43,这是第二管322B的宽度。这些宽度表示第二管组件322的独特几何性质。
另外参考图10C,其图示了第二管组件322的一阶导数,如图10B的图所绘制的那样。等式(1)可以应用于图10B的图,以产生图10C的图。注意,在处理期间可以忽略第二顶盖322A的最顶部的行,因此当计算第一行的导数时,一阶导数不会接近无穷大。图10C的曲线图的y轴被称为宽度。/>宽度的最大峰值的值(称为RG-max2)在图10C的图上示出,并且可以作为另一模型输入来输入到第二管组件322的模型中。因此,第一管组件320和第二管组件322的梯度可以用于在不考虑第一顶盖320A和第二顶盖322A的颜色的情况下标识和/或区分管组件。在一些实施例中,/>宽度的最小值可以用于标识和/或区分管组件。
第一管组件320和第二管组件322的另一区别特征可以是顶盖材料和/或管材料,这可以通过计算不透明度的测量来确定。为了测量该特性,可以从背面照明包括顶盖在内的管组件的部分,并且可以在高曝光时间并且也可以跨多个光谱捕获管组件的图像。在一些实施例中,三种可见光光谱(红色(R)、绿色(G)和蓝色(B))可以从背面照明第一管组件320和第二管组件322。
参考图11A,其图示了穿过第一管组件320并且被一个或多个成像装置106捕获的示例光谱的图。还参考图11B,其图示了穿过第二管组件322并且被一个或多个成像装置106捕获的示例光谱的图。图11A和11B的图是以从0到255的强度标度绘制的,其中0是没有接收到光,并且255表示没有光被管组件阻挡。由图11A的图表示的第一管组件320的部分在图9A中示出,并且由图11B的曲线图表示的第二管组件322的部分在图10A中示出。在一些实施例中,背照式红色通道图像可以曝光大约10309,背照式绿色通道图像可以曝光大约20615,背照式蓝色通道图像可以曝光大约10310/>
另外参考图11C,其图示了第一管组件320的一部分的摄影图像。顶部摄影图像是利用全RGB色谱的正面照明捕获的第一管组件320的一部分。第二图像是利用红色背景照明捕获的第一管组件320的一部分的单色摄影图像。第三图像是利用绿色背景照明捕获的第一管组件320的一部分的单色摄影图像。第四图像是利用蓝色背景照明捕获的第一管组件320的一部分的单色摄影图像。
还参考图11D,其图示了第二管组件322的一部分的摄影图像。顶部摄影图像是利用全RGB色谱的正面照明捕获的第二管组件322的一部分。第二图像是利用红色背景照明捕获的第二管组件322的一部分的单色摄影图像。第三图像是利用绿色背景照明捕获的第二管组件322的一部分的单色摄影图像。第四图像是利用蓝色背景照明捕获的第二管组件322的一部分的单色摄影图像。
从图11A和11B的图中,示出了第一管组件320在任何波长(R、G、B)下几乎完全不透明,并且第二管组件322阻挡所有三种波长的大量光。在一些实施例中,计算高曝光图像的每个波长的平均值,并分别称为R-mean、G-mean和B-mean。在一些实施例中,计算针对高曝光图像的每个波长的中值。
当计算所有上述维度时,对于每个管组件,可以存在7维区别特征空间(H,S,V,RG-max,R-mean,G-mean,B-mean)。在n维特征空间中(在该实施例中n=7),模型可以被训练以正确标识各种管类型。这样的模型(例如,判别器或判别模型)的示例是线性SVM,其在该高维特征空间中围绕每个管类型绘制决策超边界。基于前述模型,即使第一顶盖320A和第二顶盖322A具有相同或相似的颜色,第一管组件320也可以与第二管组件322区分开。利用更多的特征,诸如顶盖不透明度、顶盖重量、顶盖垂直高度、直径或其他基于视觉的几何特征,或者附加的图像类型,诸如不同的背面照明或使用不可见光(例如,IR或近IR)的照明,可以使用甚至更强大的判别模型来平衡空间的维度复杂性。
本文描述的设备和方法使得诊断实验室和上述算法能够区分可能通过实验室的许多不同的管类型。由于不同的制造商和/或特定地区的标准,仅仅依靠顶盖的颜色可能会导致不可靠的结果。基于前述内容,当顶盖颜色本身不足以区分各种管类型时,本文公开的设备和方法改进了对各种管类型的判别,并且有助于区分各种管类型。这是有利的,因为它使得诊断装置或机器能够根据位于诊断装置或机器内的一个或多个传感器来确定管类型(并且因此,对应的特征),而不需要操作者的任何手动输入。对本文所述的设备和方法的优点有贡献的技术特征可以包括使用从一个或多个机载传感器收集的数据的针对每种管类型的高维特征向量和高维空间中的判别模型,以正确地确定管类型。使用这样的高维模型可以加速样本处理工作流,并且可以正确地标识针对管安排的化验与其化学添加剂或几何性质之间的不匹配。
图14图示了成像系统800,其被配置为捕获由第一顶盖320A和第一管320B构成的第一管组件320的一个或多个图像,其中所述一个或多个图像可以是由像素构成的像素化图像,其中每个图像包括多个像素。成像系统800可以用在视觉系统107(图1)中。成像系统800包括正面光源810B,诸如光板,其可以是光源110(图1)。在一些实施例中,可以使用多于一个的正面光源,诸如位于成像装置806的任一侧的光板。在一些实施例中,可以提供一个或多个背光光源810A,诸如一个或多个光板,以提供例如用于确定不透明度的背光。其他布置也是可能的。
成像系统800可以进一步包括控制器822,其通信地耦合到成像装置806和光源810A、810B。控制器822可以与控制器122(图1)相同,并且可以是包括处理器和适于存储和执行可执行程序指令(诸如以本文所述的模型的形式)的存储器的任何合适计算机。控制器822可以在适当的时间向光源810A、810B发送信号,以提供正面照明和/或背面照明。控制器822可以接收由成像装置806生成的图像数据,并如本文所述处理图像数据,以训练模型和/或分类和/或标识管组件102(图1)。
现在参考图15,其图示了训练诊断设备(例如,诊断设备100)的模型的方法1500。方法1500包括,在1502中,在诊断设备中提供第一类型(例如,第一类型202A)的一个或多个第一管组件(例如,第一管组件320)。方法1500包括,在1504中,在诊断设备中提供第二类型(例如,第二类型202B)的一个或多个第二管组件(例如,第二管组件322)。该方法包括,在1506中,使用成像装置(例如,成像装置106)捕获一个或多个第一管组件中的每一个的至少一部分的一个或多个第一图像。方法1500包括,在1508中,使用成像装置捕获一个或多个第二管组件中的每一个的至少一部分的一个或多个第二图像。方法1500包括,在1510,训练模型以基于一个或多个第一图像和一个或多个第二图像来标识第一类型的管组件和第二类型的管组件。方法1500包括,在1512,将第一类型的管组件分组为第一组。方法1500包括,在1514,将第二类型的管组件分组为第二组。
参考图16,其图示了操作诊断设备(例如,诊断设备100)的方法1600。方法1600包括,在1602中,训练诊断设备的模型,包括:在诊断设备中提供第一类型(例如,第一类型202A)的一个或多个第一管组件(例如,第一管组件320);在诊断设备中提供第二类型(例如,第二类型202B)的一个或多个第二管组件(例如,第二管组件322);使用成像装置(例如,成像装置106)捕获一个或多个第一管组件中的每一个的至少一部分的一个或多个第一图像;使用成像装置捕获一个或多个第二管组件中的每一个的至少一部分的一个或多个第二图像;以及训练模型以基于一个或多个第一图像和一个或多个第二图像来标识第一类型的管组件和第二类型的管组件。方法1600包括,在1604,将第一类型的管组件分组为第一组。方法1600包括,在1606,将第二类型的管组件分组为第二组。方法1600包括,在1608,将包含位于其中的试样的一个或多个管组件装载到诊断设备中。方法1600包括,在1610中,对包含试样的一个或多个管组件进行成像。方法1600包括,在1612,使用模型将包含试样的一个或多个管组件标识为第一类型或第二类型。方法1600包括,在1614中,基于标识将包含试样的一个或多个管组件分组为第一组或第二组。
虽然本公开易于进行各种修改和具有替代形式,但是已经通过附图中的示例示出了特定的系统和设备实施例及其方法,并且在本文中对其进行了详细描述。然而,应当理解的是,这并不旨在将本公开限制于所公开的特定设备或方法,相反,本发明旨在覆顶盖落入本公开范围内的所有修改、等同物和替代物。

Claims (20)

1.一种训练诊断设备的模型的方法,包括:
在诊断设备中提供第一类型的一个或多个第一管组件;
在诊断设备中提供第二类型的一个或多个第二管组件;
使用成像装置捕获所述一个或多个第一管组件中的每一个的至少一部分的一个或多个第一图像;
使用成像装置捕获所述一个或多个第二管组件中的每一个的至少一部分的一个或多个第二图像;
训练模型以基于所述一个或多个第一图像和所述一个或多个第二图像来标识第一类型的管组件和第二类型的管组件;
通过个体托盘在训练所述模型期间将类似或相同管类型的管组件隔离在一起;
实时将第一类型的管组件分组为第一组;和
实时将第二类型的管组件分组为第二组。
2.根据权利要求1所述的方法,进一步包括:
将一个或多个第一管组件运送到位于诊断设备中的成像装置;和
将一个或多个第二管组件运送到所述成像装置。
3.根据权利要求1所述的方法,其中,提供第一管组件和提供第二管组件包括将第一类型的一个或多个第一管组件定位在第一容器中,并且将第二类型的一个或多个第二管组件定位在第二容器中。
4.根据权利要求1所述的方法,包括:
在诊断设备中提供一个或多个第三类型的第三管组件;和
使用成像装置捕获所述一个或多个第三管组件中的每一个的至少一部分的一个或多个第三图像,
其中训练所述模型包括基于所述一个或多个第三图像训练所述模型以标识第三类型的管组件,以及
进一步包括将第三类型的管组件分组为第三组。
5.根据权利要求4所述的方法,包括将第一类型的管组件和第三类型的管组件分组在第一组中,并且将第二类型的管组件分组在第二组中。
6.根据权利要求1所述的方法,其中训练所述模型包括训练判别模型。
7.根据权利要求1所述的方法,其中训练所述模型包括训练神经网络。
8.根据权利要求1所述的方法,其中训练所述模型包括训练卷积神经网络。
9.根据权利要求1所述的方法,其中训练所述模型包括训练支持向量机。
10.根据权利要求1所述的方法,其中训练所述模型包括分析一个或多个第一图像以标识一个或多个第一管组件的至少一个特性,以及分析一个或多个第二图像以标识一个或多个第二管组件的至少一个特性。
11.根据权利要求10所述的方法,其中所述一个或多个第一管组件包括顶盖,并且其中所述至少一个特性是所述顶盖的颜色。
12.根据权利要求11所述的方法,进一步包括显示一个或多个第一管组件的顶盖的至少一种颜色的图像。
13.根据权利要求10所述的方法,其中所述一个或多个第一管组件包括顶盖,并且其中所述至少一个特性是所述顶盖的几何特征。
14.根据权利要求10所述的方法,其中所述一个或多个第一管组件包括顶盖,并且其中所述至少一个特性是所述顶盖的不透明度。
15.根据权利要求14所述的方法,其中所述至少一个特性是至少一种波长的光的不透明度。
16.根据权利要求1所述的方法,其中训练所述模型生成经训练的模型,并且进一步包括将所述经训练的模型运送到另一诊断设备。
17.权利要求1的方法,其中第一组中的管组件用于第一分析,并且第二组中的管组件用于第二分析。
18.一种操作诊断设备的方法,包括:
训练诊断设备的模型,包括:
在诊断设备中提供第一类型的一个或多个第一管组件;
在诊断设备中提供第二类型的一个或多个第二管组件;
使用成像装置捕获所述一个或多个第一管组件中的每一个的至少一部分的一个或多个第一图像;
使用成像装置捕获所述一个或多个第二管组件中的每一个的至少一部分的一个或多个第二图像;和
训练模型以基于所述一个或多个第一图像和所述一个或多个第二图像来标识第一类型的管组件和第二类型的管组件;以及
通过个体托盘在训练所述模型期间将类似或相同管类型的管组件隔离在一起;
实时将第一类型的管组件分组为第一组;
实时将第二类型的管组件分组为第二组;
将包含位于其中的试样的一个或多个管组件装载到诊断设备中;
对包含试样的一个或多个管组件进行成像;
使用所述模型将包含试样的一个或多个管组件标识为第一类型或第二类型;和
基于所述标识将包含试样的一个或多个管组件分组为第一组或第二组。
19.根据权利要求18所述的方法,其中训练所述模型包括分析一个或多个第一图像以标识一个或多个第一管组件的至少一个特性,以及分析一个或多个第二图像以标识一个或多个第二管组件的至少一个特性。
20.一种诊断设备,包括:
被配置为存储第一类型的一个或多个第一管组件和第二类型的一个或多个第二管组件的位置;
成像装置,被配置为对一个或多个第一管组件的至少一部分和一个或多个第二管组件的至少一部分进行成像;
运送装置,被配置为将一个或多个第一管组件和一个或多个第二管组件至少运送到成像装置;
控制器,包括耦合到存储器的处理器,所述存储器具有在其中存储的指令,当由处理器执行时,所述指令:
训练模型以标识第一类型的管组件和第二类型的管组件;和
通过个体托盘在训练所述模型期间将类似或相同管类型的管组件隔离在一起;
实时将第一类型的管组件分组在第一组中以及将第二类型的管组件分组在第二组中。
CN202080076081.7A 2019-10-31 2020-10-22 训练诊断分析仪模型的设备和方法 Active CN114585443B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962929071P 2019-10-31 2019-10-31
US62/929071 2019-10-31
PCT/US2020/056932 WO2021086725A1 (en) 2019-10-31 2020-10-22 Apparatus and methods of training models of diagnostic analyzers

Publications (2)

Publication Number Publication Date
CN114585443A CN114585443A (zh) 2022-06-03
CN114585443B true CN114585443B (zh) 2023-11-03

Family

ID=75715565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080076081.7A Active CN114585443B (zh) 2019-10-31 2020-10-22 训练诊断分析仪模型的设备和方法

Country Status (5)

Country Link
US (1) US20220383618A1 (zh)
EP (1) EP4051434A4 (zh)
JP (1) JP7438345B2 (zh)
CN (1) CN114585443B (zh)
WO (1) WO2021086725A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011247635A (ja) * 2010-05-24 2011-12-08 Hitachi High-Technologies Corp 生体試料の分析装置
CN106383853A (zh) * 2016-08-30 2017-02-08 刘勇 一种电子病历后结构化以及辅助诊断的实现方法及其系统
CN108352339A (zh) * 2015-09-18 2018-07-31 科磊股份有限公司 自适应自动缺陷分类
CN109477848A (zh) * 2016-07-25 2019-03-15 西门子医疗保健诊断公司 用于识别样品容器盖的系统、方法和设备
CN109886302A (zh) * 2019-01-21 2019-06-14 河北新兴铸管有限公司 基于机器学习的管径判断方法及终端设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5033675B2 (ja) * 2008-02-26 2012-09-26 日立アロカメディカル株式会社 検体容器判別装置
US8170271B2 (en) * 2008-06-25 2012-05-01 Jadak Llc System and method for test tube and cap identification
EP2574933A1 (en) * 2011-09-29 2013-04-03 F. Hoffmann-La Roche AG Handling of sample tubes comprising geometric tube data
CA2950296C (en) * 2014-06-10 2022-12-13 Siemens Healthcare Diagnostics Inc. Drawer vision system
WO2016133926A1 (en) * 2015-02-18 2016-08-25 Siemens Healthcare Diagnostics Inc. Locality-based detection of tray slot types and tube types in a vision system
US11815446B2 (en) * 2016-01-28 2023-11-14 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and specimen
WO2017132166A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
CN108603817B (zh) * 2016-01-28 2022-04-19 西门子医疗保健诊断公司 适于从多个侧视图标识样本容器的方法和装置
US20180003706A1 (en) * 2016-06-30 2018-01-04 Sightline Innovation Inc. System, method, and module for biomarker detection
CN110832508B (zh) * 2017-07-11 2023-08-11 美国西门子医学诊断股份有限公司 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统
US11378495B2 (en) * 2018-02-01 2022-07-05 Georgia Tech Research Corporation Methods, systems and devices for agent detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011247635A (ja) * 2010-05-24 2011-12-08 Hitachi High-Technologies Corp 生体試料の分析装置
CN108352339A (zh) * 2015-09-18 2018-07-31 科磊股份有限公司 自适应自动缺陷分类
CN109477848A (zh) * 2016-07-25 2019-03-15 西门子医疗保健诊断公司 用于识别样品容器盖的系统、方法和设备
CN106383853A (zh) * 2016-08-30 2017-02-08 刘勇 一种电子病历后结构化以及辅助诊断的实现方法及其系统
CN109886302A (zh) * 2019-01-21 2019-06-14 河北新兴铸管有限公司 基于机器学习的管径判断方法及终端设备

Also Published As

Publication number Publication date
WO2021086725A1 (en) 2021-05-06
CN114585443A (zh) 2022-06-03
JP7438345B2 (ja) 2024-02-26
JP2023501941A (ja) 2023-01-20
EP4051434A1 (en) 2022-09-07
US20220383618A1 (en) 2022-12-01
EP4051434A4 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
JP6858243B2 (ja) 試料容器の容器キャップを識別するためのシステム、方法及び装置
CN108603835B (zh) 被适配成根据多个侧视图来量化试样的方法和装置
US11313869B2 (en) Methods and apparatus for determining label count during specimen characterization
US11042788B2 (en) Methods and apparatus adapted to identify a specimen container from multiple lateral views
CN108738336B (zh) 用于多视图表征的方法和装置
CN110573859B (zh) 用于使用卷积神经网络的hiln表征的方法和装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
JP2021510201A (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
US11763461B2 (en) Specimen container characterization using a single deep neural network in an end-to-end training fashion
US11852642B2 (en) Methods and apparatus for HILN determination with a deep adaptation network for both serum and plasma samples
CN114585443B (zh) 训练诊断分析仪模型的设备和方法
JP7177917B2 (ja) 視覚化分析装置および視覚的学習方法
US20240169093A1 (en) Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system
US20220398846A1 (en) Apparatus and methods of identifying tube assembly type
US20240168006A1 (en) Methods and apparatus for hashing and retrieval of training images used in hiln determinations of specimens in automated diagnostic analysis systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40068364

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant