CN114599981A - 用于在自动化诊断分析系统中试样的hiln确定中使用的训练图像的散列和检索的方法和设备 - Google Patents

Abstract

一种在自动化诊断分析系统中表征待分析试样的方法提供了试样的HILN分类（溶血、黄疸、脂血症、正常）连同该确定的基础。该方法包括将散列码分配给在表征训练过程中使用的样本试样的每个训练图像。响应于测试试样的HILN确定，该方法可以经由散列码来检索HILN分类所基于的一个或多个最紧密匹配的训练图像。一个或多个最紧密匹配的训练图像可以显示在测试试样的一个或多个图像旁边。还描述了被配置为实行该方法的质量检查模块和系统，以及其他方面。

Description

用于在自动化诊断分析系统中试样的HILN确定中使用的训练 图像的散列和检索的方法和设备

相关申请的交叉引用

本申请要求保护2019年10月31日提交的题为“METHODS AND APPARATUS FORHASHING AND RETRIEVAL OF TRAINING IMAGES USED IN AN HILN DETERMINATION OF ASPECIMEN IN AN AUTOMATED DIAGNOSTIC ANALYSIS SYSTEM”的美国临时专利申请号62/929,066的优先权和权益，该美国临时专利申请的公开内容出于本文中的所有目的通过引用以其整体并入本文。

技术领域

本公开涉及被配置为在自动化诊断分析系统中表征试样的方法和设备。

背景技术

自动化诊断分析系统可以分析试样，诸如尿液、血清、血浆、间质液、脑脊液等，以标识试样中包含的分析物或其他成分。这样的试样通常包含在试样容器（例如，试样收集管）内，并经由自动轨道运送到自动化诊断分析系统内的各种预处理、预筛选（包括成像）和分析仪。

可以利用一种或多种试剂和可能添加在其中的其他材料对试样进行预筛选、预处理，并且然后在一个或多个分析仪处进行分析。可以通过使用询问辐射束并取得荧光读数，或者通过取得发光读数等，经由荧光吸收读数对试样执行分析测量。分析测量允许使用众所周知的技术来确定试样中包含的分析物或其他成分的量。

然而，试样中干扰物（例如，溶血、黄疸和/或脂血症）的存在（可能由患者状况或样本预处理导致）可能对从一个或多个分析仪获得的分析物或成分测量的测试结果产生不利影响。例如，试样中可能与患者的疾病状态无关的溶血（H）的存在可能引起对患者疾病状况的不同解释。类似地，试样中黄疸（I）和/或脂血症（L）的存在也可能引起对患者疾病状况的不同解释。

因此，可以在自动化诊断分析系统中执行预筛选过程，用于确定待分析试样中干扰物（诸如H、I和/或L）的存在，以及在某些情况下干扰物的程度。该预筛选过程涉及基于在自动化诊断分析系统的一个或多个成像站捕获的试样的一个或多个图像来自动化检测H、I和/或L或正常（N）。预筛选过程可以对捕获的图像执行HILN（溶血、黄疸和/或脂血症或正常）确定；也就是说，预筛选过程可以确定试样中H、I和/或L的存在，并且可选地确定程度或索引，或者它可以确定试样是正常的（N），并且因此可以由一个或多个分析仪继续进行进一步分析。

然而，在一些实例中，确定HILN的预处理可能不正确。因此，对于提供用于在自动化诊断分析系统中改进HILN确定的方法和设备存在未满足的需求。

发明内容

根据第一方面，提供了一种在自动化诊断分析系统中表征试样的方法。该方法包括接收多个训练图像，以用于训练质量检查模块的HILN（溶血性、黄疸性、脂血性、正常）网络，该质量检查模块包括自动化诊断分析系统中的计算机，每个训练图像描绘试样容器中的样本试样，并且经由HILN网络的散列网络将散列码分配给每个训练图像。该方法还包括接收待在自动化诊断分析系统中分析的试样容器中试样的一个或多个图像；基于经由HILN网络接收的一个或多个图像，使用多个训练图像来表征待分析的试样，以确定包括溶血性、黄疸性、脂血性或正常类的分类索引；以及经由散列码来检索所表征试样的确定的分类索引所基于的多个训练图像中的一个或多个。

根据另一方面，提供了一种表征试样的方法。该方法包括接收多个训练图像来训练HILN网络，每个训练图像描绘试样容器中的样本试样；经由散列网络将散列码分配给每个训练图像；接收待由HILN网络分析的试样容器中的试样的一个或多个图像；基于经由HILN网络接收的一个或多个图像，使用多个训练图像来表征待分析的试样，以确定溶血性、黄疸性、脂血性或正常类的分类索引；以及经由多个训练图像中的一个或多个的散列码来检索分类索引所基于的多个训练图像中的一个或多个。

根据又另一方面，提供了一种自动化诊断分析系统的质量检查模块。质量检查模块包括围绕成像位置布置的多个图像捕获装置和耦合到多个图像捕获装置的计算机，所述图像捕获装置被配置为从其中包含试样的试样容器的多个视点捕获多个图像。计算机被配置并经由编程指令可操作以将由所述多个图像捕获装置捕获的第一多个图像输入到在计算机上执行的HILN（溶血性、黄疸性、脂血性、正常）网络，所述第一多个图像表示用于训练HILN网络的多个训练图像，每个训练图像描绘试样容器中的样本试样。该计算机还被配置并经由编程指令可操作以经由HILN网络的散列网络将散列码分配给每个训练图像，并且将由多个图像捕获装置捕获的一个或多个第二图像输入到在计算机上执行的HILN网络，其中所述一个或多个第二图像表示待在自动化诊断分析系统中分析的试样容器中的相同试样。该计算机进一步被配置并经由编程指令可操作以使用多个训练图像经由HILN网络基于一个或多个第二图像来表征待分析的试样，以确定包括溶血性、黄疸性、脂血性和正常类的分类索引；以及经由散列码来检索所表征试样的确定的分类索引所基于的多个训练图像中的一个或多个。

从以下包括考虑用于实行本发明的最佳模式的对多个示例实施例的描述和说明中，本公开的又另外的方面、特征和优点可以容易地显而易见。本公开还可能能够具有其他和不同的实施例，并且其若干细节可以在各个方面进行修改，所有都不脱离本公开的范围。本公开旨在覆盖落入权利要求范围内的所有修改、等同物和替代物。

附图说明

下面所描述的附图是出于说明性目的，并且不一定按比例绘制。因此，附图和描述本质上被认为是说明性的，而不是限制性的。附图不旨在以任何方式限制本公开的范围；

图1图示了包括一个或多个质量检查模块的自动化诊断分析系统的顶视示意性视图，所述质量检查模块被配置为实行根据一个或多个实施例的HILN确定方法；

图2图示了包括分离的试样的试样容器的侧平面视图，该试样具有可能包含干扰物的血清或血浆部分；

图3图示了图2的试样容器的侧平面视图，所述试样容器以竖直取向保持在保持器中并且这可以促进成像，所述保持器可以由图1的自动化诊断分析系统内的载体运送；

图4A图示了根据一个或多个实施例的质量检查模块的示意性顶视图（其中出于说明目的移除了顶部），该质量检查模块包括多个视点（1，2，3），并被配置为捕获和分析多个图像以使得能够实现预筛选，从而确定干扰物的存在；

图4B图示了根据一个或多个实施例的沿着图4A的剖面线4B-4B取得的图4A的质量检查模块的示意性侧视图（其中出于说明目的移除了前壳体壁）；

图5图示了根据一个或多个实施例的HILN网络的功能框图，该HILN网络可操作以输出试样容器中试样的血清或血浆部分的干扰物确定和分类索引；

图6图示了根据一个或多个实施例的图5的HILN网络的散列网络过程的功能框图；

图7是根据一个或多个实施例的在自动化诊断分析系统中表征试样的方法的流程图。

具体实施方式

不正确的HILN确定可能难以调试，因为提供很少的信息（如果有任何已知信息的话）解释预筛选过程如何确定每个HILN结果。本文中提供的实施例可以促进调试在自动化诊断分析系统中已经发生的不正确的HILN确定。

可以在自动化诊断分析系统的质量检查模块处对试样容器中包含的试样（例如，血清或血浆试样）进行预筛选，以确定血液试样的血清或血浆部分中干扰物的存在，以及在一些实施例中确定干扰物的程度（索引）。经由成像来在质量检查模块处检查试样的质量允许不可接受的试样避免被路由到分析仪，这可能产生错误的结果并且进一步可能浪费宝贵的分析仪时间。预筛选过程的输出可以是HILN索引，其指示试样的血清或血浆部分中溶血（H）、黄疸（I）或脂血症（L）中的一种或多种的存在或者是正常（N）的确定，其指示血清或血浆部分可能包括可接受的低量H、I和L，或者根本没有。溶血可以被定义为血清或血浆部分中的一种状况，其中红细胞在预处理期间被破坏，这导致血红蛋白从红细胞释放到血清或血浆部分中，使得血清或血浆部分呈现红色色调。溶血的程度可以通过分配溶血索引来量化。黄疸可以被定义为一种血液状况，其中血清或血浆部分变色为暗黄色，这可能是由胆色素（胆红素）累积引起的。黄疸的程度可以通过分配黄疸索引来量化。脂血症可以被定义为血液中存在异常高浓度的乳化脂肪，使得血清或血浆部分具有发白或乳白色外观。可以通过分配脂血性索引来量化脂血症的程度。

预筛选过程可以只确定HIL的存在或H的程度或子类（索引）（例如，在一些实施例中为H0-H6，并且在其他实施例中为更多或更少）、I的程度或子类（索引）（例如，在一些实施例中为I0-I6，并且在其他实施例中为更多或更少）、和/或L的程度或子类（索引）（例如，在一些实施例中为L0-L4，并且在其他实施例中为更多或更少）。在一些实施例中，预筛选过程可以包括确定尚未离心或已经不恰当地离心的试样的血清或血浆部分的未离心（U）类。

此外，预筛选过程可以对试样容器和试样的各种区域进行分类（或“分割”），以便标识对应于例如血清或血浆部分、沉降的血液部分、凝胶分离器（如果使用的话）、空气、（一个或多个）标签和/或试样容器顶盖的图像区域。试样容器保持器和/或背景也可以被分类。作为分割的结果，可以（例如，经由获得的高度和/或宽度（直径））确定试样容器的类型，和/或试样容器顶盖的类型和/或颜色。

被配置为执行预筛选表征方法的自动化诊断分析系统的质量检查模块可以包括HILN网络，诸如分割卷积神经网络（SCNN），其接收在自动化诊断分析系统的成像站（例如，质量检查模块的成像站）处获取的样本试样的一个或多个图像作为输入（下面更详细描述）。在一些实施例中，SCNN可以包括多于100个操作层，包括例如BatchNorm（批归一化）、ReLU激活、卷积（例如，2D）、dropout和去卷积（例如，2D）层，以提取特征，诸如简单的边缘、纹理和部分血清或血浆部分以及包含标记的区域。诸如全卷积层之类的顶层可以用于提供各部分之间的相关性。该层的输出可以被馈送到SoftMax层，该层在每个像素（或每个超像素（小块）——包括n×n个像素）的基础上产生关于每个像素或小块被分类为HIL还是N的输出。在一些实施例中，SCNN可以仅提供HIL或N的输出。在其他实施例中，SCNN的输出可以包括HIL的多个子类（索引），诸如大于20个HIL类，使得对于每个存在的干扰物，也可以获得该干扰物的干扰物级别（索引）的估计。在一些实施例中，SCNN还可以包括前端容器分割网络（CSN），以确定容器类型和容器边界。在一些实施例中，分割卷积神经网络（SCNN）可以包括深度语义分割网络（DSSN）或其他深度学习卷积神经网络。可替代地，可以使用其他类型的HILN网络。

假如发现试样包含H、I和L中的一个或多个，则可以向操作者提供合适的通知，和/或可以将试样容器下线（1）以执行补救，从而校正H、I或L中的一个或多个，（2）重新绘制样本，或（3）执行其他处理。因此，在通过一个或多个分析仪进行分析之前对HILN进行预筛选的能力可以有利地（a）最小化对质量不适合分析的试样进行分析所浪费的时间，（b）避免或最小化错误的测试结果，（c）最小化患者测试结果延迟，和/或（d）避免患者试样的浪费。

然而，在一些实例中，一个或多个试样的HILN确定可能不正确。这样的不正确的HILN确定可以可能是由用于训练HILN网络的样本试样图像（训练图像）的数量和/或范围不足引起的。为了促进调试不正确的HILN确定，被配置为根据本文中的一个或多个实施例实行预筛选过程的表征方法和质量检查模块向用于训练HILN网络的每个训练图像分配散列码。在训练中分配的散列码可以使用散列表等进行索引，并稍后用于促进对HILN确定所基于的（一个或多个）训练图像的快速检索。另外，表征方法和质量检查模块可以经由散列码提供对一个或多个训练图像的检索，自动化诊断分析系统中表征的试样的HILN确定基于所述训练图像。这允许将具有不正确HILN确定的测试样本试样的（一个或多个）图像与不正确HILN确定所基于的（一个或多个）特定训练图像进行比较。具有不正确HILN确定的测试样本试样的（一个或多个）图像和HILN确定所基于的训练试样的（一个或多个）图像可以显示在显示屏上，诸如通过并排显示以进行比较。适当时，基于不正确表征的样本试样的附加训练图像然后可以例如通过重新训练被包括在HILN网络中，以提高其性能。基于检索到的训练图像，也可以或可替代地采取其他校正措施。更进一步地，在一些实施例中，预筛选过程可以基于分类网络（例如，SCNN）的输出，为测试样本的每个HILN确定分配（确定准确度的）预测置信水平，从而警告系统操作者怀疑（即，通过低置信值）HILN确定，并且可能标记这样的确定以用于重新训练。

本发明的表征方法、被配置为实行本发明的表征方法的质量检查模块和包括一个或多个质量检查模块的自动化诊断分析系统的进一步细节将在本文中参考图1-7进一步描述。

图1图示了能够自动处理包含样本试样212的多个试样容器102的自动化诊断分析系统100（见图2）。试样容器102可以在运送到自动化诊断分析系统100周围布置的一个或多个分析仪（例如，第一分析仪106、第二分析仪108和/或第三分析仪110）并被其分析之前，被提供在装载区域105处的一个或多个架子104中。更多或更少数量的分析仪可以在系统中。分析仪可以是任何数量的临床化学分析仪、化验仪器和/或诸如此类或其组合。试样容器102可以是任何合适的透明或半透明的容器，诸如血液收集管、试管、样本杯、透明小容器或其他透明或不透明的玻璃或塑料容器，其能够包含并允许对包含在其中的试样212进行成像。试样容器102的大小和类型可以不同。

试样212（见图2）可以在试样容器102中提供给自动化诊断分析系统100，所述试样容器102可以利用顶盖214盖住。顶盖214可以具有不同类型和/或颜色（例如，红色、品蓝色、浅蓝色、绿色、灰色、棕褐色、黄色或颜色组合），这可以在试样容器102用于什么测试、其中包括的添加剂的类型、容器是否包括凝胶分离器、真空能力等方面具有意义。也可以使用其他颜色。在一个实施例中，顶盖颜色和/或顶盖类型可以通过本文中描述的表征方法来确定。

每个试样容器102可以提供有标签218，其上可以包括标识信息218i（即标记），诸如条形码、字母字符、数字字符或其组合。标识信息218i可以在自动化诊断分析系统100的各种位置处是机器可读的。机器可读信息可以比标签材料（例如，白色材料）更暗（例如，黑色），使得它可以容易地被成像。标识信息218i可以指示或者可以经由实验室信息系统（LIS）147或其他测试订单数据库与患者的标识以及要在试样212上执行的测试相关。标识信息218i可以指示其他或附加信息。这样的标识信息218i可以提供在标签218上，所述标签218可以粘附到或者以其他方式提供在管215的外表面上。如图2中所示出的，标签218可以不一直围绕试样容器102延伸，或者不一直沿着试样容器102的长度延伸，使得从所示出的特定前视点来看，血清或血浆部分212SP的大部分是可见的（虚线所示出的部分）并且不被标签218遮挡。然而，如应当显而易见的那样，试样212可以从多个视点可观察和成像，并且因此图像可以从多个视点被捕获，使得至少一个视点将具有可观察的血清或血浆部分212SP。

试样212可以包括被包含在管215内的血清或血浆部分212SP和沉降的血液部分212SB。可以在血清和血浆部分212SP上方提供空气216，并且空气216以及血清和血浆部分212SP之间的液体-空气分界线被定义为液体-空气界面（LA）。血清或血浆部分212SP和沉降的血液部分212SB之间的分界线被定义为血清-血液界面（SB）。空气216和顶盖214之间的界面被定义为管-盖界面（TC）。管的高度（HT）被定义为从管215的最底部到顶盖214的底部的高度，并且可以用于确定管的大小。血清或血浆部分212SP的高度是HSP，并被定义为从血清或血浆部分212SP的顶部到沉降的血液部分212SB的顶部的高度。沉降的血液部分212SB的高度是HSB，并且被定义为在SB处从沉降的血液部分212SB的底部到沉降的血液部分212SB的顶部的高度。HTOT是试样212的总高度，并且等于HSP加上HSB。

更详细地，自动化诊断分析系统100可以包括底座120（图1）（例如，框架、底板或其他结构），轨道121可以安装在底座120上。轨道121可以是有轨轨道（例如，单轨或多轨）、传送带、传送带链、可移动平台或任何其他合适类型的传送机构的集合。轨道121可以是圆形或任何其他合适的形状，并且在一些实施例中可以是封闭的轨道（例如，无端轨道）。在操作中，轨道121可以将试样容器102中的单独试样容器运送到如保持在载体122中的轨道121周围间隔开的各个位置（图3）。

载体122可以是被动的非机动的圆盘，其可以被配置为在轨道121上运载单个试样容器102，或可选地，是包括机载驱动马达的自动化载体，所述机载驱动马达诸如被编程以围绕轨道121移动并在预编程位置处停止的线性马达。可以使用载体122的其他配置。载体122可以每个包括被配置为将试样容器102保持在限定的竖直位置和取向的保持器122H（见图3）。保持器122H可以包括将试样容器102固定在载体122上的多个指状物（或片簧）122F（标记的几个），但是一些指状物可以是可移动的或柔性的，以适应不同大小（例如，直径）的试样容器102。在一些实施例中，载体122可以在从一个或多个架子104卸载之后离开装载区域105。装载区域105可以起到双重功能，即在一个或多个分析仪106-110完成预筛选和/或分析之后，还允许将试样容器102从载体122重新装载到装载区域105。

可以在装载区域105处提供机器人124，并且机器人124可以被配置为从一个或多个架子104抓取试样容器102，并将试样容器102装载到载体122上，诸如装载到轨道121的输入通道上。机器人124还可以被配置为将试样容器102从载体122重新装载到一个或多个架子104。机器人124可以包括能够进行X（横向）和Z（垂直——在页面外，如所示出的）、Y和Z、X、Y和Z或者r（径向）和theta（旋转）运动的一个或多个（例如，至少两个）机器人臂或组件。机器人124可以是龙门机器人、铰接机器人、R-theta机器人或其他合适的机器人，其中机器人124可以配备有机器人抓爪，抓爪被定向、定大小和配置为拾取和放置试样容器102。

在装载到轨道121上时，由载体122承载的试样容器102可以前进到第一预处理站125。例如，第一预处理站125可以是自动化离心机，其被配置为实行将试样212分离成血清或血浆部分212SP和沉降的血液部分212SB。携带试样容器102的载体122可以通过流入通道或其他合适的机器人转向到第一预处理站125。在被离心之后，试样容器102可以在流出通道上离开，或者由机器人以其他方式移除，并且继续沿着轨道121。在所描绘的实施例中，载体122中的试样容器102接下来可以被运送到质量检查模块130，该质量检查模块130被配置为根据本公开的实施例实行预筛选和表征试样的方法，如将在本文中进一步描述的。

质量检查模块130被配置为进行预筛选和实行本文中所描述的表征方法，以自动确定试样212中包含的H、I和/或L的存在并且可选地自动确定范围或程度，或试样是否正常（N）。如果发现包含有效低量的H、I和/或L，从而被视为正常（N），则试样212可以继续在轨道121上，并且然后可以被一个或多个分析仪（例如，第一、第二和/或第三分析仪106、108和/或110）分析。此后，试样容器102可以返回到装载区域105，用于重新装载到一个或多个架子104。

在一些实施例中，除了HILN确定之外，还可以发生试样容器102和试样212的分割。根据分割数据，计算机143的后处理可以用于试样212的量化（即，确定HSP、HSB、HTOT，以及确定SB或SG以及LA的位置）。在一些实施例中，试样容器102的物理属性（例如，大小——高度和/或宽度/直径）的表征也可以在质量检查模块130处发生。这样的表征可以包括确定HT和W，以及可能的TC和/或W或Wi。从该表征中，可以提取试样容器102的大小。此外，在一些实施例中，质量检查模块130还可以确定顶盖颜色和/或顶盖类型，这可以用作安全检查，并且可以捕捉是否错误的管类型已经用于所安排的测试。

在一些实施例中，可以在自动化诊断分析系统100上提供远程站132，其不直接链接到轨道121。例如，独立的机器人133（以虚线示出）可以将包含试样212的试样容器102运载到远程站132，并在测试/预处理之后将其返回。可选地，试样容器102可以被手动移除和返回。远程站132可以用于测试某些成分，诸如溶血水平，或者可以用于进一步的处理，诸如通过一次或多次添加和/或通过附加的处理来降低脂血水平，或者移除例如先前由质量检查模块130确定的凝块、气泡或泡沫。使用本文中描述的HILN检测方法的其他预筛选可以在远程站132处完成。

可以在轨道121上或沿着轨道121的一个或多个位置处提供（一个或多个）附加站。（一个或多个）附加站可以包括去盖站、等分站、一个或多个附加质量检查模块130等。

自动化诊断分析系统100可以包括轨道121周围一个或多个位置处的多个传感器116。传感器116可以用于借助于读取标识信息218i或每个载体122上提供的类似信息（未示出）来检测试样容器102在轨道121上的位置。可以使用用于跟踪位置的任何合适的部件，诸如接近传感器。所有的传感器116可以与计算机143对接，使得可以随时知道每个试样容器102的位置。

预处理站和分析仪106、108和110可以配备有从轨道121移除载体122的机器人机构和/或流入通道，以及配备有被配置为将载体122重新输入轨道121的机器人机构和/或流出通道。

自动化诊断分析系统100可以由计算机143控制，所述计算机143可以是基于微处理器的中央处理单元CPU，具有合适的存储器和合适的调节电子器件和驱动器，用于操作各种系统组件。计算机143可以作为自动化诊断分析系统100的底座120的一部分或与其分离安置。计算机143可以操作来控制载体122往返于装载区域105的运动、围绕轨道121的运动、往返于第一预处理站125的运动以及第一预处理站125（例如，离心机）的操作、往返于质量检查模块130的运动以及质量检查模块130的操作，以及往返于每个分析仪106、108、110的运动。在一些实施例中，用于实行各种类型的测试（例如，化验或临床化学）的每个分析仪106、108、110的操作可以由计算机143提供，或者可选地，每个分析仪106-110可以包括其自己的服务器或计算机，其可以经由合适的网络（诸如LAN或WAN）与计算机143对接和通信。

对于除质量检查模块130之外的所有模块，计算机143可以根据软件、固件和/或硬件命令或电路控制自动化诊断分析系统100，诸如在纽约州Tarrytown的西门子医疗保健诊断有限公司销售的Dimension®临床化学分析仪上使用的命令或电路，并且这样的控制对于基于计算机的机电控制编程领域的技术人员来说是典型的，并且本文中将不进一步描述。可以使用用于控制自动化诊断分析系统100的其他合适的系统。质量检查模块130的控制也可以由计算机143提供，但是根据本文中详细描述的本发明的表征方法。

如用于图像处理和实行本文中所描述的表征方法的计算机143可以包括CPU或GPU、足够的处理能力和RAM以及合适的存储设备。在一个示例中，计算机143可以是配备有一个或多个GPU、8 GB或更多RAM以及1TB或更多存储的多处理器PC。在另一个示例中，计算机143可以是配备GPU的PC，或者可选地是以并行模式操作的配备CPU的PC。也可以使用数学内核库（MKL），8GB或更多的RAM，以及合适的存储装置。

可以使用计算机接口模块（CIM）145来实现本公开的实施例，该模块允许用户容易且快速地访问显示器145D的各种控制和状态显示屏。这些控制和状态显示屏可以显示和使得能够实现对用于试样212的预筛选、预处理制备和分析的多个互相关自动化设备的一些或所有方面的控制。CIM 145可以被采用以提供关于多个互相关自动化设备的操作状态的信息，以及描述任何试样212的位置和要在试样212上执行或正在执行的测试的状态的信息。CIM 145因此适于促进操作员和自动化诊断分析系统100之间的交互。CIM 145的显示器145D可以操作以显示包括图标、滚动条、框和按钮的菜单，操作员可以通过该菜单与自动化诊断分析系统100进行交互。该菜单可以包括多个功能元件，这些功能元件被编程为显示和/或操作自动化诊断分析系统100的功能方面。如将从下文显而易见的，显示器145D可以用于显示试样212的表征所基于的训练图像。

图4A和图4B示出了质量检查模块130的实施例，所述质量检查模块130被配置为实行如本文中所示出和所描述的表征方法。质量检查模块130和计算机143可以配置有编程指令，以在由一个或多个分析仪106、108、110进行分析之前，预筛选试样212（例如，其血清或血浆部分212SP）中干扰物（例如，H、I和/或L）的存在和程度。以这种方式进行的预筛选允许对试样212进行附加的处理、附加的量化或表征、和/或丢弃和/或重新绘制，而不会浪费宝贵的分析仪资源或可能使干扰物的存在影响测试结果的准确性。

除了本文中所描述的干扰物检测方法之外，可以在质量检查模块130处对包含在试样容器102中的试样212进行其他检测方法。例如，可以在质量检查模块130处实行一种方法来提供分割数据。分割数据可以在后处理步骤中用于量化试样212，例如确定试样212的某些物理维度特性，诸如LA和SB，和/或确定HSP、HSB和/或HTOT。量化还可以涉及估计例如血清或血浆部分的体积（VSP）和/或沉降的血液部分的体积（VSB）。更进一步的，质量检查模块130可以用于量化试样容器102的几何形状，即，量化试样容器102的某些物理维度特性，诸如试样容器102的TC、HT和/或W或Wi的位置。也可以确定其他可量化的几何特征。

质量检查模块130可以包括外壳446，所述外壳446可以至少部分包围或覆盖轨道121，以最小化外部照明影响。在图像拍摄序列期间，试样容器102可以位于外壳446内部。外壳446可以包括一个或多个门446D，以允许载体122进入和/或离开外壳446。在一些实施例中，顶板可以包括开口446O，以允许包括可移动机器人手指的机器人从上方将试样容器102装载到载体122中。

如图4A和4B中所示出的，质量检查模块130可以包括多个图像捕获装置440A-440C，其被配置为从多个视点（标记为1、2和3的视点）在成像位置432处捕获试样容器102和试样212的横向图像。虽然示出并优选了三个图像捕获装置440A-440C，但是可选地可以使用两个、四个或更多个。如所示出的，视点1-3可以被布置成使得它们彼此近似相等间隔，诸如彼此间隔大约120°。例如，可以以循环方式拍摄图像，其中可以拍摄来自视点1的一个或多个图像，随后依次拍摄视点2和3。可以使用其他图像拍摄序列。光源444A-444C可以从背后照亮试样容器102（如所示出的）。多个视点是有利的，因为从视点1-3拍摄的一个或多个图像可能被一个或多个标签218部分或完全遮挡（即，没有血清或血浆部分212SP的清晰视图）。从多个视点中，可以发现至少一个未遮挡的视点。

如所描绘的，图像捕获装置440A、440B、440C可以布置在轨道121周围。可以使用多个图像捕获装置440A、440B、440C的其他布置。以这种方式，当试样容器102驻留在成像位置432处的载体122中时，可以拍摄试样容器102中的试样212的图像。当使用三个或更多个视点时，由图像捕获装置440A、440B、440C获得的多个图像的视野可以在圆周范围中稍微重叠。

图像捕获装置440A-440C可以是用于捕获清晰数字图像的任何合适装置，诸如能够捕获像素化图像的常规数码相机、电荷耦合器件（CCD）、光电探测器阵列、一个或多个CMOS传感器等。捕获的图像大小可以是例如大约2560×694像素。在另一个实施例中，图像捕获装置440A、440B、440C可以捕获例如大约1280×387像素的图像大小。可以使用其他图像大小和像素密度。

可以在质量检查模块130处响应于从计算机143接收通信线路443A、443B、443C中提供的触发信号而触发和捕获每个图像。根据一个或多个实施例，每个捕获的图像可以由计算机143处理。在一种特别有效的方法中，可以使用高动态范围（HDR）处理来捕获和处理来自捕获的图像的图像数据。

图5示出了被配置为实行本文中所描述的HILN表征方法的HILN网络架构500。架构500可以在由计算机143经由存储在存储器中的编程指令控制的质量检查模块130中实现。如上面所讨论的，可以在质量检查模块130的成像位置432处（图4A和4B）提供试样容器102，如功能块502中所表示的。如功能块504中所表示的，多个图像捕获装置440A-440C可以捕获一个或多个图像（例如，多视点图像）。每个多视点图像的图像数据可以被处理，以提供多个最佳曝光和标准化的图像数据集（下文中称为“图像数据集”），如Wissmann等人的美国专利申请公开号2018/0372648和2019/0041318中描述的如功能块506中所表示的那样。试样（和试样容器）的图像的图像数据（即，像素数据）可以作为输入提供给HILN网络535，其可以是分割卷积神经网络（SCNN）。可以采用其他类型的HILN网络来提供HILN确定。

预处理期间可能发生的一项任务是试样容器（诸如例如试样容器102）的详细表征。这可以包括例如将试样容器从其背景中分离出来，理解血清或血浆部分212SP的内容和位置，以及分割粘附到试样容器的任何标签。所有这些任务都可以用HILN网络535来完成，所述HILN网络535可以执行像素级分类。给定输入图像（即，像素数据），HILN网络535可操作来基于其像素数据值所指示的其局部外观将分类索引分配给图像的每个像素。提取的像素索引信息可以由HILN网络535进一步处理，以确定最终的HILN分类索引。在一些实施例中，分类索引可以包括21个血清类，包括未离心类、正常类和19个HIL类/子类，如下面更详细描述的。

确定HILN分类索引的挑战可能是由H、I和L类的每个子类（索引）内的微小外观差异引起的。也就是说，相邻子类的像素数据值可能非常相似。为了克服这些挑战，HILN网络535可以包括深度语义分割网络（DSSN）538，其在一些实施例中包括多于100个操作层。深度语义分割网络（DSSN）538是深度学习网络（也称为深度结构化学习），并且是基于具有表示学习的人工神经网络的更广泛的机器学习方法家族的一部分。学习可以是有监督的、半监督的或无监督的。

为了克服可能由试样容器类型（例如，大小和/或形状）的变化引起的外观差异，HILN网络535还可以包括DSSN 538前端处的容器分割网络（CSN）536。CSN 536被配置和操作来确定容器类型和边界信息。容器类型和边界信息537可以经由附加的输入通道输入到DSNN 538，并且在一些实施例中，HILN网络535可以提供所确定的容器类型和边界分割539作为输出。在一些实施例中，CSN 536可以具有与DSSN 538类似的网络结构，但是更浅（即，具有更少得多的层）。

如图5中所示出的，HILN网络535的输出可以是分类索引540，在一些实施例中，所述分类索引540可以包括未离心类540U、正常类540N、溶血类540H、黄疸类540I和脂血类540L。在一些实施方案中，溶血类540H可以包括溶血子类H0、H1、H2、H3、H4、H5和H6。黄疸类540I可以包括黄疸子类I0、I1、I2、I3、I4、I5和I6。并且脂血类540L可以包括脂血子类L0、L1、L2、L3和L4。在其他实施例中，溶血类540H、黄疸类540I和/或脂血类540L中的每一个均可以具有其他数量的细粒度子类。

也如图5中所示出的，根据一个或多个实施例，HILN网络535可以包括前端散列网络508（HN）。前端散列网络508（HN）在由DSSN 538处理之前向图像分配唯一的散列码。前端散列网络508（HN）可以被配置为（经由编程指令）如下面结合图6的散列网络601所描述的那样操作。在替代实施例中，散列网络508可以是后端散列网络，其被配置为从DSSN 538接收试样容器中的试样的输入图像的分割区域（例如，血清或血浆部分212SP），而不是完整的输入图像本身。散列码被分配并索引到散列表，以允许稍后容易检索相应的训练图像。

图6图示了根据一个或多个实施例的并入在图5的HILN网络535中的散列网络过程600。散列网络过程600包括散列网络601，在训练阶段602和测试阶段604可实现。在训练阶段602期间，散列网络601为训练试样图像605提供散列/索引，其中这样的图像605用于训练HILN网络535，诸如DSSN 538。例如，DSSN 538被训练来执行要在自动化诊断分析系统100中分析的每个样本试样212的血清或血浆部分212SP的至少HILN确定。散列网络601将唯一的散列码603（例如，码-1，码-2，码-3，...码-n）分配给表示相同训练样本试样212的每个训练图像或每个训练图像组605。同样，散列网络601向每个测试图像或测试图像组606分配唯一的散列码608。由散列网络601的散列函数返回的值被称为散列码。机器学习算法、特别是散列神经网络是产生散列码的散列函数。散列码用于索引训练图像605。例如，图6中所示出的三个训练图像605表示相同的样本试样，其中三个图像605可能已经分别由图像捕获装置440A、440B、440C从图4A的相应视点1-3捕获。在一些实施例中，用于相似HILN类索引或组中的训练图像的散列码603之间可以具有最小的距离（差异），而跨HILN类或组的散列码603之间可以具有大的距离。相应散列码之间的距离可以由任何合适的例程（诸如汉明函数）来确定。分配的训练图像散列码603（可能连同它们相应的训练图像的其他标识符）可以存储在存储器中，诸如存储在计算机143的数据库中，并且可以在稍后使用散列表来检索。

在测试阶段604期间，散列网络601提供对每个HILN确定所基于的特定训练图像的检索。如图6所示出的，表示待分析的相同试样的视点1-3的测试试样图像606可以被输入到散列网络601，所述散列网络601向测试试样图像606分配唯一的散列码608（码-k）。如果HILN网络535已经被彻底训练，则那么分配的散列码608（码-k）可以是这样的，即它与由散列网络508或以其他方式确定的最接近匹配试样图像606的训练图像的（一个或多个）特定散列码603的距离最小（例如，接近或相同）。例如，散列网络过程600的匹配/检索特征610（由计算机143执行）可以随后检索特定训练图像612，基于该特定训练图像612确定试样图像606中描绘的试样的HILN索引，并且可以诸如在合适的显示屏上经由CIM 145将那些图像呈现给用户。还可以显示分类的置信水平。

最接近的散列码可以通过汉明距离函数或者测试样本散列码608和（一个或多个）训练图像605的最接近的训练散列码603之间的差异的其他度量来确定。散列码越接近，图像就越相似和匹配得越好。在一些实施例中，前两个或前几个训练图像605可以被选择为最接近以用于显示给用户。一旦学习了散列码，检索技术就可以简单到检索K（K是整数）最近邻，或者可以基于更高级的检索模型来检索。K可以由用户设置或可选择。

网络535可以确定测试图像606的分类不正确。不正确的HILN确定以及散列网络过程600的散列/索引和匹配/检索特征可以有利地促进不正确的HILN确定的调试。这可以例如通过为由HILN网络535做出的每个HILN确定（经由检索的特定训练图像612）提供基础或推理来实现。在一些实施例中，不正确的HILN确定是基于由HILN网络535诸如通过Softmax函数分配的置信水平来确定的。例如，如果置信水平低于预选值，诸如0.0至1.0尺度中的0.75，则那么HILN确定可以被认为是不正确的HILN确定。在其他实施例中，如果测试散列码608和训练散列码603之间的距离大于预选距离，则那么HILN确定可以被认为是不正确的HILN确定。因此，不正确的HILN确定可以标记测试图像606与HILN网络535在HILN确定中使用的特定训练图像612的比较，并且可以采取适当的校正措施。例如，校正措施可以包括HILN网络535的重新训练。HILN网络535的保留可以涉及提供来自被认为是不正确分类的那些图像606的新图像数据和先前用于训练HILN网络535的模型的旧图像数据的混合。训练可以在本地发生，或者可以在远程服务器/云上训练。可以再次测试经训练的人工智能模型，以用于验证/确认用于监管批准的旧数据，连同来自被认为是不正确分类的那些图像606的至少一些新收集的数据。HILN网络535生成符合监管过程的性能报告，该报告突出了对先前训练的模型的改进。基于该报告，用户可以批准更新，或者HILN网络535可以自动更新。这些更新可以在不中断现有工作流的情况下发生。例如，更新可以简单地利用新模型替换HILN网络535的旧模型。该更新可以由服务技术人员执行，或者其可以被远程下载。因此，HILN网络535可以利用表示不正确表征的试样的附加训练图像来训练。散列网络过程600还可以有利地基于散列码来标识离群值，可以以最小的努力灵活地将新的HILN类集合添加到HILN网络，并且经由CIM 145提供关于失败情况（例如，不正确确定的HILN索引）和/或经由分配的置信水平需要更多关注的试样样本（例如，更紧密匹配的训练图像）的报告。

注意，在一些实施例中，散列网络601可以是前端散列网络（诸如图5中所示出的散列网络508），后端散列网络，其被耦合以从DSSN 538接收试样和试样容器的输入图像的分割区域（直接在试样的分割区域上操作），或独立的HILN网络，其合并有并且执行HILN 535的CSN 536和/或DSSN 538的一些或全部功能。

图7图示了根据一个或多个实施例的表征方法700的流程图。如本文中所描述的，表征方法700可以由自动化诊断分析系统100的质量检查模块130（结合计算机143和编程指令）来实行，并且可以包括在过程块702处接收多个训练图像，以用于训练质量检查模块的HILN（溶血性、黄疸性、脂血性、正常）网络，该质量检查模块包括自动化诊断分析系统中的计算机，每个训练图像描绘试样容器中的样本试样。训练图像可以是例如图6的训练图像605，和/或可以由（图4A和4B的）图像捕获装置440A-440C中的一个或多个捕获，其中每个可以是数字像素化图像。训练图像用于训练质量检查模块的HILN网络，诸如例如质量检查模块130的HILN网络535。

表征方法700可以进一步包括，在过程块704中，经由HILN网络的散列网络将散列码分配给每个训练图像。散列码可以由散列网络601（见图5和6）分配，并且可以是例如图6的散列码603，其中相似HILN类或组中的训练图像605的散列码之间可以具有最小距离，而跨HILN类或组的散列码605之间可以具有大的距离。

在过程块706中，表征方法700可以包括接收待在自动化诊断分析系统中分析的试样容器中的试样的一个或多个图像。例如，参考图4A和4B，可以从图像捕获装置440A、440B、440C接收从视点1-3拍摄的试样图像。试样图像可以是例如图6的试样图像606。

在过程块708中，表征方法700可以包括基于经由HILN网络接收的一个或多个图像，使用多个训练图像来表征待分析的试样，以确定包括溶血性、黄疸性、脂血性和正常类的分类索引。例如，分类索引可以是分类索引540（见图5），其在一些实施例中可以包括以下类（和子类）：540U、540N、540H（H0、H1、H2、H3、H4、H5、H6）、540I（I0、I1、I2、I3、I4、I5、I6）和540L（L0、L1、L2、L3和L4）。

在过程块710中，表征方法700可以包括经由散列码来检索所表征试样的确定的分类索引所基于的多个训练图像中的一个或多个。例如，参考图6，散列网络过程600可以包括检索特征610，其可以从（图1、4A和4B的）计算机143的存储器检索试样图像606的HILN确定所基于的特定训练图像612。

因此，基于前述内容，应当显而易见的是，提供了改进的表征方法700，其促进调试不正确的HILN确定。

如也应当显而易见的是，可以使用质量检查模块（例如，质量检查模块130）实行上面的表征方法，质量检查模块包括围绕成像位置（例如，成像位置432）布置的多个图像捕获装置（例如，图像捕获装置）440A-440C，并被配置为从包括一个或多个标签218并包含试样212的试样容器102的一个或多个视点（例如，图4A的视点1-3）捕获一个或多个图像。质量检查模块还包括耦合到多个图像捕获装置并被配置成处理一个或多个图像的像素数据的计算机（例如，计算机143）。计算机（例如，计算机143）还可以被配置并能够被操作来经由散列网络将散列码分配给每个训练图像，将分配的散列码存储在计算机143的存储器或数据库中，并提供HILN确定和HILN确定所基于的特定训练图像（经由分配的散列码检索）。

虽然本公开易于进行各种修改和替代形式，但是特定方法和设备实施例已经在附图中通过示例的方式示出，并在本文中进行了详细描述。然而，应当理解的是，本文中公开的特定方法和设备并不旨在限制本公开，而是相反，覆盖了落入权利要求范围内的所有修改、等同物和替代物。

Claims (20)

1.一种在自动化诊断分析系统中表征试样的方法，包括：

接收多个训练图像以训练质量检查模块的HILN网络，所述质量检查模块包括自动化诊断分析系统中的计算机，每个训练图像描绘试样容器中的样本试样；和

经由HILN网络的散列网络将散列码分配给每个训练图像。

2.根据权利要求1所述的表征试样的方法，包括：

接收待在自动化诊断分析系统中分析的试样容器中的试样的一个或多个图像；

使用多个训练图像经由HILN网络基于一个或多个图像表征待分析的试样，以确定包括溶血性、黄疸性、脂血性或正常类的分类索引。

3.根据权利要求2所述的表征试样的方法，包括：

经由所述多个训练图像中的一个或多个的散列码来检索试样的分类索引所基于的所述多个训练图像中的一个或多个。

4.根据权利要求1所述的表征试样的方法，包括：

将试样容器中具有不正确HILN确定的试样的一个或多个图像与不正确HILN确定所基于的所述多个训练图像中的一个或多个进行比较。

5.根据权利要求1所述的表征试样的方法，其中经由散列码进行的检索是以试样的分类索引不正确的确定为条件的。

6.根据权利要求5所述的表征试样的方法，其中表征试样的分类索引不正确的确定是基于置信水平的。

7.根据权利要求1所述的表征试样的方法，其中所述多个训练图像包括由多个图像捕获装置捕获的多视点图像。

8.根据权利要求1所述的表征试样的方法，其中所述HILN网络包括深度语义分割网络（DSSN）。

9.根据权利要求1所述的表征试样的方法，其中多个训练图像中的每一个包括分类，所述分类包括溶血类、黄疸类、脂血类和正常类之一。

10.根据权利要求1所述的表征试样的方法，其中多个训练图像中的每一个包括溶血子类、黄疸子类或脂血子类。

11.根据权利要求1所述的表征试样的方法，其中散列网络包括在分割之前分配散列码的前端散列网络。

12.根据权利要求1所述的表征试样的方法，其中散列网络包括后端散列网络，所述后端散列网络被配置为接收每个训练图像的分割区域，并将散列码分配给试样的分割区域。

13.根据权利要求1所述的表征试样的方法，其中分配的训练图像散列码存储在计算机的数据库中，并且稍后被检索。

14.根据权利要求1所述的表征试样的方法，其中散列网络将散列码分配给表示相同样本试样的每个训练图像组。

15.根据权利要求1所述的表征试样的方法，包括经由试样的分类所基于的多个训练图像中的一个或多个的散列码进行检索，以及在显示屏上将多个训练图像中的一个或多个呈现给用户。

16.根据权利要求1所述的表征试样的方法，包括向HILN网络提供表示不正确表征的试样的一个或多个附加训练图像。

17.根据权利要求1所述的表征试样的方法，其中表征的方法由质量检查模块实行。

18.根据权利要求1所述的表征试样的方法，其中用于相同HILN类中的训练图像的散列码之间具有第一距离，而跨HILN类的散列码之间具有更大的距离。

19.一种表征试样的方法，包括：

接收多个训练图像以训练HILN网络，每个训练图像描绘试样容器中的样本试样；

经由散列网络将散列码分配给每个训练图像；

接收待由HILN网络分析的试样容器中的试样的一个或多个图像；

使用多个训练图像经由HILN网络基于所述一个或多个图像来表征待分析的试样，以确定溶血性、黄疸性、脂血性或正常类的分类索引；以及

经由所述多个训练图像中的一个或多个的散列码来检索分类索引所基于的所述多个训练图像中的一个或多个。

20.一种自动化诊断分析系统的质量检查模块，包括：

多个图像捕获装置，其被布置在成像位置周围，并且被配置为从其中包含试样的试样容器的多个视点捕获多个图像；以及

耦合到多个图像捕获装置的计算机，所述计算机经由编程指令被配置和可操作以进行以下操作：

将由多个图像捕获装置捕获的第一多个图像输入到在计算机上执行的HILN网络，所述第一多个图像表示用于训练HILN网络的多个训练图像，每个训练图像描绘试样容器中的样本试样，

经由散列网络将散列码分配给每个训练图像，

将由多个图像捕获装置捕获的一个或多个第二图像输入到在计算机上执行的HILN网络，所述一个或多个第二图像表示待在自动化诊断分析系统中分析的试样容器中的测试试样，

使用多个训练图像经由HILN网络基于所述一个或多个第二图像来表征待分析的测试试样，以确定包括溶血类、黄疸类、脂血类或正常类的分类索引，以及

经由散列码来检索测试试样的分类索引所基于的多个训练图像中的一个或多个。

Images