CN114600131A - 用于使用具有连续的基于性能的训练的诊断分析系统来进行自动化试样表征的方法和装置 - Google Patents

Abstract

一种在自动化诊断分析系统中表征待分析的试样的方法提供了对试样的分割确定和/或HILN（溶血、黄疸、高脂血、正常）确定，同时基于该确定中的准确度和/或置信度来提供表征训练更新。该方法包括：标识不正确或低置信度的分割或HILN确定；将该不正确或低置信度的确定从HILN网络转发到数据库；以及基于该不正确或低置信度的确定向HILN网络提供一个或多个训练图像。还描述了被配置成执行该方法的品质检查模块和系统作为其他方面。

Description

用于使用具有连续的基于性能的训练的诊断分析系统来进行 自动化试样表征的方法和装置

相关申请的交叉引用

本申请要求2019年10月31日提交的题为“METHODS AND APPARATUS FORCHARACTERIZING A SPECIMEN IN AN AUTOMATED DIAGNOSTIC ANALYSIS SYSTEM WHILECONTINUOUSLY PROVIDING TRAINING UPDATES BASED ON CHARACTERIZATIONPERFORMANCE”的美国临时专利申请No.62/929,063的优先权和权益，该申请的公开内容出于所有目的通过引用整体地并入于此。

技术领域

本公开涉及用于在自动化诊断分析系统中表征试样的方法和装置。

背景技术

自动化诊断分析系统可以分析试样，诸如例如尿液、血清、血浆、间质液、脑脊髓液等，以标识试样中的分析物或其他成分。这种试样通常被包含在试样容器（例如，试样收集管）中，该试样容器可以经由自动化轨道被运送到自动化诊断分析系统内的各种成像、预处理、预筛选和分析器站。

试样可以使用一种或多种试剂和可能地添加到其中的其他材料被预处理，并且然后在一个或多个分析器站处被分析。可以经由发光或光度读数或荧光吸收或发射读数、诸如通过使用询问辐射束（beam of interrogating radiation）等对试样执行分析性测量。分析性测量允许使用公知的技术来确定试样中的分析物或其他成分的量。

然而，可能由患者状况或样本预处理导致的试样中的干扰物（例如，溶血、黄疸和/或高脂血（lipemia））的存在可能会不利地影响从一个或多个分析器获得的分析物或成分测量的结果。例如，试样中的溶血（H）的存在——这可能与患者的疾病状态无关——可能会导致对患者疾病状况的不同解释。类似地，试样中的黄疸（I）和/或高脂血（L）的存在也可能导致对患者疾病状况的不同解释。

因此，可以在自动化诊断分析系统中执行用于表征试样的预筛选过程。对试样的表征可以包括分割确定，该分割确定可以标识试样容器和试样的各种区域。对试样的表征还可以包括HILN确定；也就是说，确定待分析的试样中的干扰物（诸如H、I和/或L）的存在以及可选地确定该干扰物的程度、或者确定试样是正常的（N）并且可以进一步被处理。该预筛选过程可以基于在自动化诊断分析系统的一个或多个成像站处捕获的试样容器中的试样的一个或多个图像。预筛选过程的性能（即，分割和/或HILN确定的准确度）可以基于试样和试样容器的训练图像集合，该训练图像集合用于“训练”预筛选过程，以便适当地表征试样和试样容器。该训练图像集合意图包括预期将在自动化诊断分析系统中接收到的各种不同的试样容器以及试样量和外观（例如，正常的、以及具有不同程度的每种干扰物）。

发明内容

根据第一方面，提供了一种在自动化诊断分析系统中表征试样的方法。该方法包括：经由该自动化诊断分析系统中的品质检查模块的HILN网络对试样容器中的试样的所捕获图像执行分割或HILN（溶血、黄疸、高脂血、正常）确定；标识不正确或低置信度的确定；将该不正确或低置信度的确定从HILN网络转发到数据库；以及基于该不正确或低置信度的确定向HILN网络提供一个或多个训练图像。

根据另一方面，提供了一种品质检查模块。该品质检查模块包括：在成像位置周围布置的多个图像捕获设备，该多个图像捕获设备被配置成从多个视点捕获试样容器的多个图像；以及耦合到该多个图像捕获设备的计算机。该计算机经由编程指令被配置并且可操作以经由该品质检查模块的HILN网络对试样容器中的试样的所捕获图像执行分割或HILN（溶血、黄疸、高脂血、正常）确定，其中所捕获图像由该多个图像捕获设备中的一个取得，并且HILN网络在该计算机上执行。该计算机经由编程指令被配置并且可操作，以标识不正确或低置信度的确定，将该不正确或低置信度的确定从HILN网络转发到数据库，以及基于该不正确或低置信度的确定向HILN网络提供一个或多个训练图像。

本公开的仍其他方面、特征和优点可以容易地从包括预期用于实施本发明的最佳模式的多个示例实施例和实现方式的以下描述和图示中变得明显。本公开还可以具有其他和不同的实施例，并且其若干个细节可以在各个方面被修改，所有这些都不脱离本发明的范围。本公开意图覆盖落入权利要求范围内的所有修改、等同物和替代物。

附图说明

下面描述的附图用于说明性目的，并且不一定按比例绘制。因此，附图和描述本质上被认为是说明性的，而不是限制性的。附图不意图以任何方式限制本发明的范围。

图1图示了根据一个或多个实施例的包括一个或多个品质检查模块的自动化诊断分析系统的俯视示意图，该品质检查模块被配置成执行分割和/或HILN（溶血、黄疸、高脂血、正常）确定方法。

图2图示了包括被分离的试样的试样容器的侧视图，该被分离的试样具有可能包含干扰物的血清或血浆部分。

图3图示了图2的试样容器的侧视图，该试样容器以竖直取向被保持在保持器中，该保持器可以在图1的自动化诊断分析系统内被运送。

图4A图示了根据一个或多个实施例的品质检查模块（其中移除了顶部）的示意性俯视图，该品质检查模块包括多个视点，并且被配置成捕获和分析多个图像以实现分割和/或HILN确定。

图4B图示了根据一个或多个实施例的沿着图4A的剖面线4B-4B截取的图4A的品质检查模块（其中移除了前围壁（front enclosure wall））的示意性侧视图。

图5图示了根据一个或多个实施例的HILN网络的功能框图，该HILN网络可操作以执行对试样容器中的试样的分割和干扰物确定，同时基于表征性能连续地向该HILN网络提供训练更新。

图6图示了根据一个或多个实施例的在品质检查模块中表征试样的方法的流程图。

具体实施方式

如上所陈述，该训练图像集合意图包括待分析的试样中预期的各种不同的试样容器以及试样大小和外观（例如，正常的、以及具有不同程度的每种干扰物）。然而，该训练图像集合可能不包括在自动化诊断分析系统中接收到的试样容器和/或试样外观中的每一个变化，和/或试样容器的大小、类型和特性可能随时间改变，从而导致不正确或低置信度的试样表征。

因此，存在如下未满足的需要：即，提供一种用于在自动化诊断分析系统中表征试样容器中的试样的方法和装置，该自动化诊断分析系统可以诸如利用新的训练图像被连续地更新。

可以在自动化诊断分析系统的一个或多个品质检查模块处自动执行对试样容器中包含的试样的预筛选。预筛选可以包括在成像站处捕获试样容器中包含的试样的一个或多个图像，并且对所捕获图像执行分割和/或HILN（溶血、黄疸、高脂血、正常）确定，并且在大多数情况下执行这两者。分割确定可以标识试样容器和试样的图像中的各种区域（区），诸如例如血清或血浆部分、沉降血液部分、凝胶分离剂（separator）（如果使用的话）、空气区域、一个或多个标签区域、试样容器的类型（指示例如高度和宽度或直径）、和/或试样容器盖的类型和/或颜色。HILN确定可以确定血液试样的血清或血浆部分中的干扰物的存在以及在一些实施例中确定该干扰物的程度、或者试样是否正常（N），正常（N）指示该试样要么包含可接受的低量干扰物、要么基本上根本不包含干扰物。

干扰物可以是溶血（H）、黄疸（I）或高脂血（L）。溶血可以被定义为血清或血浆部分中的如下状况：其中红血细胞在预处理期间被破坏，这导致血红蛋白从红血细胞释放到血清或血浆部分中，使得血清或血浆部分呈现微红色调。溶血的程度可以通过指派溶血索引（例如，在一些实施例中是H0-H6，并且在其他实施例中更多或更少）来量化。黄疸可以被定义为血液的如下状况：其中血清或血浆部分是褪色的暗黄色，这是由胆汁色素（胆红素）的积聚所引起的。黄疸的程度可以通过指派黄疸索引（例如，在一些实施例中是I0-I6，并且在其他实施例中更多或更少）来量化。高脂血可以被定义为血液中异常高浓度的乳化脂肪的存在，使得血清或血浆部分具有泛白或乳白色的外观。高脂血的程度可以通过指派高脂血索引（例如，在一些实施例中是L0-L4，并且在其他实施例中更多或更少）来量化。在一些实施例中，预筛选过程可以包括确定尚未离心的试样的血清或血浆部分的未离心（U）类别。

被配置成执行预筛选表征方法的自动化诊断分析系统的品质检查模块可以包括HILN网络，该HILN网络经由可以在品质检查模块的计算机上执行的编程指令来实现。HILN网络可以是或者包括例如分割卷积神经网络（SCNN），该网络接收试样容器中包含的被分级分离的试样的一个或多个所捕获图像作为输入。在一些实施例中，SCNN可以包括多于100个操作层，包括例如BatchNorm、ReLU激活、卷积（例如，2D）、丢弃（dropout）和去卷积（例如，2D）层，以提取特征，诸如简单边缘、纹理、以及血清或血浆部分和含标签区域的部分。顶部层（诸如，全卷积层）可以用于提供部分之间的相关性。该层的输出可以被馈送到SoftMax层，该SoftMax层在每像素（或每超像素（片块）——包括n×n个像素）的基础上产生关于每个像素或片块是否包括HILN的输出。在一些实施例中，SCNN可以仅提供HILN的输出。在其他实施例中，SCNN的输出可以包括多个类别的HILN，诸如多于20个类别的HILN，使得针对存在的每种干扰物，还可以获得该干扰物的水平（索引）的估计。SCNN中可以包括每一个HIL的其他数量的类别。SCNN还可以包括前端容器分割网络（CSN），以确定容器类型和容器边界。更特别地，CSN可以对试样容器和试样图像的各种区域（区）进行分类（或“分割”），这些区域诸如血清或血浆部分、沉降血液部分、凝胶分离剂（如果使用的话）、空气区域、一个或多个标签区域、试样容器的类型（指示例如高度和宽度/直径）、和/或试样容器盖的类型和/或颜色。还可以对试样容器保持器或背景（围绕试样容器的该图像的一部分）进行分类。替代地，在品质检查模块中可以使用其他类型的HILN网络。

如果发现试样包含H、I和L中的一个或多个，则可以向操作者提供合适的通知，和/或可以将该试样容器从线上拿走（take off line），（1）以执行补救从而纠正H、I或L中的一个或多个，（2）以重新抽取（redraw）试样，或者（3）以执行其他处理。因此，在由一个或多个分析器进行的分析之前针对HILN进行预筛选的能力可以有利地（a）最小化分析具有不适合用于分析的品质的试样所浪费的时间；（b）避免或最小化错误的测试结果；（c）最小化患者测试结果延迟；和/或（d）避免对患者试样的浪费。不正确或低置信度的样本试样确定可以与标注（annotation）一起被存储在本地数据库或基于云的系统中。

在执行预筛选过程之前，利用描述了试样容器中的试样的训练图像集合来“训练”HILN网络以表征试样容器中的试样。该训练图像集合意图包括预期将在稍后的试样表征中在自动化诊断分析系统中接收到的不同大小和类型的各种不同的试样容器以及不同的试样外观（例如，正常的、以及具有不同程度的每种干扰物并且以不同的量来提供）。为了优化系统性能，可以针对特定的自动化诊断分析系统、基于例如该系统的地理位置和操作大小（例如，是低体积、中体积还是高体积系统）来定制训练图像集合。因此，训练图像集合的内容可能从系统到系统而有些变化。此外，训练是非常耗时的，因此供应极高数量的训练图像及其标注可能是成本高昂的。因此，用于特定系统的训练图像集合可能不包括该系统可能遇到的试样容器的每一个变化和/或试样外观的每一个变化。而且，试样容器的类型和特性（例如，大小、所使用的玻璃或塑料材料、盖类型和颜色、容器标签大小及其位置等）可能随时间改变。因此，一些试样表征可能是不正确的或者被HILN网络视为具有低置信度（可以使用任何合适的技术来确定不正确的表征，并且可以由HILN网络使用任何合适的算法或技术来提供表征置信度水平）。

根据一个或多个实施例的HILN网络可以提供连续的训练更新，该训练更新可以经由在频繁或规律的基础上（诸如，在满足或超过不正确或低置信度试样表征的阈值数量时）进行的重新训练而被自动并入到HILN网络中。可以使用其他标准来将训练更新自动并入到HILN网络中。附加地或替代地，用户可以以用户的判断（discretion）来将训练更新并入到HILN网络中。可以使用任何合适的标准来将训练更新自动并入到HILN网络中，并且可以以任何合适的时间段或间隔来提供更新。

在一些实施例中，可以通过在给定时间段（例如，一周或两周）内操作新安装的自动化诊断分析系统来编译训练图像的初始集合。在该新安装的系统中接收到的试样的所捕获的图像数据可以被转发到数据库/服务器（其可以是本地的和/或该新安装的系统的一部分，或者它可以是基于云的服务器）。可以对该图像数据进行标注（例如，手动标注和/或自动生成的标注）以创建训练图像的初始集合。然后可以使用该训练图像集合来初始地训练该自动化诊断分析系统的品质检查模块的HILN网络。

在一些实施例中，具有由HILN网络执行的、被确定为不正确或低置信度的表征的试样可以不被自动转发到该自动化诊断分析系统的分析器，而是可以被搁置（set aside）以供进一步审阅。此外，被确定为不正确或低置信度的试样表征的图像以及其他相关数据可以被转发（并且在一些实施例中被加密）到数据库/服务器，其中生成并存储基于该不正确或低置信度表征的训练更新（例如，附加训练图像）。在一些实施例中，训练更新可以基于被确定为不正确或具有低置信度的试样表征的接收到的图像的手动标注和/或自动生成的标注。可以将训练更新转发到HILN网络，以便经由重新训练并入其中。在一些实施例中，可以向用户提供一个或多个训练更新的可用性的报告或提示，以允许用户决定何时以及是否在HILN网络中接收和/或并入一个或多个训练更新。

在一些实施例中，训练图像的初始集合和/或训练更新（它们中的每一个都是基于软件的）可以经由互联网或物理介质（例如，包含编程指令和数据的存储设备）被提供给自动化诊断分析系统（并且特别是HILN网络）作为重新训练的模型。

本文中将参考图1-6来进一步描述本发明的表征方法、被配置成执行本发明的表征方法的品质检查模块、以及包括具有训练更新能力的一个或多个品质检查模块的自动化诊断分析系统的进一步细节。

图1图示了能够自动处理包含试样212（参见图2）的多个试样容器102的自动化诊断分析系统100。试样容器102可以在运送到在自动化诊断分析系统100周围布置的一个或多个分析器（例如，第一分析器106、第二分析器108和/或第三分析器110）并且由其分析之前被提供在装载区域105处的一个或多个架子（rack）104中。更多或更少数量的分析器可以在系统100中使用。分析器可以是任何数量的临床化学分析器、化验仪器等的任何组合。本文中所使用的术语“分析器”意指用于针对化学进行分析、或者针对目标实体（分析物）（诸如，DNA或RNA）的存在、量或功能活性进行化验的设备。临床化学分析器中通常测试的分析物包括酶、底物、电解质、特定蛋白质、滥用药物和治疗性药物。试样容器102可以是任何合适的透明或半透明容器，诸如血液收集管、试管、样本杯、小玻璃管（cuvette）、或能够包含试样212并允许对其中包含的试样212进行成像的其他透明或不透明玻璃或塑料容器。试样容器102在大小上可以变化，并且可以具有不同的盖颜色和/或盖类型。

试样212（参见图2）可以在试样容器102中被提供给自动化诊断分析系统100，试样容器102可以用盖214盖住。盖214可以具有不同的类型和/或颜色（例如，红色、宝蓝色、浅蓝色、绿色、灰色、棕褐色、黄色或颜色组合），这可以在如下方面具有意义：试样容器102被用于什么测试、其中包括的添加剂的类型、容器是否包括凝胶分离剂等。也可以使用其他颜色。在一个实施例中，盖类型可以通过本文中描述的表征方法来确定。例如，盖类型可以用于确定试样212是否在真空下被提供和/或确定其中的添加剂的类型。

每一个试样容器102可以被提供有一个或多个标签218，标签218可以在其上包括标识信息218（即，标记），诸如条形码、字母字符、数字字符或其组合。标识信息218i可以包括例如患者信息（例如，姓名、出生日期、地址和/或其他个人信息）、要执行的测试、获得试样的时间和日期、医学设施信息、跟踪和路线信息等、或者与这些信息相关联（例如，通过实验室信息系统（LIS）147数据库）。其他信息也可以被包括在内。标识信息218i可以在关于自动化诊断分析系统100的各个位置处是机器可读的。机器可读信息可以比标签材料（例如，白色纸张）更深（例如，黑色），使得它可以容易地被成像。标识信息218i可以经由LIS 147或其他测试订购系统来指示患者的标识以及要对试样212执行的测试、或者以其他方式与其关联。这种标识信息218i可以被提供在标签218上，标签218可以粘附到或以其他方式被提供在管215的外表面上。如图2中所示，标签218可能不会一直围绕试样容器102延伸，或者不会一直沿着试样容器102的长度延伸，使得从所示的特定横向前部视点，血清或血浆部分212SP中的一些或大部分是可见的（如虚线示出的部分）并且不被标签218遮挡。

试样212可以包括被包含在管215内的血清或血浆部分212SP和沉降血液部分212SB。空气216可以被提供在血清和血浆部分212SP上方，并且它们之间的分界线被定义为液体-空气界面（LA）。血清或血浆部分212SP与沉降血液部分212SB之间的分界线被定义为血清-血液界面（SB）。空气216与盖214之间的界面被定义为管-盖界面（TC）。管的高度（HT）被定义为从管215的最底部部分到盖214的底部的高度，并且可以用于确定管大小（管高度）。血清或血浆部分212SP的高度是HSP，并且被定义为从LA处的血清或血浆部分212SP的顶部到SB处的沉降血液部分212SB的顶部的高度。沉降血液部分212SB的高度是HSB，并且被定义为从沉降血液部分212SB的底部到SB处的沉降血液部分212SB的顶部的高度。HTOT是试样212的总高度，并且等于HSP加上HSB。

更详细地，自动化诊断分析系统100可以包括基座120（图1）（例如，框架、地板或其他结构），轨道121可以安装在基座120上。轨道121可以是有导轨的轨道（例如，单轨或多轨）、传送带集合、传送链、可移动平台或任何其他合适类型的传送机构。轨道121可以是圆形或任何其他合适的形状，并且在一些实施例中可以是闭合轨道（例如，环形轨道）。在操作中，轨道121可以将试样容器102中的个体试样容器用载体122运送到关于轨道121而间隔开的各种位置。

载体122可以是被动的、非马达驱动的圆盘，该圆盘可以被配置成在轨道121上承载单个试样容器102，或者载体122可选地是自动化载体，其包括板载驱动马达，诸如被编程为关于轨道121而移动并且在预编程的位置处停止的线性马达。可以使用载体122的其他配置。载体122可以均包括保持器122H（参见图3），该保持器122H被配置成以限定的竖直位置和取向来保持试样容器102。保持器122H可以包括多个指状物或片簧，该指状物或片簧将试样容器102固定在载体122上，但是一些指状物或片簧是可移动的或柔性的以容纳不同大小（宽度）的试样容器102。在一些实施例中，载体122可以在从一个或多个架子104被卸载之后从装载区域105离开。装载区域105可以起到双重功能，即，还允许在预筛选和/或分析完成之后将试样容器102从载体122重新装载到装载区域105。

机器人124可以被提供在装载区域105处，并且可以被配置成从一个或多个架子104抓取（grasp）试样容器102，并且将试样容器102装载到载体122上，诸如装载到轨道121的输入通道上。机器人124还可以被配置成将试样容器102从载体122重新装载到一个或多个架子104。机器人124可以包括一个或多个（例如，至少两个）机器人臂或组件，该机器人臂或组件能够进行X（横向）和Z（垂直——从该页面离开，如所示出）、Y和Z、X、Y和Z、或r（径向）和θ（theta）（旋转）运动。机器人124可以是高架式（gantry）机器人、关节型机器人、R-θ机器人或其他合适的机器人，其中机器人124可以配备有机器人夹具指状物，该夹具指状物被定向、形成尺寸并配置成拾取和放置试样容器102。

在被装载到轨道121上时，由载体122承载的试样容器102可以前进到第一预处理站125。例如，第一预处理站125可以是被配置成实施对试样212的分级分离（fractionation）的自动化离心机。承载试样容器102的载体122可以通过流入通道或合适的机器人而被转移到第一预处理站125。在被离心之后，试样容器102可以在流出通道上离开，或者以其他方式由机器人移除，并且沿着轨道121继续。在所描绘的实施例中，载体122中的试样容器102接下来可以被运送到被配置成执行预筛选的品质检查模块130，如将在本文中进一步描述的那样。

品质检查模块130被配置成进行预筛选并且执行本文中描述的表征方法中的一个或多个，诸如以自动确定试样212中包含的H、I和/或L的存在并且可选地确定其限度（extent）或程度、或者试样是否正常（N）。如果发现包含有效低量的H、I和/或L，从而被认为是正常的（N），则试样212可以在轨道121上继续，并且然后可以由一个或多个分析器（例如，第一、第二和/或第三分析器106、108和/或110）进行分析。可以对试样212和/或试样容器102进行其他预处理操作。在由一个或多个分析器（例如，第一、第二和/或第三分析器106、108和/或110）分析之后，试样容器102可以被返回到装载区域105以用于重新装载到一个或多个架子104或以其他方式卸载。

在一些实施例中，除了HILN检测之外，还可以进行对试样容器102和试样212的分割。根据分割数据，可以使用后处理来量化试样212（即，确定HSP、HSB、HTOT和/或可能地确定SB、LA和/或TC的位置）。在一些实施例中，对试样容器102的物理属性（例如，大小——高度和宽度（或直径））的表征可以在品质检查模块130处进行。这种表征可以包括确定HT和W，并且可能地确定TC和/或Wi。根据该表征，可以提取试样容器102的大小。此外，在一些实施例中，品质检查模块130还可以确定盖类型，盖类型可以用作安全性检查并且可以捕捉错误的管类型是否已经被用于所订购的一个或多个测试。

在一些实施例中，远程站132可以被提供在不直接链接到轨道121的自动化诊断分析系统100上。例如，独立的机器人133（用虚线示出）可以将包含试样212的试样容器102携带到远程站132，并且在测试/预处理之后将它们返回。可选地，试样容器102可以被手动移除和返回。例如，远程站132可以用于针对某些成分（诸如，溶血水平）进行测试，或者可以用于进一步处理，诸如以通过一次或多次添加和/或通过附加的处理来降低高脂血水平，或者移除在品质检查模块130处的表征中标识的凝块、气泡或泡沫。使用本文中描述的HILN检测方法的其他预筛选可以可选地在远程站132处完成。

可以在轨道121上的或沿着轨道121的一个或多个位置处提供（一个或多个）附加站。（一个或多个）附加站可以包括去盖站、等分取样站、一个或多个附加品质检查模块130等。

自动化诊断分析系统100可以包括在轨道121周围的一个或多个位置处的多个传感器116。传感器116可以用于借助于读取标识信息218i或被提供在每个载体122上的类似信息（未示出）来检测轨道121上的试样容器102的位置。可以使用用于跟踪位置的任何合适的部件，诸如接近传感器。所有传感器116可以与计算机143对接，使得每个试样容器102沿着轨道121的位置可以在任何时候都是已知的。

预处理站和分析器106、108和110可以配备有被配置成从轨道121移除载体122的机器人机构和/或流入通道，并且配备有被配置成使载体122重新进入轨道121的机器人机构和/或流出通道。

自动化诊断分析系统100可以由计算机143控制，计算机143可以是基于微处理器的中央处理单元CPU，该中央处理单元CPU具有合适的存储器和合适的调节电子器件和驱动器，以用于操作各种系统组件。计算机143可以被容纳作为自动化诊断分析系统100的基座120的一部分或者与其分离。计算机143可以操作以控制载体122往返于装载区域105的移动、关于轨道121的运动、往返于第一预处理站125的运动以及第一预处理站125（例如，离心机）的操作、往返于品质检查模块130的运动以及品质检查模块130的操作、以及往返于每个分析器106、108、110的运动。用于执行各种类型的测试（例如，化验或临床化学）的每个分析器106、108、110的操作可以由每个分析器106、108、110处的本地工作站计算机来执行，该本地工作站计算机与计算机143进行数字通信，诸如通过网络149（图1），诸如局域网（LAN）或无线局域网（WAN）或其他合适的通信网络。可选地，上述分析器106、108、110中的一些或全部的操作可以由计算机143提供。

对于除了品质检查模块130之外的所有模块，计算机143可以根据软件、固件和/或硬件命令或电路来控制自动化诊断分析系统100，该软件、固件和/或硬件命令或电路诸如在由纽约州塔里敦的西门子医疗保健诊断公司销售的Dimension®临床化学分析器上使用的那些，并且这种控制对于基于计算机的机电控制编程领域的技术人员来说是典型的，并且本文中将不再进一步描述。可以使用用于控制自动化诊断分析系统100的其他合适的系统。品质检查模块130的控制也可以由计算机143但是根据本文中详细描述的本发明的表征方法来提供。

计算机143可以用于图像处理以及执行本文中描述的表征方法。该计算机可以包括CPU或GPU、足够的处理能力和RAM以及合适的存储设备。在一个示例中，计算机143可以是配备有多处理器的PC，该PC具有一个或多个GPU、8 GB Ram或更多、以及太字节（Terabyte）或更多的存储装置。在另一示例中，计算机143可以是配备有GPU的PC，或者可选地是以并行化模式操作的配备有CPU的PC。也可以使用数学内核库（MKL），8 GB RAM或更多、以及合适的存储装置。

本公开的实施例可以使用计算机接口模块（CIM）145来实现，该计算机接口模块145允许用户容易且快速地访问各种控制和状态显示屏。这些控制和状态显示屏可以显示并且使得能够控制用于制备、预筛选、以及分析试样212的多个相互关联的自动化设备的一些或所有方面。CIM 145可以被采用以提供关于多个相互关联的自动化设备的操作状态的信息、以及描述了任何试样212的位置和要在试样212上执行或正在试样212上执行的预筛选和（一个或多个）测试的状态的信息。因此，CIM 145被适配成便于操作者与自动化诊断分析系统100之间的交互。CIM 145可以包括显示屏，该显示屏可操作以显示包括图标、滚动条、框和按钮的菜单，操作者可以通过该菜单与自动化诊断分析系统100进行对接。菜单可以包括被编程为显示和/或操作自动化诊断分析系统100的功能方面的多个功能元件。

图4A和图4B示出了品质检查模块130的实施例，该品质检查模块130被配置成执行如本文中所示出和描述的表征方法。品质检查模块130可以用编程指令来配置，以在由一个或多个分析器106、108、110中的一个或多个进行分析之前针对试样212中的（例如，其血清或血浆部分212SP中的）干扰物（例如，H、I和/或L）的存在以及可选地其程度进行预筛选。以此方式进行的预筛选允许对试样212进行附加的处理、附加的量化或表征、和/或丢弃和/或重新抽取，而不会浪费有价值的分析器资源或者不会可能地使干扰物的存在影响测试结果的真实性。此外，在一些方面，预筛选可以使得能够实现对未来试样212的改进表征。

除了本文中描述的干扰物检测方法之外，还可以在品质检查模块130处对试样容器102中包含的试样212进行其他检测方法。例如，可以在品质检查模块130处执行一种方法以提供分割数据。分割数据可以在成像后步骤中用于量化试样212，例如以确定试样212的某些物理尺寸特性，诸如LA和/或SB的位置，和/或确定HSP、HSB、HT、Wi和/或HTOT。量化还可以涉及基于内部宽度Wi的量化来估计例如血清或血浆部分的体积（VSP）和/或沉降血液部分的体积（VSB）。此外，品质检查模块130可以用于量化试样容器102的几何形状，即量化试样容器102的某些物理尺寸特性，诸如试样容器102的TC、HT和/或W或Wi的位置。还可以确定其他可量化的几何特征。

品质检查模块130可以包括壳体446，壳体446可以至少部分地围绕或覆盖轨道121以最小化外部光照影响。在图像取得序列期间，试样容器102可以在成像位置处位于壳体446内部。壳体446可以包括一个或多个门446D，以允许载体122进入壳体446和/或从壳体446离开。在一些实施例中，顶板（ceiling）可以包括开口446O，以允许由包括可移动机器人指状物的机器人从上方将试样容器102装载到载体122中。

如图4A和4B中所示，品质检查模块130可以包括多个图像捕获设备440A-440C，图像捕获设备440A-440C被配置成从多个视点（例如，被标记为1、2和3的横向视点）捕获成像位置432处的试样容器102和试样212的横向图像。虽然示出了三个图像捕获设备440A-440C，但是可选地，可以使用两个、四个或更多个。视点1-3可以被布置成使得它们彼此近似相等地间隔开，诸如彼此径向地间隔大约120°，如所示出。图像可以以循环（round robin）的方式取得，例如其中来自视点1的一个或多个图像可以通过视点2和3顺序地（sequentially）取得。可以使用其他图像取得序列。光源444A-444C可以对试样容器102进行背部光照（如所示出），以用于成像以完成分割和/或HILN表征。在其他实例中，诸如为了表征试样容器102，可以使用对成像位置432的前部光照。因为从视点1-3取得的一个或多个图像可能被一个或多个标签218部分地或完全地遮挡（即，没有血清或血浆部分212SP的清晰视图），所以多个视点是有利的。

如所描绘的，图像捕获设备440A、440B、440C可以在轨道121周围来布置。可以使用多个图像捕获设备440A、440B、440C的其他布置。以这种方式，当试样容器102在成像位置432处驻留于载体122中时，可以取得试样容器102中的试样212的图像。由图像捕获设备440A、440B、440C获得的多个图像的视场可以在圆周范围（circumferential extent）内略微重叠。因此，在一些实施例中，可以以数字方式将图像的各部分相加，以得到血清或血浆部分2121SP的完整图像以用于分析。

图像捕获设备440A-440C可以是被配置成捕获良好限定的数字图像的任何合适的设备，诸如能够捕获像素化图像的传统数字相机、电荷耦合器件（CCD）、光电检测器阵列、一个或多个CMOS传感器等。例如，所捕获的图像大小可以是例如大约2560×694像素。在另一个实施例中，图像捕获设备440A、440B、440C可以捕获例如大约1280×387像素的图像大小。针对所捕获的图像，可以使用其他图像大小和像素密度。

响应于从计算机143接收到在通信线路443A、443B、443C中提供的触发信号，可以在品质检查模块130处触发和捕获每个图像。根据一个或多个实施例，每个所捕获的图像可以由计算机143来处理。在一个特别有效的方法中，可以使用高动态范围（HDR）处理来捕获和处理来自所捕获图像的图像数据。

图5示出了被配置成执行本文中描述的表征方法的功能HILN网络架构500。HILN网络架构500包括HILN网络535以及可由计算机143访问的数据库536。在一些实施例中，数据库536可以驻留在计算机143的存储器中。可选地，数据库536可以是基于云的数据库，并且可以例如经由互联网在与计算机143分离的远程服务器/计算机（未示出）上来访问。HILN网络架构500经由存储在数据库536中的信息向HILN网络535提供训练更新（诸如，连续训练更新537）的反馈。训练更新可以被存储在数据库536中，并且可以在频繁或规律的基础上、或者通过用户动作以用户的判断被自动并入到HILN网络535中，如上所描述的那样。在一些实施例中，当数据库536接收到训练更新时，这些训练更新可以被立即并入到HILN网络535中。训练更新537可以被转发到HILN网络535（例如，经由互联网或物理介质）以用于并入其中。训练更新537到HILN网络535中的并入可以是在计算机143的控制下自动进行的，或者可选地是在经由（图1的）CIM 145在提示下以用户的判断自动进行的。将利用新图像数据和旧图像数据的精心采样的混合来重新训练HILN网络535。训练可以在本地发生，或者它可以在远程服务器/云上被训练，并且然后被重新下载。经训练的模型可以在核实/验证数据（例如，该数据用于监管批准（regulatory approval））连同一些新收集的数据上被测试。HILN网络535可以生成符合监管过程的性能报告，并且可以突出显示对先前模型的改进。基于该报告，用户可以批准更新，或者HILN网络535可以被自动更新。这些训练更新可以在不中断现有工作流程的情况下发生。在这里，该更新可以简单地用基于新数据训练的新模型来替换旧模型。在一些实施例中，该更新可以由服务技术人员来执行，或者它可以远程地（诸如，通过互联网）进行。

HILN网络架构500可以在品质检查模块130中实现，并且由计算机143经由编程指令来控制。如上所讨论，可以在品质检查模块130的成像位置432（图4A和图4B）处提供试样容器102，如功能框502处所表示。在成像位置432处提供试样容器102可以通过使包含用于表征的试样容器102和试样212的载体122在成像位置432处停止来实现。然而，可以使用在成像位置432处的放置的其他手段，诸如由机器人放置在那里。可以由多个图像捕获设备440A-440C来捕获一个或多个图像（例如，多视点图像），如功能框504处所表示。可选地，可以预处理和合并（consolidate）每一个多视点图像的图像数据，如在Wissmann等人的题为“Methods And Apparatus For Imaging A Specimen Container and/or Specimen UsingMultiple Exposures”的美国专利申请公布2019/0041318中所讨论的那样，以提供多个最佳曝光和归一化的图像数据集（下文中为“图像数据集”），如功能框506处所表示。根据一个或多个实施例，可以将试样212（和试样容器102）的所捕获的图像数据集的图像数据（即，像素数据）作为输入提供给HILN网络535。

HILN网络535被配置成对试样容器102中的试样212的所捕获的图像数据执行分割和/或HILN确定，并且通常执行这两者。分割和HILN分类可以通过分割卷积神经网络（SCNN）来完成。可以采用其他类型的HILN网络来提供分割和/或HILN确定。可以执行像素级分类的HILN网络535可以提供对包含试样212的试样容器102的所捕获图像的详细表征。该详细表征可以包括例如将试样容器102与其背景分离、以及确定试样212的血清或血浆部分212SP的位置和含量。给定所捕获的输入图像（即，像素数据），HILN网络535可以可操作以基于该图像的像素数据值所指示的其局部外观而将分类索引（HIL或N）指派给该图像的每个像素。所提取的像素索引信息可以由HILN网络535来进一步处理，以确定最终的HILN分类索引。

在一些实施例中，分类索引可以包括多个血清类别，包括未离心类别、正常类别、以及多个类别/子类别。在一些实施例中，分类可以包括21个血清类别，包括未离心类别、正常类别、以及19个HIL类别/子类别，如下面更详细描述的那样。

针对在品质检查模块130处经历预筛选的试样212来确定适当HILN分类索引的一个挑战可能是由H、I和L类别的每个子类别内的小的外观差异而产生的。也就是说，相邻子类别的像素数据值可能非常相似。为了克服这些挑战，HILN网络535的SCNN可以包括非常深的语义分割网络（DSSN），在一些实施例中，该语义分割网络包括多于100个操作层。

为了克服可能由试样容器类型（例如，容器中使用的玻璃或塑料材料的大小、形状和/或类型）中的变化引起的外观差异，HILN网络535还可以包括在DSSN的前端处的容器分割网络（CSN）。CSN被配置并且可操作以确定和输出容器类型，并且其可以包括例如试样容器的类型（指示例如高度HT和宽度W（或直径））、和/或试样容器盖214的类型和/或颜色。在一些实施例中，CSN可以具有与DSSN类似但是更浅（即，具有少得多的层）的网络结构。DSSN被配置并且可操作以确定和输出边界分割信息539，该边界分割信息539可以包括例如血清或血浆部分212SP、沉降血液部分212SB、凝胶分离剂（如果使用的话）、空气区域216和一个或多个标签区域218的位置和像素信息。

由HILN网络535表征的试样的HILN确定可以是分类索引540，在一些实施例中，该分类索引540可以包括未离心类别540U、正常类别540N、溶血类别540H、黄疸类别540I和高脂血类别540L。在一些实施例中，溶血类别540H可以包括子类别H0、H1、H2、H3、H4、H5和H6。黄疸类别540I可以包括子类别I0、I1、I2、I3、I4、I5和I6。并且高脂血类别540L可以包括子类别L0、L1、L2、L3和L4。在其他实施例中，溶血类别540H、黄疸类别540I和/或高脂血类别540L中的每一个可以具有其他数量的细粒度子类别。

所捕获图像以及可能地不正确或低置信度的表征确定538的其他相关数据可以被转发（并且在一些实施例中被加密）到数据库536。可以使用任何合适的算法或技术来标识不正确的确定和/或确定置信度水平（即，表征确定的准确度的预测）。在一个实施例中，不正确或低置信度的确定是HILN确定不正确或者具有低正确概率的确定。本文中使用的不正确的确定意味着HILN确定是不适当的，因为它涉及太多错误。在其中存在HILN类别或类别索引的低置信度确定的一些情况下，该低置信度确定可以涉及使用例如少于0.9的置信度水平。该置信度水平极限可以由用户来预设或者基于监管要求来确定。

在另一个实施例中，不正确或低置信度的确定是分割确定不正确或者具有低置信度的确定。特别地，不正确的分割确定涉及对区域（诸如，血清或血浆部分212SP、凝胶分离剂、或沉降血液部分212SP）的标识，该标识具有低置信度，或者关于彼此没有按照特定次序。例如，我们总是预期盖214要在血清或血浆部分212SP的顶部上，并且凝胶分离剂313在血清或血浆部分212SP下方。如果相对定位没有被满足，则要么是分割出了错误。对分割的低置信度的确定可以涉及审阅每个被分割的像素（或超像素中的像素的集合——例如像素集合，诸如11个像素）的概率得分。如果指示像素区域的特定分类（例如，血清或血浆部分212SP）的概率得分具有太多的不一致（disagreement），则这将很可能是低置信度的候选者。可以聚集已经被分割的区域（例如，在血清或血浆部分212SP处分类的区域）的像素（或超像素）的概率得分，以确定该区域像素是否包含太多的不一致。在这种情况下，例如，如果置信度水平少于0.9，则该区域将很可能是低置信度样本的候选者。可以使用针对区域的其他合适的聚集的置信度水平。

基于不正确或低置信度的表征确定，计算机143（或在其中数据库536是基于云的数据库的那些实施例中的远程服务器/计算机）可以自动地和/或结合用户输入来生成训练更新537（例如，附加训练图像）。也就是说，在一些实施例中，训练更新537可以基于被认为不正确的先前图像，并且它们可以被手动标注。对训练图像537的手动标注可以涉及在相应的训练图像中以图形方式画出至少血清或血浆部分212SP的轮廓，并且优选地画出沉降血液部分212SB、空气216、盖214、标签218和凝胶分离剂（如果使用的话）的轮廓。对训练图像537的手动标注可以进一步涉及指派HILN分类，并且还可以涉及：如果是H、I或l，则向血清或血浆部分212SP指派索引值。在其他实施例中，训练更新537可以被提供有被确定为不正确或低置信度的试样表征的接收到的图像的自动生成的标注。自动标注可以通过半监督方法、自助法（boot-strapping）、或使用预先训练的分割/分类算法来提供。

训练更新537可以被提供给HILN网络535（例如，经由互联网或物理介质）以用于并入其中。训练更新537到HILN网络535中的并入可以是在计算机143的控制下自动进行的，或者可选地是在经由（图1的）CIM 145在提示下以用户的判断自动进行的。可以利用新图像数据和旧图像数据的精心采样的混合来重新训练HILN网络535。重新训练可以在本地发生，或者它可以在远程服务器/云上被训练。经重新训练的HILN模型（例如，SCNN）在用于监管批准的核实/验证数据、连同一些新收集的图像数据上被测试。然后，该系统可以生成符合性能标准（诸如，来自监管过程）的性能报告，其中它可以突出显示对先前模型的改进。基于该性能标准，客户可以批准更新，或者该系统可以可选地被自动更新。这些更新可以在不中断现有工作流程的情况下发生。例如，该更新可以涉及用新的SCNN模型来替换旧的SCNN模型，该新的SCNN模型已经利用已被先前模型视为不正确的新训练图像进行了重新训练。该更新可以由服务技术人员来执行，或者它可以通过互联网远程地发生。

图6图示了根据一个或多个实施例的表征方法600的流程图。如本文中描述，表征方法600可以由品质检查模块130（结合执行编程指令的计算机143）执行，并且可以包括：在过程框602处，经由自动化诊断分析系统中的品质检查模块的HILN网络对试样容器中的试样的所捕获图像执行分割或HILN（溶血、黄疸、高脂血、正常）确定。例如，所捕获图像可以由（图4A和4B的）图像捕获设备440A-440C中的一个或多个来捕获，其中每个图像可以是数字的、像素化的图像，并且HILN网络可以是自动化诊断分析系统100（图1）中的品质检查模块130（图4A-4B）的HILN网络535（图5）。

表征方法600可以进一步包括：在过程框604中，标识不正确或低置信度的确定。任何合适的技术或算法可以用于标识不正确的确定，或者向试样容器中的试样的表征确定来指派和确定低置信度水平。例如，不正确的确定可以基于来自SCNN的Softmax函数的低置信度水平得分。低置信度可以基于0.0至1.0尺度上的少于0.9的概率或置信度得分。在其他实例中，可以审阅被分割区域（例如，血清或血浆部分212SP）的总体分类，并且如果在该区域出口（exit）内的像素（或超像素）的分类中存在显著差异，则该确定可以被视为不正确或低置信度。例如，如果被分割区域中少于70%的像素属于相同类别，则该确定可以被视为不正确或低置信度。在其他实施例中，如果被分割区域中少于80%或者甚至少于90%的像素属于相同类别，则该确定可以被视为不正确或低置信度。对于每个高置信度，该区域的至少90%或者甚至至少95%的像素应当被分类为是相同的项（例如，被分类为血清或血浆部分）。

在过程框606中，表征方法600可以包括：将该不正确或低置信度的确定从HILN网络转发到数据库。例如，参考图5，不正确或低置信度的确定538可以与对应的图像数据一起从HILN网络535被转发到数据库536。

在过程框608中，表征方法600可以包括：基于该不正确或低置信度的确定向HILN网络提供一个或多个训练图像。例如，如图5中所示，可以将训练图像537提供给HILN网络535，以用于对HILN网络535进行重新训练，以改进试样和试样容器的未来表征。将一个或多个训练图像537提供给HILN网络535以用于重新训练可以如本文中所解释的那样进行或者通过任何其他已知的重新训练模型方法来进行。

因此，基于前述内容，应当清楚的是，改进的表征方法600提供了对试样的分割确定和/或HILN（溶血、黄疸、高脂血、正常）确定，同时通过基于该确定的准确度（正确性）和/或置信度水平利用训练图像进行重新训练来连续地更新该表征。

同样应当清楚的是，上述表征方法可以使用品质检查模块（例如，品质检查模块130）来执行，该品质检查模块包括多个图像捕获设备（例如，图像捕获设备）440A-440C，该图像捕获设备440A-440C在成像位置（例如，成像位置432）周围布置，并且被配置成从一个或多个视点（例如，图4A的视点1-3）来捕获包含试样212的试样容器102的一个或多个图像。品质检查模块130还包括计算机（例如，计算机143），该计算机耦合到多个图像捕获设备并且被配置成处理一个或多个所捕获图像的像素数据。该计算机（例如，计算机143）还可以被配置并且能够被操作以基于HILN网络535的输出性能向品质检查模块130的HILN网络535提供连续的表征训练更新537。

虽然本公开容许有各种修改和替代形式，但是特定方法和装置实施例已经在附图中以示例方式被示出，并且在本文中详细描述。然而，应当理解的是，本文中公开的特定方法和装置并不意图限制本公开，而是相反地，要覆盖落入权利要求范围内的所有修改、等同物和替代物。

Claims (20)

1.一种在自动化诊断分析系统中表征试样的方法，包括：

经由所述自动化诊断分析系统中的品质检查模块的HILN网络对试样容器中的试样的所捕获图像执行分割或HILN（溶血、黄疸、高脂血、正常）确定；

标识不正确或低置信度的确定；

将所述不正确或低置信度的确定从所述HILN网络转发到数据库；以及

基于所述不正确或低置信度的确定向所述HILN网络提供一个或多个训练图像。

2.根据权利要求1所述的方法，包括：根据基于所述不正确或低置信度的确定的所述一个或多个训练图像的手动标注和/或自动生成的标注来提供训练更新。

3.根据权利要求2所述的方法，包括：将所述训练更新从数据库转发到所述HILN网络以用于并入其中。

4.根据权利要求2所述的方法，包括：向用户提供一个或多个训练更新的可用性的报告或提示，以允许用户决定何时以及是否接收和/或并入所述一个或多个训练更新以重新训练所述HILN网络。

5.根据权利要求1所述的方法，其中所述HILN确定包括：确定从多个类别中选择的分类索引，所述多个类别包括未离心类别、正常类别、以及HIL类别/子类别。

6.根据权利要求1所述的方法，其中所述HILN确定包括：确定从21个血清类别中选择的分类索引，所述21个血清类别包括未离心类别、正常类别、以及19个HIL类别/子类别。

7.根据权利要求1所述的方法，其中被转发到数据库的所述一个或多个训练图像基于低置信度确定，所述低置信度确定包括在从0.0至1.0的范围内的少于0.9的置信度水平。

8.根据权利要求1所述的方法，包括：基于所述一个或多个训练图像对所述HILN网络进行重新训练。

9.根据权利要求8所述的方法，其中对所述HILN网络的重新训练在满足或超过数据库中的不正确或低置信度的试样表征的阈值数量时发生。

10.根据权利要求1所述的方法，其中具有由所述HILN网络执行的、被确定为具有所述不正确或低置信度的确定的表征的试样不被自动转发到所述自动化诊断分析系统的分析器，而是被搁置以供进一步审阅。

11.根据权利要求1所述的方法，其中所述不正确或低置信度的确定是所述HILN确定不正确或者具有低置信度的确定。

12.根据权利要求1所述的方法，其中所述HILN确定的不正确或低置信度的确定涉及低置信度确定，所述低置信度确定包括在0.0至1.0的范围内的少于0.9的置信度水平。

13.根据权利要求1所述的方法，其中所述不正确或低置信度的确定是分割确定不正确或者具有低置信度的确定。

14.根据权利要求1所述的方法，其中分割确定的不正确或低置信度的确定涉及如下确定：所分类的区段中少于70%的像素被分类为相同的。

15.根据权利要求14所述的方法，其中所述分割确定的不正确或低置信度的确定涉及如下确定：所分类的区段中少于80%的像素被分类为相同的。

16.根据权利要求15所述的方法，其中所述分割确定的不正确或低置信度的确定涉及如下确定：所分类的区段中少于90%的像素被分类为相同的。

17.根据权利要求1所述的方法，其中所述一个或多个训练图像包括相关联的标注，所述相关联的标注涉及以图形方式画出所述一个或多个训练图像中的至少血清或血浆部分的轮廓，并且指派HIL分类和索引值。

18.根据权利要求17所述的方法，其中所述相关联的标注进一步包括标注沉降血液部分、空气、盖、标签和/或凝胶分离剂。

19.根据权利要求1所述的方法，其中所述一个或多个训练图像包括自动标注。

20.一种自动化诊断分析系统的品质检查模块，包括：

多个图像捕获设备，其在成像位置周围布置，所述多个图像捕获设备被配置成从多个视点捕获试样容器的多个图像；以及

计算机，其耦合到所述多个图像捕获设备，所述计算机经由编程指令被配置并且可操作，以便：

经由所述品质检查模块的HILN网络对试样容器中的试样的所捕获图像执行分割或HILN（溶血、黄疸、高脂血、正常）确定，所捕获图像由所述多个图像捕获设备中的一个取得，所述HILN网络在所述计算机上执行；

标识不正确或低置信度的确定；

将所述不正确或低置信度的确定从所述HILN网络转发到数据库；以及

基于所述不正确或低置信度的确定向所述HILN网络提供一个或多个训练图像。

Images