CN118043907A - 在自动诊断系统中提供训练更新的方法和装置 - Google Patents

在自动诊断系统中提供训练更新的方法和装置 Download PDF

Info

Publication number
CN118043907A
CN118043907A CN202280048059.0A CN202280048059A CN118043907A CN 118043907 A CN118043907 A CN 118043907A CN 202280048059 A CN202280048059 A CN 202280048059A CN 118043907 A CN118043907 A CN 118043907A
Authority
CN
China
Prior art keywords
model
data
sample
characterization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048059.0A
Other languages
English (en)
Inventor
V·纳拉西姆哈穆蒂
V·辛格
张耀仁
B·S·波拉克
A·卡普尔
R·R·P·纳拉姆文卡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN118043907A publication Critical patent/CN118043907A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种在自动诊断系统中表征试样容器或试样的方法,包括使用成像设备捕获包含试样的试样容器的图像。该方法还包括使用第一AI模型表征图像,并确定图像的表征置信度是否低于预选阈值。用具有低于预选阈值的表征置信度的图像将第一AI模型再训练到第二AI模型,其中再训练包括从非图像数据和文本数据的组中的一个或多个中选择的数据。还描述了被配置成执行该方法的质量检查模块和系统,以及其他方面。

Description

在自动诊断系统中提供训练更新的方法和装置
相关申请的交叉引用
本申请要求2021年7月7日提交的题为“METHODS AND APPARATUS PROVIDINGTRAINING UPDATES IN AUTOMATEDDIAGNOSTIC SYSTEMS(在自动诊断系统中提供训练更新的方法和装置)”的美国临时专利申请号63/219,343的权益,该申请的公开内容通过引用出于全部目的整体结合于此。
技术领域
本公开的实施例涉及被配置为在自动诊断系统中提供训练的方法和装置。
背景技术
自动诊断系统分析(例如,测试)生物试样(specimen),诸如全血、血清、血浆、尿液、间质液、脑脊液等,以便识别试样中的分析物或其他成分。试样通常包含在试样容器(例如,试样收集管)中,试样容器可以通过自动跟踪系统被运送到这种自动诊断系统内的各种预处理模块、预筛选模块和分析器(例如,包括免疫测定和临床化学)。
在一些系统中,预处理模块可以在试样或试样容器上执行处理,诸如拆封、离心、等分等,所有这些都在由一个或多个分析器进行分析之前进行。在一些系统中,预筛选可用于表征(characterize)试样容器和/或试样。表征可以通过人工智能(AI)模型来执行,并且可以包括分割操作,其可以识别试样容器和/或试样的各个区域。使用AI模型的试样的表征可以包括HILN过程,其确定待分析的试样中干扰物的存在,诸如溶血(H)、黄疸(I)和/或脂血(I),或者确定试样是正常的(N)并且因此可以被进一步处理。
在预处理和/或预筛选之后,试样由自动诊断系统的一个或多个分析器分析。可以通过光度分析,诸如荧光吸收和/或发射分析,对试样执行测量。可以使用其他测量。可以对测量进行分析,以确定试样中分析物或其他成分的量。
随着时间的推移,系统的组件可能改变。例如,成像期间使用的成像设备和照明源可能改变。在一些实施例中,试样容器也可以随着时间而改变。(多个)AI模型可能没有被充分训练来表征已经随时间改变的组件和试样容器。因此,上述使用AI模型的分析可能是错误的。
基于前述内容,寻求训练用于在自动诊断系统中使用的AI模型的改进方法。
发明内容
根据第一方面,提供了一种在自动诊断系统中表征试样容器或试样的方法。该方法包括使用成像设备捕获包含试样的试样容器的图像;使用第一AI模型表征图像;确定图像的表征置信度是否低于预选阈值;以及至少用具有低于预选阈值的表征置信度的图像将第一AI模型再训练成第二AI模型,其中所述再训练包括从非图像数据和文本数据的组中的一个或多个中选择的数据。
根据另一方面,提供了一种在自动诊断系统中表征试样的方法。该方法包括使用成像设备捕获试样的图像;使用第一AI模型表征所述图像,以确定溶血、黄疸或脂血中的至少一种的存在;确定溶血、黄疸或脂血中的至少一种的存在的确定的表征置信度是否低于预选阈值;以及至少用具有低于预选阈值的表征置信度的图像将第一AI模型再训练成第二AI模型,其中所述再训练包括从非图像数据和文本数据的组中的一个或多个中选择的数据。
根据另一方面,提供了一种自动诊断系统。该自动诊断系统包括成像设备,该成像设备被配置成捕获包含试样的试样容器的图像;以及计算机,被配置为:使用第一AI模型表征图像;确定图像的表征置信度是否低于预选阈值;以及至少用具有低于预选阈值的表征置信度的图像将第一AI模型再训练成第二AI模型,其中再训练包括从非图像数据和文本数据的组中的一个或多个中选择的数据。
本公开的其他方面、特征和优点可以从以下对包括预期用于实施本发明的最佳模式的多个示例性实施例和实现方式的描述和图示中变得显而易见。本公开还可以有其他和不同的实施例,并且其若干细节可以在各个方面进行修改,所有这些都不脱离本公开的范围。本公开旨在覆盖落入权利要求范围内的所有修改、等同物和替代物。
附图说明
下面描述的附图是为了说明的目的,并且不一定是按比例绘制的。因此,附图及其描述本质上被认为是说明性的,而不是限制性的。附图无意以任何方式限制本公开的范围。
图1示出了根据一个或多个实施例的包括一个或多个模块和一个或多个仪器的自动诊断系统的俯视示意图,该自动诊断系统被配置为分析试样容器和/或试样。
图2A示出了根据一个或多个实施例的试样容器的侧视图,该试样容器包括具有可能包含干扰物的血清或血浆部分的分离试样。
图2B示出了根据一个或多个实施例的图2A的试样容器的侧视图,该试样容器以竖直取向保持在保持器中,该保持器可以在图1的自动诊断系统内运输。
图3是描述根据一个或多个实施例的训练人工智能模型以分析自动诊断系统中的试样和/或试样容器的方法的流程图。
图4A示出了根据一个或多个实施例的质量检查模块(其中顶部被移除)的示意性俯视图,其包括多个视点,并且被配置为捕获和分析多个图像以实现用于HILN的诸如分割和/或预筛选的表征。
图4B示出了根据一个或多个实施例的沿着图4A的剖面线4B-4B截取的图4A的质量检查模块的示意性侧视图(其中外壳壁被移除)。
图5示出了根据一个或多个实施例的HILN网络的功能框图,该HILN网络被配置成执行试样容器中的试样的分割和干扰物确定,同时基于表征性能向HILN网络提供训练更新。
图6示出了显示根据一个或多个实施例的在自动诊断系统中表征试样容器或试样的方法的流程图。
图7示出了显示根据一个或多个实施例的在自动诊断系统中表征试样的方法的流程图。
具体实施方式
本文描述的自动诊断系统分析(例如,测试)生物试样,以确定试样中分析物的存在和/或浓度。在一些实施例中,系统可以对试样执行一个或多个预筛选分析。在一些实施例中,系统可以对试样容器进行预筛选分析。可以使用如本文所述的人工智能(AI)模型来执行分析。
本文描述的AI模型可以实现为机器学习、神经网络和其他AI算法。AI模型可以被训练成表征图像或捕获的图像的部分。表征图像包括识别图像的一个或多个部分中的物品。例如,第一或初始AI模型可以被训练来表征预期将被系统捕获的图像中的物品,诸如试样和试样容器。在一些实施例中,要被表征的物品的图像的大数据集可以在不同的配置(诸如不同的视图和/或不同的照明条件)中被捕获,并且可以用于训练第一AI模型。可以使用一个或多个算法或程序来检查训练第一AI模型的表征置信度。在一些实施例中,表征置信度可以是值(例如,在1和100之间)或百分比的形式。低表征置信度可能指示不充分的表征,即,AI模型尚未被充分训练来识别试样或试样容器。
随着时间的推移,被表征的物品可能会改变。在一些实施例中,捕获图像的条件也可以改变。这些改变的物品和条件可能是由于硬件改变(例如,更新)、软件改变、试样容器中的改变、试样容器上的标签改变、化验中的改变和其他改变。第一AI模型可能无法表征这些改变的物品,或者可能无法表征在改变的条件下的物品。例如,用于训练第一AI模型的图像可能不包括系统中接收的试样容器和/或试样的每个变化。例如,试样容器的尺寸、类型和特性可能会随着时间而改变,从而导致不正确的或低的表征置信度。因此,第一AI模型可能必须更新为第二AI模型,以便能够适当地表征改变的物品和条件。
传统的自动诊断系统不提供对AI模型的简单和/或自动更新。而是,更新AI模型的过程可能相对繁琐。例如,在一些实施例中,第一AI模型中的缺陷可能不会被识别,直到系统发生故障。可能需要对系统故障进行故障诊断,以确定第一AI模型不合适。一旦识别出第一AI模型不足,就收集与上述改变相关的数据,并将其传送给工程团队。然后,该数据被工程团队用来更新或再训练第一AI模型。传统的更新过程非常昂贵和耗时。本文公开的方法和装置提供了用第二AI模型对第一AI模型的改进的更新和/或替换。
本文描述的AI模型可以用在包括质量检查模块的系统中。质量检查模块基于在质量检查模块中捕获的图像执行试样和/或试样容器的预筛选。预筛选可以使用如本文所述的AI模型来表征试样容器和/或试样的图像。预筛选表征可以包括对捕获的图像执行分割和/或干扰物(例如,HILN-溶血、黄疸、脂血、正常)识别。分割确定可以识别试样容器和试样的图像中的各种区(区域),诸如血清或血浆部分、沉淀的血液部分、凝胶分离器(gelseparator)(如果使用的话)、空气区、一个或多个标签区、试样容器的类型(指示例如高度和宽度或直径)、和/或试样容器盖的类型和/或颜色。
如上所述,由AI模型识别的干扰物可以包括溶血(H)、黄疸(I)或脂血(L)。溶血程度可以使用AI模型通过指定溶血指数(例如,在一些实施例中为H0-H6,并且在其他实施例中更多或更少)来量化。黄疸的程度可以使用AI模型通过指定黄疸指数(例如,在一些实施例中I0-I6,并且在其他实施例中更多或更少)来量化。可以使用AI模型通过指定脂血指数(例如,在一些实施例中为L0-L4,并且在其他实施例中更多或更少)来量化脂血的程度。在一些实施例中,预筛选过程可以包括确定尚未被离心的试样的血清或血浆部分的未离心(U)类别。
由AI模型实现的HILN网络可以是或包括分割卷积神经网络(SCNN),其接收包含在试样容器中的分级试样的一个或多个捕获图像作为输入。在一些实施例中,SCNN可以包括多于100个操作层,包括例如BatchNorm(批归一化)、ReLU激活、卷积(例如2D)、丢弃和去卷积(例如2D)层,以提取特征,例如图像的简单边缘、纹理和血清或血浆部分的部分以及包含标签的区域。顶层(诸如全卷积层)可以用于提供特征之间的相关性。该层的输出可以被馈送到SoftMax层,其在每个像素(或每个超像素(补片(patch))-包括n×n个像素)的基础上产生关于每个像素或补片包括HIL还是正常的输出。
在一些实施例中,HILN的仅输出可以由SCNN提供。在其他实施例中,SCNN的输出可以包括HILN的多个类,诸如HILN的大于20类,从而对于存在的每个干扰物,也可以获得干扰物的水平(指数)的估计。SCNN中可以包括每个HIL的其他数量的类。SCNN还可以包括前端容器分割网络(CSN),以确定试样容器类型和试样容器边界。其他类型的HILN网络可以用于质量检查模块。
在一些实施例中,用于训练初始或第一AI模型的初始训练图像集可以通过在给定时间段(例如,一周或两周)内操作新安装的自动诊断分析系统来编译。在新安装的系统中接收的试样的捕获图像数据可以被转发到数据库/服务器(其可以是本地的和/或新安装的系统的一部分,或者其可以是基于云的服务器)。可以对图像数据进行注释(例如,手动注释和/或自动生成注释)以创建初始的经注释的训练图像集。然后,经注释的训练图像集可以用于在自动诊断分析系统的质量检查模块的HILN网络中训练初始或第一AI模型。
在自动诊断分析系统的操作期间,具有由HILN网络生成的被确定为不正确或具有低表征置信度(例如,低置信度水平)的表征的试样的图像可以不被自动转发给自动诊断分析系统的分析器,而是可以被存储用于进一步审查。例如,具有被确定为不正确或者具有低表征置信度的表征的试样的图像可以被存储(并且在一些实施例中被加密)在数据库/服务器中。训练更新(例如,第二AI模型的训练)可以至少部分基于存储在数据库/服务器中的不正确或低置信度表征。
在一些实施例中,训练更新可以至少部分基于试样的捕获图像的手动注释和/或自动生成的注释,所述试样具有被确定为不正确或具有低置信度的表征。训练更新可以被转发到HILN网络,用于通过第一AI模型的再训练来并入到其中,以生成经再训练的第二AI模型。在一些实施例中,可以向用户提供一个或多个训练更新的可用性的报告或提示,以允许用户决定何时以及是否将训练更新并入HILN网络。在其他实施例中,训练更新可以是自动的。
在一些实施例中,初始的训练图像集和/或训练更新(其中每个都是基于软件的)可以经由互联网或通过使用物理介质(例如,包含编程指令和数据的存储设备)被提供给自动诊断分析系统(尤其是HILN网络)作为经再训练的模型。
本文公开的系统的一些实施例可以提供AI模型的连续训练更新,其可以频繁地或规律地(诸如例如,在达到或超过阈值数量的不正确或低表征置信度时)经由再训练和/或AI模型替换而被自动并入系统中。其他准则可以用于自动将训练更新并入到系统中。在一些实施例中,训练更新可以由用户根据用户的自行决定,诸如经由用户提示,并入到系统中。
包括更新AI模型的表征装置和方法的进一步细节将在本文中参考图1-7进一步描述。
现在参考图1,其示出了自动诊断系统100的示例实施例,该自动诊断系统100被配置为处理和/或分析存储在试样容器102中的生物试样。试样容器102可以是任何合适的容器,包括透明或半透明的容器,诸如血液收集管、测试管、样本杯、试管或能够容纳并允许对容纳在其中的试样进行成像的其他容器。试样容器102的尺寸可以变化,并且可以具有不同的盖颜色和/或盖类型。
试样容器102可以在系统100处被接收在装载区域106处提供的一个或多个支架104中。试样容器102可以通过载体114运输贯穿系统100,诸如去往和来自轨道112上的模块108和仪器110。
试样和/或试样容器102的处理可以包括在由被配置为分析器模块的模块108中的一个或多个进行分析之前对试样和/或试样容器102进行预处理或预筛选,分析器模块在本文中可以被称为分析器。系统100还可以包括一个或多个仪器110,其中每个仪器可以包括一个或多个模块,诸如预处理模块和/或分析器模块。在图1的实施例中,系统100包括第一仪器110A和第二仪器110B,其均可以包括多个模块。可以与第二仪器110B相似或相同的第一仪器110A包括三个模块116,其可以执行与这里描述的模块108相似或相同的功能。模块116被单独称为第一模块116A、第二模块116B和第三模块116C。仪器110可以包括其他数量的模块。
在一些实施例中,第一模块116A可以是预处理模块,例如,其在由分析器模块进行分析之前处理试样容器102和/或位于其中的试样。第二模块116B和第三模块116C可以是如本文所述分析试样的分析器模块。仪器110的其他实施例可以用于系统100中的其他目的。
在图1的实施例中,系统100包括多个模块,包括第一模块108A、第二模块108B和第三模块108C。独立于第一模块108A、第二模块108B和第三模块108C,提供和描述了执行特定功能和/或过程的其他模块。例如,模块108中的至少一个可以执行预处理功能,并且可以包括去盖器和/或离心机。在一些实施例中,模块108中的一个或多个可以是临床化学分析器和/或化验仪器等或其组合。在系统100中可以使用更多或更少的模块108和仪器110。
实现为模块108和仪器110的分析器模块的模块可以是任何数量的临床化学分析器、化验仪器等的任何组合。本文使用的术语“分析器”包括用于分析试样的化学性质或用于化验目标实体(例如,分析物)的存在、数量或功能活性的装置,所述目标实体诸如例如是DNA或RNA。分析器模块中通常测试的分析物包括酶、底物、电解质、特定蛋白质、滥用药物和治疗药物。
另外参考图2A-2B,其示出了具有位于其中的试样216的试样容器202的实施例。试样容器202可以代表试样容器102(图1),试样216可以代表位于试样容器102中的试样。试样容器202可以包括管218,并且可以用盖子220盖住。不同试样容器上的盖可以具有不同的类型和/或颜色(例如,红色、皇家蓝、浅蓝、绿色、灰色、褐色、黄色或颜色组合),这在试样容器202用于特定测试、其中包括的添加剂的类型、试样容器是否包括凝胶分离器等方面具有意义。在一些实施例中,盖类型可以通过本文描述的表征方法来确定。
试样容器202可以提供有至少一个标签222,其上可以包括识别信息222I(即,标记),诸如条形码、字母字符、数字字符或其组合。识别信息2221可以包括或者是由实验室信息系统(例如,LIS131-图1)提供的相关数据,诸如LIS131中的数据库。数据库可以包括被称为文本数据的信息,诸如患者信息,包括姓名、出生日期、地址和/或本文所述的其他个人信息。该数据库还可以包括其他文本数据,诸如要在试样216上执行的测试、获得试样216的时间和日期、医疗设施信息和/或跟踪和路线信息。也可以包括其他文本数据。可以从医院信息系统133接收LIS131中的数据,医院信息系统133从医疗提供者接收测试订单等。
识别信息2221可以比标签材料(例如,白纸)更暗(例如,黑色),使得识别信息2221可以容易地成像。识别信息2221可以指示患者的标识以及要在试样216上执行的测试或者可以通过LIS或其他测试订购系统与患者的标识以及要在试样216上执行的测试相关联。识别信息222I可以提供在标签222上,标签222可以粘附或以其他方式提供在管218的外表面上。在一些实施例中,标签222可以不一直围绕试样容器202延伸或者沿着试样容器202的全长延伸。
试样216可以包括包含在管218内的血清或血浆部分216SP和沉淀的血液部分216SB。凝胶分离器216G可以位于血清或血浆部分216SP和沉淀的血液部分216SB之间。可以在血清和血浆部分216SP上方提供空气224。血清或血浆部分216SP和空气224之间的分界线被定义为液体-空气界面(LA)。血清或血浆部分216SP和凝胶分离器之间的分界线被定义为血清-凝胶界面(SG)。沉淀的血液部分216SB和凝胶分离器216G之间的分界线被定义为血液-凝胶界面(BG)。空气224和盖220之间的界面被定义为管-盖界面(TC)。
管的高度(HT)被定义为从管218的最底部到盖220的底部的高度,并且可以用于确定管尺寸(例如,管高度和/或管体积)。血清或血浆部分216SP的高度是HSP,并且被定义为从LA处的血清或血浆部分216SP的顶部到SG处的凝胶分离器216G的顶部的高度。凝胶分离器216G的高度是HG,并且被定义为SG和BG之间的高度。沉淀的血液部分216SB的高度是HSB,并且被定义为从BG处的凝胶分离器216G的底部到沉淀的血液部分216SB的底部的高度。HTOT是试样216的总高度,并且等于HSP、HG和HSB的总和。管218内部的圆柱形部分的宽度是W。在预处理模块108和/或仪器110中的一个或多个中执行的预处理可以测量或计算上述尺寸中的至少一个。
图2B的实施例示出了位于载体214中的试样容器202的侧立面图。载体214可以代表载体114(图1)。载体214可以包括被配置为将试样容器202保持在限定的直立位置和取向的保持器214H。保持器214H可以包括将试样容器202固定在载体214中的多个指状物或叶片弹簧,但是一些指状物或叶片弹簧可以是可移动的或柔性的,以适应不同尺寸(宽度)的试样容器202。在一些实施例中,载体214可以在从支架104中的一个或多个卸载之后离开装载区域106(图1)。
再次参考图1,系统100可以包括计算机124或者被配置为与外部计算机通信。计算机124可以是基于微处理器的中央处理单元CPU,其具有合适的存储器、软件、调节电子设备和驱动器,用于操作系统100的各种组件、模块108和仪器110。计算机124可以包括处理器124A和存储器124B,其中处理器124A被配置为执行存储在存储器124B中的程序124C。计算机124可以容纳作为系统100的一部分或者与系统100分离。程序124C可以操作系统100的组件,并且可以执行本文描述的表征。
计算机124通过程序124C可以控制载体114去往和来自装载区域106、围绕轨道112、去往和来自模块108和仪器110以及去往和来自系统100的其他模块和组件的移动。模块108或仪器110中的一个或多个可以通过网络与计算机124通信,所述网络诸如局域网(LAN)、广域网(WAN)或其他合适的通信网络,包括有线和无线网络。在一些实施例中,一些或所有上述模块108和/或仪器110的操作可以由计算机124执行。
程序124C中的一个或多个可以是人工智能(AI)模型或算法,其处理和/或分析图像数据和本文所述的其他数据。例如,其他数据可以包括非图像数据(510-图5)和文本数据(512-图5)。在图1的实施例中,存储器124B被示为存储第一AI模型130A和第二AI模型130B。第一AI模型130A引用尚未如本文所述被更新或替换的AI模型。例如,系统100最初提供的第一AI模型可以是第一AI模型130A。第二AI模型130B是如本文所述用第二AI模型130B更新和/或替换的第一AI模型130A。在一些实施例中,第二AI模型130B可以是第一AI模型130A的更新或替换,而不管第一AI模型130A是否是初始AI模型。
第一AI模型130A和第二AI模型130B可以实现为存储在存储器124B中并由处理器124A执行的一个或多个程序124C或算法。在一些实施例中,第一AI模型130A和第二AI模型130B可以远离系统100执行。第一AI模型130A和第二AI模型130B可以实现为各种形式的人工智能,包括但不限于神经网络,包括卷积神经网络(CNN)、深度学习、再生成网络以及其他机器学习和人工智能算法。因此,第一AI模型130A和第二AI模型130B可能不是简单的查找表。而是,第一AI模型130A和第二AI模型130B被训练来识别(例如,表征)各种不同的图像。另一方面,查找表只能识别查找表中特定的图像。
在一些实施例中,计算机124可以耦合到计算机接口模块(CIM)126。CIM 126和/或计算机124可以耦合到显示器128。CIM 126结合显示器128使用户能够访问各种控制和状态显示屏,并将数据输入计算机124。这些控制和状态显示屏可以显示和实现对用于试样容器102和/或位于其中的试样的准备、预筛选和分析的模块108和/或仪器110的一些或所有方面的控制。因此,CIM 126可以适于促进用户和系统100之间的交互。显示器128可以被配置为显示包括图标、滚动条、框和按钮的菜单,操作者可以通过该菜单与系统100对接。菜单可以包括多个功能元件,其被编程为显示和/或操作系统100的功能方面。在一些实施例中,显示器128可以包括图形用户界面,其使得用户能够指示计算机124更新第一AI模型130A,如本文所述。
如本文所述,模块108和仪器110可以对试样容器102和/或位于试样容器102中的试样(例如,试样216-图2A-2B)执行分析。在本文更详细描述的一些实施例中,可以使用第一AI模型130A或第二AI模型130B通过光度分析来执行分析。例如,试样容器102和/或位于试样容器102中的试样的图像可以由成像设备(例如,成像设备440-图4A)捕获。捕获的图像是可以由在计算机124上执行的程序124C处理的图像数据的形式。例如,第一AI模型130A或第二AI模型130B可以如本文所述处理图像数据。
在一些实施例中,试样和/或试样容器102在模块108和/或仪器110中的一个或多个中被正面照明。来自试样容器102和/或试样的反射光的图像被一个或多个成像设备捕获,并被转换成如本文所述处理的图像数据。在一些实施例中,透射穿过试样和/或试样容器102的光的图像被捕获并转换成如本文所述处理的图像数据。在一些实施例中,将化学物添加到试样中,以使试样在特定条件下发荧光并发射光。发射光的图像可被捕获并转换成如本文所述处理的图像数据。
第一AI模型130A可以由第一验证数据集训练。第一验证数据集是被收集并用于训练和/或核验第一AI模型130A的数据。在一些实施例中,第一验证数据集可以包括由各种测试或分析机制核验的数据。在一些实施例中,第一验证数据集可以包括用于系统100和/或类似系统的监管批准的数据。例如,在一些实施例中,第一验证数据集可以包括可以跨与系统100相同或相似的多个系统收集的数据。在一些实施例中,第一验证数据集可以被压缩和/或加密。在一些实施例中,第一验证数据集和/或第一AI模型130A和第二AI模型130B可以远程存储和/或执行,诸如在云中。第一验证数据集的基础真实可以来自二级源,诸如黄金标准设备和/或基于黄金标准设备的数据。在其他实施例中,黄金真理可以使用现有的经训练的系统或通过自我监督来自动生成。
随着时间的推移,由系统100处理的数据,包括例如由模块108和/或仪器110生成的数据中可能会发生改变。这些改变包括,例如,硬件改变(例如,更新)、软件改变、试样容器102的改变、贴在试样容器102上的标签(例如,标签222)和/或条形码(例如,信息220I)的改变、化验协议和其他改变。第一AI模型130A可能无法表征(例如,识别)这些改变,因此系统100可能必须更新到新的AI模型(例如,第二AI模型130B)。本文描述了将系统100更新到第二AI模型130B的方法。
另外参考图3,其示出了显示方法300的流程图,该方法300包括将系统100从第一AI模型130A更新到第二AI模型130B。根据一个或多个实施例,方法300还示出使用人工智能模型(例如,第一AI模型130A和第二AI模型130B)来分析自动诊断系统(例如,系统100)中的试样(例如,试样216)和/或试样容器(例如,试样容器202)。
在302中,方法300包括捕获图像。可以使用位于模块108或仪器110中的一个或多个中的成像设备(例如,成像设备440中的一个或多个,图4A)来捕获图像。捕获的图像可以被转换成图像数据,使得捕获的图像可以被程序124C处理。例如,图像数据可以是使得第一AI模型130A和/或第二AI模型130B能够分析(例如,表征)图像数据的形式,如本文所述。
方法300包括,在304中,使用第一AI模型130A表征图像。更详细地描述了不同的表征。在一些实施例中,表征可以包括识别捕获的图像中的一个或多个物品,诸如试样容器202(图2A-2B)或位于试样容器202中的试样216(图2A-2B)。作为示例,该表征可以识别盖220,包括盖220的类型和颜色、图2A中描述的管218的高度和试样216的部分的高度,以及试样216的特性,如本文更详细描述的。
在306中,方法300包括确定在304中执行的表征的置信度(表征置信度)。表征置信度可以是第一AI模型130A表征或正确识别捕获图像中的物品的得分或概率。可以使用各种已知技术来确定如本文所述的表征置信度。在一些实施例中,如果表征不能表征或识别捕获图像中的一个或多个物品,则表征置信度可以为零。
方法300包括,在308中,确定表征置信度是否高于预建立阈值。如果置信度高于预建立阈值,则处理进行到308,其中第一AI模型130A用于表征所捕获的图像和未来捕获的图像。在一些实施例中,预建立阈值可以在0到1.0之间的标度上是0.7。该预建立阈值提供了表征正确的可能性。在其他实施例中,预建立阈值可以在0到1.0之间的标度上是0.9。该预建立阈值提供了表征正确的更多置信度。
如果在308中,做出置信度不高于预选阈值的确定,则系统或其他设备生成第二AI模型130B(图1),如本文所述。在一些实施例中,生成第二AI模型130B可以包括将第一AI模型130A更新为第二AI模型130B的配置。在其他实施例中,第二AI模型130B可以替换第一AI模型130A。
处理从308进行到312,其中接收来自至少一个或多个非图像传感器的传感器数据和/或文本数据。在一些实施例中,数据在可生成第二AI模型130B的程序124C之一中被接收。在其他实施例中,在训练第二AI模型130B的一个或多个其他设备中接收数据。该数据用于训练第二AI模型130B或将第一AI模型130A更新为第二AI模型130B。在一些实施例中,第二AI模型130B可以与第一AI模型130A相同,但是使用本文描述的数据来训练。因此,第二AI模型130B被训练来表征与第一AI模型130A被训练来表征的物品不同的物品。在一些实施例中,用于训练第二AI模型130B的数据包括用于训练第一AI模型130A的至少一些数据,因此第二AI模型130B可以表征第一AI模型130A被训练来表征的至少一些物品。在一些实施例中,可以提示系统100的用户训练第二AI模型130B。用户然后可以诸如通过CIM 126(图1)发起训练。在其他实施例中,用户可以在没有提示的情况下发起本文描述的第二AI模型130B的训练。
非图像传感器可以包括例如温度传感器、声学传感器、湿度传感器、液体体积传感器、振动传感器、电流传感器和与系统100的操作相关的其他传感器。文本数据可以包括正在执行的测试(例如化验类型)、患者信息(例如年龄、症状等)、测试日期、测试时间、系统日志(例如,系统状态)、来自试样容器102的标签信息(例如,来自标签222的数据-图2A-2B)、以及与系统100正在执行的测试相关的其他数据。
方法300可以进行到314,其中使用所捕获的图像和由非图像传感器中的至少一个生成的数据或至少一些文本数据来训练第二AI模型130B(图1)。如上所述,在一些实施例中,使用用于训练第一AI模型130A的至少一些数据来训练第二AI模型130B,因此第二AI模型130B能够表征第一AI模型130A在其上被训练的图像。在一些实施例中,具有低于预建立阈值的表征置信度的多个图像被存储并用于训练第二AI模型130B。例如,具有低于预建立置信度的表征置信度的图像可以被存储在存储器124B、云、和/或固定存储装置中,并且在314中被共同用于训练第二AI模型130B。
在一些实施例中,更新第一AI模型130A可以包括更新模型容量(例如,添加残余层)或模型权重。模型权重确定哪些数据样本被AI模型用于反向传播。在一些实施例中,AI模型可以包括深度网络,诸如变分自动编码器,其可以被训练以确定所提供的数据是在训练流形(manifold)之外还是在原始训练流形之内。在第二AI模型130B代替第一AI模型130A的实施例中,第二AI模型130B可以如上所述被训练。
用于训练第二AI模型130B的数据可以称为采样数据。并入到第二AI模型130B中的采样数据可以被选择以避免第二AI模型130B的发散。在发散中,第二AI模型130B将比在第一验证数据集上训练的第一AI模型130A表现更差,第一验证数据集可以是黄金标准或基础真实。发散可能指示欠拟合或“灾难性遗忘”。欠拟合可以被不能识别或表征新数据中的物品的第二AI模型130B识别。灾难性遗忘可被识别为第二AI模型130B过拟合到新数据,其中第二AI模型130B不能表征第一验证数据集中的物品。欠拟合或灾难性遗忘都是不可接受的,因为欠拟合限制了可以进行的改进的范围,而灾难性遗忘(例如,过拟合)可能不再满足基于第一验证数据集获得的监管许可的要求。
基于前述,在一些实施例中,第一AI模型130A可以仅在更新可能有助于系统100时被更新。在一些实施例中,试样数据中可能存在异常值,这可能导致第二AI模型退化,诸如通过如上所述的欠拟合或灾难性遗忘。可以通过能够访问验证数据集来避免所述问题,在该验证数据集上可以评估第二AI模型130B的性能,并且如果出现发散,则第二AI模型130B可以回滚到较旧的AI模型,诸如第一AI模型130A。在一些实施例中,第一AI模型130A可以被连续更新。
在一些实施例中,训练第二AI模型130B可以包括使用验证数据集来验证第二AI模型130B,如上所述。验证数据集可以是将捕获的图像与某些表征相关的数据。在其他实施例中,验证数据集可以基于从其他源接收的数据,诸如专门生成用于验证第二AI模型130B的其他系统或数据集。
可以在316中验证第二AI模型130B。例如,捕获的图像和/或具有与捕获的图像相似的特性的其他图像可以使用第二AI模型130B来表征。可以确定使用第二AI模型130B执行的表征置信度。如果表征置信度低于预选阈值,则第二AI模型130B可能没有被正确训练。在这种情况下,第二AI模型130B可以被进一步训练或者被第一AI模型130A替换。如果表征置信度大于预选阈值,则方法300可以进行到318,其中第二AI模型130B用于表征图像,如本文所述。
现在将描述在系统100(图1)的模块108和/或仪器110中实现的方法300。在一些实施例中,模块108中的一个或多个可以被实现为质量检查模块132,质量检查模块132可以位于轨道112附近。质量检查模块132可以被配置成捕获试样容器102和/或位于其中的试样(例如,试样216,图2A-2B)的一个或多个图像,其中一个或多个图像包括图像数据。计算机124或其他设备可以使用第一AI模型130A或第二AI模型130B来分析图像数据,以确定试样是否处于由模块108和/或仪器110进行分析的适当条件。该分析可以进一步确定配置试样容器102的测试或分析的类型。
另外参考图4A和4B,其示出了被配置为执行本文描述的表征中的至少一个的质量检查模块132的实施例。图4A示出了顶部被移除的质量检查模块132的示意性俯视图,并且图4B示出了图4A的质量检查模块132的示意性侧视图。
质量检查模块132可以包括外壳(未示出),该外壳可以至少部分地包围或覆盖轨道112,以最小化外部照明影响。在图像捕获序列期间,试样容器202可以位于外壳内部在成像位置442。外壳可以包括一个或多个门(未示出),以允许载体214进入和/或离开质量检查模块132。在一些实施例中,外壳的天花板(未示出)可以包括开口,该开口允许由机器人(未示出)将试样容器202装载到载体214中。
质量检查模块132可以包括一个或多个成像设备440。成像设备440单独地被称为第一成像设备440A、第二成像设备440B和第三成像设备440C。成像设备440可以被配置成从多个视点(例如,标记为1、2和3的视点)捕获成像位置442处的试样容器202和试样216的图像。虽然在图4A中示出了三个成像设备440,但是可选地,可以使用两个、四个或更多个成像设备。如图所示,视点1-3可以被布置成使得它们彼此大致等间隔,诸如彼此径向间隔大约120°。可以以循环方式捕获图像,例如,可以捕获来自视点1的一个或多个图像,随后顺序地捕获来自视点2和3的图像。可以使用捕获图像的其他顺序。可以使用成像设备440的其他布置。
当试样容器202位于成像位置442处在载体214中时,可以捕获试样216和/或试样容器202的图像。由成像设备440获得的多个图像的视场可以在圆周范围内稍微重叠。因此,在一些实施例中,图像的部分可以被数字地相加,以获得用于分析的血清或血浆部分216SP(图2A)的完整图像。每个成像设备440可以由计算机124生成的在通信线路443A、443B、443C上提供的触发信号触发。根据本文描述的一个或多个实施例,每个捕获的图像可以由计算机124处理。
成像设备440可以是被配置成捕获数字图像的任何合适的设备。在一些实施例中,每个成像设备440可以是能够捕获像素化图像的传统数码相机、电荷耦合器件(CCD)、光电检测器阵列、一个或多个CMOS传感器等。例如,捕获的图像的尺寸可以是大约2560×694像素。在其他实施例中,成像设备440可以捕获例如具有约为1280×387像素的图像的图像。捕获的图像可以具有其他尺寸。
质量检查模块132可以包括一个或多个光源444,其被配置为在图像捕获期间照亮试样容器202和/或试样216。在图4A的实施例中,质量检查模块132包括三个光源444,其单独地称为第一光源444A、第二光源444B和第三光源444C。在一些实施例中,质量检查模块132可以提供成像位置442的正面照明。
除了成像设备440之外,质量检查模块132可以包括一个或多个非图像传感器。非图像传感器是可由诸如质量检查模块132之类的模块用来生成除图像数据之外的与模块操作相关的数据的传感器。图像数据是代表捕获图像的数据,并且可以包括多个像素值。仪器也可以包括非图像传感器。图4A-4B中描绘的质量检查模块132的实施例包括五个非图像传感器。非图像传感器包括电流传感器450、振动传感器452、湿度传感器454、温度传感器456和声学传感器458。模块108和仪器110的其他实施例包括更多或更少的非图像传感器。
电流传感器450可以测量由诸如质量检查模块132的模块的一个或多个组件汲取的电流,并生成电流数据。在图4A-4B的实施例中,电流传感器450被配置成测量由马达460汲取的电流。马达460可以移动质量检查模块132中的一个或多个物品。在图4A-4B所示的实施例中,轨道112可以通过马达460移动。因此,电流传感器450可以测量由马达460汲取的电流。由电流传感器450生成的电流数据(例如,测量电流)可以被传输到计算机124。在一些实施例中,电流数据可用于训练第二AI模型130B(图1)。电流数据可以由汲取电流的其他设备生成。
振动传感器452可测量模块(诸如质量检查模块132)和/或模块中的一个或多个组件的振动,并生成振动数据。在图4A-4B的实施例中,振动传感器452被配置成测量轨道112的振动,该振动可能影响试样容器202中的试样216。由振动传感器452生成的振动数据(例如,测量的振动)可以被传输到计算机124。在一些实施例中,振动数据可以用于训练第二AI模型130B(图1)。振动数据可以由其他源生成。
湿度传感器454可以测量诸如质量检查模块132的模块中的湿度,并生成湿度数据。在一些实施例中,湿度传感器454可以测量系统100(图1)的位置中的湿度,而不是任何特定模块中的湿度。湿度数据可被传输到计算机124,其中湿度数据可被用于训练第二AI模型130B(图1)。
温度传感器456可以测量诸如质量检查模块132的模块中的温度,并生成温度数据。在一些实施例中,温度传感器456可以测量模块内或系统100(图1)内的组件的温度。在一些实施例中,温度传感器456可以测量模块中或系统100附近的环境空气温度。温度数据可被传输到计算机124,其中温度数据可用于训练第二AI模型130B(图1)。
声学传感器458可以测量诸如质量检查模块132的模块中的噪声,并且可以生成声学数据。在一些实施例中,声学传感器458可以测量系统100(图1)附近的环境噪声。噪声可能由正在振动的组件产生,并且可能影响试样216。声学数据可以被传输到计算机124,其中声学数据可以被用来训练第二AI模型130B(图1)。
在一些实施例中,与质量检查模块132中的传感器生成的数据相关联的表征可以包括确定试样216中包含的溶血(H)、黄疸(I)和/或脂血(L)的存在和/或范围或程度。在一些实施例中,表征可以确定试样216是否正常(N)。如果发现试样216包含少量的H、I和/或L,从而被认为是正常的(N),则试样216可以继续在轨道112上行进,其中试样216可以被模块108和/或仪器110中的一个或多个分析(例如,测试)。可以在试样216和/或试样容器202上进行其他预处理操作。
在一些实施例中,除了HILN的检测之外,表征可以包括试样容器202和/或试样216的分割。根据分割数据,后处理可用于试样216的量化(即,确定HSP、HSB、HTOT、HG、W,和/或可能确定TC、LA、SG和/或BG的位置)。在一些实施例中,试样容器202的物理属性(例如,尺寸-高度和/或宽度)的表征可以在质量检查模块132处执行。根据这些表征,可以计算试样容器202的尺寸。此外,在一些实施例中,质量检查模块132还可以确定盖220的类型(图2A-2B),这可以用作安全检查,并且可以发现是否错误的试管类型已经用于预定的一个或多个测试。
另外参考图5,图5示出了被配置成执行本文描述的表征中的一个或多个的HILN网络架构500。HILN网络架构500可被实现为操作和/或处理由质量检查模块132(图4A-4B)和本文所述的其他数据源、模块和仪器生成的数据。HILN网络架构500包括可在计算机124(图1)中实现或可由计算机124访问的HILN网络502和数据库504。HILN网络502可以至少部分地由AI模型实现,该AI模型可以是第一AI模型130A或第二AI模型130B。在一些实施例中,如本文所述,第一AI模型130A可被持续更新或再训练成第二AI模型130B。第二AI模型130B可以指用于表征的AI模型的最近版本。因此,第二AI模型130B可以指用于表征的AI模型的最新版本。
在一些实施例中,数据库504可以驻留在计算机124的存储器124B(图1)中。在其他实施例中,数据库504可以是基于云的数据库,并且可以是经由例如互联网或者经由与计算机124分离的远程服务器/计算机(未示出)可访问的。HILN网络架构500可以通过存储在数据库504中的信息来提供训练更新(诸如可以是对HILN网络502连续的训练更新508)的反馈。
用于训练更新508的数据可以存储在数据库504中。在一些实施例中,数据可以存储在不同的数据库中,所述不同的数据库统称为数据库504。该数据库可以包括来自非图像传感器的非图像数据510和文本数据512。在一些实施例中,可以在生成图像数据的同时生成非图像数据510。同样,文本数据512可以与图像数据相关。例如,文本数据512可以与被捕获以生成图像数据的试样和/或试样容器相关。用于训练更新508的数据也可以包括用于训练第一AI模型130A的原始数据。因此,更新的AI模型(第二AI模型130B)也可以被配置成表征第一AI模型130A被训练来表征的图像。
在一些实施例中,数据库504可以包括具有低表征置信度的图像的图像数据514。例如,参考图3,如果在308中图像的表征置信度不高于预选的表征置信度,则低置信度表征图像的图像数据可用于训练第二AI模型130B,如316中所述。该图像数据可以从HILN网络502传递到数据库504。如上所述,对应于这些图像的非图像数据510和/或文本数据512也可用于训练第二AI模型130B,如本文所述。
训练更新508可访问数据库504以获得数据,从而在检测到低表征置信度时规律地,或通过用户的动作,训练(多个)AI模型。在一些实施例中,训练更新508可以被立即应用到第二AI模型130B中。在这样的实施例中,当数据被接收到数据库504中时,可以执行训练更新508。在一些实施例中,系统100(图1)(诸如质量检查模块132)的用户可以将数据输入到CIM 126(图1)中,例如,这使得训练更新508开始。例如,第一AI模型130A可以响应于用户的输入而被再训练。
在一些实施例中,训练更新508可以自动发起,诸如无需用户发起。例如,HILN网络502或其他组件可以确定表征置信度。如果表征置信度低于预建立阈值,诸如图3的308中的预建立阈值,则计算机124(图1)或另一个设备可以如本文所述发起训练更新508。
在一些实施例中,训练更新508可以本地执行,诸如在计算机124(图1)中,或者训练更新508可以远程执行,然后下载到HILN网络502。除了可以核验/验证具有低表征置信度的图像数据的新收集的数据之外,第二AI模型130B可以在核验/验证数据(例如,用于监管批准的数据)上被测试(验证)。可以在不中断系统100(图1)中的现有工作流程的情况下执行训练更新508。
在一些实施例中,HILN网络502或从HILN网络502接收数据的程序可以生成与第二AI模型130B相关的性能报告。在一些实施例中,性能报告可以符合监管过程,并且可以加速对更新的HILN网络502的监管批准。在一些实施例中,性能报告可以强调第二AI模型130B相对于第一AI模型130A的改进。
HILN网络架构500可以在质量检查模块132中实现,并由计算机124(图1)控制,诸如由程序124C控制。在实施HILN网络架构500的质量检查模块132的操作期间,试样容器202(图2A-2B)可以提供在质量检查模块132的成像位置442(图4A和4B),如功能块520所示。在成像位置442提供试样容器202可以通过在成像位置442停止包含试样容器202的载体214(图2B)来实现。可以使用将试样容器202放置在成像位置442的其他方法,诸如通过机器人(未示出)放置。
如功能块522所示,多个成像设备440中的至少一个可以捕获一个或多个图像(例如,多视点图像)。每个捕获图像的原始图像数据可以被处理和合并,如题为“Methods AndApparatus For Imaging A Specimen Container and/or Specimen Using MultipleExposures(使用多次曝光对试样容器和/或试样成像的方法和装置)”的美国专利申请公开2019/0041318所述,以处理原始图像数据,如功能块524所示。在一些实施例中,在功能块524中,原始图像数据可以包括多个最佳曝光和归一化的图像数据集(以下称为“图像数据集”)。功能块524中的处理可以产生图像数据514(即,像素数据)。根据一个或多个实施例,试样216(和试样容器202)的捕获图像数据集的图像数据可以作为输入提供给HILN网络架构500中的HILN网络502。在一些实施例中,图像数据514可以是原始图像数据。
HILN网络502可以被配置成使用第一AI模型130A和/或第二AI模型130B对图像数据514执行表征,诸如分割和/或HILN确定。第一AI模型130A用于第一AI模型130A尚未被第二AI模型130B更新或替换的情况。在一些实施例中,分割和HILN确定可以通过分割卷积神经网络(SCNN)来完成。可以采用其他类型的HILN网络来提供分割和/或HILN确定。
在一些实施例中,HILN网络架构500可以执行像素级分类,并且可以提供捕获的图像中的一个或多个的详细表征。详细表征可以包括试样容器202与背景的分离以及试样216的血清或血浆部分216SP的位置和含量的确定。在一些实施例中,HILN网络502可以操作于基于每个像素的局部外观将分类指数(例如,HIL或N)分配给图像的每个像素。HILN网络502可以进一步处理像素指数信息,以确定每个像素的最终HILN分类指数。
在一些实施例中,分类指数可以包括多个血清类别,包括未离心类别、正常类别和多个类别/子类。在一些实施例中,分类可包括21个血清类别,包括未离心类别、正常类别和19个HIL类别/子类,如下文更详细描述的。
为在质量检查模块132处经历预筛选的试样216确定适当的HILN分类指数的一个挑战可能来自H、I和L类别的每个子类内的小的外观差异。也就是说,相邻子类的像素数据值可能非常相似。为了克服这些挑战,可以由HILN网络502的AI模型实现的SCNN可以包括非常深的语义分割网络(DSSN),该网络在一些实施例中包括超过100个操作层。
为了克服可能由试样容器类型(例如,容器中使用的玻璃或塑料材料的尺寸、形状和/或类型)的变化引起的外观差异,HILN网络502还可以包括位于DSSN前端的容器分割网络(CSN),并且由第一AI模型130A或第二AI模型130B实现。CSN可以被配置为确定输出容器类型,该输出容器类型可以包括例如指示高度HT和宽度W(或直径)和/或盖220的类型和/或颜色的试样容器202的类型。在一些实施例中,CSN可以具有与DSSN类似的网络结构,但是更浅(即,具有更少的层)。DSSN可以被配置成确定输出边界分割信息520,其可以包括血清或血浆部分216SP、沉淀的血液部分216SB、凝胶分离器216G、空气224和标签222的位置和像素信息。
由HILN网络502表征的试样的HILN确定可以是分类指数528,在一些实施例中,分类指数528可以包括未离心类522U、正常类522N、溶血类522H、黄疸类522I和脂血类522L。在一些实施方案中,溶血类522H可以包括H0、H1、H2、H3、H4、H5和H6子类。黄疸类5221可以包括子类I0、I1、I2、I3、I4、I5和I6。脂血类522L可以包括子类L0、L1、L2、L3和L4。在一些实施例中,溶血类522H、黄疸类522I和/或脂血类522L中的每一个可以具有其他数量的细粒度子类。
具有不正确或低置信度表征的捕获的图像、非图像数据510和成像的文本数据512可以被转发(并且在一些实施例中被加密)到数据库504。可以使用各种算法和/或技术来识别不正确的表征和/或确定表征置信度(即,表征确定准确度的预测)。在一些实施例中,不正确或低置信度确定是HILN确定不正确或正确概率低的确定。如本文所使用的,不正确的表征意味着HILN确定是不适当的,因为对应的表征置信度较低。在存在HILN类别或类别指数的低表征置信度确定的实施例中,例如,低表征置信度可以基于使用小于0.9的表征置信度水平。该表征置信水平限制可以由用户预选,或者基于监管要求来确定。
在一些实施例中,不正确或低表征置信度确定是分割确定不正确或具有低置信度的确定。具体而言,分割的不正确确定可能涉及对区域的识别,诸如血清或血浆部分216SP、凝胶分离器216G或沉淀的血液部分216SB,其具有低表征置信度或相对于一个或多个其他区域不处于特定次序。例如,盖220可以预期在血清或血浆部分216SP的顶部,并且凝胶分离器216G可以在血清或血浆部分216SP的下方。如果不满足相对定位,则可能在分割期间发生了错误。
对分割或其他过程中的低表征置信度的确定可以包括检查每个分割的像素(或超像素中的像素集合,例如像素集合,如11个像素)的概率得分。如果指示像素区域的特定分类(例如,血清或血浆部分216SP)的概率得分有太多不一致,则该分割的像素可能是低表征置信度的候选。已经被分割的区域(例如,在血清或血浆部分216SP分类的区域)的像素(或超像素)的概率得分可以被聚集,以确定该区域是否包含太多不一致。在这种情况下,如果表征置信度水平小于预选值(例如,0.9),则该区域可能是低表征置信度的候选。可以使用区域的其他合适的聚集特征置信水平。
基于不正确的或低的表征置信度,计算机124(图1)可以自动地和/或结合用户输入发起训练更新508(例如,附加的训练图像)。在一些实施例中,训练更新508可以手动注释具有低表征置信度的图像。图像的手动注释可以包括在相应的训练图像中至少用图形勾勒出血清或血浆部分216SP和/或沉淀的血液部分216SB、空气224、盖220、标签222和凝胶分离器214G。训练图像的手动注释可以包括分配HILN分类,并且还可以包括向血清或血浆部分216SP分配指数值。在其他实施例中,训练更新508可以被提供有被确定为不正确或具有低表征置信度的试样表征的图像的自动生成的注释。例如,可以通过半监督方法、自举(boot-strapping)或使用预训练的分割/分类算法来提供自动注释。
训练更新508可以被并入到HILN网络502中(例如,经由互联网或物理介质)。在一些实施例中,训练更新508可以是应用于第一AI模型130A的更新,并且在其他实施例中,训练更新508可以生成新的AI模型(例如,第二AI模型130B),如本文所述。将训练更新508并入HILN网络502可以在计算机124(图1)的控制下或者通过CIM 126(图1)的提示是自动的。除了新收集的图像数据514、非图像数据510和/或文本数据512之外,第二AI模型130B模型可以基于用于监管批准的核验/验证数据进行测试(例如,验证)。然后,计算机124可以生成符合性能准则的性能报告,诸如来自监管过程的性能报告,其中它可以强调相对于第一AI模型130A的改进。基于此性能准则,用户可以批准更新。这些更新可以在不中断现有工作流的情况下进行。在一些实施例中,更新可以由服务技术人员执行,或者它可以通过互联网远程进行。
另外参考图6,其示出了流程图,该流程图示出了在自动诊断系统(例如,自动诊断系统100)中表征试样容器(例如,试样容器202)或试样(例如,试样216)的方法600。方法600包括,在602中,使用成像设备(例如,成像设备440中的一个或多个)捕获包含试样的试样容器的图像。方法600包括,在604中,使用第一AI模型(例如,第一AI模型130A)表征图像。方法600包括,在606中,确定图像的表征置信度是否低于预选阈值。方法600包括,在608中,至少利用具有低于预选阈值的表征置信度的图像将第一AI模型再训练为第二AI模型(例如,第二AI模型130B),其中再训练包括从非图像数据(例如,非图像数据510)和文本数据(例如,文本数据512)的组中的一个或多个中选择的数据。
另外参考图7,其示出了显示在自动诊断系统(例如,自动诊断系统100)中表征试样(例如,试样216)的方法700的流程图。方法700包括,在702中,使用成像设备(例如,成像设备440中的一个或多个)捕获试样(例如,试样216)的图像。方法700包括,在704中,使用第一AI模型表征图像,以确定溶血、黄疸或脂血中的至少一种的存在。方法700包括,在706中,确定溶血、黄疸或脂血中的至少一种的存在的确定的表征置信度是否低于预选阈值。方法700包括,在708中,至少利用具有低于预选阈值的表征置信度的图像将第一AI模型再训练为第二AI模型(例如,第二AI模型130B),其中再训练包括从非图像数据(例如,非图像数据510)和文本数据(例如,文本数据512)的组中的一个或多个中选择的数据。
虽然本公开容易受到各种修改和替代形式,但是已经通过附图中的示例示出了特定的方法和装置实施例,并且在本文详细描述。然而,应该理解的是,本文公开的特定方法和装置并不旨在限制本公开,而是相反,覆盖了落入权利要求范围内的所有修改、等同物和替代物。

Claims (26)

1.一种在自动诊断系统中表征试样容器或试样的方法,包括:
使用成像设备捕获包含试样的试样容器的图像;
使用第一人工智能(AI)模型表征所述图像;
确定图像的表征置信度是否低于预选阈值;以及
至少利用具有低于预选阈值的表征置信度的图像将第一AI模型再训练为第二AI模型,其中所述再训练包括从以下的组中的一个或多个中选择的数据:
非图像数据,和
文本数据。
2.根据权利要求1所述的方法,包括验证所述第二AI模型以高于预建立阈值的表征置信度执行所述表征。
3.根据权利要求1所述的方法,包括在验证数据集上验证所述第二AI模型。
4.根据权利要求1所述的方法,包括:
将具有低于预选阈值的表征置信度的图像存储在包括具有低于预选阈值的表征置信度的一个或多个其他图像的数据库中;以及
用存储在数据库中的图像中的一个或多个再训练第一AI模型。
5.根据权利要求1所述的方法,其中再训练第一AI模型包括用所述第二AI模型替换所述第一AI模型。
6.根据权利要求1所述的方法,包括在从多个自动诊断系统获得的验证数据集上训练所述第一AI模型。
7.根据权利要求1所述的方法,包括接收用户输入,其中所述第一AI模型响应于所述用户输入而被再训练。
8.根据权利要求1所述的方法,其中所述表征包括确定所述试样的血清或血浆部分中溶血、黄疸或脂血中的至少一种的存在。
9.根据权利要求1所述的方法,其中所述表征包括确定所述试样的血清或血浆部分的溶血指数、黄疸指数或脂血指数中的至少一个。
10.根据权利要求1所述的方法,其中,所述表征包括分割试样。
11.根据权利要求1所述的方法,其中,所述表征包括分割试样,以至少识别血清或血浆部分和沉淀的血液部分。
12.根据权利要求11所述的方法,包括确定血清或血浆部分或沉淀的血液部分中的至少一个的高度。
13.根据权利要求1所述的方法,其中,所述表征包括确定试样容器上是否存在盖。
14.根据权利要求1所述的方法,其中,所述表征包括确定所述试样容器上的盖的颜色。
15.根据权利要求1所述的方法,其中,所述表征包括确定所述试样容器上的盖的类型。
16.根据权利要求1所述的方法,其中识别所述表征置信度是否低于预选阈值包括识别所述表征置信度是否在0.0和1.0之间的范围内小于0.9。
17.根据权利要求1所述的方法,其中识别所述表征置信度是否低于预选阈值包括识别所述表征置信度是否在0.0和1.0之间的范围内小于0.8。
18.根据权利要求1所述的方法,包括分割所述试样或所述试样容器的图像,其中识别所述表征置信度是否低于预选阈值包括确定分段中是否少于90%的像素值被分类为相同。
19.根据权利要求1所述的方法,其中所述非图像数据包括温度数据。
20.根据权利要求1所述的方法,其中所述非图像数据包括湿度数据。
21.根据权利要求1所述的方法,其中,所述非图像数据包括振动数据、电流数据和声学数据中的至少一个。
22.根据权利要求1所述的方法,其中,所述文本数据包括与从其获取试样的人相关的信息。
23.一种在自动诊断系统中表征试样的方法,包括:
使用成像设备捕获试样的图像;
使用第一人工智能(AI)模型表征所述图像,以确定溶血、黄疸或脂血中的至少一种的存在;确定溶血、黄疸或脂血中的至少一种的存在的确定的表征置信度是否低于预选阈值;以及
至少利用具有低于预选阈值的表征置信度的图像将第一AI模型再训练为第二AI模型,其中所述再训练包括从以下的组中的一个或多个中选择的数据:
非图像数据,和
文本数据。
24.根据权利要求23所述的方法,其中,所述非图像数据包括温度数据、湿度数据、振动数据、电流数据和声学数据中的至少一个。
25.根据权利要求23所述的方法,其中,所述文本数据包括与从其获取试样的人相关的信息。
26.一种自动诊断系统,包括:
成像设备,被配置为捕获包含试样的试样容器的图像;和
计算机,被配置为:
使用第一人工智能(AI)模型表征所述图像;
确定图像的表征置信度是否低于预选阈值;以及
至少利用具有低于预选阈值的表征置信度的图像将第一AI模型再训练为第二AI模型,其中所述再训练包括从以下的组中的一个或多个中选择的数据:
非图像数据,和
文本数据。
CN202280048059.0A 2021-07-07 2022-07-06 在自动诊断系统中提供训练更新的方法和装置 Pending CN118043907A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163219343P 2021-07-07 2021-07-07
US63/219343 2021-07-07
PCT/US2022/073474 WO2023283584A2 (en) 2021-07-07 2022-07-06 Methods and apparatus providing training updates in automated diagnostic systems

Publications (1)

Publication Number Publication Date
CN118043907A true CN118043907A (zh) 2024-05-14

Family

ID=84802074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048059.0A Pending CN118043907A (zh) 2021-07-07 2022-07-06 在自动诊断系统中提供训练更新的方法和装置

Country Status (4)

Country Link
EP (1) EP4367685A2 (zh)
JP (1) JP2024528803A (zh)
CN (1) CN118043907A (zh)
WO (1) WO2023283584A2 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3970158A1 (en) * 2019-05-16 2022-03-23 PAIGE.AI, Inc. Systems and methods for processing images to classify the processed images for digital pathology
WO2021086720A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Methods and apparatus for automated specimen characterization using diagnostic analysis system with continuous performance based training
JP2023500678A (ja) * 2019-11-05 2023-01-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 検体を分析するシステム、装置、および方法

Also Published As

Publication number Publication date
EP4367685A2 (en) 2024-05-15
JP2024528803A (ja) 2024-08-01
WO2023283584A3 (en) 2024-04-04
WO2023283584A2 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
JP6858243B2 (ja) 試料容器の容器キャップを識別するためのシステム、方法及び装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
CN108603835B (zh) 被适配成根据多个侧视图来量化试样的方法和装置
US11313869B2 (en) Methods and apparatus for determining label count during specimen characterization
JP6919139B2 (ja) 複数の側面図から試料容器を識別するように構成された方法および装置
JP6791972B2 (ja) 試料中のインターフェレントを検出するための方法と装置
JP6927465B2 (ja) 検体中の妨害因子を分類するためのモデルベース方法及び装置
CN110573859A (zh) 用于使用卷积神经网络的hiln表征的方法和装置
JP7012746B2 (ja) 検体評価中にラベル補正する方法及び装置
JP2019510963A (ja) マルチビューの特徴付けのための方法及び装置
JP2021510201A (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP2021527221A (ja) 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置
JP7454664B2 (ja) 継続的な性能ベースの訓練を用いる診断分析システムを使用した自動検体特性評価のための方法および装置
JP7386236B2 (ja) 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置
CN118043907A (zh) 在自动诊断系统中提供训练更新的方法和装置
US20240371141A1 (en) Methods and apparatus providing training updates in automated diagnostic systems
JP7458481B2 (ja) 自動診断分析システムにおいて検体のhiln決定に使用される訓練画像をハッシュおよび検索するための方法および装置
US20240320962A1 (en) Site-specific adaptation of automated diagnostic analysis systems
JP7373659B2 (ja) 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
CN118922125A (zh) 诊断实验室系统和更新的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40105569

Country of ref document: HK