CN112435753A - 医疗数据的自动验证 - Google Patents

Abstract

本公开的实施例涉及医疗数据的自动验证。本公开的一些实施例提供一种用于医疗数据验证的方法。该方法包括获得在医疗测试中生成的目标医疗数据，以及获得用于验证医疗数据的机器学习模型。机器学习模型表示医疗数据和验证结果之间的关联，该验证结果指示与要对医疗数据执行的预定动作相关的信息。该方法还包括通过将目标医疗数据应用于机器学习模型来确定针对目标医疗数据的目标验证结果，该目标验证结果指示与要对目标医疗数据执行的目标动作相关的信息，目标动作选自预定动作。通过该方案，可以以高准确性、高效率且较少的手动工作来实现自动医疗数据验证。

Description

医疗数据的自动验证

技术领域

本公开的实施例总体上涉及计算机科学领域，并且具体地涉及用于医疗数据的自动验证的方法、设备和计算机程序产品。

背景技术

在医疗实验室中几乎每天都在执行医疗测试，因此大量医疗测试报告被生成以呈现医疗数据。在将医疗测试报告发布给临床部或患者之前，要启动验证过程来确保报告中呈现的医疗数据是有效的，以避免对患者的错误诊断。然而，即使已经引入了一些自动功能，在当前的验证过程中仍需要大量工作。

当前，基于规则的引擎被用于验证医疗测试报告。基于规则的引擎被配置为通过确定医疗测试报告中的测试结果是否满足预定规则，来验证该报告是否可以被直接传递给临床部或患者。不满足一个或多个预定规则的医疗测试报告将被提供给实验室专家，以他们的医疗经验和知识进行人工审核。

即使在当前基于规则的功能的支持下，医疗数据的验证也必须花费大量人力。除人力资源成本外，验证的准确性和效率可能会取决于实验室技术人员的经验和专业水平而有所不同。因此，期望获得一种用于医疗数据的自动验证的方案，以用较少的手动工作来实现高准确性和高效率。

发明内容

总体上，本公开的示例实施例提供了一种用于医疗数据的自动验证的方案。

在第一方面，提供了一种用于医疗数据验证的方法。该方法包括获得在医疗测试中生成的目标医疗数据，以及获得用于验证医疗数据的机器学习模型。机器学习模型表示医疗数据与验证结果之间的关联，并且该验证结果指示与要对医疗数据执行的预定动作相关的信息。该方法还包括通过将目标医疗数据应用于机器学习模型来确定针对目标医疗数据的目标验证结果，该目标验证结果指示与要对目标医疗数据执行的目标动作相关的信息，目标动作选自预定动作。

在第二方面，提供了一种提供用于验证医疗数据的机器学习模型的方法。该方法包括：获得训练数据，该训练数据包括历史医疗数据和相关联的标注信息。标注信息指示对历史医疗数据执行的预定动作。该方法还包括：基于训练数据来生成用于验证医疗数据的第一机器学习模型，使得第一机器学习模型表示医疗数据与验证结果之间的关联，该验证结果指示与要对医疗数据执行的预定动作相关的信息。

在第三方面，提供了一种电子设备。该电子设备包括至少一个处理器以及包括计算机可读指令的至少一个存储器，计算机可读指令在由电子设备的至少一个处理器执行时使电子设备执行上述第一方面中的方法的步骤。

在第四方面，提供了一种电子设备。该电子设备包括：至少一个处理器以及包括计算机可读指令的至少一个存储器，计算机可读指令在由电子设备的至少一个处理器执行时使电子设备执行上述第二方面中的方法的步骤。

在第五方面，提供了一种计算机程序产品。该计算机程序产品包括指令，该指令在由装置的处理器执行时使该装置执行上述第一方面中的任何一种方法的步骤。

在第六方面，提供了一种计算机程序产品。该计算机程序产品包括指令，该指令在由装置的处理器执行时使该装置执行上述第二方面中的任何一种方法的步骤。

应当理解，发明内容部分无意标识本公开的实施例的关键或必要特征，也无意用于限制本公开的范围。本公开的其他特征通过以下描述将变得容易理解。

附图说明

当结合以下附图阅读时，可以更好地理解本发明实施例的以下详细描述，其中：

图1图示了可以在其中实现本公开的实施例的示例环境；

图2图示了根据本公开的一些实施例的用于医疗数据验证的系统的框图；

图3图示了根据本公开的一些实施例的用于训练图2的系统中的一个或多个机器学习模型的计算设备的框图；

图4图示了根据本公开的一些实施例的针对历史医疗数据集合的示例聚类结果；

图5图示了根据本公开的一些实施例的用于应用图2的系统中的一个或多个机器学习模型的计算设备的框图；

图6图示了根据本公开的一些实施例的示例医疗测试报告；

图7图示了根据本公开的一些其他示例实施例的用于训练图2的系统中的一个或多个机器学习模型的计算设备的框图；

图8图示了根据本公开的一些实施例的系统的框图，其中一个或多个机器学习模型与基于规则的引擎和实验室信息系统(LIS)兼容；

图9图示了根据本公开的一些实施例的用于验证医疗数据的示例过程的流程图；

图10图示了根据本公开的一些实施例的用于提供用于验证医疗数据的机器学习模型的示例过程的流程图；和

图11图示了适合于实现本公开的示例实施例的示例计算系统/设备的框图。

在所有附图中，相同或相似的参考标号表示相同或相似的元素。

具体实施方式

现在将参考一些实施例描述本公开的原理。应当理解，这些实施例被描述仅仅是为了解释说明的目的，并且帮助本领域技术人员理解和实现本公开，而不是暗示对本公开范围的任何限制。可以以与以下描述的方式不同的各种方式来实现本文所描述的公开。

在以下描述和权利要求中，除非另有定义，否则本文中使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常所理解的相同含义。

在本公开中，“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但不必每个实施例都包括该特定特征、结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合示例实施例描述特定特征、结构或特性时，结合其他实施例来影响这样的特征、结构或特性被认为属于本领域技术人员的知识范围，无论这样的结合是否被明确描述。

应当理解，尽管在本文中可以使用术语“第一”和“第二”等来描述各种元素，但这些元素不应受到这些术语的限制。这些术语仅被用于区分一个元素和另一个元素。例如，在不脱离示例实施例的范围的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。

本文中所使用的术语仅出于描述特定实施例的目的，并且无意限制示例实施例。如本文中所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。还将理解的是，当在本文中使用时，术语“包括”、“包括的”、“具有”、“具有的”、“包含”和/或“包含的”指定所陈述的特征、元素和/或组件等等的存在，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或增加。

示例环境

如上所提及，验证过程对于确保在各种医疗测试中生成的医疗数据的有效性很重要。图1图示了可以在其中实现本公开的示例实施例的环境100。环境100涉及用于医疗诊断测试的典型工作流程。该工作流程通常包括对用于医疗诊断的测试样本执行医疗测试，生成医疗测试中的医疗数据以及验证所生成的医疗数据。

在图1所示的环境100中，医疗测试系统110被配置为对测试样本102执行医疗测试，并生成与测试样本102相关联的医疗数据112。医疗测试可以包括体外诊断测试，诸如生化检测测试或免疫检测测试。医疗测试系统110可以包括一个或多个自动实验室仪器或分析装置，其被设计用于通过各种化学、生物学、物理或其他医疗测试程序来分析测试样本。在一些示例中，仪器或分析装置可以被配置为引起样本与试剂的反应以获得测量值。这样的仪器或分析装置的示例是临床化学分析仪、凝血分析仪、免疫化学分析仪、血液学分析仪、尿液分析仪和核酸分析仪，其被用于定性和/或定量检测样本中存在的分析物，以检测化学或生物反应的结果和/或监测化学或生物反应的进程。

医疗测试系统110可以可操作来执行医疗测试，以测量样本或其至少一种分析物的参数。医疗测试可以涉及对样本102实施的一个或多个测试项目。医疗测试系统110可以将与各个测试项目相对应的测试结果作为医疗数据112返回。由医疗测试系统110返回的可能的测试结果可以通过以下方式获得：确定样本中的分析物的浓度、指示样本中存在分析物的数字(是或否)结果(对应于高于检测水平的浓度)、从蛋白质或代谢物的质谱中获得的数据，以及各种类型的物理、机械、光学、电气或化学参数等等。

测试项目类型的一些特定示例可以包括丙氨酸转氨酶(ALT)、天冬氨酸转氨酶(AST)、谷氨酸脱氢酶(GLDH)、钠浓度(NA)、年龄、血红蛋白、血浆蛋白、白蛋白(ALB)、球蛋白(GLB)、总胆红素(TBIL)、直接胆红素(DBIL)、总胆汁酸(TBA)、血尿素氮(BUN)等等的水平。此处列出的示例并非详尽的。在特定的医疗测试中要执行的测试项目可以由请求该医疗测试的实体指定，这样的实体诸如是门诊部、体检中心、医生、患者等。

测试样本102也可以被称为生物样本，其是被怀疑含有一种或多种感兴趣分析物的生物材料，并且其检测、定性和/或定量可能与临床状况相关联。该生物样本来自生物源，诸如生理流体，包括血液、唾液、眼晶状体液、脑脊髓液、汗液、尿液、粪便、精液、奶、腹水液、粘液、滑液、腹膜液、羊水、组织、细胞等。可以从例如患者、人、动物等的生物对象采集这样的生物源。

生物样本可以在使用前进行预处理，诸如从血液中制备血浆或血清。处理的方法可以涉及样本组分(包括感兴趣的分析物)的离心、过滤、蒸馏、稀释、浓缩和/或分离、干扰组分的失活以及试剂的添加。生物样本可以在从源中获得后就直接被使用，或者也可以在用于改变样本的特征的预处理后被使用。在一些实施例中，可以通过利用合适的液体介质溶解或悬浮原始固体或半固体生物材料，来使原始固体或半固体生物材料变成液体。

术语“试剂”是指在对生物样本执行特定医疗测试以引起样本中的特定反应时添加到生物样本中的物质。试剂对于特定的测试或测定可以是特异性的。例如，在应确定血液样本的部分血栓形成时间的情形中，分析仪可以被配置为向血液样本中添加一种活化剂作为试剂，以激活凝血的内源性途径。在不同情形中，特定物质可以是“改性剂”或“试剂”。在一些示例中，试剂可以不被添加到要被测试的生物样本中。

与测试样本102相关联的医疗数据112可以包括在医疗测试系统110处的医疗测试中实施的测试项目的一个或多个测试结果。测试结果的类型可以由医疗测试系统110的操作者(例如，实验室技术员)指定，或者经由与医疗测试系统110连接的信息系统从电子申请单中自动识别。在一些示例中，医疗数据112可以被组织在医疗测试报告中，特定测试项目和对应测试结果被列在医疗测试报告上。在一些示例中，除了在医疗测试中生成的测试结果，医疗数据112还可以包括辅助信息，诸如与测试样本102相关的信息和/或与从中采集测试样本102的生物对象(诸如患者)相关的信息。

医疗数据112被提供给验证系统120以评估医疗数据112的有效性并确定医疗数据112是否可以被发布。由于在样本采集和测试过程期间可能会出现许多问题，因此需要进行验证。例如，患者样本可能被贴错标签，导致报告的测试结果与错误的患者相关联。作为另一个示例，患者样本可能被不正确地抽取或不正确地处理，从而导致样本污染和错误的测试结果。此外，实验室分析仪可能出现故障或偏离校准状态，同样导致分析仪报告错误结果。

验证系统120为医疗数据112提供验证结果122。如果医疗数据112通过验证，验证结果122可以指示医疗数据112足够有效到被直接发布(或在简单的人工审核之后被发布)给申请医疗测试的请求者。如果医疗数据112被确定为可疑或异常，验证结果122可以指示医疗数据112未通过验证。在此情况下，可能需要对医疗数据112采取进一步的动作。验证结果122和医疗数据112可以被提供给诸如实验室信息系统(LIS)之类的信息系统，用于存档、记录、呈现、进一步处理等。取决于验证结果122，可能涉及或可能不涉及、后续的手动工作。

在当前的验证过程中，已经提出了基于规则的引擎来验证医疗测试报告。基于规则的引擎被配置为通过确定报告中的测试结果是否满足预定规则来验证医疗测试报告是否可以被直接传递给临床部或患者。这些规则通常被设置为针对各个测试项目的标准值范围。如果不满足一个或多个预定规则，医疗测试报告将被提供给实验室专家，利用他们的医疗经验和知识进行人工审核。整个程序容易出错，并招致高昂的人力资源/时间消耗。因此，期望获得一种用于医疗数据的自动验证的方案，以较少的手动工作来实现高准确性和高效率。

工作原理和示例验证系统

根据本公开的示例实施例，提出了一种用于医疗数据的自动验证的方案。在该方案中，从历史医疗数据和指示对历史医疗数据执行的预定动作的相关联标注信息中学习一个或多个机器学习模型。机器学习模型表示医疗数据与验证结果之间的关联。可以利用一个或多个机器学习模型来验证目标医疗数据并输出目标验证结果，该目标验证结果指示与预定动作中要对目标医疗数据执行的一个动作有关的信息。通过该方案，可以从历史数据中学习信息以实现医疗数据的高度自动验证，这可以显著减少在审核医疗数据时所付出的手动工作并且改进医疗数据验证的准确性和质量。

在下文中，参考附图描述了本公开的示例实施例。首先对图2进行参考，其图示了根据本公开的一些实施例的用于医疗数据验证的系统。图2中的系统可以被实现为图1中的验证系统120，并且被使用在针对医疗诊断测试的整个工作流程的验证阶段。验证系统120也可以被称为自动验证系统120。

根据本公开的实施例，采用一种或多种机器学习技术来以类似于人的准确性自动分析和验证医疗数据。机器学习技术也可以称为人工智能(AI)技术。通常，可以建立机器学习模型，该模型接收输入信息并基于输入信息进行预测。例如，分类模型可以从预定的一组类别中预测输入信息的类别。

执行机器学习通常涉及以下三个阶段：训练阶段，用于通过将输入与预期输出进行配对来用训练数据集训练机器学习模型；评估/测试阶段，用于通过使用评估数据集和/或测试数据集估计模型性能特性(例如，分类器的分类错误等)来估计模型的训练程度；以及应用阶段，用于将实际数据应用于经训练的机器学习模型以获取结果。在图2中所示的验证系统120中，计算设备210被配置为实现机器学习的训练阶段以及可能的评估/测试阶段，而计算设备230被配置为实现机器学习的应用阶段。应当理解，尽管被分开图示出，但计算设备210和230可以被实现为单个物理设备以执行本文所描述的它们的功能性。

具体地，计算设备210被配置为训练一个或多个机器学习模型，例如，机器学习模型212-1，212-2，...，212-N，用于验证医疗数据。N是等于或大于1的任何整数。机器学习模型212-1，212-2，...，212-N在下文中被统称为或者被单独称为机器学习模型212。(一个或多个)机器学习模型212被训练以自动处理输入医疗数据并输出针对输入医疗数据的验证结果。经训练的(一个或多个)机器学习模型212各自表示医疗数据和验证结果之间的关联。该关联使得可以引导机器学习模型212预测针对输入医疗数据的合适的验证结果。

待验证的医疗数据可以在测试样本的医疗测试中被生成，并且例如可以被组织成医疗测试报告的形式。医疗数据包括测试项目的一个或多个测试结果，其可以包括与测试项目相关的测量值和/或指示测试样本中存在某种分析物的数字(是或否)结果。验证结果指示与要对医疗数据执行的动作相关的信息，该验证结果可以被视为针对系统或用户的建议，以自动或手动决定在整个医疗诊断测试工作流程的下一步中可以如何处理医疗数据。机器学习模型212从适于医疗数据的后续处理的多个预定动作中选择动作。

验证过程是在将医疗数据发布给请求医疗测试的实体(诸如临床部或患者)之前查找医疗数据中的潜在错误。如果医疗数据被验证为是正确的且没有错误，则针对医疗数据的下一步是将医疗数据发布给该实体(或要求快速人工审核然后发布给该实体)。在此情况下，要对医疗数据执行的一种可能的动作是直接或在快速人工审核之后将医疗数据发布给请求与医疗数据相关的医疗测试的实体。为了便于讨论，该动作有时在本文中被称为第一动作。

在其他情况下，医疗数据被验证为有错误，这可能是由于测试样本、所执行的医疗诊断测试程序、医疗测试中使用的试剂、与测试样本的生物对象的物理状况不匹配、用于做出决策的信息不足等等所致。在此情况下，需要执行对应的动作来纠正错误。针对医疗数据的验证结果中所指示的动作是建议进一步验证医疗数据(称为“第二动作”)。第二动作是一般性建议，其意指不应发布当前的医疗数据，并且需要进行人工审核以决定可以如何进一步验证医疗数据。

在一些示例中，可以训练机器学习模型212来确定一个或多个特定动作，这样的动作是能够被执行以用于进一步验证的动作，包括重新运行与医疗数据有关的医疗测试的动作(称为“第三动作”)；检查历史患者病历的动作(称为“第四动作”)；检查医疗测试中的试剂反应的动作(称为“第五动作”)，诸如检查试剂反应曲线；检查被采集以在医疗测试中使用的测试样本的动作(称为“第六动作”)；结合临床诊断来检查医疗数据的动作(称为“第七动作”)；以及检查患者用药情况的动作(称为“第八动作”)；等等。应当理解，上面列出的下一步动作仅仅是一些特定示例，并且还可以根据实际用例的需要而指定更多、更少或不同的动作。

通过在验证结果中指示那些下一步动作之一，系统或实验室技术人员可以更容易、更高效地确定要在医疗诊断测试工作流程中执行的下一步。例如，如果验证结果指示重新运行医疗测试的第三动作，验证系统120可以自动请求图1中的医疗测试系统110重新运行医疗测试，以便更新医疗数据。由于机器学习模型212已经从历史经验和知识中学习到提供这些动作之一，因此可以显著降低对实验室技术人员的要求和压力。经验和知识有限的实验室技术人员可以能够决定进一步验证的下一步，而无需花费大量时间人工审核医疗数据。

在一些实施例中，来自机器学习模型212的验证结果可以包括要对医疗数据执行的动作的明确指示和/或在为当前医疗数据选择动作时机器学习模型212的置信度水平。在确定要输出的动作时，机器学习模型212测量预定动作的相应概率，并选择具有最高概率的动作。动作的概率可以指示机器学习模型212对于将该动作选择为下一步动作的置信度有多大。置信度水平可以被认为是该动作的风险等级。置信度水平也可以被用作实验室技术人员或系统的参考，以确认所建议的操作是否适合于医疗数据112。

已经描述了机器学习模型212的输入(即，医疗数据)和输出(即，验证结果)。在计算设备210中实现的机器学习的训练阶段是使(一个或多个)机器学习模型212学习输入与输出之间的关联。基于来自数据库201的训练数据202，以监督的方式训练(一个或多个)机器学习模型212。训练数据202包括历史医疗数据和与其相关联的标注信息。历史医疗数据可以包括在针对一个或多个患者的不同医疗测试中生成的许多医疗测试报告。标注信息指示对医疗测试报告执行的相应动作。这样，标注信息可以被用作要对历史医疗数据执行的动作的真实指示。通常，历史医疗数据的被标注动作是被认为是那些医疗数据的正确动作的那些动作和/或由实验室专家人工标记的那些动作。

训练(一个或多个)机器学习模型212以提供验证结果，该验证结果指示与输入的医疗数据相关联的标注信息中所指示的针对输入医疗数据的相同或相似的动作。这样，经训练的(一个或多个)机器学习模型212可以表示医疗数据与验证结果之间的关联。下文将会详细讨论计算设备210对(一个或多个)机器学习模型212的训练。

所生成的(一个或多个)机器学习模型212可以由计算设备210经由通信网络提供给计算设备230，或者可以由计算设备210存储到计算设备230可访问的存储装置中。计算设备230可以利用所生成的机器学习模型212中的一个或多个来验证医疗数据。计算设备230被配置为获取待验证的医疗数据112，并将医疗数据112应用于一个或多个机器学习模型212，以获得针对医疗数据112的验证结果122。

医疗数据112有时可以被称为目标医疗数据，其可以从存储装置中检索或从医疗测试系统110接收。验证结果122有时可以被称为目标验证结果，其指示与从要对目标医疗数据执行的目标动作相关的信息，该目标动作选自多个预定动作。验证结果122可以包括目标动作的指示和/或在选择目标动作时(一个或多个)机器学习模型212的置信度水平。计算设备230可以将验证结果122呈现给用户(诸如实验室技术人员)，或者存储验证结果122以供进一步使用。下文将会详细讨论计算设备230对(一个或多个)机器学习模型212的应用。

机器学习模型的训练

图3图示了在计算设备210中实现一个或多个机器学习模型212的训练的架构的框图。如图所示，计算设备210包括用于对训练数据202进行预处理的数据准备模块310以及用于基于数据准备模块310准备的训练数据来实现模型训练过程的模型训练模块320。在图3中，仅出于说明的目的描绘了一个经训练的机器学习模型212。在一些情况下，可以训练一个以上的机器学习模型212。

在现实场景中，很大一部分医疗测试报告是由实验室专家验证为有效并且可以被发布，这意味着它们相关联的标注信息可以指示如上所提及的第一动作。这样的医疗数据和相关联的标注信息可以被认为是针对模型训练的正样本。由于大量可用的正样本，因此希望选择具有较高可靠度的那些样本，这可以确保后续机器学习的准确性。

具体地，数据准备模块310被配置为从训练数据202中获得被标记为与指示第一动作的标注信息相关联的可用历史医疗数据集合(也称为“历史医疗数据的第一集合”)。标注信息可以由实验室专家人工标注到历史医疗数据的第一集合和/或由一些已知的可用验证系统(诸如基于规则的验证引擎)自动标注到历史医疗数据的第一集合。数据准备模块310可以从历史医疗数据的第一集合中进一步过滤在标注信息中具有比该组中的其他历史医疗数据更高的可靠度的历史医疗数据，并提供所选择的历史医疗数据和相关联的标注信息以供模型训练模块用于训练(一个或多个)机器学习模型212。

相关联的标注信息的可靠度可以取决于各种因素，例如，从中采集历史医疗数据和/或标注信息的数据源、与历史医疗数据和/或标注信息相关的患者的状况，等等。例如，如果从相对较大量的待检患者处于健康状态的体检中心采集到历史医疗数据和标注信息，则这样的标注信息与来自不同诊所的那些标注信息相比具有更高的可靠度。此外，从普通诊所采集的历史医疗数据的标注信息的可靠度可能比从一些重症监护部获得的标注信息的可靠度更高。作为另一个示例，患者的年龄、诊断疾病、专业和/或其他方面可以被设置为某些准则，以过滤出具有更高可靠度的标注信息。相比于和老年人相关的历史医疗数据和标注信息，可以选择与青年人相关的历史医疗数据和标注信息。

除了正样本外，还可能需要负样本——即具有指示除第一动作以外的其他动作的标注信息的历史医疗数据，以用于训练(一个或多个)机器学习模型212。在一些状况下，由于可以直接发布的医疗数据量很大，因此被标注为需要进一步验证的医疗数据(例如，除第一动作以外的任何一动作)的医疗数据百分比比较低。尽管人工标注是获得负样本的足够训练数据的一种可能选择，但其主要缺点是成本高和时间消耗大。在一些实施例中，数据准备模块310可以被配置为促进对训练数据202中的一些历史医疗数据进行标注，尤其是确定标注信息以指示进一步验证医疗数据的第二一般动作。

数据准备模块310可以利用无监督方法来促进负样本的选择和标注以用于训练。具体地，数据准备模块310被配置为从可用历史医疗数据集合(称为“历史医疗数据的第二集合”)中选择异常历史医疗数据。历史医疗数据的第二集合中的一些数据可能已被标记有相关联的标注信息，例如，指示第一动作的标注信息。在一些示例中，可以从存储在数据库201中的部分或全部训练数据202中获得历史医疗数据的第二集合。异常历史医疗数据可以是具有针对一些测试项目的测试结果的异常值的那些历史医疗数据。一般而言，具有异常值的医疗数据需要进一步验证的概率较高，并且因此可能与第二动作相关联。

数据准备模块310可以被配置为对历史医疗数据的第二集合进行聚类，以找到异常历史医疗数据。例如，图4图示了针对历史医疗数据集合的示例性聚类结果。注意，在该示例中，仅出于说明的目的，每条历史数据(例如，每个历史医疗测试报告)被示出为包括二维数据。在对历史医疗数据进行聚类之后，形成了三个簇410、420和430。多条异常医疗数据401-1至410-9远离三个簇的质心，并且因此可以被视为异常历史医疗数据。应当理解，仅出于说明的目的而提供了图4中所示的示例，而不所暗示对本公开的范围的任何限制。

一些或全部异常历史医疗数据可以用标注信息进行标记，该标注信息指示需要进一步验证的第二动作。在一些实施例中，数据准备模块310被配置为将异常历史医疗数据呈现给用户以进行交叉标注。可以经由计算设备230或其他终端设备的用户界面来呈现异常历史医疗数据。在接收到指示预定动作之一的用户输入时，数据准备模块310被配置为将异常历史医疗数据标记为与所指示的动作的标注信息相关联。

用户可以利用他/她的经验和知识来为异常历史医疗数据明确指定多个预定动作。在此情况下，允许用户标记相关联的标注信息以指示除第一动作之外的所有其他动作。在一些其他示例中，需要简单的用户确认以确认异常历史医疗数据是否可以用第二动作来标注。数据准备模块310然后可以将异常历史医疗数据和相关联的标注信息确定为负样本，以用于在模型训练中使用。通过仅过滤用于人工标注的异常历史医疗数据，在数据准备阶段就需要更少的手动工作以及更低的时间消耗和成本。

在一些实施例中，机器学习模型212可以被训练为验证包括相对大量的测试项目的测试结果的医疗数据。然而，一些医疗测试报告中的历史医疗数据可能包括一些而不是所有要考虑的测试项目的过去测试结果，这导致高度稀疏性，因为很少有医疗测试报告涵盖机器学习模型212所涉及的所有测试项目。为了处理数据稀疏性，数据准备模块310可以被配置为进一步处理要被使用的训练数据，例如，在上述正样本和负样本的确定之后获得的训练数据。

数据准备模块310可以被配置为通过填充没有实际值的其他测试项目的测试结果来处理历史医疗数据。针对每个测试项目的填充测试结果可以根据包括在其他历史医疗数据中该测试项目的实际测试结果来确定。例如，可以将针对测试项目的填充测试结果计算为针对每个测试项目的参考范围的中值或平均值，其中参考范围根据针对该测试项目的实际测试结果的实际值来确定。参考范围也可以被确定为针对该测试项目的标称参考范围。作为替代方案，数据准备模块310可以通过使用诸如奇异值分解(SVD)和主组分分析(PCA)之类的降维技术来将高维但稀疏的历史医疗数据转换为低维但密集的历史医疗数据。

尽管负样本中的历史医疗数据和标注信息可以如上所述的方式来获得，但可用负样本的量仍可能小于正样本的量(其中标注信息指示第一动作)，导致训练数据不均衡。为了控制不均衡，数据准备模块310可以被配置为将每个机器学习模型212的训练中的负样本和正样本的比率限制在合理水平。

具体地，数据准备模块310可以被配置为基于第一历史医疗数据的量与第二历史医疗数据的量的预定比率来从整个可用历史医疗数据集合(称为“历史医疗数据的第三集合”)选择第一历史医疗数据和第二历史医疗数据。在此，“第一历史医疗数据”是指与指示第一动作的标注信息相关联的历史医疗数据，“第二历史医疗数据”是指与指示预定动作中与第一动作不同的动作的标注信息相关联的历史医疗数据。所选择的第一医疗数据和所选择的第二医疗数据的比率可以等于或低于预定比率。可以取决于模型训练中的实际要求而将预定比率设置为任何合理的值，例如10：1，5：1，20：1等。数据准备模块310可以从全部可用训练数据中随机采样第一和第二历史医疗数据。

上面已经讨论了训练阶段中的数据准备。在数据准备模块310的处理之后所确定的训练数据202可以被提供给模型训练模块320。模型训练模块320可以被配置为训练一个或多个机器学习模型212。在一个实施例中，来自数据准备模块310的训练数据202可以被划分成不同训练数据集合以训练不同的机器学习模型212。在另一个实施例中，相同的训练数据202可以被用于训练两个或更多不同的机器学习模型212。每个机器学习模型212表示医疗数据与可能的验证结果之间的不同关联。可以利用不同类型的机器学习和/或用于相同类型机器学习的不同模型配置来构建不同的机器学习模型。对于相同类型的机器学习，在设计模型时可以通过选择不同的超参数来实现不同的配置。多个机器学习模型的利用可受益于对不同类型的模型的使用，以及基于不同的模型配置来探索医疗数据与其验证结果之间的不同的可能关联。

如上所提及，期望机器学习模型212被训练为从多个预定动作中识别目标动作以由验证结果122进行指示。在一些实施例中，机器学习模型212可以被设计为分类模型，用于将医疗数据分类/指派到与多个预定动作相对应的类别之一。实现分类的机器学习模型212被称为分类器。

在此提供分类模型的一些示例，例如决策树、贝叶斯模型、随机森林模型、支持向量机、K最近邻(KNN)模型、神经网络等。取决于可能类别的总数(即，要对医疗数据执行的动作的数目)，机器学习模型212可以基于二进制分类或多类别分类。在一些实施例中，可以通过集成多种学习算法(例如，神经网络或决策树)来构建机器学习模型212，从而改进单个分类器的预测性能。

为了执行监督式机器学习，对于历史医疗数据需要已知验证结果。机器学习模型212需要从大量的训练数据中学习，以预测或分类新医疗数据应当如何进行归类。然而，标注大量数据以便对模型进行训练非常耗时并且涉及大量手动工作。因此，在一些实施例中，(一个或多个)机器学习模型212可以针对小训练数据集被特别地进行设计，使得模型能够收集到尽可能多的信息来区分多个动作。

在训练(一个或多个)机器学习模型212时，模型训练模块320可以采用已知的或将来要开发的各种训练方法。本公开的实施例的范围在这方面不受限制。在模型训练过程期间，模型训练模块320可以迭代地更新(一个或多个)机器学习模型212的参数，直到(一个或多个)模型212可以表示医疗数据与验证结果之间的关联，例如可以将输入的历史医疗数据正确或几乎正确地映射到指示在标注信息中所指示的真实动作的验证结果。

在一些实施例中，模型训练模块320或计算设备210中的其他模块(未示出)可以被配置为对由机器训练模块320训练的(一个或多个)机器学习模型212执行交叉验证，以确保(一个或多个)模型212可以在训练数据上获得满意的性能而不会过度拟合。用于模型交叉验证的各种方法可以被应用，并且本公开的实施例的范围在这方面也不受限制。

机器学习模型的应用

图5图示了在计算设备230中实现一个或多个经训练的机器学习模型212的应用的架构的框图。在图5中，仅出于说明的目的描绘了一个经训练的机器学习模型212。如图所示，计算设备230包括模型应用模块510，用于获取由计算设备210训练的(一个或多个)机器学习模型212，然后将目标医疗数据112应用于所获得的(一个或多个)机器学习模型212。目标医疗数据112被提供作为到每个机器学习模型212的输入。然后，(一个或多个)机器学习模型212处理目标医疗数据112并将其与预定动作中的动作相关联。然后，(一个或多个)机器学习模型212中的每个模型都生成验证结果，该验证结果包括动作的指示和/或在选择该目标动作时机器学习模型212的置信度水平。

计算设备230还包括结果组合模块520，用于提供针对目标医疗数据112的目标验证结果122。如果利用了一个机器学习模型212，则可以将该模型输出的验证结果直接提供作为目标验证结果122。如果利用了两个或更多机器学习模型212，则结果组合模块520基于来自那些模型212的相应验证结果来确定目标验证结果122。

在一些实施例中，结果组合模块520可以例如通过对指示在相应验证结果中所包括的置信度水平的值进行平均来计算验证结果的加权平均值。如果验证结果指示要对目标医疗数据112执行不同的动作，则可以确定针对不同动作的加权平均值。结果组合模块520可以确定目标验证结果122以指示由所有使用的机器学习模型212预测的相同动作和/或指示加权平均值作为置信度水平。在预测到两个或更多可能动作的情况下，结果组合模块520可以将加权平均值彼此进行比较，以选择在目标验证结果122中指示的较高加权平均值和/或对应动作。备选地，代替计算加权平均值，结果组合模块520可以直接选择由机器学习模型212确定为具有比其他验证结果中指示的那些更高置信度水平的验证结果。结果组合模块520然后将所选择的验证结果确定为目标验证结果122。

可以将目标验证结果122和目标医疗数据112彼此关联地存储。如果目标验证结果122指示与除第一动作以外的目标动作相关的信息，这意味着目标医疗数据112需要某种类型的进一步验证，那么目标验证结果122和目标医疗数据112可以被一起呈现给用户，以指导下一步操作。

图6示出了示例性医疗测试报告600，其呈现了对应的测试项目的测试结果的医疗数据部分610-1、辅助信息的医疗数据部分610-2和指示下一步动作以及有关此下一步动作的置信度水平的验证结果部分620。如图所示，(一个或多个)机器学习模型212建议重新运行医疗测试，并且针对这样的建议的置信度水平(即风险等级)为高(得分为100)。通常，由机器学习模型计算出的置信度水平在0到1的范围内。为了更好地示出风险，在图6的示例中，将置信度水平映射到0到100的范围。应理解，可以在任何其他的值范围内或者通过非数字指示符来指示置信度水平。

在一些实施例中，如果计算设备210已经训练了多个可供使用的机器学习模型212，则计算设备230(诸如在其中包括的模型应用模块520)可以被配置为基于那些模型的相应性能度量来选择一个或多个机器学习模型212以用于使用。例如，这样的性能度量可以由计算设备210在验证/测试阶段中基于训练数据进行确定。当然，计算设备230可以自己计算性能度量。在一些实施例中，可以在计算设备210处计算机器学习模型212的性能度量，然后将其提供给计算设备230。

可以基于与模型相关联的不同特性来衡量每个经训练的机器学习模型212的性能。在一些实施例中，可以在验证阶段中计算接受者运行特性(ROC)曲线和/或曲线下面积(AUC)，用以指示模型212的性能。在统计中，ROC曲线是针对不同决策阈值的真正例率(TPR)与假正例率(FPR)的关系图。真正例率也被称为敏感度或召回率。假正例率是1特异性。ROC曲线可以根据敏感性和特异性来评估分类器的判别能力并识别最佳决策阈值。没有判别能力的模型的ROC曲线将是45度对角线。曲线下的面积(AUC)是随机选择的正例观察结果的分类器得分高于随机选择的负例观察结果的概率。AUC可以用单个值来总结分类器的性能。

备选地或附加地，机器学习模型的混淆矩阵可以被确定为性能度量。混淆矩阵是一个表，该表总结了有关分类问题的预测准确性。该表的每一行表示每个预测类别中的实例数目，而每一列表示每个真实类别中的实例数目。混淆矩阵还可以表明针对每个类别的预测准确性。

除了提供用于目标医疗数据112的目标验证结果122或者作为替代方案，计算设备230还可以向用户提供具有与目标医疗数据112相似的属性的其他医疗数据，这可以帮助和指导用户(尤其是初级技术人员或医生)审核和理解目标医疗数据和/或验证结果。返回参考图5，计算设备230包括参考确定模块530，其被配置为提供这样的参考医疗数据。

具体地，参考确定模块530被配置为目标医疗数据112和候选医疗数据之间的相似度。候选医疗数据可能已经被标注或指派有与已被执行或预期要被执行的预定动作之一相关的信息。可以从被用于生成机器学习模型212的历史医疗数据——诸如如图5中所图示的训练数据202中包括的那些数据中选择这样的候选医疗数据。备选地或者另外，还可以从先前已经被应用到机器学习模型212的历史医疗数据中选择候选医疗数据。

为了缩小可以被选择作为候选医疗数据的医疗数据并加快对参考医疗数据的确定，在一些实施例中，可以将候选医疗数据选择为具有要对其执行的相同目标动作和/或具有与目标医疗数据相同类型的测试项目。这样的候选医疗数据可能被认为是针对目标医疗数据112的更显著和有意义的参考。

在一些实施例中，参考确定模块530可以通过计算目标医疗数据中指示的测试项目的一个或多个测试结果与候选医疗数据中指示的测试项目的一个或多个测试结果之间的一个或多个测试项目相似度来确定相似度。可以通过欧几里德距离来测量测试项目相似度，该距离是基于计算两个数据点(即，两个测试结果)之间的距离的数学公式。多对测试结果之间的欧几里德距离可以进行组合(例如进行加权和求和)以表示测试项目相似度。在其他示例中可以采用任何其他算法来测量两个数据点之间的距离。

如果相似度超过预定的相似度阈值，参考确定模块530可以选择候选医疗数据作为目标医疗数据112的参考医疗数据532。在一些实施例中，候选医疗数据可以是一个医疗测试中的医疗测试报告，并且目标医疗数据112与其他候选医疗数据(其他医疗测试报告)之间的相似度被计算。在此情况下，参考确定模块530可以基于相似度来对候选医疗数据进行排名，并且选择排名在高位的候选医疗数据。

相似度测量可以被实时执行或者可以被预先计算。可以通过某些准则来触发预先计算的相似度测量，例如每天晚上不使用计算资源时。对于预先计算的相似度测量，参考确定模块530可以计算所有历史医疗数据和/或先前验证的医疗数据之间的相似度，然后将医疗数据划分为不同的簇。在新的医疗数据被接收并被验证的情况下，参考确定模块530可以只确定新的医疗数据与簇(诸如簇的质心中的医疗数据)之间的相似度。可以基于相似度来将新的医疗数据归类为这些簇中的一个(例如，与新的医疗数据具有相对较高或最高相似度的簇)，并且先前的医疗数据可以被用作新的医疗数据的参考医疗数据。以此方式，可以及时地实现参考确定。

机器学习模型的演进

随着经训练的(一个或多个)机器学习模型212被应用一段时间和/或作为对医疗数据验证改变的要求，期望训练新的模型来进一步改进医疗数据验证的性能。图7图示了计算设备210的另一个示例，该计算设备还包括模型演进模块730，用以确定用于验证医疗数据的一个或多个另外的机器学习模型212。

可以基于一个或多个预定触发来发起在模型演进模块730处的机器学习模型的演进。用于机器学习模型的演进的触发可以基于用于模型训练的可用训练数据。在初始阶段，训练数据可能是有限的，并且因此可以利用有限的训练数据来训练一个或多个机器学习模型212以供使用。随着(一个或多个)模型212的应用，可以采集新的医疗数据，并且可以由先前的模型自动地和/或基于用户的反馈来手动地确定其标注信息。如果新的训练数据的量已达到某个阈值，则可以发起机器学习模型的演进。

备选地，或者除了基于训练数据的触发外，在一些实施例中，根据实际要求，将在医疗测试中执行一个或多个测试项目，并且因此其结果将被增加到所生成的医疗数据中。在此情况下，将训练新的机器学习模型212以学习如何利用这样的新测试项目对医疗数据进行分类。在一些情况下，实验室专家可以将一个或多个新动作标识为要对被验证为异常或可疑的医疗数据执行的可能动作，和/或可以将一个或多个已有动作标识为自动验证中不需要的动作。这样，可以训练一个或多个新的机器学习模型212以输出验证结果，该验证结果指示与来自更新的动作集中的目标动作相关的信息。以此方式，机器学习模型可以被演进以适应医疗诊断测试中的技术更新和经验积累。机器学习模型演进的其他一些可能的触发可以包括来自用户(诸如实验室技术员/专家)的明确指示、基于时间的触发等等。

在一些实施例中，如果模型演进模块730被确定来触发模型演进，该模块可以请求模型训练模块320通过更新已经被训练的机器学习模型212来确定另一机器学习模型212。可以通过使用新的训练数据来改进模型参数，从而执行机器学习模型212的更新。模型演进模块730可以进一步被配置为通过基于先前获得的训练数据和/或新的训练数据来生成新的机器学习模型，以确定另一机器学习模型212。新的机器学习模型可以被设计为具有与已经被训练的(一个或多个)机器学习模型212不同的模型配置。可以将不同的模型配置设置为与经训练的(一个或多个)机器学习模型212具有不同的超参数和/或与不同类型的机器学习相关。

在添加一个或多个新的动作和/或要取消一个或多个已有动作的情况下，需要具有新模型配置的新模型，该新模型可以被设计为被训练以表示医疗数据与另外验证结果之间的关联，另外验证结果指示要对医疗数据执行的已更新的动作。例如，由于在初始阶段训练数据有限，一个或多个机器学习模型212可以最初被设计为仅在第一动作和通常建议进一步验证的第二动作之间实现二分类，以确保模型准确性。随着可用训练数据的增加，可以训练一个或多个另外的机器学习模型212来执行多类别分类。

在一些实施例中，如果可用的机器学习模型212的数目随着演进而增加，可以基于它们的性能度量来确定可以被提供以供使用的(一个或多个)机器学习模型212。也就是说，不是直接提供所有已更新的/新的机器学习模型212来替换当前正在使用的(一个或多个)先前的机器学习模型212，而是仅具有高性能度量的模型212才适合使用，以便改进验证性能。

在一些实施例中，如果确定新的/已更新的机器学习模型212具有比在计算设备230处当前使用的机器学习模型212更高的性能度量，则新的/已更新的机器学习模型可以被提供用以替换先前的机器学习模型212。可以以如上所讨论的类似方式来确定机器学习模型的性能度量。可以由计算设备210或计算设备230做出是否替换正在使用中的模型的决定。

机器学习模型的兼容性

机器学习模型212可以被独立地应用以验证医疗数据。在一些实施例中，本公开中提出的机器学习模型也可以容易地与用于医疗数据验证的旧有组件/功能兼容。在一些旧有的验证过程中，如上文提及的，基于规则的引擎被应用来验证医疗数据。在一些情况下，还可能包括LIS，以用于对医疗数据和验证结果进行存档、记录、呈现和/或进一步处理。本文所提出的机器学习模型也可以适合于旧有的医疗数据验证环境。

图8图示了一个系统的框图，在该系统中一个或多个机器学习模型212与基于规则的引擎810和LIS 820兼容。在图8中，仅出于说明的目的描绘了一个机器学习模型212，并且一个以上的机器学习模型212也可以与基于规则的引擎810和LIS 820兼容。应当理解，在一些其他情况下，可以省略基于规则的引擎810或LIS 820。在图8的示例中，基于规则的引擎810和/或LIS 820可以被实现在与计算设备230分离的设备中，或者可以被集成在计算设备230内。

常规地，基于规则的引擎810和LIS 820可以耦合在一起以实现医疗数据验证。本文所提出的基于一个或多个机器学习模型212的自动验证实现为独立的系统，该系统连接在基于规则的引擎810和LIS 820之间，例如通过重用基于规则的引擎810和LIS 820的当前通信接口而进行连接。通过适配器模块，基于规则的引擎810、机器学习模型212和LIS 820可以连接以处理医疗数据并提供验证结果。

具体地，如图8中所示，可以首先将要被验证的医疗数据802输入到基于规则的引擎810，以基于一个或多个预定规则进行验证。如果医疗数据802被基于规则的引擎810验证为可以被发布给请求医疗测试的实体，则这样的验证结果和医疗数据可以被提供给LIS820。如果基于规则的引擎810确定一些医疗数据802需要被进一步验证(即，医疗数据802不能够被发布)，将医疗数据802作为目标医疗数据112提供给机器学习模型212以用于进一步处理。

通过这个过程，基于规则的引擎810被用于过滤可靠的要被发布的医疗数据，并且因此机器学习模型212处理的医疗数据更少，这进而可以减少总体资源消耗——因为模型的执行通常需要更多资源。鉴于通常会手动将固定规则设置为具有较高的保守性的事实，基于规则的引擎的过滤将不会导致性能牺牲，并且因此指示发布医疗数据的动作的验证结果被认为具有较高的可靠度。在一些实施例中，基于规则的引擎810的验证结果也可以与来自机器学习模型212的验证结果一起被呈现在医疗测试报告中。例如，返回到图6，医疗测试报告600被示出进一步呈现了验证结果部分630。验证结果部分630指示基于规则的引擎810将医疗数据确定为“未通过”，从而需要进一步的验证。

在一些实施例中，机器学习模型212可以根据实际需求而由计算设备230禁用，并且在此情况下仅由基于规则的引擎810执行医疗数据验证。在一些实施例中，可以禁用基于规则的引擎810，并且因此可以通过机器学习模型212来验证所有医疗数据802。可以基于来自用户(诸如实验室技术员/专家)的反馈来确定机器学习模型212和/或基于规则的引擎810的启用和禁用。

在一些实施例中，与LIS 820的通信可以遵循一些预定义的规范。通常，LIS 820可以支持接收医疗数据中的测试项目的相应测试结果，每个测试结果被认为是包含医疗数据的医疗测试报告中的一个数据项。可以将由机器学习模型确定的目标验证结果与目标医疗数据相关联地提供给LIS 820。为了满足LIS 820所支持的规范，与LIS 820的通信可以容易地进行扩展，使得目标验证结果可以被视为包含在医疗测试报告中的虚拟定制测试项目(即，新的数据项)的测试结果。这样，不需要修改用于与LIS 820的通信的规范以支持来自机器学习模型的特殊验证结果。LIS 820可以解析该虚拟测试项目，以获得来自机器学习模型212的目标验证结果。

机器学习模型212/基于规则的引擎810与LIS 820之间的通信可以基于任何消息调度方法进行调度，调度方法诸如是可以实现异步解耦处理的消息总线调度。方便的是通过消息总线调度来扩展系统的处理性能，并通过在LIS 820处添加多个消息接收器来扩展处理能力。在以分布式系统来实现基于规则的引擎810、一个或多个机器学习模型212以及LIS 820的一些实施例中，每个机器学习模型212可以通过微服务被打包为机器学习模型服务。这样，可以通过模型工厂执行服务注册、服务发现和服务版本管理。

示例流程

图9图示了根据本公开的一些实施例的用于验证医疗数据的示例过程900的流程图。方法900可以由图2中的计算设备230实现。出于讨论的目的，将参考图2来描述方法900。

在框910处，计算设备230获得在医疗测试中生成的目标医疗数据。在框920处，计算设备230获得用于验证医疗数据的机器学习模型。机器学习模型表示医疗数据和验证结果之间的关联，并且验证结果指示与要对医疗数据执行的预定动作相关的信息。在框930处，计算设备230通过将目标医疗数据应用于机器学习模型来确定针对目标医疗数据的目标验证结果。目标验证结果指示与要对目标医疗数据执行的目标动作相关的信息，目标动作选自预定动作。

在一些实施例中，确定目标验证结果包括：获得用于验证医疗数据的另一机器学习模型，另一机器学习模型表示医疗数据与验证结果之间的、与由上述机器学习模型表示的关联不同的关联；将目标医疗数据分别应用于机器学习模型和另一机器学习模型，以获得相应的验证结果；并基于相应的验证结果来确定目标验证结果。

在一些实施例中，过程900还包括确定目标医疗数据和候选医疗数据之间的相似度，候选医疗数据从以下中选择：被用于生成机器学习模型的历史医疗数据，和/或已被应用于机器学习模型的历史医疗数据；响应于相似度超过预定的相似度阈值，选择候选医疗数据作为针对目标医疗数据的参考医疗数据；以及与目标医疗数据相关联地提供参考医疗数据，以呈现给目标医疗数据的查看者。

在一些实施例中，确定相似度包括：基于以下中的至少一项来选择候选医疗数据：确定要对候选医疗数据执行目标动作，以及确定候选医疗数据具有与目标医疗数据相同的一个或多个测试项目。

在一些实施例中，预定动作包括以下至少一个：将医疗数据发布给请求与医疗数据相关的医疗测试的实体的第一动作，进一步验证医疗数据的第二动作，重新运行与医疗数据相关的医疗测试的第三动作，检查历史患者病历的第四动作，检查医疗测试中的试剂反应的第五动作，检查被采集以在医疗测试中使用的测试样本的第六动作，结合临床诊断来检查医疗数据的第七动作，以及检查患者用药情况的第八动作。

在一些实施例中，机器学习模型包括用于将医疗数据分类为与预定动作相对应的类别的分类模型。

在一些实施例中，与目标动作相关的信息包括以下中的至少一项：对目标动作的指示，以及机器学习模型针对目标医疗数据选择目标动作的置信度水平。

在一些实施例中，目标医疗数据包括在体外诊断测试中生成的医疗数据。

在一些实施例中，基于多个可用机器学习模型的相应性能度量，从多个可用机器学习模型中选择机器学习模型。

在一些实施例中，获得目标医疗数据包括：获得由基于规则的引擎确定为要被进一步验证的目标医疗数据，基于规则的引擎被配置为基于至少一个预定规则来验证目标医疗数据。

在一些实施例中，过程900还包括将目标验证结果与目标医疗数据提供相关联地给实验室信息系统(LIS)，目标医疗数据包括医疗测试报告中呈现的至少一个数据项，并且目标验证结果在医疗测试报告中被呈现为另一数据项。

在一些实施例中，机器学习模型由将在下面参考图10描述的过程1000提供或训练。

图10图示了根据本公开的一些实施例的用于提供用于验证医疗数据的机器学习模型的示例过程1000的流程图。方法1000可以由图2中的计算设备210来实现。出于讨论的目的，将参考图2来描述方法1000。

在框1010处，计算设备210获得训练数据，训练数据包括历史医疗数据和相关联的标注信息。标注信息指示对历史医疗数据执行的预定动作。在框1020处，计算设备210基于训练数据来生成用于验证医疗数据的第一机器学习模型，使得第一机器学习模型表示医疗数据与验证结果之间的关联，该验证结果指示与要对医疗数据执行的预定动作相关的信息。

在一些实施例中，预定动作包括将医疗数据发布给请求与该医疗数据相关的医疗测试的实体的第一动作，并且获得训练数据包括：获得被标记为与指示第一动作的标注信息相关联的可用历史医疗数据的第一集合；从可用历史医疗数据的第一集合选择历史医疗数据，所选择的历史医疗数据在标注信息中具有比第一集合中的其他历史医疗数据更高的可靠度；以及将所选择的历史医疗数据和相关联的标注信息确定为训练数据。

在一些实施例中，获得训练数据包括：从可用历史医疗数据的第二集合选择异常历史医疗数据；向用户呈现异常历史医疗数据；响应于从用户接收到指示预定动作之一的用户输入，将异常历史医疗数据标记为与指示所指示的动作的标注信息相关联；以及将异常历史医疗数据和相关联的标注信息确定为训练数据。

在一些实施例中，预定动作包括将医疗数据发布给请求与该医疗数据相关的医疗测试的实体的第一动作，并且获得训练数据包括：基于第一医疗数据的量与第二医疗数据的量的预定比率，从可用历史医疗数据的第三集合中选择第一历史医疗数据和第二历史医疗数据，第一历史医疗数据与指示第一动作的标注信息相关联，并且第二历史医疗数据与指示预定动作中不同于第一动作的另一个动作的标注信息相关联。

在一些实施例中，过程1000还包括：响应于针对模型演进的预定触发，通过以下来确定用于验证医疗数据的第二机器学习模型：更新第一机器学习模型，或者基于训练数据来生成新的机器学习模型，新的机器学习模型具有与第一机器学习模型不同的模型配置。

在一些实施例中，确定第二机器学习模型包括：响应于确定要对医疗数据执行另一动作，将另外的历史医疗数据和相关联的另外的标注信息添加到训练数据中，另外的标注信息指示另一动作；并且生成新的机器学习模型作为第二机器学习模型，使得第二机器学习模型表示医疗数据与另外验证结果之间的关联，另外验证结果指示要对医疗数据执行的预定动作和另一动作。

在一些实施例中，第一机器学习模型被提供以用于验证医疗数据，该方法还包括：确定第一机器学习模型的第一性能度量和第二机器学习模型的第二性能度量；以及响应于第二性能度量超过第一性能度量，提供第二机器学习模型来替换使用中的第一机器学习模型。

在一些实施例中，历史医疗数据包括针对多个预定测试项目中的至少一个测试项目的测试结果，并且生成第一机器学习模型包括：通过针对多个预定测试项目中除所述至少一个测试项目之外的其他测试项目填充测试结果，来处理历史医疗数据，所填充的测试结果根据包括在其他历史医疗数据中的所述其他检查项目的测试结果确定；以及基于经处理的历史医疗数据来生成第一机器学习模型。

在一些实施例中，预定动作包括以下中的至少一项：将医疗数据发布给请求医疗测试的实体的第一动作，进一步验证医疗数据的第二动作，重新运行与医疗数据有关的医疗测试的第三动作，检查历史患者病历的第四动作，检查医疗测试中的试剂反应的第五动作，检查被采集以在医疗测试中使用的测试样本的第六动作，结合临床诊断来检查医疗数据的第七动作，以及检查患者用药情况的第八动作。

示例设备

图11图示了适合于实现本公开的示例实施例的示例计算系统/设备1100的框图。系统/设备1100可以被实现为或被实现在图2的计算设备210和/或图2的计算设备230中。系统/设备1100可以是通用计算机、物理计算设备或便携式电子设备，或者可以在分布式云计算环境中实现，在分布式云计算环境中任务由通过通信网络链接的远程处理设备来执行。系统/设备1100可以被用于实现图9的过程900和/或图10的过程1000。

如所描绘的，系统/设备1100包括处理器1101，其能够根据存储在只读存储器(ROM)1102中的程序或从存储单元1108加载到随机存取存储器(RAM)1103的程序来执行各种处理。在RAM 1103中，根据需要，还存储在处理器1101执行各种处理等时所需的数据。处理器1101、ROM 1102和RAM 1103经由总线1104彼此连接。输入/输出(I/O)接口1105也与总线1104连接。

处理器1101可以是适合于本地技术网络的任何类型，并且作为非限制性示例，可以包括以下中的一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、图形处理单元(GPU)、协处理器和基于多核处理器架构的处理器。系统/设备1100可以具有多个处理器，诸如专用集成电路芯片，其在时间上从动于与主处理器同步的时钟。

系统/设备1100中的多个组件连接到I/O接口1105，包括输入单元1106，诸如键盘、鼠标等；输出单元1107，包括诸如阴极射线管(CRT)、液晶显示器(LCD)之类的显示器、以及扬声器等；存储单元1108，诸如磁盘和光盘等；以及通信单元1109，诸如网卡、调制解调器、无线收发器等。通信单元1109允许系统/设备1100经由诸如互联网、各种电信网络等之类的通信网络来与其他设备交换信息/数据。

上述方法和过程，诸如过程900和/或过程1000也可以由处理器1101执行。在一些实施例中，过程900和/或过程1000可以被实现为有形地包括在计算机可读介质(例如存储单元1108)中的计算机程序产品或计算机软件程序。在一些实施例中，计算机程序可以经由ROM 1102和/或通信单元1109部分地或完全地加载和/或实现到系统/设备1100。计算机程序包括由相关联的处理器1101执行的计算机可执行指令。当计算机程序被加载到RAM 1103并由处理器1101执行时，上述过程900和/或过程1000中的一个或多动作可以被实现。备选地，在其他实施例中，可以经由任何其他合适的方式(例如，借助于固件)来配置处理器1101以执行过程900和/或过程1000。

示例实施例列举

本公开的实施例可以以本文描述的任何形式来体现。例如，以下列举的示例实施例描述了本文所公开的本公开的一些方面的一些结构、特征和功能性。

在第一方面，本公开的示例实施例提供了一种用于医疗数据验证的方法。该方法包括：获得在医疗测试中生成的目标医疗数据；以及获得用于验证医疗数据的机器学习模型，该机器学习模型表示医疗数据与验证结果之间的关联，并且验证结果指示与要对医疗数据执行的预定动作相关的信息；以及通过将目标医疗数据应用于机器学习模型来确定针对目标医疗数据的目标验证结果，目标验证结果指示与要对目标医疗数据执行的目标动作相关的信息，目标动作选自预定动作。

在一些实施例中，确定目标验证结果包括：获得用于验证医疗数据的另一机器学习模型，另一机器学习模型表示医疗数据与验证结果之间的、与机器学习模型表示的关联不同的关联，将目标医疗数据分别应用于机器学习模型和另一机器学习模型以获得相应的验证结果；以及基于相应的验证结果来确定目标验证结果。

在一些实施例中，该方法还包括确定目标医疗数据和候选医疗数据之间的相似度，候选医疗数据从以下中选择：被用于生成机器学习模型的历史医疗数据，和/或已被应用于机器学习模型的历史医疗数据；响应于相似度超过预定的相似度阈值，选择候选医疗数据作为针对目标医疗数据的参考医疗数据；以及与目标医疗数据相关联地提供参考医疗数据，以呈现给目标医疗数据的查看者。

在一些实施例中，确定相似度包括：基于以下中的至少一项来选择候选医疗数据：确定要对候选医疗数据执行目标动作，和确定候选医疗数据具有与目标医疗数据相同的一个或多个测试项目。

在一些实施例中，预定动作包括以下中的至少一项：将医疗数据发布给请求与医疗数据相关的动作测试的实体的第一动作，进一步验证医疗数据的第二动作，重新运行与医疗数据相关的医疗测试的第三动作，检查历史患者病历的第四动作，检查医疗测试中的试剂反应的第五动作，检查被采集以在医疗测试中使用的测试样本的第六动作，结合临床诊断来检查医疗数据的第七动作，以及检查患者用药情况的第八动作。

在一些实施例中，机器学习模型包括用于将医疗数据分类为与预定动作相对应的类别的分类模型。

在一些实施例中，与目标动作相关的信息包括以下中的至少一项：对目标动作的指示，以及由机器学习模型针对目标医疗数据选择目标动作的置信度水平。

在一些实施例中，目标医疗数据包括在体外诊断测试中生成的医疗数据。

在一些实施例中，基于多个可用机器学习模型的相应性能度量，从多个可用机器学习模型中选择机器学习模型。

在一些实施例中，获得目标医疗数据包括：获得由基于规则的引擎确定为要被进一步验证的目标医疗数据，基于规则的引擎被配置为基于至少一个预定规则来验证目标医疗数据。

在一些实施例中，该方法还包括：将目标验证结果与目标医疗数据提供相关联地给实验室信息系统(LIS)，目标医疗数据包括在医疗测试报告中呈现的至少一个数据项，并且目标测试结果在医疗测试报告中被呈现为另一数据项。

在一些实施例中，机器学习模型通过第二方面中的方法提供。

在第二方面，本公开的示例实施例提供了一种提供用于验证医疗数据的机器学习模型的方法。该方法包括获得训练数据，该训练数据包括历史医疗数据和相关联的标注信息，该标注信息指示对历史医疗数据执行的预定动作；以及基于训练数据来生成用于验证医疗数据的第一机器学习模型，使得第一机器学习模型表示医疗数据与验证结果之间的关联，验证结果指示与要对医疗数据执行的预定动作相关的信息。

在一些实施例中，预定动作包括将医疗数据发布给请求与该医疗数据相关的医疗测试的实体的第一动作，并且获得训练数据包括：获得被标记为与指示第一动作的标注信息相关联的可用历史医疗数据的第一集合；从可用历史医疗数据的第一集合选择历史医疗数据，所选择的历史医疗数据在标注信息中具有比第一集合中的其他历史医疗数据更高的可靠度；以及将所选择的历史医疗数据和相关联的标注信息确定为训练数据。

在一些实施例中，获得训练数据包括：从可用历史医疗数据的第二集合中选择异常历史医疗数据；向用户呈现异常历史医疗数据；响应于从用户接收到指示预定动作之一的用户输入，将异常历史医疗数据标记为与指示所指示的动作的标注信息相关联；以及将异常历史医疗数据和相关联的标注信息确定为训练数据。

在一些实施例中，预定动作包括将医疗数据发布给请求与该医疗数据相关的医疗测试的实体的第一动作，并且获得训练数据包括：基于第一医疗数据的量与第二医疗数据的量的预定比率，从可用历史医疗数据的第三集合中选择第一历史医疗数据和第二历史医疗数据，第一历史医疗数据与指示第一动作的标注信息相关联，并且第二历史医疗数据与指示预定动作中不同于第一动作的另一个动作的标注信息相关联。

在一些实施例中，该方法还包括：响应于针对模型演进的预定触发，通过以下来确定用于验证医疗数据的第二机器学习模型：更新第一机器学习模型，或者基于训练数据来生成新的机器学习模型，新的机器学习模型具有与第一机器学习模型不同的模型配置。

在一些实施例中，确定第二机器学习模型包括：响应于确定要对医疗数据执行另一动作，将另外的历史医疗数据和相关联的另外的标注信息添加到训练数据中，另外的标注信息指示另一动作；以及生成新的机器学习模型作为第二机器学习模型，使得第二机器学习模型表示医疗数据与另外验证结果之间的关联，另外验证结果指示要对医疗数据执行的预定动作和另一动作。

在一些实施例中，第一机器学习模型被提供以用于验证医疗数据，该方法还包括：确定第一机器学习模型的第一性能度量和第二机器学习模型的第二性能度量；以及响应于第二性能度量超过第一性能度量，提供第二机器学习模型来替换使用中的第一机器学习模型。

在一些实施例中，历史医疗数据包括针对多个预定测试项目中的至少一个测试项目的测试结果，并且生成第一机器学习模型包括：通过针对多个预定测试项目中除所述至少一个测试项目之外的其他测试项目填充测试结果来处理历史医疗数据，所填充的测试结果根据包括在其他历史医疗数据中的所述其他检查项目的检查结果确定；以及基于经处理的历史医疗数据来生成第一机器学习模型。

在一些实施例中，预定动作包括以下中的至少一项：将医疗数据发布给请求医疗测试的实体的第一动作，进一步验证医疗数据的第二动作，重新运行与医疗数据相关的医疗测试的第三动作，检查历史患者病历的第四动作，检查医疗测试中的试剂反应的第五动作，检查被采集以在医疗测试中使用的测试样本的第六动作，结合临床诊断来检查医疗数据的第七动作，以及检查患者用药情况的第八动作。

在第三方面，本公开的示例实施例提供了一种电子设备。该电子设备包括至少一个处理器；以及包括计算机可读指令的至少一个存储器，计算机可读指令在由电子设备的至少一个处理器执行时使电子设备执行上述第一方面中的方法的步骤。

在第四方面，本公开的示例实施例提供了一种电子设备。该电子设备包括至少一个处理器；以及包括计算机可读指令的至少一个存储器，计算机可读指令在由电子设备的至少一个处理器执行时使电子设备执行上述第二方面中的方法的步骤。

在第五方面，本公开的示例实施例提供了一种计算机程序产品，计算机程序产品包括指令，指令在由装置的处理器执行时使所述装置执行上述第一方面中的任何一种方法的步骤。

在第六方面，本公开的示例实施例提供了一种计算机程序产品，计算机程序产品包括指令，指令在由所述的处理器执行时使所述装置执行上述第二方面中的任何一种方法的步骤。

在第七方面，本公开的示例实施例提供了一种计算机可读介质，计算机可读介质包括程序指令，程序指令用于使装置至少执行上述第一方面中的方法。在一些实施例中，计算机可读介质可以是非暂时性计算机可读介质。

在第八方面，本公开的示例实施例提供了一种计算机可读介质，计算机可读介质包括程序指令，程序指令用于使装置至少执行上述第二方面中的方法。在一些实施例中，计算机可读介质可以是非暂时性计算机可读介质。

通常，本公开的各种示例实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。一些方面可以以硬件来实现，而其他方面可以以固件或软件来实现，固件或软件可以由控制器、微处理器或其他计算设备执行。尽管本公开的示例实施例的各个方面被图示和描述为框图、流程图或使用一些其他图形表示，但应当理解，作为非限制性示例，本文所述的框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器、或其他计算设备或前述各项的某种组合来实现。

本公开还提供了有形地存储在非暂时性计算机可读存储介质上的至少一个计算机程序产品。该计算机程序产品包括计算机可执行指令，诸如被包括程序模块中的那些指令，在目标实际或虚拟处理器上的器件中被执行的那些指令，用以执行如上所述的方法/过程。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。在各个实施例中，程序模块的功能性可以在程序模块之间进行组合或分割。用于程序模块的计算机可执行指令可以在本地或分布式设备内被执行。在分布式设备中，程序模块可以位于本地和远程存储介质中。

计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读介质可以包括但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。计算机可读存储介质的更具体示例将包括具有一个或多个电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或上述的任意合适组合。

可以以一种或多种编程语言的任意组合来编写用于执行本文所公开的方法的计算机程序代码。可以将程序代码提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器或控制器，使得程序代码在由处理器或控制器执行时使在流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在计算机上被执行、部分在计算机上被执行、作为独立软件包被执行、部分在计算机上并且部分在远程计算机上被执行、或者完全在远程计算机或服务器上被执行。程序代码可以分布在被特别编程的设备上，该设备在本文中通常被称为“模块”。模块的软件组件部分可以用任何计算机语言来编写并且可以是整体代码库的一部分，或者可以被开发在更多离散的代码部分中，诸如通常以面向对象的计算机语言来开发。另外，模块可以分布在多个计算机平台、服务器、终端、移动设备等上。给定模块甚至可以被实现为使得所描述的功能由分离的处理器和/或计算硬件平台执行。

尽管以特定顺序描绘了操作，但这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有图示出的操作以实现期望的结果。在某些情形下，多任务和并行处理可能是有利的。同样地，尽管在以上讨论中包含几个特定的实现细节，但这些不应被解释为对本公开的范围的限制，而应被解释为可以特定于特定实施例的特征的描述。在分离的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。

尽管已经以特定于结构特征和/或方法动作的语言描述了本公开，但应该理解，所附权利要求书中定义的本公开不必限于上述特定特征或动作。相反，上述特定特征和动作被公开为实现权利要求的示例形式。

Claims (25)

1.一种用于医疗数据验证的方法，包括：

获得在医疗测试中生成的目标医疗数据；

获得用于验证医疗数据的机器学习模型，所述机器学习模型表示所述医疗数据与验证结果之间的关联，并且所述验证结果指示与要对所述医疗数据执行的预定动作相关的信息；以及

通过将所述目标医疗数据应用于所述机器学习模型来确定针对所述目标医疗数据的目标验证结果，所述目标验证结果指示与要对所述目标医疗数据执行的目标动作相关的信息，所述目标动作选自所述预定动作。

2.根据权利要求1所述的方法，其中确定所述目标验证结果包括：

获得用于验证所述医疗数据的另一机器学习模型，所述另一机器学习模型表示所述医疗数据与所述验证结果之间的、与由所述机器学习模型表示的所述关联不同的关联；

将所述目标医疗数据分别应用于所述机器学习模型和所述另一机器学习模型，以获得相应的验证结果；以及

基于所述相应的验证结果来确定所述目标验证结果。

3.根据权利要求1和2中任一项所述的方法，还包括：

确定所述目标医疗数据与候选医疗数据之间的相似度，所述候选医疗数据从以下中选择：被用于生成所述机器学习模型的历史医疗数据，和/或已被应用于所述机器学习模型的历史医疗数据；

响应于所述相似度超过预定的相似度阈值，选择所述候选医疗数据作为针对所述目标医疗数据的参考医疗数据；以及

与所述目标医疗数据相关联地提供参考医疗数据，以呈现给所述目标医疗数据的查看者。

4.根据权利要求3所述的方法，其中确定所述相似度包括：

基于以下中的至少一项来选择所述候选医疗数据：

确定要对所述候选医疗数据执行所述目标动作，和

确定所述候选医疗数据具有与所述目标医疗数据相同的一个或多个测试项目。

5.根据权利要求1至4中任一项所述的方法，其中所述预定动作包括以下中的至少一项：

将所述医疗数据发布给请求与所述医疗数据相关的医疗测试的实体的第一动作，

进一步验证所述医疗数据的第二动作，

重新运行与所述医疗数据相关的所述医疗测试的第三动作，

检查历史患者病历的第四动作，

检查所述医疗测试中的试剂反应的第五动作，

检查被采集以在所述医疗测试中使用的测试样本的第六动作，

结合临床诊断来检查所述医疗数据的第七动作，以及

检查患者用药情况的第八动作。

6.根据权利要求1至5中任一项所述的方法，其中所述机器学习模型包括用于将所述医疗数据分类为与所述预定动作相对应的类别的分类模型。

7.根据权利要求1至6中任一项所述的方法，其中与所述目标动作相关的所述信息包括以下中的至少一项：对所述目标动作的指示，以及所述机器学习模型针对所述目标医疗数据选择所述目标动作的置信度水平。

8.根据权利要求1至7中任一项所述的方法，其中所述目标医疗数据包括在体外诊断测试中生成的医疗数据。

9.根据权利要求1至8中任一项所述的方法，其中基于多个可用机器学习模型的相应性能度量，从所述多个可用机器学习模型中选择所述机器学习模型。

10.根据权利要求1至9中任一项所述的方法，其中获得所述目标医疗数据包括：

获得由所述基于规则的引擎确定为要被进一步验证的所述目标医疗数据，所述基于规则的引擎被配置为基于至少一个预定规则来验证所述目标医疗数据。

11.根据权利要求1至10中任一项所述的方法，还包括：

将所述目标验证结果与所述目标医疗数据相关联地提供给实验室信息系统(LIS)，所述目标医疗数据包括医疗测试报告中呈现的至少一个数据项，并且所述目标验证结果在所述医疗测试报告中被呈现为另一数据项。

12.一种提供用于验证医疗数据的机器学习模型的方法，包括：

获得训练数据，所述训练数据包括历史医疗数据和相关联的标注信息，所述标注信息指示对所述历史医疗数据执行的预定动作；以及

基于所述训练数据来生成用于验证医疗数据的第一机器学习模型，使得所述第一机器学习模型表示所述医疗数据与验证结果之间的关联，所述验证结果指示与要对所述医疗数据执行的所述预定动作相关的信息。

13.根据权利要求12所述的方法，其中所述预定动作包括将所述医疗数据发布给请求与所述医疗数据相关的医疗测试的实体的第一动作，并且获得所述训练数据包括：

获得被标记为与指示所述第一动作的标注信息相关联的可用历史医疗数据的第一集合；

从所述可用历史医疗数据的第一集合选择历史医疗数据，所选择的历史医疗数据在所述标注信息中具有比所述第一集合中的其他历史医疗数据更高的可靠度；以及

将所选择的历史医疗数据和相关联的标注信息确定为所述训练数据。

14.根据权利要求12和13中任一项所述的方法，其中获得所述训练数据包括：

从可用历史医疗数据的第二集合中选择异常历史医疗数据；

向用户呈现所述异常历史医疗数据；

响应于从所述用户接收到指示所述预定动作之一的用户输入，将所述异常历史医疗数据标记为与指示所指示的动作的标注信息相关联；以及

将所述异常历史医疗数据和相关联的标注信息确定为所述训练数据。

15.根据权利要求12至14中任一项所述的方法，其中所述预定动作包括将所述医疗数据发布给请求与所述医疗数据相关的医疗测试的实体的第一动作，并且获得所述训练数据包括：

基于第一医疗数据的量与第二医疗数据的量的预定比率，从可用历史医疗数据的第三集合选择所述第一历史医疗数据和所述第二历史医疗数据，所述第一历史医疗数据与指示所述第一动作的标注信息相关联，并且所述第二历史医疗数据与指示所述预定动作中不同于所述第一动作的另一个动作的标注信息相关联。

16.根据权利要求12至15中任一项所述的方法，还包括：

响应于针对模型演进的预定触发，通过以下来确定用于验证医疗数据的第二机器学习模型：

更新所述第一机器学习模型，或者

基于所述训练数据来生成新的机器学习模型，所述新的机器学习模型具有与所述第一机器学习模型不同的模型配置。

17.根据权利要求16所述的方法，其中确定所述第二机器学习模型包括：

响应于确定要对医疗数据执行另一动作，将另外的历史医疗数据和相关联的另外的标注信息添加到所述训练数据中，所述另外的标注信息指示所述另一动作；以及

生成所述新的机器学习模型作为所述第二机器学习模型，使得所述第二机器学习模型表示所述医疗数据与另外验证结果之间的关联，所述另外验证结果指示要对所述医疗数据执行的所述预定动作和所述另一动作。

18.根据权利要求16和17中任一项所述的方法，其中所述第一机器学习模型被提供以用于验证医疗数据，所述方法还包括：

确定所述第一机器学习模型的第一性能度量和所述第二机器学习模型的第二性能度量；以及

响应于所述第二性能度量超过所述第一性能度量，提供所述第二机器学习模型来替换使用中的所述第一机器学习模型。

19.根据权利要求12至18中任一项所述的方法，其中所述历史医疗数据包括针对多个预定测试项目中的至少一个测试项目的测试结果，并且生成所述第一机器学习模型包括：

通过针对所述多个预定测试项目中除所述至少一个测试项目之外的其他测试项目填充测试结果，来处理所述历史医疗数据，所填充的测试结果根据包括在其他历史医疗数据中的所述其他测试项目的测试结果确定；以及

基于经处理的历史医疗数据来生成所述第一机器学习模型。

20.根据权利要求12至19中任一项所述的方法，其中所述预定动作包括以下中的至少一项：

将所述医疗数据发布给请求医疗测试的实体的第一动作，

进一步验证所述医疗数据的第二动作，

重新运行与所述医疗数据相关的所述医疗测试的第三动作，

检查历史患者病历的第四动作，

检查所述医疗测试中的试剂反应的第五动作，

检查被采集以在所述医疗测试中使用的测试样本的第六动作，

结合临床诊断来检查所述医疗数据的第七动作，以及

检查患者用药情况的第八动作。

21.根据权利要求1至11中任一项所述的方法，其中所述机器学习模型由根据权利要求12至20中任一项所述的方法提供。

22.一种电子设备，包括：

至少一个处理器；和

包括计算机可读指令的至少一个存储器，所述计算机可读指令在由所述电子设备的所述至少一个处理器执行时使所述电子设备执行根据权利要求1至11和权利要求21中任一项所述的方法的步骤。

23.一种电子设备，包括：

至少一个处理器；和

包括计算机可读指令的至少一个存储器，所述计算机可读指令在由所述电子设备的所述至少一个处理器执行时使所述电子设备执行根据权利要求12至20中任一项所述的方法的步骤。

24.一种计算机程序产品，所述计算机程序产品包括指令，所述指令在由装置的处理器执行时使所述装置执行根据权利要求1至11和权利要求21中任一项所述的方法的步骤。

25.一种计算机程序产品，所述计算机程序产品包括指令，所述指令在由装置的处理器执行时使所述装置执行根据权利要求12至20中任一项所述的方法的步骤。

Images