CN115605890A - 基于上下文的绩效基准测试 - Google Patents

Abstract

系统(102)包括数字信息储存库(106)，该数字信息储存库(106)被配置为存储关于个体绩效的信息，个体绩效包括感兴趣个体的绩效。系统还包括计算设备(103)。该计算设备包括存储器(110)，该存储器被配置为存储用于绩效基准测试引擎的指令，绩效基准测试引擎被训练为学习独立于个体绩效而影响关键绩效指标的绩效的因素。计算设备还包括处理器(108)，该处理器被配置为执行所存储的用于绩效基准测试引擎的指令，以至少部分地基于数字信息储存库中关于感兴趣个体的绩效的信息、和所学习的影响感兴趣的关键绩效指标的因素，来确定感兴趣个体的感兴趣关键绩效指标。

Description

基于上下文的绩效基准测试

技术领域

下文整体涉及绩效基准测试，并且更具体地涉及基于上下文的绩效基准测试。

背景技术

关键绩效指标(KPI)可以被用于评估个体的绩效。例如，卫生保健机构的临床部门的管理者可以利用KPI来评估临床部门的工作人员的绩效。例如，超声心动图实验室的管理者可以使用KPI来评估各个声谱仪操作者关于执行超声心动图的绩效。在这种情况下，示例KPI是执行超声心动图的平均持续时间。

然而，执行超声心动图的复杂性不仅基于声谱仪操作者的绩效而变化，而且还基于声谱仪操作者的控制之外的因素而变化，这些声谱仪操作者的控制之外的因素诸如是患者特定的临床上下文(例如，住院患者相对于门诊患者等)、和/或工作流上下文(例如，设备型号等)。因此，不论声谱仪操作者的绩效如何，用于执行超声心动图的各个声谱仪操作者的绩效基准测试受到患者特定临床上下文和/或工作流上下文的影响。

同样地，在所有其它条件相同的情况下，针对两个不同声谱仪操作者的相同KPI可能基于患者特定的临床上下文和/或工作流上下文而不同。因此，例如，根据上下文，当前的绩效基准测试方法可能导致片面评估，该片面评估对个体绩效具有较不准确的解释。因此，对于用于绩效基准测试的另外和/或改进的方法存在未解决的需求。

发明内容

本文所述的各方面解决了上述问题和/或其它问题。例如，以下更详细地描述的非限制性示例实施例：在没有这样的基于偏差的绩效基准测试的情况下，考虑患者特定的临床上下文和/或工作流上下文，来确定更准确和有意义的KPI。

在一个方面，系统包括数字信息储存库，数字信息储存库被配置为存储关于个体绩效的信息，个体绩效包括感兴趣个体的绩效。系统还包括计算设备。计算设备包括存储器，存储器被配置为存储用于绩效基准测试引擎的指令，绩效基准测试引擎被训练为学习独立于个体绩效而影响关键绩效指标的绩效的因素。计算设备还包括处理器，处理器被配置为执行所存储的用于绩效基准测试引擎的指令，以至少部分地基于数字信息储存库中关于感兴趣个体的绩效的信息、和所学习的影响感兴趣的关键绩效指标的因素，来确定感兴趣个体的感兴趣关键绩效指标(1010)。

在另一方面，方法包括：从数字信息储存库获得关于个体绩效的信息，个体绩效包括感兴趣个体的绩效。方法还包括：获得针对绩效基准测试引擎的指令，绩效基准测试引擎被训练为学习独立于个体绩效而影响关键绩效指标的绩效的因素。方法还包括执行指令，以至少部分地基于数字信息储存库中关于感兴趣个体的绩效的信息、和所学习的影响感兴趣关键绩效指标的因素，确定感兴趣个体的感兴趣关键绩效指标。

在另一方面，计算机可读存储介质存储指令，指令在由计算机的处理器执行时，使得处理器：从数字信息储存库，获得关于个体绩效的信息，个体绩效包括感兴趣个体的绩效；获得针对绩效基准测试引擎的指令，绩效基准测试引擎被训练为学习独立于个体绩效而影响关键绩效指标的绩效的因素；以及执行指令，至少部分地基于数字信息储存库中关于感兴趣个体的绩效的信息、和所学习的影响感兴趣关键绩效指标的因素，确定感兴趣个体的感兴趣关键绩效指标。

本领域技术人员在阅读和理解所附说明书后将认识到本申请的其他方面。

附图说明

本发明可以采取各种部件和部件布置，以及各种步骤和步骤布置的形式。附图仅用于例示实施例的目的，而不应被解释为限制本发明。

图1示意性地图示了根据本文(多个)实施例的、具有被配置用于基于上下文的KPI绩效基准测试的绩效基准测试引擎的示例系统。

图2示意性地图示了根据本文(多个)实施例的绩效基准测试引擎的示例，该绩效基准测试引擎包括患者特定临床和/或工作流剖析模块，患者特定临床和/或工作流因素标识模块以及基准绩效模块。

图3示意性地图示了根据本文(多个)实施例的患者特定临床和/或工作流剖析模块的示例。

图4示意性地图示了根据本文(多个)实施例的患者特定临床和/或工作流因素标识模块的示例。

图5图示了根据本文(多个)实施例的使用决策树算法的示例因素标识。

图6图示了根据本文(多个)实施例的使用随机森林算法的示例因素标识。

图7图示了根据本文(多个)实施例的影响超声心动图持续时间的患者类型。

图8图示了根据本文(多个)实施例的影响超声心动图持续时间的设备型号。

图9图示了根据本文(多个)实施例的对比度使用对超声心动图持续时间的影响。

图10示意性地图示了根据本文(多个)实施例的基准绩效模块的示例。

图11图示了根据本文(多个)实施例的考虑患者特定临床上下文和/或工作流上下文而确定的示例KPI。

图12图示了根据本文(多个)实施例的、在不考虑患者特定临床上下文和/或工作流上下文的情况下确定的示例KPI。

图13图示了根据本文(多个)实施例的示例方法。

具体实施方式

图1示意性地图示了被配置用于基于上下文的KPI绩效基准测试的示例系统102。本文所使用的“基于上下文”包括考虑影响待评估个体的总体绩效但独立于个体绩效的因素。作为示例，不论操作者对计算机的使用如何，相对于具有较快处理器的较新计算机，具有较慢处理器的较旧计算机通常将花费较长的时间来执行计算。系统102包括计算设备104(例如，计算机)和(多个)数字信息储存库106。

所图示的计算设备104包括处理器108(例如，中央处理单元(CPU)、微处理器(μCPU)和/或其它处理器)和计算机可读存储介质(“存储器”)110(不包括暂时性介质)，诸如物理存储装置，例如硬盘驱动装置、固态驱动装置、光盘等。存储器110包括指令112，该指令112包括用于绩效基准测试引擎114的指令。处理器108被配置为执行用于绩效基准测试的指令。

所图示的计算设备104还包括输入/输出(“I/O”)116。在所图示的实施例中，I/O116被配置用于计算设备104和(多个)数字信息储存库106之间的通信，包括从(多个)数字信息储存库106接收数据、和/或向(多个)数字信息储存库106发射信号。(多个)数字信息储存库106包括存储数字信息的(多个)物理存储设备。这包括本地、远程、分布式和/或其它(多个)物理存储设备。

诸如显示器的(多个)人类可读输出装置120与计算设备104电通信。在一个实例中，(多个)人类可读输出装置120是被配置为借助无线和/或有线接口与计算设备104通信的单独装置。在另一实例中，(多个)人类可读输出装置120是计算设备104的一部分。诸如键盘、鼠标、触摸屏等的(多个)输入装置119也与计算设备104电通信。

绩效基准测试引擎114包括经训练的人工智能。如以下更详细描述的，绩效基准测试引擎114至少利用来自(多个)数字信息储存库106的数据来进行训练，以学习独立于个体绩效而影响总体绩效的上下文，并且然后利用来自(多个)数字信息储存库106的数据、和来自上下文的因素来确定个体的(多个)KPI。在一个实例中，相对于不考虑上下文的实施例(导致片面评估，该片面评估对个体绩效的较不准确的解释)，这提供了更有意义的基于KPI的绩效基准测试。

计算设备104可以被用于各种环境中的绩效基准测试。在一个实例中，计算设备104被用于临床环境中的绩效基准测试。在该环境中，绩效基准测试引擎114考虑患者特定临床上下文和/或工作流上下文。“患者特定临床上下文”包括诸如患者体重指数、年龄、性别、诊断、住院时间长度的因素和/或其它因素。“工作流上下文”包括诸如设备型号、检查位置、操作者、研究类型、临床医生等因素和/或其它因素。

以下描述对临床环境的具体应用，但不限于此。图2示意性地图示了绩效基准测试引擎114的示例。在该示例中，绩效基准测试引擎114包括患者特定临床和/或工作流剖析模块202、患者特定临床和/或工作流因素标识模块204和基准绩效模块206。以下描述患者特定临床和/或工作流剖析模块202、患者特定临床和/或工作流因素标识模块204和基准绩效模块206的非限制性示例。

图3示意性地图示了与(多个)数字信息储存库106连接的绩效基准测试引擎114的患者特定临床和/或工作流剖析模块202的示例。在该示例中，(多个)数字信息储存库106包括医院信息系统(HIS)，其包括电子医疗记录(EMR)、放射信息系统(RIS)、心血管信息系统(CVIS)、实验室信息系统(LIS)、图片归档和通信系统(PACS)和/或其它信息系统、(多个)成像系统和/或其它系统中的一个或多个。计算设备104可以经由信息技术(IT)通信协议与这样的系统对接，该信息技术(IT)通信协议诸如是健康水平第七层交换协定(HL7)、医学数字成像和通信(DICOM)、快速保健互操作性资源(FHIR)等。

上述系统中的一个或多个以结构化格式存储数据。示例的结构化报告包括以下项中的一个或多个：1)具有患者人口统计信息(例如，患者姓名、患者年龄、患者身高、血压等)和预定信息(例如，预定医师、研究类型、研究原因、病史等)的报头区段；2)记录相关人员(例如，预定医师、技师、诊断医师等)的区段；3)记录测量和临床发现的区段；4)总结和突出某些发现的结论区段；和/或5)计费区段。在一个实例中，(多个)数字信息储存库106以结构化的自由文本报告格式存储信息。附加地或备选地，(多个)数字信息储存库106将每个字段存储在结构化数据库中。

临床上下文提取器302使用(多个)临床上下文提取算法306从(多个)数字信息储存库106提取临床上下文304。工作流上下文提取器308使用(多个)工作流上下文提取算法312，从(多个)数字信息储存库106提取工作流上下文310。对于结构化的自由文本报告格式，(多个)临床上下文提取算法306和(多个)工作流上下文提取算法312包括诸如自然语言处理(NLP)算法等的算法，以识别每一个信息项的子标题。对于结构化数据库，(多个)临床上下文提取算法306和(多个)工作流上下文提取算法312借助例如数据库查询来检索信息。

图4示意性地图示了绩效基准测试引擎114的患者特定临床和/或工作流因素标识模块204的示例。因素标识器402接收临床上下文304和/或工作流上下文310作为输入。对于每个感兴趣的KPI 404(例如，KPI_J)，因素标识器402标识独立于被评估个体而影响绩效的临床和工作流因素406。以下的若干示例描述了因素标识器402如何评估临床上下文304和/或工作流上下文310，从而针对声谱仪操作者的绩效基准测试，标识感兴趣因素。示例方法包括监督预测和/或分类，诸如统计建模、机器学习、基于规则、深度学习等、人工方法等。

在一个示例中，因素标识器402使用决策树来标识影响检查持续时间的因素。对决策树的输入包括临床上下文304和/或工作流上下文310。影响检查持续时间的因素的示例诸如是患者年龄、患者体重、舒张压、患者身高、患者类别、性别、研究原因、超声推车类型、患者位置等。

在一个实例中，决策树被训练为分类问题，以学习哪些因素确定检查持续时间将持续超过阈值时间、还是低于阈值时间(例如，30分钟)。为此，临床上下文304和/或工作流上下文310被划分为多个类。在每一类中，不论声谱仪操作者的能力如何，预期的检查持续时间将是类似的范围。例如，数据可以被分类为两个组，第一组耗时少于30分钟，并且第二组耗时多于30分钟。

决策的输出包括分类结果、以及用于进行分类的临床因素和/或工作流因素和分割条件。图5中示出了这样的结果的示例。分类结果(0，1)被显示为决策树的端部节点，并且因素和分割条件被显示为决策树上的节点(例如，年龄>9.5)。数据被分类为两个类，类代码0和1。对决策树的输入包括患者年龄、患者类别(0＝门诊患者；1＝住院患者)和患者体重。

决策树的输出包括如下的选定因素，该选定因素对每个选定因素的分类和划分阈值有贡献。在图5中，年龄大于9.5的患者的数据倾向于持续30分钟以下。数据可以根据决策树的输出而被分组为类0(30分钟以下)和类1(30分钟以上)。基于来自每个类的数据集，可以比较声谱仪操作者的生产力绩效。示例可以被概括为包括更多输入因素、并且对多个类进行分类。

基于决策树的结果，然后可以执行不片面/较不片面或更公平的基准测试。例如，图5的决策树指示：不论声谱仪操作者的绩效如何，患者年龄都是影响检查持续时间的因素，其中大于9.5岁的患者的检查持续时间趋于小于30分钟。在这种情况下，例如针对大于9.5岁的患者的检查，通过至少比较声谱仪操作者的检查持续时间，执行声谱仪操作者生产率基准测试，因为针对这些检查的检查持续时间预期小于30分钟，并且大于30分钟的检查持续时间可能是由于声谱仪操作者的绩效。

这样的基准测试通过只知道分类结果来实现，而不需要理解算法是如何执行分类的。换言之，对于绩效基准测试，不需要理解将影响检查持续时间的潜在因素的列表。然而，提供这样的信息将增加可解释性。

也可以应用其它算法。例如，也可以应用具有相同输入的随机森林。算法将预测每个病例的分类并标识重要因素。其示例在图6中示出，其包括标识影响检查持续时间的临床和/或工作流因素(年龄602、舒张压604、身高606、体重608、类别代码610、声谱仪操作者612、性别614等)的第一轴600。随机森林将多个决策树的结果组合，并且因此随机森林的基本原理类似于决策树。

对于树上的每个分割，算法标识因素(即，年龄)和因素的条件(即，年龄>9.5)，以分割数据集，从而获得最佳分类结果。随机森林中所使用的用于选择因素和上述条件的指标是基于杂质的。图6中的第二轴616是测量数据集的杂质水平的基尼杂质指数。如果数据集中的所有数据属于一个组，则杂质水平(或基尼杂质指数)处于最低水平。随机森林输出导致基尼杂质减少的主因素。这些因素有助于良好的分类绩效。

在另一示例中，也可以应用统计方法。例如，可以利用潜在因素和检查持续时间之间的相关性。利用机器学习算法，预测器的绩效与输入特征高度相关。这样，可选的模块允许健康护理专业人员(心脏病专家、研究员、超声心动图实验室的管理者等)配置来自患者/研究概况的哪些指标/特征将与预测有关。这使得能够以可扩展的方式并入临床见解，以指导算法设计。

图7、图8和图9图示了根据本文的(多个)实施例的独立于声谱仪操作者的绩效而影响超声心动图持续时间的因素的示例。

图7图示了根据本文(多个)实施例的患者类型影响超声心动图持续时间。条形图702包括表示所执行的超声心动图的数量的第一轴704和表示每个超声心动图的持续时间的第二轴706。在该示例中，存在三个持续时间范围，第一持续时间范围708(例如，t<30分钟)、第二持续时间范围710(例如，30分钟≤t≤60分钟)和第三持续时间范围712(例如，t>30分钟)。

在第一持续时间范围708处的第一栏714包括表示门诊患者数量的第一部分716、和表示住院患者数量的第二部分718。在第二持续时间范围710处的第二栏720包括表示门诊患者数量的第一部分722、和表示住院患者数量的第二部分724。在第三持续时间范围712处的第三栏726包括表示门诊患者数量的第一部分728、和表示住院患者数量的第二部分730。

根据住院患者和门诊患者之间的界定，图7示出了平均而言大多数住院患者超声心动图落在第三持续时间712内。然而，对于基于持续时间而不考虑患者类型的KPI，在第三持续时间712中的声谱仪操作者看起来表现不佳。因此，在该示例中，在不考虑被评估个体的控制之外的因素的情况下，基准测试绩效导致对绩效的解释不太准确的片面评估。

图8图示了根据本文(多个)实施例的设备型号影响超声心动图持续时间。条形图802包括表示检查类型的第一轴804，检查类型包括第一类型的超声心动图806(例如，经食道超声心动图(TEE))和第二类型的超声心动图808(例如，胎儿)。第二轴810表示超声型号，包括型号812、型号814、型号816、型号818和型号820。在该示例中，设备型号820比其他设备型号旧，并且平均起来相对于其他设备型号需要10分钟的时间来完成超声心动图。

根据设备型号之间的界定，图8示出了：与利用其他设备型号执行的超声心动图相比，利用较旧设备型号820执行的平均超声心动图花费更长的时间来完成(即，具有更长的持续时间)。然而，利用基于持续时间的KPI而不考虑设备型号，使用较旧的设备型号D820的声谱仪操作者看起来表现不佳。因此，在该示例中，在不考虑被评估个体的控制之外的因素的情况下，基准测试绩效导致对绩效的解释不太准确的片面评估。

图9图示了根据本文(多个)实施例的对比度影响超声心动图持续时间。条形图902包括表示对比度利用的第一轴904和表示超声型号的第二轴906，超声型号包括型号908和型号910。针对型号908的第一栏912包括指示对比度增强扫描的第一部分914、和指示无对比度扫描的第二部分916。针对型号910的第二栏918包括指示对比度增强扫描的第一部分920、和指示无对比度扫描的第二部分922。

根据对比度增强扫描和非对比度扫描之间的界定，图9示出了：当使用型号910执行扫描时，完成扫描所需的对比度平均大于使用其它型号之一时完成扫描所需的对比度。然而，使用基于对比度的KPI而不考虑设备型号，使用型号910的声谱仪操作者看起来表现不佳。因此，在该示例中，在不考虑被评估个体的控制之外的因素的情况下，基准测试绩效导致对绩效的解释不太准确的片面评估。

图10示意性地图示了基准绩效模块的示例。基准绩效测试仪1002例如经由(多个)输入设备118接收感兴趣的KPI 1004和感兴趣的个体标识(ID)1006。基准绩效测试仪1002还检索临床上下文304和/或工作流上下文310、以及所标识的因素406。基准绩效测试仪1002基于感兴趣的KPI 1004、临床上下文304和/或工作流上下文310以及所标识的因素406来确定个体的KPI 1010。

图11示出了图10的KPI 1010的示例，其中感兴趣的KPI 1004在考虑患者类型(住院患者或门诊患者)的情况下，经由检查持续时间来表示声谱仪操作者生产力。第一轴1104表示针对两个类型的患者(住院患者1106和门诊患者1108)的图像采集持续时间。第二轴1110表示声谱仪操作者，包括声谱仪操作者1112、1114、1116、1118、1120、1122和1124。对于声谱仪操作者1120，住院检查1106的平均持续时间1126和门诊检查1108的平均持续时间1128均落在所有声谱仪操作者的平均值周围，并且声谱仪操作者1120主要执行住院检查，住院检查平均比门诊检查花费更多的时间来完成。

为了比较，图12示出了根据与用于图10的KPI 1010相同的数据确定KPI但不考虑患者类型(住院患者或门诊患者)的示例。第一轴1204表示两个类型的患者(住院患者1206和门诊患者1208)的图像采集持续时间。第二轴1210表示声谱仪操作者，包括声谱仪操作者1112、1114、1116、1118、1120、1122和1124。对于声谱仪操作者1120，平均持续时间1212高于所有声谱仪操作者的平均值。因此，与图11中示出的KPI 1010不同，在不考虑患者类型的情况下，与其他声谱仪操作者相比，该KPI指示声谱仪操作者1120花费更长的时间(即，更多的时间)来完成检查。即，通过不考虑患者类型，图11中的KPI相对于图10的KPI 1102偏向声谱仪操作者1120。

通常，这些因素可以被用于为情况提供临床上下文。为此，根据所选择的临床和工作流因素、以及所标识的条件，可以过滤数据。然后，可以基于经过滤的队列的每个子集来实现公平的基准测试。附加地或备选地，数据可以基于分类结果来分组、并且比较可以相应地执行。在另一实施例中，临床和/或工作流因素的列表可以被分组，以导出在绩效基准测试中使用的单个综合因素，这可以增加可解释性。

一个示例是使用多个因素来确定测量该特定病例所需的护理量的综合因素。例如，病例复杂度可以是综合因素，其用于测量病例被执行的“难度”。例如，扫描肥胖中风患者比扫描具有正常BMI的患者以评估左心室功能更困难。在此，系统可以使用多个因素，包括BMI(指示肥胖)、患者病史(指示中风)和研究原因(评估左心室功能)，以导出综合因素-病例复杂度。基准测试绩效然后可以基于复杂度水平。通过比较相同复杂水平的研究的平均检查持续时间，进而评估每个声谱仪操作者的生产率是公平和有意义的。

出于解释的目的，考虑到与声谱仪操作者无关的因素，以上包括了针对基准测试声谱仪操作者绩效的非限制性示例。然而，应当理解，本文的方法也可以用于其它KPI的绩效基准测试。例如，当使用不同的超声型号时，本文描述的方法可以被用于比较工作流效率的改进，例如，标识将影响工作流效率的因素，这些因素独立于超声扫描仪的性能，即，患者复杂性、声谱仪操作者经验等。

图13图示了根据本文(多个)实施例的示例方法。

应当理解，方法中的动作的顺序不是限制性的。因此，本文考虑了其它顺序。附加地，一个或多个动作可以被省略，和/或一个或多个附加动作可以被包括。

剖析步骤1302从(多个)数字数据储存库中提取如本文所述和/或以其他方式所述的相关上下文。例如，对于临床环境的特定应用，这可以包括提取患者特定临床和/或工作流，患者特定临床和/或工作流从(多个)数字信息储存库106提取信息。

标识因素步骤1304如本文所述和/或以其他方式所述的从所提取的上下文中，标识独立于被评估的个体而影响绩效的因素。例如，对于每个感兴趣的KPI，可以在所提取的相关上下文中，标识独立于被评估个体而影响绩效的临床和工作流因素406。

如本文所述和/或以其他方式所述，基准测试步骤1306至少基于所标识的因素来确定个体的KPI。

上述内容可以通过编码或嵌入在计算机可读存储介质上的计算机可读指令来实现，计算机可读指令在被(多个)计算机处理器执行时，使得(多个)处理器执行所述动作。附加地或备选地，计算机可读指令中的至少一个由信号、载波或非计算机可读存储介质的其他暂时性介质来执行。

虽然已在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应被认为是例示性或示例性的而非限制性的；本发明不限于所公开的实施例。通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其它变型。

词语“包括”不排除其他元素或步骤，并且不定冠词“一(a)”或“一个(an)”不排除多个。单个处理器或其它单元可以实现权利要求中所记载的若干项的功能。在相互不同的从属权利要求中记载某些措施的事实并不表示不能有利地使用这些措施的组合。

计算机程序可以被存储/分布在适当的介质上，诸如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但是也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。

Claims (20)

1.一种系统(102)，包括：

数字信息储存库(106)，其被配置为存储关于个体绩效的信息，所述个体绩效包括感兴趣个体的绩效；以及

计算设备(104)，其包括：

存储器(110)，其被配置为存储用于绩效基准测试引擎(114)的指令，所述绩效基准测试引擎(114)被训练为学习独立于所述个体绩效而影响关键绩效指标的绩效因素(405)；以及

处理器(108)，其被配置为执行所存储的用于所述绩效基准测试引擎的所述指令，以至少部分地基于所述数字信息储存库中关于所述感兴趣个体的绩效的信息、和所学习的影响所述感兴趣关键绩效指标的因素，来确定所述感兴趣个体的感兴趣关键绩效指标(1010)。

2.根据权利要求1所述的系统，其中所述信息包括患者特定临床上下文或工作流上下文。

3.根据权利要求2所述的系统，其中所述绩效基准测试引擎包括患者特定临床和/或工作流剖析模块(202)，所述患者特定临床和/或工作流剖析模块(202)被配置为：基于临床上下文提取算法(306)，从所述数字信息储存库提取临床上下文；以及基于临床上下文提取算法(312)，从所述数字数据储存库提取工作流上下文。

4.根据权利要求3所述的系统，其中所述信息以结构化格式被存储在所述数字信息储存库中，并且所述患者特定临床和/或工作流剖析模块被配置为：使用自然语言处理算法或数据库查询，来提取所述临床上下文和所述工作流上下文。

5.根据权利要求3所述的系统，其中所述绩效基准测试引擎包括患者特定临床和/或工作流因素标识模块，其被配置为根据所述临床上下文和所述工作流来确定所述因素。

6.根据权利要求5所述的系统，其中所述患者特定临床和/或工作流因素标识模块被配置为：基于监督预测或分类中的至少一个，来确定所述因素。

7.根据权利要求5所述的系统，其中所述绩效基准测试引擎还包括基准绩效模块，所述基准绩效模块被配置为：针对所述感兴趣个体，确定所述感兴趣的关键绩效指标，以移除由所述因素引入的绩效偏差。

8.根据权利要求7所述的系统，其中所述绩效基准测试引擎还包括基准绩效模块，所述基准绩效模块被配置为：通过排除引入所述绩效偏差的因素，为所述感兴趣的个体确定所述感兴趣的关键绩效指标。

9.根据权利要求1所述的系统，进一步包括：

输出设备(120)，其被配置为显示所确定的感兴趣的关键绩效指标。

10.一种计算机实现的方法，包括：

从数字信息储存库，获得关于个体绩效的信息，所述个体绩效包括感兴趣个体的绩效；

获得针对绩效基准测试引擎的指令，所述绩效基准测试引擎被训练为学习独立于所述个体绩效而影响关键绩效指标的绩效因素；以及

执行所述指令，以至少部分地基于所述数字信息储存库中关于所述感兴趣个体的绩效的信息、和所学习的影响所述感兴趣关键绩效指标的因素，确定所述感兴趣个体的感兴趣关键绩效指标。

11.根据权利要求10所述的计算机实现的方法，进一步包括：

基于临床上下文提取算法，从所述数字数据储存库提取临床上下文；以及基于临床上下文提取算法，从所述数字数据储存库提取工作流上下文。

12.根据权利要求11所述的计算机实现的方法，其中所述信息以结构化格式被存储在所述数字信息储存库中，所述方法还包括：使用自然语言处理算法或数据库查询，提取所述临床上下文和所述工作流上下文。

13.根据权利要求11所述的计算机实现的方法，进一步包括：

根据所述临床上下文和所述工作流，确定所述因素。

14.根据权利要求13所述的计算机实现的方法，进一步包括：

使用监督预测或分类之一，确定所述因素。

15.根据权利要求13所述的计算机实现的方法，进一步包括：

针对所述感兴趣个体，确定所述感兴趣关键绩效指标，以去除由所述因素引入的绩效偏差。

16.一种存储计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在由计算机的处理器执行时，使得所述处理器：

从数字信息储存库，获得关于个体绩效的信息，所述个体绩效包括感兴趣个体的绩效；

获得针对绩效基准测试引擎的指令，所述绩效基准测试引擎被训练为学习独立于所述个体绩效而影响关键绩效指标的绩效因素；以及

执行所述指令，以至少部分地基于所述数字信息储存库中关于所述感兴趣个体的绩效的信息、和所学习的影响所述感兴趣关键绩效指标的因素，确定所述感兴趣个体的感兴趣关键绩效指标。

17.根据权利要求16所述的计算机可读存储介质，其中所述计算机可执行指令进一步使得所述处理器：

基于临床上下文提取算法，从所述数字数据储存库提取临床上下文；并且基于临床上下文提取算法，从所述数字数据储存库提取工作流上下文。

18.根据权利要求17所述的计算机可读存储介质，其中所述计算机可执行指令进一步使得所述处理器：

根据所述临床上下文和所述工作流，确定所述因素。

19.根据权利要求18所述的计算机可读存储介质，其中所述计算机可执行指令进一步使得所述处理器：

针对所述感兴趣个体，确定所述感兴趣的关键绩效指标，以去除由所述因素引入的绩效偏差。

20.根据权利要求18所述的计算机可读存储介质，其中所述计算机可执行指令进一步使得所述处理器：

通过排除引入所述绩效偏差的因素，针对所述感兴趣个体确定所述感兴趣的关键绩效指标。

Images