CN114902235A - 用于基于用户选择的因素来训练机器学习模型的系统和方法 - Google Patents

用于基于用户选择的因素来训练机器学习模型的系统和方法 Download PDF

Info

Publication number
CN114902235A
CN114902235A CN202080091476.4A CN202080091476A CN114902235A CN 114902235 A CN114902235 A CN 114902235A CN 202080091476 A CN202080091476 A CN 202080091476A CN 114902235 A CN114902235 A CN 114902235A
Authority
CN
China
Prior art keywords
key performance
factors
values
machine learning
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091476.4A
Other languages
English (en)
Inventor
E·司姆霍恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114902235A publication Critical patent/CN114902235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Tourism & Hospitality (AREA)
  • Robotics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在某些实施例中，可以呈现关键性能指标的风险调整因素的图形表示，并且可以接收对因素子集的用户选择。可以向机器学习模型提供训练信息作为输入，以预测针对所选择的因素子集的关键性能指标的值。训练信息可以指示与提供者相关联的因素子集的值。然后可以向机器学习模型提供参考反馈，所述参考反馈包括基于与提供者相关联的因素子集的值的针对提供者的关键性能指标的历史值。机器学习模型然后可以基于参考反馈来更新机器学习模型的部分。然后可以将因素子集的值提供给经更新的机器学习模型，以获得关键性能指标的预测值。

Description

用于基于用户选择的因素来训练机器学习模型的系统和方法
技术领域
本专利申请公开了涉及基于用户选择的因素来促进对预测模型的训练或配置的各种系统和方法。
相关领域的描述
背景技术
已知用于基于关键性能指标来评价性能的系统和方法。目前的专利申请在此类系统中提供了改进。
发明内容
本发明的各个方面涉及用于基于用户选择的因素来促进对机器学习模型的训练的方法或系统。例如，可以对机器模型进行训练，使得机器学习模型能够基于用户选择的因素的值来预测一个或多个关键性能指标的值。
在一些实施例中，可以呈现用于调节KPI值的因素的图形表示。例如，因素组(例如，人口统计学、慢性病或健康的社会决定因素)可以影响某些提供者的KPI值。在一些实施例中，可以接收用户基于图形表示对因素子集的选择。然后可以向机器学习模型提供训练信息作为输入以预测针对所选择的因素子集的KPI值。在一些实施例中，训练信息可以指示与提供者相关联的因素子集的值。然后可以将参考反馈提供给机器学习模型。在一些实施例中，参考反馈可以包括针对提供者的基于与提供者相关联的因素子集的历史KPI值(例如，上一年的值)。在一些实施例中，机器学习模型可以基于参考反馈来更新机器学习模型的一个或多个部分。一旦机器学习模型更新了这些部分，就可以将因素子集的值提供给机器学习模型以获得预测KPI值。随后可以将预测KPI值与实际KPI值进行比较，以确定风险调整后的KPI值。
在权利要求中，括号内的任何附图标记不应被解释为限制权利要求。词语“包括”或“包含”不排除权利要求中列出的那些元件或步骤之外的元件或步骤存在。在列举若干单元的装置型权利要求中，这些单元中的若干可以具体实现为一个相同的硬件项。元件前的词语“一”或“一个”不排除存在多个这样的元件。虽然特定元件被记载在互不相同的从属权利要求中，但是这并不指示这些元件不能被组合使用。
在参考附图考虑以下描述和权利要求书的情况下，本公开内容的这些和其他目的、特征和特性，以及操作方法和有关的结构元件和零件组合的功能和制造的经济性将变得更加明显，所有附图均形成本说明书的部分，其中，在各幅附图中同样的附图标记指代对应的部分。然而，应当明确理解，附图仅是出于图示和描述的目的，并非旨在作为对本公开内容的限制的定义。
附图说明
图1示出了根据各个实施例的用于促进对预测模型的训练或配置的示例性系统；
图2示出了根据各个实施例的图形用户接口和基于对图形用户接口的选择的数据集；
图3示出了根据各个实施例的各种因素对所选择的关键性能指标的影响的图形；
图4示出了根据各个实施例的针对各个提供者的风险调整后的关键性能指标值；并且
图5示出了根据各个实施例的基于用户选择的与关键性能指标有关的因素来促进对机器学习模型的训练的方法。
具体实施方式
在本文中所使用的“一”、“一个”和“该”的单数形式包括复数引用，除非上下文另有明确指示。在本文中所使用的术语“或”意指“和/或”，除非上下文另有明确指示。在本文中所使用的术语“数值”应当意指一或大于一的整数(即，多个)。
图1示出了根据各个实施例的用于促进对预测模型的训练或配置的示例性系统100。在一些实施例中，系统100包括客户端设备110、计算机系统120(例如，一个或多个服务器或其他计算机系统)、机器学习模型130、(一个或多个)数据库140和(一个或多个)网络150。虽然仅图示了一个客户端设备110，但是系统100也可以包括多个与客户端设备110相同或相似的客户端设备。客户端设备110、计算机系统120、机器学习模型130和(一个或多个)数据库140被配置为彼此操作性耦合，使得客户端设备110、计算机系统120、机器学习模型130和(一个或多个)数据库140中的每项都能够经由网络150相互通信或者与其他部件、设备和系统进行通信。例如，系统100的任何部件都能够使用传输控制协议和互联网协议(“TCP/IP”)(例如，在各个TCP/IP层中的每个TCP/IP层中使用的协议中的任一种协议)、超文本传输协议(“HTTP”)、WebRTC、SIP和无线应用程序协议(“WAP”)来访问网络150。在一个实施例中，网络150经由使用HTTP的网络浏览器来促进系统100的部件或其他部件彼此之间的通信。用于促进系统100的部件之间的通信的各种额外通信协议包括但不限于Wi-Fi、蓝牙、射频系统(例如，900MHz、1.4GHz和5.6GHz通信系统)、蜂窝网络(例如，GSM、AMPS、GPRS、CDMA、EV-DO、EDGE、3GSM、DECT、IS-136/TDMA、iDen、LTE或任何其他合适的蜂窝网络协议)、红外、BitTorrent、FTP、RTP、RTSP、SSH或VOIP。
应当注意，虽然在本文中关于机器学习模型描述了一些实施例，但是在其他实施例中也可以使用其他预测模型(例如，统计模型或其他分析模型)作为机器学习模型的替代方案或补充方案(例如，在一个或多个实施例中，统计模型代替机器学习模型并且非统计模型代替非机器学习模型)。
客户端设备110可以包括任何类型的移动终端、固定终端或其他设备。举例来说，客户端设备110可以包括台式电脑、笔记本电脑、平板电脑、智能手机、可穿戴设备或其他客户端设备。例如，用户可以使用一个或多个用于彼此交互的客户端设备110、一个或多个服务器或系统100的其他部件。客户端设备110能够额外地或替代地包括：短距离无线通信模块(例如，低功率2.4GHz无线通信设备)、惯性传感器(例如，加速度计和/或陀螺仪传感器)、输入框(例如，触摸屏)、处理器或可充电电池。客户端设备110可以包括例如在显示器(例如，阴极射线管(CRT)或液晶显示器(LCD)监视器)上呈现的图形用户接口、指针设备(例如，计算机鼠标或轨迹球)、键盘、按键、触摸板、扫描设备、语音识别设备、手势识别设备、打印机、音频扬声器、麦克风、相机等。客户端设备110可以从远程位置连接到计算机系统120，并且可以经由网络150连接到计算机系统120。应当注意，虽然一个或多个操作在本文中被描述为是由计算机系统120的特定部件执行的，但是在一些实施例中，这些操作也可以由计算机系统120的其他部件或系统100的其他部件来执行。例如，虽然一个或多个操作在本文中被描述为是由计算机系统120的部件执行的，但在一些实施例中，这些操作也可以由客户端设备110的部件来执行，并且反之亦然。
数据库140包括一个或多个患者数据库142、一个或多个训练数据库144、一个或多个参考数据库146和/或一个或多个其他数据库。在一些实施例中，患者数据库142包含关于患者的信息。在一些实施例中，患者数据库142包含关于提供者的信息。在一些实施例中，提供者可以是医疗保健提供者、初级保健医师、医院、专家或其他提供者。在一些实施例中，患者数据库142可以包括关于慢性病、人口统计学、社会决定因素或其他患者信息的信息(例如，关于图2进一步详细描述的信息)。在一些实施例中，训练数据库144可以包含训练信息(例如，用于训练机器学习模型，例如，机器学习模型130)。例如，训练信息可以包括因素组(例如，慢性病、人口统计学、社会决定因素或其他因素组)中的因素的值。在一些实施例中，参考数据库146可以包括参考信息(例如用作用于训练机学习模型130的反馈)。例如，参考信息可以包括基于与提供者相关联的因素的值的针对提供者的历史KPI值(例如，上一年的值)。在一些实施例中，可以使用来自患者数据库142和/或训练数据库144的信息来训练机器学习模型(例如，机器学习模型130)，并且可以使用来自参考数据库146的信息来更新机器学习模型(例如，机器学习模型130)。该示例并不旨在进行限制，并且可以使用其他各种结构。
在一些实施例中，计算机系统120包括选择子系统122、预测子系统124和一个调整子系统126。此外，计算机系统120和客户端设备110可以包括一个或多个处理器102、存储器104和/或其他部件。存储器104可以包括计算机程序指令，所述计算机程序指令在由处理器102运行时将实施要被执行的操作，包括使得执行子系统122-126中的任一子系统的功能。计算机程序指令可以指以下计算机可读指令：在存储器104内存储的机器可读指令，以及响应于要执行一种或多种特定功能而能由处理器102自动运行的机器可读指令，或这两者。
在一些实施例中，选择子系统122可以(例如经由用户接口106)取用针对风险调整因素和KPI的用户选择输入。在一些实施例中，风险调整因素可以是影响某些提供者关于KPI的性能的因素。在一些实施例中，用户可以选择因素的集合、因素的子集、单个因素、因素组或任何其他因素组合。例如，向不同年龄的人群、不同的地理区域或具有不同慢性病患病率的患者提供护理的提供者关于某些KPI可以表现得更好或更糟。在一些实施例中，因素组可以包括慢性病、人口统计学、社会决定因素或其他因素。在一些实施例中，人口统计学因素组可以包括年龄、性别、种族、人种、婚姻状况或其他人口统计学状况。在一些实施例中，慢性病因素组可以包括高血压、充血性心力衰竭(CHF)、糖尿病、哮喘、慢性阻塞性肺病(COPD)或其他慢性病。在一些实施例中，社会决定因素组可以包括经济稳定性、教育、邻居、医疗保健的获得、社会环境或其他社会决定状况。在一些实施例中，KPI可以包括医疗保健提供者的性能的各种衡量标准。例如，KPI可以包括年度急诊科(ED)访问、年度住院、30天内再次住院、护理费用或其他KPI。在一些实施例中，选择子系统122可以要求对风险调整因素的至少一个选择和对KPI的至少一个选择。在一些实施例中，一旦选择子系统122接收到对(一个或多个)风险调整因素和(一个或多个)KPI的选择，计算系统120就可以检索与(例如针对(一个或多个)正在进行分析的提供者)所选择的因素相对应的值。例如，计算机系统120可以从患者数据库142检索与所选择的因素相对应的患者信息。在一些实施例中，患者信息可以包括所选择的因素的值(例如，性别、年龄、经济稳定性得分等)。计算机系统120可以检索该信息以供进一步分析(例如，如下文进一步详细描述的分析)。
在一种关于图2的场景中，系统100可以向用户提供图形用户接口200。在一些实施例中，图形用户接口200可以包括各种风险调整因素202和各种KPI 204。风险调整因素202和KPI 204可以基于正在分析的提供者、感兴趣因素、感兴趣KPI或其他考虑因素而有所不同。在一些实施例中，客户端设备110或计算机系统120可以经由用户接口(例如，客户端设备110的用户接口106，如图1所示)向用户提供图形用户接口200。用户接口可以向用户提供可选择的风险调整因素和KPI，并且接收呈选择形式的输入。例如，如图2所示，选择了若干风险调整因素和一个KPI。在一些实施例中，计算机系统120然后可以检索与针对正在分析的(一个或多个)提供者的所选择的因素和KPI相对应的信息。例如，计算机系统120可以访问患者数据库142(例如，如图1所示)，以便检索与正在分析的提供者相关联的针对患者的患者数据值。例如，计算机系统120可以从患者数据库142检索与所选择的风险调整因素和所选择的KPI相对应的患者信息。数据集250基于从患者数据库142检索到的患者数据来示出部分数据集。例如，示出针对患者206的信息，包括与糖尿病208、年龄210、性别212和经济稳定性得分214有关的信息。患者206中的每个患者还示出每年的ED访问216(即，当年度ED访问是所选择的KPI时)。数据集250可以基于风险调整因素202中的所选择的因素和患者数据库142中的可用数据来示出更多或更少的数据。数据集250示出针对风险调整因素202的所选择的因素中的一些因素的数据，但是也可以示出风险调整因素202的其他选择因素(例如，高血压、COPD、婚姻状况和教育)。在一些实施例中，可以使用针对患者206的患者数据值(例如，糖尿病208值、年龄210值、性别212值、经济稳定性得分214值或其他患者数据值)作为训练信息来训练机器学习模型(例如，如下文更详细地讨论的那样)。
如图3所示，可以如图形300那样关于风险调整因素来显示KPI值。可以以许多不同的方式呈现风险调整因素和KPI，例如，图表、图形、表格、绘图、动画或其他呈现技术。例如，图形302、304和306示出了因素的集合与所选择的KPI(例如，如图2所示，从KPI 204中选择的KPI)之间的相关性。图形302示出了人口统计学得分308与ED访问之间的相关性。图形304示出了慢性病得分310与ED访问之间的相关性。图形306示出了社会决定因素得分312与ED访问之间的相关性。在图形302-306中，每个数据点都可以表示与正在分析的(一个或多个)提供者相关联的患者(例如，患者206，如图2所示)。例如，数据点在相应图形上的位置可以指示因素的集合的值和KPI的值，这些值与患者相关联。在一些实施例中，图形302-306中的风险调整因素数据可以基于指示风险调整因素值的患者信息(例如，从患者数据库142检索的患者信息，如图1所示)。在一些实施例中，图形302-306中的KPI数据可以基于历史KPI值(例如，上一年的值)。例如，图形302中的数据可以基于根据人口统计学因素(例如，年龄、性别、婚姻状况或其他人口统计学因素)的针对ED访问的历史KPI值。在一些实施例中，图形302-306中的数据可以基于其他信息来源。
在一些实施例中，图形302-306中的KPI数据可以基于预测KPI值(例如，通过一个或多个机器学习模型预测的KPI值)。在一些实施例中，可以针对每种因素、因素组、因素子集或其他因素组合构建和训练机器学习模型或机器学习算法。例如，图形302中的数据可以基于根据人口统计学因素(例如，年龄、性别、婚姻状况或其他人口统计学因素)的针对ED访问的预测KPI值。在该示例中，KPI值可以基于机器学习模型根据输入(例如，人口统计学因素组)的输出。在其他示例中，可以针对每种因素(例如，年龄)、多个因素组(例如，人口统计学因素和慢性病因素)、跨因素组的所有选定因素或不同的因素组合构建机器学习模型。在一些实施例中，可以针对基于图形302-306(例如经由选择314)以单独方式或以任何组合方式选择的(一个或多个)因素构建新的机器学习模型。
图形302-306还基于每个图形中的数据点来显示回归线。回归线表示每个图形的数据，并且具有相关联的R2值。针对每个图形的R2值指示针对每个图形302-306的回归线的拟合优度。换句话说，R2值是数据对回归线的拟合程度的度量。R2的较低值指示回归线不能很好地表示数据，而R2的较高值表示回归线很好地拟合数据。图形302具有最高的R2值，图形304具有第二高的R2值，并且图形306具有最低的R2值。因此，回归线最佳地解释了图形302中的数据。
在一些实施例中，图形302-306可以指示风险调整因素对所选择的KPI的影响。例如，具有最陡斜率的回归线的图形示出了风险调整因素与所选择的KPI之间最强的相关性(即，最大影响)。对于其他类型的图形，图形的其他特性可以指示风险调整因素对KPI的相对影响。在一些实施例中，可以经由计算机系统120的选择子系统122(例如，如图1所示)来选择影响KPI的风险调整因素(例如，属于人口统计学、慢性病、社会决定因素或其他因素组的风险调整因素)(例如，如图3所示)。因此，用户可以基于相关联的图形、风险调整因素对KPI的影响和/或某种其他因素来选择风险调整因素中的一个或多个风险调整因素。在一些实施例中，计算机系统120可以经由选择子系统122来接收选择。如图3所示，已经选择了图形302(例如，选择314)。在一些实施例中，可以选择一个或多个图形。在一些实施例中，对图形(例如，从图形302、304和306中)的选择可以表示对相关联的因素的选择。在一些实施例中，可以以某种其他方式选择这些因素。例如，用户可以选择机器学习模型或算法(例如，如下所述的机器学习模型或算法)。在一些实施例中，可以在机器学习模型生成预测KPI值之前，在机器学习模型生成了预测KPI值之后，与机器学习模型生成预测KPI值并行地或以上述方式的任意组合的方式选择风险调整因素。在一些实施例中，用户可以在系统100的处理期间一次选择某些因素，然后可以(例如基于图形表示、预测或其他因素)选择这些因素的子集。在一些实施例中，然后可以使用所选择的(一种或多种)风险调整因素(例如，人口统计学因素，如选择314所示)来计算风险调整后的KPI值(例如，如关于图4所讨论的那样)。
返回图1，计算机系统120的预测子系统124可以用于基于所选择的因素(例如，人口统计学因素，如上面关于图3所描述的那样)的值来预测KPI值。在一些实施例中，预测子系统124可以使用机器学习模型130或其他预测模型来预测KPI值。在一些实施例中，预测子系统124可以与机器学习模型130或其他预测模型进行通信。在一些实施例中，预测子系统124可以包括机器学习模型130或其他预测模型。预测子系统124和机器学习模型130在图1中被示为单独的实体，但是该示例并不旨在进行限制。在一些实施例中，机器学习模型130可以(例如使用集成方法)组合多个机器学习模型。使用多个机器学习模型可以允许预测子系统124生成更好的预测。
在一些实施例中，机器学习模型130可以包括一个或多个神经网络或其他机器学习模型。例如，神经网络可以基于大量神经单元(或人工神经元)。神经网络可以(例如经由通过轴突连接的大量生物神经元簇)粗略地模拟生物脑部的工作方式。神经网络的每个神经单元可以与神经网络的许多其他神经单元相连接。这种连接能够对其对连接的神经单元的激活状态的影响产生强制执行或抑制执行的作用。在一些实施例中，每个个体神经单元都可以具有求和功能，所述求和功能将个体神经单元的所有输入值组合在一起。在一些实施例中，每个连接(或神经单元本身)都可以具有阈值函数，使得信号在传播到其他神经单元之前必须超过阈值。与传统的计算机程序相比，这些神经网络系统可以是自我学习和训练的，而不是明确编程的，并且在某些解决问题的领域中能够明显表现得更好。在一些实施例中，神经网络可以包括多个层(例如，信号路径从前面的层到后面的层所遍历的层)。在一些实施例中，神经网络可以利用反向传播技术，在反向传播技术中，正向刺激用于重置“前面的”神经单元上的权重。在一些实施例中，对神经网络的刺激和抑制作用可以更自由地流动，并且连接以更混乱和复杂的方式相互作用。
在一些实施例中，机器学习模型130可以采用输入132并返回输出134。在一些实施例中，输入132可以包括训练信息，所述训练信息指示所选择的与正在分析的(一个或多个)提供者相关联的因素的值。例如，训练信息可以包括针对患者206的患者数据值(例如，如图2中的数据集250所示)。机器学习模型130可以经由(一个或多个)数据库140(例如，患者数据库142或训练数据库144)获得训练信息。机器学习模型130可以使用训练信息来预测KPI值(例如，输出134)。在一些实施例中，输入132还可以包括参考反馈。例如，参考反馈可以包括针对正在分析的(一个或多个)提供者的基于所选择的风险调整因素(例如，从风险调整因素202中选择的因素，如图2所示，或者通过选择314所选择的因素，如图3所示)的历史KPI值(例如，上一年的值)。在一些实施例中，机器学习模型130可以从(一个或多个)数据库140(例如，参考数据库146)获得参考反馈。在一些实施例中，输出134可以包括基于所选择的因素的值的(例如从作为输入132的接收到的训练数据得到的)预测KPI值。
在一些实施例中，机器学习模型130可以关于参考反馈来评估预测KPI值。例如，机器学习模型130可以将预测KPI值与来自参考反馈的KPI值进行比较，这两个值均基于相同的风险调整因素值(例如，从训练信息中获得的风险调整因素值)。如果预测KPI值与来自参考反馈的KPI值不匹配，则机器学习模型130可以更新机器学习模型130的一个或多个部分。例如，机器学习模型130可以调整机器学习模型130的权重、偏置或其他参数。在机器学习模型130是神经网络的一些实施例中，可以调整连接权重以调和神经网络预测与参考反馈之间的差异。一些实施例包括神经网络的一个或多个神经元(或节点)，它们要求将其各自的错误通过神经网络向后发送给它们以促进更新过程(例如，错误的反向传播)。例如，对连接权重的更新可以反映在完成了正向传递之后对错误的反向传播的幅值。
在一些实施例中，机器学习模型130可以包括一种或多种机器学习算法。例如，机器学习模型130可以为每种选择的因素、每个选择的因素组、因素的子集或其他因素分组构建机器学习算法。在一些实施例中，机器学习算法可以是线性回归模型或其他类型的模型。例如，基于因素和KPI(例如，从图2中的图形用户接口200中选择的因素和KPI)，机器学习模型130可以针对所选择的因素组(分别为人口统计学、慢性病和健康的社会决定因素)确定以下机器学习算法：
算法1：预测ED访问＝0.01×年龄-0.05×性别+0.2×婚姻状况
算法2：预测ED访问＝0.3×高血压+0.2×糖尿病+0.4×COPD
算法3：预测ED访问＝0.02×经济稳定性+0.01×教育
在一些实施例中，如上所述，机器学习模型130可以通过基于在训练期间对机器学习模型130的预测的评估(例如基于参考反馈)调整上述算法的权重(例如，系数)来更新机器学习模型。一旦机器学习模型130已经基于参考反馈进行了更新，预测子系统124就可以利用经更新的机器学习模型130基于患者数据值来预测KPI值(例如，如图2中的数据集250所示)。例如，预测子系统124可以向机器学习模型130提供与所选择的风险调整因素相关联的值。机器学习模型130可以基于所选择的风险调整因素的值返回一个或多个预测KPI值。
在一些实施例中，计算机系统120的调整子系统126(例如，如图1所示)可以确定风险调整后的KPI值。例如，在一些实施例中，调整子系统126可以获得针对每个患者的实际KPI值。在一些实施例中，调整子系统126可以从(一个或多个)数据库140(例如，患者数据库142)中检索实际KPI值。例如，可以将所选择的KPI的实际值与患者206相联系地存储(例如，在数据集250中的年度ED访问216，如图2所示)。在一些实施例中，调整子系统126可以从另一来源获得实际KPI值。在一些实施例中，调整子系统126可以计算针对给定提供者的实际KPI值的平均值。在一些实施例中，调整子系统126可以计算针对给定提供者的预测KPI值的平均值(例如作为来自机器学习模型130的输出)。然后，调整子系统126可以将实际KPI值的平均值与预测KPI值的平均值进行比较。例如，调整子系统126可以计算实际KPI值的平均值与预测KPI值的平均值之间的比率、分数、百分比或其他比较结果。然后，调整子系统126可以基于该比较来确定风险调整后的KPI值。例如，在一些实施例中，实际KPI值的平均值与预测KPI值的平均值之间的比率、分数或百分比可以用作风险调整后的KPI值。在一些实施例中，可以使用该比率、分数或百分比来调整实际KPI值的平均值或预测KPI值的平均值。在一些实施例中，可以使用另一方法来确定风险调整后的KPI值。
在一个实例中，如图4的数据集400中所示，示出了针对提供者402的平均实际KPI值404和平均预测KPI值406。在该示例中，将平均实际KPI值404除以平均预测KPI值406，并且将所得到的结果示为风险调整后的KPI值408。由于风险调整后的KPI值408包括平均实际KPI值与平均预测KPI值的比率，因此能够关于为一的阈值来评价风险调整后的KPI值408。如果平均实际KPI值除以平均预测KPI值(例如，值404除以值406)得出的值为一，则实际KPI值完全如针对提供者所预测的那样(例如通过机器学习模型130所预测的那样，如图1所示)。在一些实施例中，这指示提供者的性能完全如预测的那样。在一些实施例中，如果平均实际KPI值除以平均预测KPI值得出的值小于一，则平均实际KPI值低于平均预测KPI值。如果所选择的KPI在较低数量下比在较高数量下更好(例如，代价)，则小于一的值指示提供者(例如关于机器学习模型130的预测)具有超常表现。在一些实施例中，如果平均实际KPI值除以平均预测KPI值得出的值大于一，则平均实际KPI值高于平均预测KPI值。如果所选择的KPI在较低数量下比在较高数量下更好(例如，代价)，则大于一的值指示提供者(例如关于机器学习模型130的预测)具有欠佳表现。例如，具有小于一的风险调整后的KPI值的提供者402(例如，提供者2、3、4和7)的性能比预期的要好。例如，针对在图2中选择的KPI，提供者2、3、4和7平均比机器学习模型130所预测的ED访问要少。具有大于一的风险调整后的KPI值的提供者402(例如，提供者1、5和6)的性能比预期的要差。例如，针对在图2中选择的KPI，提供者1、5和6平均比机器学习模型130所预测的ED访问要多。该示例并不旨在进行限制，并且可以关于不同的阈值或者使用不同的方法来评价风险调整后的KPI值。
图5图示了根据各种实施例的用于促进对机器学习模型的训练的方法500。下面呈现的方法500的操作旨在是说明性的。在一些实施例中，可以利用未描述的一个或多个额外的操作来完成方法500，并且/或者可以在没有所讨论的一个或多个操作的情况下完成方法500。另外，在图5中图示的和在下文中描述的方法500的操作的顺序并不旨在进行限制。
在一些实施例中，可以在一个或多个处理设备中实施方法500，这一个或多个处理设备例如为计算机系统120和/或客户端设备110(例如，如图1所示)的一个或多个处理器102。这一个或多个处理设备可以包括响应于以电子方式存储在电子存储介质上的指令而运行方法500的操作中的一些或全部操作的一个或多个设备。这一个或多个处理设备可以包括通过硬件、固件和/或软件被配置为被专门设计用于运行方法500的操作中的一个或多个操作的一个或多个设备。
在操作502处，呈现了KPI的风险调整因素的图形表示。例如，每个图形表示可以显示对所选择的KPI的风险调整因素(或因素的集合)的影响。在一些实施例中，图形表示可以表示历史KPI值(例如，上一年的值)、预测KPI值或其他KPI值。在一些实施例中，操作502由与(如图1所示并且在本文中描述的)用户接口106相同或相似的用户接口来执行。
在操作504处，基于图形表示来接收对因素子集的用户选择。在一些实施例中，用户选择可以基于因素(或因素的集合)对每个图形表示的所选择的KPI的影响的量。在一些实施例中，用户选择可以基于另一因素。在一些实施例中，操作504由与(如图2所示并且在本文中描述的)选择子系统122相同或相似的选择子系统来执行。
在506操作处，向机器学习模型提供训练信息作为输入以预测针对因素(或因素的集合)的KPI的值。在一些实施例中，训练信息可以指示与提供者相关联的因素(或因素的集合)的值。在一些实施例中，操作506由与(如图1所示并且在本文中描述的)预测子系统124相同或相似的预测子系统来执行。
在508操作处，向机器学习模型提供参考反馈。在一些实施例中，参考反馈可以包括基于因素(或因素的集合)的值的针对提供者的历史KPI值。在一些实施例中，机器学习模型可以基于参考反馈来执行对其预测值(例如，在操作506处确定的预测值)的评估。在一些实施例中，基于参考反馈和/或评估来更新机器学习模型的一个或多个部分。在一些实施例中，操作508由与(如图1所示并且在本文中描述的)预测子系统124相同或相似的预测子系统来执行。
在操作510处，向机器学习模型提供因素(或因素的集合)的值以获得预测KPI值。在一些实施例中，仅在更新(例如，在操作508处描述的更新)了机器学习模型的一个或多个部分之后才执行操作510。在一些实施例中，操作510由与(如图1所示并且在本文中描述的)预测子系统124相同或相似的预测子系统来执行。
返回图1，计算机系统120和/或客户端设备110可以被配置为包括一个或多个处理器(例如，(一个或多个)处理器102)，这一个或多个处理器经由I/O接口108被耦合到存储器104和网络150。如本文所述，处理器能够包括单个处理器或多个处理器(例如，分布式处理器)。处理器可以是能够运行或者以其他方式执行指令的任何合适的处理器。处理器可以包括中央处理单元(CPU)，所述CPU执行程序指令以执行计算机系统120的算术、逻辑和输入/输出操作。处理器可以运行代码(例如，处理器固件、协议栈、数据库管理系统、操作系统或其组合)，所述代码创建用于程序指令的运行环境。处理器可以包括可编程处理器。处理器可以包括通用微处理器或专用微处理器。处理器可以从存储器(例如，存储器104)接收计算机程序指令和数据。计算机系统120可以是单处理器系统，所述单处理器系统包括一个处理器(例如，处理器102)；或者，计算机系统120可以是多处理器系统，所述多处理器系统包括任何数量的合适处理器(例如，(一个或多个)处理器102)。可以采用多个处理器来提供本文描述的技术的一个或多个部分的并行运行或顺序运行。本文描述的过程(例如，逻辑流)能够由一个或多个可编程处理器来执行，所述一个或多个可编程处理器运行一个或多个计算机程序以通过对输入输出的操作和生成对应的输出来执行这些功能。本文描述的过程可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且装置也能够被实施为专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。计算机系统120可以包括多个计算设备(例如，分布式计算机系统)以实施各种处理功能。
I/O接口108被配置为提供用于将一个或多个I/O设备(例如，客户端设备110)连接到计算机系统120的接口。I/O设备可以包括(例如从患者或提供者)接收输入的设备或(例如向用户或提供者)输出信息的设备。I/O接口可以被配置为协调(一个或多个)处理器102、存储器104、网络150和/或其他外围设备之间的I/O流量。I/O接口108可以执行协议、计时或其他数据变换，以将数据信号从一个部件(例如，存储器104)转换成适合用于由另一部件(例如，(一个或多个)处理器102)使用的格式。I/O接口108可以包括对通过各种类型的外围总线附接的设备的支持，例如，外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变体。
网络150可以包括网络适配器，所述网络适配器提供客户端设备110和计算机系统120与网络的连接。网络150可以促进计算机系统120与被连接到网络的其他设备之间的数据交换。网络150可以支持有线或无线通信。该网络可以包括电子通信网络，例如，互联网、局域网(LAN)、广域网(WAN)、蜂窝通信网络等。
系统存储器104可以被配置为存储计算机程序指令和/或数据。计算机程序指令能够由处理器(例如，处理器102中的一个或多个处理器)来运行以实施本专利申请的技术的一个或多个实施例。计算机程序指令可以包括用于实施在本文中关于各种处理模块所描述的一种或多种技术的计算机程序指令的模块。计算机程序指令可以包括计算机程序(其在某些形式中被称为程序、软件、软件应用程序、脚本或代码)。计算机程序可以用编程语言(包括经编译或解释的语言)或声明性语言或过程性语言来编写。计算机程序可以包括适合用于在计算环境中使用的单元，包括作为独立的程序、模块、部件或子例程。计算机程序可以与文件系统中的文件相对应，也可以不与文件系统中的文件相对应。程序可以被存储在保存其他程序或数据的文件(例如，一个或多个被存储在标记语言文档中的脚本)的部分中，被存储在专用于所讨论的程序的单个文件中，或者被存储在多个协调的文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署为在位于一个本地站点处的一个或多个计算机处理器上运行，或者在被分布在多个远程站点上并且通过通信网络互连的一个或多个计算机处理器上运行。
存储器104可以包括在其上存储有程序指令的有形程序载体。有形程序载体可以包括非瞬态计算机可读存储介质。非瞬态计算机可读介质可以包括机器可读存储设备、机器可读存储基板、存储器设备或其任何组合。非瞬态计算机可读介质可以包括非易失性存储器(例如，闪存存储器、ROM、PROM、EPROM、EEPROM存储器)、易失性存储器(例如，随机存取存储器(RAM)、静态随机存取存储器(SRAM)、同步动态RAM(SDRAM))、批量存储存储器(例如，CD-ROM和/或DVD-ROM、硬盘驱动器)等。存储器104可以包括在其上存储有程序指令的非瞬态计算机可读存储介质，该指令能由计算机处理器(例如，处理器102中的一个或多个处理器)运行以实现本文描述的主题和功能操作。存储器(例如，存储器104)可以包括单个存储器设备和/或多个存储器设备(例如，分布式存储器设备)。提供本文描述的功能的指令或其他程序代码可以被存储在有形非瞬态计算机可读介质上。在一些情况下，整个指令集可以被同时存储在介质上，或者在一些情况下，指令的不同部分可以在不同时间被存储在同一介质上。
可以使用客户端设备110或计算机系统120的单个实例来实施本文描述的技术的实施例。可以使用多个客户端设备110或多个计算机系统120来实施本文描述的技术的实施例，每个客户端设备或计算机系统都被配置为托管实施例的不同部分或实例。多个客户端设备110或计算机系统120可以提供对本文描述的技术的一个或多个部分的并行或顺序处理/运行。
本领域技术人员将意识到，系统100仅仅是说明性的且并不旨在限制本文描述的技术的范围。系统100可以包括可以执行或者以其他方式提供本文描述的技术的性能的设备或软件的任何组合。例如，客户端设备110和计算机系统120可以包括云计算系统、数据中心、服务器机架、服务器、虚拟服务器、台式电脑、笔记本电脑、平板电脑、服务器设备、客户端设备、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、车载计算机或全球定位系统(GPS)等，或者，客户端设备110和计算机系统120可以是上述各项的组合。客户端设备110和计算机系统120也可以被连接到未说明的或可以作为独立的设备/系统操作的其他设备。另外，在一些实施例中，由所说明的部件提供的功能可以被组合在较少的部件中或者被分布在额外的部件中。类似地，在一些实施例中，可能无法提供所说明的部件中的一些部件的功能，或者可能提供其他额外的功能。
本领域技术人员还将意识到，虽然各个项目被说明为当被使用时被存储在存储器中或者被存储在存储装置上，但是这些项目或其部分可以在存储器与其他存储设备之间进行传输，以实现存储器管理和数据完整性。替代地，在其他实施例中，软件部件中的一些或全部软件部件可以在另一设备上的存储器中运行，并且经由计算机间通信与所说明的计算机系统进行通信。系统部件或数据结构中的一些或全部也可以(例如作为指令或结构化数据)被存储在计算机可访问介质或可通过适当的驱动器读取的便携式物品上，上面描述了便携式物品的各种示例。在一些实施例中，在与计算机系统120分开的计算机可访问介质上存储的指令可以经由借助于通信介质(例如，网络或无线链接)传送的传输介质或信号(例如，电信号、电磁信号或数字信号)被传输到计算机系统120。各种实施例还可以包括根据上面对计算机可访问介质的描述实施的接收、发送或存储指令或数据。因此，可以利用其他计算机系统配置来实践本技术。
在权利要求中，被放置在括号之间的任何附图标记不应被解释为限制权利要求。词语“包括”或“包含”不排除权利要求中列出的那些元件或步骤之外的元件或步骤的存在。在列举若干单元的装置型权利要求中，这些单元中的若干可以被具体实施为一个相同的硬件项。元件前的词语“一”或“一个”不排除多个这样的元件的存在。在列举若干单元的任何装置型权利要求中，这些单元中的若干可以被实施为一个相同的硬件项。虽然某些元件被记载在互不相同的从属权利要求中，但是这并不指示这些元件不能被组合使用。
虽然已经基于当前被认为是最实用和优选的实施例，出于图示的目的详细描述了本发明，但是应当理解，这样的详情仅出于所述目的，并且本发明不限于所公开的实施例，而是相反，本发明旨在覆盖在权利要求的精神和范围之内的修改和等效布置。例如，应当理解，本专利申请预期任何实施例的一个或多个特征能够在可能的范围内与任何其他实施例的一个或多个特征进行组合。
参考下面列举的实施例将更好地理解本技术：
1、一种方法，包括：向预测模型提供训练信息作为输入以预测针对因素子集的关键性能指标的值，所述训练信息指示与提供者相关联的所述因素子集的值；向所述预测模型提供参考反馈，所述参考反馈包括基于与所述提供者相关联的所述因素子集的所述值的针对所述提供者的历史关键性能指标值，所述预测模型基于所述参考反馈来更新所述预测模型的一个或多个部分；在对所述预测模型的所述更新之后，向所述预测模型提供与所述提供者相关联的所述因素子集的所述值，以获得针对所述提供者的预测关键性能指标值。
2、根据实施例1的方法，还包括：经由用户接口呈现关键性能指标的风险调整因素的图形表示；并且经由所述用户接口基于所述图形表示来接收对所述因素的因素子集的用户选择。
3、根据实施例1-2中的任一实施例的方法，还包括：获得针对所述因素子集的实际关键性能指标值；将所述实际关键性能指标值的平均值与针对所述因素子集的所述预测关键性能指标值的平均值进行比较；并且基于所述比较来确定风险调整后的关键性能指标值。
4、根据实施例3的方法，其中，将所述实际关键性能指标值与所述预测关键性能指标值进行比较包括计算所述实际关键性能指标值的平均值与所述预测关键性能指标值的平均值的比率。
5、根据实施例4的方法，还包括：在所述比率大于阈值的状况下，确定所述提供者具有欠佳表现；并且在所述比率小于所述阈值的状况下，确定提供者具有超常表现。
6、根据实施例1-5中的任一实施例的方法，还包括接收指示所述关键性能指标和所述关键性能指标的所述风险调整因素的选择，并且其中，所述图形表示是基于所接收的选择来呈现的。
7、根据实施例1-6中的任一实施例的方法，其中，所述图形表示指示所述因素中的每种因素对针对所述提供者的所述关键性能指标的影响的量。
8、根据实施例7的方法，其中，对所述因素子集的所述用户选择基于每种因素对针对所述提供者的所述关键性能指标的影响的量。
9、根据实施例1-8中的任一实施例的方法，还包括将针对所述提供者的所述风险调整后的关键性能指标值与针对其他提供者的风险调整后的关键性能指标值进行比较。
10、根据实施例1-9中的任一实施例的方法，其中，所述预测模型包括神经网络或其他机器学习模型。
11、一种存储指令的非瞬态机器可读介质，所述指令在由数据处理装置运行时使所述数据处理装置执行包括实施例1-10中的任一实施例中的操作的操作。
12、一个系统，包括：一个或多个处理器；以及存储器，其存储指令，所述指令在由所述处理器运行时使所述处理器执行包括实施例1-10中的任一实施例中的操作的操作。

Claims (20)

1.一种用于基于用户选择的与关键性能指标有关的因素来促进对机器学习模型的训练的系统，所述系统包括：
计算机系统，其包括利用计算机程序指令编程的一个或多个处理器，所述计算机程序指令在被运行时使所述计算机系统执行以下操作：
经由用户接口呈现关键性能指标的风险调整因素的图形表示和所述因素中的每种因素对提供者的所述关键性能指标的影响的量；
经由所述用户接口基于所述图形表示的所述呈现来接收对所述因素的因素子集的用户选择；
基于对所述因素子集的所述用户选择来获得针对所述因素子集中的每种因素的训练信息，所述训练信息包括指示所述因素子集中与所述提供者相关联的每种因素的值的数据集；
向机器学习模型提供所述训练信息作为输入以预测针对所述因素子集中的每种因素的所述关键性能指标的值；
向所述机器学习模型提供参考反馈，所述参考反馈包括与和所述提供者相关联的所述因素子集的所述值有关地发生的针对所述提供者的所述关键性能指标的历史值，所述机器学习模型基于所述参考反馈来评估所述关键性能指标的预测值，并且基于对所述机器学习模型的所述评估来更新所述机器学习模型的一个或多个部分；并且
在对所述机器学习模型的所述更新之后，向所述机器学习模型提供所述因素子集的第一值，以获得针对所述提供者的第一预测关键性能指标值。
2.根据权利要求1所述的系统，其中，还使所述计算机系统执行以下操作：
向所述机器学习模型提供所述因素子集的第二值，以获得第二预测关键性能指标值；并且
基于所述第一预测关键性能指标值和所述第二预测关键性能指标值来计算平均预测关键性能指标值。
3.根据权利要求2所述的系统，其中，还使所述计算机系统执行以下操作：
基于针对所述因素子集的第一实际关键性能指标值和针对所述因素子集的第二实际关键性能指标值来获得平均实际关键性能指标值；
将所述平均预测关键性能指标值与所述平均实际关键性能指标值进行比较；并且
基于所述比较来确定针对所述因素子集的风险调整后的关键性能指标值。
4.根据权利要求1所述的系统，其中，还使所述计算机系统接收指示所述关键性能指标和所述关键性能指标的所述风险调整因素的选择，并且
其中，所述图形表示是基于所接收的选择来呈现的。
5.一种由一个或多个处理器实施的方法，所述一个或多个处理器运行计算机程序指令，所述计算机程序指令在被运行时执行所述方法，所述方法包括：
经由用户接口呈现关键性能指标的风险调整因素的图形表示；
经由所述用户接口基于所述图形表示来接收对所述因素的因素子集的用户选择；
向机器学习模型提供训练信息作为输入以预测针对所述因素子集的所述关键性能指标的值，所述训练信息指示与提供者相关联的所述因素子集的值；
向所述机器学习模型提供参考反馈，所述参考反馈包括基于与所述提供者相关联的所述因素子集的所述值的针对所述提供者的历史关键性能指标值，所述机器学习模型基于所述参考反馈来更新所述机器学习模型的一个或多个部分；
在对所述机器学习模型的所述更新之后，向所述机器学习模型提供与所述提供者相关联的所述因素子集的所述值，以获得针对所述提供者的预测关键性能指标值。
6.根据权利要求5所述的方法，还包括：
获得针对所述因素子集的实际关键性能指标值；
将所述实际关键性能指标值的平均值与针对所述因素子集的所述预测关键性能指标值的平均值进行比较；并且
基于所述比较来确定风险调整后的关键性能指标值。
7.根据权利要求6所述的方法，其中，将所述实际关键性能指标值的平均值与所述预测关键性能指标值的平均值进行比较包括计算所述实际关键性能指标值的平均值与所述预测关键性能指标值的平均值的比率。
8.根据权利要求7所述的方法，还包括：
在所述比率大于阈值的状况下，确定所述提供者具有欠佳表现；并且
在所述比率小于所述阈值的状况下，确定提供者具有超常表现。
9.根据权利要求5所述的方法，还包括接收指示所述关键性能指标和所述关键性能指标的所述风险调整因素的选择，并且
其中，所述图形表示是基于所接收的选择来呈现的。
10.根据权利要求5所述的方法，其中，所述图形表示指示所述因素中的每种因素对所述关键性能指标的影响的量。
11.根据权利要求10所述的方法，其中，对所述因素子集的所述用户选择基于每种因素对所述关键性能指标的影响的所述量。
12.根据权利要求6所述的方法，还包括将针对所述提供者的所述风险调整后的关键性能指标值与针对其他提供者的风险调整后的关键性能指标值进行比较。
13.一种存储指令的非瞬态计算机可读介质，所述指令在由一个或多个处理器运行时引起包括以下各项的操作：
经由用户接口呈现关键性能指标的风险调整因素的图形表示；
经由所述用户接口基于所述图形表示来接收对所述因素的因素子集的用户选择；
向机器学习模型提供训练信息作为输入以预测针对所述因素子集的所述关键性能指标的值，所述训练信息指示与提供者相关联的所述训练子集的值；
向所述机器学习模型提供参考反馈，所述参考反馈包括基于与所述提供者相关联的所述因素子集的所述值的针对所述提供者的历史关键性能指标值，所述机器学习模型基于所述参考反馈来更新所述机器学习模型的一个或多个部分；并且
在对所述机器学习模型的所述更新之后，向所述机器学习模型提供与所述提供者相关联的所述因素子集的值，以获得针对所述提供者的预测关键性能指标值。
14.根据权利要求13所述的非瞬态计算机可读介质，其中，所述操作还包括：
获得针对所述因素子集的实际关键性能指标值；
将所述实际关键性能指标值的平均值与针对所述因素子集的所述预测关键性能指标值的平均值进行比较；并且
基于所述比较来确定风险调整后的关键性能指标值。
15.根据权利要求14所述的非瞬态计算机可读介质，其中，将所述实际关键性能指标值的平均值与所述预测关键性能指标值的平均值进行比较包括计算所述实际关键性能指标值的平均值与所述预测关键性能指标值的平均值的比率。
16.根据权利要求15所述的非瞬态计算机可读介质，其中，所述操作还包括：
在所述比率大于阈值的状况下，确定所述提供者具有欠佳表现；并且
在所述比率小于所述阈值的状况下，确定提供者具有超常表现。
17.根据权利要求13所述的非瞬态计算机可读介质，其中，所述操作还包括接收指示所述关键性能指标和所述关键性能指标的所述风险调整因素的选择，并且
其中，所述图形表示是基于所接收的选择来呈现的。
18.根据权利要求13所述的非瞬态计算机可读介质，其中，所述图形表示指示所述因素中的每种因素对所述关键性能指标的影响的量。
19.根据权利要求18所述的非瞬态计算机可读介质，其中，对所述因素子集的所述用户选择基于每种因素对所述关键性能指标的影响的所述量。
20.根据权利要求14所述的非瞬态计算机可读介质，其中，所述操作还包括将针对所述提供者的所述风险调整后的关键性能指标值与针对其他提供者的风险调整后的关键性能指标值进行比较。
CN202080091476.4A 2019-12-30 2020-12-21 用于基于用户选择的因素来训练机器学习模型的系统和方法 Pending CN114902235A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962954751P 2019-12-30 2019-12-30
US62/954,751 2019-12-30
PCT/EP2020/087360 WO2021136701A1 (en) 2019-12-30 2020-12-21 System and method for training a machine learning model based on user-selected factors

Publications (1)

Publication Number Publication Date
CN114902235A true CN114902235A (zh) 2022-08-12

Family

ID=74181137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091476.4A Pending CN114902235A (zh) 2019-12-30 2020-12-21 用于基于用户选择的因素来训练机器学习模型的系统和方法

Country Status (4)

Country Link
US (1) US20210201202A1 (zh)
EP (1) EP4085384A1 (zh)
CN (1) CN114902235A (zh)
WO (1) WO2021136701A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551177B2 (en) * 2020-06-29 2023-01-10 Tata Consultancy Services Limited Method and system for handling source field and key performance indicator calculation changes
US11348035B2 (en) * 2020-10-27 2022-05-31 Paypal, Inc. Shared prediction engine for machine learning model deployment
US20230297043A1 (en) * 2022-03-15 2023-09-21 DataRobot, Inc. Generating scenarios by modifying values of machine learning features
US20240224065A1 (en) * 2022-12-29 2024-07-04 Samsung Electronics Co., Ltd. Automating configuration management in cellular networks
US11995811B1 (en) * 2023-05-03 2024-05-28 Strategic Coach Method and apparatus for determining a growth factor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200130B2 (en) * 2015-09-18 2021-12-14 Splunk Inc. Automatic entity control in a machine data driven service monitoring system
US11526695B2 (en) * 2018-07-13 2022-12-13 Accenture Global Solutions Limited Evaluating impact of process automation on KPIs
US11113653B2 (en) * 2018-12-26 2021-09-07 Accenture Global Solutions Limited Artificial intelligence and machine learning based incident management

Also Published As

Publication number Publication date
EP4085384A1 (en) 2022-11-09
US20210201202A1 (en) 2021-07-01
WO2021136701A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN114902235A (zh) 用于基于用户选择的因素来训练机器学习模型的系统和方法
US20220414464A1 (en) Method and server for federated machine learning
CN108351862B (zh) 利用人工智能和用户输入来确定发育进展的方法和装置
US10811139B1 (en) Computer network architecture with machine learning and artificial intelligence and dynamic patient guidance
Li et al. Peer reviewed: agent-based modeling of chronic diseases: a narrative review and future research directions
Jung et al. New modularity indices for modularity assessment and clustering of product architecture
US11281553B1 (en) Digital systems for enrolling participants in health research and decentralized clinical trials
EP3638108B1 (en) Sleep monitoring from implicitly collected computer interactions
US20170132396A1 (en) System and Method for Recurring Measurement and Actionable Outcomes to Meet Clinical Timespans
US20130080836A1 (en) Detecting Data Corruption in Medical Binary Decision Diagrams Using Hashing Techniques
US8909592B2 (en) Combining medical binary decision diagrams to determine data correlations
US20130080843A1 (en) Detecting Sensor Malfunctions Using Compression Analysis of Binary Decision Diagrams
US20200104935A1 (en) Systems and methods for wealth and health planning
EP3940597A1 (en) Selecting a training dataset with which to train a model
US20130080114A1 (en) Partitioning Medical Binary Decision Diagrams for Analysis Optimization
US20230187073A1 (en) Systems and methods for predicting, detecting, and monitoring of acute illness
US20170103190A1 (en) System and method for evaluating risks of clinical trial conducting sites
US11586524B1 (en) Assisting researchers to identify opportunities for new sub-studies in digital health research and decentralized clinical trials
KR102612969B1 (ko) 자세교정 어플리케이션을 통한 정보 제공 방법 및 시스템
JP2019128904A (ja) 予測システム、シミュレーションシステム、方法およびプログラム
US20190156955A1 (en) Identifying program member data records for targeted operations
WO2023114779A1 (en) Systems and methods for predicting, detecting, and monitoring of acute illness
US11842810B1 (en) Real-time feedback systems for tracking behavior change
Badempet et al. A healthcare system using machine learning techniques for disease prediction with chatbot assistance
US20230020908A1 (en) Machine learning models for automated selection of executable sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination