CN109584081A - 用于处理数据的系统和方法 - Google Patents
用于处理数据的系统和方法 Download PDFInfo
- Publication number
- CN109584081A CN109584081A CN201810986842.7A CN201810986842A CN109584081A CN 109584081 A CN109584081 A CN 109584081A CN 201810986842 A CN201810986842 A CN 201810986842A CN 109584081 A CN109584081 A CN 109584081A
- Authority
- CN
- China
- Prior art keywords
- mark
- data
- decided
- exception
- regulation engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000003066 decision tree Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000003550 marker Substances 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 230000001149 cognitive effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 14
- 238000007790 scraping Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000003607 modifier Substances 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请的各实施例涉及认知代理助理。索赔预处理器处理索赔数据以标识要被裁定的索赔。每个索赔包括至少一个索赔例外。索赔预处理器还基于索赔数据来对每个标识的索赔的索赔例外优先级排序。然后，机器人过程自动机基于索赔数据来协调标识的索赔的裁定。此外，规则引擎基于预定义的规则来裁定标识的索赔。随后，误检处置器确定是否标识的索赔中的任何标识的索赔被错误地裁定，并在确定标识的索赔中的任何标识的索赔被错误地裁定时标识与错误的索赔裁定相关联的问题。然后，自学习器基于决策树和从误检处置器接收的信息来向规则引擎提供反馈，该反馈可用于解决问题。从误检处置器接收的信息指示与错误的索赔裁定相关联的问题。
Description
相关申请的交叉引用
本申请要求于2017年9月28日提交的美国临时申请号 62/564,898的优先权，其公开内容以整体内容通过引用并入。
技术领域
本申请的各实施例涉及认知代理助理。
背景技术
索赔裁定是指在将索赔与福利和承保范围细节比较后，支付由人提出的索赔或拒绝索赔的过程。今天的索赔裁定是通过自动索赔裁定和人工索赔裁定的组合而被执行。在自动索赔裁定中，索赔被自动地裁定，而无需任何手动或人为干预。被自动地完成的索赔过程被称为自动裁定。
索赔裁定系统通常首先尝试自动地裁定索赔。无法被自动地裁定的索赔被发送用于手动索赔裁定，其中索赔被手动地处理。在示例中，如果索赔裁定系统不能对索赔作出决定，即，是否支付或不支付索赔，则索赔被发送用于手动索赔裁定。然而，存在对减少手动索赔裁定的数量的需求，因为与自动索赔裁定相比，这样的裁定可能是昂贵的、耗时的并且容易出错的。然而，执行自动索赔裁定的索赔裁定系统不能考虑索赔中的例外，这些例外于是通常会导致索赔被手动地裁定。这提出了一个技术问题，即设计可以在自动裁定过程中考虑例外的索赔裁定系统。本公开内容涉及可以允许索赔裁定系统考虑索赔处置中的例外以便自动地裁定索赔的技术解决方案。这可以提高自动裁定索赔的系统的效率。
发明内容
本申请的各实施例涉及认知代理助理。
根据本申请的第一方面，公开了一种系统，包括：索赔预处理器，所述索赔预处理器包括：标识器，其用来处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔，其中标识的所述一个或多个索赔中的每个索赔包括至少一个索赔例外；以及优先级排序器，其用来基于所述索赔数据来对标识的所述一个或多个索赔中的每个索赔的所述至少一个索赔例外优先级排序；机器人过程自动机，其与所述索赔预处理器通信，所述机器人过程自动机用来基于所述索赔数据来协调对标识的所述一个或多个索赔的裁定；规则引擎，其与所述机器人过程自动机通信，所述规则引擎用来基于预定义的规则来裁定标识的所述一个或多个索赔；误检(fall out)处置器，其与所述规则引擎通信，所述误检处置器用来：确定是否标识的所述一个或多个索赔中的任何索赔被错误地裁定；以及在确定标识的所述一个或多个索赔中的任何索赔被错误地裁定时，标识与错误的索赔裁定相关联的问题；以及自学习器，其与所述误检处置器和所述规则引擎通信，所述自学习器用来基于决策树和从所述误检处置器接收的信息来向所述规则引擎提供反馈，所述反馈可用于解决与所述错误的索赔裁定相关联的所述问题，其中从所述误检处置器接收的所述信息指示与所述错误的索赔裁定相关联的所述问题。
根据本申请的第二方面，公开了一种系统，包括：索赔预处理器，所述索赔预处理器包括：标识器，其用来处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔；机器人过程自动机，其与所述索赔预处理器通信，所述机器人过程自动机用来基于所述索赔数据来协调对标识的所述一个或多个索赔的裁定；规则引擎，其与所述机器人过程自动机通信，所述规则引擎用来基于预定义的规则来裁定标识的所述一个或多个索赔；以及误检处置器，其与所述规则引擎通信，所述误检处置器用来：确定是否标识的所述一个或多个索赔中的任何索赔被错误地裁定；以及在确定标识的所述一个或多个索赔中的任何索赔被错误地裁定时，标识与错误的索赔裁定相关联的问题；以及自学习器，其与所述误检处置器和所述规则引擎通信，所述自学习器用来基于从所述误检处置器接收的信息来向所述规则引擎提供反馈，所述反馈可用于解决与所述错误的索赔裁定相关联的所述问题，其中从所述误检处置器接收的所述信息指示与所述错误的索赔裁定相关联的所述问题。
根据本申请的第三方面，公开了一种计算机实现的方法，由至少一个处理器执行，所述方法包括：处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔；基于所述索赔数据来协调标识的所述一个或多个索赔的裁定；基于预定义的规则来裁定标识的所述一个或多个索赔；确定是否标识的所述一个或多个索赔中的任何索赔被错误地裁定；在确定标识的所述一个或多个索赔中的任何索赔被错误地裁定时，标识与错误的索赔裁定相关联的问题；以及基于与所述错误的索赔裁定相关联的所述问题来生成反馈，所述反馈可用于解决与所述错误的索赔裁定相关联的所述问题。
附图说明
本公开内容的特征通过在以下附图中示出的示例而被说明。在以下附图中，相同的标记指示相同的元件，其中：
图1示出了根据本公开内容的示例实施例的实现系统的网络环境；
图2示出了根据本公开内容的示例实施例的系统的框图；
图3示出了根据本公开内容的示例实施例的示例索赔裁定过程；
图4示出了根据本公开内容的示例实施例的用于系统的实现的硬件平台；以及
图5示出了根据本公开内容的示例实施例的描绘系统的功能的计算机实现的方法。
具体实施方式
出于简化和说明的目的，本公开内容通过主要参考其示例而被描述。本文描述的本公开内容的示例可以按照不同的组合一起被使用。在以下描述中，细节被阐述以便提供对本公开内容的理解。然而，将变得显而易见的是，本公开内容可以在没有对所有这些细节的限制的情况下被实践。而且，贯穿本公开内容，术语“一”和“一个”旨在表示特定元素中的至少一个元素。如本文中所使用的，术语“包括 (includes)”意味着包括但不限于，术语“包括(including)”意味着包括但不限于。术语“基于”意味着至少部分地基于。
本主题内容描述了用于裁定先前不能由机器裁定的索赔的系统和方法。在本公开内容的示例实施例中，该系统可以包括索赔预处理器、机器人过程自动机和规则引擎。索赔预处理器、机器人过程自动机和规则引擎可以彼此通信以执行系统的功能。
此外，在示例实施例中，系统可以通过一个或多个通信链路而被通信地耦合到索赔数据库。索赔数据库可以存储索赔数据。在示例中，索赔数据可以指示可解决的索赔例外的列表和与多个索赔中的每个索赔对应的信息。无论何时索赔要被裁定，系统都从索赔数据库取回索赔数据。
出于裁定索赔的目的，本主题内容的系统的索赔预处理器可以从多个索赔中选择索赔以用于自动裁定。索赔预处理器处理索赔数据以从多个索赔中标识要被裁定的索赔。在示例中，索赔预处理器基于可解决的索赔例外的列表来选择索赔。选择的索赔中的每个索赔包括至少一个索赔例外。在示例中，索赔预处理器通过使用硬编码的规则和非监督式机器学习技术的组合(诸如聚类和异常检测技术)来选择索赔。
索赔预处理器拒绝无法由规则引擎处置的索赔。无法由规则引擎处理的所有索赔都通过备选裁定技术而被发送。剩余的索赔然后针对可以由索赔预处理器解决的例外而被检查。在示例中，索赔预处理器通过检查条件概率、按优先级顺序来处置索赔例外，从而使得解决一个索赔例外可以解决剩余索赔例外中的一个或多个索赔例外。相应地，与其他索赔例外相比，可以解决剩余索赔例外的索赔例外被给予更高的优先级。
在示例实施例中，来自第三方应用的数据可以被用来处置索赔裁定。因此，在索赔数据由索赔预处理器处理之后，来自第三方应用的数据可以被并入到索赔数据中以用于索赔裁定。在示例实施例中，来自第三方应用的数据可以经由光学字符识别(OCR)技术、自然语言处理(NPL)技术和其他信息提取(IE)技术而被并入，从而使得这种数据可由系统使用。
在例外处置之后，索赔和索赔数据可以经由机器人过程自动机而被发送给规则引擎。机器人过程自动机被用来协调索赔裁定过程。这可以包括例如从包括客户端系统的多个应用刮取(scrap)数据，以及根据来自规则引擎的响应来执行动作。规则引擎可以使用人工智能 (AI)技术和机器学习技术的组合来自动地裁定索赔。在示例中，规则引擎基于预定义的规则来裁定索赔。
被裁定的索赔然后可以被发送给外部系统以用于最终验证。此外，在示例实施例中，具有已知正确决定的置信度分数和控制索赔可以被用来确定由规则引擎裁定的索赔的准确性。未通过最终验证的索赔针对其未被正确地裁定的原因而被分析。分析的结果被并入以制定新的规则和保险单，然后它们通过自学习技术而被整合并且被反馈给规则引擎以便微调自动索赔裁定过程。
本公开内容的系统可以提供时间有效且准确的索赔裁定。此外，因为系统裁定不可以由机器裁定的索赔，所以系统将自动裁定覆盖范围最大化，同时减少处理错误。而且，手动索赔裁定的数量被显著地减少。因此，本主题内容可以提供经济、准确和时间有效的索赔裁定。
图1示出了根据本公开内容示例实施例的实现系统100的网络环境。系统100也可以被称为认知代理助理。在示例实施例中，系统100 连续地并入外部输入并且还使用人工智能(AI)技术和机器学习技术的组合来裁定先前不能由机器裁定的索赔。以下的描述仅出于说明的目的、参考医疗保健索赔而被说明，并且不应当被解释为限制。
在示例实施例中，网络环境可以是公共网络环境，包括数千个个人计算机、膝上型计算机、各种服务器(诸如刀片服务器)以及其他计算设备。在另一示例实施例中，网络环境可以是具有有限数量的计算设备(诸如个人计算机、服务器和膝上型计算机)的专用网络环境。此外，系统100可以在各种计算系统(诸如膝上型计算机、平板计算机等)中被实现。
根据示例实施例，系统100通过网络110与索赔数据库105通信地耦合。索赔数据库105可以是包括索赔数据的空间索引的数据库。索赔数据包括与各种索赔对应的信息和可解决的索赔例外的列表。每个索赔可以包括一个或多个索赔例外。在示例中，与索赔对应的信息可以包括但不限于患者标识信息、服务日期、账单代码和费用。此外，可解决的索赔例外的列表可以由系统100基于各种索赔的例外组合和与索赔对应的信息的统计分析确定。
在示例中，系统100可以从各种源(包括第三方源(诸如保险单 (aspolicy)数据库、文档储存库和其他这样的信息源)、数据存储库和/或第三方应用)取回数据，并且将数据作为索赔数据存储在索赔数据库105中以用于将来参考。此外，每当索赔要由系统100裁定时，索赔数据库105可以被访问。此外，索赔数据库105可以被周期性地更新。例如，新数据可以被添加到索赔数据库105中，索赔数据库105 中的现有数据可以被修改，或者无用数据可以从索赔数据库105被删除。
在示例实施例中，网络110可以是无线网络、有线网络或它们的组合。网络110还可以是单独的网络或许多这样的单独的网络的集合，彼此互连并且用作单个大型网络，例如，因特网或内联网。网络110 可以被实现为不同类型的网络之一，诸如内联网、局域网(LAN)、广域网(WAN)、因特网等。此外，网络110可以包括各种网络设备，包括路由器、网桥、服务器、计算设备、存储设备等。
根据示例实施例，系统100可以包括索赔预处理器115、机器人过程自动机120和规则引擎125。在示例实施例中，索赔预处理器115、机器人过程自动机120和规则引擎125可以与彼此通信以执行系统 100的功能。
在示例实施例中，多个索赔首先被馈送到索赔预处理器115中。医疗保健企业的用户可以馈送多个索赔。索赔预处理器115执行对索赔的初始分析，并且从多个索赔中选择索赔以用于由规则引擎125自动裁定。索赔可以基于被存储在索赔数据库105中的可解决的例外的列表而被选择。在示例中，索赔预处理器115可以拒绝无法由规则引擎125处置的索赔。未被选择用于自动裁定的索赔通过备选裁定技术而被发送。另外，如果索赔属于已知的未被覆盖的情景，则索赔可以被拒绝。此外，如果索赔属于未知的未被覆盖的情景，则索赔也可以被拒绝。无法由规则引擎125处理的所有索赔通过备选裁定技术而被发送。
一旦要被裁定的索赔被标识，机器人过程自动机120(或备选地，业务过程管理器(BPM))就可以基于索赔数据来协调对标识的索赔的裁定。在示例中，机器人过程自动机120协调索赔的裁定以用于从包括客户端系统的多个应用刮取数据，并且根据来自规则引擎125的响应来执行动作。具体而言，机器人过程自动机120传递从各种系统收集的刮取的数据，将其格式化为由规则引擎125可读的格式，并且将刮取的数据发送给规则引擎125。备选地，RPA或BMP可以直接从系统的API读取数据，而不是刮取数据。在示例实施例中，RPA 可以在表示层协调，而BPM可以在API层协调。
随后，在接收到刮取的数据时，规则引擎125可以基于预定义的规则来裁定标识的索赔。本文所使用的规则包括用于确定索赔符合预先确定的要求的程序。预先确定的要求的示例包括但不限于报销条件、报销约束和报销计算程序。规则还可以包括规定的指南、规则或模型，用于如何呈现、实施或规范对索赔的动作。在示例中，基于预定义的规则，规则引擎125可以将索赔作为为重复索赔。系统100执行索赔裁定的方式结合图2进一步被详细描述。
图2示出了根据本公开内容的示例实施例的系统100的框图。如上所述，系统100可以包括索赔预处理器115、机器人过程自动机120 和规则引擎125。此外，在示例实施例中，系统100包括误检处置器 205和自学习器210。在示例实施例中，误检处置器205可以与规则引擎125通信，并且自学习器210可以与误检处置器205通信。索赔预处理器115还可以包括标识器215和优先级排序器220。标识器215 和优先级排序器220可以彼此通信。
在示例实施例中，标识器215接收多个索赔。索赔可以由用户馈送到标识器215中。用户可以是医疗保健企业的雇员。在接收到多个索赔时，标识器215处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔。标识的一个或多个索赔中的每个索赔包括至少一个索赔例外。如前所述，索赔数据指示可解决的索赔例外的列表和与多个索赔中的每个索赔对应的信息。标识器215选择包括与被包括在可解决的索赔例外的列表中的索赔例外类似或相同的索赔例外的那些索赔。相应地，标识器215从多个索赔中选择可以由系统100处置的那些索赔。
标识器215将索赔数据分类为至少一个已知的未被覆盖的情景类别。此外，标识器215拒绝来自多个索赔中的、属于至少一个已知的未被覆盖的情景类别的索赔。这些可能是已知不能够由机器裁定的索赔类型。标识器215还拒绝属于未知的未被覆盖的情景的索赔。这些可能是落在已知的未被覆盖的情景的分布曲线之外的索赔。在示例实施例中，标识器215可以使用非监督式机器学习技术来建立分布曲线以确定这样的索赔。
附加地，对于给定的索赔，标识器215可以确定具有最近由标识器215标识的例外的类似索赔，并且将相似性分数分配给索赔。如果相似性分数被发现超过预定义的阈值，则标识器215拒绝索赔。以这种方式，可能在索赔裁定的随后阶段中导致例外和错误的索赔不被处理。
一旦要被裁定的索赔被标识，优先级排序器220就基于索赔数据来对标识的一个或多个索赔中的每个索赔的至少一个索赔例外优先级排序。索赔例外根据索赔例外的解决的顺序被排列优先级顺序。在示例中，一些索赔例外可以是重复的。此外，在某些索赔例外中，可能存在信息不匹配。优先级排序器220然后决定是先解决重复还是先解决信息不匹配，并且基于该决定，优先级排序器220对索赔例外优先级排序。在示例中，优先级排序器220对索赔数据应用贝叶斯 (Bayesian)技术。贝叶斯技术考虑条件概率和先验概率之间的加权。
在示例实施例中，在给定一组剩余的索赔例外的情况下，优先级排序器220估计接下来将被解决的索赔例外的条件概率。优先级排序器220估计条件概率，从而使得解决一个索赔例外可以解决剩余的索赔例外中的一个或多个索赔例外。在示例中，对于每个索赔例外，可能存在10个条件概率。此外，优先级排序器220基于来自所有组的索赔例外中的它的对应组的相对重要性来估计接下来将被解决的索赔例外的先验概率。
在对标识的索赔的优先级排序后，数据针对标识的索赔中的每个索赔而被提取。在示例中，系统100使用若干第三方应用以用于索赔例外处置。在示例中，索赔的批准可以取决于第三方应用中的非数字和/或非结构化数据。数据可以在分离的过程中手动地或半自动地被提取。数据然后被并入到索赔数据中以用于裁定。在示例中，来自第三方应用的数据可以经由用于非数字形式的数据(诸如扫描的文档或手写形式)的光学字符标识(OCR)技术而被并入，。对于非结构化数据，来自第三方应用的数据可以经由自然语言处理(NPL)技术和其他信息提取(IE)技术而被并入，从而使得这种数据由系统100可使用。非结构化数据可以是自然语言或模板语言，诸如授权注释。NLP 技术和IE技术可以被用来理解注释并且提取关于授权的关键信息(例如，过程代码、数量或日期)或关于授权的决定(即，批准或拒绝)。在示例中，对于每个索赔例外，系统100的图形用户界面可以被呈现给外部系统以用于录入从各种第三方应用收集的数据。数据提取过程按照连续模式被执行。换言之，在完成当前索赔之后，数据提取过程针对下一个索赔自动地开始。
在示例实施例中，机器人过程自动机120基于索赔数据和针对标识的索赔中的每个索赔的提取的数据来协调标识的一个或多个索赔的裁定。机器人过程自动机120协调标识的索赔的裁定以用于从多个应用刮取数据，并根据来自规则引擎125的响应来执行动作。具体而言，机器人过程自动机120传递从各种系统收集的刮取的数据，将其格式化为由规则引擎125可读的格式，并且将刮取的数据和索赔数据发送给规则引擎125。在示例中，索赔的刮取的数据可以包括但不限于索赔细节、患者细节、提供者细节、行级(line-level)程序、历史索赔和参考数据，即，覆盖范围和福利细节。根据示例实施例，机器人过程自动机120可以通过安静的应用编程接口(API)将刮取的数据作为可扩展标记语言(XML)或JavaScript对象符号(JSON)消息提供给规则引擎125。
随后，在接收到与标识的索赔对应的刮取的数据时，规则引擎125 基于预定义的规则来裁定标识的一个或多个索赔。此外，规则引擎125 基于与索赔例外相关联的优先级来顺序地解决索赔的索赔例外。在示例中，如本文所使用的规则可以被理解为用于确定索赔符合预先确定的要求的程序。预先确定的要求的示例包括但不限于报销条件、报销约束和报销计算程序。根据示例，规则测试条件可以被用来裁定索赔。规则测试条件可以是简单的或复杂的，涉及与条件链接的测试的组合，例如，“是”或“否”。在示例中，基于预定义的规则，规则引擎125可以将索赔作为重复索赔。示例性规则检测诸如医生姓名、税号(tax ID)等的索赔的数据字段之间的不一致。备选地，规则可以确定索赔中提到的金额是否超过付款人指明的限制。规则引擎125基于预定义规则来裁定索赔的方式结合图3进一步被详细描述。
一旦索赔由规则引擎125裁定，裁定的索赔就可以被发送给外部系统以用于最终验证，以便确保准确的索赔裁定。验证可以在其他系统处发生。根据所述示例，当准确度达到一定水平时，外部系统可以开始仅验证与低水平的置信分数相关联的那些索赔。准确度可以基于两种方式而被估计。第一种方式是，将由规则引擎125生产中正确地处理的索赔的数目除以处理的索赔的总数。此外，第二种方式是，通过利用已知的正确决定使用控制索赔。
根据示例实施例，索赔的置信分数可以基于机器学习而被估计。例如，通过规则引擎125的历史索赔被收集，并且索赔例外处置期间的所有规则被记录。此外，回归模型被学习以将一组规则映射到通过对正确和错误的历史索赔计数而被计算的错误率。对于新的索赔，关于哪组规则被激发做出确定，并且回归模型被用来估计置信分数。此外，当新的规则被添加并且置信分数估计被重新训练时，历史索赔被更新。未通过最终验证的索赔针对其未被正确地裁定的原因而被分析。
根据示例实施例，误检处置器205可以确定是否标识的一个或多个索赔中的任何索赔被错误地裁定。在确定标识的一个或多个索赔中的任何索赔被错误地裁定时，误检处置器205可以标识针对错误的索赔裁定的原因或与错误的索赔裁定相关联的问题。与索赔相关联的问题的示例可以包括规则引擎125中的未被覆盖的情景以及索赔中未被发现的缺陷。此外，在示例中，与索赔相关联的可能是索赔已经被支付给错误的收款人，或者所支付的索赔是少付和/或多付的。利用来自外部系统的适当标记或校正，这样的情况被用来修改规则引擎125中的现有预定义规则或通过自学习来发现新的规则。
此后，误检处置器205可以向自学习器210提供指示与错误的索赔裁定相关联的问题的信息。自学习器210可以基于问题来生成反馈并将反馈提供给规则引擎125。反馈可以可用于解决与错误的索赔裁定相关的问题。在示例中，自学习器210可以使用决策树来生成反馈。决策树可以是节点的数据结构，其包括用于被错误地裁定的标识的一个或多个索赔的校正规则。决策树中的规则可以通过从根节点向叶节点遍历决策树而被生成。这样的规则可以被用于修改现有规则或在被外部系统确认后充当新的规则。在示例中，决策树根据数据集而被构建，该数据集具有特征向量，这些特征向量具有相关联的决策标签。根据示例实施例，规则引擎125可以基于修订的或新的规则来解决与错误的索赔裁定相关联的问题。
在本公开内容中，系统100试图通过自动地裁定先前不可以由机器裁定的索赔来使索赔自动裁定覆盖范围最大化，同时减少处理错误。此外，系统100无缝地集成机器人过程自动机120和AI授权规则引擎125。系统100将用于数据刮取的机器人过程自动机120的功能与用于决策做出的规则引擎125组合。具体而言，系统100包括用于协调客户端系统的机器人过程自动机120和用于顺序地解决索赔例外的规则引擎125。决策做出被设计为通过反向链接和不断学习而成为可以自我说明和可以自我学习的。因此，索赔裁定的过程由系统100 以有效、时间有效、成本有效和准确的方式执行。
图3示出了根据本公开内容的示例实施例的示例索赔裁定过程。
如可以在图3中所见，框305表示与由规则引擎125从机器人过程自动机120接收的标识的索赔对应的刮取的数据。此外，在框310 处，规则引擎125确定提出的医师姓名是否与其他索赔相同。如果确定提出的医师姓名不相同，则在框315处，规则引擎125确定索赔是否具有免疫程序。如果确定索赔没有免疫程序，则在框320处，规则引擎125确定该索赔不是重复索赔并且处理该索赔。
此外，如果确定提出的医师姓名与其他索赔相同或者索赔具有免疫程序，则该索赔可以是重复索赔。为了验证索赔不是重复索赔，与索赔相关的其他字段或数据可以被检查。例如，在框325处，规则引擎125确定索赔的税号是否与其他索赔相同。如果确定税号不相同，则在框330处，规则引擎125确定该索赔不是重复索赔并且处理该索赔。否则，如果确定税号相同，则规则引擎125移动到框335。在框 335处，规则引擎125确定索赔修饰符是否与其他索赔相同。如果确定索赔修饰符与其他索赔不同，则在框340处，规则引擎125确定修饰符是否是例外情况。在将修饰符确定为例外情况时，在框345处，规则引擎125确定该索赔不是重复索赔并且处理该索赔。此外，在将索赔修饰符确定为与其他索赔相同或将修饰符确定为例外情况时，在框350处，规则引擎125将该索赔作为为重复索赔并且不处理它。
图4示出了根据本公开内容的示例的用于系统100的实现的硬件平台400。在示例实施例中，硬件平台400可以是可以与本文描述的示例一起被使用的计算机系统400。计算机系统400可以表示包括可以在服务器或另一计算机系统中的组件的计算平台。计算机系统400 可以通过处理器(例如，单个或多个处理器)或其他硬件处理电路来执行本文描述的方法、功能和其他过程。这些方法、功能和其他过程可以被体现为被存储在计算机可读介质上的机器可读指令，这些介质可以是非暂态的，诸如硬件存储设备(例如，RAM(随机存取存储器)、 ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬盘驱动器和闪存)。计算机系统400可以包括处理器405，其执行被存储在非暂态计算机可读存储介质410上的软件指令或代码，以执行本公开内容的方法。软件代码包括例如用来预处理索赔、解决例外、并入第三方数据、裁定索赔以及验证裁定的指令。在实施例中，规则引擎125是执行上述步骤的软件代码或组件。
计算机可读存储介质410上的指令被读取并且被存储在存储装置 415中或随机存取存储器(RAM)420中。存储装置415提供用于保持静态数据的大空间，其中至少一些指令可以被存储以用于稍后执行。存储的指令可以进一步被编译以生成指令的其他表示并且被动态地存储在RAM 420中。处理器405从RAM 420读取指令并且如被指令的执行动作。
计算机系统400还包括输出设备425，以将执行的结果中的至少一些结果作为输出提供给用户，该输出包括但不限于视觉信息。输出设备可以包括计算设备上的显示器。例如，显示器可以是移动电话屏幕或膝上型计算机屏幕。GUI和/或文本在显示屏幕上作为输出被呈现。计算机系统400还包括输入设备430，以向用户或另一设备提供用于例如数据和/或以其他方式与计算机系统400交互的机制。输入设备可以包括例如键盘、小键盘、鼠标或触摸屏。在实施例中，来自规则引擎125的索赔裁定结果被显示在输出设备425上。这些输出设备425和输入设备430中的每一个可以通过一个或多个附加外围设备而被连接。
网络通信器435可以被提供以将计算机系统400连接到网络，并且转而连接到被连接到网络的其他设备，该网络包括例如其他客户端、服务器、数据存储库和接口。网络通信器435可以包括例如网络适配器，诸如LAN适配器或无线适配器。计算机系统400包括用来访问数据源445的数据源接口440。数据源是信息源。作为示例，例外和规则的数据库可以是数据源。此外，知识储存库和辅助数据 (curated data)可以是数据源的其他示例。
图5示出了根据本公开内容的示例实施例的描绘系统100的功能的计算机实现的方法500。为了简洁起见，在图1、图2、图3和图4 的描述中被详细说明的系统100的结构和操作特征在图5的描述中没有被详细说明。
在方法框505处，方法500开始于处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔。标识的一个或多个索赔中的每个索赔包括至少一个索赔例外。在示例中，索赔数据指示可解决的索赔例外的列表和与多个索赔中的每个索赔对应的信息。索赔基于可解决的例外的列表而被选择。在示例实施例中，系统100的标识器215处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔。
在方法框510处，标识的一个或多个索赔的裁定基于索赔数据而被协调。标识的索赔被裁定以用于从多个应用刮取数据。在示例中，索赔的刮取的数据可以包括但不限于索赔细节、患者细节、提供者细节、行级程序、历史索赔和参考数据，即，覆盖范围和福利细节。刮取的数据通过安静的应用编程接口(API)作为可扩展标记语言 (XML)或JavaScript对象符号(JSON)消息而被提供给规则引擎 125。根据示例实施例，系统100的机器人过程自动机120基于索赔数据来协调标识的一个或多个索赔的裁定。
在方法框515处，标识的一个或多个索赔基于预定义的规则而被裁定。根据示例实施例，系统100的规则引擎125裁定标识的一个或多个索赔。
在方法框520处，确定是否标识的一个或多个索赔中的任何索赔被错误地裁定。根据示例实施例，系统100的误检处置器205可以确定是否标识的一个或多个索赔中的任何索赔被错误地判定。
在方法框525处，在确定标识的一个或多个索赔中的任何索赔被错误地裁定时，与错误的索赔裁定相关联的问题被标识。在示例实施例中，在确定标识的一个或多个索赔中的任何索赔被错误地裁定时，误检处置器205可以标识与错误的索赔裁定相关联的问题。与索赔相关联的问题的示例可以包括规则引擎125中的未被覆盖的情景以及索赔中的未被发现的缺陷。
在方法框530处，反馈基于与错误的索赔裁定相关联的问题而被生成，反馈可用于解决与错误的索赔裁定相关联的问题。根据示例实施例，系统100的自学习器210可以基于问题来生成反馈，并且将反馈提供给规则引擎125以解决问题。
本文已描述和说明的是本公开内容的示例。本文所使用的术语、描述和附图仅通过说明的方式而被阐述，并且不意味着限制。在本主题内容的精神和范围内许多变化是可能的，其旨在由随后的权利要求及其等同物限定，除非另有说明，否则其中所有术语均以其最广泛的合理含义而被表示。
Claims (20)
1.一种系统，包括：
索赔预处理器，所述索赔预处理器包括：
标识器，其用来处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔，其中标识的所述一个或多个索赔中的每个索赔包括至少一个索赔例外；以及
优先级排序器，其用来基于所述索赔数据来对标识的所述一个或多个索赔中的每个索赔的所述至少一个索赔例外优先级排序；
机器人过程自动机，其与所述索赔预处理器通信，所述机器人过程自动机用来基于所述索赔数据来协调对标识的所述一个或多个索赔的裁定；
规则引擎，其与所述机器人过程自动机通信，所述规则引擎用来基于预定义的规则来裁定标识的所述一个或多个索赔；
误检处置器，其与所述规则引擎通信，所述误检处置器用来：
确定是否标识的所述一个或多个索赔中的任何索赔被错误地裁定；以及
在确定标识的所述一个或多个索赔中的任何索赔被错误地裁定时，标识与错误的索赔裁定相关联的问题；以及
自学习器，其与所述误检处置器和所述规则引擎通信，所述自学习器用来基于决策树和从所述误检处置器接收的信息来向所述规则引擎提供反馈，所述反馈可用于解决与所述错误的索赔裁定相关联的所述问题，其中从所述误检处置器接收的所述信息指示与所述错误的索赔裁定相关联的所述问题。
2.根据权利要求1所述的系统，其中所述索赔数据指示可解决的索赔例外的列表和与所述多个索赔中的每个索赔对应的信息。
3.根据权利要求1所述的系统，其中所述标识器还用于：
将所述索赔数据分类为至少一个已知的未被覆盖的情景类别；以及
拒绝来自所述多个索赔中的、属于所述至少一个已知的未被覆盖的情景类别的索赔。
4.根据权利要求3所述的系统，其中所述标识器还用来拒绝来自所述多个索赔中的、属于未知的未被覆盖的情景的索赔。
5.根据权利要求1所述的系统，其中所述优先级排序器使用贝叶斯技术对标识的所述一个或多个索赔中的每个索赔的所述至少一个索赔例外优先级排序。
6.根据权利要求1所述的系统，其中所述决策树是包括用于被错误地裁定的标识的所述一个或多个索赔的校正规则的数据结构。
7.一种系统，包括：
索赔预处理器，所述索赔预处理器包括：
标识器，其用来处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔；
机器人过程自动机，其与所述索赔预处理器通信，所述机器人过程自动机用来基于所述索赔数据来协调对标识的所述一个或多个索赔的裁定；
规则引擎，其与所述机器人过程自动机通信，所述规则引擎用来基于预定义的规则来裁定标识的所述一个或多个索赔；以及
误检处置器，其与所述规则引擎通信，所述误检处置器用来：
确定是否标识的所述一个或多个索赔中的任何索赔被错误地裁定；以及
在确定标识的所述一个或多个索赔中的任何索赔被错误地裁定时，标识与错误的索赔裁定相关联的问题；以及
自学习器，其与所述误检处置器和所述规则引擎通信，所述自学习器用来基于从所述误检处置器接收的信息来向所述规则引擎提供反馈，所述反馈可用于解决与所述错误的索赔裁定相关联的所述问题，其中从所述误检处置器接收的所述信息指示与所述错误的索赔裁定相关联的所述问题。
8.根据权利要求7所述的系统，其中所述索赔预处理器使用非监督式机器学习技术处理所述索赔数据。
9.根据权利要求7所述的系统，其中所述索赔数据指示可解决的索赔例外的列表和与所述多个索赔中的每个索赔对应的信息。
10.根据权利要求7所述的系统，其中标识的所述一个或多个索赔中的每个索赔包括至少一个索赔例外。
11.根据权利要求10所述的系统，所述索赔预处理器还包括优先级排序器，其用来基于所述索赔数据来对标识的所述一个或多个索赔中的每个索赔的所述至少一个索赔例外优先级排序。
12.根据权利要求7所述的系统，其中所述自学习器基于决策树来向所述规则引擎提供所述反馈，并且其中所述决策树是包括用于被错误地裁定的标识的所述一个或多个索赔的校正规则的数据结构。
13.一种计算机实现的方法，由至少一个处理器执行，所述方法包括：
处理索赔数据以从多个索赔中标识要被裁定的一个或多个索赔；
基于所述索赔数据来协调标识的所述一个或多个索赔的裁定；
基于预定义的规则来裁定标识的所述一个或多个索赔；
确定是否标识的所述一个或多个索赔中的任何索赔被错误地裁定；
在确定标识的所述一个或多个索赔中的任何索赔被错误地裁定时，标识与错误的索赔裁定相关联的问题；以及
基于与所述错误的索赔裁定相关联的所述问题来生成反馈，所述反馈可用于解决与所述错误的索赔裁定相关联的所述问题。
14.根据权利要求13所述的计算机实现的方法，其中所述索赔数据指示可解决的索赔例外的列表和与所述多个索赔中的每个索赔对应的信息。
15.根据权利要求13所述的计算机实现的方法，所述方法还包括：
将所述索赔数据分类为至少一个已知的未被覆盖的情景类别；以及
拒绝来自所述多个索赔中的、属于所述至少一个已知的未被覆盖的情景类别的索赔。
16.根据权利要求15所述的计算机实现的方法，所述方法还包括拒绝来自所述多个索赔中的、属于未知的未被覆盖的情景的索赔。
17.根据权利要求13所述的计算机实现的方法，其中标识的所述一个或多个索赔中的每个索赔包括至少一个索赔例外。
18.根据权利要求17所述的计算机实现的方法，所述方法还包括基于所述索赔数据来对标识的所述一个或多个索赔中的每个索赔的所述至少一个索赔例外优先级排序。
19.根据权利要求13所述的计算机实现的方法，其中所述反馈基于决策树而被生成，并且其中所述决策树是包括用于被错误地裁定的标识的所述一个或多个索赔的校正规则的数据结构。
20.根据权利要求13所述的计算机实现的方法，其中所述索赔数据使用非监督式机器学习技术而被处理。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762564898P | 2017-09-28 | 2017-09-28 | |
| US62/564,898 | 2017-09-28 | ||
| US15/877,291 | 2018-01-22 | ||
| US15/877,291 US20190095999A1 (en) | 2017-09-28 | 2018-01-22 | Cognitive agent assistant |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109584081A true CN109584081A (zh) | 2019-04-05 |
Family
ID=65807770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810986842.7A Pending CN109584081A (zh) | 2017-09-28 | 2018-08-28 | 用于处理数据的系统和方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20190095999A1 (zh) |
| CN (1) | CN109584081A (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080428A (zh) * | 2019-12-20 | 2020-04-28 | 北财在线科技(北京)有限公司 | 前后端结合自动化处理并核对业务的方法 |
| US11449359B2 (en) | 2020-06-12 | 2022-09-20 | Optum Services (Ireland) Limited | Prioritized data object processing under processing time constraints |
| US11443387B2 (en) | 2020-09-24 | 2022-09-13 | Optum Services (Ireland) Limited | Automated identification of duplicate information objects |
| US11914506B2 (en) | 2022-02-23 | 2024-02-27 | Optum, Inc. | Machine learning techniques for performing predictive anomaly detection |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050137912A1 (en) * | 2003-03-31 | 2005-06-23 | Rao R. B. | Systems and methods for automated classification of health insurance claims to predict claim outcome |
| US20080154689A1 (en) * | 2006-12-22 | 2008-06-26 | General Electric Company | Automated Claim Access System and Method For Claims Adjudication |
| CN101925919A (zh) * | 2007-11-28 | 2010-12-22 | 安信龙股份公司 | 自动化索赔处理系统 |
| CN101996385A (zh) * | 2009-08-25 | 2011-03-30 | 埃森哲环球服务有限公司 | 索赔分析引擎 |
| US20120323611A1 (en) * | 2001-06-07 | 2012-12-20 | Guidewire Software, Inc. | Method and apparatus pertaining to metrics-based prioritization of billing exceptions |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170017760A1 (en) * | 2010-03-31 | 2017-01-19 | Fortel Analytics LLC | Healthcare claims fraud, waste and abuse detection system using non-parametric statistics and probability based scores |
-
2018
- 2018-01-22 US US15/877,291 patent/US20190095999A1/en not_active Abandoned
- 2018-08-28 CN CN201810986842.7A patent/CN109584081A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120323611A1 (en) * | 2001-06-07 | 2012-12-20 | Guidewire Software, Inc. | Method and apparatus pertaining to metrics-based prioritization of billing exceptions |
| US20050137912A1 (en) * | 2003-03-31 | 2005-06-23 | Rao R. B. | Systems and methods for automated classification of health insurance claims to predict claim outcome |
| US20080154689A1 (en) * | 2006-12-22 | 2008-06-26 | General Electric Company | Automated Claim Access System and Method For Claims Adjudication |
| CN101925919A (zh) * | 2007-11-28 | 2010-12-22 | 安信龙股份公司 | 自动化索赔处理系统 |
| CN101996385A (zh) * | 2009-08-25 | 2011-03-30 | 埃森哲环球服务有限公司 | 索赔分析引擎 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190095999A1 (en) | 2019-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584081A (zh) | 用于处理数据的系统和方法 | |
| US10614056B2 (en) | System and method for automated detection of incorrect data | |
| CN110070391B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| US20190042999A1 (en) | Systems and methods for optimizing parallel task completion | |
| US7933934B2 (en) | Operator-specific quality management and quality improvement | |
| US9390121B2 (en) | Analyzing large data sets to find deviation patterns | |
| CN110462607B (zh) | 从梯度增强机识别原因代码 | |
| US20170337240A1 (en) | Software function verification system and software function verification method | |
| EP4024203A1 (en) | System performance optimization | |
| CN116739759A (zh) | 基于订单风险识别的资产资金匹配方法、装置及设备 | |
| US20200160095A1 (en) | Automation rating for machine learning classification | |
| CN107644268B (zh) | 一种基于多特征的开源软件项目孵化状态预测方法 | |
| WO2021186338A1 (en) | System and method for determining solution for problem in organization | |
| WO2011149608A1 (en) | Identifying and using critical fields in quality management | |
| CN108182512A (zh) | 一种简历评估方法及装置 | |
| CN116797098A (zh) | 基于模型训练的工作质量评估方法、装置、设备及介质 | |
| CN116307078A (zh) | 账户标签预测方法、装置、存储介质及电子设备 | |
| Ferreira-Santiago et al. | Metaheuristic optimization of multivariate adaptive regression splines for predicting the schedule of software projects | |
| CN115759758A (zh) | 风险评估方法、装置、设备及存储介质 | |
| US20220222568A1 (en) | System and Method for Ascertaining Data Labeling Accuracy in Supervised Learning Systems | |
| CN108009735A (zh) | 一种简历评估方法及装置 | |
| US20240028956A1 (en) | Automated machine learning system, automated machine learning method, and storage medium | |
| Srivastava | Optimal software release using time and cost benefits via fuzzy multi-criteria and fault tolerance | |
| US11861512B1 (en) | Determining content to present for human review | |
| US20220222486A1 (en) | Data Source Evaluation Platform for Improved Generation of Supervised Learning Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190405 |