CN114761976A

CN114761976A - 基于存活分析警告模型降级的系统和方法

Info

Publication number: CN114761976A
Application number: CN202080078779.2A
Authority: CN
Inventors: 王炜晨; E·索尔克尔德; 卢树言; S·海斯
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2019-11-14
Filing date: 2020-10-14
Publication date: 2022-07-15
Also published as: GB2605289A; JP2023501605A; US20210150394A1; GB202207234D0; WO2021094853A1

Abstract

一种检测建模系统具有处理设备和耦合到该处理设备的存储器。检测建模系统配置成选择用于评估模型降级的检测模型，检测模型是用于分析数据和识别目标事件的分析模型，对多个相似的检测模型执行存活分析，基于存活分析确定选择的检测模型的存活度量，并且将存活度量与阈值进行比较并且基于比较警告模型降级。

Description

基于存活分析警告模型降级的系统和方法

技术领域

本发明总体上涉及用于评估分析模型的健康的系统，并且具体涉及基于模型度量的存活分析警告模型降级的系统和方法。

背景技术

用于事件检测的分析模型对于一系列领域和工业是重要的。例如，使用不同分析模型来检测银行欺诈、帮助规章顺从、以及许多其他复杂的、数据驱动的问题。许多领域需要用于准确和及时的事件检测的最新模型。在一些领域(例如，许多类型的欺诈)中，第三方代理正积极地工作以通过当前的分析模型来逃避检测。检测建模的一方面是确定模型何时已经降级并且应该被替换或更新。

发明内容

本发明的实施例涉及一种用于执行实体解析的计算机实现的方法。该方法包括由处理设备执行步骤，包括：由处理设备选择用于评估模型降级的检测模型，该检测模型是用于分析数据和识别目标事件的分析模型，由处理设备对多个相似检测模型执行存活分析，由处理设备基于存活分析确定选择的检测模型的存活度量，并且由处理设备将存活度量与阈值进行比较并基于比较警告模型降级。

本发明的实施例涉及一种检测建模系统。检测建模系统可以包括处理设备、和耦合到处理设备的存储器，处理设备被配置为执行存储在存储器中的程序指令以选择用于评估模型降级的检测模型，检测模型是用于分析数据和识别目标事件的分析模型，对多个相似的检测模型进行存活分析，基于存活分析确定所选检测模型的存活度量，以及将存活度量与阈值进行比较并基于比较警告模型降级.

本发明的一个实施例涉及一种非暂时性计算机可读介质，其上存储有用于执行包括可执行代码的模型的存活分析的指令，所述可执行代码在由至少一个处理设备执行时执行与公开的实施例一致的公开方法。

通过参照附图进行的说明性实施例的以下具体实施方式，本发明的其他特征和优点将变得清楚。

附图说明

当结合附图阅读时，从以下具体实施方式中最好地理解本发明的前述和其他方面。为了说明本发明的目的，在附图中示出了目前优选的实施方式，然而，应当理解的是，本发明不限于所公开的具体实施方式。

图1示出了示例性服务提供方系统的框图；

图2示出了可以实现实施例的示例性数据处理系统的框图；

图3示出了示例性检测建模系统的框图；

图4示出了可以用于通过分布分析评估分析模型的模型度量的正态分布；

图5示出了可以用于通过存活分析评估分析模型的存活分析表；

图6示出了通过集成方法评估分析模型的可视化流程；

图7示出了用于基于分布分析警告模型降级的示例性过程的流程图；

图8示出了用于基于分布分析警告模型降级的另一个示例性过程的流程图；

图9示出了用于基于存活分析警告模型降级的示例性过程的流程图；以及

图10示出了用于基于存活分析警告模型降级的另一个示例性过程的流程图。

具体实施方式

本描述和权利要求可以使用关于说明性实施例的特定特征和元件的术语“一个”、“至少一个”和“一个或多个”。应当理解，这些术语和短语旨在陈述在特定说明性实施例中存在至少一个特定特征或元件，但还可以存在多于一个。即，这些术语/短语并非旨在将描述或权利要求限制为存在的单个特征/元素或者需要存在多个这样的特征/元素。相反，这些术语/短语仅需要至少单个特征/元件，其中多个这种特征/元件可能在说明书和权利要求书的范围内。

此外，应理解的是，以下描述使用说明性实施例的不同元件的多个不同实例来进一步说明说明性实施例的示例性实现方式并且帮助理解说明性实施例的机制。这些实例旨在是非限制性的，并且不是穷尽用于实施说明性实施例的机制的各种可能性。对于本领域普通技术人员而言，鉴于本说明书，在不偏离本发明的范围的情况下，除了或代替本文提供的示例，存在可以利用的这些不同元件的许多其他替代实现方式。

本发明可以是系统、方法、和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。

计算机可读存储介质可以是有形设备，该有形设备可以保留和存储供指令执行设备使用的指令。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、头盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。

本文所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网(LAN)、广域网(WAN)和/或无线网络)从计算机可读存储介质下载至对应的计算/处理装置或者下载至外部计算机或外部存储装置。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，这些编程语言包括面向对象的编程语言(如Java^TM、Smalltalk、C++等)和常规过程编程语言(如“C”编程语言或类似编程语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括LAN或WAN)连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供方通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。

本文参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的多个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，这样使得经由该计算机或其他可编程数据处理装置的该处理器执行的这些指令创建用于实现流程图和/或框图的或多个框中所指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。

这些计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置、或其他设备上，以便使得在该计算机、其他可编程装置、或其他设备上执行一系列操作步骤以产生计算机实现的过程，从而使得在该计算机、其他可编程装置、或其他设备上执行的指令实现流程图和/或框图的或多个框中所指定的功能/动作。

本文参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的多个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

附图中的流程图和框图展示了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施例中，框中所指出的功能可不按图中所指出的次序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。

作为概述，认知系统是配置有硬件和/或软件逻辑(与软件在其上执行的硬件逻辑组合)以模拟人类认知功能的专用计算机系统或计算机系统集。这些认知系统将类人的特性应用于传达和操纵想法，当与数字计算的固有强度结合时，这些想法可以大规模地解决具有高准确性和弹性的问题。IBM Watson^TM是一个这样的认知系统的示例，其能够以比人类快得多的速度并且在大得多的规模上处理人类可读语言并且以类人类准确性识别文本段落之间的推断。通常，这样的认知系统能够执行以下功能：

导航人类语言和理解的复杂性

摄取和处理大量结构化和非结构化数据

生成并评估假设

加权和评估仅基于相关证据的响应

提供具体情况的建议、洞察和指导

通过机器学习过程提高每次迭代和交互的知识和学习

在影响点处启用决策(上下文指导)

与任务成比例的缩放

扩展和放大人类的专业知识和认知

从自然语言识别共鸣的、类人的属性和性状

从自然语言导出不同语言特定属性或不知情属性

从数据点(图像、文本、语音、记忆和回忆)的高度相关重新收集

基于经验以模仿人类认知的情境意识预测和感觉

基于自然语言和特定证据回答问题

本文的实施例涉及一种用于确定分析模型何时已经降级并且应该被替换的系统。如本文中使用的，个人“本地节点”指由终端用户(诸如，个人或公司)安装的软件、和/或被配置为执行软件的相关联的硬件部件。在一些实施例中，本地节点包括一个计算机系统。在一些实施例中，本地节点包括由终端用户控制的多个计算机系统或服务器。在一些实施例中，系统中的每个本地节点使用特定于该本地节点的一组当前分析模型。在一些实施例中，系统中的每个本地节点访问并分析由一个或多个分析模型产生的系统数据。这个系统数据专用于每个本地节点，并且可以包括敏感或机密信息。

如本文使用的，单个的“检测模型”、“分析模型”、或仅“模型”是被设计成用于使用数据分析技术来检测某些事件的软件算法。在一些实施例中，分析模型检测数据异常。在一些实施例中，分析模型检测欺诈事件。在一些实施例中，由分析模型使用的数据分析技术包括但不限于数据预处理技术、一个或多个统计参数的计算、基于分类或组的统计比率、概率的计算、分类技术诸如数据聚类和数据匹配、回归分析和间隙分析。在一些实施例中，本地节点的软件包括一个或多个分析模型。在一些实施例中，本地节点的软件包括一个或多个分析模型和确定性规则。在一些实施例中，本地节点的软件包括用于欺诈检测的一个或多个分析模型。在一些实施例中，本地节点的软件包括针对规章顺从性或非顺从性的一个或多个分析模型。在一些实施例中，本地节点的软件包括用于欺诈检测的一个或多个模型和确定性规则。在一些实施例中，本地节点的软件包括针对规章顺从性或非顺从性的一个或多个模型和确定性规则。

在一些实施例中，包括任何本地节点的更新系统是针对使用分析模型的任何软件系统创建和推送模型更新的独立系统。在一些实施例中，更新系统本身是较大分析系统(例如，用于欺诈检测的分析系统)的组件或子系统。

图1是示例性服务提供方系统100的图示。服务提供方系统100可以包括检测建模系统110、一个或多个数据源120和终端用户设备130。网络140可以连接检测建模系统110、一个或多个数据源120、和/或终端用户设备130。

检测建模系统110可以是计算设备，如后端服务器。检测建模系统110可以包括启用数据分析功能及其实际应用的组件，诸如用于确定何时应当替换检测模型的模型降级检测的实现。

一个或多个数据源120可以是被配置成用于向检测建模系统110提供数据的计算设备和/或存储设备。在一个示例中，一个或多个数据源120包括数据库123，该数据库123可填充有在其上操作一个或多个检测模型的数据。

终端用户设备130可以是计算装置(例如，台式或膝上型计算机、移动装置等)。终端用户设备130可与检测建模系统110通信以接收信息并提供与检测模型的使用和实现有关的反馈。在一些实施例中，终端用户设备130可包括模型管理器135，其被配置来接收、生成、部署或以其他方式操作检测模型，诸如针对从一个或多个数据源120存储的顾客数据的欺诈检测模型。

网络140可以是本地或全球网络，并且可以包括有线和/或无线部件和功能，这些部件和功能能够实现服务提供方系统100的部件的内部和/或外部通信。网络140可以由互联网体现，至少部分地经由云服务提供，和/或可以包括使得能够向和从服务提供方系统100的系统和部件传输数据的一个或多个通信设备或系统。

根据一些示例性实施例，检测建模系统110、(多个)数据源120、终端用户设备130或相关组件包括在专用硬件、在硬件上执行的软件、或专用硬件与在硬件上执行的软件的任何组合中实施的逻辑，所述逻辑用于实现服务提供方系统100或相关组件。在一些示例性实施例中，检测建模系统110或其任何组件可以是或包括可从纽约阿蒙克的国际商业机器公司获得的IBM Watson^TM系统，该系统用下文描述的说明性实施例的机制增强。

图2是实现说明性实施例的各方面的示例数据处理系统200的框图。数据处理系统200是实现本发明的说明性实施例的处理的计算机可用代码或指令位于其中的计算机的实例。在一个实施例中，图2表示检测建模系统110，其实施本文所述的服务提供方系统100的至少一些方面。

在所描绘的示例中，数据处理系统200可以采用集线器架构，该集线器架构包括北桥和存储器控制器中心(NB/MCH)201以及南桥和输入/输出(I/O)控制器集线器(SB/ICH)202。处理单元203、主存储器204和图形处理器205可以连接到NB/MCH201。图形处理器205可以通过加速图形端口(AGP)连接到NB/MCH201。

在所描绘的示例中，网络适配器206连接至SB/ICH202。音频适配器207、键盘和鼠标适配器208、调制解调器209、只读存储器(ROM)210、硬盘驱动器(HDD)211、光盘驱动器(CD或DVD)212、通用串行总线(USB)端口和其他通信端口213、以及PCI/PCIe设备214可通过总线系统216连接到SB/ICH202。PCI/PCIe设备214可包括用于笔记本计算机的以太网适配器、插入卡和PC卡。ROM210可以是例如闪存基本输入/输出系统(BIOS)。HDD211和光学驱动器212可以使用集成驱动电子器件(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)设备215可以连接到SB/ICH202。

操作系统可以在处理单元203上运行。操作系统可协调并提供对数据处理系统200内的不同组件的控制。作为客户端，操作系统可以是可商购的操作系统。面向对象的编程系统，诸如Java^TM编程系统，可以结合操作系统运行，并且提供从在数据处理系统200上执行的面向对象的程序或应用程序对操作系统的调用。作为服务器，数据处理系统200可以是运行高级交互执行操作系统或

操作系统的

eServerTMSystem

数据处理系统200可以是对称多处理器(SMP)系统，其可以包括处理单元203中的多个处理器。可替代地，可以采用单个处理器系统。

操作系统、面向对象的编程系统、以及应用或程序的指令位于存储设备(如HDD211)上，并且被加载到主存储器204中以供处理单元203执行。网站导航系统的实施例的过程可由处理单元203使用计算机可用程序代码来执行，计算机可用程序代码可位于存储器中，例如主存储器204、ROM 210或一个或多个外围设备中。

总线系统216可以由一个或多个总线组成。总线系统216可使用任何类型的通信结构或架构来实现，这些通信结构或架构可在附接到该结构或架构的不同组件或装置之间提供数据传输。通信单元(诸如调制解调器209或网络适配器206)可包括可用于传输和接收数据的一个或多个设备。

本领域的普通技术人员将认识到，图2中所描绘的硬件可以取决于实现方式而变化。例如，数据处理系统200包括不直接包括在检测建模系统110的一些实施例中的若干组件。然而，应当理解，检测建模系统110可以包括用于执行根据所公开的实施例的处理方法和步骤的数据处理系统200的组件和配置中的一个或多个。

此外，除了所描绘的硬件之外或代替所描绘的硬件，可以使用其他内部硬件或外围设备，如闪存、等效非易失性存储器或光盘驱动器。此外，数据处理系统200可以采取许多不同数据处理系统中的任的形式，包括但不限于客户端计算装置、服务器计算装置、平板计算机、膝上型计算机、电话或其他通信装置、个人数字助理等。本质上，数据处理系统200可以是任何已知的或以后开发的数据处理系统，而没有架构限制。

图3示出了检测建模系统110的示例性实施例。在示例性实施例中，检测建模系统110包括分布分析模块310、存活分析模块320、整合模块330和评估引擎340。检测建模系统110的这些子系统可以是单个装置的组件，或者可以是彼此连接(例如，经由网络140)的分离装置。在一些实施例中，检测建模系统110还可以包括和/或连接到一个或多个数据储存库350。

分布分析模块310可以是被配置成用于执行分布分析以便基于一个或多个模型度量检测分析模型的降级的硬件和/或软件系统。存活分析模块320可以是被配置成执行存活分析以便基于相似模型的统计分析来检测分析模型的降级的硬件和/或软件系统。整合模块330可以是被配置成使用分布分析模块310和存活分析模块320两者的输出来评估检测模型的硬件和/或软件系统。评估引擎340被配置为使用分布分析模块310、存活分析模块320和/或整合模块330的输出来基于来自输出结果的反馈改进相应模块。

在示例性实施例中，分布分析模块310被配置成用于执行关于一个或多个分析模型的输入数据的统计分析。例如，分布分析模块310可以被配置为计算与分析模型相关的一个或多个健康度量。度量的示例包括灵敏度度量、准确度度量、寿命度量、特异性等。更具体地，度量的实例包括对数损耗、真阳性率(灵敏度)、假阳性率、真阴性率(特异性)、F1评分、精度、回忆、平均绝对误差、均方误差等。分布分析模块310被进一步配置成使用跨多个不同分析模型的度量测量的结果来创建分布，诸如图4中示出的近似正态分布400。分布400表示给定度量的度量结果的范围。分布400指示与其他分析模型相比度量可接受的程度。例如，分布400可以表示在健康和寿命的不同阶段跨多个分析模型测量的灵敏度度量的分布。

分布分析模块310被进一步配置成用于基于分布上的度量结果的位置，使用数据和度量的分布来确定分析模型的健康值。例如，如果分布400表示灵敏度度量，则分布分析模块310被配置为确定在使用中所依赖的分析模型可接受的灵敏度偏差水平(例如，与分布400相关的标准偏差的数量)。在另一示例中，分布分析模块310被配置成：分布分析模块310被配置成将结果传输到评估引擎340以用于利用来自一个或多个数据源和/或用户的输入来评估当前分析模型。

存活分析模块320被配置成使用存活分析作为附加或替代工具来测量分析模型的性能。存活分析模块320可以被配置成例如给定自从训练模型以来的时间，确定在此时不需要再训练的概率。相反，在给定自训练模型以来的时间，存活分析模块320可配置成确定其故障(确实需要重新训练)的概率。存活分析模块320的另功能可以是确定需要重新训练的模型的概率为50％的时间戳。

存活分析模块320可以被配置成用于使用来自分布分析模块310的信息来执行存活分析。例如，分布分析模块310可用于确定模型何时“故障”。存活分析模块320然后可以使用从训练到“故障”的时间(基于分布分析模块)来确定模型的“半衰期”或预期寿命。存活分析模块320可配置成计算诸如Kaplan Meier估计的度量，产存活活曲线、危险曲线，并计算半衰期(例如，存活概率为0.5)。图5是可以由存活分析模块320跟踪以确定用于进行存活分析的一个或多个分析模型(例如，模型A至C)的事件时间和故障状态的存活矩阵的实例。

整合模块330可以被配置成用于将分布分析模块310和存活分析模块320的结果进行组合以利用用于评估分析模型的健康的组合方法。图6是可由整合模块330(在一些实施例中结合分布分析模块310和存活分析模块320)执行的组合方法的视觉流程图。在一些实施例中，整合模块330包括分布分析模块610(其可与分布分析模块310相同或相似)和存活分析模块620(其可与存活分析模块320相同或相似)。

整合模块330被配置成用于使用输入数据650和模型度量660来计算指示得分670。输入数据650可以包括客户数据和/或交易数据，所述客户数据和/或交易数据包括行为统计和人口统计信息。分布分析模块610可以接收输入数据650并且使用与神经网络组合的统计测试以基于对由统计测试产生的模型度量的分析来确定预期故障模型。模型度量660可以是由分布分析模块610执行的统计测试的结果。这些度量660可以被馈送到存活分析模块620以用于存活分析。例如，度量660可以包括识别特定模型的“故障时间”或分析模型的特定类型、分类或类别的度量的分布。

整合模块330可以是为分析模型提供鲁棒健康评估的组合方法。因为存在模型可发信号通知其需要被重新训练或替换的许多不同方式，整合方法提供考虑模型“健康”的不同方面和方面的综合分析。在一些实施例中，分布分析可产生第一健康评级并且存活分析可产生第二健康评级。集成模块330可使用这些健康评级来产生可用于警告模型降级的指示性分数。

在一些实施例中，分布分析模块610可以确定所选择的检测模型的健康评级。健康评级可以基于阈值和与模型度量的正态分布的偏差之间的比较。例如，分布分析模块610可确定正态分布并比较一组模型度量的多个标准偏差以确定模型已经从初始训练改变的程度。

在其他实施例中，健康评级可以基于输入数据的重构之间的比较以确定当前模型所再现的数据是否显著不同。例如，分布分析模块610可执行统计假设测试以确定输入分布(用于训练模型的数据)是否等于新数据(例如，当前模型的输出数据)的分布。例如，分布分析模块610可以使用Kolmogorov-Smirnov和/或AndersonDarling测试以基于统计假设测试来确定健康评级。在另一实施例中，分布分析模块610可以使用神经网络自动编码器测试作为附加的或替代的手段来将初始模型的输入数据与基于当前模型的输入数据的重构版本进行比较。例如，分布分析模块610可以使用自动编码器确定重构误差。重构误差可指示模型的性能已改变(例如，其中误差急剧改变)。

存活分析模块620可以被配置成用于对所选择的检测模型执行存活分析以便确定所选择的检测模型的另健康评级。例如，存活分析模块620可基于应用于相似检测模型的存活分析确定存活度量。存活度量可以是例如Kaplan-Meier估计、在给定时间存活或故障的概率、模型的半衰期等。在一些实施例中，存活分析可以基于由分布分析模块610确定的“事件时间”信息，如将更详细描述的。

整合模块330可以进一步包括贝叶斯整合引擎680，该贝叶斯整合引擎接收分布分析模块610和存活分析模块620的结果并且组合这些结果以产生指示得分670。例如，贝叶斯整合引擎680可接收来自分布分析模块610的至少一个健康评级和来自存活分析模块620的至少一个健康评级并基于分布分析和存活分析的结果来计算范围从0至1的分数以指示分析模型的健康(例如，该模型需要被重新训练的可能性)。在一些实施例中，贝叶斯整合引擎680可对分布分析和存活分析的输出使用加权方法。在其他实施例中，贝叶斯整合引擎680可使用输出的多数表决、平均加权或堆叠来计算指示得分670。指示得分670可以用于确定是否应当重新训练模型。

所公开的实施例提供了用于评估分析模型(如用于识别来自金融机构的数据集中的欺诈行为的检测模型)的健康的若干系统和方法。分析模型的健康可以是应当重新训练模型的可能性的量度。这些选项包括分布分析、存活分析、以及使用分布和存活分析两者的整合方法。

根据所公开的实施例，服务提供方系统100可以实现交互式程序，该交互式程序允许用户基于所公开的用于评估分析模型的方法的结果来定制递送的警报。例如，金融机构可基于该机构愿意使用过时的分析模型来冒风险的程度来提供风险容限值。服务提供方系统100可被配置成将风险容限值转换成用于确定模型的健康评估的输出是否指示模型应当被替换/再训练的阈值。

图7是用于基于模型度量的分布分析警告模型降级的示例性过程700的流程图。检测建模系统110可以执行过程700的一个或多个步骤。例如，分布分析模块310可执行过程700以检测模型何时降级和何时应当被替换。在一些实施例中，作为整合方法的一部分，分布分析模块610可执行过程700的一个或多个步骤。

在步骤710中，分布分析模块310可选择有待包括在分布分析中的模型度量。这些模型度量可包括例如敏感度度量、准确度度量、年龄度量等。在一些实施例中，用户可以选择模型度量，或者可以基于用户简档或要评估的模型的类型来自动选择模型度量。

在步骤720中，分布分析模块310可以从模型操作中接收模型输出。例如，终端用户设备130处的模型管理器135可以基于来自数据源120的数据来操作分析模型(例如，金融机构的欺诈模型)，并且将结果提供给检测建模系统110，在检测建模系统110处由分布分析模块310接收结果。在步骤730中，分布分析模块310基于所选择的模型度量和来自模型操作的模型输出来计算模型度量结果。在一些实施例中，分布分析模块310在由终端用户设备130进行度量确定之后接收来自终端用户设备130的模型度量。换言之，分布分析模块310在步骤720接收的输出可以是步骤730的计算的度量。

在步骤740中，分布分析模块310确定或以其他方式获得与每个所选择的模型度量相关的度量分布。例如，对于每个选择的模型度量，分布分析模块310确定类似于图4所示的分布曲线400的度量值的正态分布。如果必要的话，分布分析模块310可以通过在一段时间内跟踪度量并且归一化结果来确定度量分布。在一些实施例中，度量分布可以基于分析模型的历史输出或特定度量的分析模型的类型、类别或分类。在一些实施例中，在可以将其视为用于所公开的警报方法中的足够样本大小之前，度量分布可能需要阈值数目个数据点。

在步骤750中，分布分析模块310被配置成用于将新的模型度量结果与所确定的度量分布进行比较。例如，分配分析模块310可以接收被配置成用于检测欺诈行为的分析模型的敏感度评级。分布分析模块310可以确定敏感度评级落入相关联的类似定位的欺诈检测模型的敏感度评级的正态分布的位置。例如，分布分析模块310可以从给定的灵敏度评级的分布的平均值计算标准偏差。

在步骤760中，分布分析模块310被配置成用于警告模型降级。例如，分布分析模块310可以被配置为标记“事件”，所述事件指示当与那些度量的正态分布相比时获得的度量值在可接受的范围之外。在给出的示例中，分布分析模块310可以比较敏感度评级的标准偏差以确定偏差是否是可接受的。例如，分布分析模块310可将偏差与阈值进行比较，并警告所接收的超过可接受值的任何度量值。分布分析模块310可以被配置成用于向终端用户设备130提供警报以标记“事件”，这些事件指示特定的分析模型可能由于随时间推移的降级而需要重新训练。

在一些实施例中，标记的“事件”可以用于基于所存储的标准评估模型降级。例如，一定数量的事件可指示模型已经降级到需要重新训练的程度。在一些实施例中，分布分析模块310可以使用模型降级方程，所述模型降级方程利用标记的“事件”来确定应当重新训练或替换模型的可能性，并且警告终端用户设备130或服务提供方系统100的其他组件。

所公开的用于基于分布分析警告降级的方法700提供了一种基于模型度量确定分析模型何时已经降级(例如，因为它不再以足够的规律性达到其目的)的方法。随着时间的推移，这些模型度量提供与人们可以预期健康模型如何操作相关的信息。通过将新的度量值与正态分布进行比较，检测建模系统110可确定何时可能需要重新训练或替换模型。因此，服务提供方和客户可以更容易地依赖于分析模型的输出并且具有他们根据需要被替换或重新训练的置信度。

进一步地，所公开的各实施例可以将可定制的阈值应用于分布分析以便针对服务提供方、顾客、模型等的特定风险简档定制模型降级分析。图8是用于基于这种定制信息提警告型降级的示例性过程800的流程图。分布分析模块310可执行过程800的一个或多个步骤以便警告模型降级。

在步骤810中，分布分析模块310可以向终端用户设备130提供可定制的检测系统。例如，分步分析模块310可以向与实体(诸如金融机构)相关联的终端用户设备130提供分析模型。该分析模型还可以包括可定制的警告系统，该警告系统在该模型的操作过程中向终端用户设备130提供反馈。可定制的警告系统可以使终端用户设备130能够基于所接收的分析模型提供风险容限。在一些示例中，终端用户设备130可以呈现针对用户的风险容忍评级的选项。在其他示例中，终端用户设备130类型、实体准则、保险要求等来确定风险容限值。

在步骤820中，分布分析模块310可以从终端用户设备130接收风险容限。风险容限可以是与终端用户设备130相关联的实体的可接受风险的评级。例如，当考虑分析模型需要基于模型度量的偏差来重新训练的概率时，一些实体可以具有较高的容限。在一些实施例中，风险容限可以连接到关于服务提供方的终端用户的会员等级或费用结构。与较高风险模型(例如，检测欺诈行为或犯罪的模型)相关联的实体可以请求或要求比与较低风险模型(例如，检测雇员或成员数据记录中的一致性的模型)相关联的实体更低的风险容限。

在步骤830中，分布分析模块310被配置成用于基于所接收的风险容限计算模型度量阈值。例如，如果风险容限值较低，指示实体偏好更多保护措施来抵御过时模型的使用，则度量偏差的阈值可以被设置为较低或在较窄的范围内。相反，如果因为实体处于低风险或低优先级位置而风险容限高，则针对度量偏差的阈值可以被设置为更高或在更宽的范围内。可以针对用于评估模型健康的多个模型度量计算度量阈值。

在步骤840中，分布分析模块310被配置成用于执行分析模型的单独的模型监视。例如，分布分析模块310可以被配置用于执行过程700的步骤以将模型度量与针对给定分析模型的度量分布进行比较。监视过程可以包括将模型度量的偏差与在步骤830中计算的阈值进行比较。以这种方式，分布分析模块310被配置为确定在模型的操作期间何时发生匹配定制的风险容限的偏差。在一些实施例中，分布分析模块310可以基于在过程800中接收的风险容限来计算使用标记的“事件”来评估模型健康的模型降级方程。在步骤850中，分布分析模块310被配置为警告终端用户设备130(或服务提供方系统100的其他组件)已经发生事件(例如，模型度量已从正态分布平均值偏离了大于阈值)。

过程800提供附加过程，通过该附加过程，可以根据不同因素定制分析模型评估，包括在模型已经降级到一定程度之前识别重新训练该模型的重要性的风险容限值。

图9是用于基于相似检测模型的存活分析来估计检测模型(即，分析模型)的存活时间的示例性过程900的流程图。例如，检测建模系统110可以基于检测模型组的存活分析执行过程以输出关于这些模型的信息。存活分析模块320在执行分布分析中可以使用由分布分析模块310确定的“事件”作为“故障”或“非故障”事件。

在步骤910中，存活分析模块320可以获得模型的健康值。例如，存活分析模块320可以基于分布分析(如过程700或800)确定多个检测模型的最近“事件”。例如，存活分析模块320可以基于模型度量在正常分布之外来确定模型“故障”的时间。在另一示例中，存活模块320可以基于在分布分析下不存在故障事件来确定模型是“健康的”。当确定检测模型是健康的时，存活模块320可将当前时间记录为事件时间。

在步骤920中，存活分析模块320可以确定训练模型的时间段。训练模型的时间段可以与模型相关联地存储，并且可以是在用户系统中实现模型的时间段。在另一实施例中，该时间段可以是重新训练模型的时间。这可以是计算检测模型的“寿命”的初始时间段。

在步骤930中，存活分析模块320可以基于健康值和训练模型的时间段来确定存活时间段。例如，存活分析模块320可以确定从模型的初始训练或再训练到故障时间(例如，如由分布分析确定的)或当前时间(例如，当故障事件尚未发生时)的“事件时间”。可以针对多个检测模型重复步骤910至930以确定多个存活时间段。图5是多个模型的存活时间段的实例。

在步骤940，存活分析模块320可以使用该多个存活时间段执行存活分析。例如，存活分析模块320可以基于其他相似模型的存活时间段来执行过程以确定给定模型的预期寿命。在步骤950中，存活分析模块320可使用来自步骤940的存活分析确定给定模型的估计存活度量。

图10是用于使用存活分析以确定给定检测模型的估计存活度量的示例性过程1000的流程图。存活分析模块320可以执行过程1000的一个或多个步骤以使用其他检测模型的“事件时间”分析来确定“健康”模型何时可能需要再训练。

在步骤1010中，存活分析模块320可以选择用于分析的分析模型。例如，存活分析模块320可以从终端用户设备130接收对一个或多个检测模型的健康进行评估的请求，并且确定作为服务计划协议的一部分它们何时可能需要被重新训练(例如，以便维护更新的模型和偶尔确定何时应当重新训练模型)。

在步骤1020中，存活分析模块320可以针对多个相似的检测模型执行存活分析。例如，存活分析模块320可对相似于所选模型的多个检测模型执行过程900。在一个实施例中，多个相似模型可以是相同类型的模型(例如，模型不是完全相同的模型，而是执行相似类型的分析或检测相似类型的事件)。在另一示例中，多个相似模型可以是在不同的终端用户系统处实现的相同模型。通过使用相似模型，存活分析模块320可以能够对所选模型执行相似分析以便更精确地表示其存活估计。

在步骤1030中，存活分析模块320可以计算多个检测模型的存活度量。例如，存活分析模块320可以计算Kaplan-Meier估计。Kaplan-Meier估计可以提供计算选定模型的一个或多个存活度量的手段。例如，在步骤1040中，存活分析模块320可确定存活曲线。存活曲线可以提供所选模型将存活超过时间t的概率。在步骤1050中，存活分析模块320可以确定危险曲线。危险曲线可以提供选择的模型将存活到给定时间t的概率。在步骤1060中，存活分析模块320可确定半衰期。半衰期可以是存活概率为0.5(50％)的时间。

在步骤1070中，存活分析模块320可以将所选模型的存活度量与阈值比较，并向终端用户设备130提供警报。阈值可以取决于用户的定制的风险容限。例如，一些用户可能满意75％的存活概率，而其他用户可能容忍50％的存活概率。

本领域普通技术人员将认识到，运行本文所描述的任何系统和方法所需的硬件可以取决于实现方式而变化。除了所描绘的硬件之外或代替所描绘的硬件，可以使用其他内部硬件或外围设备，诸如闪存、等效非易失性存储器或光盘驱动器。此外，本文描述的任何系统可以采取许多不同数据处理系统中的任何数据处理系统的形式，包括但不限于客户端计算装置、服务器计算装置、平板计算机、膝上型计算机、电话或其他通信装置、个人数字助理等。本质上，本文描述的任何系统可以是任何已知的或以后开发的数据处理系统，而没有架构限制。

附图的系统和方法不是排他的。可以根据本文描述的实施例的原理导出其他系统和过程以实现相同的目的。应当理解，本文所示和所述的实施例和变型仅仅是为了说明的目的。在不背离本实施例的范围的情况下，本领域技术人员可以对当前设计进行修改。如本文所描述的，不同系统、子系统、代理、管理器和过程可以使用硬件组件、软件组件和/或其组合来实现。除非使用短语“用于…的装置”明确叙述该部件，否则，根据美国专利法第112条第6段的规定，在本文中不解释任何权利要求部件。

虽然已经参考示例性实施例描述了本发明，但是本发明不限于此。本领域技术人员将理解，可以对本发明的优选实施例做出许多改变和修改，并且可以在不脱离本发明的范围的情况下做出这样的改变和修改。因此，所附权利要求旨在被解释为覆盖落入本发明的范围内的所有此类等效变化。

Claims

1.一种用于在数据处理系统中警告分析模型降级的计算机实现的方法，所述数据处理系统包括处理设备和存储器，所述存储器包括由所述处理设备执行的指令，所述方法包括：

由所述处理设备选择用于评估模型降级的检测模型，所述检测模型是用于分析数据和识别目标事件的分析模型；

由所述处理设备对多个相似的检测模型执行存活分析；

由所述处理设备基于所述存活分析确定所述选择的检测模型的存活度量；以及

由所述处理设备将所述存活度量与阈值进行比较并且基于所述比较警告模型降级。

2.根据权利要求1所述的方法，其中，基于来自终端用户设备的对健康评估的请求来选择所述检测模型。

3.根据权利要求1所述的方法，其中，所述多个相似的检测模型基于相同的类型的模型。

4.根据权利要求1所述的方法，其中，所述多个相似的检测模型基于在不同的终端用户设备处实现的相同模型。

5.根据权利要求1所述的方法，其中执行所述存活分析包括确定所述多个相似检测模型的存活度量。

6.根据权利要求5所述的方法，其中所述多个相似检测模型的所述存活度量是Kaplan-Meier估计。

7.根据权利要求1所述的方法，其中，用于所选择的检测模型的所述存活度量包括所述选择的检测模型的存活曲线、危险曲线或半衰期中的一个或多个。

8.一种非临时性计算机可读介质，具有存储在其上的用于执行模型的存活分析的指令，所述模型包括可执行代码，所述可执行代码当由至少一个处理装置执行时使所述处理装置：

选择用于评估模型降级的检测模型，所述检测模型是用于分析数据和识别目标事件的分析模型；

对多个相似的检测模型执行存活分析；

基于所述存活分析确定所述选择的检测模型的存活度量；以及

将所述存活度量与阈值进行比较并且基于所述比较警告模型降级。

9.根据权利要求8所述的介质，其中，基于来自终端用户设备的对健康评估的请求来选择所述检测模型。

10.根据权利要求8所述的介质，其中，所述多个相似的检测模型基于相同的类型的模型。

11.根据权利要求8所述的介质，其中，所述多个相似的检测模型基于在不同的终端用户设备处实现的相同模型。

12.根据权利要求8所述的介质，其中，执行所述存活分析包括确定所述多个相似检测模型的存活度量。

13.根据权利要求12所述的介质，其中，所述多个相似检测模型的所述存活度量是Kaplan-Meier估计。

14.根据权利要求8所述的介质，其中，用于所选择的检测模型的所述存活度量包括所述选择的检测模型的存活曲线、危险曲线或半衰期中的一个或多个。

15.一种检测建模系统，包括：

处理设备；以及

存储器，耦接至所述处理设备，所述处理设备被配置为执行存储在所述存储器中的编程指令，以：

对多个相似的检测模型执行存活分析；

16.根据权利要求15所述的系统，其中，基于来自终端用户设备的对健康评估的请求来选择所述检测模型。

17.根据权利要求15所述的系统，其中，所述多个相似的检测模型基于相同的类型的模型。

18.根据权利要求15所述的系统，其中，所述多个相似的检测模型基于在不同的终端用户设备处实现的相同模型。

19.根据权利要求15所述的系统，其中，执行所述存活分析包括确定所述多个相似检测模型的存活度量。

20.根据权利要求19所述的系统，其中多个相似检测模型的存活度量是Kaplan-Meier估计。

21.根据权利要求15所述的系统，其中，用于所述选择的检测模型的所述存活度量包含所述选择的检测模型的存活曲线、危险曲线或半衰期中的一个或多个。