CN115280337A - 基于机器学习的数据监控 - Google Patents

Abstract

可以针对分析仓集合中的每个仓确定计算机系统的总性能指标。在分析仓集合中的一个或多个仓不具有至少预定义的最小记录数的情况下，可以通过合并分析仓集合中的分析仓来重新定义新的分析仓集合。对于重新定义的仓集合中的每个仓，可计算ML模型的机器学习(ML)性能指标。可以使用重新定义的仓的ML性能指标为分析仓集合估计ML性能指标。计算机系统可以基于所计算的总性能指标与ML性能指标之间的分析仓集合上的相关性来配置。

Description

基于机器学习的数据监控

背景技术

本公开涉及数字计算机系统领域，并且更具体地，涉及一种用于控制计算机系统的操作的方法。

机器学习模型越来越多地用于数据监控。然而，机器学习模型可能不准确，原因有几个--例如，训练数据的偏差，这是由于以下中的一者或多者：标签的偏见、采样不足/过度采样、或产生具有不希望的偏差的模型。机器学习的监视可能不总是能识别出这些偏差。

发明内容

各个实施例提供了一种用于控制如本公开所描述的计算机系统的操作的方法、系统和计算机程序产品。在一个方面中，本发明涉及控制计算机系统的操作，所述计算机系统经配置以执行数据交易且使用机器学习(ML)模型评估所述数据交易的属性。

确定分析仓集合。分析仓表示数据交易记录的属性值的集合。计算计算机系统的总性能指标。总性能指标使用具有由分析仓表示的属性值的交易记录来指示针对该组分析仓中的每个分析仓的计算机系统的交易执行属性。在所述分析仓集合中的一个或多个分析仓不具有至少预定义的最小记录数的情况下，通过连接所述分析仓集合中的分析仓来重新定义新的分析仓集合。对于重新定义的分析仓集合中的每个分析仓，使用具有由每个分析仓表示的属性值的记录来计算ML模型的机器学习性能指标。使用所述重新定义的分析仓的所述ML性能指标来估计所述分析仓集合的每个仓中的所述ML性能指标。在所述分析仓集合中的每个分析仓至少具有最小记录数的情况下，计算所述分析仓集合中的每个分析仓中的ML性能指标。计算机系统被配置用于基于所计算的总性能指标与ML性能指标之间的分析仓的集合上的相关性，以实现进一步执行的数据交易的总性能指标与ML性能指标之间的正相关。

附图说明

以下参考附图，仅通过示例更详细地解释本公开的实施例，其中：

图1是根据本公开示例的用于控制计算机系统操作的方法的流程图。

图2A是根据本公开示例的用于定义计算度量的分析仓的方法的流程图。

图2B是示出根据本公开示例的分析和度量值的图。

图3A是根据本公开的示例的用于定义用于计算度量的分析仓的方法的流程图。

图3B是示出根据本公开示例的分析仓的图。

图4表示一种计算机化系统，适用于实施本公开所涉及的一个或多个方法步骤。

具体实施方式

本公开的各种实施例的描述将出于说明的目的而呈现，但并不旨在是穷举或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对本领域普通技术人员将是显而易见的。这里使用的术语被选择来最好地解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解本文公开的实施例。

数据的持续增长推动了对人工智能(AI)解决方案的大量投资以帮助从数据中提取洞察力。然而，选择适当的AI服务来提供可信且准确的系统配置可能是有挑战性的。

本公开可以使得机器学习系统(MLS)能够评估、改进或更新AI解决方案，使得计算机系统能够更有效地操作(例如，使用更少的内存、提供更准确的结果、使用更少的机器学习模型迭代)。例如，计算机系统可以利用MLS来防止处理由非适配的AI解决方案引起的不必要的额外操作。

当使用人工智能解决方案监控数据交易时，识别可从在改进现有机器学习模型的投资中获得的技术益处可能很重要。为此，机器学习模型度量值与总体指标值之间的相关性可以有利地用于提供有意义的推荐。具体地，MLS的计算机系统配置可能不仅依赖于特定的AI度量，而且依赖于其对整个工艺的影响。MLS可被配置为测量整体影响(例如，使用整体指标值)。此外，本公开的MLS在相对稀有数据(例如，缺乏可用数据)的情况下可以是有利的，机器学习模型度量值不能利用所述相对稀有数据来确定(AI度量的计算可能需要大量的数据)。本公开的MLS可以提供机器学习模型度量值的近似以解决数据不足的问题。

根据一些实施例，在所述相关性为负相关性或零相关性的情况下，所述MLS可以执行更新可以包括以下各项中的任一项：重新训练所述ML模型、添加用于提供所述属性的组合评估的附加ML模型或用另一ML模型替换所述ML模型，其中，所述计算机系统的所述配置包括使用所执行的更新来评估所述进一步的交易。

例如，在添加附加ML模型之后，可以为每个ML模型计算ML性能指标，并且可以组合所得值。该组合可以例如是值的加权和或平均值。加权总和例如可以使用与ML模型关联的权重。权重可以例如是用户定义的。

根据MLS的一些实施例，在总性能指标与分析仓集合中的ML性能指标之间没有相关性的情况下，ML模型可以用另一个ML模型替换。

根据MLS的一些实施例，在分析集合中的整体性能指标与ML性能指标之间的相关性是正相关，这可以指示改进ML模型并且可以包括重新训练ML模型。

ML模型可以例如已经被训练或适配于给定类型的数据(例如，给定区域、集合、域等的数据)。例如，可以通过增加先前已经用于初始训练ML模型的训练集的尺寸来执行重新训练，其中，使用增加尺寸的训练集来执行重新训练。在另一示例中，重新训练可使用包括最新数据的新训练集来执行。这可以更新ML模型，使得它可以用于数据交易处理的精确监控。

在一个示例中，计算机系统可以被配置为执行ML性能指标的计算，作为在计算机系统处的数据交易的给定监视过程的一部分。例如，在ML性能指标值的可疑的情况下，计算机系统可以提供警报或者可以停止运行。对此执行的更新可以使得计算机系统能够通过例如防止可以由未适配的ML模型触发的错误警告警报来改善对其他数据交易的监视。这可以节省可能被不必要的警告警报消耗的计算机系统的资源。

根据一些实施例，属性是数据交易的发生时间，其中分析仓集合中的每个仓表示时间间隔，其中通过合并分析仓集合中的两个或更多个连续仓来获得重定义仓的重定义仓，其中通过根据重定义仓对ML性能指标的变化进行建模，并且使用用于确定分析仓集合中的ML度量的值的模型来执行估计。这可以与现有系统无缝地集成，因为大多数监视系统可以根据时间执行数据的监控。这可以进一步具有主动地识别问题并且在及时作出反应的优点。例如，问题可能至多持续分析仓集合的持续时间，因为计算机系统可以在该持续时间之后立即配置。

根据一些实施例，建模包括在重新定义的区间上拟合ML性能指标的分布。拟合涉及回归分析，诸如用于根据特定的数学标准估计最接近地拟合数据点的关系的线性回归。这可以实现ML性能指标值的系统且准确的估计。度量值的准确估计可实现计算机系统的可靠控制/运行。这可以使得能够以与滚动均值计算中类似的方式在覆盖较长时间间隔的较大子集上计算机器学习模型度量值。所计算的度量随后可用于使用例如三次样条近似来计算更细粒度的结果。

根据一些实施例，分析仓集合中的每个分析仓可以表示数据交易的记录的不同属性的值的集合，其中值的集合是使用不同属性形成的记录集群的值，其中通过合并分析仓集合中的关联集群具有到彼此的预定义距离的两个或更多个仓来获得重新定义的仓中的重新定义的仓。

例如，分析仓集合中的每个仓B_i可以与相应的属性Att_i相关联。描述在预定义时间段期间由计算机系统执行的数据交易(例如，上个月的交易)的数据记录可以基于属性Att_i的值来拆分，并且可以针对每个不同的属性Att_i创建一个集群，使得该分析仓集合中的每个仓与对应的记录集群相关联。可以加入那些集群，使得所得到的合并的集群的集合可以与相应的重新定义的仓相关联，例如，每个重新定义的仓可以与相应的合并的集群的集合相关联。合并的集群的每个集合可以具有足够的数据来使得能够对它们进行机器学习模型度量值计算。每一组的合并的集群可以在集群的中心之间具有小于定义距离的距离。每组的合并的集群可以在集群的中心之间具有最小距离。在另一示例中，合并的集群的集合可以是用户定义的。这可实现基于输入记录相似性的数据切片的复杂方法。这可实现使用不同属性的交易的灵活监控。

根据一些实施例，ML性能指标的估计可以包括：对于分析仓集合中的每个仓，与该仓相关联的集群j的ML性能指标定义如下：sum(wi*mi)/sum(wi)，其中，mi是合并的集群的集合i的ML度量，并且wi被计算为：均值DtoJ/maxD*nPinJ/nPinCls，其中，均值DtoJ是合并的集群的集合i的中心与集群j的中心之间的平均距离，maxD是合并集群的集合i的中心之间的最大距离，nPinJ是集群j中的数据点的数量，并且nPinCls是合并集群的集合i中的数据点的数量。这可以实现精确的计算。然后可以通过使用加权算术平均值的计算的度量来计算更细粒度的结果。

根据一些实施例，该方法可以在计算机系统的运行时间执行。这对于数据的实时监控可以是有利的。在生产环境中对机器学习模型的监控可以基于在运行时间执行的对有效载荷数据分析进行评分，以计算如公平性分数、精度下降(漂移度量)等指标。机器学习模型度量值和总体过程指标值可以一起设置，以允许基于时间的数据分割、聚类或其他数据切片方法的相关性发现。

根据一些实施例，该方法可以使用受控计算机系统对进一步的分析仓集合重复该方法。例如，分析仓集合可以是覆盖当前时间段(例如，当前周)的分析仓的当前集合。这可以使得能够进一步监控在当前时间段之后的下一时间段的交易数据。这可实现对数据交易的不间断监控。

根据一些实施例，MLS包括对于不同ML性能指标的进一步重复。例如，除了确定分析仓集合和计算总性能指标之外，可以针对另一个ML性能指标重复某些步骤。

根据一些实施例，分析仓是相等大小的仓。

根据一些实施例，整体性能指标或ML性能指标的计算还包括归一化所计算的度量。

这些实施例可实现随数据量和仓的数目可扩展的分析。

根据一些实施例，MLS还包括收集数据交易的与分析仓集合中的每个分析仓相关联的记录以用于对所收集的记录执行计算。

根据一些实施例，总性能指标是关键性能指标(KPI)。关键性能指标可以包含用于为计算机系统的性能提供上下文的多个一个或多个度量。

根据一些实施例，ML性能指标是以下中的一个：ML模型的预测的准确度和公平性分数。

图1是根据本公开的示例的用于控制计算机系统的操作的方法的流程图。计算机系统可例如被配置为执行或运行数据交易。数据交易可以是一起执行任务的一组操作。数据交易可例如执行任务，诸如输入账户借记或信用，或请求库存列表。可以由一个或多个数据记录来描述数据交易。数据记录是相关数据项的集合：诸如请求数据交易的特定用户的姓名、出生日期和类别等。记录表示实体，其中，实体是指关于哪些信息存储在记录中的用户、对象、交易或概念。术语“数据记录”和“记录”可互换地使用。这些数据记录可以作为具有关系的实体存储在图谱数据库中，其中，每条记录可以被分配给图的节点或顶点，其中属性是属性值：如姓名、出生日期等。在另一示例中，数据记录可以是关系数据库的记录。

可以评估数据交易以便确定其特性或属性。评估可以例如指示交易数据交易是否异常、交易不安全交易等。该评估可以例如使用经训练的ML模型来执行。ML模型可以例如在历史电信资产故障数据(例如，包括传感器数据)上训练，以在资产故障引起中断之前预测资产故障。然而，信息技术操作需要确保ML模型准确预测失败，但是数据非常复杂。在另一示例中，ML模型可以根据历史、成功和不成功的预测覆盖数据来训练。经训练的ML模型可以帮助需求计划者对他们的预测需求做出调整。然而，经训练的ML模型可能需要被监控，例如，随时间推移的准确性，所以人们可以检验AI提供的应用始终与知识工作者产生一样准确的结果。在进一步的示例中，ML模型可以在历史交易数据上训练以识别可疑模式。经训练的模型可能需要被监控以帮助银行跟上不断变化的法规，并且允许金融犯罪分析师理解他们的模型的警报分析背后的推理，从而他们可以做出关于哪些警报被解除和哪些警报被升级的决定。

在操作101中，可以确定分析仓集合(出于清晰目的命名为“InitSet”)。分析仓表示数据交易的记录的分析属性的值的集合。该分析仓集合可以具有或可以不具有相等的宽度或尺寸。分析属性可以例如是数据交易的发生时间。在这种情况下，分析仓集合可以覆盖例如一个月的时间范围，并且分析仓中的每一个可以覆盖相应的时间间隔，例如月的第一周等。在另一示例中，分析属性可以是请求数据交易的用户的年龄。在这种情况下，分析仓集合可以覆盖例如18至100岁之间的年龄，并且分析仓中的每个可以覆盖相应的时间范围，例如80至100岁。为了简化描述，假设分析仓集合InitSet包括10个仓B1至B10。

由计算机系统执行的数据交易可与分析仓集合中的相应分析仓相关联。根据上述示例，年龄在80和100岁之间的用户所触发的所有交易可与分析仓[80，100]相关联。这意味着分析仓集合中的每个分析仓X可以与数据记录相关联，其中数据记录中的每个数据记录具有落入分析仓X内的分析属性的值。

在一个示例中，分析仓集合可以是用户定义的，例如，可以在操作101中接收用户输入，其中用户输入指示分析仓集合。在另一示例中，多个分析仓集合可以是预定义的(例如，预存储的)，其中操作101的分析仓集合的确定可以包括选择(例如，随机地)预定义的多个分析仓集合中的分析仓集合。在一个示例中，可确定分析仓集合，使得与分析仓集合中的每个分析仓相关联的交易的数量高于交易阈值的预定义数量。该交易阈值数量可足以执行总性能分析，例如，用于评估总性能指标。

在操作103中可针对分析仓集合中的每个仓计算计算机系统的总性能指标。可以使用具有由分析仓表示的属性值的交易记录来执行计算。总性能指标可以例如是平均交易持续时间。为此，对于所述分析仓集合中的每个分析仓X，可为与分析仓X相关联的交易的每个交易确定交易持续时间。并且，可计算所确定的交易持续时间的平均值并将其指派给分析仓X。在另一示例中，总性能指标可以是失败的交易的数量。为此，对于所述分析仓集合中的每个分析仓X，可以确定该仓X的失败交易的数量。

描述交易的数据记录可以是一个或多个类型。例如，交易可以与描述交易的总属性/属性的总记录和描述对交易执行ML模型的结果的另一ML记录相关联。总记录可包括总属性。ML记录可以包括ML属性。ML记录是有效载荷日志记录表的记录。总记录和ML记录可以通过属于两个记录的交易ID而彼此链接。在另一示例中，单个类型记录可以用于描述交易，例如，单个类型记录可以包括总记录和ML记录两者的属性。如果对于该单个记录的交易不执行ML模型，则该单个记录可以包括ML属性的空值。

可以确定(查询操作105)该组分析的一个或多个分析箱的记录数是否小于预定义的最小记录数。低于最小记录数的记录数可能不足以在给定仓中执行ML性能监控，而在操作103中计算总性能指标可能足够了。在两种不同类型的记录的情况下，可以对ML记录执行查询操作105。例如，可以在查询操作105中确定该组分析的一个或多个分析仓的ML记录的数目是否小于预定义的最小记录数目。在单个类型记录的情况下，可以在查询操作105中确定具有非空ML属性值的记录的数目是否小于预定最小记录数目。例如，查询操作105可如下执行。可以对该组分析InitSet中的每个分析仓X进行处理，以便确定其分析属性值落入该仓X中的记录数是否小于预定义的最小记录数。

如果确定(查询操作105)用于该组分析InitSet的一个或多个分析箱的记录数目小于该预定义的最小记录数目，则可以执行操作107至111，否则可以执行操作113-假定，例如，确定仓B2和B5具有小于该预定义的最小记录数目的记录数目。

在操作107中，可以确定或重新定义新的或另一组分析仓(出于澄清目的而命名为‘NewSet’)。遵循以上InitSet的示例，重新定义的仓集合NewSet可以包括n个仓rB1至rBn，其中，n＜10。操作107可以例如通过连接该组分析仓InitSet的分析仓来执行。按照上面的例子，由于只有B2和B5具有在预定义的最小记录数量以下的记录数量，所以InitSet的仓B2和B3可以合并形成新的仓rB2，并且InitSet的仓B4和B5可以合并形成新的bin rB3。这可以导致NewSet的8个重新定义的仓集合rB1至rB8，其中，rB1是B1，rB4是B6，rB5是B7，rB6是B8，rB7是B9，rB8是B10，即，rB2和rB3被重新定义。这可以利用现有的分析仓集合InitSet，以便定义新的仓集合。这可以节省资源，因为可以重复使用未更改的仓的累积记录。在另一示例中，可以独立于操作101的分析仓InitSet的集合定义新的仓集合NewSet，通过确定新的仓集合NewSet的新宽度，使得新集合的每个仓中的记录数仓数可能高于预定义的最小记录数。

对于重新定义的仓集合NewSet中的每个仓rB，ML模型的ML性能指标可以在操作109中使用具有由每个仓rB表示的属性值的记录来计算。ML性能指标可以例如是ML模型的预测准确度。例如，ML记录中的每个记录可包括描述用于评估记录的数据交易的ML预测准确度的ML属性。在操作109中，对于重新定义的二进制位NewSet的每个二进制位，可以平均二进制位的ML记录的精度，以便提供二进制位的ML性能指标的值。在另一示例中，ML性能指标可以是公平性分数。

遵循以上示例，操作109可以产生ML性能指标的8个值，每个值与重定义的仓集合NewSet的相应仓相关联。然而，已经针对InitSet的分析仓评估了10次总性能指标。这可导致两个度量之间的相关性分析不是最佳的。为了解决这个问题，在操作111中，可以使用重新定义的仓集合NewSet的ML性能指标在分析仓集合InitSet的每个仓内估计ML性能指标。例如，已知NewSet的仓中的ML性能指标的8个值，可以针对InitSet的仓导出ML性能指标的10个值。根据上述示例，NewSet的仓rB1、rB4、rB5、rB6、rB7和rB8的ML性能指标对于相应的仓B1、B6、B7、B8、B9和B10可以是相同的。通过组合周围仓(例如，B1、rB1、rB2和B6)的度量值(或者通过外推周围仓的值)，可以针对InitSet的仓B2至B5估计ML性能指标。在图2至图3中示出了执行估计的其他示例。

在分析仓集合InitSet中的每个仓B具有高于预定义最小记录数的记录数的情况下，操作113可如下执行。对于该组仓InitSet中的每个仓B，可以使用具有由每个仓B表示的属性值的记录在操作113中计算ML模型的ML性能指标。

在执行操作111或操作113之后，仓集合InitSet中的每个仓可具有ML性能指标和总性能指标的一对值。这可实现两个度量的值的逐仓比较。具体地，可以将ML性能指标沿着仓集合InitSet的变化的行为与总性能指标沿着仓集合InitSet的行为进行比较。这可实现两个度量的准确相关分析，并且因此，本方法可以可靠地使用该相关。例如，基于在所计算的总性能指标和ML性能指标之间在分析仓集合InitSet上的相关性，该计算机系统可以在操作115中进行配置，以便使得进一步的交易能够具有在总性能指标和ML性能指标之间的正相关性。所述配置可以基于总体与ML性能指标之间的相关性。例如，如果相关性是负的，则这可以指示经训练的ML模型对于正被使用的使用情况是不充分的。例如，经训练的ML模型可以很好地处理来自诸如电信的给定领域的数据。然而，对于其他领域，其可能不提供所需的准确度。在另一示例中，在执行操作111或操作113之后，可以例如向用户提供信息，其中该信息指示总性能指标与ML性能指标之间的相关性。该信息可由用户用作例如计算机系统的监控信息。

两个度量之间的相关性可具有以下特征。在一个示例中，两个度量之间的相关性可以是强正相关性。例如，ML性能指标下降驱动特定KPI下降，例如，模型公平性分数的下降2％驱动授予KPI的信用量下降5％。这表明模型特定区域的资源投入质量可能很重要。可以相应地配置系统以进一步改进ML模型以避免模型公平性分数的下降。

在一个示例中，特定ML性能指标在不影响KPI的情况下改进。这表示，例如，模型精度提高5％对点击数没有影响。这样的洞察清楚地指出，在模型准确度方面的投入可能不值得，并且可以使用新的ML模型来代替该ML模型。

在一个示例中，在任何ML性能指标与KPI之间根本不存在相关性(或相关性非常小)。这可以指示ML模型的严重问题，其中模型结果在此过程中被完全忽略。这可以引发重新审视决策制定过程和计算机系统的配置的警报。

结果，根据ML性能指标与总性能指标之间的相关性，可以相应地配置计算机系统。可执行所述配置，以便它能够实现两个度量之间的正相关，以便执行下一个交易。例如，针对未来交易计算的ML性能指标可以具有与总性能指标一致的改进值。本公开可以考虑多个监控度量的组合效果。

例如，操作115可以自动触发ML模型的重新训练。重新训练可使用对应于计算机系统的当前使用情况的新数据来执行。在另一示例中，可以通过增加先前使用的训练集来执行约束，以便利用来自有效载荷分析的特定输入来提高训练模型的准确性，从而满足目标并适应新数据。在另一示例中，ML模型可以在不必进行重新训练的情况下通过例如更新最小样本大小和阈值来在当前训练的模型上产生更多数据而不会产生额外的处理成本。在底层数据未改变时，这可避免密集的CPU使用。

图2A是根据本公开内容的示例的定义用于计算度量的分析仓的方法的流程图。

在操作201中，可提供分析仓集合B1至B10。如图2B所示，分析仓集合可以覆盖时间范围[tS，tE]＝[010]。该组分析仓包括宽度为1的10个仓B1至B10，如图2B所示。仓B1至B10中的每个仓中的数据可能不足以计算ML性能指标。

在操作203中，通过组合10个仓B1至B10的集合中的两个连续的仓(重新)限定新的仓组rB1至rB5。这可以例如执行，因为10个箱中的数据可能不足以计算ML性能指标。这导致宽度为2的5个新仓rB1至rB5。例如，新的仓rB1可通过合并仓B1和B2来获得，新的仓rB2可通过合并仓B3和B4来获得，新的仓rB3可通过合并仓B5和B6来获得，新的仓rB4可通过合并仓B7和B8来获得，并且新的仓rB5可通过合并仓B9和B10来获得。

图2B进一步示出了针对分析仓rB1-rB5的新集合的每个仓的数据点220，其表示5个仓rB1至rB5中的每个中的ML性能指标的值。为了估计10个仓B1至B10的每个仓中的ML性能指标的值，可执行ML性能指标的值的分布的拟合222(或建模)。拟合222(其为三次样条近似)可用以估计或近似10个二进位中的每一仓中的ML性能指标的值224。

图3A是根据本公开的示例的用于定义用于计算度量的分析仓的方法的流程图。

在操作301中，可以提供分析仓集合。该分析仓集合可以覆盖5个集群，如图3B所示。该分析仓集合包括各自与相应集群320.1-5相关联的5个仓。集群320.1-5中的每个集群可以包括具有相应属性的类似值的记录，例如，集群320.1可以包括年龄在20和40岁之间的用户的记录，并且集群320.2可以包括给定区域或国家的用户的记录等。

在操作303中，通过组合5个仓集合中的两个或更多个仓来定义新的仓集合。这可以例如执行，因为5个仓中的数据可能不足以计算ML性能指标。这产生3个新的仓322.1至322.3，每个与各自的合并集群集合相关联(例如，合并集群集合可以称为合并的集群)。例如，新仓322.1表示合并的集群的集合320.1、320.2和320.3，新仓322.2表示合并的集群的集合320.4、320.2和320.3，并且新仓322.3表示合并集群的集合320.5、320.4和320.3。这些集群可以例如基于它们之间的距离被连接。该距离可以使用集群的记录的一个或多个属性来计算。可以针对三个仓322.1至322.3计算ML性能指标。并且为了获得每个仓320.1至320.5的ML性能指标，可以使用以下公式。

对于分析仓集合320.1至320.5中的每个仓j，ML性能指标可以估计如下：sum(wi*mi)/sum(wi)，其中i是合并集群集合的索引，其变化范围为在此示例中为1到3，其中，mi是合并集群的集合i的ML性能指标并且wi被计算为：均值DtoJ/maxD*nPinJ/nPinCls，其中，均值DtoJ是合并的集群的集合i的中心与集群j的中心之间的平均距离，maxD是合并的集群的集合i的中心之间的最大距离，nPinJ是集群j中的数据点的数量，并且nPinCls是合并的集群的集合i中的数据点的数量。在一些实施方式中，均值DtoJ可以表示以下：合并的集群中的原始中心与集群中心j之间的平均距离。在一些实施例中，maxD可表示以下：原始中心之间的最大距离。在一些实施例中，nPinJ可表示以下：群集j中的数据点的数目。在一些实施例中，nPinCls可表示以下：原始中心之间的最大距离。

图4表示适合于实施如在本公开中所涉及的方法步骤的至少一部分的通用计算机化系统400。应当理解，本文描述的方法至少部分是非交互的，并且通过诸如服务器或嵌入式系统的计算机化系统自动化。然而，在一些实施例中，在此描述的方法可以在(部分)交互系统中实现。这些方法可进一步在软件412、422(包括固件422)、硬件(处理器)405或其组合中实现。在一些实施例中，本文描述的方法以软件实现为可执行程序，且由专用或通用数字计算机(诸如个人计算机、工作站、小型计算机或大型计算机)执行。因此，最通用的系统400包括通用计算机401。

在一些实施例中，在硬件架构方面，如图4所示，计算机401包括处理器405、耦合到存储器控制器415的存储器(主存储器)410、以及经由本地输入/输出控制器435通信地耦合的一个或多个输入和/或输出(I/O)设备(或外围设备)10、445。输入/输出控制器435可以是但不限于如本领域中已知的一个或多个总线或其他有线或无线连接。输入/输出控制器435可具有为简单起见而省略的额外元件，例如控制器、缓冲器(高速缓冲存储器)、驱动器、中继器和接收器，以实现通信。进一步，本地接口可以包括地址、控制和/或数据连接，以实现上述组件之间的适当通信。如本文所描述的，I/O设备10、445通常可以包括本领域已知的任何通用密码卡或智能卡。

处理器405是用于执行软件(尤其是存储在存储器410中的软件)的硬件装置。处理器405可以是任何定制的或商业可获得的处理器、中央处理单元(CPU)、与计算机401相关联的若干处理器之中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、宏处理器、或通常用于执行软件指令的任何装置。

存储器410可以包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))和非易失性存储器元件(例如，ROM、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM))中的任何一个或其组合。注意，存储器410可以具有分布式架构，其中不同部件彼此远离定位，但是可以由处理器405访问。

存储器410中的软件可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能(尤其是在本公开的实施例中涉及的功能)的可执行指令的有序列表。在图4的示例中，存储器410中的软件包括指令412，例如，管理诸如数据库管理系统的数据库的指令。

存储器410中的软件通常还应包括合适的操作系统(OS)411。OS411实质上控制其他计算机程序(诸如，可能用于实现如本文中所描述的方法的软件412)的执行。

本文描述的方法可以是源程序412、可执行程序412(目标代码)、脚本或包括要执行的指令集412的任何其他实体的形式。如果是源程序，则需要经由编译器、汇编器、解释器等翻译程序，该编译器、汇编器、解释器等可以包括在或可以不包括在存储器410内，以便结合OS411适当地操作。此外，该方法可以被写为具有数据和方法类的面向对象的编程语言，或者具有例程、子例程和/或函数的过程编程语言。

在一些实施例中，键盘450和鼠标455可以耦合到输入/输出控制器435。诸如I/O设备445的其他输出设备可以包括输入设备，例如但不限于打印机、扫描仪、麦克风等。最后，I/O设备10、445可以进一步包括传送输入和输出两者的设备，例如但不限于，网络接口卡(NIC)或调制器/解调器(用于访问其他文件、设备、系统、或网络)、射频(RF)或其他收发器、电话接口、网桥、路由器等。I/O设备10、445可以是本领域已知的任何通用密码卡或智能卡。系统400可进一步包括耦合到显示器430的显示器控制器425。在一些实施例中，系统400还可以包括用于耦合到网络465的网络接口。网络465可以是用于经由宽带连接在计算机401与任何外部服务器、客户端等之间通信的基于IP的网络。网络465在计算机401与外部系统30之间传输和接收数据，该数据可以被涉及执行本文所讨论的方法的部分或全部步骤。在一些实施例中，网络465可以是由服务提供商管理的受管理的IP网络。网络465可以无线方式(例如，使用无线协议和技术，例如WiFi、WiMax等)来实施。网络465还可以是分组交换网络，诸如局域网、广域网、城域网、互联网网络或其他类似类型的网络环境。网络465可为固定无线网络、无线局域网(LAN)、无线广域网(WAN)、个域网(PAN)、虚拟专用网(VPN)、内联网或其他合适的网络系统，且包含用于接收和发射信号的设备。

如果计算机401是PC、工作站、智能设备等，则存储器410中的软件还可以包括基本输入输出系统(BIOS)422。BIOS是在启动时初始化和测试硬件、启动OS411、并且支持硬件设备之间的数据传输的基本软件例程的集合。BIOS存储在ROM中，使得当计算机401被激活时可以执行BIOS。

当计算机401运行时，处理器405被配置为执行存储在存储器410中的软件412，将数据传送至存储器410和从存储器410传送数据，并且依照软件通常控制计算机401的操作。本文所描述的方法和OS411(全部或部分，但通常为后者)由处理器405读取，可能在处理器405内缓冲，然后执行。

当此处描述的系统和方法在软件412中实现时，如图4所示，这些方法可被存储在任何计算机可读介质(诸如存储420)上，以供任何计算机相关系统或方法使用或结合任何计算机相关系统或方法使用。存储器420可包括磁盘存储器，例如HDD存储器。

本发明可以是任何可能的技术细节集成度的系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。

计算机可读存储介质可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输媒体传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。

本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，这些程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程程序设计语言(诸如“C”程序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。

下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可被提供给计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。

附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，连续示出的两个方框实际上可以作为一个步骤完成，同时、基本上同时、以部分或完全时间上重叠的方式执行，或者方框有时可以以相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。

本主题可以包括以下条款。

1.一种用于控制计算机系统的操作的方法，所述计算机系统被配置为执行数据交易并且使用机器学习ML模型来评估所述数据交易的特性，所述方法包括：确定分析仓集合，其中分析仓表示所述数据交易记录的属性值的集合；

计算所述计算机系统的总性能指标，所述总性能指标使用具有由所述分析仓表示的属性值的交易的记录来指示所述计算机系统对于所述分析仓集合中的每个分析仓的交易执行性能；在所述分析仓集合中的一个或多个仓不具有至少预定义的最小记录数的情况下：

通过合并所述分析仓集合的分析仓来重新定义新的分析仓集合，

对于所述重新定义的仓集合中的每个仓，使用具有由所述每个仓表示的属性值记录来计算所述ML模型的机器学习性能指标；

使用所述重新定义的仓集合的所述ML性能指标来估计所述分析仓集合的每个仓中的所述ML性能指标；

在所述分析仓集合中的每个仓具有至少所述最小数目的记录的情况下，计算所述分析仓集合中的每个仓中的所述ML性能指标；

基于在所计算的总性能指标与所述ML性能指标之间的所述分析仓集合上的相关性，配置所述计算机系统以实现进一步执行的数据交易的所述总性能指标与ML性能指标之间的正相关性。

2.根据条款1所述的方法，进一步包括：在所述相关性是负相关性或零相关性的情况下，执行包括以下中的任一个的更新：重新训练所述ML模型，添加用于实现所述属性的评估的组合的附加ML模型，由另一ML模型替换所述ML模型，其中，所述计算机系统的所述配置包括使用所执行的更新来评估所述进一步的交易。

3.根据条款1所述的方法，在所述总性能指标和所述分析集合中的所述ML性能指标之间的所述相关性是正相关性的情况下，通过使用较大的训练数据集重新训练所述ML模型来改进所述ML模型。

4.根据前述条款中任一项所述的方法，其中，所述属性是所述数据交易的发生时间，其中，所述分析仓集合中的每个仓表示时间间隔，其中通过合并所述分析仓集合中的两个或更多个在时间上连续的仓中来获得所述重新定义的仓的重新定义的仓，其中通过根据所述重新定义的仓对所述ML性能指标的变化建模来执行所述估计，以及使用所述ML模型来确定所述分析仓集合中的所述ML性能指标的值。

5.根据条款4所述的方法，所述建模包括在重新定义的仓上拟合所述ML性能指标的分布。

6.前述条款1-3中任一项的方法，其中分析仓集合中的每个分析仓表示数据交易的记录的不同属性的值的集合，其中值的集合是使用不同属性形成的记录集群的值，其中通过合并其相关联集群彼此具有预定义距离的分析仓集合中的两个或更多个仓来获得重新定义的仓的重新定义的仓。

7.根据条款6所述的方法，其中，估计ML性能指标包括：对于具有该组分析仓中的每个仓，与该仓相关联的集群j的ML性能指标定义如下：sum(wi*mi)/sum(wi)，其中，mi是接合的集群的集合i的ML度量，并且wi被计算为：均值DtoJ/maxD*nPinJ/nPinCls，其中，均值DtoJ是合并的集群的集合i的中心与集群j的中心之间的平均距离，mayD是合并的集群的集合i的中心之间的最大距离，nPinJ是集群j中的数据点的数量，并且nPinCls是连接的集群的集合i中的数据点的数量。

8.根据前述条款中任一项所述的方法，在所述计算机系统的运行时间执行。

9.根据前述条款中任一项所述的方法，其中，使用受控的计算机系统，对于另外的分析仓集合，重复该方法。

10.根据前述条款中任一项所述的方法，进一步包括针对不同的ML性能指标重复所述方法。

11.根据前述条款中任一项所述的方法，其中，所述分析仓为相等大小的仓。

12.根据前述条款中任一项所述的方法，其中，所述总性能指标或所述ML性能指标的所述计算进一步包括归一化所计算的指标。

13.根据前述条款中任一项所述的方法，还包括收集所述数据交易的与所述分析仓集合中的每个分析仓相关联的记录以用于对所收集的记录执行所述计算。

14.根据前述条款中任一项所述的方法，所述总性能指标是关键性能指标KPI。

15.根据前述条款中任一项所述的方法，所述ML性能指标是以下中的一个：所述ML模型的预测的精度和公平性分数。

已经出于说明的目的呈现了本披露的不同实施例的描述，但并不旨在是穷举或限于所披露的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对本领域普通技术人员将是显而易见的。这里使用的术语被选择来解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。

Claims (16)

1.一种用于控制计算机系统的操作的方法，所述计算机系统被配置为执行数据交易并且使用机器学习(ML)模型评估所述数据交易的特性，所述方法包括：

确定分析仓集合，其中分析仓表示所述数据交易的记录属性值的集合；

计算所述计算机系统的总性能指标，所述总性能指标使用具有由所述分析仓表示的属性值的交易的记录来指示所述计算机系统对于所述分析仓集合中的每个分析仓的交易执行性能；

响应于所述分析仓集合中的一个或多个分析仓不具有至少预定义的最小记录数：

通过合并所述分析仓集合的分析仓来重新定义新的分析仓集合；

对于所述重新定义的分析仓集合中的每个分析仓，使用具有由重新定义的集合的每个分析仓表示的属性值的记录来计算ML模型的机器学习性能指标；

使用所述重新定义的分析仓集合的ML性能指标来估计所述分析仓集合中的每个分析仓中的所述ML性能指标；

响应于所述分析仓集合中的每个分析仓具有至少所述最小数目的记录，计算所述分析仓集合中的每个分析仓中的所述ML性能指标；

基于在计算的总性能指标与所述ML性能指标之间的所述分析仓集合上的相关性，配置所述计算机系统以实现进一步执行的数据交易的所述总性能指标与ML性能指标之间的正相关性。

2.根据权利要求1所述的方法，响应于在分析集合中的所述总性能指标与所述ML性能指标之间的所述相关性是负相关性或零相关性，执行包括添加使得能够组合所述特性的评估的附加ML模型的更新。

3.根据权利要求1所述的方法，响应于在分析集合中所述总性能指标与所述ML性能指标之间的所述相关性是正相关性，通过使用较大的训练数据集重新训练所述ML模型来改进所述ML模型。

4.根据权利要求1所述的方法，其中，所述属性是所述数据交易的发生时间，其中，所述分析仓集合中的每个分析仓为时间间隔的表示，其中，通过合并所述分析仓集合中的两个或更多个在时间上连续的仓来获得所述分析仓集合中的重新定义的仓，

其中，通过将ML性能指标的变化建模为重新定义的分析仓集合的函数来执行所述估计，以及

所述方法进一步使用所述ML模型来确定所述分析仓集合中的所述ML性能指标的值。

5.根据权利要求4所述的方法，所述建模包括在重新定义的仓上拟合所述ML性能指标的分布。

6.根据权利要求1所述的方法，其中，所述分析仓集合中的每个分析仓表示所述数据交易的记录的不同属性的值的集合，其中，所述值的集合是使用所述不同属性形成的记录集群的值，其中，通过合并其相关联集群彼此具有预定距离的所述分析仓集合中的两个或更多个仓来获得所述重新定义的仓中的重新定义的仓。

7.根据权利要求1所述的方法，在所述计算机系统的运行时间执行。

8.根据权利要求1所述的方法，其中，使用受控计算机系统对另外的分析仓集合重复所述方法。

9.根据权利要求1所述的方法，进一步包括对不同的ML性能指标重复所述方法。

10.根据权利要求1所述的方法，其中，所述分析仓为相等大小的仓。

11.根据权利要求1所述的方法，其中，所述总性能指标或所述ML性能指标的所述计算进一步包括归一化计算的指标。

12.根据权利要求1所述的方法，进一步包括收集所述数据交易的与所述分析仓集合中的每个分析仓相关联的记录以用于对收集的记录执行计算。

13.根据权利要求1所述的方法，所述总性能指标是关键性能指标。

14.根据权利要求1所述的方法，所述ML性能指标选自包括所述ML模型的预测的精度和公平性分数的组。

15.一种用于控制计算机系统操作的系统，所述系统包括：

存储器；以及

处理器，所述处理器通信地耦合到所述存储器，所述处理器被配置为：

确定分析仓集合，其中分析仓表示数据交易的记录属性的值的集合；

计算所述计算机系统的总性能指标，所述总性能指标使用具有由所述分析仓表示的属性值的交易的记录来指示所述计算机系统对于所述分析仓集合中的每个分析仓的交易执行性能；

在所述分析仓集合中的一个或多个仓不具有至少预定义的最小记录数的情况下：

通过合并所述分析仓集合的分析仓来重新定义所述新的分析仓集合，

对于所述重新定义仓集合中的每个仓，使用具有由每个仓表示的属性值的记录来计算ML模型的机器学习(ML)性能指标；

使用所述重新定义仓集合的ML性能指标来估计所述分析仓集合中的每一仓中的所述ML性能指标；

在所述分析仓集合中的每个仓具有至少所述最小数目的记录的情况下，计算所述分析仓集合中的每个仓中的所述ML性能指标；

基于在计算的总性能指标与所述ML性能指标之间的所述分析仓集合上的相关性，配置所述计算机系统以实现进一步执行的数据交易的所述总性能指标与ML性能指标之间的正相关性。

16.一种计算机程序产品，所述计算机程序产品包括：

一个或多个计算机可读存储介质；以及

共同存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令被配置为：

确定分析仓集合，其中分析仓表示数据交易的记录属性值的集合；

计算所述计算机系统的总性能指标，所述总性能指标使用具有由所述分析仓表示的属性值的交易的记录来指示所述计算机系统对于所述分析仓集合中的每个分析仓的交易执行性能；

在所述分析仓集合中的一个或多个仓不具有至少预定义的最小记录数的情况下：

通过合并所述分析仓集合的分析仓来重新定义所述分析仓的新集合，

对于所述重新定义的仓集合中的每个仓，使用具有由每个仓表示的属性值的记录来计算ML模型的机器学习(ML)性能指标；

使用所述重新定义的分析仓集合的ML性能指标来估计所述分析仓集合中每个分析仓的所述ML性能指标；在所述分析仓集合中的每个仓具有至少所述最小数目的记录的情况下，计算所述分析仓集合中的每个仓中的所述ML性能指标；

基于在所计算的总性能指标与所述ML性能指标之间的所述分析仓集合上的相关性，配置所述计算机系统以实现进一步执行的数据交易的所述总性能指标与ML性能指标之间的正相关性。

Images