CN112580823A - 数据处理方法、装置、可读存储介质和电子设备 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、可读存储介质和电子设备，通过确定在线使用的目标模型和对应的至少一个离线的备用模型，并确定各备用模型与目标模型的性能差异值。在性能差异值满足第一调整条件时生成包括备用模型标识的第一调整信息，用于以更新方式调整目标模型。根据第一调整信息确定目标调整信息，以调整目标模型。本发明实施例通过确定目标模型对应的离线备用模型监控模型性能，并在备用模型的性能优于目标模型时自动化地确定对应的调整方式，以通优化或替换的方式调整目标模型，提高在线模型性能，实现了智能化模型监控、维护和管理。

Description

数据处理方法、装置、可读存储介质和电子设备

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、可读存储介质和电子设备。

背景技术

目前机器学习模型广泛应用于各个领域，如何应对多品类与多业务场景下的大规模大批量的模型维护，是一个耗时耗力耗成本的难题。

发明内容

有鉴于此，本发明实施例提供了一种数据处理方法、装置、可读存储介质和电子设备，旨在实现智能化模型监控、维护和管理。

第一方面，本发明实施例公开了一种数据处理方法，所述方法包括：

确定目标模型和对应的至少一个备用模型；

确定各所述备用模型与所述目标模型的性能差异值，所述性能差异值用于表征对应的备用模型和所述目标模型的性能差异；

响应于所述性能差异值满足第一调整条件，生成包括备用模型标识的第一调整信息，用于以更新方式调整所述目标模型；

根据所述第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

第二方面，本发明实施例公开了一种数据处理装置，所述装置包括：

模型确定模块，用于确定目标模型和对应的至少一个备用模型；

模型监控模块，用于确定各所述备用模型与所述目标模型的性能差异值，所述性能差异值用于表征对应的备用模型和所述目标模型的性能差异；

信息生成模块，用于响应于所述性能差异满足第一调整条件，生成包括备用模型标识的第一调整信息，用于以更新方式调整所述目标模型；

模型调整模块，用于根据所述第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

第三方面，本发明实施例公开了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

第四方面，本发明实施例公开了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

本发明实施例通过确定在线使用的目标模型和对应的至少一个离线的备用模型，并确定各备用模型与目标模型的性能差异值。在性能差异值满足第一调整条件时生成包括备用模型标识的第一调整信息，用于以更新方式调整目标模型。根据第一调整信息确定目标调整信息，以调整目标模型。本发明实施例通过确定目标模型对应的离线备用模型监控模型性能，并在备用模型的性能优于目标模型时自动化地确定对应的调整方式，以通优化或替换的方式调整目标模型，提高在线模型性能，实现了智能化模型监控、维护和管理。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1为本发明实施例的数据处理方法的流程图；

图2为本发明实施例的目标模型和备用模型的示意图；

图3为本发明实施例的确定第一调整信息过程的流程图；

图4为本发明实施例的确定第二调整信息过程的流程图；

图5为本发明实施例的确定目标调整信息过程的流程图；

图6为本发明实施例的数据处理装置的示意图；

图7为本发明实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为本发明实施例的数据处理方法的流程图，如图1所示，所述数据处理方法包括以下步骤：

步骤S100、确定目标模型和对应的至少一个备用模型。

具体地，本发明实施例的数据处理方法通过服务器实现，所述服务器可以是单个的服务器、也可以是以分布式方式配置的服务器集群。所述服务器可以通过后台程序运行多个在线模型，通过本地数据库或连接的远程数据库以及云端数据库等离线存储介质存储各在线模型对应的至少一个离线的备用模型，各所述备用模型与对应的在线模型起到的作用相同，用于在满足一定条件的情况下替换对应的在线模型。进一步地，服务器在后台运行的多个在线模型中确定任意一个模型作为目标模型，并在确定数据库中存储的各离线模型中确定所述目标模型对应的离线存储的至少一个备用模型。

图2为本发明实施例的目标模型和备用模型的示意图。如图2所示，所述服务器在后台程序运行的模型中确定目标模型20，同时在离线存储介质中确定目标模型20对应的四个备用模型21，分别为备用模型1、备用模型2、备用模型3和备用模型4。在本发明实施例中，服务器后台程序运行的模型为服务器对应业务的业务模型，可以应用于需要应用机器学习模型的任意领域。例如，在所述服务器为网约车领域服务器时，所述后台程序运行的业务模型可以包括用于预测网约车订单处理时长的行程时长预估模型，用于预测一段时间内网约车订单数量的订单量预估模型以及用于在网约车订单对应的多条路径中预测一条路径的路径预估模型等。进一步地，所述目标模型20对应的备用模型21与所述目标模型20的作用相同。也就是说，当所述目标模型20用于预测网约车订单处理时长时，对应的备用模型21也用于预测网约车订单处理时长。当所述目标模型20用于预测一段时间内的网约车订单数量时，对应的备用模型21也用于预测一段时间内的网约车订单数量。

步骤S200、确定各所述备用模型与所述目标模型的性能差异值。

具体地，服务器在后台程序运行目标模型的过程中，实时监控目标模型的性能，以在所述目标模型性能不满足预设的要求时通过更新或优化的方式进行维护以及管理。在本发明实施例的一个可选地实现方式中，所述服务器的监控方法为确定各所述备用模型与所述目标模型的性能差异值，所述监控过程可以为按预设监控周期确定目标模型与各所述备用模型的性能差异值，或者根据服务器接收到的监控命令确定目标模型和各所述备用模型的性能差异值。所述性能差异值用于表征对应的备用模型和所述目标模型的性能差异。

进一步地，本发明实施例确定各所述备用模型和所述目标模型性能差异值的过程还包括以下步骤：

步骤S210、根据预设的离线样本集合分别确定所述目标模型和各所述备用模型对应的第一离线性能和第二离线性能。

具体地，所述服务器的离线存储介质中还存储各所述目标模型对应的离线样本集合，所述离线样本集合中包括至少一个用于作为模型输入的离线样本和对应的离线输出。可选地，所述离线样本集合可以通过获取预设时间段内目标模型输入的在线数据和对应的真实结果确定，其中将目标模型的输入作为离线输入，对应的真实结果作为离线输出。或者，所述离线样本集合还可以为服务器根据真实数据进行离线仿真确定的多个离线样本和对应的离线输出集合。

以本发明实施例的目标模型用于确定网约车行程时长，对应的输入数据为司机信息、乘客信息、开始位置和结束位置，输出为对应的行程时长为例进行说明。所述离线样本集合可以根据当前时间前一个月内服务器接收到历史网约车订单确定，即将各所述历史网约车订单对应的司机信息、乘客信息、开始位置和结束位置作为离线样本，将对应的实际完成时长作为离线结果确定离线样本集合。进一步地，所述离线样本集合还可以为服务器基于历史网约车订单数据和行程时长的对应关系进行离线仿真，得到的多个虚拟司机信息、虚拟乘客信息、虚拟开始位置和虚拟结束位置作为离线样本，以及和离线样本具有对应关系的多个虚拟完成时长作为离线结果以确定离线样本集合。

进一步地，服务器在确定离线样本集合后，在离线测试环境下将所述离线样本集合中的离线样本分别输入所述目标模型中，得到对应的目标离线输出。同时，所述服务器还分别将所述离线样本集合中各离线样本作为各所述备用样本的输入，确定各所述备用样本对应的至少一个备用离线输出。

进一步地，所述服务器根据各所述离线样本对应的离线输出和目标离线输出确定所述目标模型对应的第一离线性能。同时，对于各所述备用模型，所述服务器根据各离线样本对应的离线输出和备用离线输出确定对应的第二离线性能。所述第一离线性能用于表征所述目标模型在通过所述离线样本集合测试后得到的性能指标，所述第二离线性能用于表征对应的备用模型在通过所述离线样本集合测试后得到的性能指标，且所述第一离线性能和第二离线性能用于表征相同的至少一个性能指标，所述性能指标可以为ROC-AUC(Receiver Operating Characteristic-Area Under Curve)、PRC-AUC(Precision RecallCurve-Area Under Curve)、准确率、召回率等用于评价模型性能的指标。

步骤S220、根据所述第一离线性能和各所述第二离线性能的差异确定对应的性能差异值。

具体地，所述第一离线性能和所述第二离线性能可以直接通过数值表示，或转换为对应的数值表示。服务器可以通过分别计算第一离线性能对应的数值表示和各所述第二离线性能数值表示的差值，并将所述差值作为用于表征目标模型和对应备用模型性能差异的性能差异值。

以所述第一离线性能用于表征目标模型对应的准确率，各所述第二离线性能用于表征对应备用模型的准确率为例进行说明。当目标模型具有四个备用模型，且所述目标模型对应的第一离线性能为0.75，备用模型1、备用模型2、备用模型3和备用模型4分别对应的第二离线性能为0.66、0.73、0.70和0.78时，各所述备用模型对应的性能差异值分别为0.09、0.02、0.05和-0.03。由于模型的准确率越高时性能越好，当对应性能差异值为正时，判断目标模型的性能优于对应的备用模型；当对应的性能差异值为负时，判断目标模型的性能差于对应的备用模型。也就是说，上述目标模型对应的四个备用模型中，只有备用模型4的性能优于目标模型。

步骤S300、响应于所述性能差异值满足第一调整条件，生成包括备用模型标识的第一调整信息。

具体地，服务器在确定各所述备用模型与目标模型的性能差异值后，根据各所述性能差异值确定目标模型是否需要以更新的形式调整，在需要以更新的形式调整的情况下生成对应的第一调整信息。其中，所述第一调整信息中包括用于表征进行模型更新的备用模型的备用模型标识。

在本发明实施例中，服务器确定目标模型是否需要调整的方式为判断各所述性能差异值是否满足第一调整条件。由于所述性能差异值基于目标模型对应的第一离线性能和各备用模型对应的第二离线模型确定，性能差异值越大则证明目标模型较备用模型的性能越好，性能差异值越小则证明目标模型较备用模型的性能越差。所述第一调整条件可以根据所述性能差异值的大小确定，例如确定各所述备用模型对应的性能差异值是否小于预设的第一阈值，以根据各所述性能差异值和第一阈值的差异判断是否需要调整目标模型。可选地，所述第一阈值为一个小于等于0的值。在仅存在一个小于第一阈值的性能差异值时，生成包括所述性能差异值对应的备用模型标识的第一调整信息。在存在大于一个小于第一阈值的性能差异值时对比各所述性能差异值的大小，并确定包括其中性能差异值最小的备用模型标识的第一调整信息。

仍以所述目标模型具有四个备用模型，且所述目标模型对应的第一离线性能为0.75，备用模型1、备用模型2、备用模型3和备用模型4分别对应的第二离线性能为0.66、0.73、0.70和0.78为例进行说明。各所述备用模型对应的性能差异值分别为0.09、0.02、0.05和-0.03，当所述第一阈值为0时，确定所述备用模型4为用于替换目标模型的备用模型，确定包括备用模型4对应备用模型标识的第一调整信息。

图3为本发明实施例的确定第一调整信息过程的流程图。如图3所示，在本发明实施例一个可选的实现方式中，所述服务器根据目标模型和备用模型的性能差异值判断目标模型是否需要调整，并在需要调整时确定对应的第一调整信息。所述确定第一调整信息的过程包括以下步骤：

S30、基于离线样本集合确定用于表征目标模型性能的第一离线性能。

S31、基于离线样本集合确定用于表征目标模型对应各备用模型性能的第二离线性能，步骤S31和步骤S30可以同时执行。

S32、根据第一离线性能和各第二离线性能确定对应备用模型和目标模型的性能差异值。其中，所述性能差异值越大则目标模型性能较备用模型越优，性能差异值越小则目标模型性能较备用模型越差。

S33、判断性能差异值是否小于预设的第一阈值，第一阈值为小于等于0的值。

S34、当存在性能差异值小于预设的第一阈值时，服务器判断目标模型需要更新式调整，生成第一调整信号。其中，当仅有一个小于第一阈值的性能差异值时，确定包括用于表征所述性能差异值对应备用模型的备用模型标识的第一调整信号。当存在大于一个性能差异值小于第一阈值，则确定包括性能差异值最小的备用模型对应的备用模型标识的第一调整信号。

S35、当不存在性能差异值小于预设的第一阈值时，服务器判断目标模型不需要更新式调整。

进一步地，在所述目标模型是否需要通过更新的方式调整的同时，所述服务器还可以判断所述目标模型是否需要通过优化的方式调整。具体而言，服务器还设定用于监控目标模型是否需要优化的第二调整条件，当第二调整条件被触发时生成用于以优化方式调整所述目标模型的第二调整信息。可选地，所述服务器可以从数据、性能和时间等多个维度监控目标模型，在其中一个维度满足预设条件时即认为第二调整条件被触发，需要优化目标模型，生成对应的第二调整信息。

在本发明实施例的一个可选的实现方式中，所述第二调整条件能够基于目标模型的性能波动被触发，即目标模型在性能下降时触发第二调整条件，生成对应的第二调整信息。所述通过监控目标模型性能生成第二调整信息的过程包括以下步骤：

步骤S300’、确定所述目标模型的性能特征值。

具体地，所述服务器确定目标模型确定的在线样本集合和历史性能参数，所述在线样本集合中包括至少一个用于输入目标模型的在线样本和对应的真实结果，所述历史性能参数用于表征目标模型历史的性能指标，可以是根据所述目标模型历史输入的全部或部分在线样本以及模型输出的历史预测结果和历史真实结果确定，所述部分在线样本为距当前时刻所在的预设时间段之前的时间段内获取的在线样本。

进一步地，所述服务器基于所述在线样本集合确定所述目标模型的当前性能参数。所述在线样本集合可以通过获取预设时间段内目标模型输入的在线数据和对应的真实结果确定，其中将目标模型的输入作为在线样本，并根据各所述在线样本和对应的真实结果确定在线样本集合。所述服务器将各所述在线样本输入预设的目标模型中得到对应的预测结果，并根据各所述在线样本的预测结果和真实结果确定所述目标模型的当前性能参数。所述当前性能参数用于表征目标模型当前的性能指标。所述当前性能参数和所述历史性能参数用于表征相同的至少一个性能指标，所述性能指标可以为ROC-AUC(ReceiverOperating Characteristic-Area Under Curve)、PRC-AUC(Precision Recall Curve-Area Under Curve)、准确率、召回率等用于评价模型性能的指标。

以本发明实施例的目标模型用于确定网约车行程时长，对应的输入数据为司机信息、乘客信息、开始位置和结束位置，输出为对应的行程时长为例进行说明。所述在线样本集合可以根据当前时间前一个月内服务器接收到历史网约车订单确定，即将各所述历史网约车订单对应的司机信息、乘客信息、开始位置和结束位置作为在线样本，将对应的实际完成时长作为真实结果确定在线样本集合。

更进一步地，所述服务在确定目标模型对应的历史性能参数和当前性能参数后，根据所述历史性能参数和当前性能参数确定对应的性能特征值。所述确定性能特征值的过程可以为先确定历史性能参数对应的数值表示和当前性能参数对应的数值表示，再通过计算历史性能参数和当前性能参数对应数值表示的差值确定对应的性能特征值。在本发明实施例中，所述历史性能参数越高表征历史的目标模型性能越好，所述当前性能参数越高表征当前的目标模型性能越好。因此，所述性能特征值越大，则认为所述目标模型性能下降的程度越大。

步骤S310’、响应于所述性能特征值大于第二阈值，生成用于以优化方式调整所述目标模型的第二调整信息。

具体地，服务器在确定各所述性能特征值后，判断所述性能特征值与预设的第二阈值之间的关系，以判断是否触发第二调整条件。其中，当所述性能特征值大于第二阈值时，服务器判断目标模型的性能发生较大程度的下降，需要对目标模型进行性能优化，生成对应的第二调整信息。当所述性能特征值小于第二阈值时，服务器判断目标模型的性能未发生较大程度的下降，不需要进行性能优化。

在本发明实施例的一个另可选的实现方式中，所述第二调整条件能够基于目标模型的输入数据波动被触发，即目标模型在数据波动较大时触发第二调整条件，生成对应的第二调整信息。所述通过监控目标模型对应的数据生成第二调整信息的过程包括以下步骤：

步骤S320’、确定所述目标模型对应的数据特征值。

具体地，服务器还可以通过监控目标模型对应的数据特征波动情况判断是否需要进行模型优化。其中，所述服务器的监控过程可以为先确定所述目标模型对应的历史数据和当前数据。所述目标模型对应的历史数据用于表征与所述目标模型有预设关系的至少一种参数的历史特征，可以通过获取历史全部或部分与所述目标模型有预设关系的至少一种参数确定，所述部分参数为距当前时刻所在的预设时间段之前的时间段内获取的参数。所述当前数据用于表征与所述目标模型有预设关系的至少一种参数的当前特征，可以通过获取预设时间段内与所述目标模型有预设关系的至少一种参数确定。所述参数与目标模型的预设关系为影响目标模型性能的关系，即所述参数可以为输入目标模型的在线样本、在线样本对应的真实输出以及其他服务器预设的与目标模型具有对应关系，会影响目标参数性能的参数。可选地，所述数据特征值可以通过监控生产环境样本数据分布的方式确定，或者通过监控生产环境样本标注数据与标注方案的方式确定，以及通过监控线上环境特征数据质量的方式确定。

以本发明实施例的目标模型用于确定网约车订单差评概率为例进行说明。所述服务器可以预先设定与所述目标模型具有对应关系的参数为订单日差评概率，获取距离当前日期之前30天内每一日的差评概率作为当前数据。同时，获取距离当前日期之前60天至30天内每一日的差评概率作为历史数据。

进一步地，服务器再根据所述历史数据和当前数据确定用于表征所述历史数据与当前数据的差异的数据特征值。当所述历史数据和当前数据具有对应数值时，直接计算所述历史数据和当前数据对应的数值差值确定数据特征值。所述历史数据和当前数据对应的数值可以为平均值、方差等特征值。可选地，当所述历史数据和当前数据中分别包括多个数值时，还可以通过确定所述历史数据对应曲线和当前数据对应曲线的相关系数确定数据特征值。所述数据特征值越大表征历史数据和当前数据的差异越大，对所述目标模型的性能影响越大。

步骤S330’、响应于所述数据特征值大于第三阈值，生成用于以优化方式调整所述目标模型的第二调整信息。

具体地，服务器在确定各所述数据特征值后，判断所述数据特征值与预设的第三阈值之间的关系，以判断是否触发第二调整条件。其中，当所述数据特征值大于第三阈值时，服务器判断目标模型的性能会受到较大影响，需要对目标模型进行性能优化，生成对应的第二调整信息。当所述数据特征值小于第三阈值时，服务器判断目标模型的性能未发生较大程度的下降，不需要进行性能优化。

在本发明实施例的一个又可选的实现方式中，所述第二调整条件还能够基于预设的时间周期被触发，即根据预设的时间周期定期触发第二调整条件，周期性的生成对应的第二调整信息。例如，当所述预设的时间周期为1个月，则服务器每个月生成一次第二调整信息，用于以优化的方式调整所述目标模型。

图4为本发明实施例的确定第二调整信息过程的流程图。如图4所示，所述服务器可以通过监控与目标模型对应的数据、性能以及时间判断目标模型是否需要以优化的方式调整，即是否生成第二调整信息。所述确定是否生成第二调整信息的过程包括以下步骤：

S40、确定用于表征目标模型性能波动的性能特征值。

S41、确定用于表征目标模型对应数据波动的数据特征值。

S42、确定是否满足预设时间周期。

S43、上述步骤S40、S41和S42可以同时监控，判断是否存在至少一个监控结果触发第二调整条件。

S44、至少一个触发第二调整条件时生成第二调整信息。

S45、全未触发第二调整条件时不生成第二调整信息。

步骤S400、根据所述第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

具体地，在第一调整信息被生成后，所述服务器可以根据第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。进一步地，当所述第二调整信息被生成后，所述服务器根据第一调整信息和第二调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。可选地，所述目标调整信息的生成规则为当第一调整信息被生成且第二调整信息未被生成时，确定所述第一调整信息为目标调整信息。当所述第一调整信息和第二调整信息均被生成时，确定所述第二调整信息为目标调整信息。当所述第二调整信息被生成，且第一调整信息未被生成时，确定所述第二调整信息为目标调整信息。

在本发明实施例的一个可选地实现方式中，所述服务器确定第一调整信息为目标调整信息，以通过所述目标调整信息调整所述目标模型。由于所述第一调整信息为更新式调整，服务器确定所述目标调整信息中包括的备用模型标识对应的备用模型为目标备用模型，将所述目标备用模型更新为新的目标模型。

进一步地，所述服务器在进行所述更新式调整之前，还可以向相关的终端设备发送包括所述备用模型标识的更新请求，以通过使用所述终端设备的运维人员确定是否更新模型。在接收到基于所述更新请求返回的确认信息时将所述目标备用模型更新为目标模型。可选地，在接收到基于所述更新请求返回的反对信息或未接收到确认信息时不进行模型更新。

在本发明实施例的另一个可选地实现方式中，所述服务器确定第二调整信息为目标调整信息，以通过所述目标调整信息调整所述目标模型。所述优化式的更新方法为通过服务器确定调整样本集合，所述调整样本集合中包括至少一个调整样本和对应的调整输出。并根据所述调整样本集合离线训练所述目标模型，在训练完成并满足预设的离线评估条件后更新所述目标模型。其中，所述调整样本集合可以为周期性存储的在线样本集合，或离线仿真方式确定的离线样本集合。

图5为本发明实施例的确定目标调整信息过程的流程图。如图5所示，所述服务器确定目标调整信息的过程包括以下步骤：

S50、确定第一调整信息是否被生成。

S51、确定第二调整信息是否被生成。

S52、在仅第一调整信息被生成时确定第一调整信息为目标调整信息。

S53、在仅第二调整信息被生成时，或者第一调整信息和第二调整信息均被生成时确定第二调整信息为目标调整信息。

本发明实施例的数据处理方法通过确定目标模型对应的离线备用模型监控模型性能，并在备用模型的性能优于目标模型时监控是否需要以替换的方式调整目标模型，以及通过确定目标模型的性能波动和数据波动监控是否需要以优化的方式调整目标模型。并根据监控结果自动化的选择优化或替换的方式调整目标模型，提高在线模型性能，实现了智能化模型监控、维护和管理。

图6为本发明实施例的数据处理装置的示意图。如图6所示，所述模型确定模块60、模型监控模块61、信息生成模块62和模型调整模块63。

具体地，模型确定模块60用于确定目标模型和对应的至少一个备用模型。模型监控模块61用于确定各所述备用模型与所述目标模型的性能差异值，所述性能差异值用于表征对应的备用模型和所述目标模型的性能差异。信息生成模块62用于响应于所述性能差异满足第一调整条件，生成包括备用模型标识的第一调整信息，用于以更新方式调整所述目标模型。模型调整模块63用于根据所述第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

对应的离线备用模型监控模型性能，并在备用模型的性能优于目标模型时监控是否需要以替换的方式调整目标模型，以及通过确定目标模型的性能波动和数据波动监控是否需要以优化的方式调整目标模型。并根据监控结果自动化的选择优化或替换的方式调整目标模型，提高在线模型性能，实现了智能化模型监控、维护和管理。

图7为本发明实施例的电子设备的示意图。如图7所示，图7所示的电子设备为通用地址查询装置，其包括通用的计算机硬件结构，其至少包括处理器70和存储器71。处理器70和存储器71通过总线72连接。存储器71适于存储处理器70可执行的指令或程序。处理器70可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器70通过执行存储器71所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线72将上述多个组件连接在一起，同时将上述组件连接到显示控制器73和显示装置以及输入/输出(I/O)装置74。输入/输出(I/O)装置74可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置74通过输入/输出(I/O)控制器75与系统相连。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。

这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。

也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种数据处理方法，其特征在于，所述方法包括：

确定目标模型和对应的至少一个备用模型；

确定各所述备用模型与所述目标模型的性能差异值，所述性能差异值用于表征对应的备用模型和所述目标模型的性能差异；

响应于所述性能差异值满足第一调整条件，生成包括备用模型标识的第一调整信息，用于以更新方式调整所述目标模型；

根据所述第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

2.根据权利要求1所述的方法，其特征在于，所述确定各所述备用模型与所述目标模型的性能差异值包括：

根据预设的离线样本集合分别确定所述目标模型和各所述备用模型对应的第一离线性能和第二离线性能，所述离线样本集合中包括至少一个用于作为模型输入的离线样本和对应的离线输出；

根据所述第一离线性能和各所述第二离线性能的差异确定对应的性能差异值。

3.根据权利要求1所述的方法，其特征在于，所述响应于所述性能差异满足第一调整条件，生成第一调整信息包括：

确定各所述备用模型对应的性能差异值是否小于预设的第一阈值；

响应于存在一个小于第一阈值的性能差异值，生成包括所述性能差异值对应的备用模型标识的第一调整信息。

4.根据权利要求3所述的方法，其特征在于，所述响应于所述性能差异值满足第一调整条件，生成第一调整信息还包括：

响应于存在多个小于第一阈值的性能差异值，对比各所述性能差异值的大小；

确定包括性能差异值最小的备用模型标识的第一调整信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于第二调整条件被触发，生成用于以优化方式调整所述目标模型的第二调整信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一调整信息确定目标调整信息具体为：

根据所述第一调整信息和第二调整信息中的至少一个确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

7.根据权利要求5所述的方法，其特征在于，所述响应于第二调整条件被触发，生成用于以优化方式调整所述目标模型的第二调整信息包括：

确定所述目标模型的性能特征值；

响应于所述性能特征值大于第二阈值，生成用于以优化方式调整所述目标模型的第二调整信息。

8.根据权利要求7所述的方法，其特征在于，所述确定所述目标模型的性能特征值包括：

确定目标模型对应的在线样本集合和历史性能参数，所述在线样本集合中包括至少一个用于输入目标模型的在线样本和对应的真实结果；

根据各所述在线样本对应的真实结果和输入目标模型得到的预测结果确定目标模型的当前性能参数；

根据所述历史性能参数和当前性能参数确定对应的性能特征值。

9.根据权利要求5所述的方法，其特征在于，所述响应于第二调整条件被触发，生成用于以优化方式调整所述目标模型的第二调整信息包括：

确定所述目标模型对应的数据特征值；

响应于所述数据特征值大于第三阈值，生成用于以优化方式调整所述目标模型的第二调整信息。

10.根据权利要求9所述的方法，其特征在于，所述确定所述目标模型对应的数据特征包括：

确定所述目标模型对应的历史数据和当前数据；

根据所述历史数据和当前数据确定数据特征值，所述数据特征值用于表征所述历史数据与当前数据的差异。

11.根据权利要求5所述的方法，其特征在于，所述响应于第二调整条件被触发，生成用于以优化方式调整所述目标模型的第二调整信息具体为：

根据预设的时间周期周期性生成用于以优化方式调整所述目标模型的第二调整信息。

12.根据权利要求6所述的方法，其特征在于，所述根据所述第一调整信息和第二调整信息中的至少一个确定目标调整信息，以通过所述目标调整信息调整所述目标模型包括：

响应于所述第二调整信息未被确定，确定所述第一调整信息为目标调整信息；

响应于所述第二调整信息被确定，确定所述第二调整信息为目标调整信息；

通过所述目标调整信息调整所述目标模型。

13.根据权利要求1所述的方法，其特征在于，所述通过所述目标调整信息调整所述目标模型包括：

响应于所述目标调整信息为第一调整信息，基于所述目标调整信息中的备用模型标识确定目标备用模型；

将所述目标备用模型更新为目标模型。

14.根据权利要求13所述的方法，其特征在于，所述将所述目标备用模型更新为目标模型包括：

发送包括所述备用模型标识的更新请求；

响应于接收到基于所述更新请求返回的确认信息，将所述目标备用模型更新为目标模型。

15.根据权利要求12所述的方法，其特征在于，所述通过所述目标调整信息调整所述目标模型包括：

响应于所述目标调整信息为第二调整信息，确定调整样本集合，所述调整样本集合中包括至少一个调整样本和对应的调整输出；

根据所述调整样本集合离线训练并更新所述目标模型。

16.一种数据处理装置，其特征在于，所述装置包括：

模型确定模块，用于确定目标模型和对应的至少一个备用模型；

模型监控模块，用于确定各所述备用模型与所述目标模型的性能差异值，所述性能差异值用于表征对应的备用模型和所述目标模型的性能差异；

信息生成模块，用于响应于所述性能差异满足第一调整条件，生成包括备用模型标识的第一调整信息，用于以更新方式调整所述目标模型；

模型调整模块，用于根据所述第一调整信息确定目标调整信息，以通过所述目标调整信息调整所述目标模型。

17.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-15中任一项所述的方法。

18.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-15中任一项所述的方法。

Images