CN112884159A

CN112884159A - 模型更新系统、模型更新方法及相关设备

Info

Publication number: CN112884159A
Application number: CN201911209129.2A
Authority: CN
Inventors: 常庆龙; 张彦芳; 孙旭东; 薛莉; 张亮
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-11-30
Filing date: 2019-11-30
Publication date: 2021-06-01
Anticipated expiration: 2039-11-30
Also published as: WO2021103823A1; KR20220098011A; US20220284352A1; EP4050528A4; JP2023504103A; JP7401677B2; EP4050528A1; CN112884159B

Abstract

本申请实施例公开了一种模型更新系统，可以应用于网络控制领域。本申请实施例系统包括：局点分析设备和第一分析设备；局点分析设备，用于接收第一分析设备发送的第一模型，利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备所对应的局点网络的网络设备的第一特征数据，获取第一模型和第二模型的差异数据，并向第一分析设备发送差异数据；第一分析设备，用于向局点分析设备发送第一模型，接收局点分析设备发送的差异数据，并根据差异数据更新第一模型，获得第三模型。本申请实施例的第一分析设备可以在更新第一模型的基础上，提高私密性。

Description

模型更新系统、模型更新方法及相关设备

技术领域

本申请实施例涉及网络控制领域，尤其涉及模型更新系统、模型更新方法及相关设备。

背景技术

随着人工智能(artificial intelligence，AI)的快速发展，AI模型凭借着灵活、智能等特点在网络中被广泛使用。

网络设备配置AI模型后，网络设备将网络设备上的特征数据作为AI模型的输入，网络设备上的特征数据由网络设备的流量场景决定，不同的流量场景会产生不同的特征数据，在网络设备向AI模型输入特征数据后，网络设备可以根据AI模型获得输出结果。网络设备可以根据该输出结果做出相应的决策，或者将该输出结果发送给其它网络设备，帮助其它网络设备利用该输出结果做出相应的决策。

由于AI模型是根据训练数据训练得到的，当网络设备的场景与训练数据的采集场景不相同，或者网络设备的场景与训练数据的采集场景本来相同，但是由于网络设备的场景发生变化，导致网络设备的场景与训练数据的采集场景不相同，AI模型的性能可能会下降，因此如何保持AI模型的性能，是一个急需解决的问题。

发明内容

本申请实施例提供了一种模型更新系统、模型更新方法及相关设备，可以在更新第一模型的基础上，提高私密性。

本申请实施例第一方面提供了一种模型更新系统，包括：

局点分析设备和第一分析设备；第一分析设备可以获取第一模型，在获得第一模型后，第一分析设备可以向局点分析设备发送该第一模型；局点分析设备可以获取到网络设备发送的第一特征数据；在接收到第一模型后，局点分析设备可以利用第一训练样本训练该第一模型，获得第二模型，该第一训练样本包括第一特征数据；在获得第二模型后，局点分析设备可以获取第一模型和第二模型的差异数据，局点分析设备获得差异数据后，局点分析设备向第一分析设备发送该差异数据，第一分析设备可以接收到该差异数据，并根据该差异数据更新第一模型，获得第三模型。

本申请实施例中，局点分析设备可以利用第一训练样本训练第一模型，获得第二模型，局点分析设备可以获取第一模型和第二模型的差异数据，并向第一分析设备发送该差异数据，用于请求第一分析设备根据差异数据更新第一模型，其中，差异数据由局点分析设备根据第一模型和第二模型得到，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让第一分析设备为了保持模型性能而更新第一模型的基础上，提高了私密性。

在一种可能的设计中，在本申请实施例的第一方面的第一种实施方式中，局点分析设备还用于确定第一模型是否发生劣化，只有在局点分析设备确定第一模型发生劣化时，局点分析设备才利用第一训练样本训练第一模型，获得第二模型。

本申请实施例中，局点分析设备只有在确定第一模型发生劣化时，局点分析设备才会利用第一训练样本训练第一模型，获得第二模型，其中，当局点分析设备确定第一模型发生劣化时，则表明第一模型的性能下降，因此，局点分析设备只有在第一模型的性能下降时，才会利用第一训练样本训练第一模型，因此避免了第一模型的性能没有下降时，局点分析设备利用第一训练样本训练第一模型的情况，节省了局点分析设备的网络资源。

在一种可能的设计中，在本申请实施例的第一方面的第二种实施方式中，系统包括N个局点分析设备，因此第一分析设备可以与N个局点分析设备相连，N为大于1的整数；在第一分析设备获得第一模型后，第一分析设备具体用于向N个局点分析设备发送第一模型，第一分析设备可以接收L个局点分析设备发送的多个差异数据，L为大于1，且小于或等于N的整数，并根据多个差异数据更新第一模型，获得第三模型。

本申请实施例中，第一分析设备可以与N个局点分析设备相连，因为N为大于1的整数，因此第一分析设备可以与多个局点分析设备相连，在此基础上，第一分析设备可以接收到L个局点分析设备发送的多个差异数据，L为大于1，且小于或等于N的整数，因为L大于1，因此第一分析设备可以接收到多个局点分析设备发送的多个差异数据，并根据多个差异数据更新第一模型。其中，因为第一分析设备可以接收到多个局点分析设备发送的多个差异数据，并根据多个差异数据更新第一模型，降低了在多个局点分析设备的情况下，第一分析设备只利用某个局点分析设备的差异数据，导致第一分析设备根据差异数据获得的第三模型与其它局点分析设备不匹配的情况，即第三模型在其它局点分析设备上的性能表现还要低于第一模型在其它局点分析设备上的性能表现。

在一种可能的设计中，在本申请实施例的第一方面的第三种实施方式中，局点分析设备不向第一分析设备发送第二模型。

本申请实施例中，局点分析设备不向第一分析设备发送第二模型，因为第一分析设备中也存储有第一模型，因此局点分析设备只需发送第一模型和第二模型的差异数据，第一分析设备可以根据差异数据更新第一模型获得第三模型，因为差异数据的数据量要小于第二模型的数据量，因此可以节省网络的传输资源。

在一种可能的设计中，在本申请实施例的第一方面的第四种实施方式中，第一分析设备还用于统计向第一分析设备发送差异数据的局点分析设备的数量L；若L与N的比值达到阈值K，K大于0且小于或等于1，则第一分析设备利用差异数据更新第一模型，获得第三模型。

本申请实施例中，第一分析设备可以统计向第一分析设备发送差异数据的局点分析设备的数量L，只有L与N的比值达到阈值K，第一分析设备才会利用差异数据更新第一模型，获得第三模型。其中，只有一定数量的局点分析设备向第一分析设备发送差异数据，第一分析设备才会利用差异数据更新第一模型，获得第三模型，因此第一分析设备可以通过设置阈值K，灵活的调节第一分析设备更新第一模型的频率。

在一种可能的设计中，在本申请实施例的第一方面的第五种实施方式中，系统还包括网络设备；网络设备，用于接收局点分析设备发送的更新后的模型，更新后的模型包括第二模型或第三模型，网络设备根据网络设备的待预测特征数据，利用更新后的模型输出推理结果；局点分析设备，还用于向网络设备发送更新后的模型。

本申请实施例中，更新后的模型包括第二模型或第三模型，限定了第二模型或第三模型配置于网络设备，网络设备可以直接采集网络设备上待预测特征数据，因此可以节约网络资源。

在一种可能的设计中，在本申请实施例的第一方面的第六种实施方式中，网络设备，用于向局点分析设备发送网络设备的待预测特征数据，局点分析设备还用于根据网络设备的待预测特征数据，利用更新后的模型输出推理结果。

本申请实施例中，更新后的模型包括第二模型或第三模型，限定了第二模型或第三模型配置于局点分析设备，局点分析设备获取网络设备发送的待预测特征数据，局点分析设备根据网络设备的待预测特征数据，利用更新后的模型输出推理结果，因此，可以实现远程预测，无需在网络设备的本地做预测，降低了推理结果在网络设备上被泄露的可能。

在一种可能的设计中，在本申请实施例的第一方面的第七种实施方式中，网络设备具体用于根据网络设备的待预测特征数据，利用更新后的模型进行分类结果的预测。

本申请实施例中，更新后的模型包括第二模型或第三模型，限定了第二模型或第三模型的功能是做分类预测，因此提高了方案的可实现性。

在一种可能的设计中，在本申请实施例的第一方面的第八种实施方式中，局点分析设备，具体用于根据网络设备的待预测特征数据，利用更新后的模型进行分类结果的预测。

在一种可能的设计中，在本申请实施例的第一方面的第九种实施方式中，待预测特征数据包括KPI特征数据，KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

本申请实施例中，限定了KPI特征数据为KPI时间序列的特征数据，或者为KPI数据，提升了方案的可实现性。

在一种可能的设计中，在本申请实施例的第一方面的第十种实施方式中，差异数据为梯度信息。

本申请实施例中，梯度信息属于神经网络模型的概念，因此限定了第一模型，第二模型和第三模型的种类是属于神经网络模型，因此提高了方案的可实现性。

本申请实施例第二方面提供了一种模型更新方法，包括：

局点分析设备可以接收到第一分析设备发送的第一模型；在局点分析设备接收到第一模型后，局点分析设备可以利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备所对应的局点网络的网络设备的第一特征数据；在局点分析设备获取到第二模型后，局点分析设备可以获取第一模型和第二模型的差异数据；局点分析设备可以向第一分析设备发送差异数据，用于请求第一分析设备根据差异数据更新第一模型，获得第三模型。

本申请实施例中，局点分析设备可以接收到第一分析设备发送的第一模型，并利用第一训练样本训练第一模型，获得第二模型，在获取到第二模型后，局点分析设备可以获取第一模型和第二模型的差异数据，并向第一分析设备发送该差异数据，用于请求第一分析设备根据差异数据更新第一模型，其中，差异数据由局点分析设备根据第一模型和第二模型得到，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让第一分析设备为了保持模型性能而更新第一模型的基础上，提高了私密性。

在一种可能的设计中，在本申请实施例的第二方面的第一种实施方式中，局点分析设备确定第一模型是否发生劣化，若局点分析设备确定第一模型发生劣化，则局点分析设备利用第一训练样本训练第一模型，获得第二模型。

在一种可能的设计中，在本申请实施例的第二方面的第二种实施方式中，局点分析设备可以获取第一模型的性能量化指标；局点分析设备确定第一模型的性能量化指标是否小于目标阈值；若第一模型的性能量化指标小于目标阈值，则局点分析设备确定第一模型发生劣化。

本申请实施例中，若第一模型的性能量化指标小于目标阈值，则局点分析设备确定第一模型发生劣化，其中，限定了局点分析设备通过获取第一模型的性能量化指标的方式来确定第一模型是否发生劣化，提升了方案的可实现性。

在一种可能的设计中，在本申请实施例的第二方面的第三种实施方式中，局点分析设备可以获取网络设备的第二特征数据；局点分析设备可以获取第一模型根据第二特征数据得出的第一推理结果；局点分析设备可以根据第一推理结果和第二特征数据的预设标签获取第一模型的准确率，将准确率作为第一模型的性能量化指标，或局点分析设备可以根据第一推理结果和第二特征数据的预设标签获取第一模型的召回率，将召回率作为第一模型的性能量化指标。

本申请实施例中，局点分析设备根据第一推理结果和第二特征数据的预设标签获取第一模型的准确率，局点分析设备将准确率作为第一模型的性能量化指标，第一推理结果由第一模型根据第二特征数据得出，或，局点分析设备根据第一推理结果和第二特征数据的预设标签获取第一模型的召回率，局点分析设备将召回率作为第一模型的性能量化指标，第一推理结果由第一模型根据第二特征数据得出，其中第一推理结果和第二特征数据的预设标签都与第二特征数据相关，第二特征数据来自于网络设备，并且第一模型用于根据网络设备的待预测特征数据输出推理结果，因此根据第二特征数据来确定第一模型的性能量化指标相比于用其它设备上的特征数据来确定第一模型的性能量化指标有更高的准确性。

在一种可能的设计中，在本申请实施例的第二方面的第四种实施方式中，局点分析设备向网络设备发送第一数据请求，用于请求网络设备向局点分析设备发送第二训练样本，第二训练样本包括第二特征数据和第一推理结果，第一推理结果由第一模型根据第二特征数据获得。

本申请实施例中，限定了第二特征数据和第一推理结果的来源，提升了方案的可实现性。

在一种可能的设计中，在本申请实施例的第二方面的第五种实施方式中，局点分析设备向网络设备发送更新后的模型，更新后的模型包括第二模型或第三模型，用于根据网络设备的待预测特征数据，输出推理结果。

在一种可能的设计中，在本申请实施例的第二方面的第六种实施方式中，局点分析设备向网络设备发送更新后的模型，更新后的模型包括第二模型或第三模型，用于根据网络设备的待预测特征数据，进行分类结果的预测，待预测特征数据包括关键绩效指标KPI特征数据。

本申请实施例中，更新后的模型包括第二模型或第三模型，限定了第二模型或第三模型的功能是做分类预测，待预测特征数据包括KPI特征数据，因此提高了方案的可实现性。

在一种可能的设计中，在本申请实施例的第二方面的第七种实施方式中，局点分析设备接收网络设备的待预测特征数据；局点分析设备根据网络设备的待预测特征数据，利用更新后的模型输出推理结果，更新后的模型包括第二模型或第三模型。

在一种可能的设计中，在本申请实施例的第二方面的第八种实施方式中，待预测特征数据包括KPI特征数据；局点分析设备根据网络设备的待预测特征数据，利用更新后的模型进行分类结果的预测。

本申请实施例中，更新后的模型包括第二模型或第三模型，限定了第二模型或第三模型的功能是做分类预测，待预测特征数据包括KPI特征数据，因此提升了方案的可实现性。

在一种可能的设计中，在本申请实施例的第二方面的第九种实施方式中，KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

在一种可能的设计中，在本申请实施例的第二方面的第十种实施方式中，局点分析设备利用测试数据测试第二模型，测试数据包括真实标签；局点分析设备保存劣化数据，用于让局点分析设备利用劣化数据更新局点分析设备中的模型，劣化数据属于测试数据，劣化数据的推理标签不等于真实标签，推理标签由局点分析设备利用测试数据测试第二模型得到。

本申请实施例中，在局点分析设备利用第一训练样本训练第一模型，得到第二模型后，局点分析设备可以利用测试数据测试第二模型，并保存劣化数据，用于让局点分析设备利用劣化数据更新局点分析设备中的模型，其中，劣化数据用于让局点分析设备利用劣化数据更新局点分析设备中的模型，因此在局点分析设备保存劣化数据后，局点分析设备需要更新模型时，可以利用劣化数据更新模型，因为劣化数据属于第二模型没有学好的数据，局点分析设备保存这些数据，用于以后模型的更新，可以让后续的模型重新学习没有学好的数据，因此提升了后续模型的性能。

在一种可能的设计中，在本申请实施例的第二方面的第十一种实施方式中，差异数据为梯度信息。

在一种可能的设计中，在本申请实施例的第二方面的第十二种实施方式中，局点分析设备不向第一分析设备发送第二模型。

本申请实施例第三方面提供了一种模型更新方法，包括：

第一分析设备向局点分析设备发送第一模型，第一模型用于根据网络设备的待预测特征数据输出推理结果；第一分析设备接收第一模型和第二模型的差异数据，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括局点分析设备对应的局点网络的网络设备的第一特征数据；第一分析设备利用差异数据更新第一模型，获得第三模型。

本申请实施例中，第一分析设备可以向局点分析设备发送第一模型；第一分析设备接收第一模型和第二模型的差异数据，利用差异数据更新第一模型，获得第三模型。其中，差异数据由局点分析设备根据第一模型和第二模型得到，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让第一分析设备为了保持模型性能而更新第一模型的基础上，提高了私密性。

在一种可能的设计中，在本申请实施例的第三方面的第一种实施方式中，第一分析设备可以向N个局点分析设备发送第一模型，N为大于1的整数；第一分析设备可以接收L个局点分析设备发送的多个差异数据，L为大于1，且小于或等于N的整数；第一分析设备利用多个差异数据更新第一模型，获得第三模型；第一分析设备向N个局点分析设备发送第三模型。

本申请实施例中，第一分析设备可以向N个局点分析设备发送第一模型，因为N为大于1的整数，因此第一分析设备可以与多个局点分析设备相连，在此基础上，第一分析设备可以接收到L个局点分析设备发送的多个差异数据，L为大于1，且小于或等于N的整数，因为L大于1，因此第一分析设备可以接收到多个局点分析设备发送的多个差异数据，并根据多个差异数据更新第一模型。其中，因为第一分析设备可以接收到多个局点分析设备发送的多个差异数据，并根据多个差异数据更新第一模型，降低了在多个局点分析设备的情况下，第一分析设备只利用某个局点分析设备的差异数据，导致第一分析设备根据差异数据获得的第三模型与其它局点分析设备不匹配的情况，即第三模型在其它局点分析设备上的性能表现还要低于第一模型在其它局点分析设备上的性能表现。

在一种可能的设计中，在本申请实施例的第三方面的第二种实施方式中，第一分析设备可以获取多个差异数据的均值；第一分析设备利用多个差异数据的均值更新第一模型，获得第三模型。

本申请实施例中，第一分析设备利用多个差异数据的均值更新第一模型，其中，限定了第一分析设备利用多个差异数据的方式，提升了方案的可实现性。

在一种可能的设计中，在本申请实施例的第三方面的第三种实施方式中，第一分析设备可以获取多个差异数据的加权平均值；第一分析设备利用加权平均值更新第一模型，获得第三模型。

本申请实施例中，第一分析设备利用加权平均值更新第一模型，其中，第一分析设备获取了多个差异数据的加权平均值，因此，第一分析设备可以根据不同的差异数据配置不同的加权系数，因此，提高了方案的灵活性。

在一种可能的设计中，在本申请实施例的第三方面的第四种实施方式中，第一分析设备可以统计向第一分析设备发送差异数据的局点分析设备的数量L；若L与N的比值达到阈值K，K大于0且小于或等于1，N为接收第一分析设备发送的第一模型的局点分析设备的数量，则第一分析设备利用差异数据更新第一模型，获得第三模型。

在一种可能的设计中，在本申请实施例的第三方面的第五种实施方式中，差异数据为梯度信息。

在一种可能的设计中，在本申请实施例的第三方面的第六种实施方式中，第一分析设备不接收局点分析设备发送的第二模型。

本申请实施例中，第一分析设备不接收局点分析设备发送的第二模型，因为第一分析设备中也存储有第一模型，因此第一分析设备只需接收第一模型和第二模型的差异数据，第一分析设备可以根据差异数据更新第一模型获得第三模型，因为差异数据的数据量要小于第二模型的数据量，因此可以节省网络的传输资源。

本申请实施例第四方面提供了一种模型更新装置，包括：

接收单元，用于接收第一分析设备发送的第一模型；

训练单元，用于利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备所对应的局点网络的网络设备的第一特征数据；

获取单元，用于获取第一模型和第二模型的差异数据；

发送单元，用于向第一分析设备发送差异数据，用于请求第一分析设备根据差异数据更新第一模型，获得第三模型。

在一种可能的设计中，装置还包括：

确定单元，用于确定第一模型是否发生劣化，若确定单元确定第一模型发生劣化时，则训练单元利用第一训练样本训练第一模型，获得第二模型。

在一种可能的设计中，获取单元还用于获取第一模型的性能量化指标；

确定单元还用于确定第一模型的性能量化指标是否小于目标阈值；

确定单元具体用于若第一模型的性能量化指标小于目标阈值，则确定第一模型发生劣化。

在一种可能的设计中，获取单元还用于获取网络设备的第二特征数据；

获取单元还用于获取第一模型根据第二特征数据得出的第一推理结果；

获取单元具体用于根据第一推理结果和第二特征数据的预设标签获取第一模型的准确率，将准确率作为第一模型的性能量化指标，或获取单元具体用于根据第一推理结果和第二特征数据的预设标签获取第一模型的召回率，将召回率作为第一模型的性能量化指标。

在一种可能的设计中，发送单元还用于向网络设备发送第一数据请求，用于请求网络设备向局点分析设备发送第二训练样本，第二训练样本包括第二特征数据和第一推理结果，第一推理结果由第一模型根据第二特征数据获得。

在一种可能的设计中，发送单元还用于向网络设备发送更新后的模型，更新后的模型包括第二模型或第三模型，用于根据网络设备的待预测特征数据，输出推理结果。

在一种可能的设计中，发送单元还用于向网络设备发送更新后的模型，更新后的模型包括第二模型或第三模型，用于根据网络设备的待预测特征数据，进行分类结果的预测，待预测特征数据包括关键绩效指标KPI特征数据。

在一种可能的设计中，接收单元还用于接收网络设备的待预测特征数据；

装置还包括：

推理单元，用于根据网络设备的待预测特征数据，利用更新后的模型输出推理结果，更新后的模型包括第二模型或第三模型。

在一种可能的设计中，待预测特征数据包括KPI特征数据；

推理单元具体用于局点分析设备根据网络设备的待预测特征数据，利用更新后的模型进行分类结果的预测。

在一种可能的设计中，KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

在一种可能的设计中，装置还包括：

测试单元，用于利用测试数据测试第二模型，测试数据包括真实标签；

保存单元，用于保存劣化数据，用于让局点分析设备利用劣化数据更新局点分析设备中的模型，劣化数据属于测试数据，劣化数据的推理标签不等于真实标签，推理标签由局点分析设备利用测试数据测试第二模型得到。

本申请实施例第五方面提供了一种模型更新装置，包括：

发送单元，用于向局点分析设备发送第一模型，第一模型用于根据网络设备的待预测特征数据输出推理结果；

接收单元，用于接收第一模型和第二模型的差异数据，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括局点分析设备对应的局点网络的网络设备的第一特征数据；

更新单元，用于利用差异数据更新第一模型，获得第三模型。

在一种可能的设计中，发送单元具体用于向N个局点分析设备发送第一模型，N为大于1的整数；

接收单元具体用于接收L个局点分析设备发送的多个差异数据，L为大于1，且小于或等于N的整数；

更新单元具体用于利用多个差异数据更新第一模型，获得第三模型；

发送单元还用于向N个局点分析设备发送第三模型。

在一种可能的设计中，装置还包括：

获取单元，用于获取多个差异数据的均值；

更新单元具体用于利用多个差异数据的均值更新第一模型，获得第三模型。

在一种可能的设计中，装置还包括：

获取单元，用于获取多个差异数据的加权平均值；

更新单元具体用于利用加权平均值更新第一模型，获得第三模型。

在一种可能的设计中，装置还包括：

统计单元，用于统计向第一分析设备发送差异数据的局点分析设备的数量L，更新单元具体用于若L与N的比值达到阈值K，K大于0且小于或等于1，则利用差异数据更新第一模型，获得第三模型。

本申请实施例第六方面提供了一种模型更新设备，包括：

存储器和处理器；

其中，存储器用于存储程序；

处理器用于执行存储器中的程序，包括执行如上述第二方面或第二方面任意任意一项实施方式中的方法；或，执行如上述第三方面或第三方面任意任意一项实施方式中的方法。

本申请实施例第七方面提供了一种计算机存储介质，其特征在于，计算机存储介质中存储有指令，指令在计算机上执行时，使得计算机执行如上述第二方面或第二方面任意任意一项实施方式中的方法；或，执行如上述第三方面或第三方面任意任意一项实施方式中的方法。

本申请实施例第八方面提供了一种计算机程序产品，其特征在于，计算机程序产品在计算机上执行时，指令在计算机上执行时，使得计算机执行如上述第二方面或第二方面任意任意一项实施方式中的方法；或，执行如上述第三方面或第三方面任意任意一项实施方式中的方法。

附图说明

图1为本申请实施例的一个应用场景示意图；

图2为本申请实施例的另一个应用场景示意图；

图3为本申请实施例中模型更新方法的一个流程示意图；

图4为本申请实施例中模型更新方法的另一个流程示意图；

图5为本申请实施例中模型更新系统的一个结构示意图；

图6为本申请实施例中模型更新系统的另一个结构示意图；

图7为本申请实施例中模型更新装置的一个结构示意图；

图8为本申请实施例中模型更新装置的另一个结构示意图；

图9为本申请实施例中模型更新装置的另一个结构示意图；

图10为本申请实施例中模型更新装置的另一个结构示意图；

图11为本申请实施例中模型更新设备的一个结构示意图；

图12为本申请实施例中模型更新设备的另一个结构示意图。

具体实施方式

本申请实施例提供了一种模型更新系统、模型更新方法及相关设备，用于网络控制领域，可以在更新第一模型的基础上，提高私密性。

为了便于读者理解，本申请实施例对提供的模型更新方法所涉及的机器学习算法进行简单介绍。

机器学习算法作为AI领域的一个重要分支，在众多领域得到了广泛的应用。从学习方法的角度，机器学习算法可以分为监督式学习算法、非监督式学习算法、半监督式学习算法、强化学习算法几大类。监督式学习算法，是指可以基于训练数据学习一个算法或建立一个模式，并以此算法或模式推测新的实例。训练数据，也称训练样本，是由输入数据和预期输出组成。机器学习算法的模型，也称机器学习模型，其预期输出，称为标签，其可以是一个预测的分类结果(称作分类标签)。非监督式学习算法与监督式学习算法的区别在于，非监督式学习算法的训练样本没有给定标签，机器学习算法模型通过分析训练样本，从而得到一定的成果。半监督学习算法，其训练样本一部分带有标签，另一部分没有标签，而无标签的数据远远多于有标签的数据。强化学习算法通过不断在环境中尝试，以取得最大化的预期利益，通过环境给予的奖励或惩罚，产生能获得最大利益的选择。

需要说明的是，每个训练样本包括一维或多维的特征数据，也即是包括一个或多个特征的特征数据。示例的，在对关键绩效指标(key performance indicator，KPI)数据进行分类结果预测的场景中，该特征数据具体可以为KPI特征数据。KPI特征数据指得是基于KPI数据所生成的特征数据，该KPI特征数据可以为KPI时间序列的特征数据，即提取KPI时间序列的特征所得到的数据；该KPI特征数据也可以直接为KPI数据。其中，KPI具体可以为网络KPI，网络KPI可以包括中央处理器(central processing unit，CPU)利用率、光功率、网络流量、丢包率、时延和/或用户接入数等各种类别的KPI。当KPI特征数据为KPI时间序列的特征数据时，该KPI特征数据具体可以为前述任一KPI类别的KPI数据的时间序列所提取的特征数据。例如一个训练样本包括：对应的网络KPI时间序列的最大值、加权平均值共2个特征的网络KPI特征数据。当该KPI特征数据为KPI数据时，该KPI特征数据具体可以为前述任一KPI类别的KPI数据。例如，一个训练样本包括CPU利用率、丢包率和时延共3个特征的网络KPI特征数据。进一步的，在应用有监督学习算法或半监督学习算法的场景中，该训练样本还可以包括标签。例如，在前述对KPI数据进行分类结果预测的场景中，假设分类结果用于指示数据序列是否异常，则一个训练样本还包括标签：“异常”或“正常”。

需要说明的是，前述时间序列是一种特殊的数据序列，其为按照时序排列的一组数据的集合，该时序通常为数据产生的先后顺序，时间序列中的数据也称为数据点。通常一个时间序列中各个数据点的时间间隔为一恒定值，因此时间序列可以作为离散时间数据进行分析处理。

目前的机器学习算法的训练方式分为离线学习(online learning)方式和在线学习(online learning)方式。

在离线学习(也称离线训练)方式中，需要将训练样本集合中的样本批量输入机器学习模型来进行模型训练，训练所需数据量较大。离线学习，通常是用来训练大的或者复杂的模型，因此训练的过程往往比较耗时，处理数据量大。

在在线学习(也称在线训练)方式中，需要小批量或逐个采用训练样本集合中的样本来进行模型训练，训练所需数据量较小。在线学习往往应用于对即时性要求比较高的场景，增量学习(也称增量训练)方式是一种特殊的在线学习方式，不仅要求模型具备即时的对新模式的学习能力，更要求模型具备抗遗忘能力，也就是要求模型既能记住历史学习过的模式，又能对新的模式进行学习。

在机器学习的实践任务中，需要选择具有代表性的样本来构建机器学习模型。通常在有标签的样本数据中，选择与类别相关性强的样本作为该样本集合。其中，标签用于标识样本数据，如标识样本数据的类别。本申请实施例中，用于进行机器学习模型训练的数据均为样本数据，下文中训练数据称为训练样本，将训练样本集合称为训练样本集合，并在部分内容中将样本数据简称为样本。

该机器学习模型用于对输入的特征数据进行推理以得到推理结果。该机器学习模型可以为分类预测模型，用于推理输入的特征数据的分类。如，可以是异常检测模型，用于检测该特征数据是否异常。该机器学习模型也可以为数值预测模型，用于基于输入的特征数据推理出具体的数值。如，可以是流量预测模型，基于输入的当前流量的特征数据预测未来的流量大小。通常，也可以将前者简称为分类模型，将后者简称为预测模型。

下面将结合附图，对本申请实施例中的技术方案进行描述。

图1是本申请实施例提供的模型更新方法所涉及的一种应用场景示意图。如图1所示，该应用场景中包括多个分析设备，该多个分析设备包括第一分析设备101和局点分析设备102。每个分析设备用于执行数据挖掘和/或数据建模等一系列数据分析过程。图1中第一分析设备101和局点分析设备102的数量仅用作示意，不作为对本申请实施例提供的模型更新方法所涉及的应用场景的限制。

其中，第一分析设备101，具体可以为云端分析设备(后续简称为云端设备)，其可以是一台计算机，或者一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，其部署在服务网络的后端。局点分析设备102，简称为局点设备，可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。在该应用场景中，模型更新方法所涉及的模型更新系统包括多个局点设备，即包括多个局点网络，局点网络可以为核心网，也可以为边缘网络，每个局点网络的用户可以为运营商或企业客户。不同局点网络可以是按照相应维度划分的不同网络，如，可以是不同地域的网络、不同运营商的网络、不同业务网络、不同网络域等。多个局点分析设备102与多个局点网络可以一一对应，每个局点分析设备102用于为对应的局点网络提供数据分析服务，每个局点分析设备102可以位于对应的局点网络内，也可以位于对应的局点网络外。每个局点分析设备102与第一分析设备101之间通过有线网络或无线网络连接。本申请实施例中所涉及的通信网络是第二代(2-Generation，2G)通信网络、第三代(3rd Generation，3G)通信网络、长期演进(Long Term Evolution，LTE)通信网络或第五代(5rd Generation，5G)通信网络等。

局点分析设备102主要的功能是用于接收第一分析设备101发送的第一模型，利用第一训练样本训练第一模型(如对第一模型进行增量训练)，获得第二模型，第一训练样本包括局点分析设备所对应的的局点网络的网络设备的第一特征数据，获取第一模型和第二模型的差异数据，并向第一分析设备发送差异数据。该差异数据具体可以是由多个参数的差值组成的矩阵。如，第一模型包括4个参数，这4个参数的取值组成的矩阵为[a1、b1、c1、d1]，第二模型也包括这4个参数，取值组成的矩阵为[a2、b2、c2、d2]，则这4个参数的差值组成的矩阵为[a2-a1、b2-b1、c2-c1、d2-d1]。

第一分析设备101主要的功能是基于收集的训练数据可以训练得到第一模型，第一模型是一个机器学习模型(该过程即采用前述离线学习方式)，之后将该第一模型部署在各个局点分析设备102中，由局点分析设备102进行增量训练(该过程即采用前述在线学习方式)，第一分析设备101收集局点分析设备102发送的差异数据，为局点分析设备102提供更新模型服务，第一分析设备101利用差异数据更新第一模型，获得第三模型，向局点分析设备102发送第三模型。基于不同的训练样本，可以训练得到不同的机器学习模型，不同的机器学习模型可以实现不同的功能。例如，可以实现异常检测、预测、网络安全防护和应用识别或用户体验评估(即评估用户的体验)等功能。

进一步的，如图2所示，图2是本申请实施例提供的模型更新方法所涉及的另一种应用场景示意图。在图1的基础上该应用场景还包括网络设备103。每个局点分析设备102可以管理一个网络(也称局点网络)中的网络设备103，网络设备103可以是路由器、交换机或基站等。网络设备103与局点分析设备102之间通过有线网络或无线网络连接。网络设备103用于向分析设备102上传采集到的特征数据，例如各类KPI时间序列，局点分析设备102用于从网络设备103提取和使用特征数据，例如确定获取的时间序列的标签。可选地，网络设备103向分析设备102上传的数据还可以包括各类日志数据和设备状态数据等。

进一步的，本申请实施例提供的模型更新方法可以用于异常检测场景中。异常检测是指对不符合预期的模式进行检测。异常检测的数据来源包括应用、进程、操作系统、设备或者网络，例如，该异常检测的对象可以为前述KPI数据序列。本申请实施例提供的模型更新方法，应用在异常检测场景中时，局点分析设备102可以为网络分析器，局点分析设备102维护的机器学习模型为异常检测模型，确定的标签为异常检测标签，该异常检测标签包括两种分类标签，分别为：“正常”和“异常”。

在异常检测场景中，前述机器学习模型可以为基于统计与数据分布的算法(例如N-Sigma算法)的模型、基于距离/密度的算法(例如局部异常因子算法)的模型、树模型(如孤立森林(Isolation forest，Iforest))或基于预测的算法模型(例如差分整合移动平均自回归模型(Autoregressive Integrated Moving Average model，ARIMA))等。

需要说明的是，机器学习模型在实际应用中的性能表现很大程度上取决于用于训练机器学习模型的训练数据，训练数据的采集场景与模型应用的场景的相似度越高，机器学习模型的性能表现一般越好。可是在网络中，业务和网络千变万化，会产生不同的场景，因此针对不同的场景采用不同的训练数据训练机器学习模型是不现实的。因此会产生用一种训练数据训练机器学习模型，机器学习模型用于不同的场景的情况。因此在实际应用中，机器学习模型不可避免的会产生模型性能下降的问题，也是模型的场景泛化性问题。特别的，即使训练数据的采集场景与机器学习模型应用的场景非常相似，模型表现良好，但是机器学习模型应用的场景可能会发生变化，仍然会导致训练数据的采集场景与机器学习模型应用的场景不同，即产生模型性能下降的问题。因此如何保持模型的性能，成为了网络中的一个重要挑战目标。

相关技术中，由云端设备进行模型的离线训练，然后将离线训练后的模型直接部署在局点设备或网络设备上。但是，训练得到的模型可能无法有效适配于局点设备或网络设备的需求，如预测的性能(如准确率或查全率)需求。一方面，云端设备采用的历史训练样本集合中的训练样本通常是预先配置的固定的训练样本，可能与局点设备或网络设备的需求不符合；另一方面，即使训练得到的机器学习模型在刚部署在局点设备或网络设备上时，符合局点设备或网络设备的需求，但是随着时间的推移，由于局点设备或网络设备所获取的特征数据的类别或模式出现变化，导致训练得到的机器学习模型与局点设备的需求不再符合。

本申请实施例提供一种模型更新方法，后续实施例假设前述第一分析设备101为云端设备，局点分析设备102为局点设备，第一模型，第二模型和第三模型都属于机器学习模型。局点设备接收云端设备发送的第一模型，局点设备可以利用第一训练样本训练第一模型，获得第二模型，局点设备可以获取第一模型和第二模型的差异数据，并向云端设备发送该差异数据，用于请求云端设备根据差异数据更新第一模型，其中，差异数据由局点设备根据第一模型和第二模型得到，第二模型由局点设备利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让第一分析设备为了保持模型性能而更新第一模型的基础上，提高了私密性。

进一步的，云端设备可以接收L个局点设备发送的多个差异数据，云端设备利用多个差异数据更新第一模型，获得第三模型，第三模型相比于局点设备利用训练样本增量训练第一模型得到的第二模型，第三模型可以有更好的性能，因此可以提升模型的泛化性。

本申请实施例提供一种模型更新方法，该方法可以应用于图1至图2任一所示的应用场景，第一模型可以用于进行分类结果的预测，例如其可以为二分类模型，为了便于区分，本申请后续实施例中将人工或标签迁移方式确定的分类结果称之为预设标签，将第一模型自身预测得到的结果称之为第一推理结果，两者实质相同，均用于标识对应样本的类别。该模型更新方法的应用场景通常包括多个局点设备。

上面对本申请实施例的网络框架进行了描述，下面对本申请实施例的模型更新方法进行描述。

本申请实施例的技术方案中，第一模型可以配置于局点设备，也可以配置于网络设备，下面将这两种配置场景分开描述。

一、第一模型可以配置于局点设备。

请参阅图3，本申请实施例中的模型更新方法的一个实施例包括：

301、云端设备根据训练数据获得第一模型；

云端设备可以获取训练数据，然后根据训练数据获得第一模型，训练数据可以是云端设备从某个或某些网络设备上采集的历史特征数据，训练数据也可以是模型训练人员根据模型应用的场景单独配置的数据，具体此处不做限定。

302、云端设备向局点设备发送第一模型；

云端设备根据历史数据获得第一模型后，云端设备向局点设备发送第一模型。

303、局点设备利用第一模型对网络设备的待预测特征数据进行分类结果的预测

如前所述，不同的机器学习模型，可以分别实现不同功能。当第一模型实现的是分类功能时，局点设备在接收云端设备发送的第一模型之后，可以采用第一模型进行分类结果的预测。

示例的，若需要对网络设备的在线数据进行分类结果的预测，需要进行分类结果预测的数据可以包括CPU的KPI和/或内存(memory)的KPI。

假设需要对网络设备的在线数据进行异常检测，也即预测得到的分类结果指示数据是否异常。则局点设备可以周期性执行异常检测过程，局点设备可以获取网络设备的待预测特征数据，利用第一模型对待预测特征数据进行在线检测，第一模型输出的异常检测结果如表1和表2所示，表1和表2记录了不同采集时刻(也称数据产生时刻)所获取的待检测数据的异常检测结果，其中该不同采集时刻包括T1至TN(N为大于1的整数)，异常检测结果指示对应待检测数据是否异常。其中，表1和表2中的待检测数据均包括一维特征数据，表1记录了特征类别为CPU的KPI的待检测数据的异常检测结果；表2记录了特征类别为内存的KPI的待检测数据的异常检测结果。假设0代表正常，1代表异常。T1至TN每两个采集时刻间隔的时长为预设的时间周期。则以采集时刻T1为例，在该时刻，表1中CPU的KPI为0，表2的内存的KPI为1，代表在采集时刻T1采集的CPU的KPI正常，在采集时刻T1采集的内存的KPI异常。

表1

采集时刻	CPU的KPI
		T1	0
T2	0
		...	...
TN	0

表2

采集时刻	内存的KPI
		T1	1
T2	0
		...	...
TN	1

可选的，步骤303可以不执行，因为在局点设备接收到第一模型后，可以直接获取第一模型的性能量化指标，若第一模型的性能量化指标小于目标阈值，局点设备利用第一训练样本训练第一模型，即第一模型还未投入使用前，局点设备先确定第一模型的性能是否满足条件，当第一模型的性能不满足条件时，先更新第一模型。

304、网络设备向局点设备发送第一特征数据；

第一模型可以根据网络设备的待预测特征数据进行推理，但是第一模型配置于局点设备，因此网络设备需要向局点设备发送第一特征数据。

网络设备的特征数据是指由网络设备生成的数据，例如当网络设备是一台摄像头，摄像头的特征数据可以是摄像头采集生成的图像数据，例如当网络设备是是一台录音机，录音机的特征数据可以是录音机采集生成的声音数据，例如当网络设备是一台交换机，交换机的特征数据可以是KPI数据，KPI数据可以是交换机转发流量时生成的统计信息，例如出报文字节数，出报文数，队列深度，吞吐信息，丢包个数等。

305、网络设备向局点设备发送第二特征数据；

第一模型可以根据网络设备的待预测特征数据进行推理，但是第一模型配置于局点设备，因此网络设备需要向局点设备发送第二特征数据。

306、局点设备根据第二特征数据获取第一模型的性能量化指标；

在局点设备获取到第二特征数据后，局点设备可以根据第二特征数据获得第一模型的性能量化指标。

局点设备配置有第一模型，局点设备可以将第二特征数据作为第一模型的输入，获得第一模型输出的第一推理结果。局点设备还可以获取第二特征数据的预设标签，预设标签可以是由局点设备根据第二特征数据，利用其它模型推理得出，一般来说，其它模型的复杂度高于第一模型，且其它模型的准确率高于第一模型，因为其它模型有除准确率以外的缺陷，例如推理时间长，导致其它模型无法适应在线实时推理，因此局点设备配置的是第一模型。局点设备根据第一推理结果和预设标签获取第一模型的准确率，局点设备将准确率作为第一模型的性能量化指标。例如，第二特征数据包括100个图像样本，第一推理结果是有70个图像样本是包括人物,30个图像样本是不包括人物；预设标签是有80个图像样本是包括人物，20个图像样本是不包括人物；且第一推理结果中包括人物的70个图像样本属于预设标签中包括人物的80个图像样本。因此，局点设备确定第一模型的准确率为：

(70+30－10)÷100×100％＝90％。

可选的，局点设备可以不将准确率作为第一模型的性能量化指标，而是将召回率作为第一模型的性能量化指标，局点设备根据第一推理结果和预设标签获取第一模型的召回率，局点设备将召回率作为第一模型的性能量化指标，还是以前面的例子为例，第二特征数据包括100个图像样本，第一推理结果是有70个图像样本是包括人物,30个图像样本是不包括人物；预设标签是有80个图像样本是包括人物，20个图像样本是不包括人物；且第一推理结果中包括人物的70个图像样本属于预设标签中包括人物的80个图像样本。因此，局点设备确定第一模型的召回率为：

70÷80×100％＝87.5％。

可以理解的是，局点设备可以将准确率作为第一模型的性能量化指标，局点设备也可以将召回率作为第一模型的性能量化指标，在实际应用中，局点设备还可以将其它特征作为第一模型的性能量化指标，具体此处不做限定。

可选的，局点还可以通过人工打标签的方式获得预设标识。

可以理解的是，局点设备可以将准确率作为第一模型的性能量化指标，局点设备也可以将召回率作为第一模型的性能量化指标，在实际应用中，也选择一种作为第一模型的性能量化指标，也可以选择多种同时作为第一模型的性能量化指标，具体此处不做限定。

可选的，局点设备可以不获取第二特征数据，局点设备可以获取其它的数据来获取第一模型的性能量化指标，即局点设备可以不获取网络设备上的特征数据，可以获取其它设备上的数据，也可以获取局点设备存储空间中的数据，利用该数据获取第一模型的性能量化指标。

可选的，局点设备可以不通过其它模型获取预设标签，例如，第二特征数据为网络设备上个月的特征数据，第一推理结果是这个月第一模型得出的推理结果，局点设备可以获取上个月第一模型根据第二特征数据得出的预设标签。

307、若第一模型的性能量化指标小于目标阈值，则利用第一训练样本训练第一模型，获得第二模型，获取第一模型和第二模型的差异数据；

若第一模型的性能量化指标小于目标阈值，则局点设备利用第一训练样本增量训练第一模型，获得第二模型，获取第一模型和第二模型的差异数据。

可选的，在局点设备利用第一训练样本训练第一模型，得到第二模型后，局点设备可以利用测试数据测试第二模型的性能，测试数据包括真实标签。

可选的，当局点设备利用测试数据测试第二模型的性能时，局点设备可以保存劣化数据，劣化数据属于测试数据的部分或者全部数据，在局点设备利用测试数据测试第二模型的性能时，局点设备可以通过第二模型获取测试数据的推理标签，劣化数据是指推理标签和真实标签不相等的测试数据，例如，第一训练样本包括500个样本数据，有400个样本的真实标签是1，100个样本的真实标签是0，在训练过程中，第二模型推理得出405个样本的推理标签是1，95个样本的推理标签是0，其中，第二模型推理的推理标签是1的405个样本中，有10个样本的真实标签是0，第二模型推理的推理标签是0的95个样本中，有5个样本的推理标签是1，局点设备获取这10个真实标签是0，却被第二模型推理得出推理标签是1的劣化数据，和这5个真实标签是1，却被第二模型推理得出推理标签是0的劣化数据，局点设备保存这些劣化数据，在以后局点设备用训练样本训练模型时，局点设备将这这些劣化数据加入到训练样本中。

可以理解的是，上述这些劣化数据的数量可以是所有劣化数据中的部分，也可以是全部。例如，上述总共包括15个劣化数据，局点设备可以保存10个劣化数据，也可以保存15个劣化数据，具体此处不做限定。

可选的，前述第一训练样本可以包括基于时间序列确定的数据。例如，包括基于KPI时间序列确定的数据。通常情况下，第一训练样本中的每个训练样本对应一个时间序列，每个训练样本可以包括从对应时间序列中提取一个或多个特征的特征数据。每个训练样本对应的特征与该训练样本的特征数据的个数相同(即特征与特征数据一一对应)。其中，训练样本中的特征指的是对应时间序列所具有的特征，其可以包括数据特征和/或提取特征。

其中，数据特征是时间序列中的数据的自身特征。例如，数据特征包括数据排列周期、数据变化趋势或数据波动等，相应的，该数据特征的特征数据包括：数据排列周期的数据、数据变化趋势数据或数据波动数据等。数据排列周期是指若时间序列中数据周期性排列，该时间序列中数据排列所涉及的周期，例如，数据排列周期的数据包括周期时长(也即两个周期发起的时间间隔)和/或周期个数；数据变化趋势数据用于反映时间序列中数据排列的变化趋势(即数据变化趋势)，例如，该数据变化趋势数据包括：持续增长、持续下降、先升后降，先降后升，或者满足正态分布等等；数据波动数据用于反映时间序列中数据的波动状态(即数据波动)，例如该数据波动数据包括表征该时间序列的波动曲线的函数，或者，该时间序列的指定值，如最大值、最小值或平均值。

提取特征是提取该时间序列中的数据的过程中的特征。例如，提取特征包括统计特征、拟合特征或频域特征等，相应的，提取特征的特征数据包括统计特征数据、拟合特征数据或频域特征数据等。统计特征是指时间序列所具有的统计学特征，统计特征有数量特征和属性特征之分，其中数量特征又有计量特征和计数特征之分，数量特征可以直接用数值来表示，例如，CPU、内存、IO资源等多种资源的消耗值为计量特征；而出现异常的次数、正常工作的设备个数是计数特征；属性特征不能直接用数值来表示，如设备是否出现异常、设备是否产生宕机等，统计特征中的特征就是统计时需要考察的指标。例如，该统计特征数据包括移动平均值(Moving_average)、加权平均值(Weighted_mv)等；拟合特征是时间序列拟合时的特征，则拟合特征数据用于反映时间序列用于拟合的特征，例如拟合特征数据包括进行拟合时所采用的算法，如ARIMA；频域特征是时间序列在频域上的特征，则频域特征用于反映时间序列在频域上的特征。例如，频域特征数据包括：时间序列在频域上分布所遵循的规律的数据，如该时间序列中高频分量的占比。可选地，频域特征数据可以通过对时间序列进行小波分解得到。

假设训练样本中的特征数据从第一时间序列获取，则该数据获取过程可以包括：确定需要提取的目标特征，在第一时间序列中提取确定的目标特征的特征数据，得到由获取的目标特征的数据组成的训练样本。示例的，该需要提取的目标特征是基于模型训练方法所涉及的应用场景确定的。在一种可选示例中，该目标特征为预先配置的特征，例如是由用户配置的特征。在另一种可选示例中，该目标特征为指定特征中的一个或多个，例如该指定特征为前述统计特征。

值得说明的是，用户可以预先设置指定特征，但是对于第一时间序列，其可能无法具有全部指定特征，第一分析设备可以在第一时间序列中筛选属于该指定特征的特征作为目标特征。例如，该目标特征包括统计特征：时间序列分解_周期分量(time seriesdecompose_seasonal，Tsd_seasonal)、移动平均值、加权平均值、时间序列分类、最大值、最小值、分位数、方差、标准差、周期同比(year on year，yoy，指的是与同时期比较)、每天波动率、分桶熵、样本熵、滑动平均、指数滑动平均、高斯分布特征或T分布特征等中的一个或多个，相应的，目标特征数据包括该一个或多个统计特征的数据；

和/或，该目标特征包括拟合特征：自回归拟合误差、高斯过程回归拟合误差或神经网络拟合误差中的一个或多个，相应的，目标特征数据包括该一个或多个拟合特征的数据；

和/或，该目标特征包括频域特征：时间序列中高频分量的占比；相应的，目标特征数据包括时间序列中高频分量的占比的数据，该数据可以对时间序列进行小波分解得到。

表3为训练样本集合中的一个样本的示意性说明，表3中，该训练样本集合中每个训练样本包括一个或多个特征的KPI时间序列的特征数据，每个训练样本对应一个KPI时间序列。表3中，身份标识(identification，ID)为KPI_1的训练样本，包括4个特征的特征数据，该4个特征的特征数据分别为：移动平均值(Moving_average)、加权平均值(Weighted_mv)、时间序列分解_周期分量(time series decompose_seasonal，Tsd_seasonal)和周期yoy。该训练样本对应的KPI时间序列为(x1,x2,……,xn)(该时间序列通常是对一种KPI类别的数据进行采样得到的)，对应的标签为“异常”。

表3

在第二种可选方式中，前述第一分析设备获取的训练样本可以包括本身具有一定特征的数据，其为获取的数据本身。例如，训练样本包括KPI数据。如前所述，假设KPI为网络KPI，则每个样本可以包括一种或多种网络KPI类别的网络KPI数据，也即是样本对应的特征为KPI类别。

表4为训练样本集合中的一个样本的示意性说明，表4中，该训练样本集合中每个训练样本包括一个或多个特征的网络KPI数据，表4中，每个训练样本对应同一采集时刻获取的多个网络KPI数据。表4中，身份标识(identification，ID)为KPI_2的训练样本，包括4个特征的特征数据，该4个特征的特征数据分别为：网络流量、CPU利用率、丢包率和时延，对应的标签为“正常”。

表4

前述表3和表4中的每个特征对应的特征数据通常为数值数据，也即是每个特征具有特征取值，为了便于说明，表3和表4未示出该特征取值。假设训练样本集合按照固定格式存储特征数据，其对应的特征可以为预先设定的特征，则训练样本集合的特征数据均可以按照表3或表4的格式存储。本申请实施例在实际实现时，训练样本集合中的样本还可以有其他形式，本申请实施例对此不做限定。

值得说明的是，在进行离线训练之前，第一分析设备可以对收集到的训练样本集合中的样本进行预处理，然后再基于预处理后的训练样本集合，进行前述离线训练。该预处理过程用于将收集的样本处理成符合预设条件的样本，该预处理过程可以包括样本去重，数据清洗和数据补全中的一种或多种处理。

可选的，当局点设备将不同的特征作为第一模型的性能量化指标时，目标阈值可以不相同。例如，当局点设备将准确率作为第一模型的性能量化指标时，目标阈值为第一目标阈值，当局点设备将召回率作为第一模型的性能量化指标时，目标阈值为第二目标阈值，第一目标阈值与第一目标阈值可以不相同。

可选的，当局点设备同时将多种不同的特征作为第一模型的性能量化指标时，局点设备可以选择以多数服从少数的原则来判定第一模型的性能量化指标是否满足目标阈值，例如，局点设备将准确率作为第一模型的第一性能量化指标时，目标阈值为第一目标阈值，第一性能量化指标小于第一目标阈值；局点设备还将召回率作为第一模型的第二性能量化指标时，目标阈值为第二目标阈值，第二性能量化指标大于第二目标阈值；局点设备还将精确率作为第一模型的第三性能量化指标时，目标阈值为第三目标阈值，第三性能量化指标大于第三目标阈值。上述第一模型有三个性能量化指标，其中第一性能量化指标小于第一目标阈值，第二性能量化指标大于第二目标阈值，第三性能量化指标大于第三目标阈值，因此第一模型有两个性能量化指标大于目标阈值，有一个性能量化指标小于目标阈值，以多数服从少数的原则，局点设备可以确定第一模型的性能量化指标大于目标阈值。

可选的，当局点设备将多种不同的特征作为第一模型的性能量化指标时，局点设备可以为不同的性能量化指标的判定结果做加权处理。例如，局点设备将准确率作为第一模型的第一性能量化指标时，目标阈值为第一目标阈值，第一性能量化指标小于第一目标阈值；局点设备还将召回率作为第一模型的第二性能量化指标时，目标阈值为第二目标阈值，第二性能量化指标大于第二目标阈值；局点设备还将精确率作为第一模型的第三性能量化指标时，目标阈值为第三目标阈值，第三性能量化指标大于第三目标阈值。其中，局点设备对第一性能量化指标小于第一目标阈值的判定结果用系数3做加权处理，局点设备对第二性能量化指标大于第二目标阈值的判定结果用系数2做加权处理，局点设备对第三性能量化指标大于第三目标阈值的判定结果用系数2做加权处理，局点设备最终的判定结果为：

－3+2+2＝1，

数值最终为正，局点设备确定第一模型的性能量化指标大于目标阈值。

可选的，当局点设备不获取第一模型的性能量化指标时，局点设备可以获取接收第一模型的时间到当前的时间，当云端设备接收第一模型的时间到当前的时间大于阈值时，局点设备利用第一训练样本训练第一模型，获得第二模型。

训练样本可以有多种形式，相应的，局点设备可以采用多种方式获取训练样本，本实施例以以下两种可选方式为例进行说明：

在第一种可选方式中，局点设备获取的第一训练样本集合中的训练样本可以包括基于时间序列确定的数据。例如，包括基于KPI时间序列确定的数据。参考前述历史训练样本集合的结构，通常情况下，第一训练样本集合中的每个训练样本对应一个时间序列，每个训练样本可以包括从对应时间序列中提取一个或多个特征的特征数据。每个训练样本对应的特征与该训练样本的特征数据的个数相同(即特征与特征数据一一对应)。其中，训练样本中的特征指的是对应时间序列所具有的特征，其可以包括数据特征和/或提取特征。

在一种可选示例中，局点设备可以接收在对应的局点网络中该局点设备所连接的网络设备(即其管理的网络设备)发送的时间序列；在另一种可选示例中，局点设备具有输入输出(I/O)接口，通过该I/O接口接收对应局点网络中的时间序列；在又一种可选示例中，局点设备可以从其对应的存储设备中读取时间序列，该存储设备用于存储局点设备在对应的局点网络中预先获取的时间序列。

在第二种可选方式中，前述局点设备获取的训练样本可以包括具有一定特征的数据，其为获取的数据本身。例如，训练样本包括KPI数据。如前所述，假设KPI为网络KPI，则每个样本可以包括一种或多种网络KPI类别的网络KPI数据，也即是样本对应的特征为KPI类别。

308、局点设备利用第二模型对网络设备的待预测特征数据进行分类结果的预测；

步骤308与步骤303类似，具体此处不再赘述。

309、局点设备向云端设备发送差异数据；

在局点设备利用第一训练样本训练第一模型，获得第二模型，获得第一模型和第二模型的差异数据后，局点设备可以向云端设备发送差异数据。

310、云端设备利用差异数据更新第一模型，获得第三模型；

在云端设备接收到局点设备发送的差异数据后，云端设备利用差异数据更新第一模型，获得第三模型。

可选的，当与云端设备相连的局点设备有多个时，当云端设备接收到多个局点设备发送的多个差异数据后，云端设备利用多个差异数据更新第一模型，获得第三模型。

可选的，当与云端设备相连的局点设备有N个时，云端设备会统计向云端设备发送差异数据的局点设备的数量L，L小于或等于N，当L与N的比值大于阈值K时，K大于0且小于或等于1，具体可以是大于0.5的值，如0.8，云端设备利用接收到的多个差异数据更新第一模型，获得第三模型。

可选的，当与云端设备相连的局点设备有多个，云端设备接收到多个局点设备发送的多个差异数据时，云端设备获取多个差异数据的均值；云端设备利用均值更新第一模型，获得第三模型。

如，基于局点设备1和局点设备2上传的差异数据更新第一模型，其中，局点设备1和局点设备2上传的差异数据分别为[a2-a1,b2-b1,c2-c1,d2-d1]和[a3-a1,b3-b1,c3-c1,d3-d1]，这两个局点设备上传的差异数据的均值为[(a2-a1+a3-a1)/2,(b2-b1+b3-b1)/2,(c2-c1+c3-c1)/2,(d2-d1+d3-d1)/2]，利用该均值更新该第一模型。

可选的，当与云端设备相连的局点设备有多个，云端设备接收到多个局点设备发送的多个差异数据时，云端设备可以获取多个差异数据的加权平均值，云端设备利用多个差异数据的加权平均值更新第一模型，获得第三模型。

例如，云端设备接收到3个局点设备的差异数据，分别是第一局点设备的第一差异数据，第二局点设备的第二差异数据和第三局点设备的第三差异数据，第一局点设备与第二局点设备与第三局点设备的业务数据量的比值为0.8/1/1.2,云端设备用系数0.8对第一差异数据做加权处理,云端设备用系数1对第二差异数据做加权处理,云端设备用系数1.2对第三差异数据做加权处理,网络设备利用多个差异数据的加权平均值更新第一模型，获得第三模型，多个差异数据的加权平均值的算法如下：

A＝(0.8×B1+1×B2+1.2×B3)÷3；

其中，A为多个差异数据的加权平均值，B1为第一差异数据，B2为第二差异数据，B3为第三差异数据。

又如，云端设备接收到3个局点设备的差异数据，分别是第一局点设备的第一差异数据，第二局点设备的第二差异数据和第三局点设备的第三差异数据，第一局点设备与第二局点设备与第三局点设备的业务数据量的比值为0.2/0.2/0.6,云端设备用系数0.2对第一差异数据做加权处理,云端设备用系数0.2对第二差异数据做加权处理,云端设备用系数0.6对第三差异数据做加权处理,网络设备利用加权处理后的多个差异数据更新第一模型，获得第三模型，多个差异数据的加权和的算法如下：

A＝0.2×B1+0.2×B2+0.6×B3；

由于该多个差异数据的系数和为1，该多个差异数据的加权和即为该多个差异数据的加权平均值。

其中，A为多个差异数据的加权和，B1为第一差异数据，B2为第二差异数据，B3为第三差异数据。

可选的，云端设备除了可以根据多个差异数据分别对应的局点设备的业务数据量对该多个差异数据做加权处理，云端设备还可以根据多个差异数据分别对对应的局点设备的业务重要性对该多个差异数据做加权处理，局点设备的业务重要性可以根据操作人员的经验来配。

可选的，局点设备的业务重要性可以根据局点设备连接的网络设备的数量来确定，例如第一局点设备连接的网络设备的数量为2，第二局点设备连接的网络设备的数量为2，第三局点设备连接的网络设备的数量为16，则第一局点设备与第二局点设备与第三局点设备的业务重要性的比值可以为0.1/0.1/0.8。

311、云端设备向局点设备发送第三模型；

在云端设备利用差异数据更新第一模型，获得第三模型后，云端设备可以向局点设备发送第三模型。

可选的，当云端设备接收到L个局点设备发送的多个差异数据时，云端设备向该L个局点设备发送第三模型。

可选的，当云端设备与N个局点设备相连，云端设备接收到L个局点设备发送的多个差异数据时，云端设备向该N个局点设备发送第三模型。

可选的，当局点设备利用第一训练样本训练得到的第二模型与第三模型相同时，局点设备可以不向局点设备发送第三模型。

312、局点设备利用第三模型对网络设备的待预测特征数据进行分类结果的预测；

步骤312与步骤303类似，具体此处不再赘述。

二、第一模型可以配置于网络设备。

请参阅图4，本申请实施例中的模型更新方法的另一个实施例包括：

401、云端设备根据训练数据获得第一模型

402、云端设备向局点设备发送第一模型；

步骤401、步骤402与上述图3中的步骤301、步骤302类似，具体此处不在赘述。

403、局点设备向网络设备发送第一模型；

局点设备在接收到第一模型后，局点设备可以向网络设备发送第一模型。

可选的，步骤403可以不执行，因为在局点设备接收到第一模型后，可以直接获取第一模型的性能量化指标，若第一模型的性能量化指标小于目标阈值，局点设备利用第一训练样本训练第一模型，即第一模型还未投入使用前，局点设备先确定第一模型的性能是否满足条件，当第一模型的性能不满足条件时，先更新第一模型。

404、网络设备利用第一模型对网络设备的待预测特征数据进行分类结果的预测；

如前所述，不同的机器学习模型，可以分别实现不同功能。当第一模型实现的是分类功能时，网络设备在接收局点设备发送的第一模型之后，可以采用第一模型进行分类结果的预测。

405、局点设备向网络设备发送第二数据请求；

当局点设备需要获取第一模型的性能量化指标时，局点设备可以向网络设备发送第二数据请求，用于请求网络设备向局点设备发送第二训练样本。

406、网络设备向局点设备发送第二训练样本；

在网络设备接收到局点设备发送的第二数据请求后，网络设备可以向局点设备发送第二训练样本，第二训练样本包括网络设备的第二特征数据和第一推理结果，第一推理结果为网络设备根据第二特征数据，利用第一模型得出的推理结果。

可选的，网络设备可以不向局点设备发送第一推理结果，因为局点设备也有第一模型，局点设备本身可以根据接收到的第二特征数据获取第一推理结果。

可选的，当步骤404不执行时，网络设备可以在没有接收到第二数据请求的情况下，向局点设备发送第二训练样本，例如网络设备可以与局点设备事先约定，网络设备定时向局点设备发送第二训练样本。

407、局点设备根据第二训练样本获取第一模型的性能量化指标；

在局点设备获取到第二训练样本后，局点设备可以根据第二训练样本获得第一模型的性能量化指标，局点设备可以获取第二特征数据的预设标签，预设标签可以是由局点设备根据第二特征数据，利用其它模型推理得出，一般来说，其它模型的复杂度高于第一模型，且其它模型的准确率高于第一模型，因为其它模型有除准确率以外的缺陷，例如推理时间长，导致其它模型无法适应在线实时推理，因此局点设备配置的是第一模型。局点设备根据第一推理结果和预设标签获取第一模型的准确率，局点设备将准确率作为第一模型的性能量化指标。

可选的，局点还可以通过人工打标签的方式获得预设标识。

可选的，局点设备没有接收到网络设备发送的第一推理结果时，局点设备可以获取第一推理结果，局点设备配置有第一模型，局点设备可以将第二特征数据作为第一模型的输入，获得第一模型输出的第一推理结果。

可选的，局点设备可以不将准确率作为第一模型的性能量化指标，而是将召回率作为第一模型的性能量化指标，局点设备根据第一推理结果和预设标签获取第一模型的准确率，局点设备将召回率作为第一模型的性能量化指标。

408、局点设备向网络设备发送第一数据请求；

在局点设备确定第一模型的性能量化指标小于目标阈值后，局点设备可以向网络设备发送第一数据请求，用于向网络设备请求第一特征数据。

409、网络设备向局点设备发送第一特征数据；

在网络设备接收到第一数据请求后，网络设备可以向局点设备发送第一特征数据。

可选的，当步骤408不执行时，网络设备可以在没有接收到第一数据请求的情况下，向局点设备发送第一特征数据，例如网络设备可以与局点设备事先约定，网络设备定时向局点设备发送第一特征数据。

410、若第一模型的性能量化指标小于目标阈值，则利用第一训练样本第一模型，获得第二模型，获取第二模型和第一模型的差异数据；

步骤410与前述图3中的步骤307类似，具体此处不再赘述。

411、局点设备向网络设备发送第二模型；

局点设备在获取第二模型后，局点设备可以向网络设备发送第二模型。

412、网络设备利用第二模型对网络设备的待预测特征数据进行分类结果的预测；

步骤412与步骤404类似，具体此处不再赘述。

413、局点设备向云端设备发送差异数据；

414、云端设备利用差异数据更新第一模型，获得第三模型；

415、云端设备向局点设备发送第三模型；

步骤413、步骤414、步骤415与上述图3中的步骤309、步骤310、步骤311类似，具体此处不在赘述。

416、局点设备向网络设备发送第三模型；

在局点设备获得第三模型后，局点设备可以向网络设备发送第三模型。

可选的，当局点设备与多个网络设备相连时，局点设备向该多个网络设备发送第三模型。

417、网络设备利用第二模型对网络设备的待预测特征数据进行分类结果的预测；

步骤417与步骤404类似，具体此处不再赘述。

可以理解的是，步骤411、步骤412与步骤413至步骤6之间没有限定的时序关系。

上面对本申请实施例中的模型更新方法进行了描述，下面对本申请实施例中的模型更新系统进行描述。

请参阅图5，本申请实施例中的模型更新系统的一个实施例包括：

局点分析设备502和第一分析设备501；

局点分析设备502，用于接收第一分析设备501发送的第一模型，利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备502所对应的局点网络的网络设备的第一特征数据，获取第一模型和第二模型的差异数据，并向第一分析设备501发送差异数据；

第一分析设备501，用于向局点分析设备502发送第一模型，接收局点分析设备502发送的差异数据，并根据差异数据更新第一模型，获得第三模型。

本实施例中，局点分析设备502可以利用第一训练样本训练第一模型，获得第二模型，局点分析设备502可以获取第一模型和第二模型的差异数据，并向第一分析设备501发送该差异数据，用于请求第一分析设备501根据差异数据更新第一模型，其中，差异数据由局点分析设备502根据第一模型和第二模型得到，第二模型由局点分析设备502利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让第一分析设备501为了保持模型性能而更新第一模型的基础上，提高了私密性。

请参阅图6，本申请实施例中的模型更新系统的另一个实施例包括：

局点分析设备602和第一分析设备601；

局点分析设备602，用于接收第一分析设备601发送的第一模型，利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备602所对应的局点网络的网络设备的第一特征数据，获取第一模型和第二模型的差异数据，并向第一分析设备601发送差异数据；

第一分析设备601，用于向局点分析设备602发送第一模型，接收局点分析设备602发送的差异数据，并根据差异数据更新第一模型，获得第三模型。

本实施例中的模型更新系统还包括：

可选的，局点分析设备602还用于确定第一模型是否发生劣化，若局点分析设备602确定第一模型发生劣化时，则局点分析设备602利用第一训练样本训练第一模型，获得第二模型。

可选的，系统包括N个局点分析设备602，N为大于1的整数；

第一分析设备601，具体用于向N个局点分析设备602发送第一模型，接收L个局点分析设备602发送的多个差异数据，L为大于1，且小于或等于N的整数，并根据多个差异数据更新第一模型，获得第三模型。

可选的，第一分析设备601，还用于统计向第一分析设备601发送差异数据的局点分析设备602的数量L；若L与N的比值达到阈值K，K大于0且小于或等于1，则第一分析设备601利用差异数据更新第一模型，获得第三模型。

可选的，系统还包括：

网络设备603；

网络设备603，用于接收局点分析设备602发送的更新后的模型，更新后的模型包括第二模型或第三模型，网络设备603根据网络设备603的待预测特征数据，利用更新后的模型输出推理结果；

局点分析设备602，还用于向网络设备603发送更新后的模型。

或，

网络设备603，用于向局点分析设备602发送待预测特征数据，

局点分析设备602，还用于根据网络设备603的待预测特征数据，利用更新后的模型输出推理结果。

可选的，网络设备603，具体用于根据网络设备603的待预测特征数据，利用更新后的模型进行分类结果的预测；

或，

局点分析设备602，具体用于根据网络设备603的待预测特征数据，利用更新后的模型进行分类结果的预测。

可选的，待预测特征数据包括KPI特征数据，KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

可选的，差异数据为梯度信息。

本实施例中，模型更新系统中第一分析设备601与前述图3和图4所示实施例中云端设备描述的类似，局点分析设备602与前述图3和图4所示实施例中局点设备描述的类似，网络设备603与前述图3和图4所示实施例中网络设备描述的类似，此处不再赘述。

上面对本申请实施例中的模型更新系统进行了描述，下面对本申请实施例中的模型更新装置进行描述。

请参阅图7，本申请实施例中的模型更新装置的一个实施例包括：

接收单元701，用于接收第一分析设备发送的第一模型；

训练单元702，用于利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备所对应的局点网络的网络设备的第一特征数据；

获取单元703，用于获取第一模型和第二模型的差异数据；

发送单元704，用于向第一分析设备发送差异数据，用于请求第一分析设备根据差异数据更新第一模型，获得第三模型。

本实施例中，接收单元701可以接收第一分析设备发送的第一模型；训练单元702可以利用第一训练样本训练第一模型，获得第二模型，获取单元703可以获取第一模型和第二模型的差异数据；发送单元704可以向第一分析设备发送差异数据，用于请求第一分析设备根据差异数据更新第一模型，获得第三模型。其中，差异数据由获取单元703根据第一模型和第二模型得到，第二模型由训练单元702利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让第一分析设备为了保持模型性能而更新第一模型的基础上，提高了私密性。

请参阅图8，本申请实施例中的模型更新装置的另一个实施例包括：

接收单元801，用于接收第一分析设备发送的第一模型；

训练单元802，用于利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备所对应的局点网络的网络设备的第一特征数据；

获取单元803，用于获取第一模型和第二模型的差异数据；

发送单元804，用于向第一分析设备发送差异数据，用于请求第一分析设备根据差异数据更新第一模型，获得第三模型。

本实施例中的模型更新装置还包括：

可选的，模型更新装置还包括：

确定单元805，用于确定第一模型是否发生劣化，若确定单元805确定第一模型发生劣化时，则训练单元802利用第一训练样本训练第一模型，获得第二模型。

可选的，

获取单元803还用于获取第一模型的性能量化指标；

确定单元805还用于确定第一模型的性能量化指标是否小于目标阈值；

确定单元805具体用于若第一模型的性能量化指标小于目标阈值，则确定第一模型发生劣化。

可选的，

获取单元803还用于获取网络设备的第二特征数据；

获取单元803还用于获取第一模型根据第二特征数据得出的第一推理结果；

获取单元803具体用于根据第一推理结果和第二特征数据的预设标签获取第一模型的准确率，将准确率作为第一模型的性能量化指标，或获取单元803具体用于根据第一推理结果和第二特征数据的预设标签获取第一模型的召回率，将召回率作为第一模型的性能量化指标。

可选的，

发送单元804还用于向网络设备发送第一数据请求，用于请求网络设备向局点分析设备发送第二训练样本，第二训练样本包括第二特征数据和第一推理结果，第一推理结果由第一模型根据第二特征数据获得。

可选的，

发送单元804还用于向网络设备发送更新后的模型，更新后的模型包括第二模型或第三模型，用于根据网络设备的待预测特征数据，输出推理结果。

可选的，

发送单元804还用于向网络设备发送更新后的模型，更新后的模型包括第二模型或第三模型，用于根据网络设备的待预测特征数据，进行分类结果的预测，待预测特征数据包括KPI特征数据。

可选的，

接收单元801还用于接收网络设备的待预测特征数据；

装置还包括：

推理单元806，用于根据网络设备的待预测特征数据，利用更新后的模型输出推理结果，更新后的模型包括第二模型或第三模型。

可选的，

待预测特征数据包括关键绩效指标KPI特征数据；

推理单元806具体用于局点分析设备根据网络设备的待预测特征数据，利用更新后的模型进行分类结果的预测。

可选的，

KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

可选的，装置还包括：

测试单元807，用于利用测试数据测试第二模型，测试数据包括真实标签；

保存单元808，用于保存劣化数据，用于让局点分析设备利用劣化数据更新局点分析设备中的模型，劣化数据属于测试数据，劣化数据的推理标签不等于真实标签，推理标签由局点分析设备利用测试数据测试第二模型得到。

本实施例中，模型更新装置各单元所执行的操作与前述图3和图4所示实施例中描述的类似，此处不再赘述。

请参阅图9，本申请实施例中的模型更新装置的另一个实施例包括：

发送单元901，用于向局点分析设备发送第一模型，第一模型用于根据网络设备的待预测特征数据输出推理结果；

接收单元902，用于接收第一模型和第二模型的差异数据，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括局点分析设备对应的局点网络的网络设备的第一特征数据；

更新单元903，用于利用差异数据更新第一模型，获得第三模型。

本实施例中，发送单元901可以向局点分析设备发送第一模型，接收单元902可以接收第一模型和第二模型的差异数据，更新单元903可以利用差异数据更新第一模型，获得第三模型。其中，差异数据由局点分析设备根据第一模型和第二模型得到，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括网络设备的第一特征数据，且差异数据的私密性高于第一特征数据，因此在可以让更新单元903为了保持模型性能而更新第一模型的基础上，提高了私密性。

请参阅图10，本申请实施例中的模型更新装置的另一个实施例包括：

发送单元1001，用于向局点分析设备发送第一模型，第一模型用于根据网络设备的待预测特征数据输出推理结果；

接收单元1002，用于接收第一模型和第二模型的差异数据，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括局点分析设备对应的局点网络的网络设备的第一特征数据；

更新单元1003，用于利用差异数据更新第一模型，获得第三模型。

本实施例中的模型更新装置还包括：

可选的，

发送单元1001具体用于向N个局点分析设备发送第一模型，N为大于1的整数；

接收单元1002具体用于接收L个局点分析设备发送的多个差异数据，L为大于1，且小于或等于N的整数；

更新单元1003具体用于利用多个差异数据更新第一模型，获得第三模型；

发送单元1001还用于向N个局点分析设备发送第三模型。

可选的，装置还包括：

获取单元1004，用于获取多个差异数据的均值；

更新单元1003具体用于利用多个差异数据的均值更新第一模型，获得第三模型。

或，

获取单元1004，用于获取多个差异数据的加权平均值；

更新单元1003具体用于利用加权平均值更新第一模型，获得第三模型。

可选的，装置还包括：

统计单元1005，用于统计向第一分析设备发送差异数据的局点分析设备的数量L，

更新单元1003具体用于若L与N的比值达到阈值K，K大于0且小于或等于1，则利用差异数据更新第一模型，获得第三模型。

上面对本申请实施例中的模型更新装置进行了描述，下面对本申请实施例中的模型更新设备进行描述。

请参阅图11，本申请实施例中的模型更新设备1100的一个实施例包括：

如图11所示，模型更新设备1100包括处理器1110，与所述处理器1110耦接的存储器1120，收发器1130。模型更新设备1100可以是图2和图3的局点设备。处理器1110可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：networkprocessor，缩写：NP)或者CPU和NP的组合。处理器还可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。处理器1110可以是指一个处理器，也可以包括多个处理器。存储器1120可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器还可以包括上述种类的存储器的组合。存储器1120中存储有计算机可读指令，所述计算机可读指令包括多个软件模块，例如接收模块1122，训练模块1124，获取模块1126，发送模块1128。处理器1110执行各个软件模块后可以按照各个软件模块的指示进行相应的操作。在本实施例中，一个软件模块所执行的操作实际上是指处理器1110根据软件模块的指示而执行的操作。接收模块1122用于接收第一分析设备发送的第一模型。训练模块1124用于利用第一训练样本训练第一模型，获得第二模型，第一训练样本包括局点分析设备所对应的局点设备的网络设备的第一特征数据。获取模块1126用于第一模型和第二模型的差异数据。发送模块1128用于向第一分析设备发送差异数据，用于请求第一分析设备根据差异数据更新第一模型，获得第三模型。此外，处理器1110执行存储器1120中的计算机可读指令后，可以按照所述计算机可读指令的指示，执行局点设备可以执行的全部操作，例如局点设备在与图3和图4对应的实施例中执行的操作。

请参阅图12，本申请实施例中的模型更新设备1200的一个实施例包括：

如图12所示，模型更新设备1200包括处理器1210，与所述处理器1210耦接的存储器1220，收发器1230。模型更新设备1200可以是图2和图3的云端设备。处理器1210可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：networkprocessor，缩写：NP)或者CPU和NP的组合。处理器还可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。处理器1210可以是指一个处理器，也可以包括多个处理器。存储器1220可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器还可以包括上述种类的存储器的组合。存储器1220中存储有计算机可读指令，所述计算机可读指令包括多个软件模块，例如发送模块1222，接收模块1224，更新模块1226。处理器1210执行各个软件模块后可以按照各个软件模块的指示进行相应的操作。在本实施例中，一个软件模块所执行的操作实际上是指处理器1210根据软件模块的指示而执行的操作。发送模块1222用于向局点分析设备发送第一模型，第一模型用于根据网络设备的待预测特征数据输出推理结果。接收模块1224用于接收第一模型和第二模型的差异数据，第二模型由局点分析设备利用第一训练样本训练第一模型得到，第一训练样本包括局点分析设备对应的局点网络的网络设备的第一特征数据。更新模块1226用于利用差异数据更新第一模型，获得第三模型。

此外，处理器1210执行存储器1220中的计算机可读指令后，可以按照所述计算机可读指令的指示，执行云端设备可以执行的全部操作，例如云端设备在与图3和图4对应的实施例中执行的操作。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种模型更新系统，其特征在于，包括：

局点分析设备和第一分析设备；

所述局点分析设备，用于接收第一分析设备发送的第一模型，利用第一训练样本训练所述第一模型，获得第二模型，所述第一训练样本包括所述局点分析设备所对应的局点网络的网络设备的第一特征数据，获取所述第一模型和所述第二模型的差异数据，并向所述第一分析设备发送所述差异数据；

所述第一分析设备，用于向所述局点分析设备发送第一模型，接收所述局点分析设备发送的所述差异数据，并根据所述差异数据更新所述第一模型，获得第三模型。

2.根据权利要求1所述的系统，其特征在于,

所述局点分析设备还用于确定所述第一模型是否发生劣化，若所述局点分析设备确定所述第一模型发生劣化，则所述局点分析设备利用所述第一训练样本训练所述第一模型，获得所述第二模型。

3.根据权利要求2所述的系统，其特征在于,所述系统包括N个所述局点分析设备，所述N为大于1的整数；

所述第一分析设备，具体用于向所述N个所述局点分析设备发送所述第一模型，接收L个所述局点分析设备发送的多个所述差异数据，所述L为大于1，且小于或等于N的整数，并根据多个所述差异数据更新所述第一模型，获得所述第三模型。

4.根据权利要求3所述的系统，其特征在于,

所述第一分析设备，还用于统计向所述第一分析设备发送所述差异数据的所述局点分析设备的数量L，若所述L与所述N的比值达到阈值K，所述K大于0且小于或等于1，则所述第一分析设备利用所述差异数据更新所述第一模型，获得所述第三模型。

5.根据权利要求1至4任意一项所述的系统，其特征在于,所述系统还包括：

网络设备；

所述网络设备，用于接收所述局点分析设备发送的更新后的模型，所述更新后的模型包括所述第二模型或所述第三模型，所述网络设备根据所述网络设备的待预测特征数据，利用所述更新后的模型输出推理结果；

所述局点分析设备，还用于向所述网络设备发送更新后的模型；

或，

所述网络设备，用于向所述局点分析设备发送所述网络设备的待预测特征数据，

所述局点分析设备，还用于根据所述网络设备的待预测特征数据，利用所述更新后的模型输出推理结果。

6.根据权利要求5所述的系统，其特征在于,

所述网络设备，具体用于根据所述网络设备的待预测特征数据，利用所述更新后的模型进行分类结果的预测；

或，

所述局点分析设备，具体用于根据所述网络设备的待预测特征数据，利用所述更新后的模型进行分类结果的预测。

7.根据权利要求6所述的系统，其特征在于,所述待预测特征数据包括关键绩效指标KPI特征数据，所述KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

8.根据权利要求1至7任意一项所述的系统，其特征在于,所述差异数据为梯度信息。

9.一种模型更新方法，其特征在于，包括：

局点分析设备接收第一分析设备发送的第一模型；

所述局点分析设备利用第一训练样本训练所述第一模型，获得第二模型，所述第一训练样本包括所述局点分析设备所对应的局点网络的网络设备的第一特征数据；

所述局点分析设备获取所述第一模型和所述第二模型的差异数据；

所述局点分析设备向所述第一分析设备发送所述差异数据，用于请求所述第一分析设备根据所述差异数据更新所述第一模型，获得第三模型。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

所述局点分析设备确定所述第一模型是否发生劣化，若所述局点分析设备确定所述第一模型发生劣化时，则执行所述局点分析设备利用第一训练样本训练所述第一模型，获得第二模型的步骤。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

所述局点分析设备获取所述第一模型的性能量化指标；

所述局点分析设备确定所述第一模型的性能量化指标是否小于目标阈值；

若所述第一模型的性能量化指标小于所述目标阈值，则所述局点分析设备确定所述第一模型发生劣化。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

所述局点分析设备获取所述网络设备的第二特征数据；

所述局点分析设备获取所述第一模型根据所述第二特征数据得出的第一推理结果；

所述局点分析设备获取所述第一模型的性能量化指标包括：

所述局点分析设备根据所述第一推理结果和所述第二特征数据的预设标签获取所述第一模型的准确率，将所述准确率作为所述第一模型的性能量化指标，或所述局点分析设备根据所述第一推理结果和所述第二特征数据的预设标签获取所述第一模型的召回率，将所述召回率作为所述第一模型的性能量化指标。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

所述局点分析设备向所述网络设备发送第一数据请求，用于请求所述网络设备向所述局点分析设备发送第二训练样本，所述第二训练样本包括所述第二特征数据和所述第一推理结果，所述第一推理结果由所述第一模型根据所述第二特征数据获得。

14.根据权利要求9至13任意一项所述的方法，其特征在于，所述方法还包括：

所述局点分析设备向所述网络设备发送更新后的模型，所述更新后的模型包括所述第二模型或所述第三模型，用于根据所述网络设备的待预测特征数据，输出推理结果。

15.根据权利要求9至13任意一项所述的方法，其特征在于，所述方法还包括：

所述局点分析设备向所述网络设备发送更新后的模型，所述更新后的模型包括所述第二模型或所述第三模型，用于根据所述网络设备的待预测特征数据，进行分类结果的预测，所述待预测特征数据包括KPI特征数据。

16.根据权利要求9至13任意一项所述的方法，其特征在于，所述方法还包括：

所述局点分析设备接收所述网络设备的待预测特征数据；

所述局点分析设备根据所述网络设备的待预测特征数据，利用更新后的模型输出推理结果，所述更新后的模型包括所述第二模型或所述第三模型。

17.根据权利要求16所述的方法，其特征在于，所述待预测特征数据包括KPI特征数据；

所述局点分析设备根据所述网络设备的待预测特征数据，利用更新后的模型输出推理结果包括：

所述局点分析设备根据所述网络设备的待预测特征数据，利用更新后的模型进行分类结果的预测。

18.根据权利要求15或17所述的方法，其特征在于，所述KPI特征数据为KPI时间序列的特征数据，或者为KPI数据。

19.根据权利要求9至18任意一项所述的方法，其特征在于，所述方法还包括：

所述局点分析设备利用测试数据测试所述第二模型，所述测试数据包括真实标签；

所述局点分析设备保存劣化数据，用于让所述局点分析设备利用所述劣化数据更新所述局点分析设备中的模型，所述劣化数据属于所述测试数据，所述劣化数据的推理标签不等于所述真实标签，所述推理标签由所述局点分析设备利用测试数据测试所述第二模型得到。

20.一种模型更新方法，其特征在于，包括：

第一分析设备向局点分析设备发送第一模型，所述第一模型用于根据网络设备的待预测特征数据输出推理结果；

所述第一分析设备接收所述第一模型和第二模型的差异数据，所述第二模型由所述局点分析设备利用第一训练样本训练所述第一模型得到，所述第一训练样本包括所述局点分析设备对应的局点网络的所述网络设备的第一特征数据；

所述第一分析设备利用所述差异数据更新所述第一模型，获得第三模型。

21.根据权利要求20所述的方法，其特征在于，

所述第一分析设备向局点分析设备发送第一模型包括：

所述第一分析设备向N个所述局点分析设备发送所述第一模型，所述N为大于1的整数；

所述第一分析设备接收所述第一模型和第二模型的差异数据包括：

所述第一分析设备接收L个所述局点分析设备发送的多个所述差异数据，所述L为大于1，且小于或等于N的整数；

所述第一分析设备利用所述差异数据更新所述第一模型，获得第三模型包括：

所述第一分析设备利用多个所述差异数据更新所述第一模型，获得所述第三模型；

所述方法还包括：

所述第一分析设备向所述N个所述局点分析设备发送所述第三模型。

22.根据权利要求21所述的方法，其特征在于，所述方法还包括：

所述第一分析设备获取多个所述差异数据的均值；

所述第一分析设备利用多个所述差异数据更新所述第一模型，获得所述第三模型包括：

所述第一分析设备利用多个所述差异数据的均值更新所述第一模型，获得所述第三模型。

23.根据权利要求21所述的方法，其特征在于，所述方法还包括：

所述第一分析设备获取多个所述差异数据的加权平均值；

所述第一分析设备利用所述加权平均值更新所述第一模型，获得所述第三模型。

24.根据权利要求20至23任意一项所述的方法，其特征在于，所述方法还包括：

所述第一分析设备统计向所述第一分析设备发送所述差异数据的所述局点分析设备的数量L；

若所述L与所述N的比值达到阈值K，所述K大于0且小于或等于1，则执行所述第一分析设备利用所述差异数据更新所述第一模型，获得第三模型的步骤。

25.一种模型更新装置，其特征在于，包括：

接收单元，用于接收第一分析设备发送的第一模型；

训练单元，用于利用第一训练样本训练所述第一模型，获得第二模型，所述第一训练样本包括所述局点分析设备所对应的局点网络的网络设备的第一特征数据；

获取单元，用于获取所述第一模型和所述第二模型的差异数据；

发送单元，用于向所述第一分析设备发送所述差异数据，用于请求所述第一分析设备根据所述差异数据更新所述第一模型，获得第三模型。

26.根据权利要求25所述的装置，其特征在于，所述装置还包括：

确定单元，用于确定所述第一模型是否发生劣化，若所述确定单元确定所述第一模型发生劣化时，则所述训练单元利用所述第一训练样本训练所述第一模型，获得所述第二模型。

27.根据权利要求26所述的装置，其特征在于，

所述获取单元还用于获取所述第一模型的性能量化指标；

所述确定单元还用于确定所述第一模型的性能量化指标是否小于目标阈值；

所述确定单元具体用于若所述第一模型的性能量化指标小于所述目标阈值，则确定所述第一模型发生劣化。

28.根据权利要求27所述的装置，其特征在于，

所述获取单元还用于获取所述网络设备的第二特征数据；

所述获取单元还用于获取所述第一模型根据所述第二特征数据得出的第一推理结果；

所述获取单元具体用于根据所述第一推理结果和所述第二特征数据的预设标签获取所述第一模型的准确率，将所述准确率作为所述第一模型的性能量化指标，或所述获取单元具体用于根据所述第一推理结果和所述第二特征数据的预设标签获取所述第一模型的召回率，将所述召回率作为所述第一模型的性能量化指标。

29.根据权利要求25至28任意一项所述的装置，其特征在于，

所述发送单元还用于向所述网络设备发送更新后的模型，所述更新后的模型包括所述第二模型或所述第三模型，用于根据所述网络设备的待预测特征数据，进行分类结果的预测，所述待预测特征数据包括KPI特征数据。

30.根据权利要求25至28任意一项所述的装置，其特征在于，

所述接收单元还用于接收所述网络设备的待预测特征数据；

所述装置还包括：

推理单元，用于根据所述网络设备的待预测特征数据，利用更新后的模型输出推理结果，所述更新后的模型包括所述第二模型或所述第三模型。

31.根据权利要求25至30任意一项所述的装置，其特征在于，所述装置还包括：

测试单元，用于利用测试数据测试所述第二模型，所述测试数据包括真实标签；

保存单元，用于保存劣化数据，用于让所述局点分析设备利用所述劣化数据更新所述局点分析设备中的模型，所述劣化数据属于所述测试数据，所述劣化数据的推理标签不等于所述真实标签，所述推理标签由所述局点分析设备利用测试数据测试所述第二模型得到。

32.一种模型更新装置，其特征在于，包括：

发送单元，用于向局点分析设备发送第一模型，所述第一模型用于根据网络设备的待预测特征数据输出推理结果；

接收单元，用于接收所述第一模型和第二模型的差异数据，所述第二模型由所述局点分析设备利用第一训练样本训练所述第一模型得到，所述第一训练样本包括所述局点分析设备对应的局点网络的所述网络设备的第一特征数据；

更新单元，用于利用所述差异数据更新所述第一模型，获得第三模型。

33.根据权利要求32所述的装置，其特征在于，

所述发送单元具体用于向N个所述局点分析设备发送所述第一模型，所述N为大于1的整数；

所述接收单元具体用于接收L个所述局点分析设备发送的多个所述差异数据，所述L为大于1，且小于或等于N的整数；

所述更新单元具体用于利用多个所述差异数据更新所述第一模型，获得所述第三模型；

所述发送单元还用于向所述N个所述局点分析设备发送所述第三模型。

34.根据权利要求33所述的装置，其特征在于，所述装置还包括：获取单元；

所述获取单元，用于获取多个所述差异数据的均值；

所述更新单元具体用于利用多个所述差异数据的均值更新所述第一模型，获得所述第三模型；

或，

所述获取单元，用于获取多个所述差异数据的加权平均值；

所述更新单元具体用于利用所述加权平均值更新所述第一模型，获得所述第三模型。

35.根据权利要求32至34任意一项所述的装置，其特征在于，所述装置还包括：

统计单元，用于统计向所述第一分析设备发送所述差异数据的所述局点分析设备的数量L；

所述更新单元具体用于若所述L与所述N的比值达到阈值K，所述K大于0且小于或等于1，则利用所述差异数据更新所述第一模型，获得第三模型。

36.一种模型更新设备，其特征在于，包括：存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括执行如上述权利要求9至19任意一项所述的方法；或，执行如上述权利要求20至24任意一项所述的方法。

37.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求9至19中任一项所述的方法；或，使得所述计算机执行如权利要求20至24中任一项所述的方法。