CN113570070B

CN113570070B - 流式数据采样与模型更新方法、装置、系统与存储介质

Info

Publication number: CN113570070B
Application number: CN202111110570.2A
Authority: CN
Inventors: 冯建设; 陈军; 张建宇; 王春洲; 朱瑜鑫; 刘小双; 廖宏军; 成建洪; 陈功; 叶佩玉
Original assignee: Shenzhen Xinrun Fulian Digital Technology Co Ltd
Current assignee: Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date: 2021-09-23
Filing date: 2021-09-23
Publication date: 2022-01-07
Anticipated expiration: 2041-09-23
Also published as: CN113570070A

Abstract

本发明公开了一种流式数据采样与模型更新方法、装置、系统和计算机可读存储介质，该方法包括：在初始模型在线运行时，获取流式数据，所述初始模型是基于训练样本集合训练得到的；将所述流式数据输入所述初始模型，并根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果；若所述重要度测试结果符合预设条件，则根据所述流式数据，对初始模型进行更新。本发明根据训练样本集合对流式数据进行重要度测试，若重要性测试结果符合预设条件，则根据流式数据对初始模型进行更新，使得模型能够自适应更新，以延长模型维持高性能表现的时间。

Description

流式数据采样与模型更新方法、装置、系统与存储介质

技术领域

本发明涉及机器学习技术领域，尤其涉及流式数据采样与模型更新方法、装置、系统与计算机可读存储介质。

背景技术

目前的PHM（Prognostic and Health Management，故障诊断与健康管理）模型多以离线训练与部署为主，因此无法从在线的流式数据中捕捉高价值的数据样本，不具备高效的在线更新的能力，难以做到在线的模型自适应更新，这会导致模型能够维持高性能表现的时间大为缩短，很快就无法发挥实时设备状态检测的作用；

因此，如何延长模型维持高性能表现的时间，是急需解决的问题。

发明内容

本发明的主要目的在于提出一种流式数据采样与模型更新方法、装置、系统与计算机可读存储介质，旨在解决如何延长初始模型维持高性能表现的时间的问题。

为实现上述目的，本发明提供一种流式数据采样与模型更新方法，所述流式数据采样与模型更新方法包括如下步骤：

在初始模型在线运行时，获取流式数据，所述初始模型是基于训练样本集合训练得到的；

将所述流式数据输入所述初始模型，并根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果；

若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新。

优选地，根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果的步骤包括：

根据所述初始模型中的所述训练样本集合对所述流式数据进行第一重要度测试，得到第一测试结果；

根据所述初始模型中的所述训练样本集合对所述流式数据进行第二重要度测试，得到第二测试结果；

根据所述第一测试结果和所述第二测试结果，得到重要度测试结果。

优选地，根据所述初始模型中的所述训练样本集合对所述流式数据进行第一重要度测试，得到第一测试结果的步骤包括：

构建所述训练样本集合对应的非相似度集合，并计算所述非相似度集合的第一均值和第一方差；

计算所述流式数据与所述训练样本集合的最小非相似度，并根据所述最小非相似度、所述第一均值和所述第一方差，得到第一测试结果。

优选地，根据所述初始模型中的所述训练样本集合对所述流式数据进行第二重要度测试，得到第二测试结果的步骤包括：

计算出所述初始模型对训练样本集合的初始模型预测误差集合，并计算所述初始模型预测误差集合的第二均值和第二方差；

将所述流式数据输入所述初始模型，以计算出所述初始模型对所述流式数据的误差值，并根据所述误差值、所述第二均值和所述第二方差，得到第二测试结果。

优选地，若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新的步骤之前，所述流式数据采样与模型更新方法还包括：

根据所述训练样本集合，确定所述初始模型对应的前验概率分布和似然函数，并根据所述前验概率分布和所述似然函数，得到所述初始模型对应的后验分布。

优选地，若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新的步骤包括：

若所述重要度测试结果符合预设条件，则将经过所述重要度测试的流式数据代入所述后验分布；

对代入流式数据的后验分布进行递归操作，以对所述初始模型进行更新。

优选地，若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新的步骤之后，所述流式数据采样与模型更新方法还包括：

将所述初始模型替换为更新后的模型，并使得所述更新后的模型在线运行。

此外，为实现上述目的，本发明还提供一种流式数据采样与模型更新装置，所述流式数据采样与模型更新装置包括：

获取模块，用于在初始模型在线运行时，获取流式数据，所述初始模型是基于训练样本集合训练得到的；

测试模块，用于将所述流式数据输入所述初始模型，并根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果；

更新模块，用于若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新。

进一步地，所述测试模块还用于：

进一步地，所述更新模块还用于：

此外，为实现上述目的，本发明还提供一种流式数据采样与模型更新系统，所述流式数据采样与模型更新系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流式数据采样与模型更新程序，所述流式数据采样与模型更新程序被所述处理器执行时实现如上所述的流式数据采样与模型更新方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有流式数据采样与模型更新程序，所述流式数据采样与模型更新程序被处理器执行时实现如上所述的流式数据采样与模型更新方法的步骤。

本发明提出的流式数据高效采样与模型在线更新，在初始模型在线运行时，获取流式数据，所述初始模型是基于训练样本集合训练得到的；将所述流式数据输入所述初始模型，并根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果；若所述重要度测试结果符合预设条件，则根据所述流式数据，对初始模型进行更新。本发明根据训练样本集合对流式数据进行重要度测试，若重要性测试结果符合预设条件，则根据流式数据对初始模型进行更新，使得模型能够自适应更新，以延长模型维持高性能表现的时间。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明流式数据采样与模型更新方法第一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例设备可以是PC机或服务器设备。

如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及流式数据采样与模型更新程序。

其中，操作系统是管理和控制流式数据高效采样、模型在线更新与软件资源的程序，支持网络通信模块、用户接口模块、流式数据采样与模型更新程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的智能制造设备中，所述智能制造设备通过处理器1001调用存储器1005中存储的流式数据采样与模型更新程序，并执行下述流式数据采样与模型更新方法各个实施例中的操作。

基于上述硬件结构，提出本发明流式数据采样与模型更新方法实施例。

参照图2，图2为本发明流式数据采样与模型更新方法第一实施例的流程示意图，所述方法包括：

步骤S10，在初始模型在线运行时，获取流式数据，所述初始模型是基于训练样本集合训练得到的；

步骤S20，将所述流式数据输入所述初始模型，并根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果；

步骤S30，若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新。

本实施例流式数据采样与模型更新方法包括对流式数据进行重要度测试和模型更新，该数据处理方法运用智能制造设备的故障诊断与预测性维护（PHM）系统中，该智能制造设备可以是终端、PC设备或生产制造设备，PHM系统全生命周期包含了PHM目标定义、离线初始模型训练、初始模型部署运维、与在线推理与模型更新4个主要模块；为描述方便，以生产制造设备为例进行描述；生产制造设备中的PHM目标定义已完成，根据目标需求收集训练样本集合并进行了数据驱动的初始模型训练，得到初始模型，初始模型评估达到要求，经过初始模型部署运维阶段，该初始模型得以部署并实现在线运行，并且生产制造设备处于动态生产制造的过程中，在此基础上，在初始模型在线运行时，流式数据采样与模型更新系统从生产制造设备及环境中获取流式数据，该初始模型是基于训练样本集合训练得到的，将流式数据输入所述初始模型，并根据初始模型中的训练样本集合对流式数据进行重要度测试，重要度测试包括第一重要度测试和第二重要度测试，通过对流式数据进行第一重要度测试得到第一测试结果，通过对流式数据进行第二重要度测试得到第二测试结果，并根据第一测试结果和第二测试结果得到重要度测试结果；若判断得到重要度测试结果符合预设条件，则根据通过重要度测试的流式数据，对初始模型进行更新。需要说明的是，流式数据采样与模型更新系统从生产制造设备及环境获取的流式数据可以是单个数据，也可以是流式数据集合，流式数据是生产制造设备在生产制造过程中被采集到的数据；训练样本集合是初始模型训练阶段的数据集合；预设条件是由相关研发人员在流式数据采样与模型更新系统装置中提前设定的，只有在重要度测试结果符合预设条件时，才对初始模型进行更新；初始模型可为数据驱动模型。

本实施例的流式数据采样与模型更新方法，在初始模型在线运行时，获取流式数据，初始模型是基于训练样本集合训练得到的；将流式数据输入初始模型，并根据初始模型中的训练样本集合对流式数据进行重要度测试，得到重要度测试结果；若重要度测试结果符合预设条件，则根据流式数据，对初始模型进行更新。本发明根据训练样本集合对流式数据进行重要度测试，若重要性测试结果符合预设条件，则根据流式数据对初始模型进行更新，使得模型能够自适应更新，以延长模型维持高性能表现的时间。

以下将对各个步骤进行详细说明：

在本实施例中，流式数据采样与模型更新系统根据目标需求收集训练样本集合，并进行了数据驱动的初始模型训练，得到初始模型，并且初始模型评估达到要求，初始模型经过初始模型部署运维阶段，并实现在线运行，流式数据采样与模型更新系统在初始模型在线运行时，实时获取生产制造设备以及环境中的流式数据。

在本实施例中，流式数据采样与模型更新系统获取流式数据后，将流式数据输入初始模型，并根据初始模型中的训练样本集合分别对流式数据进行第一重要度测试和第二重要度测试，以完成对流式数据的重要度测试，并根据第一重要度测试得到的第一测试结果和第二重要度测试得到的第二测试结果，确定重要度测试结果。

具体地，步骤S20还包括：

步骤a，根据所述初始模型中的所述训练样本集合对所述流式数据进行第一重要度测试，得到第一测试结果；

在该步骤中，流式数据采样与模型更新系统获取到流式数据后，根据初始模型中的训练样本集合构建出训练样本集合对应的非相似度集合，并根据非相似度集合对流式数据进行第一重要度测试，得到第一测试结果，在一实施例中，流式数据采样与模型更新系统获取的流式数据为单个数据时，先构建出训练样本集合对应的非相似度集合，再计算出非相似度集合对应的第一均值和第一方差，计算出流式数据与训练原本集合的非相似度，根据流式数据与训练样本集合的非相似度以及非相似度集合对应的第一均值和第一方差得到第一测试结果；在另一实施例中，流式数据采样与模型更新系统获取的流式数据为多个数据，即流式数据集合时，在计算出流式数据与训练原本集合的非相似度时，需要计算流式数据集合中每个数据与训练样本集合的非相似度，并分别根据每个非相似度与非相似度集合对应的第一均值和第一方差得到第一测试结果集合。需要说明的是，第一重要度测试为数据重建重要度测试，通过分析流式数据对于训练样本集合的非相似度，以判断是否将流式数据用于初始模型的更新。

进一步地，步骤a包括：

在该步骤中，流式数据采样与模型更新系统随机根据训练样本集合中的训练样本数据，计算出每个训练样本数据与其它训练样本数据的非相似度，以构建训练样本集合对应的非相似度集合，并计算出非相似度集合对应的第一均值和第一方差；如：对于训练样本集合内的任意样本x_i,x_j（i≠j），定义非相似度为：

其中，d_i,j指任意样本x_i,x_j（i≠j）的非相似度，p为正整数，典型的，p取1或者2，计算出训练样本集合中每个训练样本数据与其它训练样本数据的非相似度后，构建非相似度集合D={d_i,j,1≤i<j}，再计算出非相似度集合对应的第一均值mean(D)和第一方差var(D)。

在该步骤中，流式数据采样与模型更新系统计算流式数据与训练样本集合中的每个训练样本数据的非相似度，并确定的最小非相似度，并根据最小非相似度、第一均值和第一方差，得到第一测试结果；在一实施例中，流式数据采样与模型更新系统获取的流式数据为单个数据x_t时，计算流式数据x_t与训练样本集合中每个训练样本数据的非相似度：

其中，d_t,i指x_t与训练样本集合中任意样本x_i的非相似度，p为正整数，典型的，p取1或者2，流式数据采样与模型更新系统计算出流式数据与训练样本集合中每个训练样本数据的非相似度后，确定其中的最小非相似度min(d_t,i)，并结合第一均值mean(D)和第一方差var(D)，得到第一测试结果

：

其中，当最小非相似度min(d_t,i)大于或等于第一均值mean(D)与三倍第一方差3var(D)的和时，第一测试结果

为1，其他情况下第一测试结果

为0。

在另一实施例中，流式数据采样与模型更新系统获取的流式数据为多个数据，即流式数据集合时，在计算出流式数据与训练原本集合的非相似度时，需要计算流式数据集合中每个流式数据与训练样本集合的非相似度，并分别根据每个流式数据对应的最小非相似度与非相似度集合对应的第一均值和三倍第一方差得到第一测试结果集合。

步骤b，根据所述初始模型中的所述训练样本集合对所述流式数据进行第二重要度测试，得到第二测试结果；

在该步骤中，流式数据采样与模型更新系统根据初始模型对训练样本集合的预测值以及贝叶斯概率模型对训练样本集合的测量值，确定初始模型对训练样本集合的预测误差集合，计算出初始模型预测误差集合对应的第二均值和第二方差；流式数据采样与模型更新系统根据初始模型对流式数据的预测值以及贝叶斯概率模型对流式数据的测量值，确定初始模型对流式数据的误差值，并根据第二均值、第二方差和初始模型对流式数据的误差值进行第二重要度测试，得到第二测试结果；在一实施例中，流式数据采样与模型更新系统获取的流式数据为单个数据时，先根据初始模型对训练样本集合的预测值以及贝叶斯概率模型对训练样本集合的测量值，确定初始模型预测误差集合，再计算出初始模型预测误差集合对应的第二均值和第二方差，根据初始模型对流式数据的预测值以及贝叶斯概率模型对流式数据测量值，确定初始模型对流式数据的误差值，根据初始模型对流式数据的误差值以及预测误差集合对应的第二均值和第二方差得到第二测试结果；在另一实施例中，流式数据采样与模型更新系统获取的流式数据为多个数据，即流式数据集合时，在计算出初始模型对流式数据的误差值时，需要计算初始模型对流式数据集合中每个数据的误差值，并分别根据初始模型对流式数据集合中每个数据的误差值与预测误差集合对应的第二均值和第二方差得到第二测试结果集合。需要说明的是，第二重要度测试为初始模型重建重要度测试，通过分析初始模型对流式数据的误差值，以判断是否将流式数据用于初始模型的更新。

进一步地，步骤b包括：

在该步骤中，流式数据采样与模型更新系统计算出初始模型对训练样本集合的初始模型预测误差集合，并计算初始模型预测误差集合的第二均值和第二方差；在一实施例中，流式数据采样与模型更新系统将训练样本集合内的任意样本x_i输入初始模型，都能计算出初始模型对任意样本x_i的预测值

，流式数据采样与模型更新系统通过贝叶斯概率模型对训练样本集合内的任意样本x_i进行测量，都能得到测量值y_i，因此，初始模型对训练样本集合内的任意样本x_i都有预测误差为

，将初始模型对训练样本集合中的每个样本数据的预测误差都计算完毕后，构建初始模型预测误差集合

，再计算出初始模型预测误差集合E对应的第二均值和第二方差。

在该步骤中，流式数据采样与模型更新系统将流式数据输入初始模型，计算出初始模型对流式数据的预测值，流式数据采样与模型更新系统通过贝叶斯概率模型对流式数据测量，得到测量值，并根据预测值和测量值计算出初始模型对流式数据的误差值，再根据初始模型对流式数据的误差值、初始模型预测误差集合的第二均值和第二方差，得到第二测试结果；在一实施例中，流式数据采样与模型更新系统获取的流式数据为单个数据时，对于当前时刻t的流式数据x_t，流式数据采样与模型更新系统将流式数据x_t输入初始模型，得到预测值

，并通过贝叶斯概率模型对流式数据x_t进行测量，得到测量值y_t初始模型对流式数据x_t误差值为

，流式数据采样与模型更新系统根据初始模型对流式数据x_t误差值

、第二均值mean(E)和三倍第二方差3var(E)，得到第二测试结果

:

其中，当误差值

大于或等于第二均值mean(E)和三倍第二方差3var(E)，第二测试结果

为1，其他情况下第二测试结果

为0。

在另一实施例中，流式数据采样与模型更新系统获取的流式数据为多个数据，即流式数据集合时，在计算出初始模型对流式数据的误差值时，需要计算初始模型对流式数据集合中每个数据的误差值，并分别根据初始模型对流式数据集合中每个数据的误差值与预测误差集合对应的第二均值和三倍第二方差得到第二测试结果集合。

步骤c，根据所述第一测试结果和所述第二测试结果，得到重要度测试结果。

在该步骤中，流式数据采样与模型更新系统根据第一测试结果和第二测试结果，得到重要度测试结果；在一实施例中，流式数据采样与模型更新系统获取的流式数据为单个数据，并得到第一测试结果为

，得到第二测试结果为

，对于重要度测试结果

有如下规则：

其中，当流式数据采样与模型更新系统得到第一测试结果

为1和第二测试结果

为1，以及第一测试结果

为1或第二测试结果

为1的情况下，则重要度测试结果

为1，此时流式数据采样与模型更新系统获取的流式数据通过重要度测试，可用于后续更新初始模型的步骤，当流式数据采样与模型更新系统得到第一测试结果

和第二测试结果

为其他情况，则重要度测试结果

为0，此时流式数据采样与模型更新系统获取的流式数据不通过重要度测试，不可用于后续更新初始模型的步骤。

在本实施例中，流式数据采样与模型更新系统得到重要度测试结果，并将重要度结果与预设条件进行对比，若重要度测试结果不符合预设条件，则对应的流式数据不通过重要度测试，初始模型不需要进行更新，若重要度测试结果符合预设条件，则根据流式数据对初始模型进行更新；如：当流式数据采样与模型更新系统得到第一测试结果

为1和第二测试结果

为1，以及第一测试结果

为1或第二测试结果

为1的情况下，则重要度测试结果

为1，符合预设条件，此时流式数据采样与模型更新系统获取的流式数据通过重要度测试，根据流式数据对初始模型进行更新，当流式数据采样与模型更新系统得到第一测试结果

为0和第二测试结果

为0，则重要度测试结果

为0，不符合预设条件，此时流式数据采样与模型更新系统获取的流式数据不通过重要度测试，初始模型不需要进行更新。

具体地，在步骤S30之前包括：

步骤d，根据所述训练样本集合，确定所述初始模型对应的前验概率分布和似然函数，并根据所述前验概率分布和所述似然函数，得到所述初始模型对应的后验分布。

在该步骤中，流式数据采样与模型更新系统根据训练样本集合，确定初始模型对应的前验概率分布和似然函数，并根据前验概率分布和似然函数，得到初始模型对应的后验分布，在一实施例中，流式数据采样与模型更新系统根据训练样本集合，确定初始模型初始模型有贝叶斯回归形式：

，其中，y_t为训练样本集合中的每个样本数据通过贝叶斯概率模型后得出的值，

为初始模型对应的计算函数，其中θ为初始模型中的计算参数，x_t为训练样本集合中的任意一个样本数据，

为期望为0，方差为

的正态分布，基于训练样本集合以及初始模型对应的贝叶斯回归形式，确定

为参数前验概率分布，

为似然函数，因此初始模型的后验分布可分解为：

其中，

为参数前验概率分布，

为似然函数，θ为初始模型中的计算参数，

为正态分布的标准差，x_i为训练样本集合中的任意一个样本数据，y_i为训练样本集合中的每个样本数据x_i通过贝叶斯概率模型后得出的值。

具体地，在步骤S30包括：

步骤e，若所述重要度测试结果符合预设条件，则将经过所述重要度测试的流式数据代入所述后验分布；

在该步骤中，流式数据采样与模型更新系统得到重要度测试结果，并将重要度结果与预设条件进行对比，若重要度测试结果符合预设条件，则将经过重要度测试的流式数据代入后验分布中。

步骤f，对代入流式数据的后验分布进行递归操作，以对所述初始模型进行更新。

在该步骤中，流式数据采样与模型更新系统对代入经过重要度测试的流式数据的后验分布进行递归操作，以对初始模型进行更新，在一实施例中，通过重要度测试的流式数据为单个数据x_t，流式数据采样与模型更新系统将流式数据x_t代入后验分布后，对后验分布进行递归操作：

其中，

，通过对比，经过递归操作后的后验分布可分解出流式数据x_t对应的概率分布为

，该概率分布与后验分布未代入流式数据x_t时的分布具有关联性，因此通过将流式数据x_t代入后验分布，可对初始模型进行更新，得到更新后的模型，使得初始模型能够自适应更新，以延长初始模型维持高性能表现的时间。

本实施例的流式数据采样与模型更新系统在初始模型在线运行时，获取流式数据，该初始模型是基于训练样本集合训练得到的，将流式数据输入所述初始模型，并根据初始模型中的训练样本集合对流式数据进行重要度测试，重要度测试包括第一重要度测试和第二重要度测试，通过对流式数据进行第一重要度测试得到第一测试结果，通过对流式数据进行第二重要度测试得到第二测试结果，并根据第一测试结果和第二测试结果得到重要度测试结果；流式数据采样与模型更新系统若判断得到重要度测试结果符合预设条件，则根据通过重要度测试的流式数据，对初始模型进行更新，使得模型能够自适应更新，以延长模型维持高性能表现的时间。

进一步地，基于本发明流式数据采样与模型更新方法第一实施例，提出本发明流式数据采样与模型更新方法第二实施例。

流式数据采样与模型更新方法的第二实施例与流式数据采样与模型更新方法的第一实施例的区别在于，在步骤S20之后，流式数据采样与模型更新方法还包括：

步骤g，将所述初始模型替换为更新后的模型，并使得所述更新后的模型在线运行。

在本实施例中，流式数据采样与模型更新系统在对初始模型完成更新后，将更新前的初始模型替换为更新后的模型，并利用更新后的模型进行对智能制造设备的故障诊断与预测性维护，同时使得更新后的模型在线运行，获取流式数据，并将通过重要度测试结果符合预设条件的流式数据继续对模型进行更新，以达到延长模型维持高性能表现的时间的目的。

本发明还提供一种流式数据采样与模型更新装置。本发明流式数据采样与模型更新装置包括：

进一步地，所述测试模块还用于：

进一步地，所述更新模块还用于：

本发明还提供一种流式数据采样与模型更新系统。

流式数据采样与模型更新系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流式数据采样与模型更新程序，所述流式数据采样与模型更新程序被所述处理器执行时实现如上所述的数据流式数据高效采样与模型在线更新的步骤。

其中，在所述处理器上运行的流式数据采样与模型更新程序被执行时所实现的方法可参照本发明数据流式数据采样与模型更新方法各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

计算机可读存储介质上存储有流式数据采样与模型更新程序，所述流式数据采样与模型更新程序被处理器执行时实现如上所述的流式数据高效采样与模型在线更新的步骤。

其中，在所述处理器上运行的流式数据采样与模型更新程序被执行时所实现的方法可参照本发明流式数据采样与模型更新方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种流式数据采样与模型更新方法，其特征在于，所述流式数据采样与模型更新方法包括如下步骤：

若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新；

其中，根据所述初始模型中的所述训练样本集合对所述流式数据进行重要度测试，得到重要度测试结果的步骤包括：

根据所述第一测试结果和所述第二测试结果，得到重要度测试结果；

根据所述初始模型中的所述训练样本集合对所述流式数据进行第一重要度测试，得到第一测试结果的步骤包括：

2.如权利要求1所述的流式数据采样与模型更新方法，其特征在于，所述根据所述初始模型中的所述训练样本集合对所述流式数据进行第二重要度测试，得到第二测试结果的步骤包括：

3.如权利要求1中所述的流式数据采样与模型更新方法，其特征在于，所述若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新的步骤之前，所述流式数据采样与模型更新方法还包括：

4.如权利要求3所述的流式数据采样与模型更新方法，其特征在于，所述若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新的步骤包括：

5.如权利要求1所述的流式数据采样与模型更新方法，其特征在于，所述若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新的步骤之后，所述流式数据采样与模型更新方法还包括：

6.一种流式数据采样与模型更新装置，其特征在于，所述流式数据采样与模型更新装置包括：

更新模块，用于若所述重要度测试结果符合预设条件，则根据所述流式数据，对所述初始模型进行更新；

其中，所述测试模块还用于根据所述初始模型中的所述训练样本集合对所述流式数据进行第一重要度测试，得到第一测试结果；

其中，所述测试模块还用于构建所述训练样本集合对应的非相似度集合，并计算所述非相似度集合的第一均值和第一方差；

7.一种流式数据采样与模型更新系统，其特征在于，所述流式数据采样与模型更新方法系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流式数据采样与模型更新程序，所述流式数据采样与模型更新程序被所述处理器执行时实现如权利要求1至5中任一项所述的流式数据采样与模型更新方法的步骤。

8.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有流式数据采样与模型更新程序，所述流式数据采样与模型更新程序被处理器执行时实现如权利要求1至5中任一项所述的流式数据采样与模型更新方法的步骤。