CN109634820A - 一种云端移动端协同的故障预警方法、相关设备及系统 - Google Patents

Abstract

本发明公开了一种云端移动端协同的故障预警方法、相关设备及系统，通过移动端监控用户数据信息，云端接收移动端发送的数据，对移动端发送的数据进行处理，得到故障预警模型并将故障预警模型下发给移动端，移动端获取故障预警模型进行故障预警。该方法利用云端的高计算能力和大的存储空间能够有效解决用户移动端资源有限，机器学习模型训练过程中对计算能力和存储空间的需求。同时云端能够提供大量的用户数据，解决了单纯使用用户移动端数据量不足的问题，使得预警模型得到充分的训练，并且针对每种类型的移动端都训练一个预警模型能够有效提高故障预警的精确度。

Description

一种云端移动端协同的故障预警方法、相关设备及系统

技术领域

本发明属于机器学习技术应用领域，更具体地，涉及一种云端移动端协同的故障预警方法、相关设备及系统。

背景技术

随着移动通信和嵌入式技术的高速发展，移动终端的硬件性能和软件水平不断提高，不仅为用户提供了优越的用户体验，还在很大程度上提高了人们的工作效率和生活质量。移动端的应用扩展到学习、购物、网上支付、娱乐等日常生活中，其广泛使用给我们带来了便利，同时也带来了各种挑战。移动端上存储着用户大量的重要数据信息，如通讯录、日程、短信息等。一旦出现丢失、误删或其他可能导致数据无法正常使用的操作，都将给用户带来巨大麻烦。

刨除一些外在因素，移动端存储器件的健康状态至关重要，因为存储器件的损坏将会直接导致数据的不可访问。所以出现了一些针对存储器件健康状态进行预测的方法，包括物理模型预测、统计模型预测以及一些机器学习模型预测等。

但是这些现有的模型方法在进行非线性事件故障预警时还是精确度不够高，虽然有效果不错的机器学习模型，但是单纯地使用个人移动端信息来对预警模型进行训练的话，数据量不足，无法真正意义上地对模型进行良好的训练。而且因为移动端资源有限，而模型训练时需要的大计算量和存储空间也限制了预警模型的使用。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种云端移动端协同的故障预警方法、相关设备及系统，由此解决现有的单纯使用移动端进行故障预警导致的数据量不足，精确度不够高，预警模型需求的大计算量和存储空间的问题。通过云端收集的大量数据对机器学习中的模型进行训练然后用来对故障进行分析的方法，其目的在于解决现有的故障预警方法训练数据量小、精确度不够高的问题，并且能够通过云端的大计算能力和存储空间有效解决移动端资源有限的问题。

为实现上述目的，按照本发明的一个方面，提供了一种云端移动端协同的故障预警方法，包括：

移动端监控用户数据信息，并将所述数据信息进行发送；

云端接收移动端发送的数据，并对所述移动端发送的数据进行处理；

云端得到故障预警模型并将所述故障预警模型下发给移动端；

移动端获取故障预警模型进行故障预警。

进一步地，所述云端接收移动端发送的数据，并对所述移动端发送的数据进行处理，包括：

按移动端类别将数据进行分类；

按比例将所述数据切分为两部分。

进一步地，所述按比例将数据切分为两部分包括：

剔除掉数据量缺失超过50％的用户数据；

在剩下的数据中进行随机采样，继续从中选取跟移动端需要预警的故障问题密切相关的数据，将保留下来的数据按照比例进行切分，前一部分的数据作为训练数据集，后一部分的数据作为验证数据集。

进一步地，所述云端得到故障预警模型并将所述故障预警模型下发给移动端包括：

用训练数据集对故障预警模型进行训练；

用验证数据集对训练好的模型进行验证。

进一步地，所述用训练数据集对故障预警模型进行训练包括：

选取故障预警模型，确定故障预警模型的具体配置参数；

将所有用户的训练数据集并列起来划分成一个个数据段，每个数据段有固定数量用户的等长数据；

更新循环次数，把数据段中的所以用户数据依次输入到故障预警模型中进行训练；

每次训练完一个数据段的数据后都要对故障预警模型进行一次更新；

根据训练结果对故障预警模型进行处理。

进一步地，所述根据训练结果对故障预警模型进行处理包括：

若已经达到设定好的训练次数或者预警模型的loss函数值已经收敛，则：

结束训练得到训练好的故障预警模型。

若未达到设定好的训练次数或者预警模型的loss函数值未收敛，则：

用训练数据集继续对故障预警模型进行训练。

进一步地，所述用验证数据集对故障预警模型进行验证包括：

用验证数据集对训练好的模型进行测试；

根据测试结果对故障预警模型进行处理。

进一步地，所述根据测试结果对故障预警模型进行处理包括：

查看验证数据集对训练好的模型的测试结果和真是结果之间视为误差，若误差在要求的范围内，则：

验证完成得到验证好的故障预警模型；

若误差不在要求的范围内，则：

用训练数据集对故障预警模型进行训练。

按照本发明的另一方面，提供了一种移动端，包括：

监控模块，被配置为监控用户数据信息，收集用户数据；

发送模块，被配置为将用户数据进行发送；

获取模块，被配置为获取故障预警模型；

预警模块，被配置为利用故障预警模型进行故障预警。

按照本发明的另一方面，提供了一种云端，包括：

接收模块，被配置为接收移动端发送的数据；

处理模块，被配置为对接收的数据进行处理

下发模块，被配置为将故障预警模型下发给移动端。

进一步地，所述数据包括训练数据集，所述处理模块包括：

第一处理模块，被配置为用训练数据集对故障预警模型进行训练。

进一步地，所述数据包括验证数据集，所述处理模块包括：

第二处理模块，被配置为用验证数据集对训练好的模型进行验证。

按照本发明的另一方面，提供了一种故障预警系统，包括移动端和云端；

所述移动端，用于监控用户信息，收集用户数据，并将所述数据进行发送；

所述云端，用于接收所述移动端数据，并对所述移动端发送的数据进行处理，得到故障预警模型并将所述故障预警模型下发给所述移动端；

所述移动端，还用于利用所述云端下发的故障预警模型进行自身的故障预警。

本发明提供给的一种云端移动端协同的故障预警的方法，通过在云端收集的大量数据对机器学习中的故障预警模型进行训练，然后把训练好故障预警模型下发给相应的移动端用来对故障进行预警分析，能够有效地扩大神经网络模型训练的数据集，提高模型的精确度，并且在云端进行训练能够减轻用户移动端的负担，提高模型训练速度。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)利用云端的高计算能力和大的存储空间能够有效解决用户移动端资源有限，机器学习模型训练过程中对计算能力和存储空间的需求；

(2)云端能够提供大量的用户数据，解决了单纯使用用户移动端数据量不足的问题，使得预警模型得到充分的训练；

(3)针对每种类型的移动端都训练一个预警模型能够有效提高故障预警的精确度；

附图说明

图1为本发明实施例中公开的GRU-RNN模型结构示意图；

图2为本发明实施例中公开的一种云端移动端协同的故障预警方法的流程示意图；

图3为本发明实施例中公开的GRU-RNN模型训练使用的通用化数据结构示意图；

图4为本发明实施例中公开的GRU-RNN模型微调使用的私人化数据结构示意图。

图5为本发明实施例公开的一种移动端的框图；

图6-8为本发明实施例公开的一种云端的框图；

图9为本发明实施例中的公开的一种云端移动端协同的故障预警系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提供给的云端移动端协同的故障预警方法，通过在云端收集的大量数据对机器学习中的故障预警模型进行训练，然后把验证好的针对各类移动端的预警模型下发给相应类别的移动端用来对故障进行预警分析，能够有效地扩大神经网络模型训练的数据量，提高模型的精确度，并且在云端进行模型训练能够减轻用户移动端的负担，提高模型训练速度。

本发明实施例中，移动端包括运行Android操作系统、iOS操作系统、Windows操作系统或其他操作系统的移动端，例如，移动电话、平板电脑等各类可以被采集信息的移动终端，云端包括能够通过网络直接接收、存储并且处理这些信息的服务器，本发明实施例后续不作重复。

下面将结合实施例及附图，具体说明本发明提供的一种云端移动端协同的故障预警方法、相关设备及系统。

这里所说的故障预警模型可以预先进行设定，例如常用的故障预警模型GRU-RNN(Gated Recurrent Units-Recurrent Neutral Network，门控循环神经网络)，或者也可以由用户自定义。本实施例以GRU-RNN模型为例。如图1所示，假定的是历史上最近的30个时刻的数据信息会对下一个时刻的数据信息造成影响，每一个GRU单元中包含30个隐藏的神经元。因为要根据历史的30个信息来预测未来的一个时刻信息，所以中间的输出全部忽略，只记录我们需要的预测值。这样，前边就相当于是一个编码的过程，把30个输入信息整合编码成了一个向量，然后再通过一个解码过程对得到的包含了前边30个输入信息的向量进行解码，得到要预测的数据信息。本发明实施例要预测的是下一个时间段的故障信息，而移动端中最重要的是用户的数据，所以对移动端影响最大的故障是存储期间的故障，所以我们主要是根据移动端flash器件的温度、擦写次数、坏块个数等信息来对移动端存储器件的故障进行衡量，并且通过历史上的这些参数来预测未来一个时刻的各个参数的期待值，从而能够在移动端出现故障之前对用户进行故障预警。

图2为实施例中的云端移动端协同的故障预警方法的流程示意图，包括：移动端监控用户的数据信息，并将数据信息进行发送；云端接收移动端发送的数据，对收集到的数据进行处理，把数据划分成训练数据集和验证数据集两部分，然后在云端用训练数据集对GRU-RNN模型进行训练，接着使用验证数据集对训练好的模型进行验证，看是否达到要求的准确率，如果达到标准，比如在验证集中预测值和实际值之间的方差小于设定好的数值，就可以将在云端验证好的GRU-RNN模型下发给对应的移动端，如果未能达到标准就继续进行训练；最后移动端获取来自云端的GRU-RNN模型进行使用，进行故障预警。

具体包括如下步骤：

S1.移动端监控用户数据信息，并将所述数据信息进行发送；

S2.云端接收移动端发送过来的数据，对收集到的数据进行处理，把数据划分成训练数据集和验证数据集；

S3.云端用训练数据集对GRU-RNN模型进行训练；

S4.云端用验证数据集对训练好的GRU-RNN模型进行验证；

S5.云端将验证过的GRU-RNN模型下发到移动端

S6.移动端接收云端下发的GRU-RNN模型进行故障预警。

具体来说，步骤S2中数据采集还可以分为通用数据采集和私人化数据采集。(1)通用数据：从每一个用户提供的数据信息中进行随机片段抽取，抽取出来若干个大的数据片段；(2)私人化数据：从当前用户的历史使用数据中顺序抽取若干个连续的数据片段。每个时间段包含若干个时刻的数据包，每个时刻的数据包的记录时间相隔1天，数据包包括时间、温度、擦写次数、坏块个数这4个属性。并且这些数据都要进行各自的归一化处理，把这些大小衡量标准不同的各种数据归一化到0到1之间。

具体的，上述故障预警的方法，其步骤S2包括以下子步骤：

S201.先对收集到的数据按移动端类别进行分类；

S202.剔除掉数据量缺失超过50％的用户数据，然后在剩下的数据中进行随机采样；

S203.在保留下来的数据中选取跟移动端需要预警的故障问题密切相关的数据；

S204.对保留下来的的数据分别按照4:1的比例进行切分，前80％的数据作为训练数据集，后20％的数据作为验证数据集。

具体的，上述故障预警的方法，其步骤S3包括以下子步骤：

S301.确定GRU-RNN模型的时间步长S为30，隐藏层神经元个数N为30；

S302.将所有用户的训练数据集并列起来划分成一个个数据段，每个数据段有固定数量用户的等长数据；

S303.更新循环次数，把数据段中的所有用户数据依次输入到GRU-RNN模型中进行训练；

S304.每次训练完一个数据段的数据后都要对GRU-RNN模型进行一次更新；

S305.是否已经达到设定好的训练次数或者预警模型的loss函数值已经收敛，若是，则结束训练，转到步骤S4，若否，则转到步骤S303。

实际应用中，先取训练数据集前80％的时间段，每个时间段包含有若干个时刻的数据包，这些时刻数据包按照时间顺序划分为多组，每组包含31个数据包。数据包包括时间、温度、擦写次数、坏块个数这4个属性。除时间作为时间步长的索引以外，其余3个属性均作为自变量存入数据库。训练完成后再取训练数据集后20％的时间段进行滑动顺序预测，也就是长度为31的预测窗口每次向后移动固定的长度以获取新的预测窗口，本例中每次向后移动固定的长度采用的是1。这样的训练方式主要是考虑到，训练模型数据之间的独立性，从而使模型误差达到最小。滑动预测则更是为了加强预测的合理性和准确性。

图3为实施例中模型训练使用的通用化数据结构示意图。本实施例提供了一种使用通用化数据的模型训练方式，包括N个用户(1～N)，其中用户1、用户2和用户3为一组数据段，时间步长为30。训练过程中就是利用每组的前30个时刻实际的存储器件状态数据包预测第31个时刻的对应数据包，比对预测值和实际值，并计算loss函数对模型进行更新。其中的数据段的思想是训练了三组时间步长为30的数据之后，根据三组梯度的加权平均值来对参数矩阵进行修正。

实际应用中，使用通用化数据的模型训练得到的是通用化的模型，为了适应用户的私人终端，图4为实施例中模型微调使用的私人化数据结构示意图。在云端经过多用户数据训练得到的只是一个通用化的模型，为了更加适应用户的私人终端，还需要根据终端上的用户行为进行模型调整，同样采用数据段的梯度调整方案，只不过所有数据全部变成了一个用户的数据。这里一个用户的N个样品(1～N)，其中每三组样品为一组数据段，每一组样品的数据长度为31。训练过程就是利用样品1中包含的第1到30个时刻实际的数据包预测第31个时刻的对应数据包，比对预测值和实际值，计算loss函数值并暂存；利用样品2中的第2到第31个时刻实际的数据包预测第32个时刻的对应数据包，比对预测值和实际值，计算loss函数值并暂存；利用样品3中的第3到第32个时刻实际的存储器状态数据包预测第33个时刻的对应数据包，比对预测值和实际值，计算loss函数值并暂存。样品1、样品2和样品3为一组，根据三个样品的loss函数值的加权平均值来对训练模型的参数矩阵进行修正。同样的，这个训练调整过程还是在云端完成，只不过会定期更新移动端的模型。

具体的，上述故障预警的方法，其步骤S4包括以下子步骤：

S401.用验证数据集对训练好的模型进行测试；

S402.查看验证数据集对训练好的模型的测试结果和真实结果之间的误差是否在要求的范围内；

若是，则转到步骤S5，若否，则转到步骤S303。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图5是根据一示例性实施例示出的一种移动端的框图，如图5所示，该移动端包括：

监控模块101，被配置为监控用户数据信息，收集用户数据；

发送模块102，被配置为将用户数据进行发送；

获取模块103，被配置为获取故障预警模型；

预警模块104，被配置为利用故障预警模型进行故障预警。

图6是根据一示例性实施例示出的一种云端的框图，如图6所示，该云端包括：

接收模块201，被配置为接收移动端发送的数据；

处理模块202，被配置为对接收的数据进行处理

下发模块203，被配置为将故障预警模型下发给移动端。

图7是根据一示例性实施例示出的一种云端的框图，如图7所示，所述数据包括训练数据集，处理模块还包括：

第一处理模块，被配置为用训练数据集对故障预警模型进行训练。

图8是根据一示例性实施例示出的一种云端的框图，如图8所示，所述数据包括验证数据集，处理模块还包括：

第二处理模块，被配置为用验证数据集对训练好的模型进行验证。

如图9所示为本发明实施例公开的一种云端移动端协同的故障预警系统的结构示意图，包括移动端和云端；

其中，移动端，用于监控用户信息，收集用户数据，并将数据进行发送；

云端，用于接收移动端数据，并对移动端发送的数据进行处理，得到故障预警模型并将故障预警模型下发给所述移动端；

移动端，还用于利用云端下发的故障预警模型进行自身的故障预警。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种云端移动端协同的故障预警方法，其特征在于，包括：

移动端监控用户数据信息，并将所述数据信息进行发送；

云端接收移动端发送的数据，并对所述移动端发送的数据进行处理；

云端得到故障预警模型并将所述故障预警模型下发给移动端；

移动端获取故障预警模型进行故障预警。

2.根据权利要求1所述的方法，其特征在于，所述云端接收移动端发送的数据，并对所述移动端发送的数据进行处理，包括：

按移动端类别将数据进行分类；

按比例将所述数据切分为两部分。

3.根据权利要求2所述的方法，其特征在于，所述按比例将所述数据切分为两部分包括：

剔除掉数据量缺失超过50％的用户数据；

在剩下的数据中进行随机采样，继续从中选取跟移动端需要预警的故障问题密切相关的数据，将保留下来的数据按照比例进行切分，前一部分的数据作为训练数据集，后一部分的数据作为验证数据集。

4.根据权利要求1所述的方法，其特征在于，所述云端得到故障预警模型并将所述故障预警模型下发给移动端包括：

用训练数据集对故障预警模型进行训练；

用验证数据集对训练好的模型进行验证。

5.根据权利要求4所述的方法，其特征在于，所述用训练数据集对故障预警模型进行训练包括：

选取故障预警模型，确定故障预警模型的具体配置参数；

将所有用户的训练数据集并列起来划分成一个个数据段，每个数据段有固定数量用户的等长数据；

更新循环次数，把数据段中的所有用户数据依次输入到故障预警模型中进行训练；

每次训练完一个数据段的数据后都要对故障预警模型进行一次更新；

根据训练结果对故障预警模型进行处理。

6.根据权利要求5所述的方法，其特征在于，所述根据训练结果对故障预警模型进行处理包括：

若达到设定好的训练次数或者预警模型的loss函数值已经收敛，则：

结束训练得到训练好的故障预警模型；

若未达到设定好的训练次数或者预警模型的loss函数值未收敛，则：

用训练数据集继续对故障预警模型进行训练。

7.根据权利要求4所述的方法，其特征在于，所述用验证数据集对训练好的模型进行验证包括：

用验证数据集对训练好的模型进行测试；

根据测试结果对故障预警模型进行处理。

8.根据权利要求7所述的方法，其特征在于，所述根据测试结果对故障预警模型进行处理包括：

查看验证数据集对训练好的模型的测试结果和真实结果之间的误差，

若误差在要求的范围内，则：

验证完成得到验证好的故障预警模型；

若误差不在要求的范围内，则：

用训练数据集对故障预警模型进行训练。

9.一种移动端，包括：

监控模块，被配置为监控用户数据信息，收集用户数据；

发送模块，被配置为将用户数据进行发送；

获取模块，被配置为获取故障预警模型；

预警模块，被配置为利用故障预警模型进行故障预警。

10.一种云端，包括：

接收模块，被配置为接收移动端发送的数据；

处理模块，被配置为对接收的数据进行处理；

下发模块，被配置为将故障预警模型下发给移动端。

11.根据权利要求10所述的云端，其特征在于，所述数据包括训练数据集，所述处理模块包括：

第一处理模块，被配置为用训练数据集对故障预警模型进行训练。

12.根据权利要求10所述的云端，其特征在于，所述数据包括验证数据集，所述处理模块包括：

第二处理模块，被配置为用验证数据集对训练好的模型进行验证。

13.一种云端移动端协同的故障预警系统，包括移动端和云端；

所述移动端，用于监控用户信息，收集用户数据，并将所述数据进行发送；

所述云端，用于接收所述移动端数据，并对所述移动端发送的数据进行处理，得到故障预警模型并将所述故障预警模型下发给所述移动端；

所述移动端，还用于利用所述云端下发的故障预警模型进行自身的故障预警。