CN111866128B - 一种基于双lstm迭代学习的物联网数据流检测方法 - Google Patents

Abstract

本发明涉及一种基于双LSTM迭代学习的物联网数据流检测方法，该方法将一般的数据流向量化，方便物联网设备的扩展，可基于时序对事件进行检测构建，得到更加准确的结果；利用双LSTM模型迭代学习，能够在实际应用中自我修正检测模型参数，同时减少检测模块的实时训练需求，提高实时性；利用衍生数据同步输入检测模块，生成多个判断子结果并统计获得最后结果，有效避免传感器节点突然出现异常而导致检测错误的情况，提高检测方法的稳定性和抗干扰性。

Description

一种基于双LSTM迭代学习的物联网数据流检测方法

技术领域：

本发明涉及人工智能、物联网数据检测技术，具体是指一种基于双LSTM迭代学习的物联网数据流检测方法。

背景技术：

随着网络通信技术的不断发展以及传感技术和智能设备的研究与更新，小到智能手环、智能电表，大到环境监测、工业生产线等等都在源源不断的产生海量的实时数据并发往云端。这些海量数据是社会和企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，帮助社会或企业进行科学决策、节约成本并创造新的价值。

近年来，针对物联网的数据流检测有了一定发展，但也存在着许多难以解决的根本性问题，例如：物联网数据量过大，数据检测速度较慢；数据结构复杂、数据格式不统一，原本设定好的数据检测方法一旦遇到网络中接入新设备时，需要对检测方法进行大规模改动；较多方法对数据流的分析以点为主，不能考虑数据的时序对构建事件的影响；所采用的数据检测模型通常为单一模型，无法实时更新模型，检测准确性欠佳；直接对获取的数据进行检测，一旦某个传感器出现异常，产生的异常数据会造成整个数据流检测的干扰。

基于上述不足，本发明设计一种易扩展的、基于时序的物联网数据流检测方法，基于双长短期记忆网络(LSTM)模型来实现数据检测与实时更新模型，本案由此而生。

发明内容：

本发明公开一种基于双LSTM迭代学习的物联网数据流检测方法，将数据流向量化方便物联网设备的扩展，可基于时序对事件进行检测构建，得到更加准确的结果，同时利用双LSTM模型迭代学习，能够在实际应用中自我修正检测模型参数。

为了实现上述发明目的，本发明所采用的技术方案为：

一种基于双LSTM迭代学习的物联网数据流检测方法，内容包括：

步骤1：获取非异常数据流信息后进行向量化处理，得到数据向量；

步骤2：构建训练样本；

步骤3：构建结构相同的主LSTM模型和从LSTM模型，将训练样本输入从LSTM模型进行训练，从LSTM模型输出的模型参数传至主LSTM模型中，主LSTM模型负责数据流的检测；

步骤4：主LSTM模型从需要检测的数据流中获取数据，并判断是否出现扩展设备：若无扩展设备，则对获取数据进行向量化处理，得到数据向量δ₀；若有扩展设备，则对获取数据进行向量化处理得到数据向量δ′₀，数据向量δ′₀含未扩展设备时的数据向量δ₀以及扩展设备的数据向量σ_ED，先屏蔽扩展设备数据向量σ_ED，得到与扩展前长度一致的数据向量δ₀；

步骤5：将数据向量δ₀拆分成M段长度相等的向量片段，构建M组衍生向量，衍生向量生成方式为：每次任意取M-1段向量片段，按照原划分位置关系排列，位置空缺处填入训练数据同位置的均值；

步骤6：将M组衍生向量及数据向量δ₀输入主LSTM模型中，主LSTM模型输出M+1个包括预测类型pre_i及预测类型对应的概率值P_i的子结果；计算细分事件的阈值概率

若

则输出预测类型pre_i，若

则判断为异常事件无需进行细分；统计M+1个结果中出现次数最高的预测值作为最终的判断结果值pre_result，并输出数据流的检测结果；

步骤7：将数据向量δ₀和判断结果值pre_result，或者将数据向量δ′₀和判断结果值pre_result组合形成新的训练样本，将新训练样本投入从LSTM模型中进行训练，训练后的更新参数传至主LSTM模型中。

进一步，所述步骤2中的训练样本是将非异常行为进行细分，按照X＝(x₁,x₂,…,x_n)进行标记，其中x_i表示第i种细分事件对应的事件发生数，i＝1,2,…,n。

进一步，所述步骤5中将数据向量拆分成10段，得到10组衍生向量δ₁,δ₂,…δ₁₀；步骤6中主LSTM模型输出的子结果表示为results＝(pre₀,P₀),(pre₁,P₁),…(pre₁₀,P₁₀)，细分事件的阈值概率

计算公式如下：

其中，

表示细分事件的平均事件数，

表示基于统计的异常事件概率换算至训练样本中的事件数，α为异常概率，

表示细分事件数对阈值概率的影响，

进一步，所述步骤7中先进行是否有新扩展设备的判断，若没有扩展设备，则将数据向量δ₀和判断结果值pre_result组合形成新的训练样本；若有新扩展设备，则将数据向量δ′₀和判断结果值pre_result组合形成新的训练样本，并记录扩展训练样本容量N；判断扩展训练样本容量N是否大于原有训练样本容量X，若大于则表明设备扩展已完成，不再认为此时有新设备接入，且将原训练样本容量更新为N；若不大于，则表明设备扩展未完成，继续认为此时有新设备接入，继续执行步骤4。

进一步，所述向量化处理内容如下：

1)网络初始化，获取传感器节点的数据；

2)判断是否为开关型数据，若“是”则将开启信号或高电平设置为1，将关闭信号或者低电平设置为0；若“否”则执行步骤3)；

3)判断是否为脉冲型数据，若“是”则记录脉冲信号并换算成具体数字型数据；若“否”则执行步骤4)；

4)判断是否为数字型数据，若“是”则直接记录数字型数据，若“否”则执行步骤5)；

5)判断是否为模拟量型数据，若“是”则利用公式

进行归一化计算，其中d_max和d_min为可预见的数值的最大、最小值，d为当前记录的模拟量数据，d_nor为进行归一化后的模拟量数据；若“否”则认为数据类型出现错误，报告错误信息。

本发明所公开的数据流检测方法具有以下有益效果：

(1)本发明将物联网的数据流向量化，使得数据结构一致，格式统一，有效降低了在海量实时数据流中每组数据的复杂程度，能够加快检测方法的运作效率；同时，向量化的数据结构有利于在物联网络中添加新设备。

(2)本发明采用双LSTM模型作为检测功能的实现部分，在考虑时序对数据流构建具体事件作用的基础上，实现对物联网数据流实时检测和自我更新的功能。其中主LSTM模型负责实时检测数据，从LSTM模型可以从主LSTM模型中获得实时数据的判断结果并重新训练参数，并负责更新主LSTM的检测模型。这种双模型结构有效降低了主LSTM模型的实时训练需求，提高实时性，也提高了检测正确性。

(3)本发明采用数据向量拆分重组衍生向量的方式，衍生向量与数据向量有微小差异但整体相似，输入到主LSTM模型中生成多个判断子结果，并取统计值最大的结果作为最后的判断结果。这种方式可以有效防止某个传感器节点出现异常而影响整个数据流的现象出现，可以提高检测方法的抗干扰性和稳定性。

以下通过附图和具体实施方式对本发明做进一步阐述。

附图说明：

图1为本发明实施例中数据流检测方法流程图；

图2为本发明数据流检测方法中数据向量化规则的流程图；

图3为本发明数据流检测方法中双LSTM数据更新流程示意图；

图4为本发明数据流检测方法中数据向量衍生示意图。

具体实施方式：

本实施例公开一种基于双LSTM迭代学习的物联网数据流检测方法，如图1至图4所示，具体内容包括如下步骤：

步骤1：网络初始化，从已有的数据库或日志文件库中获取非异常数据流日志文件，然后按照流式数据向量化规则处理，得到数据向量；

步骤2：将非异常行为进行细分，按照X＝(x₁,x₂,…,x_n)进行标记，其中x_i表示第i种细分事件对应的事件发生数，i＝1,2,…,n，形成训练样本；

步骤3：构建结构相同的主LSTM模型和从LSTM模型，将训练样本输入从LSTM模型进行训练，从LSTM模型输出的模型参数传至主LSTM模型中，主LSTM模型负责数据流的检测；

步骤4：主LSTM模型从需要检测的数据流中获取数据，并判断是否出现扩展设备ED：若无扩展设备，则按照流式数据向量化规则处理得到数据向量δ₀；若有扩展设备，则将获取的数据流按照流式数据向量化规则处理得到数据向量δ′₀，δ′₀＝(δ₀,σ_ED)，数据向量δ′₀含未扩展设备时的数据向量δ₀以及扩展设备的数据向量σ_ED，先屏蔽扩展设备数据向量σ_ED，得到与扩展前长度一致的数据向量δ₀；

步骤5：将数据向量δ₀拆分成M段(本实施例中M＝10)长度相等的向量片段，构建M组衍生向量，衍生向量生成方式如图4所示：每次任意取M-1段向量片段，按照原划分位置关系排列，位置空缺处填入训练数据同位置的均值，由此得到10组衍生向量δ₁,δ₂,…δ₁₀；

步骤6：将10组衍生向量及数据向量δ₀输入主LSTM模型中，主LSTM模型输出11个子结果，子结果表示为：results＝(pre₀,P₀),(pre₁,P₁),…(pre₁₀,P₁₀)，其中pre_i表示预测类型，P_i表示预测类型对应的概率值,i＝0,1,…10；

计算细分事件的阈值概率

计算公式如下：

其中，

表示细分事件的平均事件数，

表示基于统计的异常事件概率换算至训练样本中的事件数，α为异常概率，

表示细分事件数对阈值概率的影响，

判断P_i与

的关系：若

则输出预测类型pre_i；若

则判断为异常事件，异常事件无需进行细分；统计11个结果中出现次数最高的预测值作为最终的判断结果值pre_result，并输出数据流的检测结果；

步骤7：再次进行是否有新扩展设备的判断：若没有扩展设备，则将数据向量δ₀和判断结果值pre_result组合形成新的训练样本，将新训练样本投入从LSTM模型中进行训练，训练后的更新参数传至主LSTM模型中；

若有新扩展设备，则将数据向量δ′₀和判断结果值pre_result组合形成新的训练样本，并记录扩展训练样本容量N，将新训练样本投入从LSTM模型中进行训练，训练后的更新参数传至主LSTM模型中；然后判断扩展训练样本容量N是否大于原有训练样本容量X，若大于则表明设备扩展已完成，不再认为此时有新设备接入，且将原训练样本容量更新为N；若不大于，则表明设备扩展未完成，继续认为此时有新设备接入，继续执行步骤4。

上述对数据流通过流式数据向量化规则进行向量化处理的内容具体如下：

1)网络初始化，获取传感器节点的数据；

2)判断是否为开关型数据，若“是”则将开启信号或高电平设置为1，将关闭信号或者低电平设置为0；若“否”则执行步骤3)；

3)判断是否为脉冲型数据，若“是”则记录脉冲信号并换算成具体数字型数据；若“否”则执行步骤4)；

4)判断是否为数字型数据，若“是”则直接记录数字型数据，若“否”则执行步骤5)；

5)判断是否为模拟量型数据，若“是”则利用公式

进行归一化计算，其中d_max和d_min为可预见的数值的最大、最小值，d为当前记录的模拟量数据，d_nor为进行归一化后的模拟量数据；若“否”则认为数据类型出现错误，报告错误信息。

本发明将一般的数据流向量化，方便物联网设备的扩展，可基于时序对事件进行检测构建，得到更加准确的结果；利用双LSTM模型迭代学习，能够在实际应用中自我修正检测模型参数，同时减少检测模块的实时训练需求，提高实时性；利用衍生数据同步输入检测模块，生成多个判断子结果并统计获得最后结果，有效避免传感器节点突然出现异常而导致检测错误的情况，提高检测方法的稳定性、抗干扰性、准确率。

以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (5)

1.一种基于双LSTM迭代学习的物联网数据流检测方法，其特征在于：内容包括：

步骤1：获取非异常数据流信息后进行向量化处理，得到数据向量；

步骤2：构建训练样本；

步骤3：构建结构相同的主LSTM模型和从LSTM模型，将训练样本输入从LSTM模型进行训练，从LSTM模型输出的模型参数传至主LSTM模型中，主LSTM模型负责数据流的检测；

步骤4：主LSTM模型从需要检测的数据流中获取数据，并判断是否出现扩展设备：若无扩展设备，则对获取数据进行向量化处理，得到数据向量δ₀；若有扩展设备，则对获取数据进行向量化处理得到数据向量δ′₀，数据向量δ′₀含未扩展设备时的数据向量δ₀以及扩展设备的数据向量σ_ED，先屏蔽扩展设备数据向量σ_ED，得到与扩展前长度一致的数据向量δ₀；

步骤5：将数据向量δ₀拆分成M段长度相等的向量片段，构建M组衍生向量，衍生向量生成方式为：每次任意取M-1段向量片段，按照原划分位置关系排列，位置空缺处填入训练数据同位置的均值；

步骤6：将M组衍生向量及数据向量δ₀输入主LSTM模型中，主LSTM模型输出M+1个包括预测类型pre_i及预测类型对应的概率值P_i的子结果；计算细分事件的阈值概率

若

则输出预测类型pre_i，若

则判断为异常事件无需进行细分；统计M+1个结果中出现次数最高的预测值作为最终的判断结果值pre_result，并输出数据流的检测结果；

步骤7：将数据向量δ₀和判断结果值pre_result，或者将数据向量δ′₀和判断结果值pre_result组合形成新的训练样本，将新训练样本投入从LSTM模型中进行训练，训练后的更新参数传至主LSTM模型中。

2.根据权利要求1所述的一种基于双LSTM迭代学习的物联网数据流检测方法，其特征在于：所述步骤2中的训练样本是将非异常行为进行细分，按照X＝(x₁,x₂,…,x_n)进行标记，其中x_i表示第i种细分事件对应的事件发生数，i＝1,2,…,n。

3.根据权利要求2所述的一种基于双LSTM迭代学习的物联网数据流检测方法，其特征在于：所述步骤5中将数据向量拆分成10段，得到10组衍生向量δ₁,δ₂,…δ₁₀；步骤6中主LSTM模型输出的子结果表示为results＝(pre₀,P₀),(pre₁,P₁),…(pre₁₀,P₁₀)，细分事件的阈值概率

计算公式如下：

其中，

表示细分事件的平均事件数，

表示基于统计的异常事件概率换算至训练样本中的事件数，α为异常概率，

表示细分事件数对阈值概率的影响，

4.根据权利要求3所述的一种基于双LSTM迭代学习的物联网数据流检测方法，其特征在于：所述步骤7中先进行是否有新扩展设备的判断，若没有扩展设备，则将数据向量δ₀和判断结果值pre_result组合形成新的训练样本；若有新扩展设备，则将数据向量δ′₀和判断结果值pre_result组合形成新的训练样本，并记录扩展训练样本容量N；判断扩展训练样本容量N是否大于原有训练样本容量X，若大于则表明设备扩展已完成，不再认为此时有新设备接入，且将原训练样本容量更新为N；若不大于，则表明设备扩展未完成，继续认为此时有新设备接入，继续执行步骤4。

5.根据权利要求1所述的一种基于双LSTM迭代学习的物联网数据流检测方法，其特征在于：所述向量化处理内容如下：

1)网络初始化，获取传感器节点的数据；

2)判断是否为开关型数据，若“是”则将开启信号或高电平设置为1，将关闭信号或者低电平设置为0；若“否”则执行步骤3)；

3)判断是否为脉冲型数据，若“是”则记录脉冲信号并换算成具体数字型数据；若“否”则执行步骤4)；

4)判断是否为数字型数据，若“是”则直接记录数字型数据，若“否”则执行步骤5)；

5)判断是否为模拟量型数据，若“是”则利用公式

进行归一化计算，其中d_max和d_min为可预见的数值的最大、最小值，d为当前记录的模拟量数据，d_nor为进行归一化后的模拟量数据；若“否”则认为数据类型出现错误，报告错误信息。

Images