CN111738412A - 一种不完全网络的大数据异常挖掘方法、系统及存储介质 - Google Patents

一种不完全网络的大数据异常挖掘方法、系统及存储介质 Download PDF

Info

Publication number
CN111738412A
CN111738412A CN202010469126.9A CN202010469126A CN111738412A CN 111738412 A CN111738412 A CN 111738412A CN 202010469126 A CN202010469126 A CN 202010469126A CN 111738412 A CN111738412 A CN 111738412A
Authority
CN
China
Prior art keywords
network
data
mining
abnormal
incomplete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010469126.9A
Other languages
English (en)
Inventor
张宗福
罗庆佳
张媛
蒲杨
唐灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangmen Polytechnic
Original Assignee
Jiangmen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangmen Polytechnic filed Critical Jiangmen Polytechnic
Priority to CN202010469126.9A priority Critical patent/CN111738412A/zh
Publication of CN111738412A publication Critical patent/CN111738412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种不完全网络的大数据异常挖掘方法、系统及存储介质，包括：根据不完全网络中大数据异常挖掘规律，获取异常数据特征，构建三层深度填充网络模型；根据不完全网络中的数据信息和所述三层深度填充网络模型，建立异常数据分析模型；根据所述异常数据分析模型，构建改进遗传算法模型；根据所述改进遗传算法模型和所述异常数据特征，构建完全网络大数据信息特征模型；所述完全网络大数据信息特征模型分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘；具有较高的异常数据挖掘性能，且收敛性和稳定性都较好。

Description

一种不完全网络的大数据异常挖掘方法、系统及存储介质
技术领域
本发明涉及数据处理领域，特别涉及一种不完全网络的大数据异常挖掘方法、系统及存储介质。
背景技术
随着网络科技快速发展，数据信息的规模及网络属性的差异逐渐增大，形成了不完全网络。如何在不完全网络中完成特定数据挖掘，成为当前相关学者研究的重点问题。在实际处理过程中，不完全网络中的信息往往不能被完全提取挖掘，因为其很难形成关联规则，导致大量数据流失。当不完全网络数据量过大，以遗传算法为基础的挖掘算法，挖掘网络异常数据时，由于大数据属性间差异性和局限性较大，挖掘过程较为复杂。若遇到特征过于类似的数据，通常会根据模糊规则构建挖掘关联规则，若多特征较为相似，则必须导入多个约束条件构建规则，规则过于复杂不利于挖掘。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明提出一种不完全网络的大数据异常挖掘方法，具有较高的异常数据挖掘性能，且收敛性和稳定性都较好。
本发明还提出一种应用上述不完全网络的大数据异常挖掘方法的不完全网络的大数据异常挖掘系统。
本发明还提出一种应用上述不完全网络的大数据异常挖掘方法的计算机可读存储介质。
根据本发明第一方面实施例的不完全网络的大数据异常挖掘方法，包括：根据不完全网络中大数据异常挖掘规律，获取异常数据特征，构建三层深度填充网络模型；
根据不完全网络中的数据信息和所述三层深度填充网络模型，建立异常数据分析模型；
根据所述异常数据分析模型，构建改进遗传算法模型；
根据所述改进遗传算法模型和所述异常数据特征，构建完全网络大数据信息特征模型；
所述完全网络大数据信息特征模型分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘。
根据本发明实施例的不完全网络的大数据异常挖掘方法，至少具有如下有益效果：采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘；采用本发明的实施例的方法，能够有效地识别和防范数据陷入不收敛，从而减少不完全网络中正常大数据异常挖掘在数据陷入不收敛时带来的影响，缩短大数据异常挖掘在不完全网络中的处理时间，增加移动网络的大数据异常挖掘处理速率和处理量。
根据本发明的一些实施例，所述根据不完全网络中大数据异常挖掘规律，获取异常数据特征，包括：
根据不完全网络中数据规律，获取网络正常状态下的数据训练模型参数；
对所述数据训练模型参数进行初始化，得到网络初始化参数；
利用反向传播算法微调所述网络初始化参数；
将实例数据输入到数据训练模型中，建立叠加自动编码机，提取实例数据的两层特征，获取异常数据特征。
根据本发明的一些实施例，所述根据不完全网络中的数据信息和所述三层深度填充网络模型，建立异常数据分析模型，包括：
从三层深度填充网络模型抽取与已知异常数据类型相关的数据属性，获取完全网络大数据；
在所述完全网络大数据的基础上，采用深度学习改进遗传算法挖掘出不完全网络中的异常数据，构建异常数据分析模型。
根据本发明的一些实施例，所述深度学习改进遗传算法表示为：
Figure BDA0002513688330000031
其中，Fithess表示欧式距离，第j个样本的数据挖掘实际输出设成
Figure BDA0002513688330000032
期望输出设成αj，网络异常数据挖掘学习样本数量设成N。
根据本发明的一些实施例，所述将实例数据输入到数据训练模型中，建立叠加自动编码机，提取实例数据的两层特征，包括：
将未处理的实例数据设定为最下层网络输入数据，从所述最下层网络输入数据中提取出第一层特征；
将第一层特征作为上一层网络输入数据，从所述上一层网络输入数据中提取出第二层特征，权重也随着第二层特征提取而进行更新，获得初始化叠层网络参数；采用反向传播算法对所述初始化叠层网络参数进行微调，提取出实例数据的两层特征。
根据本发明的一些实施例，所述优化杂交算子中利用到的算式为：
l＝cos2(γπ/2γ)
其中，γ表示代数，l是代数变换的值。
根据本发明第二方面实施例的不完全网络的大数据异常挖掘系统，包括：三层深度填充网络模型，用于根据不完全网络中大数据异常挖掘规律，获取异常数据特征；
异常数据分析模型，用于挖掘出不完全网络中的异常数据；
改进遗传算法模型，基于所述异常数据分析模型所构建；
完全网络大数据信息特征模型，用于分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘。
根据本发明的一些实施例，所述三层深度填充网络模型基于叠加自动编码机的基础上所构建。
根据本发明的一些实施例，所述完全网络大数据信息特征模型基于所述改进遗传算法模型和所述异常数据特征构成。
根据本发明实施例的不完全网络的大数据异常挖掘系统，至少具有如下有益效果：采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘；采用本发明的实施例的方法，能够有效地识别和防范数据陷入不收敛，从而减少不完全网络中正常大数据异常挖掘在数据陷入不收敛时带来的影响，缩短大数据异常挖掘在不完全网络中的处理时间，增加移动网络的大数据异常挖掘处理速率和处理量。
根据本发明第三方面实施例的计算机可读存储介质，能够应用根据本发明上述第一方面实施例的不完全网络的大数据异常挖掘方法。
根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘；采用本发明的实施例的方法，能够有效地识别和防范数据陷入不收敛，从而减少不完全网络中正常大数据异常挖掘在数据陷入不收敛时带来的影响，缩短大数据异常挖掘在不完全网络中的处理时间，增加移动网络的大数据异常挖掘处理速率和处理量。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一的不完全网络的大数据异常挖掘方法的工作流程图；
图2为本发明实施例一的不完全网络的大数据异常挖掘方法中的获取异常数据特征的工作流程图；
图3为本发明实施例一的不完全网络的大数据异常挖掘方法中的构建异常数据分析模型的工作流程图；
图4为本发明实施例一的不完全网络的大数据异常挖掘方法中的建立叠加自动编码机的工作流程图；
图5为本发明实施例一的不完全网络的大数据异常挖掘方法中的叠加自动编码机的结构示意图；
图6为本发明实施例一的不完全网络的大数据异常挖掘方法中的三层深度填充网络模型结构示意图；
图7为本发明实施例二的不完全网络的大数据异常挖掘系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明的描述中，除非另有明确的限定，设置、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
实施例一
参照图1，本发明实施例一提供了一种不完全网络的大数据异常挖掘方法，其中的一种实施例包括但不限于以下步骤：
步骤S100，根据不完全网络中大数据异常挖掘规律，获取异常数据特征，构建三层深度填充网络模型。
在本实施例中，本步骤根据不完全网络中的大数据异常挖掘规律，获得异常数据特征，构建三层深度填充网络模型，很好地解决了不完全网络的数据残缺的问题，将不完全网络填充变成完全网络，能够准确提取网络数据的整体信息，避免遗漏。
步骤S200，根据不完全网络中的数据信息和所述三层深度填充网络模型，建立异常数据分析模型。
在本实施例中，本步骤根据不完全网络中的数据信息和三层深度填充网络模型，建立异常数据分析模型，能够用于挖掘异常数据。
步骤S300，根据所述异常数据分析模型，构建改进遗传算法模型。
在本实施例中，本步骤根据异常数据分析模型，构建改进遗传算法模型，进而采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘。
步骤S400，根据所述改进遗传算法模型和所述异常数据特征，构建完全网络大数据信息特征模型。
在本实施例中，本步骤中根据改进遗传算法模型和异常数据特征，构建完全网络大数据信息特征模型，能够很好地实现不完全网络的大数据异常挖掘。
步骤S500，所述完全网络大数据信息特征模型分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘
在本实施例中，本步骤中构建的完全网络大数据信息特征模型分析异常数据特征，然后通过优化杂交算子和变异算子，能够有效地识别和防范数据陷入不收敛，从而减少不完全网络中正常大数据异常挖掘在数据陷入不收敛时带来的影响，缩短大数据异常挖掘在不完全网络中的处理时间，增加移动网络的大数据异常挖掘处理速率和处理量。
参照图2，本实施例的步骤S100中，可以包括但不限于以下步骤：
步骤S110，根据不完全网络中数据规律，获取网络正常状态下的数据训练模型参数。
在本实施例中，本步骤根据不完全网络中数据规律，获取网络正常状态下的数据训练模型参数，为了三层深度填充网络模型的构建做好准备。
步骤S120，对所述数据训练模型参数进行初始化，得到网络初始化参数。
在本实施例中，本步骤对数据训练模型参数进行初始化，得到网络初始化参数，进一步为三层深度填充网络模型的构建做好准备。
步骤S130，利用反向传播算法微调所述网络初始化参数。
在本实施例中，本步骤利用反向传播算法微调上述所得到的网络初始化参数。
步骤S140，将实例数据输入到数据训练模型中，建立叠加自动编码机，提取实例数据的两层特征，获取异常数据特征。
在本实施例中，本步骤将实例数据输入到数据训练模型中，建立叠加自动编码机，提取实例数据的两层特征，获取异常数据特征，为了三层深度填充网络模型的构建做好准备。
参照图3，在本实施例的步骤S200中，可以包括但不限于以下步骤：
步骤S210，从三层深度填充网络模型抽取与已知异常数据类型相关的数据属性，获取完全网络大数据。
在本实施例中，本步骤从建立的三层深度填充网络模型抽取与已知异常数据类型相关的数据数值，获得完全网络大数据，很好地解决了不完全网络的数据残缺的问题，将不完全网络填充变成完全网络，能够准确提取网络数据的整体信息，避免遗漏。
步骤S220，在所述完全网络大数据的基础上，采用深度学习改进遗传算法挖掘出不完全网络中的异常数据，构建异常数据分析模型。
在本实施例中，本步骤在完全网络大数据的基础上，利用深度学习改进遗传算法挖掘出不完全网络中的异常数据，构建异常数据分析模型，为了不完全网络的大数据异常挖掘做好准备。
参照图4，在本实施例的步骤S140中，可以包括但不限于以下步骤：
步骤S141，将未处理的实例数据设定为最下层网络输入数据，从所述最下层网络输入数据中提取出第一层特征。
在本实施例中，本步骤将未处理的实例数据设定为最下层网络输入数据，从所述最下层网络输入数据中提取出第一层特征。
步骤S142，将第一层特征作为上一层网络输入数据，从所述上一层网络输入数据中提取出第二层特征，权重也随着第二层特征提取而进行更新，获得初始化叠层网络参数。
在本实施例中，本步骤将第一层特征作为上一层网络输入数据，从上一层网络输入数据中提取出第二层特征，权重也随着第二层特征提取而进行更新，获得初始化叠层网络参数。
步骤S143，采用反向传播算法对所述初始化叠层网络参数进行微调，提取出实例数据的两层特征。
在本实施例中，本步骤采用反向传播算法微调对所述初始化叠层网络参数进行微调，提取出实例数据的两层特征，进而能够获取异常数据特征。
进一步，在本实施例中，深度学习改进遗传算法表示为：
Figure BDA0002513688330000081
其中，Fithess表示欧式距离，第j个样本的数据挖掘实际输出设成
Figure BDA0002513688330000082
期望输出设成αj，网络异常数据挖掘学习样本数量设成N。
进一步，在本实施例中，所述优化杂交算子中利用到的算式为：
l＝cos2(γπ/2γ)
其中，γ表示代数，l是代数变换的值。
本发明的不完全网络的大数据异常挖掘方法中的步骤可通过下述的具体实施例进行说明：
参照图5，叠加自动编码机的构建过程可通过以下实施例实现：
图5中，y表示重构数据集，fθ′表示编码因子。将未处理过的原始实例数据c设成网络输入，在最下层提取第一层特征
Figure BDA0002513688330000083
Figure BDA0002513688330000084
表示特征因子，将特征r1设成上一层网络的输入，获取第二层特征
Figure BDA0002513688330000085
训练时主要以局部训练为主，权重也需要随着第二层特征训练实行更新，且不能干扰下层网络。根据此方法初始化叠层网络参数，采用反向传播算法微调整体参数。以此提取网络原始数据实例两层特征r1、r2。
参照图6，在叠加自动编码机基础上构建三层深度填充网络模型。图6中，监督数据依次设成c′、r′1、r′2，使用逐层向上的训练形式初始化各层网络参数。第一步对数据实例c实行加噪，第二步提取部分属性，将属性值设成0，获取不完整数据模拟实例c′；输入c′提取不完全网络数据第一层特征
Figure BDA0002513688330000091
和
Figure BDA0002513688330000092
之后通过叠加编码机训练深度实例网络，获取第一层特征r1，且将r1设成监督数据，r1′设成输入，再次训练深度实例网络上一层自动编码机，获取c′的第二层特征
Figure BDA0002513688330000093
和
Figure BDA0002513688330000094
采用叠加自动编码机在
Figure BDA0002513688330000095
中获取实例x的第一层特征r2。最终，将r2设成监督数据，将r2′设成输入，再次训练深度实例网络上一层的自动编码机，提取x′的第三层特征
Figure BDA0002513688330000096
和
Figure BDA0002513688330000097
深度实例网络依次对实例特征进行逼近，在各层减少不完全数据的干扰，到达网络最顶层时便能获取大数据特征。
在数据集R中依次提取实例，并对深度实例网络实行训练，训练完便更新网络参数，当全局网络稳定时，提取网络参数β0、β1、β2。
提取网络参数后，提取不完全数据集中各个数据的深度特征[8]。针对不完全数据ca，应将它不完整属性的属性值设成0，建立ca′，将ca′设成输入，使用以下公式获取它不完全数据的深度特征r：
Figure BDA0002513688330000098
然后使用以下公式还原不完全数据，获取不完全网络数据的填充值
Figure BDA0002513688330000099
Figure BDA00025136883300000910
完成上述填充不完整大数据后，获取完全网络大数据。
在该完全网路大数据基础上，采用深度学习改进遗传算法挖掘出不完全网路中的异常数据。算法如下：
假设通过上小节对不完全网路数据进行填充后的完全网络大数据集为A＝(a1,a2,...,am)，am表示数据，数据集A的数量设成m，A中各个元素都属于q维矢量，A中存在b个种类，第j个种类的中心设成uj＝{uj1,uj2,...,ujq}，ujq表示种类因子。获取第j时刻完全网络数据库数据输入量是{xj1,xj2,...,xjq}，相应数据种类设成dj，dj的值为1或-1，1表示正常，-1表示异常，完全网络大数据识别的挖掘模型是：
dj＝(a1,a2,...,am)
获取完全网络大数据库中的异常数据训练样本，获取的异常数据频域模型是：
Figure BDA0002513688330000101
其中，k(t)表示复信号；e(t)表示瞬时幅度，简称包络；e(v)成为频域谐振v的幅度。
将最大隶属度设成Gij，计算全部样本的最大隶属度均值是：
Figure BDA0002513688330000102
其中，第j类样本数量设成Hj，提取高密度范围内点集设成聚类中心集合O，将最大值Oi设成第一个聚类中心。
基于上述处理后，便可构建完全网络大数据异常数据信息特征模型，设计基于深度学习改进遗传算法方法如下：使用欧氏距离Fithess计算学习适应值：
Figure BDA0002513688330000103
式中，第j个样本的数据挖掘实际输出设成
Figure BDA0002513688330000104
期望输出设成αj，网络异常数据挖掘学习样本数量设成N。
其中，杂交算子的优化具体如下：
深度学习改进遗传算法挖掘网络异常数据过程中，编码方式具有多样性，杂交算子可以设计为具备数值特征向量的非线性组合。
在基于改进遗传算法的网络异常数据挖掘时，若存在2个个体Ea、Eb杂交，那么出现的新个体是：
E′a＝lEa+(1-l)Eb
E′b＝lEb+(1-l)Ea
式中，0≤l≤1。若l表示常数，则杂交算子采用统一杂交；若l是代数变换的值，杂交算子不采用统一杂交。网络异常数据挖掘时，迭代次数增加，则新个体的性能较好，差异便会减少。为让个体分布不出现差异，设：
l＝cos2(γπ/2γ)
挖掘网络异常数据时，γ表示代数，根据代数的增大，l的值也逐渐变换，实现杂交渐变。
其中，变异算子的优化具体如下：
挖掘网络异常数据时，假定新个体建立的集合为
Figure BDA0002513688330000111
那么各个分量
Figure BDA0002513688330000112
根据相应的概率实行变异，一次变异后的值是
Figure BDA0002513688330000113
1≤k≤n，变量
Figure BDA0002513688330000114
的值是：
Figure BDA0002513688330000115
其中，第k个变量的两侧邻居设成VB、lB，函数Δ(γ,a)表示(0,a)上的值，
a表示输出因子。此值伴随代数γ值的变换接近于0，改进算法中获取的函
数不会影响算法搜索全局最优解，在最后步骤中实行局部搜寻：
Figure BDA0002513688330000116
式中，随机数
Figure BDA0002513688330000117
ω表示决定非一致程度的参数，ω＝0.5。
通过上述方案可知，数据的缺失使得数据建模和挖掘存在一定难度，特别是在大数据集下，不解决缺失数据值填充问题便不能有效挖掘大数据潜在价值。本发明实施例采用基于深度学习的不完整大数据填充算法，获取不完全网络数据填充值，将不完全网络填充变成完全网络，该方法能够准确提取网络数据的整体信息，避免遗漏；然后采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘。本方法的挖掘精度与挖掘效率都可克服传统遗传算法存在的弊端，且在低维与高维不完全网络大数据异常挖掘过程中，本方法稳定性要高于同类方法。然后采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘；采用本发明的实施例的方法，能够有效地识别和防范数据陷入不收敛，从而减少不完全网络中正常大数据异常挖掘在数据陷入不收敛时带来的影响，缩短大数据异常挖掘在不完全网络中的处理时间，增加移动网络的大数据异常挖掘处理速率和处理量。
实施例二
参照图7，本发明实施例二提供了一种不完全网络的大数据异常挖掘系统1000，包括：
三层深度填充网络模型1100，用于根据不完全网络中大数据异常挖掘规律，获取异常数据特征；
异常数据分析模型1200，用于挖掘出不完全网络中的异常数据；
改进遗传算法模型1300，基于所述异常数据分析模型1200所构建；
完全网络大数据信息特征模型1400，用于分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘。
在本实施例中，三层深度填充网络模型1100基于叠加自动编码机的基础上所构建。
在本实施例中，完全网络大数据信息特征模型1400基于改进遗传算法模型1300和异常数据特征构成。
需要说明的是，由于本实施例中的不完全网络的大数据异常挖掘系统与上述实施例一中的不完全网络的大数据异常挖掘方法基于相同的发明构思，因此，方法实施例一中的相应内容同样适用于本系统实施例，此处不再详述。
通过上述方案可知，数据的缺失使得数据建模和挖掘存在一定难度，特别是在大数据集下，不解决缺失数据值填充问题便不能有效挖掘大数据潜在价值。本发明实施例采用基于深度学习的不完整大数据填充算法，获取不完全网络数据填充值，将不完全网络填充变成完全网络，该方法能够准确提取网络数据的整体信息，避免遗漏；然后采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘。本方法的挖掘精度与挖掘效率都可克服传统遗传算法存在的弊端，且在低维与高维不完全网络大数据异常挖掘过程中，本方法稳定性要高于同类方法。然后采用基于改进遗传算法的网络异常数据挖掘算法完成异常数据挖掘；采用本发明的实施例的方法，能够有效地识别和防范数据陷入不收敛，从而减少不完全网络中正常大数据异常挖掘在数据陷入不收敛时带来的影响，缩短大数据异常挖掘在不完全网络中的处理时间，增加移动网络的大数据异常挖掘处理速率和处理量。
实施例三
本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有不完全网络的大数据异常挖掘系统可执行指令，不完全网络的大数据异常挖掘系统可执行指令用于使不完全网络的大数据异常挖掘系统执行上述的不完全网络的大数据异常挖掘方法，例如，执行以上描述的图1中的方法步骤S100至S500，实现图5中的单元1000-1400的功能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种不完全网络的大数据异常挖掘方法，其特征在于，包括：
根据不完全网络中大数据异常挖掘规律，获取异常数据特征，构建三层深度填充网络模型；
根据不完全网络中的数据信息和所述三层深度填充网络模型，建立异常数据分析模型；
根据所述异常数据分析模型，构建改进遗传算法模型；
根据所述改进遗传算法模型和所述异常数据特征，构建完全网络大数据信息特征模型；
所述完全网络大数据信息特征模型分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘。
2.根据权利要求1所述的一种不完全网络的大数据异常挖掘方法，其特征在于，所述根据不完全网络中大数据异常挖掘规律，获取异常数据特征，包括：
根据不完全网络中数据规律，获取网络正常状态下的数据训练模型参数；
对所述数据训练模型参数进行初始化，得到网络初始化参数；
利用反向传播算法微调所述网络初始化参数；
将实例数据输入到数据训练模型中，建立叠加自动编码机，提取实例数据的两层特征，获取异常数据特征。
3.根据权利要求1所述的一种不完全网络的大数据异常挖掘方法，其特征在于，所述根据不完全网络中的数据信息和所述三层深度填充网络模型，建立异常数据分析模型，包括：
从所述三层深度填充网络模型抽取与已知异常数据类型相关的数据属性，获取完全网络大数据；
在所述完全网络大数据的基础上，采用深度学习改进遗传算法挖掘出不完全网络中的异常数据，构建异常数据分析模型。
4.根据权利要求3所述的一种不完全网络的大数据异常挖掘方法，其特征在于，所述深度学习改进遗传算法表示为：
Figure FDA0002513688320000021
其中，Fithess表示欧式距离，第j个样本的数据挖掘实际输出设成
Figure FDA0002513688320000022
期望输出设成αj，网络异常数据挖掘学习样本数量设成N。
5.根据权利要求2所述的一种不完全网络的大数据异常挖掘方法，其特征在于，所述将实例数据输入到数据训练模型中，建立叠加自动编码机，提取实例数据的两层特征，包括：
将未处理的实例数据设定为最下层网络输入数据，从所述最下层网络输入数据中提取出第一层特征；
将所述第一层特征作为上一层网络输入数据，从所述上一层网络输入数据中提取出第二层特征，权重也随着第二层特征提取而进行更新，获得初始化叠层网络参数；
采用反向传播算法对所述初始化叠层网络参数进行微调，提取出实例数据的两层特征。
6.根据权利要求1所述的一种不完全网络的大数据异常挖掘方法，其特征在于，所述优化杂交算子中利用到的算式为：
l＝cos2(γπ/2γ)
其中，γ表示代数，l是代数变换的值。
7.一种不完全网络的大数据异常挖掘系统，其特征在于，包括：
三层深度填充网络模型，用于根据不完全网络中大数据异常挖掘规律，获取异常数据特征；
异常数据分析模型，用于挖掘出不完全网络中的异常数据；
改进遗传算法模型，基于所述异常数据分析模型所构建；
完全网络大数据信息特征模型，用于分析异常数据特征，并通过优化杂交算子和变异算子，实现不完全网络大数据异常挖掘。
8.根据权利要求7所述的一种不完全网络的大数据异常挖掘系统，其特征在于：所述三层深度填充网络模型基于叠加自动编码机的基础上所构建。
9.根据权利要求7所述的一种不完全网络的大数据异常挖掘系统，其特征在于：所述完全网络大数据信息特征模型基于所述改进遗传算法模型和所述异常数据特征构成。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有不完全网络的大数据异常挖掘系统可执行指令，不完全网络的大数据异常挖掘系统可执行指令用于使不完全网络的大数据异常挖掘系统执行如权利要求1至6任一所述的不完全网络的大数据异常挖掘方法。
CN202010469126.9A 2020-05-28 2020-05-28 一种不完全网络的大数据异常挖掘方法、系统及存储介质 Pending CN111738412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010469126.9A CN111738412A (zh) 2020-05-28 2020-05-28 一种不完全网络的大数据异常挖掘方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469126.9A CN111738412A (zh) 2020-05-28 2020-05-28 一种不完全网络的大数据异常挖掘方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111738412A true CN111738412A (zh) 2020-10-02

Family

ID=72646481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469126.9A Pending CN111738412A (zh) 2020-05-28 2020-05-28 一种不完全网络的大数据异常挖掘方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111738412A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948502A (zh) * 2021-03-26 2021-06-11 江门职业技术学院 多来源传输数据分类存储方法、装置、设备及存储介质
CN115203292A (zh) * 2022-09-15 2022-10-18 昆仑智汇数据科技(北京)有限公司 一种工业设备的数据处理方法、装置及设备
CN115423005A (zh) * 2022-08-22 2022-12-02 江苏大学 一种联合收获机大数据重构方法与装置
CN116561689A (zh) * 2023-05-10 2023-08-08 盐城工学院 一种高维数据异常检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851695A1 (en) * 2005-02-14 2007-11-07 SmartTrust AB Method for performing an electronic transaction
CN104484705A (zh) * 2014-12-12 2015-04-01 广西科技大学 一种遗传算法的优化方法
US20160267490A1 (en) * 2015-03-10 2016-09-15 James Johnson System and Method for Detecting Non-Negligible Election Fraud
CN106649329A (zh) * 2015-10-30 2017-05-10 深圳市华威世纪科技股份有限公司 一种安全生产大数据挖掘系统
CN108549995A (zh) * 2018-04-24 2018-09-18 江苏电力信息技术有限公司 一种通过数据挖掘实现配网公变电压异常决策分析的方法
CN110825798A (zh) * 2019-10-29 2020-02-21 深圳供电局有限公司 一种电力应用数据维护方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851695A1 (en) * 2005-02-14 2007-11-07 SmartTrust AB Method for performing an electronic transaction
CN104484705A (zh) * 2014-12-12 2015-04-01 广西科技大学 一种遗传算法的优化方法
US20160267490A1 (en) * 2015-03-10 2016-09-15 James Johnson System and Method for Detecting Non-Negligible Election Fraud
CN106649329A (zh) * 2015-10-30 2017-05-10 深圳市华威世纪科技股份有限公司 一种安全生产大数据挖掘系统
CN108549995A (zh) * 2018-04-24 2018-09-18 江苏电力信息技术有限公司 一种通过数据挖掘实现配网公变电压异常决策分析的方法
CN110825798A (zh) * 2019-10-29 2020-02-21 深圳供电局有限公司 一种电力应用数据维护方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUTANG LIU: "Incomplete big data imputation mining algorithm based on BP neural network" *
卜范玉 等: "基于深度学习的不完整大数据填充算法" *
郑斌: "基于改进遗传算法的不完整大数据填充挖掘算法" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948502A (zh) * 2021-03-26 2021-06-11 江门职业技术学院 多来源传输数据分类存储方法、装置、设备及存储介质
CN112948502B (zh) * 2021-03-26 2023-06-27 江门职业技术学院 多来源传输数据分类存储方法、装置、设备及存储介质
CN115423005A (zh) * 2022-08-22 2022-12-02 江苏大学 一种联合收获机大数据重构方法与装置
CN115423005B (zh) * 2022-08-22 2023-10-31 江苏大学 一种联合收获机大数据重构方法与装置
CN115203292A (zh) * 2022-09-15 2022-10-18 昆仑智汇数据科技(北京)有限公司 一种工业设备的数据处理方法、装置及设备
CN116561689A (zh) * 2023-05-10 2023-08-08 盐城工学院 一种高维数据异常检测方法
CN116561689B (zh) * 2023-05-10 2023-11-14 盐城工学院 一种高维数据异常检测方法

Similar Documents

Publication Publication Date Title
CN111738412A (zh) 一种不完全网络的大数据异常挖掘方法、系统及存储介质
CN105512258B (zh) 一种汽车广义产品智能化配置方法
Zhao et al. A classification-based surrogate-assisted multiobjective evolutionary algorithm for production optimization under geological uncertainty
CN111625922B (zh) 一种基于机器学习代理模型的大规模油藏注采优化方法
CN110807544B (zh) 一种基于机器学习的油田剩余油饱和度分布的预测方法
CN103106279A (zh) 一种同时基于节点属性以及结构关系相似度的聚类方法
CN113159239A (zh) 一种量子图卷积神经网络处理图数据的方法
CN109614495A (zh) 一种结合知识图谱和文本信息的相关公司挖掘方法
CN115375031A (zh) 一种产油量预测模型建立方法、产能预测方法及存储介质
Wang et al. A novel surrogate-assisted multi-objective optimization method for well control parameters based on tri-training
CN116070750A (zh) 一种选矿日综合生产指标多目标鲁棒优化决策方法
CN108710734B (zh) 基于网格自适应加密与粗化技术的数值模拟方法和装置
CN111861129B (zh) 一种基于多尺度油藏模型的多保真注采优化方法
CN113095501A (zh) 一种基于深度强化学习的不平衡分类决策树生成方法
Kampolis et al. Multilevel optimization strategies based on metamodel-assisted evolutionary algorithms, for computationally expensive problems
CN116029221B (zh) 一种电力设备故障诊断方法、装置、设备及介质
Kwong et al. A genetic algorithm based knowledge discovery system for the design of fluid dispensing processes for electronic packaging
CN104346448B (zh) 一种基于遗传规划算法的增量数据挖掘方法
CN112465253B (zh) 一种城市路网中的链路预测方法及装置
CN115510752A (zh) 一种基于数据驱动的侧钻井井位优选方法及装置
CN114529040A (zh) 一种机电产品装配误差在线预测方法
CN112906760A (zh) 一种水平井压裂段分段方法、系统、设备及存储介质
CN109711040A (zh) 一种基于搜索方向学习的智能工业设计强化学习算法
Liao et al. Predictive Analytics and Statistical Learning for Waterflooding Operations in Reservoir Simulations
CN110046708A (zh) 一种基于无监督深度学习算法的信用评分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination