CN113407410A - 一种区块链网络异常检测方法 - Google Patents
一种区块链网络异常检测方法 Download PDFInfo
- Publication number
- CN113407410A CN113407410A CN202110661206.9A CN202110661206A CN113407410A CN 113407410 A CN113407410 A CN 113407410A CN 202110661206 A CN202110661206 A CN 202110661206A CN 113407410 A CN113407410 A CN 113407410A
- Authority
- CN
- China
- Prior art keywords
- data
- slave node
- data set
- real
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种区块链网络异常检测方法，该方法用于提高互联网数据的安全性；所述方法包括：第一从节点负责从网关采集实时数据集合；第二从节点预处理所述实时数据集合；主检测节点负责对所述实时数据集合中的数据进行检测；区块节点存储所述数据集合。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种区块链网络异常检测方法。
背景技术
互联网的发展促进数据安全问题，因此有必要建立一个适应数据规模大的数据检测系统，将数据作为检测重点，把检测异常行为类比为从数据中找出异常数据，把检测技术和数据挖掘技术相结合有效降低检测误报率和提高检测效率。
如CN105591836A、CN109542772A的现有技术公开的一种基于数据流分析的异常检测方法，本发明针对新型的BPEL软件范型，考虑了传统软件所没有的语言特性，但是该技术只能针对单一类别的数据识别。再来看如CN101459554A的现有技术公开的一种数据流检测的方法和装置，通过采用主流特征信息与辅流特征信息相结合的检测方法，实现了对没有携带明显的特征信息的数据流的检测，但是对数据流的总量需求过大。
为了解决本领域普遍存在的传统的网络异常检测受数据存储、处理能力的限制并且存在准确率较低、误报率较高等问题，作出了本发明。
发明内容
本发明的目的在于提升网络异常检测模型的检测能力和速率，针对目前普遍存在的传统的网络异常检测受数据存储、处理能力的限制并且存在准确率较低、误报率较高等所存在的不足，提出了：
一种区块链网络异常检测方法，所述方法包括，
第一从节点负责从网关采集实时数据集合；
第二从节点预处理所述实时数据集合；
主检测节点负责对所述实时数据集合中的数据进行检测；
在区块节点存储所述数据集合；
所述第一从节点负责从网关采集实时数据集合步骤包括：
所述第一从节点对所述实时数据集进行格式化处理，处理后的所述实时数据集合将存放在临时存储区，所述第一从节点将存放在所述临时存储区内的所述实时数据集发送至第二从节点。
所述数据采集层用于所述第一从节点进行采集所述网关实时数据集合；所述采集数据步骤具体实施步骤包括：
所述数据采集层利用pcap_loop()函数从所述网关中解析出Jpacket对象，从所述Jpacket对象获取数据包的原始数据信息，所述数据采集层将被抓取的所述数据包保存，然后生成包含所述数据包的基本特征对象，所述数据采集层判断所述数据包的数据特征是否含有源/目的IP地址，服务及协议基本特征，若所述数据包不包含所述基本特征，则所述数据包将被所述数据采集层过滤掉，若所述数据包包含所述基本特征，则所述数据包将被所述数据采集层打包成.cdv文件存放在所述临时存储区中，所述数据采集层将所述.cdv文件发送至所述数据预处理层；
所述数据预处理层接收所述.cdv文件，同时所述数据预处理层用于所述从第二从节点的数据预处理过程，所述第二从节点负责接收所述第一从节点的所述格式化数据集合，所述数据集合在所述第二从节点内以Topic队列方式进行存放；所述第二从节点对所述数据集合进行预处理操作，其中所述第二从节点内搭建有数据特征集合；所述预处理操作对所述格式化数据集合内数据进行特征分析，若所述数据的数据特征属于所述数据特征集合，则所述数据被划分为第一数据集合，若所述格式化数据集合中的数据特征不属于所述数据特征集合，则所述数据被划分为第二数据集合，所述第二从节点将所述第一数据集合和第二数据集合分别发送至主检测节点；
所述数据预处理层内搭一个欧式空间，其中所述数据特征集合内包含的数据特征包括：离散型特征、连续型特征和高维特征，若所述数据的数据特征属于所述数据特征集合，则所述数据预处理层将所述数据划分为所述第一数据集合。本发明所取得的有益效果是：
1.通过采用数据分析层对具有异常点的数据流和非异常点的数据流进行聚类分析，聚类分析过程建立新检测模型，设计了快速剔除孤立点的算法提高检测效率；
2.通过采用实时分析技术，实现面对大容量数据检测的前提下准确快速地检测数据异常行为。
3.通过采用区块链存储技术对数据流的特征值进行存储，提高数据检测系统的特征值存储能力，同时提高系统的检测能力；
4.通过采用两种数据分类方法，可以检测两种类型的数据流，提高检测的多样性。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1为本发明的检测方法流程图。
图2为本发明的数据采集层的结构示意图。
图3为本发明的数据预处理层的结构示意图。
具体实施方式
为了使得本发明的目的.技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统.方法和/或特征将变得显而易见。旨在所有此类附加的系统.方法.特征和优点都包括在本说明书内.包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”.“下”.“左”.“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位.以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本实施例可以理解为提供应用于检测系统的区块链网络检测方法，其中所述系统包括：数据采集层、数据预处理层、数据分析层和数据存储层；其中所述数据采集层与所述数据预处理层进行数据连接，所述数预处理层与所述数据分析层进行数据连接，所述数据分析层与所述数据存储层进行数据连接；所述层与层之间相互独立，所述层的数据格式是标准换，所述层之间的数据调用采用标准化接口，
但是要说明的是，该方法可以应用于类似的系统，其不作为限制。
其中区块链网络检测方法，包括：
第一从节点负责从网关采集实时数据集合；
第二从节点预处理所述实时数据集合；
主检测节点负责对所述实时数据集合中的数据进行检测；
在区块节点存储所述数据集合；
所述第一从节点负责从网关采集实时数据集合步骤包括：
所述第一从节点对所述实时数据集进行格式化处理，处理后的所述实时数据集合将存放在临时存储区，所述第一从节点将存放在所述临时存储区内的所述实时数据集发送至第二从节点；
所述数据采集层用于所述第一从节点进行采集所述网关实时数据集合；所述采集数据步骤具体实施步骤包括：
所述数据采集层利用pcap_loop()函数从所述网关中解析出Jpacket对象，从所述Jpacket对象获取数据包的原始数据信息，所述数据采集层将被抓取的所述数据包保存，然后生成包含所述数据包的基本特征对象，所述数据采集层判断所述数据包的数据特征是否含有源/目的IP地址，服务及协议基本特征，若所述数据包不包含所述基本特征，则所述数据包将被所述数据采集层过滤掉，若所述数据包包含所述基本特征，则所述数据包将被所述数据采集层打包成.cdv文件存放在所述临时存储区中，所述数据采集层将所述.cdv文件发送至所述数据预处理层；
所述数据预处理层接收所述.cdv文件，同时所述数据预处理层用于所述从第二从节点的数据预处理过程，所述第二从节点负责接收所述第一从节点的所述格式化数据集合，所述数据集合在所述第二从节点内以Topic队列方式进行存放；所述第二从节点对所述数据集合进行预处理操作，其中所述第二从节点内搭建有数据特征集合；所述预处理操作对所述格式化数据集合内数据进行特征分析，若所述数据的数据特征属于所述数据特征集合，则所述数据被划分为第一数据集合，若所述格式化数据集合中的数据特征不属于所述数据特征集合，则所述数据被划分为第二数据集合，所述第二从节点将所述第一数据集合和第二数据集合分别发送至主检测节点；
所述数据预处理层内搭一个欧式空间，其中所述数据特征集合内包含的数据特征包括：离散型特征、连续型特征和高维特征，若所述数据的数据特征属于所述数据特征集合，则所述数据预处理层将所述数据划分为所述第一数据集合，所述数据预处理层对所述第一数据集合的预处理步骤具体如下：
1、将离散型数据进行数值化；提取所述.cdv文件内的数据，所述数据预处理层根据所述数据特征对所述数据进行特征识别，所述的离散型数据类型包括back、land和nmap，将所述离散型数据的离散属性投射到所述欧式空间，所述离散属性在所述欧式空间中存在属于自身的空间位置，然后计算所述空间位置的数据在所述欧式空间的欧式距离，所述离散属性采用二进制编码进行数据编码；
2、将连续型数据进行标准化和归一化处理；将所述.cdv文件内具有连续型特征数据进行标准化和归一化处理，其中在所述连续性特征数据中选取部分数据作为样本数据，处理步骤如下所述：
①根据公式(1)将所述连续属性标准化；
B＝(vi-r)/σ (1)
其中B表示所述连续型数据的连续属性标准化，σ表示所述样本数据的标准差，所述标准差的计算由公式(2)所得，vi表示所述连续型数据的第i个属性，i代表所述连续型数据的属性序号，取任意正整数，选择所述属性个数为10；r表示所述属性的平均值，所述平均值由公式(3)取得；
(2)
其中10表示所述属性的个数；
(3)
其中10表示所述属性的个数；
②将数值归一化处理；将步骤①处理后的变为标准化的数据进行归一到[0,1]区间中，并将所述数据的值域映射到[0,1]范围内处理，所述归一化处理由公式(4)计算所得；
其中C′i是Ci归一化后的数值，其值为[0,1]内任意数值，Cmin是Ci中的最小值，Cmax是Ci中的最大值；Ci是所述标准化的数据值；
3、进行主成分分析降维处理；将所述.cdv文件内数据具有高维数据特征的数据进行降维处理，具体步骤如下所示：
1)将所述高维特征数据按列组合成n行m列矩阵1，其中所述矩阵1每一行代表一个属性字段；
2)将所述矩阵1的每一行进行零均值化，减去所述每一行中的均值；
3)求出所述矩阵1的协方差矩阵；
4)求出所述协方差矩阵的特征值以及所述特征值对应的特征向量；
5)将所述特征向量按对应的特征值大小依此从上到下按行排列成矩阵2，取前k行组成矩阵3，其中k值为不超过所述矩阵2的行列数的任意正整数；
6)将所述矩阵3与所述矩阵1相乘即为进行k维降维后的所述.cdv文件内数据具有高维数据特征的数据进行降维处理后的低维数据；
若所述数据的数据特征不属于所述数据特征集合中的任一特征元素，则所述数据被所述数据预处理层划分为第二数据集合，所述数据预处理层对所述第二数据集合的预处理步骤如下：
所述第二数据集合的所述数据特征若属于五种类别标签，所述五种类别标签包括：Normal、Dos、Probe、U2R、R2L，分别对所述类别标签分别表示为1到5的正整数，其余不属于所述五种类别标签的所述数据用0表示；
所述数据预处理层将预处理后的所述第一数据集合和第二数据集合的数据特征进行向量化，将所述第一数据集合和第二数据集合的数据特征通过Vector Assembler类实现所述数据特征向量化；
所述数据预处理层完成所述数据特征向量化后将所述第一数据集合和第二数据集合发送至所述数据分析层。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (2)
1.一种区块链网络异常检测方法，其特征在于，所述方法包括，
第一从节点负责从网关采集实时数据集合；
第二从节点预处理所述实时数据集合；
主检测节点负责对所述实时数据集合中的数据进行检测；
在区块节点存储所述数据集合；
所述第一从节点负责从网关采集实时数据集合步骤包括：
所述第一从节点对所述实时数据集进行格式化处理，处理后的所述实时数据集合将存放在临时存储区，所述第一从节点将存放在所述临时存储区内的所述实时数据集发送至第二从节点。
2.如权利要求1所述的一种区块链网络异常检测方法，其特征在于，
所述数据采集层用于所述第一从节点进行采集所述网关实时数据集合；所述采集数据步骤具体实施步骤包括：
所述数据采集层利用pcap_loop()函数从所述网关中解析出Jpacket对象，从所述Jpacket对象获取数据包的原始数据信息，所述数据采集层将被抓取的所述数据包保存，然后生成包含所述数据包的基本特征对象，所述数据采集层判断所述数据包的数据特征是否含有源/目的IP地址，服务及协议基本特征，若所述数据包不包含所述基本特征，则所述数据包将被所述数据采集层过滤掉，若所述数据包包含所述基本特征，则所述数据包将被所述数据采集层打包成.cdv文件存放在所述临时存储区中，所述数据采集层将所述.cdv文件发送至所述数据预处理层；
所述数据预处理层接收所述.cdv文件，同时所述数据预处理层用于所述从第二从节点的数据预处理过程，所述第二从节点负责接收所述第一从节点的所述格式化数据集合，所述数据集合在所述第二从节点内以Topic队列方式进行存放；所述第二从节点对所述数据集合进行预处理操作，其中所述第二从节点内搭建有数据特征集合；所述预处理操作对所述格式化数据集合内数据进行特征分析，若所述数据的数据特征属于所述数据特征集合，则所述数据被划分为第一数据集合，若所述格式化数据集合中的数据特征不属于所述数据特征集合，则所述数据被划分为第二数据集合，所述第二从节点将所述第一数据集合和第二数据集合分别发送至主检测节点；
所述数据预处理层内搭一个欧式空间，其中所述数据特征集合内包含的数据特征包括：离散型特征、连续型特征和高维特征，若所述数据的数据特征属于所述数据特征集合，则所述数据预处理层将所述数据划分为所述第一数据集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661206.9A CN113407410A (zh) | 2021-06-15 | 2021-06-15 | 一种区块链网络异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661206.9A CN113407410A (zh) | 2021-06-15 | 2021-06-15 | 一种区块链网络异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113407410A true CN113407410A (zh) | 2021-09-17 |
Family
ID=77684177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110661206.9A Withdrawn CN113407410A (zh) | 2021-06-15 | 2021-06-15 | 一种区块链网络异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113407410A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114785608A (zh) * | 2022-05-09 | 2022-07-22 | 中国石油大学(华东) | 一种基于去中心化联邦学习的工业控制网络入侵检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017128961A1 (zh) * | 2016-01-30 | 2017-08-03 | 华为技术有限公司 | 一种分布式系统中的训练模型的方法及设备 |
| CN108040074A (zh) * | 2018-01-26 | 2018-05-15 | 华南理工大学 | 一种基于大数据的实时网络异常行为检测系统及方法 |
| CN112615881A (zh) * | 2020-12-28 | 2021-04-06 | 马樱 | 一种基于区块链的数据流检测系统 |
-
2021
- 2021-06-15 CN CN202110661206.9A patent/CN113407410A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017128961A1 (zh) * | 2016-01-30 | 2017-08-03 | 华为技术有限公司 | 一种分布式系统中的训练模型的方法及设备 |
| CN108040074A (zh) * | 2018-01-26 | 2018-05-15 | 华南理工大学 | 一种基于大数据的实时网络异常行为检测系统及方法 |
| CN112615881A (zh) * | 2020-12-28 | 2021-04-06 | 马樱 | 一种基于区块链的数据流检测系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114785608A (zh) * | 2022-05-09 | 2022-07-22 | 中国石油大学(华东) | 一种基于去中心化联邦学习的工业控制网络入侵检测方法 |
| CN114785608B (zh) * | 2022-05-09 | 2023-08-15 | 中国石油大学(华东) | 一种基于去中心化联邦学习的工业控制网络入侵检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109446804B (zh) | 一种基于多尺度特征连接卷积神经网络的入侵检测方法 | |
| CN111556016B (zh) | 一种基于自动编码器的网络流量异常行为识别方法 | |
| CN112615881B (zh) | 一种基于区块链的数据流检测系统 | |
| CN111786951B (zh) | 流量数据特征提取方法、恶意流量识别方法及网络系统 | |
| CN111191720B (zh) | 一种业务场景的识别方法、装置及电子设备 | |
| CN113762377B (zh) | 网络流量识别方法、装置、设备及存储介质 | |
| CN109257383B (zh) | 一种bgp异常检测方法及系统 | |
| CN112528277A (zh) | 一种基于循环神经网络的混合入侵检测方法 | |
| CN111177469A (zh) | 人脸检索方法及人脸检索装置 | |
| CN116208417B (zh) | 一种基于大数据的通信异常感知系统及方法 | |
| CN112134862A (zh) | 基于机器学习的粗细粒度混合网络异常检测方法及装置 | |
| CN114915575B (zh) | 一种基于人工智能的网络流量检测装置 | |
| CN113407410A (zh) | 一种区块链网络异常检测方法 | |
| CN111709021B (zh) | 一种基于海量告警的攻击事件识别方法及电子装置 | |
| CN114970694B (zh) | 一种网络安全态势评估方法及其模型训练方法 | |
| CN115865486B (zh) | 基于多层感知卷积神经网络的网络入侵检测方法及系统 | |
| CN110086860B (zh) | 一种物联网大数据环境下的数据异常检测方法及装置 | |
| CN117375896A (zh) | 基于多尺度时空特征残差融合的入侵检测方法及系统 | |
| CN111814613A (zh) | 一种人脸识别方法、设备及计算机可读存储介质 | |
| CN112688911B (zh) | 一种基于PCA+ADASYN和Xgboost的网络入侵检测系统 | |
| CN112613521B (zh) | 基于数据转换的多层次数据分析系统及方法 | |
| CN115348198A (zh) | 基于特征检索的未知加密协议识别分类方法、设备及介质 | |
| CN113391976A (zh) | 一种分布式数据节点异常行为检测方法、系统及存储介质 | |
| CN114548678A (zh) | 分阶段的设备细粒度类型识别方法及系统 | |
| CN106530199A (zh) | 基于窗口式假设检验的多媒体综合隐写分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210917 |
|
| WW01 | Invention patent application withdrawn after publication |