CN113221113A - 基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质 - Google Patents

基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质 Download PDF

Info

Publication number
CN113221113A
CN113221113A CN202110593073.6A CN202110593073A CN113221113A CN 113221113 A CN113221113 A CN 113221113A CN 202110593073 A CN202110593073 A CN 202110593073A CN 113221113 A CN113221113 A CN 113221113A
Authority
CN
China
Prior art keywords
abnormal
machine learning
block chain
traffic
ddos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110593073.6A
Other languages
English (en)
Other versions
CN113221113B (zh
Inventor
李清锋
张培风
韩家鹏
周雨昂
吴本龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202110593073.6A priority Critical patent/CN113221113B/zh
Publication of CN113221113A publication Critical patent/CN113221113A/zh
Application granted granted Critical
Publication of CN113221113B publication Critical patent/CN113221113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质，属于数据理技术领域。具体包括，流量监听及过滤模块判断输入流量是否为异常连接，判定为异常连接时，将异常流量特征记录下来，然后将此信息签名并上传至区块链中。所有边缘节点都接收到此条广播时，他们将从区块链中获取该特征，对异常流量进行检测，若确定为DDoS流量时，同步广播给所有边缘节点，对DDoS流量进行拦截，解决了现有技术中存在的针对DDoS流量的识别和过滤效率不够高，且共享信息不足以使其它边缘节点对同类攻击提前预警的技术问题。实现了，实时共享DDoS攻击信息，便于提前做出预警，提高了DDoS检测效率。

Description

基于分布式机器学习和区块链的物联网DDoS检测、防御方法、 检测装置及存储介质
技术领域
本申请涉及一种检测、防御方法，尤其涉及基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质，属于数据处理技术领域。
背景技术
2019年起，5G网络正式被商用，其速度相比4G有了质的飞跃，为万物互联的时代提供了发展基础。5G的发展带动了物联网设备相关产业应用的爆发式增长，据统计，截止2020年，全球物联网设备已超200亿台。身边随处可见的智能穿戴设备到智能家居，再到无人驾驶汽车等等，都为人们的日常生活带来了极大的便利。
为用户带来各种生活便捷的同时，带来的还有许多隐性的相关安全问题,DDoS(Distributed Denial of Service，分布式拒绝攻击)就是其中影响最为广泛的一个。与其他恶意攻击不同，DDoS要相对简单粗暴得多，攻击者通过利用大量合法的分布式服务器不断对目标发送请求，从而导致其他普通用户无法正常获得服务。由于物联网设备生产商没有对网络安全方面引起足够的重视，所以市面上许多产品都是由简单的操作系统和低价的硬件等构成，无法对恶意攻击采取安全防御措施。而这就为攻击者提供了入侵物联网设备的绝佳机会，基于DDoS攻击操作简便、成本低廉以及“易攻难守”的特性，物联网安全饱受其侵扰。
市面上现有商业化物联网DDoS防御类产品大多为云防护平台，采用方法称为资源对抗，通俗理解来说，就是利用大量云服务器和云带宽资源来分担攻击，起到维护正常服务的效果。但是此类DDoS高防服务往往依托于大型云服务提供商，虽然防御效果显著，无奈收费较高且过滤效率有限，并不适合推广到各个物联网应用场景。
中国专利CN108616534A中提出了一种基于区块链来防护物联网设备DDoS攻击的方法，它在边缘节点对物联网设备发起疑似DDoS异常连接进行搜集，边缘节点之间P2P通信，通过智能合约实现搜集结果的共享以完成对该恶意流量的识别和过滤。
上述方法虽然能够拦截部分针对物联网环境的DDoS，并引入了区块链来实现恶意攻击信息共享，但是仍存在一些问题，譬如针对DDoS流量的识别和过滤效率不够高，且共享信息不足以使其它边缘节点对同类攻击提前预警等。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的针对DDoS流量的识别和过滤效率不够高，且共享信息不足以使其它边缘节点对同类攻击提前预警的技术问题，本发明提供了基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质，在真实物联网环境下，本方法为每个不同局域网设置了智能网关作为边缘节点，下辖不同数量的物联网设备。
当智能网关连接在网络入口和物联网环境之间后，此边缘节点的流量监听及过滤模块将会充当中间人角色，为保证对识别效率，首先使用编写的识别策略快速对恶意流量进行初步筛选阻止其转发，并提取相关特征值记录下来，利用区块链智能合约将其签名然后上链共享。其他边缘节点则可验证其签名确认发出信息的节点，实时共享相应DDoS攻击信息，便于提前做出预警。
根据本发明的一个方面，本发明提出一种基于分布式机器学习和区块链的物联网DDoS检测装置，包括流量监听及过滤模块、机器学习模块和区块链模块；所述流量监听及过滤模块用于接收边缘节点发出的流量，并对异常流量进行过滤和特征提取；所述机器学习模块用于学习检测异常流量；所述区块链模块用于存储异常流量；所述流量监听及过滤模块将提取到的特征传输至区块链模块；边缘节点从区块链模块中获取异常流量数据传输至机器学习模块。
根据本发明的另一个方面，本发明提供了一种基于分布式机器学习和区块链的物联网DDoS检测方法，该方法基于一种基于分布式机器学习和区块链的物联网DDoS检测装置实现，包括以下步骤：
S1.流量监听及过滤模块获取边缘节点输入的流量，判断流量是否为异常连接，如是执行步骤S3，如否执行步骤S2；
S2.提取流量的特征值，将流量的特征值输入至分布式机器学习训练模型中；
S3.提取流量的特征值，记录异常连接信息，对其进行签名后将其上传至区块链中；
S4.其他边缘节点共享区块链中的异常连接信息，并将该信息输入至分布式机器学习训练模型中对异常连接信息进行分析校验；
S5.当2/3边缘节点验证器为DDoS攻击后，同步广播给所有边缘节点和流量监听及过滤模块，所有边缘节点将包含攻击信息的区块记录在本地，并对计算正确的边缘节点对应的分布式机器学习训练模型分发代币；
S6.流量监听及过滤模块收到广播后对DDoS攻击流量进行拦截；
S7.根据代币数量确定最优分布式机器学习训练模型，并使全网同步此模型。
优选的，步骤S1所述流量监听及过滤模块，通过建立规则对异常流量实现过滤，建立规则具体的方法具体包括：
S1.1.在单位时间内，某源ip发送了超过设置上限的访问次数v，则判定为异常；
S1.2.流量监听及过滤模块接收到syn报文后先使用特定的cookie进行回应，若源端不进行回应，则为异常；
S1.3.收到UDP报文时，对其包大小、访问端口等进行判断，若超出阈值则记录为异常。
优选的，步骤S2和步骤S3所述提取流量的特征值具体包括连接的基本特征、基于时间的网络流量特征和基于主机的网络流量特征。
优选的，步骤S4所述的对异常连接信息进行分析校验的具体方法是：包括如下步骤：
S4.1.将原始数据集分为m组，从中有放回的随机抽选i个样本集；
S4.2.在样本集中从所有特征中随机选择k个特征，在每组样本数据集上用决策树算法对其进行建模，生成i个决策树模型，并将已成功训练生成的决策树放入队列留作训练；
S4.3.输入新的异常连接时，每棵决策树都要进行投票表决，确定选择哪类。
优选的，步骤S4.3所述投票的具体方法是：如下公式计算得到：
Figure BDA0003090266430000031
其中，H(x)表示多分类模型系统，ht(x)表示单棵决策树分类模型，y表示目标变量，II表示示性函数，表示当括号内条件成立时取值为1，否则为0。
根据本发明的又一个方面，本发明提出一种基于分布式机器学习和区块链的物联网DDoS防御方法，包括以下步骤：
S110.在物联网网络入口处运行检测装置，启动Spark MLlib分布式机器学习框架；
S120.用户使用物联网设备时，流量监听及过滤模块捕获并提取其特征值记录在本机，作为机器学习数据集；
S130.遇见异常流量后，边缘节点记录此次异常连接信息上传至区块链；
S140.所有边缘节点利用机器学习模型对此次异常连接信息进行检测，若为DDoS攻击则认证该区块信息并记录在本地；
S150.区块链模块将所有边缘节点进行同步，最终确定该次异常连接是否为恶意攻击，并对检测正确的节点发放奖励积分；
S160.提交异常连接的边缘节点得到积分奖励后，则会依据全网模型认定结果对该次连接进行过滤或转发等处理；
S170.当某边缘节点积分高于阈值后，所有边缘节点将以其模型为当前最优，统一同步该机器学习模型。
一种计算机装置，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现一种基于分布式机器学习和区块链的物联网DDoS检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于分布式机器学习和区块链的物联网DDoS检测方法。
本发明的有益效果如下：本发明基于区块链已建立的P2P网络，各边缘节点之间可以很方便地进行互相通信。由此引入的分布式机器学习算法能让本方法借助这个优点更好地利用各个节点的计算能力，使其能在硬件性能不太足够的情况下，提高识别准确率。除此之外，通过区块链智能合约的积分奖励制度，根据各节点的积分判断当前最优模型，并定时同步，相比传统机器学习方式，能够更好地实现模型的迭代优化。而且本发明对硬件性能需求低，区块链建立的通信网络可以让模型实现自动优化。解决了针对DDoS流量的识别和过滤效率不够高，共享信息不足以使其它边缘节点对同类攻击提前预警的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例所述的检测方法的流程示意图；
图2为本发明实施例所述的检测装置的结构示意图；
图3为本发明实施例所述的Spark结构示意图；
图4为本发明实施例所述的决策树模型结构示意图；
图5为本发明实施例所述的防御方法流程示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一、参照图1、图3-图4，说明本实施方式，一种基于分布式机器学习和区块链的物联网DDoS检测方法，包括以下步骤：
步骤一、流量监听及过滤模块获取边缘节点输入的流量，判断流量是否为异常连接，如是执行步骤三，如否执行步骤二；
其中，流量监听及过滤模块可以对流量进行抓取与分析，可以捕获流经网卡的数据包，通过建立规则对异常流量实现过滤。
其中，建立规则具体包括：
步骤一一、在单位时间内，某源ip发送了超过设置上限的访问次数v，则判定为异常。
步骤一二、流量监听及过滤模块接收到syn报文后先使用特定的cookie进行回应，若源端不进行回应，则为异常。
步骤一三、收到UDP报文时，对其包大小、访问端口等进行判断，若超出阈值则记录为异常。
步骤一四、提取基本特征如协议类型等与物联网流量进行比较，若不符合则记为异常。
步骤二、提取流量的特征值，将流量的特征值输入至分布式机器学习训练模型中；特征中具体包括以下三种特征：
1、连接的基本特征，具体包括：持续时间、协议类型连接状态等。
2、基于时间的网络流量特征，具体包括：相同目的IP的连接数量、相同目的端口的连接数量等。
3、基于主机的网络流量特征，具体包括：连接到相同目的IP的连接数量等。
步骤三、提取流量的特征值，具体包括：记录异常连接信息，对其进行签名后将其上传至区块链中；
步骤四、其他边缘节点共享区块链中的异常连接信息，并将该信息输入至分布式机器学习训练模型中对异常连接信息进行分析校验；具体方法，包括如下步骤：
步骤四一、将原始数据集分为m组，从中有放回的随机抽选i个样本集；
步骤四二、在样本集中从所有特征中随机选择k个特征，在每组样本数据集上用决策树算法对其进行建模，生成i个决策树模型，并将已成功训练生成的决策树放入队列留作训练；
步骤四三、输入新的异常连接时，每棵决策树都要进行投票表决，确定选择哪类。投票的具体方法是：如下公式计算得到：
Figure BDA0003090266430000051
其中，H(x)表示多分类模型系统，ht(x)表示单棵决策树分类模型，y表示目标变量，II表示示性函数，表示当括号内条件成立时取值为1，否则为0。
步骤五、当2/3边缘节点验证器为DDoS攻击后，同步广播给所有边缘节点和流量监听及过滤模块，所有边缘节点将包含攻击信息的区块记录在本地，并对计算正确的边缘节点对应的分布式机器学习训练模型分发代币；
步骤六、流量监听及过滤模块收到广播后对DDoS攻击流量进行拦截；
步骤七、根据代币数量确定最优分布式机器学习训练模型，并使全网同步此模型。
本实施例所述的检测方法，是在Spark MLlib分布式机器学习框架，利用框架中的聚类算法，对流量数据进行无监督学习，识别混合在正常物联网流量中的DDoS流量，并对其进行拦截。
参照图3，说明Spark系统，Spark系统包括运行计算任务的工作节点(WorkerNode)、集群资源管理器(Cluster Manager)、任务控制节点(Driver)和在工作节点上负责具体任务的执行进程(Executor)。管理结点进行调度组织，工作节点进行具体的计算任务执行，最终将结果返回给控制节点。在工作节点上，数据被分为不同的分片，这是spark的基础处理单元。
Driver会创建SparkContext。SparkContext负责和Cluster Manager通信，进行资源申请、任务分配和监控等。
Cluster Manager负责申请和管理在Worker Node上运行应用所需的资源。
Executor是程序运行在Worker Node上的一个进程，在本发明中各边缘节点则相当于Worker Node，负责运行任务，并将数据存在内存或者磁盘上，它利用多线程来执行具体任务，为此装置提供了分布式并行计算的基础。
参照图4，说明分布式机器学习训练模型中对异常连接信息进行分析校验的具体方法，将所有数据集分为m组，并从其中有放回的随及抽选i个样本集，再从所有特征中随机选择k个特征，在每组样本数据集上都利用决策树算法进行建模，生成i个决策树模型，然后将已成功训练生成的决策树模型放入队列留作分类训练，将已训练好的决策树模型视为分类器，每个分类器都可以利用决策树模型实现对流量进行分类判别，当产生新的流量数据时，每个决策树都会对新的流量数据进行投票决策，最终确定选择哪一类。
为了确定模型的好坏，需要对模型进行评估，评估具体包括分类准确度评估、召回率评估、虚警率评估和精确度评估；具体评估方法是：
分类准确度评估，评估正负样本分别被正确分类的概率，计算公式为：
Figure BDA0003090266430000061
其中，TP是正确预测到的正例的数量，TN是正确预测到的负例的数量，P是正例的样本数量，N是负例的样本数量。
召回率评估，评估正样本被识别出的概率，计算公式为：
Figure BDA0003090266430000071
其中，TP是正确预测到的正例的数量，P是正例的样本数量。
虚警率评估，评估负样本被错误分为正样本的概率，计算公式为：
Figure BDA0003090266430000072
其中，FP是把负例预测成正例的数量，N是负例的样本数量。
精确度评估，评估分类结果为正样本的情况真实性程度，计算公式为：
Figure BDA0003090266430000073
其中，TP是正确预测到的正例的数量，FP是把负例预测成正例的数量。
本实施例所述的检测方法原理是，流量监听及过滤模块判断输入流量是否为异常连接，当判定为异常连接时，将异常流量特征记录下来，然后将此信息签名并上传至区块链中。当所有边缘节点都接收到此条广播时，他们将从区块链中获取该特征，运行分布式机器学习模型对异常流量进行检测，确定异常流量是否为DDoS攻击，当确定异常流量为DDoS攻击时同步广播给所有边缘节点和流量监听及过滤模块，当监听及过滤模块收到广播后，对该条异常流量进行拦截，并向检测正确的边缘节点分发奖励积分，奖励积分作为评价该边缘节点模型优劣的标准。当某些边缘节点中的积分高于阈值后，系统将自动同步最优模型至所有边缘节点，由此进行分布式机器学习模型的迭代。
实施例二、参照图2，说明本实施例，本发明提出一种基于分布式机器学习和区块链的物联网DDoS检测装置，包括流量监听及过滤模块、机器学习模块和区块链模块；所述流量监听及过滤模块用于接收边缘节点发出的流量，并对异常流量进行过滤和特征提取；所述机器学习模块用于学习检测异常流量；所述区块链模块用于存储异常流量；所述流量监听及过滤模块将提取到的特征传输至区块链模块；边缘节点从区块链模块中获取异常流量数据传输至机器学习模块。
本实施例所述的流量监听及过滤模块具有流量转发功能、流量拦截功能和特征提取功能，本模块可以捕获流经网卡的数据包，对异常流量进行拦截。对于特征提取功能主要由探针系统完成，负责采集途径流量的特征并进行特征转化，记入分布式学习训练模型中，作为学习训练的数据。而基于内存的计算模型Spark就是针对迭代计算而设计的，如非必要时，所有迭代都能直接在内存中进行，只有在必要的情况下才会操作磁盘和网络，而且，Spark具有更高效的Akka和Netty通信系统，通信效率远高于Hadoop MapReduce计算框架的通信机制。所以，鉴于各边缘节点算力的有限性以及原有的互联架构，本装置可以很方便地应用Spark框架将机器学习模型并行化，利用多机结构进行分布式计算，提高训练效率。当分布式计算结束后，系统自动汇总出完整模型，分发给各个边缘节点。此后，每当边缘节点捕获到攻击流量后，都可直接对本地模型进行优化升级，提高识别准确率。
本实施例所述的区块链模块，收到异常攻击的边缘节点首先通过探针系统将异常流量特征记录下来，然后将此信息签名并上传至区块链中。当所有边缘节点都接收到此条广播时，他们将从区块链中获取该特征，运行分布式机器学习模型对异常流量进行检测，若确定为DDoS流量且签名无误时，认证该区块。通过区块链智能合约将根据所有边缘节点对此区块的认证情况确定异常流量时否为DDoS攻击。
本实施例所述的机器学习模块是基于迭代式分布式机器学习框架Spark MLlib来实现分布式计算的，机器学习的算法是由许多步骤构成的迭代计算的过程，这个运算过程在多次迭代后获得极小的误差时才会停止。
实施例三、参照图5说明本实施例，一种基于分布式机器学习和区块链的物联网DDoS防御方法，包括以下步骤：
S110.在物联网网络入口处运行实施例二所述的检测装置，启动Spark MLlib分布式机器学习框架；
S120.用户使用物联网设备时，流量监听及过滤模块捕获并提取其特征值记录在本机，作为机器学习数据集；
S130.遇见异常流量后，边缘节点记录此次异常连接信息上传至区块链；
S140.所有边缘节点利用机器学习模型对此次异常连接信息进行检测，若为DDoS攻击则认证该区块信息并记录在本地；
S150.区块链模块将全网所有边缘节点进行同步，最终确定该次异常连接是否为恶意攻击，并对检测正确的边缘节点发放奖励积分；
S160.提交异常连接的边缘节点得到积分奖励后，则会依据全网模型认定结果对该次连接进行过滤或转发等处理；
S170.当某边缘节点积分高于一定的阈值后，全网边缘节点将以其模型为当前最优，统一同步该机器学习模型。
本实施例所述的装置在智能网关上配置CPU等相关硬件作为支持，再部署本实施例所述的装置放入实际环境中使用，作为边缘节点。不同物联网环境下的边缘节点利用P2P方法实现互联通信。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (9)

1.一种基于分布式机器学习和区块链的物联网DDoS检测装置，其特征在于，包括流量监听及过滤模块、机器学习模块和区块链模块；所述流量监听及过滤模块用于接收边缘节点发出的流量，并对异常流量进行过滤和特征提取；所述机器学习模块用于学习检测异常流量；所述区块链模块用于存储异常流量；所述流量监听及过滤模块将提取到的特征传输至区块链模块；边缘节点从区块链模块中获取异常流量数据传输至机器学习模块。
2.一种基于分布式机器学习和区块链的物联网DDoS检测方法，该方法基于权利要求1所述的一种基于分布式机器学习和区块链的物联网DDoS检测装置实现，其特征在于，包括以下步骤：
S1.流量监听模块获取边缘节点输入的流量，判断流量是否为异常连接，如是执行步骤S3，如否执行步骤S2；
S2.提取流量的特征值，将流量的特征值输入至分布式机器学习训练模型中；
S3.提取流量的特征值，记录异常连接信息，对其进行签名后将其上传至区块链中；
S4.其他边缘节点共享区块链中的异常连接信息，并将该信息输入至分布式机器学习训练模型中对异常连接信息进行分析校验；
S5.当2/3边缘节点验证器为DDoS攻击后，同步广播给所有边缘节点和流量监听及过滤模块，所有边缘节点将包含攻击信息的区块记录在本地，并对计算正确的边缘节点对应的分布式机器学习训练模型分发代币；
S6.流量监听及过滤模块收到广播后对DDoS攻击流量进行拦截；
S7.根据代币数量确定最优分布式机器学习训练模型，并使全网同步此模型。
3.根据权利要求2所述的方法，其特征在于，步骤S1所述流量监听及过滤模块，通过建立规则对异常流量实现过滤，建立规则具体的方法具体包括：
S1.1.在单位时间内，某源ip发送了超过设置上限的访问次数v，则判定为异常；
S1.2.流量监听及过滤模块接收到syn报文后先使用特定的cookie进行回应，若源端不进行回应，则为异常；
S1.3.收到UDP报文时，对其包大小、访问端口等进行判断，若超出阈值则记录为异常。
4.根据权利要求3所述的方法，其特征在于，步骤S2和步骤S3所述提取流量的特征值具体包括连接的基本特征、基于时间的网络流量特征和基于主机的网络流量特征。
5.根据权利要求4所述的方法，其特征在于，步骤S4所述的对异常连接信息进行分析校验的具体方法是：包括如下步骤：
S4.1.将原始数据集分为m组，从中有放回的随机抽选i个样本集；
S4.2.在样本集中从所有特征中随机选择k个特征，在每组样本数据集上用决策树算法对其进行建模，生成i个决策树模型；
S4.3.输入新的异常连接时，每棵决策树都要进行投票表决，确定选择哪类。
6.根据权利要求5所述的方法，其特征在于，步骤S4.3所述投票的具体方法是：如下公式计算得到：
Figure FDA0003090266420000021
其中，H(x)表示多分类模型系统，ht(x)表示单棵决策树分类模型，y表示目标变量，II表示示性函数，表示当括号内条件成立时取值为1，否则为0。
7.一种基于分布式机器学习和区块链的物联网DDoS防御方法，其特征在于，包括以下步骤：
S110.在物联网网络入口处运行权利要求1所述的检测装置，启动Spark MLlib分布式机器学习框架；
S120.用户使用物联网设备时，流量监听及过滤模块捕获并提取其特征值记录在本机，作为机器学习数据集；
S130.遇见异常流量后，边缘节点记录此次异常连接信息上传至区块链；
S140.所有边缘节点利用机器学习模型对此次异常连接信息进行检测，若为DDoS攻击则认证该区块信息并记录在本地；
S150.区块链模块将全网边缘节点进行同步，最终确定该次异常连接是否为恶意攻击，并对检测正确的边缘节点发放奖励积分；
S160.提交异常连接的边缘节点得到积分奖励后，则会依据全网模型认定结果对该次连接进行过滤或转发等处理；
S170.当某边缘节点积分高于阈值后，全网边缘节点将以其模型为当前最优，统一同步该机器学习模型。
8.一种计算机装置，其特征在于：包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求2至6任一项所述的一种基于分布式机器学习和区块链的物联网DDoS检测方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至6任一项所述的一种基于分布式机器学习和区块链的物联网DDoS检测方法。
CN202110593073.6A 2021-05-28 2021-05-28 基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质 Active CN113221113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593073.6A CN113221113B (zh) 2021-05-28 2021-05-28 基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593073.6A CN113221113B (zh) 2021-05-28 2021-05-28 基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质

Publications (2)

Publication Number Publication Date
CN113221113A true CN113221113A (zh) 2021-08-06
CN113221113B CN113221113B (zh) 2021-10-01

Family

ID=77099172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593073.6A Active CN113221113B (zh) 2021-05-28 2021-05-28 基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质

Country Status (1)

Country Link
CN (1) CN113221113B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837300A (zh) * 2021-09-29 2021-12-24 上海海事大学 基于区块链的自动驾驶跨域目标检测方法
CN114726631A (zh) * 2022-04-12 2022-07-08 中国电信股份有限公司 一种标识解析体系架构的安全防护方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616534A (zh) * 2018-04-28 2018-10-02 中国科学院信息工程研究所 一种基于区块链防护物联网设备DDoS攻击的方法及系统
CN108933731A (zh) * 2017-05-22 2018-12-04 南京骏腾信息技术有限公司 基于大数据分析的智能网关
CN110113328A (zh) * 2019-04-28 2019-08-09 武汉理工大学 一种基于区块链的软件定义机会网络DDoS防御方法
US20190318122A1 (en) * 2018-04-13 2019-10-17 Plaid Inc. Secure permissioning of access to user accounts, including secure distribution of aggregated user account data
CN110474927A (zh) * 2019-09-23 2019-11-19 河海大学常州校区 基于智能非接触型互联网安全服务的DDoS攻击防御方法
CN110868356A (zh) * 2019-11-26 2020-03-06 东北林业大学 一种智能安全路由的控制方法及其智能安全路由器
CN111181932A (zh) * 2019-12-18 2020-05-19 广东省新一代通信与网络创新研究院 Ddos攻击检测与防御方法、装置、终端设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933731A (zh) * 2017-05-22 2018-12-04 南京骏腾信息技术有限公司 基于大数据分析的智能网关
US20190318122A1 (en) * 2018-04-13 2019-10-17 Plaid Inc. Secure permissioning of access to user accounts, including secure distribution of aggregated user account data
CN108616534A (zh) * 2018-04-28 2018-10-02 中国科学院信息工程研究所 一种基于区块链防护物联网设备DDoS攻击的方法及系统
CN110113328A (zh) * 2019-04-28 2019-08-09 武汉理工大学 一种基于区块链的软件定义机会网络DDoS防御方法
CN110474927A (zh) * 2019-09-23 2019-11-19 河海大学常州校区 基于智能非接触型互联网安全服务的DDoS攻击防御方法
CN110868356A (zh) * 2019-11-26 2020-03-06 东北林业大学 一种智能安全路由的控制方法及其智能安全路由器
CN111181932A (zh) * 2019-12-18 2020-05-19 广东省新一代通信与网络创新研究院 Ddos攻击检测与防御方法、装置、终端设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRAM ANDIKA AHMAD AL’AZIZ等: "Blacklisted IP Distribution System to handle DDoS attacks on IPS Snort based on Blockchain", 《网页在线公开：HTTPS://IEEEXPLORE.IEEE.ORG/STAMP/STAMP.JSP?TP=&ARNUMBER=9320996》 *
刘明达等: "基于区块链的分布式可信网络连接架构", 《网页在线公开：HTTP://WWW.JOS.ORG.CN/JOS/CH/READER/CREATE_PDF.ASPX?FILE_NO=5764&JOURNAL_ID=JOS》 *
周启惠等: "基于区块链的防护物联网设备DDoS攻击方法", 《应用科学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837300A (zh) * 2021-09-29 2021-12-24 上海海事大学 基于区块链的自动驾驶跨域目标检测方法
CN113837300B (zh) * 2021-09-29 2024-03-12 上海海事大学 基于区块链的自动驾驶跨域目标检测方法
CN114726631A (zh) * 2022-04-12 2022-07-08 中国电信股份有限公司 一种标识解析体系架构的安全防护方法及相关设备
CN114726631B (zh) * 2022-04-12 2023-10-03 中国电信股份有限公司 一种标识解析体系架构的安全防护方法及相关设备

Also Published As

Publication number Publication date
CN113221113B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
Hwang et al. An unsupervised deep learning model for early network traffic anomaly detection
CN108616534B (zh) 一种基于区块链防护物联网设备DDoS攻击的方法及系统
CN108289088B (zh) 基于业务模型的异常流量检测系统及方法
CN107592312B (zh) 一种基于网络流量的恶意软件检测方法
Smys DDOS attack detection in telecommunication network using machine learning
CN113221113B (zh) 基于分布式机器学习和区块链的物联网DDoS检测、防御方法、检测装置及存储介质
CN107579956B (zh) 一种用户行为的检测方法和装置
CN107046468B (zh) 一种物理层认证门限确定方法及系统
CN111988285A (zh) 一种基于行为画像的网络攻击溯源方法
CN103746982B (zh) 一种http网络特征码自动生成方法及其系统
CN112738015A (zh) 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法
CN108337219B (zh) 一种物联网防入侵的方法和存储介质
CN102420723A (zh) 一种面向多类入侵的异常检测方法
CN111492635A (zh) 恶意软件主机网络流分析系统和方法
CN110933060B (zh) 一种基于流量分析的挖矿木马检测系统
CN108965248B (zh) 一种基于流量分析的p2p僵尸网络检测系统及方法
CN107222511B (zh) 恶意软件的检测方法及装置、计算机装置及可读存储介质
CN105610856A (zh) 一种基于多重特征识别的应用层DDoS攻击防御系统
CN110365636B (zh) 工控蜜罐攻击数据来源的判别方法及装置
CN103457909A (zh) 一种僵尸网络检测方法及装置
CN111935185B (zh) 基于云计算构建大规模诱捕场景的方法及系统
CN111049783A (zh) 一种网络攻击的检测方法、装置、设备及存储介质
Zhao Network intrusion detection system model based on data mining
Shamsolmoali et al. C2DF: High rate DDOS filtering method in cloud computing
CN110519228B (zh) 一种黑产场景下恶意云机器人的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Li Qingfeng

Inventor after: Lv Xin

Inventor after: Zhang Peifeng

Inventor after: Han Jiapeng

Inventor after: Zhou Yuang

Inventor after: Wu Benlong

Inventor before: Li Qingfeng

Inventor before: Zhang Peifeng

Inventor before: Han Jiapeng

Inventor before: Zhou Yuang

Inventor before: Wu Benlong

CB03 Change of inventor or designer information