CN114745170B - 物联网异常实时检测方法、装置、终端及可读存储介质 - Google Patents

物联网异常实时检测方法、装置、终端及可读存储介质 Download PDF

Info

Publication number
CN114745170B
CN114745170B CN202210362853.4A CN202210362853A CN114745170B CN 114745170 B CN114745170 B CN 114745170B CN 202210362853 A CN202210362853 A CN 202210362853A CN 114745170 B CN114745170 B CN 114745170B
Authority
CN
China
Prior art keywords
flow
switch
server
abnormal flow
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210362853.4A
Other languages
English (en)
Other versions
CN114745170A (zh
Inventor
李清
董宇韬
李克军
江勇
夏树涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202210362853.4A priority Critical patent/CN114745170B/zh
Publication of CN114745170A publication Critical patent/CN114745170A/zh
Application granted granted Critical
Publication of CN114745170B publication Critical patent/CN114745170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网异常实时检测方法，包括：对途径交换机的数据流进行过滤，得到异常流ID，并将异常流ID报告给服务器防火墙，同时将包含异常流ID的镜像流量发送给服务器；服务器从镜像流量中分析异常流ID，并得到异常流的包序列；对得到的包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据判断信息更新交换机的黑名单；本发明提前将孤立森林转换成规则并部署在交换机上，实现了在交换机上通过无监督学习算法来对互联网进行恶意流量的检测，在交换机上设计使用了双哈希算法特征提取方案，降低了延迟和资源占用，设置非对称的自动编码器模型，在交换机初步检测流量后进一步检测，提高了检测高精度。

Description

物联网异常实时检测方法、装置、终端及可读存储介质
技术领域
本发明涉及网络异常检测领域，尤其涉及的是一种物联网异常实时检测方法和装置、可读存储介质。
背景技术
随着科技的进步，智慧城市的理念逐渐深入人心，随着智慧城市的发展，物联网的总连接量正在急剧增加。然而，大多数物联网设备都受到其硬件性能的限制，这使得物联网设备容易受到黑客的攻击。更糟糕的是，在智慧城市场景中，大多数物联网设备(如摄像头、灯光等)都暴露在室外，使黑客更容易通过物理访问访问物联网局域网进行攻击。另外，由于城市监控摄像头设备数量众多，难以实现对海量物联网流量的低成本实时检测。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种物联网异常实时检测方法和装置、可读存储介质，以解决在现有物联网设备流量日益增长的情况下，导致现有检测系统难以实现高精度的实时检测的问题。
本发明解决技术问题所采用的技术方案如下：
一种物联网异常实时检测方法，所述物联网异常实时检测方法包括：
对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；
所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；
所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
作为进一步的改进技术方案，所述对途径交换机的数据流进行过滤包括：
提前将孤立森林转换成规则并部署在所述交换机上；
对途径所述交换机的数据流进行特征提取，得到流特征；
采用所述孤立森林转换的规则对所述流特征进行识别判断，得到一个识别判断信息，根据识别判断信息确定异常流。
作为进一步的改进技术方案，所述将孤立森林转换成规则包括：
记录每个孤立树的分支值；
通过所述分支值将所述孤立森林的特征子空间域划分为多个细粒度的域，并枚举所述细粒度的域的值。
作为进一步的改进技术方案，所述特征提取包括：
在所述交换机入口的第一个管道中采用双哈希算法计算五元组的索引，并根据双哈希表算法计算数据存储的位置；
根据所述数据存储的位置读写流特征，得到流特征的数据包；
对所述流特征的数据包进行压缩，得到压缩包；
通过使用所述交换机的重新提交功能，将所述压缩包发送到所述交换机入口的第二个管道内。
作为进一步的改进技术方案，所述将所述压缩包发送到所述交换机入口的第二个管道内后，通过所述孤立森林转换成规则对异常进行识别，识别到异常流后得到异常流的特征，此时所述交换机封装一个原始包头，并将异常流特征添加到所述原始包头中，再将含有所述原始包头的数据包发送到所述服务器。
作为进一步的改进技术方案，所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列包括：
所述服务器根据所述镜像流量和所述异常流ID匹配历史报文，得到匹配结果；
根据所述匹配结果对所述异常流进行特征提取，得到所述异常流的包序列。
作为进一步的改进技术方案，所述高精度异常检测通过构建一个深度检测模型进行，所述深度检测模型包括自动编码器，所述自动编码器为非对称的自动编码器模型。
作为进一步的改进技术方案，所述非对称的自动编码器模型采用可分离卷积代替普通卷积层、采用扩张卷积代替原来的卷积操作及采用模型量化对模型进行压缩。
作为进一步的改进技术方案，所述模型量化包括：
模型数据从浮点表示转换为较低精度的表示；
采用尺度量化的不对称变体来转换模型数据。
作为进一步的改进技术方案，所述深度检测模型和孤立森林的模型需要在服务器上进行更新训练，所述更新训练包括：
重新训练所述孤立森林模型并部署到所述交换机上；
重新训练所述深度检测模型并部署到所述服务器上。
一种物联网异常实时检测装置，所述装置包括：
异常初筛模块，用于对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；
分析模块，用于从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；
高精度检测模块，用于对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
一种终端，所述终端包括：存储器及处理器，所述存储器存储有物联网异常实时检测程序，所述物联网异常实时检测程序被处理器执行时用于实现以下步骤：对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
本发明采用上述技术方案具有以下效果：
本发明通过提前将孤立森林转换成规则并部署在所述交换机上，实现了在交换机上通过无监督学习算法来对互联网进行恶意流量的检测，降低了成本的同时提高了检测速率和精准度，通过在交换机上设计使用了双哈希算法特征提取方案，降低了延迟和资源占用，提高了异常召回率，通过设置非对称的自动编码器模型，可以在交换机初步检测流量后进一步检测，提高了检测高精度，通过采用可分离卷积和扩张卷积及模型量化操作，使得模型能够每秒处理百万个包。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种物联网异常实时检测方法的流程图。
图2是本发明的一种物联网异常实时检测方法的框架图。
图3是本发明的一种物联网异常实时检测方法的交换机实现流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
发明人经过研究发现，若想在网络上实现对海量流量的低成本实时检测，需要克服以下三点技术问题：
1.通常维护人员会使用基于规则的检测系统(例如基于端口的防火墙)辅以离线采样分析来保护网络，而基于规则的检测无法检测到零日攻击，并且很容易被绕过，与基于规则检测不同的是，应用无监督学习算法来检测恶意流量是检测零日漏洞的有效方法，然而，这些方法将所有流量检测都放在服务器的控制面上，不能以低成本提供令人满意的处理延迟和吞吐，为了达到低成本的处理需要在交换机上部署无监督学习算法，然而在交换机上部署无监督方法很困难，因为交换机的数据面仅支持简单指令来保证高速处理且资源有限(如，状态表只有10-20个)，这种限制阻碍了复杂模型的部署，导致只能部署单棵决策树(DT)或基于阈值的模型，另外，如果在可编程交换机的数据面上部署森林虽然可以实现在交换机上部署无监督学习算法，然而该方法是采用编码表的方式将每棵树编码成一个状态表来实现森林，但可编程交换机只有10-20状态表，因此，只能在交换机中部署不超过10棵树。但森林在树数量很少的情况下，并不能在大数据集中学习到很好地性能。
2.交换机上的流特征提取和维护也非常困难(例如，SRAM只有数百MB)。这些特征必须使交换机的数据平面能够从服务器的控制面中卸载更多流量，同时召回尽可能多的异常并消耗更少的资源，且现有一个连续发送的报文(burst)报长序列可以推测出IoT设备的事件类别和活动。其中burst指的是一条流连续收发的报文时间间隔不超过一定阈值limitt。在之前，现有技术没有考虑突发长度引起的资源占用问题，而在交换机中无法维持长序列突发。因为可能存在长流keepalive，长流会导致长时间占用交换机的存储资源，这在大流量环境下是不可行的。
3.现有的深度模型处理数据包的速率较低，不能适应大流量数据的处理。
为了解决上述问题，在本申请实施例中，通过提前将孤立森林转换成规则并部署在所述交换机上，实现了在交换机上通过无监督学习算法来对互联网进行恶意流量的检测，降低了成本的同时提高了检测速率和精准度，通过在交换机上设计使用了双哈希算法特征提取方案，降低了延迟和资源占用，提高了异常召回率，通过设置非对称的自动编码器模型，可以在交换机初步检测流量后进一步检测，提高了检测高精度，通过采用可分离卷积和扩张卷积及模型量化操作，使得模型能够每秒处理百万个包。
下面结合附图，详细说明本申请的各种非限制性实施方式。
如图1-2所示，一种物联网异常实时检测方法，所述物联网异常实时检测方法包括：
S1、对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；
所述对途径交换机的数据流进行过滤包括：
提前将孤立森林转换成规则并部署在所述交换机上；
对途径所述交换机的数据流进行特征提取，得到流特征；
采用所述孤立森林转换的规则对所述流特征进行识别判断，得到一个识别判断信息，根据识别判断信息确定异常流。
具体的，采用孤立森林(iForest)是因为孤立森林模型训练具有近常数级的计算复杂度，并且满足低常数和低内存要求，孤立森林模型主要是基于异常的两点特性来实现:1.异常实例要少于正常实例，2.异常实例的特征值会显著区别于正常值。
并通过孤立森林可通过一种隔离树(iTree)结构来隔离每个实例，且由于异常样例对隔离的敏感性，异常往往被隔离在更靠近树根的地方，而正常的样例在树的较深端被隔离。
孤立森林在设计之初是用于隔离异常，而不是描绘正常的实例，因此往往用于全局的离线检测中，因为隔离树随机从最大最小值范围中选择特征切分点，并且其假设只要能隔离出异常的规则范围就行。因此当数据中出现个别离群值，且容易区分时，其生成的正常行为规范范围就会很大。所以训练集是具有多个行为事件的干净正常数据集时候，其正常行为的范围就比一般范围要大，所以需要将异常分数的阈值设置的比孤立森林算法默认采用的要低，因此需要将最后得到的决策分数减上一个偏置量，在这里通过调大sklearn库中实现的孤立森林算法内的污染值(contamination)来间接实现需求。通过控制污染值，从而间接的实现对正常行为范围大小的限制。
所述将孤立森林转换成规则包括：
记录每个孤立树的分支值；
通过所述分支值将所述孤立森林的特征子空间域划分为多个细粒度的域，并枚举所述细粒度的域的值。
具体的，根据IForest和iTree算法的理解，IForest是通过一系列的二叉树切分点来实现对特征域的划分，其中切分后的特征域在一维上是多个线段，而在二维下是多个正方形，在三维上则是多个正方体，在超维上是个超正方体，并且这种在同一个划分后的细粒度特征域中其具有的异常得分是一致的，同样的，孤立森林是多棵孤立树的集合，只是划分的特征域更细。
具体的IForest伪代码算法如下：
具体的iTree伪代码算法如下：
因此通过记录每个孤立树的分支(branch)值，将特征空间域划分为多个细粒度的特征域，并且枚举这些域的值，来实现IForest转换至规则。与现有枚举方法相比，通过利用IForest算法中二叉树中同个域内的标签一致的特性，将原有的无穷特征域空间减少至常数级可执行程度。
具体IForest转换至规则的算法如下：
在获得细粒度的特征域后，如何高效的获得代表一个特征域内的样本至关重要，通过分析IForest源码实现逻辑，发现左分支是小于等于，右分支是大于等于，且在可编程交换机上，由于不支持浮点数运算，因此绝大部分特征都是整数(如报头特征或者流总长)，所以两个不相同且邻近的决策面中间一定是存在一个整数，因此采用每个决策分支向下取整后的值作为该特征域的样本。
公式证明如下:
设branch1,branch2,...,branchn为整数特征f的n个分支，则样例集合可以表示为：
feature_domain←Set(floor(branch)) (1)
其中Set为求集合，floor是向下取整。
证明:假设分支branch为实数，由于特征是整数特征，并且分支判断条件是左分支为小于等于，new_branch←Set(floor(branch))因此可以将所有分支进行求底，再求集合操作。这样使得新生成的各个分支都为整数且互不相同。
于是特征域中的值x满足：
new_branchi-1≤branchi-1<xi≤new_branchi≤branchi,即取底后的new_branch一定在特征域空间中，且feature_domain＝＝new_branch得证。
这样选取样本可以涵盖所有特征域，且无遗漏。
获取特征分支及其标签后，需要生成范围规则。通过将分支从小到大排序，并将两个相邻分支之间的空间视为特征域空间，然后合并相同标签的特征域空间，最后生成范围规则。
另外，通过添加最大值INF作为每个特征f的边界分支，以解决多维特征排序导致后一个分支的值小于前一个值的问题。
所述特征提取包括：
在所述交换机入口的第一个管道中采用双哈希算法计算五元组的索引，并根据双哈希表算法计算数据存储的位置；
根据所述数据存储的位置读写流特征，得到流特征的数据包；
对所述流特征的数据包进行压缩，得到压缩包；
通过使用所述交换机的重新提交功能，将所述压缩包发送到所述交换机入口的第二个管道内。
所述将所述压缩包发送到所述交换机入口的第二个管道内后，通过所述孤立森林转换成规则对异常进行识别，识别到异常流后得到异常流的特征，此时所述交换机封装一个原始包头，并将异常流特征添加到所述原始包头中，再将含有所述原始包头的数据包发送到所述服务器。
具体的，Burst长度截断：使用双向流的Burst包数和长度之和作为特征。此外，通过设置包数截止阈值，以实现低资源占用和高实时异常检测。
另外，为了减少交换机匹配双向五元组流的高复杂度操作，通过设计了一种双哈希算法来实现双向流的突发包和的线性统计。具体的，将原始哈希函数hash(dst_IP，src_IP，dst_Port，src_Port，protocol)分成两部分来计算hash(dst_IP，dst_Port，portocol)+has(src_IP，src_Port，protocol)。这样通过提出的两个哈希和一个二元求和运算，可以将原来双向流五元组匹配的复杂运算部署到交换机上。
此外，为了防止大流量引起的哈希冲突，进一步设计了双哈希表算法。具体的，通过将一个哈希表分为两个哈希表。当第一个哈希表中的值冲突时，则对第一个哈希值执行哈希函数并将其分配给第二个哈希表。与仅使用一个相同位宽的哈希表相比，双哈希表将减少一个数量级的冲突率。
如图3所示，具体实施时，通过P4编程语言在可编程交换机上完成部署。交换机主要有入口阶段和出口阶段。在入口(Ingress)阶段，需要实现流识别、流特征提取和存储以及异常检测，在出口(Egress)阶段，主要进行包镜像和异常流识别。
在Ingress的第一个管道中，首先是流识别。通过使用双哈希算法计算五元组的索引，并根据双哈希表算法计算数据存储的位置。然后根据数据存储的位置读写流特征。但是，由于TOFINO芯片的限制，流水线中的一个寄存器只能读写一次。因此，读取和更新操作需要分布在不同的管道上。然后，需要使用重新提交(resubmit)功能，并将数据包发送到第二个管道进行更新。但是resubmit函数的数据长度限制在64位，而流特征(五元组、时间戳、突发长度、包数)的占用率远远超过64位。因此，需要在第一个管道的末端压缩特征从而形成压缩标志。具体来说，通过使用一些标志来通知下一个阶段需要执行的操作，而不是发送所有的流特征。例如，判断桶1或桶2中存在流特征，是否需要截断流，流是否超过突发的间隔阈值。
在Ingress的第二个管道中，交换机根据压缩标志(例如，突发间隔超时、包数超过切割阈值)决定是否需要进行异常流识别。如果需要检测，则使用孤立森林转换成的规则来识别异常。需要注意的是，通过将标志判断和异常检测压缩到同一个规则匹配表中进行并行处理，如果需要进行异常流量判断，则表示之前的突发流量统计已经结束，需要替换相应寄存器中的内容。否则，更新流特征内容。
在出口阶段，通过根据是否是异常流进行不同的操作。对于检测到的异常流，通过封装最后一个原始包头，将异常流特征(突发长度、包数)添加到新的包头中，并将包发送到服务器的相应端口。然后服务器根据交换机上报的异常流五元组匹配历史报文，进行进一步检测。
S2、所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；
所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列包括：
所述服务器根据所述镜像流量和所述异常流ID匹配历史报文，得到匹配结果；
根据所述匹配结果对所述异常流进行特征提取，得到所述异常流的包序列。
S3、所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
所述高精度异常检测通过构建一个深度检测模型进行，所述深度检测模型包括自动编码器，所述自动编码器为非对称的自动编码器模型。
所述非对称的自动编码器模型采用可分离卷积代替普通卷积层、采用扩张卷积代替原来的卷积操作及采用模型量化对模型进行压缩。
具体的通过设计了一个非对称自动编码器的结构，而不是传统的对称自动编码器。这是因为编码器需要更深的层才能更好地提取表示，而解码器可以在没有过于复杂的操作的情况下重建特征。与对称自动编码器相比，这种非对称结构保持了相似的性能，同时显着减少了参数数量，提高了训练速度和吞吐量。
可分离卷积：现有的Mobilenets中，一个完整的2d卷积操作可以分解为两个步骤，即深度卷积(depthwise convolution)和点卷积(pointwise convolution)。
对于原始卷积层操作，输出通道上的每个特征图由所有输入通道上的卷积核计算，因此一个输出通道需要input_channel·kernel_size参数量的卷积。所以，一次卷积层的参数量与输出信道的数量和卷积kernel的大小成正比，即，input_channel·kernel_size·output_channel。然而采用可分离卷积后，深度卷积在输入层的每个通道上独立地执行卷积操作。换言之，采用组数等于输入通道数的组卷积。也就是说，深度卷积的参数总数是input_channel·kernel_size。此外，逐点卷积对来自深度卷积的所有输出通道的信息进行加权组合，有效地利用了同一空间位置不同通道的特征信息。因此，逐点卷积中的卷积核数为input_channel·output_channel。
总的可分离卷积参数的总数是：
input_channel·kernel_size+input_channel·output_channel。
扩张卷积：通过利用扩张卷积在Magnifier中构建了一个大的感受野，这些卷积以一定的扩张率跳过输入。直观地说，扩张卷积不是对小输入区域进行细粒度视图，而是允许网络对网络进行粗略、广泛的视图。这使模型能够实现与具有较少层的深度模型一样大的感受野，从而使模型能够在特征之间获得更多信息。由于扩张卷积中使用的实际滤波器仍然与常规卷积中的相同，因此参数数量和训练成本不会增加。
所述模型量化包括：
模型数据从浮点表示转换为较低精度的表示；
采用尺度量化的不对称变体来转换模型数据。
具体的，通过模型量化可优化深度检测模型，通过将模型数据从浮点表示转换为较低精度的表示，通常使用8位整数，以使模型能够实现更高的吞吐量、更低的延迟和内存消耗。深度检测模型采用尺度量化的不对称变体来转换模型数据。详细地说，等式2定义了比例因子s，前提是选择的可表示范围是[-α,α]并最终产生一个b位整数值。
等式2：
然后，等式2定义了实值χ的比例量化，使用比例因子s产生χq。
等式3：
χq＝quantize(χ，b，s)＝chp(round(s·χ)，-2b-1+1，2b-1-1)
为了实现低精度损失的量化，需要为模型参数(如权重值和激活值)选择一个合适的α来实现模型校准。对于权重值，使用校准期间看到的最大绝对值的最大校准足以维持int8权重的准确性，因为它们的值不依赖于网络输入。对于激活值，通过选择熵校准，它使用KL散度作为度量，以最小化原始浮点值和可以由量化格式表示的值之间的信息损失。以上模型量化，通过将pytorch转换至onnx再到TensorRT实现。
所述深度检测模型和孤立森林的模型需要在服务器上进行更新训练，所述更新训练包括：
重新训练所述孤立森林模型并部署到所述交换机上；
重新训练所述深度检测模型并部署到所述服务器上。
关于模型计算的复杂度：
分别在检测截断、训练阶段、规则转换阶段计算模型复杂度。
检测阶段：在检测阶段，将iForest模型转换为规则并部署在交换机上。由于可编程交换机硬件实现了流水线的M/A功能，模型检测可以在不增加额外开销的情况下，在高吞吐量下实现零延迟处理速度。
特征提取阶段：在特征提取阶段，只用到了hash算法加一次加法运算，所以计算复杂度也是O(1)。
训练阶段：在训练阶段，前人已证明计算复杂度是O(tψlogψ)，而t一般在400左右，ψ在3000以内。因此，实际计算开销也很小，几乎是恒定级别的操作。
在规则转换阶段时：由于需要遍历特征域中的值，因此计算复杂度与各特征的分支数量有关。在iTree伪代码算法得知单棵树的最高高度是l＝ceiling(log2ψ)，因此在最差情况下单棵树的最大分支数为该树为二叉完全树时即2l+1-2，因此iForest总分支数在最差情况下为2t*(ψ-1)。在只有单特征时候，转换规则的最差复杂度为O(tψ)。且在实际使用时候，由与ITree隔离异常的能力，单棵树的分支是远少于完全树的分支数，并且ψ和t不随数据集大小变化，因此实际计算复杂度也是常数级的。
综上，整个模型从训练到转换规则的复杂度不超过O(tψlogψ),是都可以放在计算能力弱的设备上，并且可以实现实时的更新，以及实时的检测。
一种物联网异常实时检测装置，所述装置包括：
异常初筛模块，用于对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；
分析模块，用于从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；
高精度检测模块，用于对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
一种终端，所述终端包括：存储器及处理器，所述存储器存储有物联网异常实时检测程序，所述物联网异常实时检测程序被处理器执行时用于实现以下步骤：
对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流的包序列；所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
本发明通过提前将孤立森林转换成规则并部署在所述交换机上，实现了在交换机上通过无监督学习算法来对互联网进行恶意流量的检测，降低了成本的同时提高了检测速率和精准度，通过在交换机上设计使用了双哈希算法特征提取方案，降低了延迟和资源占用，提高了异常召回率，通过设置非对称的自动编码器模型，可以在交换机初步检测流量后进一步检测，提高了检测高精度，通过采用可分离卷积和扩张卷积及模型量化操作，使得模型能够每秒处理百万个包。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (11)

1.一种物联网异常实时检测方法，其特征在于，所述物联网异常实时检测方法包括：
对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；
所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流ID的包序列；
所述服务器从所述镜像流量中分析所述异常流ID，并得到所述异常流ID的包序列包括：
所述服务器根据所述镜像流量和所述异常流ID匹配历史报文，得到匹配结果；
根据所述匹配结果对所述异常流ID进行特征提取，得到所述异常流ID的包序列；
所述特征提取包括：
在交换机入口的第一个管道中采用双哈希算法计算五元组的索引，并根据双哈希表算法计算数据存储的位置；
根据所述数据存储的位置读写流特征，得到流特征的数据包；
对所述流特征的数据包进行压缩，得到压缩包；
通过使用所述交换机的重新提交功能，将所述压缩包发送到所述交换机入口的第二个管道内；
所述服务器对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单。
2.根据权利要求1所述的物联网异常实时检测方法，其特征在于，所述对途径交换机的数据流进行过滤包括：
提前将孤立森林转换成规则并部署在所述交换机上；
对途径所述交换机的数据流进行特征提取，得到流特征；
采用所述孤立森林转换的规则对所述流特征进行识别判断，得到一个识别判断信息，根据识别判断信息确定异常流。
3.根据权利要求2所述的一种物联网异常实时检测方法，其特征在于，所述将孤立森林转换成规则包括：
记录每个孤立树的分支值；
通过所述分支值将所述孤立森林的特征子空间域划分为多个细粒度的域，并枚举所述细粒度的域的值。
4.根据权利要求1所述的一种物联网异常实时检测方法，其特征在于，所述将所述压缩包发送到所述交换机入口的第二个管道内后，通过所述孤立森林转换成的规则对异常进行识别，识别到异常流后得到异常流的特征，此时所述交换机封装一个原始包头，并将异常流特征添加到所述原始包头中，再将含有所述原始包头的数据包发送到所述服务器。
5.根据权利要求1所述的一种物联网异常实时检测方法，其特征在于，所述高精度异常检测通过构建一个深度检测模型进行，所述深度检测模型包括自动编码器，所述自动编码器为非对称的自动编码器模型。
6.根据权利要求5所述的一种物联网异常实时检测方法，其特征在于，所述非对称的自动编码器模型采用可分离卷积代替普通卷积层、采用扩张卷积代替原来的卷积操作及采用模型量化对模型进行压缩。
7.根据权利要求6所述的一种物联网异常实时检测方法，其特征在于，所述模型量化包括：
模型数据从浮点表示转换为8位整数数据；
采用尺度量化的不对称变体来转换模型数据。
8.根据权利要求7所述的一种物联网异常实时检测方法，其特征在于，所述深度检测模型和孤立森林模型需要在服务器上进行更新训练，所述更新训练包括：
重新训练所述孤立森林模型并部署到所述交换机上；
重新训练所述深度检测模型并部署到所述服务器上。
9.一种物联网异常实时检测系统，其特征在于，所述物联网异常实时检测系统包括终端和服务器：
所述终端，用于对途径交换机的数据流进行过滤，得到异常流ID，并将所述异常流ID报告给服务器防火墙，同时将包含所述异常流ID的镜像流量发送给服务器；
所述服务器，用于从所述镜像流量中分析所述异常流ID，并得到所述异常流ID的包序列；还用于对得到的所述包序列进行高精度异常检测，并根据高精度异常检测结果进行判断，得到一个判断信息，根据所述判断信息更新所述交换机的黑名单；
所述服务器，具体用于：
所述服务器根据所述镜像流量和所述异常流ID匹配历史报文，得到匹配结果；
根据所述匹配结果对所述异常流ID进行特征提取，得到所述异常流ID的包序列；
所述服务器还用于在交换机入口的第一个管道中采用双哈希算法计算五元组的索引，并根据双哈希表算法计算数据存储的位置；根据所述数据存储的位置读写流特征，得到流特征的数据包；对所述流特征的数据包进行压缩，得到压缩包；通过使用所述交换机的重新提交功能，将所述压缩包发送到所述交换机入口的第二个管道内。
10.一种终端，其特征在于，所述终端包括：存储器及处理器，所述存储器存储有物联网异常实时检测程序，所述物联网异常实时检测程序被处理器执行时用于实现如权利要求1-8中任意一项所述的物联网异常实时检测方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202210362853.4A 2022-04-07 2022-04-07 物联网异常实时检测方法、装置、终端及可读存储介质 Active CN114745170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210362853.4A CN114745170B (zh) 2022-04-07 2022-04-07 物联网异常实时检测方法、装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362853.4A CN114745170B (zh) 2022-04-07 2022-04-07 物联网异常实时检测方法、装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN114745170A CN114745170A (zh) 2022-07-12
CN114745170B true CN114745170B (zh) 2023-08-18

Family

ID=82278466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362853.4A Active CN114745170B (zh) 2022-04-07 2022-04-07 物联网异常实时检测方法、装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN114745170B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241359A (zh) * 2017-08-03 2017-10-10 安捷光通科技成都有限公司 一种面向软件定义网络的轻量级网络流量异常检测方法
CN109034400A (zh) * 2018-05-29 2018-12-18 国网天津市电力公司 一种变电站异常量测数据预测平台系统
CN111614627A (zh) * 2020-04-27 2020-09-01 中国舰船研究设计中心 一种面向sdn的跨平面协作ddos检测与防御方法与系统
CN112787992A (zh) * 2020-12-17 2021-05-11 福建新大陆软件工程有限公司 一种敏感数据的检测与防护的方法、装置、设备和介质
CN113411350A (zh) * 2021-07-28 2021-09-17 广东省大湾区集成电路与系统应用研究院 防御ddos攻击的网络系统
WO2021258348A1 (zh) * 2020-06-24 2021-12-30 深圳市欢太科技有限公司 异常流量检测方法和系统、及计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835348B2 (en) * 2006-12-30 2010-11-16 Extreme Networks, Inc. Method and apparatus for dynamic anomaly-based updates to traffic selection policies in a switch
US9800592B2 (en) * 2014-08-04 2017-10-24 Microsoft Technology Licensing, Llc Data center architecture that supports attack detection and mitigation
US10924504B2 (en) * 2018-07-06 2021-02-16 International Business Machines Corporation Dual-port mirroring system for analyzing non-stationary data in a network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241359A (zh) * 2017-08-03 2017-10-10 安捷光通科技成都有限公司 一种面向软件定义网络的轻量级网络流量异常检测方法
CN109034400A (zh) * 2018-05-29 2018-12-18 国网天津市电力公司 一种变电站异常量测数据预测平台系统
CN111614627A (zh) * 2020-04-27 2020-09-01 中国舰船研究设计中心 一种面向sdn的跨平面协作ddos检测与防御方法与系统
WO2021258348A1 (zh) * 2020-06-24 2021-12-30 深圳市欢太科技有限公司 异常流量检测方法和系统、及计算机存储介质
CN112787992A (zh) * 2020-12-17 2021-05-11 福建新大陆软件工程有限公司 一种敏感数据的检测与防护的方法、装置、设备和介质
CN113411350A (zh) * 2021-07-28 2021-09-17 广东省大湾区集成电路与系统应用研究院 防御ddos攻击的网络系统

Also Published As

Publication number Publication date
CN114745170A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110826684B (zh) 卷积神经网络的压缩方法、装置、电子设备和介质
KR20220029532A (ko) 의심스러운 네트워크 거동들을 검출하기 위한 심층 임베드된 자기 교시 학습 시스템 및 방법
CN110602105B (zh) 一种基于k-means的大规模并行化网络入侵检测方法
CN114500396B (zh) 区分匿名Tor应用流量的MFD色谱特征提取方法及系统
CN114124503B (zh) 一种逐级并发缓存优化效能的智能网络感知方法
GB2583892A (en) Adaptive computer security
CN117082118B (zh) 基于数据推导及端口预测的网络连接方法
CN109753797A (zh) 针对流式图的密集子图检测方法及系统
CN114172688A (zh) 基于gcn-dl的加密流量网络威胁关键节点自动提取方法
CN110351291A (zh) 基于多尺度卷积神经网络的DDoS攻击检测方法及装置
US11436320B2 (en) Adaptive computer security
US11477225B2 (en) Pre-emptive computer security
CN116915450A (zh) 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法
GB2582609A (en) Pre-emptive computer security
CN115239710A (zh) 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法
CN110650124A (zh) 一种基于多层回声状态网络的网络流量异常检测方法
CN114745170B (zh) 物联网异常实时检测方法、装置、终端及可读存储介质
CN116502171B (zh) 一种基于大数据分析算法的网络安全信息动态检测系统
CN116781341A (zh) 一种基于大语言模型的去中心化网络DDoS攻击识别方法
CN117014210A (zh) 基于ChebNet图卷积神经网络的邮件蠕虫检测系统
CN114095265B (zh) Icmp隐蔽隧道检测方法、装置及计算机设备
CN116318925A (zh) 一种多cnn融合入侵检测方法、系统、介质、设备及终端
CN115865486A (zh) 基于多层感知卷积神经网络的网络入侵检测方法及系统
CN113162904B (zh) 一种基于概率图模型的电力监控系统网络安全告警评估方法
CN115480917A (zh) 一种基于可编程交换机的差分隐私大数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant