CN114500102B - 一种基于抽样的边缘计算架构物联网入侵检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于抽样的边缘计算架构物联网入侵检测系统及方法。本发明应用于边缘计算架构物联网，包括网络流量质量判别器，用于从特定批次的网络流量训练数据集中，按照回合选择预设大小的网络流量数据包特征向量、网络流量数据包选择网络，用于根据其特征向量判断所述流量数据包选择网络选择的网络流量数据包是否恶意。本发明提供的系统通过网络流量质量判别器和网络流量数据包选择网络组合，实现数据包的自动抽样检测而不需要外部人员干涉，增加了边缘计算架构物联网入侵检测系统面对大量数据时候的稳定性，又能够节省边缘计算架构物联网入侵检测系统的资源消耗，提高了边缘计算架构物联网入侵检测系统的性能。

Description

一种基于抽样的边缘计算架构物联网入侵检测系统及方法

技术领域

本发明属于物联网安全领域，更具体地，涉及一种基于抽样的边缘计算架构物联网入侵检测系统及方法。

背景技术

边缘计算作为一种新型网络架构，利用周围可以提供网络、计算、存储、应用等能力的边缘服务器，就近提供各种服务和应用，有效地解决了物联网应用程序中的延迟问题，同时提高了网络性能，降低运营成本，保证资源的合理使用。然而，在如今物联网逐渐普及的环境下，大量异构物联网设备带来了海量的隐私数据，这些数据存在不同的位置，很难保证完整性；另外，未经授权的用户或对手可能会修改或滥用上传的数据，将导致数据泄漏和其他问题。传统的物联网入侵检测系统无法适应这些挑战，而采用边缘计算架构，能使入侵检测系统拥有更多可用的计算资源，大大减少了网络平台上的延迟，提高物联网中恶意程序入侵检测的效率。

入侵检测系统主要用来监控和检测主机侧或网络侧的异常数据，针对网络流量进行异常检测的称作基于网络的入侵检测系统。数据包作为网络传输流的组成部分，包含了整个数据流的部分信息。随着诸如TLS和SSL等加密技术的部署，通过监控网络传输过程中数据包特定行为或者数据包的尺寸等特征信息进行网络流量判断已成为入侵检测系统的主流。鉴于网络传输过程可以抽象为一系列基于时间的事件序列，所以可以利用循环神经网络处理序列问题的优势来进行入侵检测系统的设计。

当前，不同的研究机构公布了不同的入侵检测系统及方法。专利申请文件CN202111513344.9中提出了解决入侵检测警告的处理方法，通过对事件的合并以及知识库的裁剪行为，减小了入侵检测规则库的体积，提高了相应系统的性能，但该方法需要事先设定好入侵检测的规则库。专利申请文件CN202111241314.7中提出在抽取数据包的属性信息之后将之与入侵检测规则库进行规则位掩码比对，最后得出网络入侵检测结果，虽然在模式匹配方式上进行了优化，可以提升入侵检测效率，但是仍然需要开发人员事先设定好规则库。专利申请文件CN202111302681.3中利用卷积神经网络对加密数据包中的原始字节进行卷积操作，以此保持原始信息不丢失，最后利用前馈神经网络进行入侵检测过程，但没有考虑到数据包本身的行为以及网络传输过程中的时序特征。专利申请文件CN202110750388.7利用“卷积层+上下采样层”的深度学习模型，利用数据增强减少过拟合，但还是需要加载检测所有数据，不能适用于数据量级大的应用场景。

综上，现有的入侵检测技术应用于物联网存在需要改进的地方。首先，接入设备的增多带来了大量数据，依靠规则库进行模式匹配的方式不适合如今的应用场景，亟需一个高效的入侵检测系统来处理；第二，边缘计算服务器应该可以在长期的检测过程中能自适应地进行优化，减少开发人员的工作量；第三，入侵检测系统应该要注意到网络流量潜在的时序特点，从而优化自身网络模型达到更好的检测效率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于抽样的边缘计算架构物联网入侵检测系统及方法，其目的在于利用网络流量潜在的时序特点，抽样选择网络流量数据包进行入侵检测，获得一批网络流量数据的整体检测结果，降低计算量以适应边缘计算架构，由此解决现有的物联网入侵检测系统数据膨胀，导致入侵检测相对效率低下，不能很好的石英边缘计算架构的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于抽样的边缘计算架构物联网入侵检测系统，其应用于边缘计算架构物联网，包括网络流量质量判别器、网络流量数据包选择网络；

所述流量数据包选择网络，用于从特定批次的网络流量训练数据集中，按照回合选择预设大小的网络流量数据包特征向量，提交给所述网络流量质量判别器；并评价所述网络流量质量判别器的判别结果，根据对所有回合选择的网络流量数据包特征向量的评价更新所述入侵检测系统；

所述网络流量质量判别器，用于根据其特征向量判断所述流量数据包选择网络选择的网络流量数据包是否恶意，从而对所述批次的网络数据流量进行入侵检测抽样判断。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统，其所述网络流量数据包特征向量s_n，包括网络流量特征和数据包位置特征；所述数据包位置特征为所选择的网络流量数据包在所述批次的网络流量训练数据集中的位置信息。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统，其所述流量数据包选择网络基于演员-批评家网络；

所述演员网络用于根据上一回合选择的网络流量数据包特征向量s_m采用深度学习网络判断动作概率分布π(a_i|s_m；θ_m)，并按照动作概率分布π(a_i|s_m；θ_m)进行随机抽样，得到决定当前回合选中网络流量数据包位置的具体动作a，并记录数据包位置特征，选择用于输入网络流量质量判别器的网络流量数据包获取其特征向量s_n，提交给所述流量数据包选择网络；其中θ_m表示演员网络当前的内部参数；

所述批评家网络，用于获取上一回合所述网络质量判别器输出的判别结果，并根据上一回合选择的网络流量数据包特征向量s_m采用深度学习网络评价上一回合的所述网络流量质量判别器的判别结果，获得网络流量质量判别器的性能评价和网络流量数据包选择评价/>所有回合的网络流量质量判别器的性能评价/>和网络流量数据包选择评价/>用于更新网络流量质量判别器、网络流量数据包选择网络。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统，其所述流量数据包选择网络、和/或所述网络流量质量判别器基于神经网络；所述神经网络的隐藏层包括GRU层。

按照本发明的另一个方面，提供了所述的基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其基于演员-批评家网络；包括以下步骤：

所述批评家网络，根据特定批次得网络流量训练数据集的所有回合的判别结果和评价结果，以使得批评家网络更新误差L_c，m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；

所述演员网络，根据特定批次得网络流量训练数据集的所有回合的判别结果和评价结果，以使得演员网络更新误差L_a，m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；

所述网络流量质量判别器，优选为深度学习神经网络，根据特定批次得网络流量训练数据集的所有回合的判别结果和评价结果，以使得其损失值Loss_m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其所述演员网络更新误差L_c，m按照如下方法计算：

L_c，m＝(L_m-V_m)²＝Δ_m ²

其中，Δ_m为总奖励和总评价差异。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其所述演员网络更新误差L_a，m按照如下方法计算：

L_a，m＝-log(π(a_m|·))Δ_m-βH(·)

其中，a_m代表演员网络在第m个数据包处执行的动作，π(a_m|·)表示演员网络在第m个数据包处输出的动作分布，β为熵值的权重，用来控制熵对于该损失函数的重要程度，H(·)表示计算动作分布π(a_i|s_m；θ_m)的熵值，Δ_m为总奖励和总评价差异；其中

其中，a_i表示第i个可供选择的动作，s_m表示当前作为输入的第m个网络流量数据包的特征向量，θ_m表示演员网络当前的内部参数，π(a_i|s_m；θ_m)表示演员网络在第m个数据包处产生的动作分布。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其所述总奖励和总评价差异Δ_m，按照如下方法计算：

Δ_m＝L_m-V_m；

其中，L_m为入侵检测系统对第m个网络流量数据包进行训练的总奖励，包括网络流量质量判别器的性能奖励以及网络流量数据包选择奖励/>V_m为入侵检测系统网络对第m个网络流量数据包进行训练的总评价，包括网络流量质量判别器的性能评价/>以及网络流量数据包选择评价/>

所述入侵检测系统对第m个网络流量数据包进行训练的总奖励L_m，按照如下方法计算：

其中，α_L为奖励调节超参数；为网络流量质量判别器的性能奖励，表征在第m个数据包后网络流量质量判别器后续作出的判断与真实的训练数据集标签的差值情况；/>为网络流量数据包选择奖励，表征第m个数据包对后面数据包选择与否的衡量值；分别按照如下方法计算：

其中，M表示所述批次的网络流量特征数据中网络流量数据包的总数量，y_i表示第i个网络流量数据包真实的训练数据集标签，为第i个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果；I_i表示如果选择了第i个数据包，则值为0，否则值为1；下标i表示第i个数据包；

所述入侵检测系统网络对第m个网络流量数据包进行训练的总评价V_m，按照如下方法计算：

其中α_v为评价调节超参数；为网络流量质量判别器的性能评价，为批评家网络的输出；/>为网络流量数据包选择评价，为批评家网络的输出。

优选地，所述基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其所述网络流量质量判别器的损失值Loss_m按照如下方法计算：

其中，y_m表示第m个网络流量数据包真实的训练数据集标签，为第m个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果。

按照本发明的另一个方面提供了一种基于抽样的边缘计算架构物联网入侵检测方法，其包括以下步骤：

检测数据采集：采集网络流量数据，并提取其网络流量特征，预处理为特定大小的成批次的网络数据流量包特征向量；

抽样：将采集的待检测数据输入到本发明提供的基于抽样的边缘计算架构物联网入侵检测系统，流量数据包选择网络按回合选择的网络流量数据包特征向量；

检测：将流量数据包选择网络选择的网络流量数据包特征向量采用网络流量质量判别器判断所述网络流量数据包是否包含恶意；并根据该批次所有回合的判断结果确定所述批次的网络数据流量包是否恶意。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的系统通过网络流量质量判别器和网络流量数据包选择网络组合，实现数据包的自动抽样检测而不需要外部人员干涉，增加了边缘计算架构物联网入侵检测系统面对大量数据时候的稳定性，又能够节省边缘计算架构物联网入侵检测系统的资源消耗，提高了边缘计算架构物联网入侵检测系统的性能。同时，由于网络流量数据包选择网络的存在，可以方便的通过更新网络流量数据包选择网络，从而完成入侵检测系统的在线更新，无需暂停物联网工作状态更新判别器模型。

优选方案，所述流量数据包选择网络基于演员-批评家网络，将门控循环单元(Gated Recurrent Unit，GRU)的数据长期记忆，和演员-批评家网络的数据包自主挑选特点进行整合，保证了处理大量数据时候得到较好的识别率。

优选技术方案，利用深度学习的训练方式，借鉴强化学习中演员-批评家的网络架构设计，实现了针对网络流量数据包特定行为序列或者属性进行检测的入侵检测分类器，以及一个可以有选择地检测数据包的网络结构，从而解决大量数据检测时传统入侵检测系统难以处理的问题，同时避免了第三方规则库的设置。

附图说明

图1是本发明实施例提供的基于抽样的边缘计算架构物联网入侵检测系统结构示意图；

图2是本发明实施例提供的基于抽样的边缘计算架构物联网入侵检测系统的更新方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的入侵检测系统，应用于边缘计算架构物联网，包括网络流量质量判别器、网络流量数据包选择网络；

所述流量数据包选择网络，用于从特定批次的网络流量训练数据集中，按照回合选择预设大小的网络流量数据包特征向量，提交给所述网络流量质量判别器；并评价所述网络流量质量判别器的判别结果，根据对所有回合选择的网络流量数据包特征向量的评价更新所述入侵检测系统；所述网络流量数据包特征向量s_n，包括网络流量特征和数据包位置特征；所述网络流量特征采用网络流量特征提取工具获取，例如CICFlowmeter；所述数据包位置特征为所选择的网络流量数据包在所述批次的网络流量训练数据集中的位置信息。

所述流量数据包选择网络，优选基于演员-批评家网络(actor-critic网络)：

所述演员网络用于根据上一回合选择的网络流量数据包特征向量s_m采用深度学习网络判断动作概率分布π(a_i|s_m；θ_m)，并按照动作概率分布π(a_i|s_m；θ_m)进行随机抽样，得到决定当前回合选中网络流量数据包位置的具体动作a，并记录数据包位置特征，选择用于输入网络流量质量判别器的网络流量数据包获取其特征向量s_n，提交给所述流量数据包选择网络；其中θ_m表示演员网络当前的内部参数，用于表示神经网络的内部状态，例如权值矩阵；

所述批评家网络，用于获取上一回合所述网络质量判别器输出的判别结果，并根据上一回合选择的网络流量数据包特征向量s_m采用深度学习网络评价上一回合的所述网络流量质量判别器的判别结果，获得网络流量质量判别器的性能评价和网络流量数据包选择评价/>所有回合的网络流量质量判别器的性能评价/>和网络流量数据包选择评价/>用于更新网络流量质量判别器、网络流量数据包选择网络。

所述网络流量质量判别器，用于根据其特征向量s_n判断所述流量数据包选择网络选择的网络流量数据包是否恶意，从而对所述批次的网络数据流量进行入侵检测抽样判断。

本发明提供的入侵检测系统的更新方法包括以下步骤：

所述批评家网络，优选为深度学习神经网络，根据特定批次的网络流量训练数据集的所有回合的判别结果和评价结果，以使得批评家网络更新误差L_c，m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；所述演员网络更新误差L_c，m按照如下方法计算：

L_c，m＝(L_m-V_m)²＝Δ_m ²

其中，Δ_m为总奖励和总评价差异。

所述演员网络，优选为深度学习神经网络，根据特定批次得网络流量训练数据集的所有回合的判别结果和评价结果，以使得演员网络更新误差L_a，m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；所述演员网络更新误差L_a，m按照如下方法计算：

L_a，m＝-log(π(a_m|·))Δ_m-βH(·)

其中，a_m代表演员网络在第m个数据包处执行的动作，π(a_m|·)表示演员网络在第m个数据包处输出的动作分布，β为熵值的权重，用来控制熵对于该损失函数的重要程度，H(·)表示计算动作分布π(a_i|s_m；θ_m)的熵值，Δ_m为总奖励和总评价差异；其中

其中，a_i表示第i个可供选择的动作，s_m表示当前作为输入的第m个网络流量数据包的特征向量，θ_m表示演员网络当前的内部参数，π(a_i|s_m；θ_m)表示演员网络在第m个数据包处产生的动作分布。

所述总奖励和总评价差异Δ_m，按照如下方法计算：

Δ_m＝L_m-V_m；

其中，L_m为入侵检测系统对第m个网络流量数据包进行训练的总奖励，包括网络流量质量判别器的性能奖励以及网络流量数据包选择奖励/>V_m为入侵检测系统网络对第m个网络流量数据包进行训练的总评价，包括网络流量质量判别器的性能评价/>以及网络流量数据包选择评价/>

所述入侵检测系统对第m个网络流量数据包进行训练的总奖励L_m，按照如下方法计算：

其中，α_L为奖励调节超参数；为网络流量质量判别器的性能奖励，表征在第m个数据包后网络流量质量判别器后续作出的判断与真实的训练数据集标签的差值情况；/>为网络流量数据包选择奖励，表征第m个数据包对后面数据包选择与否的衡量值；分别按照如下方法计算：

其中，M表示所述批次的网络流量特征数据中网络流量数据包的总数量，y_i表示第i个网络流量数据包真实的训练数据集标签，为第i个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果；I_i表示如果选择了第i个数据包，则值为0，否则值为1；下标i表示第i个数据包；

所述入侵检测系统网络对第m个网络流量数据包进行训练的总评价V_m，按照如下方法计算：

其中α_v为评价调节超参数；为网络流量质量判别器的性能评价，为批评家网络的输出；/>为网络流量数据包选择评价，为批评家网络的输出。

所述网络流量质量判别器，优选为深度学习神经网络，根据特定批次得网络流量训练数据集的所有回合的判别结果和评价结果，以使得其损失值Loss_m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新，所述网络流量质量判别器的损失值Loss_m按照如下方法计算：

其中，y_m表示第m个网络流量数据包真实的训练数据集标签，为第m个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果。

本发明提供的基于抽样的边缘计算架构物联网入侵检测方法，包括以下步骤：

检测数据采集：采集网络流量数据，并提取其网络流量特征，预处理为特定大小的成批次的网络数据流量包特征向量；

抽样：将采集的待检测数据输入到本发明提供的基于抽样的边缘计算架构物联网入侵检测系统，流量数据包选择网络按回合选择的网络流量数据包特征向量；

检测：将流量数据包选择网络选择的网络流量数据包特征向量采用网络流量质量判别器判断所述网络流量数据包是否包含恶意；并根据该批次所有回合的判断结果确定所述批次的网络数据流量包是否恶意。

以下为实施例：

本实施例提供的入侵检测系统，如图1所示，应用于边缘计算架构物联网，包括网络流量质量判别器、网络流量数据包选择网络；

网络流量质量判别器，使用3层的GRU，每层网络包含了256个神经元；和GRU相连的是一个全连接的线性层，最终的输出会经过sigmoid函数处理成0至1之间的数字，0表示分类器认为该网络流量是良性的，1则是带有攻击的网络流量。其输入为呗网络流量数据包选择网络选择的网络流量数据包的特征向量，特征向量包括网络流量特征和数据包位置特征。本实施例采用的网络流量特征包括源端口、目的端口、TCP标识符、传输协议、距离上一次收到的数据包的间隔、数据包方向(packets direction)，使用CICFlowmeter提取；数据包位置特征为步长，步长表示两个被选中的数据包之间的数据包数量。本系统对于一批待检测的网络流量数据可以在选择检测部分数据包的情况下，对网络流量进行判断，达到良好的检测性能并且节省资源消耗。

所述网络流量数据包选择网络，基于演员-评论家网络；

演员网络，包括输入层、隐藏层和输出层，其中隐藏层使用3层的GRU，每层网络包含了256个神经元；和GRU相连的是一个全连接的线性层；输出层包括对应20种不同的动作的概率的输出神经元，即最大步长为20，故共有20种可能步长，分别对应一个输出神经元，输出特定步长的概率。所述演员网络，其输入为上一回合选择的网络流量数据包特征向量s_m，获得动作概率分布分布π(a_i|s_m；θ_m)，并按照动作概率分布π(a_i|s_m；θ_m)进行随机抽样，得到决定当前回合选中网络流量数据包位置的具体动作a，并记录数据包位置特征，本实施例采用的数据包位置特征为步长，步长表示两个被选中的数据包之间的数据包数量，在系统运行的过程里，这个数值会被添加到当前被选中的网络流量数据的特征向量中，与采用网络流量特征提取工具获取的网络流量特征合并作为网络流量数据包特征向量s_n参与神经网络的输入。

批评家网络，包括输入层、隐藏层和输出层，其中隐藏层使用3层的GRU，每层网络包含了256个神经元；和GRU相连的是一个全连接的线性层；输出层包括对应评论家的两个性能评价值的输出神经元。输入为上一回合所述网络流量数据包选择网络输出的数据包位置特征、上一回合选择的网络流量数据包特征向量s_m，输出为上一回合的网络流量质量判别器的性能评价和网络流量数据包选择评价/>

本实施例提供的入侵检测系统的运行过程如下：

检测数据采集：系统维护人员采用公开的CICFlowmeter工具对网络流量进行特征提取，实现边缘计算架构物联网入侵检测数据采集。边缘计算架构物联网入侵检测系统将所述数据集差异过大的数据进行标准化预处理，得到神经网络可接受的输入数据。对于一批次32个数据包数据，设最大步长为20，采用Z-score标准化方法进行预处理，具体如下：

对于某个特征f_i，有边缘计算架构物联网入侵检测系统计算该特征所有值的均值μ_i和标准差δ_i；最终得出标准化后的数据按照如下公式计算：

抽样检测：对于采集的每一批次的待检测数据进行抽样检测，具体步骤如下：

(1)初始化：设置容器并将容器置为空集，其存储内容分别为：容器/>存储网络流量质量判别器的判断结果；/>用于存储批评家网络输出的网络流量质量判别器的性能评价/>以及存储批评家网络输出的网络流量数据包选择评价/>用于存储演员网络输出的动作概率分布π(a_i|s_m；θ_m)，/>用于存储演员网络输出的数据包位置特征，即步长。

(2)数据选择及质量判断：第一次数据选择网络流量数据包，采用第1条数据，步长为0，之后按照容器存储的步长选择网络流量数据包；

将选中的数据流量数据包，其CICFlowmeter工具提取的网络流量特征和步长组合为网络流量数据包特征向量s_m，将网络流量数据包特征向量s_m分别操作：

A、输入到网络流量质量判别器，得到选择的网络流量数据包的判断结果，如果认为该网络流量是良性的，则判断结果为0，如果认为带有攻击的网络流量，则判断结果为1，追加存储到容器中；

B、与上一回合的步长值一同输入到批评家网络中，得到网络流量质量判别器的性能评价存储到容器中；得到网络流量数据包选择评价/>追加存储到容器/>中；

C、输入到演员网络中，得到动作概率分布π(a_i|s_m；θ_m)，追加存储到容器中；抽样得到数据包位置特征即步长，追加存储到容器/>中。

根据容器的内容选择下一条网络流量数据包，获取其CICFlowmeter工具提取的网络流量特征，与容器/>存储的步长值，组合为下一次网络流量数据包特征向量s_n；如此往复迭代，每回合会统计批次中跳过步长后剩余的数据包个数，剩余的数据为0，则该批次所有数据选择回合结束。

结果判断及预警：当容器中存在1时，则认为该批次中包含攻击流量，进行报警，否则认为流量安全。

本实施例的入侵检测系统的更新方法包括以下步骤：

训练数据集形成：系统维护人员采用公开的CICFlowmeter工具对网络流量进行特征提取，实现边缘计算架构物联网入侵检测数据采集。边缘计算架构物联网入侵检测系统将所述数据集中差异过大的数据进行标准化预处理，得到神经网络可接受的输入数据。采用公开的包含有标签的训练据集CIC-IDS-2017，y_m表示第m个网络流量数据包真实的训练数据集标签，y_m＝0表示该网络流量数据为良性网络流量数据，y_m＝1表示该网络流量数据为攻击性网络流量数据，其他步骤同检测数据采集。

入侵检测系统的运行：采用训练数据集中的特征部分作为检测数据，使入侵检测系统在该数据集上运行直至所有回合预测完毕，得到容器存储网络流量质量判别器的判断结果/>其中/>为第m个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果，/>即第m个网络流量质量判别器输出的网络流量数据包判断为良性；/>即第m个网络流量质量判别器输出的网络流量数据包判断为带有攻击；/>用于存储批评家网络输出的网络流量质量判别器的性能评价/>以及网络流量数据包选择评价/>用于存储演员网络输出的动作概率分布π(a_i|s_m；θ_m)，/>用于存储演员网络输出的数据包位置特征，即步长。

网络更新：计算总奖励和总评价差异Δ_m，按照如下方法计算：

Δ_m＝L_m-V_m；

其中，L_m为入侵检测系统对第m个网络流量数据包进行训练的总奖励，包括网络流量质量判别器的性能奖励以及网络流量数据包选择奖励/>V_m为入侵检测系统网络对第m个网络流量数据包进行训练的总评价，包括网络流量质量判别器的性能评价/>以及网络流量数据包选择评价/>

所述入侵检测系统对第m个网络流量数据包进行训练的总奖励L_m，按照如下方法计算：

其中，α_L为奖励调节超参数，用来控制边缘计算架构物联网入侵检测系统对跳过数据包这一功能的重视程度，即步长权重值，本实施例取0.1；为网络流量质量判别器的性能奖励，表征在第m个数据包后网络流量质量判别器后续作出的判断与真实的训练数据集标签的差值情况；/>为网络流量数据包选择奖励，表征第m个数据包对后面数据包选择与否的衡量值；分别按照如下方法计算：

其中，M表示所述批次的网络流量特征数据中网络流量数据包的总数量，y_i表示第i个网络流量数据包真实的训练数据集标签，为第i个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果；I_i表示如果选择了第i个数据包，则值为0，否则值为1；下标i表示第i个数据包；

所述入侵检测系统网络对第m个网络流量数据包进行训练的总评价V_m，按照如下方法计算：

其中α_v为评价调节超参数；为网络流量质量判别器的性能评价，为批评家网络的输出；/>为网络流量数据包选择评价，为批评家网络的输出。

(1)批评家网络更新：以使得批评家网络更新误差L_c，m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；所述演员网络更新误差L_c，m按照如下方法计算：

L_c，m＝(L_m-V_m)²＝Δ_m ²

其中，Δ_m为总奖励和总评价差异。

(2)演员网络更新：以使得演员网络更新误差L_a，m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；所述演员网络更新误差L_a，m按照如下方法计算：

L_a，m＝-log(π(a_m|·))Δ_m-βH(·)

其中，a_m代表演员网络在第m个数据包处执行的动作，π(a_m|·)表示演员网络在第m个数据包处输出的动作分布，β为熵值的权重，本实施例取0.01，用来控制熵对于该损失函数的重要程度，H(·)计算动作分布π(a_i|s_m；θ_m)的熵值，Δ_m为总奖励和总评价差异；其中

其中，a_i表示第i个可供选择的动作，s_m表示当前作为输入的第m个网络流量数据包的特征向量，θ_m表示演员网络当前的内部参数，π(a_i|s_m；θ_m)表示演员网络在第m个数据包处产生的动作分布。

(3)网络流量质量判别器更新：以使得其损失值Loss_m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新，所述网络流量质量判别器的损失值Loss_m按照如下方法计算：

其中，y_m表示第m个网络流量数据包真实的训练数据集标签，为第m个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果。

以上网络更新，学习率取0.001。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于抽样的边缘计算架构物联网入侵检测系统，其特征在于，应用于边缘计算架构物联网，包括网络流量质量判别器、网络流量数据包选择网络；

所述流量数据包选择网络，用于从特定批次的网络流量训练数据集中，按照回合选择预设大小的网络流量数据包特征向量，提交给所述网络流量质量判别器；并评价所述网络流量质量判别器的判别结果，根据对所有回合选择的网络流量数据包特征向量的评价更新所述入侵检测系统；

所述网络流量质量判别器，用于根据其特征向量判断所述流量数据包选择网络选择的网络流量数据包是否恶意，从而对所述批次的网络数据流量进行入侵检测抽样判断；

所述流量数据包选择网络基于演员-批评家网络；

演员网络用于根据上一回合选择的网络流量数据包特征向量s_m采用深度学习网络判断动作概率分布π(a_i|s_m；θ_m)，并按照动作概率分布π(a_i|s_m；θ_m)进行随机抽样，得到决定当前回合选中网络流量数据包位置的具体动作a，并记录数据包位置特征，选择用于输入网络流量质量判别器的网络流量数据包获取其特征向量s_n，提交给所述流量数据包选择网络；其中θ_m表示演员网络当前的内部参数；所述网络流量数据包特征向量s_n，包括网络流量特征和数据包位置特征；所述数据包位置特征为所选择的网络流量数据包在所述批次的网络流量训练数据集中的位置信息；

批评家网络，用于获取上一回合所述网络质量判别器输出的判别结果，并根据上一回合选择的网络流量数据包特征向量s_m采用深度学习网络评价上一回合的所述网络流量质量判别器的判别结果，获得网络流量质量判别器的性能评价和网络流量数据包选择评价/>所有回合的网络流量质量判别器的性能评价/>和网络流量数据包选择评价/>用于更新网络流量质量判别器、网络流量数据包选择网络。

2.如权利要求1所述的基于抽样的边缘计算架构物联网入侵检测系统，其特征在于，所述流量数据包选择网络、和/或所述网络流量质量判别器基于神经网络；所述神经网络的隐藏层包括GRU层。

3.如权利要求1或2所述的基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其特征在于，其基于演员-批评家网络；包括以下步骤：

所述批评家网络，根据特定批次的网络流量训练数据集的所有回合的判别结果和评价结果，以使得批评家网络更新误差L_c,m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；

所述演员网络，根据特定批次的网络流量训练数据集的所有回合的判别结果和评价结果，以使得演员网络更新误差L_a,m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新；

所述网络流量质量判别器，为深度学习神经网络，根据特定批次的网络流量训练数据集的所有回合的判别结果和评价结果，以使得其损失值Loss_m最小为目标函数，采用向后传播的方式进行其神经网络的参数更新。

4.如权利要求3所述的基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其特征在于，所述演员网络更新误差L_c,m按照如下方法计算：

L_c,m＝(L_m-V_m)²＝Δ_m ²

其中，Δ_m为总奖励和总评价差异。

5.如权利要求3所述的基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其特征在于，所述演员网络更新误差L_a,m按照如下方法计算：

L_a,m＝-log(π(a_m|·))Δ_m-βH(·)

其中，a_m代表演员网络在第m个数据包处执行的动作，π(a_m|·)表示演员网络在第m个数据包处输出的动作分布，β为熵值的权重，用来控制熵对于该损失函数的重要程度，H(·)表示计算动作分布π(a_i|s_m；θ_m)的熵值，Δ_m为总奖励和总评价差异；其中

其中，a_i表示第i个可供选择的动作，s_m表示当前作为输入的第m个网络流量数据包的特征向量，θ_m表示演员网络当前的内部参数，π(a_i|s_m；θ_m)表示演员网络在第m个数据包处产生的动作分布。

6.如权利要求4或5所述的基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其特征在于，所述总奖励和总评价差异Δ_m，按照如下方法计算：

Δ_m＝L_m-V_m；

其中，L_m为入侵检测系统对第m个网络流量数据包进行训练的总奖励，包括网络流量质量判别器的性能奖励以及网络流量数据包选择奖励/>V_m为入侵检测系统网络对第m个网络流量数据包进行训练的总评价，包括网络流量质量判别器的性能评价/>以及网络流量数据包选择评价/>

所述入侵检测系统对第m个网络流量数据包进行训练的总奖励L_m，按照如下方法计算：

其中，α_L为奖励调节超参数；为网络流量质量判别器的性能奖励，表征在第m个数据包后网络流量质量判别器后续作出的判断与真实的训练数据集标签的差值情况；/>为网络流量数据包选择奖励，表征第m个数据包对后面数据包选择与否的衡量值；分别按照如下方法计算：

其中，M表示所述批次的网络流量特征数据中网络流量数据包的总数量，y_i表示第i个网络流量数据包真实的训练数据集标签，为第i个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果；I_i表示如果选择了第i个数据包，则值为0，否则值为1；下标i表示第i个数据包；

所述入侵检测系统网络对第m个网络流量数据包进行训练的总评价V_m，按照如下方法计算：

其中α_v为评价调节超参数；为网络流量质量判别器的性能评价，为批评家网络的输出；/>为网络流量数据包选择评价，为批评家网络的输出。

7.如权利要求3所述的基于抽样的边缘计算架构物联网入侵检测系统的更新方法，其特征在于，所述网络流量质量判别器的损失值Loss_m按照如下方法计算：

其中，y_m表示第m个网络流量数据包真实的训练数据集标签，为第m个网络流量质量判别器输出的网络流量数据包是否恶意的判断结果。

8.一种基于抽样的边缘计算架构物联网入侵检测方法，其特征在于，包括以下步骤：

检测数据采集：采集网络流量数据，并提取其网络流量特征，预处理为特定大小的成批次的网络数据流量包特征向量；

抽样：将采集的待检测数据输入到如权利要求1或2所述的基于抽样的边缘计算架构物联网入侵检测系统，流量数据包选择网络按回合选择的网络流量数据包特征向量；

检测：将流量数据包选择网络选择的网络流量数据包特征向量采用网络流量质量判别器判断所述网络流量数据包是否包含恶意；并根据该批次所有回合的判断结果确定所述批次的网络数据流量包是否恶意。