CN115713095A

CN115713095A - 基于混合深度神经网络的天然气管道异常检测方法和系统

Info

Publication number: CN115713095A
Application number: CN202211500137.4A
Authority: CN
Inventors: 邱鹏; 刘汉忠; 黄陈蓉; 黄晓华
Original assignee: Nanjing Institute of Technology
Current assignee: Nanjing Institute of Technology
Priority date: 2022-11-28
Filing date: 2022-11-28
Publication date: 2023-02-24

Abstract

本发明提供一种基于混合深度神经网络的天然气管道异常检测方法和系统，其中方法包括归一化天然气管道的特征数据，得到输入特征值；根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络；根据输入特征值构建代价函数，以代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络；添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络；将输入特征值输入至第三混合深度神经网络，得到输出特征值；利用监督分类器计算输出特征值的最大概率值；缩小输出特征值的最大概率值与标签的差值。本发明能够在遭到入侵攻击或发生异常时提高异常检测精度，降低异常检测的假阳性率。

Description

基于混合深度神经网络的天然气管道异常检测方法和系统

技术领域

本发明属于天然气输送管道安全检测技术领域，尤其涉及一种基于混合深度神经网络的天然气管道异常检测方法和系统。

背景技术

天然气能源采用长距离管道运输方式，该方式通过管道连接各地区，构成一个复杂、大型的管道运输网系统。管道运输具有成本低、安全性高、节约资源等特点，但并不意味的没有风险。当天然气管道控制系统的监视管理和控制权遭受网络渗透攻击时，可能导致天然气管道的可视性和控制权丧失，并可能在事故发生时对天然气管道和其附近的个人造成物理伤害，并且对环境产生不利影响。如何采用高效的异常检测方法确保最佳的天然气管道控制系统安全，已成为目前工业控制系统异常检测中所面临的一个重要问题。

入侵检测系统(IDS)和异常检测系统有助于检测工业控制系统网络中的入侵或异常事件，在保护数据采集与监视控制系统信息安全上发挥了重要的作用，但是入侵检测系统需要与其他安全机制结合使用，如：防火墙、漏洞扫描器、安全策略验证器等。天然气管道控制系统包括人机交互界面、压缩机、压力表、电磁溢流阀以及连接它们的密封管道等等。天然气管道控制系统受诸如压缩机工作状态、气体压力值以及比例积分导数的参数配置问题所影响，这就要求对入侵或异常的检测采用特定的方法。

作为一种工业控制系统，天然气管道控制系统的异常检测问题可以归结为基于深度神经网络的异常检测问题，其研究难点在于通过人工对庞大的数据集进行标记是不现实的，耗时且容易出错。传统的异常检测方法精度低，误检率高。

发明内容

本发明针对现有技术中的不足，提供一种基于混合深度神经网络的天然气管道异常检测方法和系统。

第一方面，本发明提供一种基于混合深度神经网络的天然气管道异常检测方法，包括：

归一化天然气管道的特征数据，得到输入特征值；

根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络；

根据输入特征值构建代价函数，以代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络；

添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络；

将输入特征值输入至第三混合深度神经网络，得到输出特征值；

利用监督分类器计算输出特征值的最大概率值；

根据标签的值定义输出特征值；其中，输出特征值中属于标签值为0的数据为正常数据，属于标签值为r的数据被定义为异常数据，r为大于0的整数；

训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值。

进一步地，所述根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络，包括：

将输入特征值作为第一个稀疏去噪自编码器的输入，并丢弃第一个稀疏去噪自编码器的解码器；其中，第一个稀疏去噪自编码器的隐藏层包括多个第一混合深度神经网络的神经元，所述神经元表示正常数据或异常数据的所属类别；

将第一个稀疏去噪自编码器的隐藏层作为第二个稀疏去噪自编码器的输入，并丢弃第二个稀疏去噪自编码器的解码器；

直至将第d-1个稀疏去噪自编码器的隐藏层作为第d个稀疏去噪自编码器的输入，并丢弃第d个稀疏去噪自编码器的解码器；其中，d为大于2的常数；

采用稀疏参数将每个稀疏去噪自编码器的隐藏层神经元数量设置为大于每个稀疏去噪自编码器的输入层神经元数量，得到第一混合深度神经网络。

进一步地，所述根据输入特征值构建最终代价函数，以最终代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络，包括：

构建最终代价函数的表达式为：

其中，j_sparsity(θ)为加入稀疏变量后的最终代价函数；θ为稀疏去噪自编码器的参数变量；m为用于训练第一混合深度神经网络的输入特征值数量；H_w为第一混合深度神经网络中连接输入到隐藏层的权重，权重为天然气管道的可编程逻辑控制器死区数量；c为第一混合深度神经网络隐藏层的偏差向量，偏差向量为天然气管道的可编程逻辑控制器循环时间；xⁱ为训练稀疏去噪自编码器的第i个输入值；yⁱ为训练稀疏去噪自编码器的第i个输出值；

表示标签；β为控制稀疏性惩罚因子的权重；k为隐藏层的神经元数量；ρ为稀疏参数，为隐藏层中输入特征值的稀疏表示；

为所有无监督特征学习样本上隐藏层的第q个神经元的平均激活值。

进一步地，所述添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络，包括：

将Softmax函数层作为监督分类器，并作为第二混合深度神经网络的输出层激活函数，得到第三混合深度神经网络。

进一步地，所述利用监督分类器计算输出特征值的最大概率值，包括：

根据以下公式计算输出特征值的概率：

其中，p为输入特征值f中第g类的预测概率，即输出特征值的概率；e为自然常数；w为天然气管道中压缩机安全阀被激活的阈值；t为天然气管道中的气体压力值；l为输入特征值类别的数量；w_g和w_j分别为第g和j类输入特征值关联的安全阀激活阈值；t_g和t_j分别为第g和j类输入特征值关联的天然气管道中的气体压力值；

采用arg max函数计算p的最大值，得到输出特征值的最大概率值。

进一步地，所述训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值，包括：

训练第三混合深度神经网络的第一个稀疏去噪自编码器；第一个隐藏层的编码表示特征作为第三混合深度神经网络的第二个稀疏去噪自编码器的输入；

训练第三混合深度神经网络的第二个稀疏去噪自编码器，第二个隐藏层的编码表示特征作为第三混合深度神经网络的第三个稀疏去噪自编码器的输入；

直至训练第三混合深度神经网络的第u个稀疏去噪自编码器，将第u-1个隐藏层作为第三混合深度神经网络的第u个稀疏去噪自编码器的输入；

利用带有标签的输入特征值监督训练Softmax函数层；

利用交叉熵代价函数最小化输出特征值的最大概率值与标签的差值。

进一步地，所述利用交叉熵代价函数最小化输出特征值的最大概率值与标签的差值，包括：

构建交叉熵代价函数表达式：

其中，α＝{γ₁，γ₂，┄，γ_λ}，为标签的真实分布概率；σ＝{δ₁，δ₂，┄，δ_λ}，为输出特征值的最大概率值分布；λ为标签的类别数量；ε≤λ，为输出特征值属于标签中的第ε类。

第二方面，本发明提供一种基于混合深度神经网络的天然气管道异常检测系统，包括：

数据归一化模块，用于归一化天然气管道的特征数据，得到输入特征值；

第一构建模块，用于根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络；

第二构建模块，用于根据输入特征值构建代价函数，以代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络；

添加模块，用于添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络；

特征值输入模块，用于将输入特征值输入至第三混合深度神经网络，得到输出特征值；

计算模块，用于利用监督分类器计算输出特征值的最大概率值；

标签值定义模块，用于根据标签的值定义输出特征值；其中，输出特征值中属于标签值为0的数据为正常数据，属于标签值为r的数据被定义为异常数据，r为大于0的整数；

神经网络训练模块，用于训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值。

第三方面，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现第一方面所述的基于混合深度神经网络的天然气管道异常检测方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现第一方面所述的基于混合深度神经网络的天然气管道异常检测方法的步骤。

本发明提供一种基于混合深度神经网络的天然气管道异常检测方法和系统，其中方法包括归一化天然气管道的特征数据，得到输入特征值；根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络；根据输入特征值构建代价函数，以代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络；添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络；将输入特征值输入至第三混合深度神经网络，得到输出特征值；根据标签的值定义输出特征值；其中，输出特征值中属于标签值为0的数据为正常数据，属于标签值为r的数据被定义为异常数据，r为大于0的整数；利用监督分类器计算输出特征值的最大概率值；训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值。

本发明通过对输入特征值进行预处理，构建栈式稀疏去噪自编码器深度神经网络作为混合深度神经网络，在此基础上添加监督分类器进行无监督特征学习训练，能够在数据采集与监视控制系统遭到入侵攻击或发生异常时提高异常检测精度与召回率协调值，降低异常检测的假阳性率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于混合深度神经网络的天然气管道异常检测方法的流程图；

图2为本发明实施例提供的一种基于混合深度神经网络的天然气管道异常检测方法的结构示意图；

图3为本发明实施例提供的混合深度神经网络图；

图4为本发明实施例提供的混合深度神经网络和监督分类器图；

图5为本发明实施例提供的混合深度神经网络分布式数据训练过程图；

图6为本发明实施例提供的分类天然气管道数据训练集和测试集类型图；

图7为本发明实施例提供的精度与召回率的协调平均值对比图；

图8为本发明实施例提供的假阳性率对比图；

图9为本发明实施例提供的单机训练与分布式集群训练耗时对比图；

图10为本发明实施例提供的一种基于混合深度神经网络的天然气管道异常检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

天然气管道控制系统包括连接压缩机、压力表和电磁控制溢流阀的密封管道，以及人机交互界面。天然气管道控制系统的可编程序逻辑控制器使用比例积分导数(PID)控制方案，通过选择压缩机安全阀被激活来维持管道中的气体压力。为了保持所需的气体压力设定值，天然气管道系统使用压缩机向系统中添加气体，如果压缩机状态值为1，则压缩机为开启状态，如果压缩机状态值为0，则压缩机为关闭状态。

天然气管道控制系统数据集的正常数据和异常数据类别如表1所示，下面列举其中三类异常说明天然气管道控制系统遭受攻击的情况。天然气管道控制系统分为自动控制和手动控制两种方式，当系统处于自动模式时，可编程序逻辑控制器决定了压缩机所处的工作状态，然而复杂恶意响应注入攻击(表1中的标签1)作为异常数据可能修改压缩机状态值，从而掩盖压缩机的实际工作状态；需要注意的是，在手动模式下，压缩机的工作状态由手动压缩机设定值控制。恶意状态命令注入攻击(表1中的标签2)作为异常数据可能会持续或间歇性地改变压缩机的工作状态；此外，还有五个与可编程逻辑控制器相关的比例积分导数属性：增益，复位，死区，速率和循环时间影响可编程逻辑控制器的行为，这些属性的值在系统运行期间应该是固定的，但是恶意参数命令注入攻击(表1中的标签3)作为异常数据将试图修改这些参数，从而中断正常的控制操作。

在一实施例中，如图1和图2所示，本发明实施例提供一种基于混合深度神经网络的天然气管道异常检测方法，包括：

步骤101，归一化天然气管道的特征数据，得到输入特征值。

将天然气管道的特征数据按比例缩放，使结果落在特定区间[0，1]之内。示例性地，使用归一化公式执行最小最大值缩放，公式为

其中，x为特征数据；x'为归一化值，即输入特征值；x_min和x_max分别为特征数据的最小值和最大值。

将输入特征值按比例分割成互不相交的三个子集：训练数据集、验证数据集和测试数据集，示例性地，占比分别是60％、20％和20％；数量分别为141707、47236和47236。

训练数据集用于之后建立的混合深度神经网络模型训练，并周期性使用验证数据集对模型性能进行评估，以避免过度拟合。如果神经网络发生过度拟合，即当验证数据集正确率持平或下降时，则停止训练并调整神经网络本身的参数和超参数；

利用测试数据集评估神经网络训练完成后的最终预测模型，且测试数据集只使用一次；

依据数据分布，从天然气管道的特征数据的占比相对较少的异常数据样本中重复随机抽样，将所得样本扩充至特征值数据集，实现类别平衡。

在表示特征分类时，将天然气管道数据特征值编码成一组由位信息组成的向量，只设置一个列值是1，其余列值全是0，再与经过混合深度神经网络异常检测模型输出函数输出的概率向量进行损失分数的计算。使用python程序创建one_hot_encoding()函数，对特征数据执行独热编码，该函数有两个参数，第一个参数是要编码的数组，第二个参数是分类数，函数使用for循环取出数组的每一个元素后，创建第二个参数的全0数组，然后调用python程序的np.put()函数将数组元素值的位置指定成1，到此就完成了独热编码。

表1的特征数据按照多元分类方式分成了1类正常行为(标签是0)和5类攻击行为(标签是1-5)。为了避免不必要的训练偏差，对占比60％的训练集进行数据平衡处理，而占比20％的测试集则使用原始系统数据。图6为将异常数据进行多元分类时天然气管道数据训练集和测试集类型图，最后独热编码所有的数据标签。

表1数据记录分类表

标签	类型	描述
			0	NORMAL	非攻击行为
1	CMRI	复杂恶意响应注入攻击
			2	MSCI	恶意状态命令注入攻击
3	MPCI	恶意参数命令注入攻击
			4	MFCI	恶意功能码命令注入攻击
5	RECONNAISSANCE	侦察攻击

步骤102，根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络。

如图3所示；将输入特征值作为第一个稀疏去噪自编码器的输入，用z＝(z₁，z₂，┄，z_n)表示，并丢弃第一个稀疏去噪自编码器的解码器；其中，第一个稀疏去噪自编码器的隐藏层h₁包括多个节点，节点即第一混合深度神经网络的神经元，所述神经元表示正常数据或异常数据的所属类别。示例性地，输入层节点数为24个，用z＝(z₁，z₂，┄，z₂₄)表示；第一个稀疏去噪自编码器的隐藏层h₁包括58个节点。

将第一个稀疏去噪自编码器的隐藏层h₁作为第二个稀疏去噪自编码器的输入，并丢弃第二个稀疏去噪自编码器的解码器。示例性地，

直至将第d-1个稀疏去噪自编码器的隐藏层h_d-1作为第d个稀疏去噪自编码器的输入，并丢弃第d个稀疏去噪自编码器的解码器；其中，d为大于2的常数。

输出层节点用y＝(y₁,y₂,...,y_s)表示；栈式稀疏去噪自编码器深度神经网络的输入层到隐藏层的权重矩阵和偏差分别用w_n×d和b＝(b₁,b₂,...,b_d-1)表示。示例性地，输出层节点为6个，分别代表6类不同类型的标签数据集，用y＝(y₁,y₂,...,y₆)表示。栈式稀疏去噪自编码器深度神经网络的输入层到隐藏层的权重矩阵和偏差分别用w_6×2和b₁表示。

在设置深度神经网络层数时，如果深度神经网络越深，则训练深度神经网络时需要的时间就越长。因此，采用稀疏参数将每个稀疏去噪自编码器的隐藏层神经元数量设置为大于每个稀疏去噪自编码器的输入层神经元数量，得到第一混合深度神经网络。

设计栈式稀疏去噪自编码器深度神经网络时，定义训练参数、超参数、隐藏层数、训练周期以及各层节点数等信息如表2所示。采用多元分类划分数据集时，设置的第一层隐藏层节点数是58，第二层隐藏层节点数是34。

表2栈式稀疏去噪自编码器深度神经网络信息表

步骤103，根据输入特征值构建代价函数，以代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络。

本步骤中，首先使用均方差代价函数优化自编码器的参数。基本代价函数表达式为：

其中，θ为稀疏去噪自编码器的参数变量；m为用于训练第一混合深度神经网络的输入特征值数量；H_w为第一混合深度神经网络中连接输入到隐藏层的权重，权重为天然气管道的可编程逻辑控制器死区数量；c为第一混合深度神经网络隐藏层的偏差向量，偏差向量为天然气管道的可编程逻辑控制器循环时间；xⁱ为训练稀疏去噪自编码器的第i个输入值；yⁱ为训练稀疏去噪自编码器的第i个输出值；

表示标签。

然后利用基本代价函数进行第一混合深度神经网络的无监督特征学习。示例性地，在基本代价函数表达式的基础上加入一个权值衰减进行正则化，并加入一个稀疏性参数来控制第一混合深度神经网络每层激活神经元的数量。代价函数相应的调整为j_sparsity(θ)＝j(θ)+βΩ_sparsity，其中j_sparsity(θ)为加入稀疏变量后的最终代价函数；β为控制稀疏性惩罚因子的权重；Ω_sparsity为稀疏表达式，用途是只允许隐藏层的少量神经元是激活状态，其数学表达式为：

其中，β为控制稀疏性惩罚因子的权重；k为隐藏层的神经元数量；ρ为稀疏参数，为隐藏层中输入特征值的稀疏表示，本实施例中设定为0.05；

为所有无监督特征学习样本上隐藏层的第q个神经元的平均激活值。综上可得出最终代价函数表达式为：

步骤104，添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络。

步骤105，将输入特征值输入至第三混合深度神经网络，得到输出特征值。

步骤106，根据标签的值定义输出特征值；其中，输出特征值中属于标签值为0的数据为正常数据，属于标签值为r的数据被定义为异常数据，r为大于0的整数。

步骤107，利用监督分类器计算输出特征值的最大概率值。

示例性地，根据标签的值定义输入特征值；其中，输入特征值中属于标签值为0的数据为正常数据，属于标签值为r的数据被定义为异常数据。

根据以下公式计算输出特征值的概率：

其中，p为输入特征值f中第g类的预测概率，即输出特征值的概率；e为自然常数；w为天然气管道中压缩机安全阀被激活的阈值；t为天然气管道中的气体压力值；l为输入特征值类别的数量；w_g和w_j为分别为第g和j类输入特征值关联的安全阀激活阈值；t_g和t_j为分别为第g和j类输入特征值关联的天然气管道中的气体压力值。

采用arg max函数计算p的最大值，得到输出特征值的最大概率值；所述输出特征值的最大概率值接近标签的值。

示例性地，第二混合深度神经网络输出结果实际是[-0.124，-0.62，0.899，6.925，-0.332，2.064]，通过Softmax函数层计算出类的概率分布是[0.001，0.001，0.002，0.987，0.001，0.008]。

Softmax函数层作为一个监督分类器计算出所有类的概率分布，通常可以通过计算召回率(recall)、精度(precision)、假阳性率False Positive Rate(FPR)、假阴性率False Negative Rate(FNR)和精度与召回率的协调平均值(F1-score)作为评估异常检测方法的评价指标，指标公式如下：

召回率为正确检测出异常的比例，精度表示衡量异常百分比的精确程度，假阳性率是将正常行为错误的识别为异常行为的比例，假阴性率是异常错误的识别为正常的比例，由于精度和召回率是相互制约的两项指标，所以使用精度与召回率的协调平均值综合权衡精度和召回率。TP为异常行为被分类器正确标记的异常的数量；TN为正常被分类器正确标记的正常数量；FN为异常行为被分类器错误的标记为正常的数量；FP为正常被分类器错误的标记为异常的数量。

本实施例选用精度与召回率的协调平均值(F1-score)和假阳性率(FPR)作为评估异常检测方法的评价指标，通过基于混合深度神经网络的异常检测方法与其它的异常检测算法进行比较，用于对比的标准异常检测算法包括决策树算法(Decision Tree)，朴素贝叶斯算法(Naive Bayes)以及随机森林算法(Random Forest)。对比结果如图7所示，提出的异常检测方法无论是在检测正常行为特征还是在检测5种异常攻击中，获得的精度与召回率的协调平均值几乎都高于其它几种标准异常检测算法，特别是相较于决策树算法和朴素贝叶斯算法优势更加明显。此外，如图8所示，进一步验证提出的方法在检测5种异常攻击特征方面，假阳性率指标基本低于其它标准异常检测算法。

步骤108，训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值。

示例性地，训练第三混合深度神经网络的第一个稀疏去噪自编码器；第一个隐藏层的编码表示特征作为第三混合深度神经网络的第二个稀疏去噪自编码器的输入。

训练第三混合深度神经网络的第二个稀疏去噪自编码器，第二个隐藏层的编码表示特征作为第三混合深度神经网络的第三个稀疏去噪自编码器的输入。

直至训练第三混合深度神经网络的第u个稀疏去噪自编码器，将第u-1个隐藏层作为第三混合深度神经网络的第u个稀疏去噪自编码器的输入。

利用带有标签的输入特征值监督训练Softmax函数层。

构建交叉熵代价函数表达式：

如图4所示，通过完成的无监督特征学习和分类训练确定第三混合深度神经网络参数。将第三混合深度神经网络参数应用于梯度下降法，进而对第三混合深度神经网络实行进一步微调，使用测试集评估第三混合深度神经网络训练完成后的最终预测模型的异常检测能力，直至网络收敛，最小化误差；

再采用数据平行的分布式训练法减少计算梯度下降的时间，从而减少对天然气管道的异常检测时间。

示例性的，如图5所示，基于TensorFlow框架，训练集在变量服务器和工作点A、B和C之间来回传输。变量服务器保存第三混合深度神经网络的权重Ω并分配给工作点作为工作负荷，权重Ω为天然气管道的可编程逻辑控制器的死区数量。工作点负责在反向传播训练算法中计算梯度。将来自工作点的梯度计算结果反馈给变量服务器，为可编程逻辑控制器的死区数量的差值，用于优化混合深度神经网络的权重Ω并再次传播给工作点，进而缩短了计算梯度下降的耗时。

如图9表示，使用单机和分布式集群两种方式训练混合深度神经网络异常检测模型，在不同训练迭代次数下的耗时情况。结果如图9所示，使用分布式训练混合深度神经网络模型用时明显少于单机训练方式，从而提高了计算效率，加快了异常检测进程。

基于同一发明构思，本发明实施例还提供了基于混合深度神经网络的天然气管道异常检测系统，由于该系统解决问题的原理与前述基于混合深度神经网络的天然气管道异常检测方法相似，因此该系统的实施可以参见基于混合深度神经网络的天然气管道异常检测方法的实施，重复之处不再赘述。

在另一实施例中，本发明一个实施例提供的基于混合深度神经网络的天然气管道异常检测系统，如图10所示，包括：

数据归一化模块10，用于归一化天然气管道的特征数据，得到输入特征值。

第一构建模块20，用于根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络。

第二构建模块30，用于根据输入特征值构建代价函数，以代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络。

添加模块40，用于添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络。

特征值输入模块50，用于将输入特征值输入至第三混合深度神经网络，得到输出特征值。

计算模块60，用于利用监督分类器计算输出特征值的最大概率值。

标签值定义模块70，用于根据标签的值定义输出特征值；其中，输出特征值中属于标签值为0的数据为正常数据，属于标签值为r的数据被定义为异常数据，r为大于0的整数。

神经网络训练模块80，用于训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值。

可选地，所述第一构建模块包括：

第一构建单元，用于将输入特征值作为第一个稀疏去噪自编码器的输入，并丢弃第一个稀疏去噪自编码器的解码器；其中，第一个稀疏去噪自编码器的隐藏层包括多个第一混合深度神经网络的神经元，所述神经元表示正常数据或异常数据的所属类别。

第二构建单元，用于将第一个稀疏去噪自编码器的隐藏层作为第二个稀疏去噪自编码器的输入，并丢弃第二个稀疏去噪自编码器的解码器。

第三构建单元，用于直至将第d-1个稀疏去噪自编码器的隐藏层作为第d个稀疏去噪自编码器的输入，并丢弃第d个稀疏去噪自编码器的解码器；其中，d为大于2的常数。

第四构建单元，用于采用稀疏参数将每个稀疏去噪自编码器的隐藏层神经元数量设置为大于每个稀疏去噪自编码器的输入层神经元数量，得到第一混合深度神经网络。

可选地，所述第二构建模块包括：

第五构建单元，用于构建最终代价函数的表达式为：

可选地，所述添加模块包括：

添加单元，用于将Softmax函数层作为监督分类器，并作为第二混合深度神经网络的输出层激活函数，得到第三混合深度神经网络。

可选地，所述计算模块包括：

第一计算单元，用于根据以下公式计算输出特征值的概率：

其中，p为输入特征值f中第g类的预测概率，即输出特征值的概率；e为自然常数；w为天然气管道中压缩机安全阀被激活的阈值；t为天然气管道中的气体压力值；l为输入特征值类别的数量；w_g和w_j分别为第g和j类输入特征值关联的安全阀激活阈值；t_g和t_j分别为第g和j类输入特征值关联的天然气管道中的气体压力值。

第二计算单元，用于采用arg max函数计算p的最大值，得到输出特征值的最大概率值。

可选地，所述神经网络训练模块包括：

第一训练单元，用于训练第三混合深度神经网络的第一个稀疏去噪自编码器；第一个隐藏层的编码表示特征作为第三混合深度神经网络的第二个稀疏去噪自编码器的输入。

第二训练单元，用于训练第三混合深度神经网络的第二个稀疏去噪自编码器，第二个隐藏层的编码表示特征作为第三混合深度神经网络的第三个稀疏去噪自编码器的输入。

第三训练单元，用于直至训练第三混合深度神经网络的第u个稀疏去噪自编码器，将第u-1个隐藏层作为第三混合深度神经网络的第u个稀疏去噪自编码器的输入。

第四训练单元，用于利用带有标签的输入特征值监督训练Softmax函数层。

差值最小化单元，用于利用交叉熵代价函数最小化输出特征值的最大概率值与标签的差值。

第六构建单元，用于构建交叉熵代价函数表达式：

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

在另一实施例中，本发明实施例还提供了一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的基于混合深度神经网络的天然气管道异常检测方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

在另一实施例中，本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的基于混合深度神经网络的天然气管道异常检测方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

Claims

1.一种基于混合深度神经网络的天然气管道异常检测方法，其特征在于，包括：

归一化天然气管道的特征数据，得到输入特征值；

利用监督分类器计算输出特征值的最大概率值；

2.根据权利要求1所述的天然气管道异常检测方法，其特征在于，所述根据输入特征值构建栈式稀疏去噪自编码器深度神经网络模型作为第一混合深度神经网络，包括：

3.根据权利要求1所述的天然气管道异常检测方法，其特征在于，所述根据输入特征值构建最终代价函数，以最终代价函数进行第一混合深度神经网络的无监督特征学习，得到第二混合深度神经网络，包括：

构建最终代价函数的表达式为：

4.根据权利要求1所述的天然气管道异常检测方法，其特征在于，所述添加监督分类器至第二混合深度神经网络，得到第三混合深度神经网络，包括：

5.根据权利要求4所述的天然气管道异常检测方法，其特征在于，所述利用监督分类器计算输出特征值的最大概率值，包括：

根据以下公式计算输出特征值的概率：

6.根据权利要求5所述的天然气管道异常检测方法，其特征在于，所述训练第三混合深度神经网络，以缩小输出特征值的最大概率值与标签的差值，包括：

利用带有标签的输入特征值监督训练Softmax函数层；

7.根据权利要求6所述天然气管道异常检测方法，其特征在于，所述利用交叉熵代价函数最小化输出特征值与标签的值的差值，包括：

构建交叉熵代价函数表达式：

8.一种基于混合深度神经网络的天然气管道异常检测系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现权利要求1-7任一项所述的基于混合深度神经网络的天然气管道异常检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；计算机程序被处理器执行时实现权利要求1-7任一项所述的基于混合深度神经网络的天然气管道异常检测方法的步骤。