CN114841202A - 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 - Google Patents
一种用于分布式光纤管道入侵检测的深度学习模式识别方法 Download PDFInfo
- Publication number
- CN114841202A CN114841202A CN202210435942.7A CN202210435942A CN114841202A CN 114841202 A CN114841202 A CN 114841202A CN 202210435942 A CN202210435942 A CN 202210435942A CN 114841202 A CN114841202 A CN 114841202A
- Authority
- CN
- China
- Prior art keywords
- signal
- time
- intrusion
- representing
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013307 optical fiber Substances 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 15
- 230000004913 activation Effects 0.000 claims abstract description 10
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 9
- 239000000835 fiber Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012567 pattern recognition method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 6
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000003345 natural gas Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Operations Research (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种用于分布式光纤管道入侵检测的深度学习模式识别方法，该方法对原始入侵信号进行小波阈值去噪，利用mallat多分辨率分解。通过GAF算法将去噪后的信号映射成二维图像，然后缩小图像大小以满足网络模型的要求。并对网络模型进行优化，利用Adam优化器优化学习率，利用Swish激活函数增强模型性能，实现对入侵事件的高速、高精度识别。GAF有利于CNN识别具有细微特征差异的入侵事件，特别是针对分布式光纤周围环境因素有很好的抗干扰效果。由于GAF不需要进行迭代操作，入侵识别的速度大大提高。同时，GAF算法对光路中的功率波动不敏感，有效地提高了系统的鲁棒性和实用性。
Description
技术领域
本发明属于深度学习和安全领域，具体涉及一种用于分布式光纤管道入侵检测的深度学习模式识别方法。
背景技术
近年来，分布式光纤振动传感(DOVS)技术因其高灵敏度、抗电磁干扰，价格低等优点，在智能安防等领域引起了广泛的关注。它已应用于周界安全、油气管道安全预警和结构健康监测领域，特别是对长输管道起到了十分有利的保护作用。然而，传感光纤容易受到环境的影响，如风雨、行人行走或动物活动，因此这些无害事件可能会导致系统出现意外的误报。此外，振动信号的复杂性和相似性可能导致振动类型识别的错误。因此，研究可靠的模式识别方法消除这些无害的振动事件，降低虚警率，提高识别精度，对提高分布式光纤传感的实际应用能力更好的保障天然气管道的安全运行都具有十分重要的现实意义和指导作用。
振动信号类型识别的实现依赖于性能良好的分类器，负责将各种入侵信号的特征输入分类模型进行训练，然后利用分类模型对振动信号进行快速类型识别。这就要求模型具有很强的样本学习能力，以实现高精度的分类。目前，分布式光纤领域多是以一维时序数据作为原始样本，进行信号的特征提取，分类器主要选择包括基于机器学习和基于深度学习的模型分类算法。其中，基于机器学习的模型包括支持向量机(SVM)、相关向量机(RVM)、线性判别分析(LDA)、高斯混合模型(GMM)和随机森林(RF)等等。机器学习方法如支持向量机，虽然可以在小样本的基础上达到较好的分类效果，但对于多分类任务存在明显不足，并且一些方法如GMM，分类效果依赖于对初值的选取。基于深度学习的算法模型，如卷积神经网络(CNN)、长短期记忆网络(LSTM)、回声状态网络(ESN)等均有所应用。由于深度学习其以自动化的方式执行特征提取可以通过构建具有多个隐藏层和大量训练数据的模型来学习更多有用的特征，从而提高分类精度。有学者提出基于经验模态分解(EMD)和径向基函数(RBF)神经网络相结合的高精度方法，该方法将通过EMD分解从入侵信号中获得的固有模态函数(IMF)的能量比作为分类任务的基础。然而，EMD方法会引起不连续信号的模态混合问题，严重影响精度。此外，入侵识别时间超过7秒，难以应对紧急响应。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种用于分布式光纤对天然气管道入侵检测的深度学习模式识别方法，该方法首先利用小波阈值法对原始入侵信号进行去噪，再利用格拉姆角场(GAF)算法将去噪后的信号映射成二维图像，然后缩小图像大小以满足卷积神经网络(CNN)输入层的要求，最后再利用合适的CNN学习不同入侵信号对应图像的基本特征，实现对不同类型入侵事件的识别。
本发明的目的是通过以下技术方案实现的：一种用于分布式光纤管道入侵检测的深度学习模式识别方法，该方法包括以下步骤：
(1)按照时间序列采集光纤管道的分布式光纤的原始信号并进行降噪处理。
(2)将一维时间序列的入侵信号转换为二维图像。
(3)将二维图像进行放缩之后作为训练集，输入至VGG16网络模型进行训练。
(4)利用训练后的VGG16网络模型进行分布式光纤管道入侵信号的识别，输出结果为事件类型，分为无入侵、人为活动和机械活动三类。
进一步地，所述步骤(1)中，利用小波函数进行分解与重构的Mallat多分辨率分解算法对分布式光纤的原始信号进行降噪处理，将原始信号的j-1尺度空间的尺度系数cj-1,m，m＝2k+n，经过滤波器系数h(n)进行加权求和得到对应于j尺度空间的尺度系数cj,k和小波系数dj,k，n代表滤波器的阶数，k表示小波变换中平移操作的参数，Mallat小波变换系数重构的表达式为
进一步地，所述步骤(2)中，利用格拉姆角场(GAF)算法，将原始时间序列编码成特征更加集中的二维图像；首先，给出一个时间序列X＝{x1,x2,…,xn}，参数n是时间序列的长度；X按比例放缩为[-1,1]，通过下式处理减少电源波动引起的误判，确保时序信号转换极坐标信号的角度范围介于0和π之间；
其中，
表示第i时刻的归一化信号，xi表示时间序列X中第i时刻的时序信号，max(X)和min(X)分别表示时间序列X中最大值和最小值；
进一步得到余弦角以及重新获得时间序列X和时间戳得到的极性形式的每个元素半径，如下所示：
其中，
表示第i时刻的极坐标信号的极角，ri表示第i时刻的极坐标信号的极半径，ti表示第i时刻对应的时间戳，N是用作极性空间正则化因子的常数。重新调整时间序列的比例并将其转换为极坐标系。然后，通过计算每个点之间的反余弦函数之和的三角函数值，使用角度透视来识别不同时间间隔之间的时间相关性。Gramian矩阵定义如下：
其中，
表示通过归一化变换后的时间序列信号，
表示
的转置向量，I是单位行向量[1,1…1],Gramian矩阵从左上角到右下角对序列的时间信息进行编码，严格保持信号的时间相关性。
进一步地，所述步骤(3)中，利用双三次插值法进行图像放缩：双三次插值法通过使用4x4的加权平均值来调整图像大小的方法，将图像放缩为224x224的标准。
进一步地，所述步骤(3)中，使用默认参数的Adam优化器和Swish激活函数优化VGG16模型，确定Adam优化器的两个超参数β1为0.9，β2为0.999，batch size设置为24，训练200个周期，学习率设置为0.00001，并且在10,20,40,80和150个周期时衰减到先前值的90％。
VGG16模型的学习参数表达式为
其中，α表示模型要学习的参数，θ表示Softmax分类器的参数，
表示输出概率的归一化处理，xi代表数据集第i个实例的所有特征值向量。
进一步地，步骤(3)中，通过Adam算法结合AdaGrad算法和RMSProp算法，为每一个参数设计独立的自适应性学习效率，通过对梯度的一阶矩估计和二阶矩均值计算来改变学习效率；改进的VGG16网络用Adam替代了梯度下降优化器；定义公式如下：
mt＝μ×mt-1+(1-μ)×gt
nt＝v×nt-1+(1-v)×gt 2
mt＝mt/(1-μt)
nt＝nt/(1-vt)
其中，μ,v分别表示梯度的一阶矩估计和二阶矩估计的指数衰减率，控制权重分配和梯度平方的影响情况；t表示时间步长；μt,vt表示μ和v的t次幂；mt是对梯度的一阶矩估计，nt是对梯度的二阶矩估计，gt表示第t时间步的梯度，相当于是对两种期望E|gt|和E|gt 2|的估计；Δθt表示要更新的参数在时间步长t的变化量；
分别表示对mt,nt的矫正，相当于对期望的无偏估计，δ＝10-8，η为学习率。
本发明与现有技术相比具有的有益效果是：本发明首先对原始入侵信号进行小波阈值去噪，以减少高斯白噪声的干扰，利用mallat多分辨率分解，不仅能够更好地抑制光纤传感信号中的随机噪声，并且提高了运算速度。通过GAF算法将去噪后的信号映射成二维图像，然后缩小图像大小以满足CNN输入层的要求。GAF将入侵信号映射成二维图像指纹，最大限度地保留和突出了入侵信号的特征差异，这有利于CNN识别具有细微特征差异的入侵事件。同时，由于GAF不需要进行迭代操作，入侵识别的速度大大提高。再利用合适的CNN学习不同入侵信号对应图像的基本特征，并对CNN模型进行优化，利用Adam优化器优化学习率，利用Swish激活函数增强模型性能，实现对入侵事件的高速、高精度识别。本发明在分布式光纤管道入侵检测中充分挖掘了信号本身的特征，最终提高了方法的普适性和预测精度。
附图说明
图1是本发明用于分布式光纤的模式识别方法流程图；
图2是格拉姆角场编码的示意图；
图3是典型信号的GAF图像；
图4是典型CNN的基本结构图；
图5是VGG16的结构图；
图6是三种模型训练集和测试集的精度和损失。
具体实施方式
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。以下实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明提供的一种用于分布式光纤管道入侵检测的深度学习模式识别方法，数据采用浙江省某天然气管段20年6月至20年9月共计90天的分布式光纤信号采集数据，本检测方法流程图如图1所示，该方法的具体实现包括以下步骤：
(1)按照时间序列采集光纤管道的分布式光纤的原始信号并进行降噪处理。
小波变换是把某一被称为基本小波的函数作位移τ后，再在不同尺度α下，与待分析信号x(t)作内积，即
其中，α＞0，称为尺度因子，其作用是对基本小波
函数作拉伸，τ反映位移，其值可正可负，α和τ都是连续的变量。在不同尺度下小波的持续时间随值的加大而增宽，幅度则与
反比减少，但波形保持不变。
进一步的，利用小波函数进行分解与重构的主流方法Mallat算法，是小波变换的一种快速算法。j-1尺度空间的尺度系数cj-1,m，m＝2k+n，经过滤波器系数h(n)进行加权求和可以得到对应于j尺度空间的尺度系数cj,k和小波系数dj,k，n代表滤波器的阶数，k表示小波变换中平移操作的参数，Mallat具体算法如下
其中cj,k为尺度系数，dj,t为小波系数。小波变换系数重构的表达式为
(2)将一维时间序列的入侵信号转换为二维图像。
利用格拉姆角场(GAF)算法，将原始时间序列编码成特征更加集中的二维图像；如图2所示，首先将归一化的入侵信号变换到极坐标空间，然后形成Gramian矩阵，其中矩阵中的每个元素都是求和角度的余弦；具体为：利用格拉姆角场(GAF)算法，将原始时间序列编码成特征更加集中的二维图像。首先，给出一个时间序列X＝{x1,x2,…,xn}，参数n是时间序列的长度。X按比例放缩为[-1,1]，通过下式减少了电源波动引起的误判。
其中，
表示第i时刻的归一化信号，xi表示时间序列X中第i时刻的时序信号，max(X)和min(X)分别表示时间序列X中最大值和最小值；这么做可以确保角度范围介于0和π之间，有助于获得GAF的信息粒度。进一步可以得到余弦角以及重新获得时间序列X和时间戳得到的极性形式的每个元素半径，如下所示
其中，
表示第i时刻的极坐标信号的极角，ri表示第i时刻的极坐标信号的极半径，ti表示第i时刻对应的时间戳，N是用作极性空间正则化因子的常数。重新调整时间序列的比例并将其转换为极坐标系。然后，通过计算每个点之间的反余弦函数之和的三角函数值，使用角度透视来识别不同时间间隔之间的时间相关性。Gramian矩阵定义如下：
其中，
表示通过归一化变换后的时间序列信号，
表示
的转置向量，I是单位行向量[1,1…1],Gramian矩阵从左上角到右下角对序列的时间信息进行编码，严格保持信号的时间相关性。不同事件的分布式光纤管道入侵信号具有不同的特征，包括周期性、不规则周期性等，使得GAF算法能够解释单变量时间序列的共现和潜在状态。
典型信号的GAF图像如图3所示，漂移信号、正弦信号和方波信号的特征被反映为通过GAF算法编码的图像。
(3)将二维图像进行放缩之后作为训练集，输入至VGG16网络模型进行训练；具体为：利用双三次插值法进行图像放缩：双三次插值法通过使用4x4的加权平均值来调整图像大小的方法，广泛用于许多图像处理任务。这样做是为了避免在神经网络中引入太多的参数，因此将图像从2000x2000放缩为224x224的标准。
图4是一个卷积神经网络(CNN)的基本结构图。基本CNN模型主要由输入层、卷积层、池层和输出层组成。输入层作为神经网络的数据输入端口，神经元数量应与GAF算法生成的图像像素数量一致。卷积层用于从不同的入侵事件中提取输入图像的特征，具体描述如下
cl＝f(z)
其中ki是卷积核，xl-1是前一层的输出特征映射，bi是残差，z是经过卷积层后的输出特征映射，f(z)是一种非线性激活函数，通过弯曲或扭曲操作增强网络的表征能力，使网络能够学习复杂的特征，以cl作为最后全连接层的向量输出。在该方案中，选择了校正线性单元(ReLU)函数，以加快收敛速度，同时缓解训练过程的过度拟合。
池层选择最大池操作以减少输出特征地图的空间维度，其数学表达式如下
rl＝max(rl-1)
其中rl-1是前一层输出特征图中具有特定大小的池区域，rl是最大池操作后的输出，池区域所有输出的组合作为池层的最终输出。输出层以概率陈述的形式输出最终分类结果，神经元的数量与需要识别的入侵事件的类型一致。最后，通过Softmax函数对输出结果进行归一化
其中hθ(xi)表示各分类结果的概率，θ是Softmax分类器的参数，
表示输出概率的归一化，即总输出概率为1。模型中使用交叉熵损失函数如下
其中zk是一个热编码后的k类真标签，仅包含0和1的一维向量。p(yk)是取值范围为[0,1]的Softmax层的输出概率。
进一步的，选择三种典型的图像分类网络模型：VGGNet、Resnet和Inception v3进行了对比实验分析。使用交叉熵损失函数来训练这三个网络，其中β1为0.9，β2为0.999，batch size设置为24,训练200个周期，学习率设置为0.00001，并且它在10,20,40,80和150个周期时衰减到先前值的90％。通过准确率和损失函数评估模型，VGG16模型的训练精度达到了99.99％，验证精度98.81％是三个模型中最高的。因此，最后选择VGG16网络模型作为本方案的特征提取和分类器，并通过Adam优化学习率。VGG16模型有16层，通过增加多个小卷积核叠加模型的学习能力。
VGG16是一种前馈神经网络，其特点是使用3×3的卷积核在卷积层进行运算。作为前馈神经网络，各层神经元结点从输入层开始，来接收前一层神经元结点所传递来的数据和信息，对这些数据与信息进行处理并输出，VGG16深度神经网络是单向多层结构。
VGG16模型的学习参数表达式为
其中，α表示模型要学习的参数，
表示输出概率的归一化处理，xi代表数据集第i个实例的所有特征值向量，样本集中的样本需要不断进行训练与学习，Softmax基于迭代训练不断更新数据的拟合曲线，模型的损失函数J(α)公式为
其中，1{yj＝i}表示如果y(j)＝i，那么取值为1，否则为0。m,k分别代表数据集中实例数量和类型数量，调整参数α，使模型达到最小误差。通过模型损失函数的迭代与计算，参数将进一步优化，直到小于指定误差或达到最大迭代次数停止。
图5是选择的VGG16模型结构图，VGG16模型有16层，通过增加多个小卷积核叠加模型的学习能力。图6是三种模型训练集和测试集的精度和损失。
优化VGG16模型结构，确定模型参数取值。利用Adam算法优化参数学习率，利用Swish激活函数代替ReLU函数优化网络的表征能力。
首先，引入的Adam算法结合了AdaGrad算法和RMSProp算法的优势，能够为每一个参数设计独立的自适应性学习效率，通过对梯度的一阶矩估计和二阶矩均值计算来改变学习效率。改进的VGG16网络用Adam替代了传统的梯度下降优化器，使得调参更为简单，收敛更快；使用默认参数即可解决大部分问题，适应于拥有大规模数据及参数的情况。定义公式如下：
mt＝μ×mt-1+(1-μ)×gt
nt＝v×nt-1+(1-v)×gt 2
mt＝mt/(1-μt)
nt＝nt/(1-vt)
其中，μ,v分别表示梯度的一阶矩估计和二阶矩估计的指数衰减率，控制权重分配和梯度平方的影响情况；t表示时间步长；μt,vt表示μ和v的t次幂；mt是对梯度的一阶矩估计，nt是对梯度的二阶矩估计，gt表示第t时间步的梯度，相当于是对两种期望E|gt|和E|gt 2|的估计；Δθt表示要更新的参数在时间步长t的变化量；
分别表示对mt,nt的矫正，相当于对期望的无偏估计，δ＝10-8，η为学习率。
其次，引入Swish激活函数代替原模型中的ReLU激活函数。相较于ReLU函数可能会导致数值不稳定，计算溢出的不足，Swish函数有下界无上界，并且它拥有不饱和、光滑、非单调性的特征，并且在不同数据集中作为激活函数被验证准确率均有所提高。
(4)利用离线训练好的VGG16网络模型，进行分布式光纤管道入侵信号的识别，输出结果为事件类型，分为无入侵、人为活动和机械活动三类。。通过对600条报警数据进行模型检测，结果如表1所示，对三种类型事件的识别率达到了99.33％，该模型可以用于天然气管道入侵事件的检测。
表1
本发明首先对原始入侵信号进行小波阈值去噪，以减少高斯白噪声的干扰，利用mallat多分辨率分解，不仅能够更好地抑制光纤传感信号中的随机噪声，并且提高了运算速度。通过GAF算法将去噪后的信号映射成二维图像，然后缩小图像大小以满足CNN输入层的要求。GAF将入侵信号映射成二维图像指纹，最大限度地保留和突出了入侵信号的特征差异，这有利于CNN识别具有细微特征差异的入侵事件。同时，由于GAF不需要进行迭代操作，入侵识别的速度大大提高。再利用合适的CNN学习不同入侵信号对应图像的基本特征，对所选的VGG16模型进行了优化，利用Adam优化器优化参数学习率，利用Swish激活函数代替ReLU函数，使模型整体性能有了极大提升，实现对入侵事件的高速、高精度识别。本发明在分布式光纤管道入侵检测中充分挖掘了信号本身的特征，最终提高了方法的普适性和预测精度。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (6)
1.一种用于分布式光纤管道入侵检测的深度学习模式识别方法，其特征在于，该方法包括以下步骤：
(1)按照时间序列采集光纤管道的分布式光纤的原始信号并进行降噪处理。
(2)将一维时间序列的入侵信号转换为二维图像。
(3)将二维图像进行放缩之后作为训练集，输入至VGG16网络模型进行训练。
(4)利用训练后的VGG16网络模型进行分布式光纤管道入侵信号的识别，输出结果为事件类型，分为无入侵、人为活动和机械活动三类。
2.根据权利要求1所述的一种用于分布式光纤管道入侵检测的深度学习模式识别方法，其特征在于，所述步骤(1)中，利用小波函数进行分解与重构的Mallat多分辨率分解算法对分布式光纤的原始信号进行降噪处理，将原始信号的j-1尺度空间的尺度系数cj-1,m，m＝2k+n，经过滤波器系数h(n)进行加权求和得到对应于j尺度空间的尺度系数cj，k和小波系数dj，k，n代表滤波器的阶数，k表示小波变换中平移操作的参数，Mallat小波变换系数重构的表达式为
3.根据权利要求1所述的一种用于分布式光纤管道入侵检测的深度学习模式识别方法，其特征在于，所述步骤(2)中，利用格拉姆角场(GAF)算法，将原始时间序列编码成特征更加集中的二维图像；首先，给出一个时间序列X＝{x1，x2，...，xn}，参数n是时间序列的长度；X按比例放缩为[-1,1]，通过下式处理减少电源波动引起的误判，确保时序信号转换极坐标信号的角度范围介于0和π之间；
其中，
表示第i时刻的归一化信号，xi表示时间序列X中第i时刻的时序信号，max(X)和min(X)分别表示时间序列X中最大值和最小值；
进一步得到余弦角以及重新获得时间序列X和时间戳得到的极性形式的每个元素半径，如下所示：
其中，
表示第i时刻的极坐标信号的极角，ri表示第i时刻的极坐标信号的极半径，ti表示第i时刻对应的时间戳，N是用作极性空间正则化因子的常数。重新调整时间序列的比例并将其转换为极坐标系。然后，通过计算每个点之间的反余弦函数之和的三角函数值，使用角度透视来识别不同时间间隔之间的时间相关性。Gramian矩阵定义如下：
其中，
表示通过归一化变换后的时间序列信号，
表示
的转置向量，I是单位行向量[1,1…1],Gramian矩阵从左上角到右下角对序列的时间信息进行编码，严格保持信号的时间相关性。
4.根据权利要求1所述的一种用于分布式光纤管道入侵检测的深度学习模式识别方法，其特征在于，所述步骤(3)中，利用双三次插值法进行图像放缩：双三次插值法通过使用4x4的加权平均值来调整图像大小的方法，将图像放缩为224x224的标准。
5.根据权利要求1所述的一种用于分布式光纤管道入侵检测的深度学习模式识别方法，其特征在于，所述步骤(3)中，使用默认参数的Adam优化器和Swish激活函数优化VGG16模型，确定Adam优化器的两个超参数β1为0.9，β2为0.999，batch size设置为24，训练200个周期，学习率设置为0.00001，并且在10,20,40,80和150个周期时衰减到先前值的90％。
VGG16模型的学习参数表达式为
其中，α表示模型要学习的参数，θ表示Softmax分类器的参数，
表示输出概率的归一化处理，xi代表数据集第i个实例的所有特征值向量。
6.根据权利要求1所述的一种用于分布式光纤管道入侵检测的深度学习模式识别方法，其特征在于，步骤(3)中，通过Adam算法结合AdaGrad算法和RMSProp算法，为每一个参数设计独立的自适应性学习效率，通过对梯度的一阶矩估计和二阶矩均值计算来改变学习效率；改进的VGG16网络用Adam替代了梯度下降优化器；定义公式如下：
mt＝μ×mt-1+(1-μ)×gt
nt＝v×nt-1+(1-v)×gt 2
mt＝mt/(1-μt)
nt＝nt/(1-vt)
其中，μ，v分别表示梯度的一阶矩估计和二阶矩估计的指数衰减率，控制权重分配和梯度平方的影响情况；t表示时间步长；μt，vt表示μ和v的t次幂；mt是对梯度的一阶矩估计，nt是对梯度的二阶矩估计，gt表示第t时间步的梯度，相当于是对两种期望E|gt|和E|gt 2|的估计；Δθt表示要更新的参数在时间步长t的变化量；
分别表示对mt，nt的矫正，相当于对期望的无偏估计，δ＝10-8，η为学习率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210435942.7A CN114841202A (zh) | 2022-04-24 | 2022-04-24 | 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210435942.7A CN114841202A (zh) | 2022-04-24 | 2022-04-24 | 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114841202A true CN114841202A (zh) | 2022-08-02 |
Family
ID=82566559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210435942.7A Pending CN114841202A (zh) | 2022-04-24 | 2022-04-24 | 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841202A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115859186A (zh) * | 2023-02-17 | 2023-03-28 | 齐鲁工业大学(山东省科学院) | 基于格拉米角场的分布式光纤传感事件识别方法及系统 |
| CN116204784A (zh) * | 2022-12-30 | 2023-06-02 | 成都天仁民防科技有限公司 | 一种基于das的地铁隧道外部危害作业入侵识别方法 |
| CN116504005A (zh) * | 2023-05-09 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 |
| CN116863251A (zh) * | 2023-09-01 | 2023-10-10 | 湖北工业大学 | 一种分布式光纤传感扰动识别方法 |
-
2022
- 2022-04-24 CN CN202210435942.7A patent/CN114841202A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116204784A (zh) * | 2022-12-30 | 2023-06-02 | 成都天仁民防科技有限公司 | 一种基于das的地铁隧道外部危害作业入侵识别方法 |
| CN116204784B (zh) * | 2022-12-30 | 2023-09-08 | 成都天仁民防科技有限公司 | 一种基于das的地铁隧道外部危害作业入侵识别方法 |
| CN115859186A (zh) * | 2023-02-17 | 2023-03-28 | 齐鲁工业大学(山东省科学院) | 基于格拉米角场的分布式光纤传感事件识别方法及系统 |
| CN116504005A (zh) * | 2023-05-09 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 |
| CN116504005B (zh) * | 2023-05-09 | 2024-02-20 | 齐鲁工业大学(山东省科学院) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 |
| CN116863251A (zh) * | 2023-09-01 | 2023-10-10 | 湖北工业大学 | 一种分布式光纤传感扰动识别方法 |
| CN116863251B (zh) * | 2023-09-01 | 2023-11-17 | 湖北工业大学 | 一种分布式光纤传感扰动识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114841202A (zh) | 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 | |
| Huixian | The analysis of plants image recognition based on deep learning and artificial neural network | |
| Guo et al. | A deep learning just-in-time modeling approach for soft sensor based on variational autoencoder | |
| CN105224872B (zh) | 一种基于神经网络聚类的用户异常行为检测方法 | |
| CN111428789A (zh) | 一种基于深度学习的网络流量异常检测方法 | |
| CN113449660B (zh) | 基于自注意增强的时空变分自编码网络的异常事件检测方法 | |
| CN109002848B (zh) | 一种基于特征映射神经网络的弱小目标检测方法 | |
| CN111753918B (zh) | 一种基于对抗学习的去性别偏见的图像识别模型及应用 | |
| CN111080675A (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN111222689A (zh) | 基于多尺度时间特征的lstm负荷预测方法、介质及电子装置 | |
| CN114898159B (zh) | 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法 | |
| CN114548591A (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统 | |
| CN111191823B (zh) | 一种基于深度学习的生产物流预测方法 | |
| CN115760127A (zh) | 一种基于规则注意力机制的交易欺诈检测方法及系统 | |
| CN117041972A (zh) | 基于信道-时空注意自编码的车联网传感器异常检测方法 | |
| Wang et al. | Deep generation network for multivariate spatio-temporal data based on separated attention | |
| Jiang et al. | Prediction of sea temperature using temporal convolutional network and LSTM-GRU network | |
| CN113935413A (zh) | 一种基于卷积神经网的配网录波文件波形识别方法 | |
| Zheng et al. | Deep learning for typhoon intensity classification using satellite cloud images | |
| Trentin et al. | Unsupervised nonparametric density estimation: A neural network approach | |
| Gizatullin et al. | Automatic car license plate detection based on the image weight model | |
| CN115169407B (zh) | 基于时域深度特征学习的微弱瞬态信号检测方法及系统 | |
| Cheng et al. | A novel class-imbalanced ship motion data-based cross-scale model for sea state estimation | |
| Shi et al. | Key Process Protection of High Dimensional Process Data in Complex Production. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231225 Address after: No. 1751 Binsheng Road, Binjiang District, Hangzhou City, Zhejiang Province, 310000 Applicant after: Zhejiang Provincial Natural Gas Development Co.,Ltd. Applicant after: ZHEJIANG University Address before: 310012 room 205, No. 20, Youdian new village, Xihu District, Hangzhou City, Zhejiang Province Applicant before: ZHEJIANG ZHENENG NATURAL GAS OPERATION CO.,LTD. Applicant before: ZHEJIANG University |
|
| TA01 | Transfer of patent application right |