CN114692681B - 基于scnn的分布式光纤振动及声波传感信号识别方法 - Google Patents
基于scnn的分布式光纤振动及声波传感信号识别方法 Download PDFInfo
- Publication number
- CN114692681B CN114692681B CN202210271901.9A CN202210271901A CN114692681B CN 114692681 B CN114692681 B CN 114692681B CN 202210271901 A CN202210271901 A CN 202210271901A CN 114692681 B CN114692681 B CN 114692681B
- Authority
- CN
- China
- Prior art keywords
- time
- pulse
- data set
- scnn
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Abstract
本发明公开了一种基于SCNN的分布式光纤振动及声波传感信号识别方法,包括数据准备:构建不同类型的分布式光纤振动及声波传感事件信号数据集;信号预处理:对事件信号分割后做信号预处理,包括时频变换、裁剪、高斯差分滤波,构建时频特征数据集,每个事件信号时频特征包含高斯差分滤波后的一对正反时频特征图;基于时频特征数据集构建并训练无监督的脉冲卷积神经网络SCNN作为特征提取网络;识别分类:将SCNN提取的信号特征转换为特征向量,输入SVM分类器中进行监督训练并分类。本发明在实际应用中有效提升主流监督识别模型CNN的抗过拟合和泛化能力,并有效提高无监督识别模型SNN在分布式光纤传感信号识别中的实时性。
Description
技术领域
本发明涉及分布式光纤传感应用领域,具体涉及一种基于脉冲卷积神经网络(SCNN)的分布式光纤振动及声波传感信号识别方法。
背景技术
基于相敏光时域反射技术(Φ-OTDR)的光纤分布式振动传感系统及声波传感系统(DVS/DAS),利用通信光纤感测沿线环境中振动、声波等物理量的时间变化和空间分布信息,具有长距离多点定位能力强,同时感测灵敏度高,光纤中无功能器件,寿命长,单端探测,工程施工和维护简便,因此是实现大范围环境安全监测的一种重要技术手段,在管道安全、光电线缆安全、轨道安全、土木结构健康监测及周界安防等应用领域中发挥重要作用。近年来,由于DVS/DAS(分布式振动及声波传感系统)的广泛应用,复杂环境下DVS/DAS信号识别方法成为该领域热点问题。目前,以卷积神经网络(CNN)为代表的有监督的深度学习网络进行信号识别时,对训练数据量要求高,在应对不同场景及同类事件数据不一致等复杂多样噪声环境时,表现出严重的过拟合问题,导致实际系统识别能力不佳;公开号CN112749637A的发明专利中提出的基于无监督的脉冲神经网络(SNN),其抗过拟合能力相对CNN有明显提升,但其基于电导型的脉冲神经元模型中,每个神经元通过求解微分方程动态更新,且神经网络的参数多,每层神经元采用全连接的突触连接方式,导致训练、测试时间长,实时性差,难以实现DVS/DAS传感信号的在线识别。因此本发明结合以上两类典型分类算法的优势,提出利用SCNN(脉冲卷积神经网络)的深度学习方法,同时实现DVS/DAS信号识别模型抗过拟合和实时处理。
发明内容
本发明在公开号CN112749637A的发明专利中提出的分布式光纤振动及声波传感系统(DVS/DAS)信号识别方法基础上,基于脉冲神经网络(SNN)与卷积神经网络(CNN)结合的脉冲卷积神经网络(SCNN),提供了一种新的DVS/DAS传感信号识别方法,用以提升现有技术在多种复杂场景下模型的泛化能力和处理实时性。
为实现上述目的,本发明提出了一种基于SCNN的分布式光纤振动及声波传感信号识别方法,以长距离管道安全监测应用为例,该方法包括以下步骤:
步骤1:数据准备:
利用基于相敏光时域反射仪的分布式光纤声波、振动传感系统硬件采集实际应用现场的多场景复杂背景环境下管道沿线的声波或振动信号来构建信号数据库,其中包括在同一场景下采集的典型一致的信号数据集A,不同场景下采集的典型不一致的信号数据集B和非典型不一致的信号数据集C,以及不均衡数据集D,数据集A、B、C、D都有需要训练的样本,A和D均包含训练集和测试集,B和C均包含微调集和测试集;对各空间点采集的管道事件信号时间序列按时间段进行分割,构建典型事件信号数据集,再对中心空间点的一段时间信号做短时傅里叶变换STFT得到时频图,对时频图进行包括裁剪、灰度转换在内的预处理后,利用高斯差分滤波和阈值判断对时频图进行处理,得到一对时频脉冲特征图,以此构建典型事件时频特征数据集;
步骤2:构建脉冲卷积神经网络SCNN,对典型事件时频特征数据集中典型事件信号的时频特征进行无监督学习:
首先构建脉冲卷积神经网络SCNN,对脉冲神经元模型LIF进行简化,不用再解微分方程,且对侧抑制机制也进行了简化,同时结合卷积神经网络,采用卷积和池化的机制进行膜电位更新;然后对脉冲卷积神经网络SCNN进行初始化,将数据集A和数据集D的训练集以及数据B和数据集C的微调集数据作为输入对构建的脉冲卷积神经网络SCNN进行训练,这里不需要用到数据标签,训练算法利用尖峰时间相关可塑性STDP无监督训练算法进行调整,通过迭代调整使SCNN网络达到最优,得到训练好的脉冲卷积神经网络,
其中,将数据集A和数据集D的训练集以及数据B和数据集C的微调集数据作为输入对构建的脉冲卷积神经网络SCNN进行训练的具体方法为:数据集A和数据集D分别用自己的训练集训练网络然后用自己的测试集进行测试,数据集A训练好的网络分别通过数据集B和数据集C各自的微调集微调后,用数据集B和数据集C各自的测试集用于测试,数据集D训练的网络不用微调集再进行微调;
步骤3:识别分类:
长距离管道安全监测过程中,典型事件类型包括平稳环境噪声、人工挖掘、机械破路、容易误判的交通干扰;利用数据集A和数据集D带标签的训练集输入到训练好的脉冲卷积神经网络中,将脉冲卷积神经网络输出的特征图转换为一维向量输入到SVM分类器中训练,再将数据集A、B、C、D的测试集输入到SVM分类器中进行监督分类,得到测试集中的测试样本信号属于平稳环境噪声、人工挖掘、机械破路、容易误判的交通干扰这4种事件类型中的一种,并计算其识别率与测试时间,并与现有SNN网络及CNN网络的分类结果进行对比,从而评估SCNN网络的分类性能。
与现有技术相比,本发明的有益效果是:
(1)本发明提出的基于SCNN网络的光纤分布式振动及声波传感信号识别方法,融合SNN抗过拟合能力强和CNN实时性好的优点,采用简化的LIF(Leaky integrate-and-fire)神经元脉冲触发模型,保证识别性能,同时结合CNN中的卷积、池化操作,减少了计算参数,降低了算法的计算复杂度和处理时延,便于在线实时处理。
(2)本发明提出的方法在不同场景条件下具有强迁移学习能力和泛化能力,将某一场景训练的SCNN网络在其他不同场景下微调后测试,仍能达到较好的识别效果。
(3)本发明提出的方法在特征提取阶段采用无监督STDP(尖峰时间相关可塑性)学习机制,在缺乏海量训练数据时,依靠仅有的少量样本训练得到准确度较高的模型,并有效避免CNN模型中常见的过拟合问题。
(4)本发明提出的方法面对实际应用中常遇到的不均衡数据集,识别效果优于主流CNN等深度学习网络,实际应用能力增强。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的识别方法流程图;
图2为本发明中光纤分布式振动、声波传感系统结构及工作原理的示意图;
图3为本发明中经时间累积得到的光纤分布式振动、声波传感时空响应信号的示意图;
图4为本发明中基于现场信号样本构建的各类事件信号数据集A,B,C,D;
图5为本发明中不同数据集各类事件的波形图和时频图;
图6为本发明的脉冲卷积神经网络(SCNN)结构示意图;
图7为本发明中脉冲卷积神经网络(SCNN)参数说明;
图8为本发明中SVM、XGB、RF三种分类器对特征的分类效果;
图9为本发明中对比的脉冲神经网络(SNN)结构图;
图10为本发明中对比的卷积神经网络(CNN)结构图;
图11为本发明中典型一致数据集中训练集训练的SCNN、SNN和CNN,对于典型一致数据集中测试集的识别结果示意图;
图12为本发明中典型一致数据集中训练集训练的SCNN、SNN和CNN,对于典型不一致数据集B和非典型不一致数据集C的识别结果示意图,图12(a),12(c),12(e)分别为数据集B中测试集在SNN、CNN和SCNN下的识别结果,图12(b),12(d),12(f)分别为数据集C中测试集在SNN、CNN和SCNN下的识别结果;
图13为本发明中典型一致数据集中训练集训练的SCNN、SNN和CNN,对于典型不一致数据集和非典型不一致数据集的识别结果对比;
图14本发明中不均衡样本数据集中训练集训练的SCNN、SNN和CNN对于不均衡样本数据集的测试集的识别结果对比;
图15为本发明中不均衡样本数据集的训练集训练的SCNN、SNN和CNN对于不均衡样本数据集的训练集和测试集分类的混淆矩阵对比;图15(a)为CNN在训练集上测试的混淆矩阵;图15(b)为CNN在测试集上测试的混淆矩阵;图15(c)为SNN在训练集上测试的混淆矩阵;图15(d)为SNN在测试集上测试的混淆矩阵;图15(e)为SCNN训练集用于测试的混淆矩阵;图15(f)为SCNN测试集用于测试的混淆矩阵。
图16为SCNN和SNN在A、B、C、D数据集中平均100个样本的测试时间示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一:
以长距离管道安全监测应用为例,基于脉冲卷积神经网络(SCNN)的分布式光纤振动及声波传感信号识别(包括特征提取与分类)方法的处理流程如图1所示,具体包括如下步骤:
步骤1:数据准备。利用基于相敏光时域反射仪的分布式光纤声波、振动传感系统硬件采集实际应用现场的多场景复杂背景环境下管道沿线的声波或振动信号(即分布式光纤传感信号)来构建信号数据库,其中包括在同一场景下采集的典型一致的信号数据集A,少量不同场景下采集的典型不一致的信号数据集B和非典型不一致的信号数据集C,以及不均衡样本集D(数据集A,B,C,D都有需要训练的样本,A和D包含训练集和测试集,B,C包含了微调集和测试集)。对各空间点采集的管道事件信号时间序列按时间段进行分割,构建典型事件信号数据集(即图1中的事件信号数据集);再对中心空间点(例如有100个空间点的时间信号,我们选取的第50个空间点的时间信号,这里的第50个空间点也就是中心空间点)的一段时间信号做短时傅里叶变换(STFT)得到时频图;对时频图进行预处理,包括裁剪、灰度转换后,利用高斯差分滤波和阈值判断对时频图进行处理,得到一对时频脉冲特征图,以此构建典型事件时频特征数据集(即图1中的时频特征集)。
步骤2:构建脉冲卷积神经网络(SCNN),对典型事件时频特征数据集中典型事件信号的时频特征进行无监督学习。首先构建脉冲卷积神经网络,简称SCNN,由于SNN网络复杂的基于电导型的脉冲神经元模型,且层与层之间采用全连接的方式连接,需要训练大量参数以及计算微分方程,实时性较差,因此本发明对脉冲神经元模型LIF(Leaky Integrate-and-Fire)简化,不用再解微分方程,且对侧抑制机制也进行了简化,同时结合卷积神经网络,采用了卷积和池化的机制进行膜电位更新。在保证识别效果条件下,提高了实时性。对网络进行初始化。将数据集A和数据集D的训练集以及数据B和数据集C的微调集数据作为输入对构建的脉冲卷积神经网络进行训练(数据集A和数据集D中的训练集分别训练一个网络,数据集B和数据集C的微调集主要是用于数据集A训练好的网络对数据集B和数据集C进行测试时,再输入其微调集进行微调;数据集D训练的网络不用微调集再进行微调),这里不需要用到数据标签,训练算法利用STDP(尖峰时间相关可塑性)无监督训练算法进行调整,通过迭代调整使SCNN网络达到最优,得到训练好的脉冲卷积神经网络。
步骤3:识别分类。利用数据集A和数据集D带标签的训练集(这里需要标签用于分类)输入到训练好的脉冲卷积神经网络(SCNN)中,将脉冲卷积神经网络输出的特征图转换为一维向量输入到SVM分类器中训练,再将数据集A、B、C、D的测试集输入到SVM分类器中进行监督分类,得到测试集中的测试样本信号属于平稳环境噪声(即背景噪声)、人工挖掘、机械破路、容易误判的交通干扰(即交通干扰)等4种中的一种,并计算其识别率与测试时间,并与SNN的分类结果及CNN的分类结果对比从而评估SCNN的分类性能。
实施例二:
进一步地,本发明基于线性相位解调的分布式光纤振动/声波传感系统(DVS/DAS)(即基于相敏光时域反射仪的分布式光纤声波、振动传感系统硬件)来实现长距离管道安全监测,用于采集实际应用现场的多场景复杂背景环境下管道沿线的声波或振动信号的应用系统的硬件结构及其工作原理如图2所示。该应用系统包括探测光缆、光信号解调设备和信号处理主机三部分;其中探测光缆通常采用普通单模通信光纤,沿地下管道、输电线缆、城镇道路埋地铺设,也可直接利用沿管道或道路铺设的通信光缆空余纤芯。光信号解调设备内部组成器件包括光学器件和电学器件两类,由超窄线宽激光器产生连续相干光信号,经声光或电光调制器调制成光脉冲信号,光脉冲信号由掺铒光纤放大器EDFA集中放大,放大后的光脉冲信号依次经隔离器、环形器的1端口、2端口注入探测光缆;光脉冲信号沿光缆传输过程产生瑞利散射,其后向瑞利散射光信号沿光缆返回,由环形器的2端口、3端口接收,经光学滤波器滤除噪声信号后经第一耦合器(图2中第一耦合器的50/50表示分光比为50%/50%)耦合后,再将其注入到一个非平衡马赫曾德尔或迈克尔逊干涉仪等,具体由解调方法确定,经由3×3的第二耦合器输出三路相位差为120度的外界扰动引入的相位变化信息,即可获得声波/振动在光纤上的作用信号,解调出的光信号由光电探测器转换成电信号,再由波形发生卡控制的同步触发模数转换器进行信号同步采集,最后数字电信号通过网络等接口实时传输给信号处理主机。信号处理主机为普通电脑主机PC或FPGA/DSP嵌入式主板(这里的“/”表示或者),用于光纤探测信号的分析、处理,通过特定信号处理算法对感测的声波、振动信号进行智能分析、处理和识别分类,并由光时域反射原理确定该声波、振动信号在空间中的位置(例如垂距10m)。
该应用系统每个时刻返回沿空间分布的原始信号(每个时刻返回的原始信号主要指在当前时刻硬件采集的空间S维的信号)轨迹,在时间轴上连续累积T条原始信号轨迹,构建得到一个时间T维,空间S维的时空信号矩阵:
{XX=xts(t=1,2,…,T;s=1,2,…,S)} (1)
其中T为时间采样长度,S为空间采样长度,单位均为采样点。经时间累积得到的分布式光纤声波、振动传感系统的时空响应信号,如图3所示,横坐标为空间轴,表示管道沿线的数据采集空间点,两空间点的距离为ΔS;纵坐标为时间轴,两采样点采样间隔ΔT=1/fs,fs为时间轴上脉冲触发频率,即时间采样频率;xts表示矩阵XX中任意一个元素;图3中的T1,…,TM代表各个时刻的空间点连接而成的信号,L1,…,LN代表各个空间点的时间信号。
实施例三:
将累积得到的时空信号矩阵XX中每个空间点的一维时间序列,依次按列沿时间轴进行事件信号分割,并取其中心空间点的时间序列来构建典型事件信号数据集。本发明中以长距离管道安全监测为例,构建管道安全相关的典型事件信号数据集。具体操作过程如下:对每个空间点的信号时间序列,依次截取时间长度为L的事件信号,如图3中矩形框部分所示,获得中心空间点的时间序列,作为事件信号样本,截取的信号依次记为等,其中,/>表示向下取整,X1表示中心空间点在时间轴截取的第一段信号,根据实际发生的事件类型分别贴上事件类型标签。
管道安全监测过程中,典型事件类型通常有:平稳环境噪声、人工挖掘、机械破路、容易误判的交通干扰等。本实施例中,将平稳环境噪声称为正常事件,事件类别标签设为1;将人工挖掘、机械破路、交通干扰等事件统称为异常事件,其中交通干扰则属于环境干扰事件,交通干扰类别标签设为2,人工挖掘与机械破路为真实异常事件,机械破路类别标签设为3,人工挖掘类别标签设为4。根据事件类型标签分别添加到典型事件信号数据集中。本实施例中,为了验证本发明方法的有效性,根据不同测试目的,构建四个数据集,分别是数据集A,B,C,D。其中数据集A是由典型一致信号样本组成,数据集B是由典型不一致信号样本组成,数据集C是由非典型不一致信号样本组成,数据集D是由不均衡的各类信号样本组成。根据实际现场的复杂条件,若同一场景下采集的事件信号是无噪干扰的信号,称为典型信号;同一场景下采集的事件信号是受噪声干扰大的信号称为非典型信号;在不同场景(埋设光纤的地理环境有明显差异)下采集的同一类事件信号有差异的信号称为不一致信号;在同一场景下采集的同一类事件信号近乎无差异的信号称为一致信号。在不均衡数据集(数据集D)中,模拟实际实验条件获得的各类样本数差异较大的情况,将平稳环境噪声、容易误判的交通干扰、机械破路和人工挖掘这四类事件样本的样本数依次按14:8:5:3的比例构建。将数据集A和数据集D均按照比例4:1划分为各自对应的训练集与测试集,数据集B和数据集C包含微调集和测试集,数据集A和数据集D分别用自己的训练集训练网络然后用自己的测试集进行测试,数据集A训练好的网络分别通过数据集B和数据集C各自的微调集微调后,用数据集B和数据集C各自的测试集用于测试(数据集B和数据集C中的微调集指在不同场景采集的微小的无标签的训练集)。基于管道安全监测现场采集的事件信号样本,构建的数据集如图4所示。
实施例四:
将构建的各数据集的每个数据样本做信号预处理,构建信号的典型事件时频特征数据集。本发明中以通信光缆安全监测为例,具体操作过程如下:将各数据集中时间信号通过短时傅里叶变换转为时频图(这里就是指对实施例三得到的信号,利用窗口对信号局部化进行FFT)在某个时间段内局部化,通过短时傅里叶变换(STFT)构建其时频特征图:
其中x(n)是进行短时傅里叶变换的离散时间信号,n表示信号的时间点,ω表示频率点,ω(n)是一个长为L的矩形窗,用于获取短期快速傅里叶变换(FFT)(FFT是频率变换,STFT是时频变换,相当于在每个窗口做FTT,然后联合得到的STFT后的信号)的加窗数据帧,R是矩形窗窗口的滑动步长,mR是加窗数据的位置,因为窗口随时间“滑动”或“跳跃”,m表示窗口滑动到第m个滑动步长。
在短时傅里叶变换中,采用的矩形窗大小是95(约0.2s),步长是1,FFT点数是128。生成时频图后,将其进行灰度转换和裁剪预处理,得到各信号数据构建的预处理后的时频特征图如图5所示。
进一步,将每一个数据样本的预处理后的时频特征图转换为一对时频脉冲特征图作为后续网络的输入。对预处理后的时频特征图分别进行正反向高斯差分滤波(即DOG运算),经阈值判断转换为一对时频脉冲特征图,阈值判断即将图像中每个像素值与阈值比较,大于阈值则触发脉冲,否则未触发脉冲,我们用1表示触发脉冲,0表示未触发脉冲。时频脉冲特征图中每个像素值为正数或负数,使得预处理后的时频特征图对比度得到增强。正反向高斯差分滤波操作过程如下:将预处理后的时频特征图与两个不同参数的高斯函数卷积后做差分运算。两个高斯函数定义为:
其中,k=1,2,σ1,σ2分别为两个高斯函数的方差。本发明中σ1为2,σ2为1。高斯差分滤波函数DOG表示为:
DoG=Gσ1-Gσ2 (4)
正反向高斯差分滤波过程表示为:
Si′(x,y)=DoGi′*f(x,y) (5)
其中式5中的*表示卷积操作,i′取值为f或b(f表示正向高斯差分滤波,b表示反向高斯差分滤波),x为原图像中某一点的横坐标,y为原图像中该点的纵坐标,f(x,y)为原图像中该点对应的像素值(例如f(1,1)表示原图像中第1行第1个点),正、反向高斯差分滤波模板分别为DoGf=Gσ1-Gσ2和DoGb=Gσ2-Gσ1,由此,本发明中对各数据集中每一个数据样本预处理后的时频特征图用正反向两个DOG模板形成两个时频脉冲特征图,正反向高斯差分滤波的窗口大小为7×7,完成四类典型事件信号时频特征数据集的构建。
前面是对步骤1数据准备部分的进一步描述,即通过准备好的ABCD数据集,构建各自的时频特征数据集,接下来基于构建好的数据集构建网络并训练网络。
实施例五:
基于得到的时频特征数据集,构建并训练脉冲卷积神经网络(SCNN)。包括设计SCNN网络结构并初始化参数、训练网络、更新网络和输出脉冲特征四个环节:
(1)设计SCNN网络结构并初始化参数
本发明构建的SCNN网络结构包括依次连接的输入层I(编码层)-卷积层C1(侧抑制以及触发脉冲,其中侧抑制是该层的一个机制,最后会触发出脉冲)-池化层P1-卷积层C2-池化层P2共5层网络结构,如图6所示,具体网络结构参数初始化设置如图7所示,其中,输入层I的大小为2×50×100,编码方式为频率编码,连接方式为全连接方式;卷积层C1的卷积核大小为10×10,卷积核数量为32,步长为1,脉冲阈值为10;池化层P1的池化大小为2×2,步长为2,池化方式为最大值池化;卷积层C2的卷积核大小为4×4,卷积核数量为150,步长为1,脉冲阈值为1;池化层P2的池化大小为2×2,步长为2,池化方式为最大值池化。
(2)训练网络
脉冲卷积神经网络(SCNN)经过参数初始化设置后,输入准备好的典型事件信号时频
特征数据集(时频特征数据集即训练数据),通过STDP学习机制对SCNN网络结构参数进行更新,所述SCNN网络结构需要更新的参数为权值W。以第一次结构参数更新过程为例进行说明:
1)输入典型事件信号时频特征数据集完成前向传播过程
输入层I(编码层):将经过正反向高斯差分滤波并进行了阈值判断得到的一对时频脉冲特征图,再分别复制N份,得到一对长度为N的图像序列作为输入层I的输入。由此我们将正反向高斯差分滤波并阈值判断得到的一对时频脉冲特征图转换成一对时频脉冲特征图序列,本发明设置的时频脉冲特征图序列的长度N为15,即每一对时频脉冲特征图复制15份,15个图像构建成一个15s的时频脉冲特征图序列,每1s为一个时频脉冲特征图。本发明中,为了使有足够的特征值能触发脉冲,阈值判断的脉冲触发阈值(即正反向高斯差分滤波后阈值判断时的触发阈值)设为0。
卷积层(脉冲触发层):以卷积层C1为例(C1即第一个卷积层,C2为第二个卷积层)进行说明,卷积层C1包含32个卷积核,即对应了32个特征图序列,输入层I输入卷积层C1的时频脉冲特征图序列经过式(6)操作得到的图序列为特征图序列,序列中每个图叫做特征图(即更新后的膜电位),卷积层C1第一层的输入则为时频脉冲特征图序列,每个特征图序列中的像素点对应一个卷积层脉冲神经元,脉冲神经元包含该像素点的整个序列。输入一对时频脉冲特征图序列,每一个时刻通过卷积运算得到卷积层特征图中每个像素点(即脉冲神经元)膜电位的变化值,加上该脉冲神经元上一个时刻的膜电位得到其现在的膜电位,第一个时刻膜电位都为0,如式(6)所示计算当前时刻每个脉冲神经元的膜电位,然后通过阈值判断得到当前时刻的脉冲特征图,每个时刻运算完后得到当前层的脉冲特征图序列。这里以输入特征图某个像素点(脉冲神经元)的卷积为例进行说明,脉冲神经元采用LIF模型,具体表示为:
Vi(t)=Vi(t-1)+W*Si(t) (6)
其中*表示卷积操作,Vi(t)和Vi(t-1)分别表示第i个脉冲神经元在当前时刻t和上一时刻t-1的膜电位,Vi(0)初始化为0,卷积权W,即卷积核中的权值,卷积权W也是该当前层脉冲神经元与上一层脉冲神经元的连接突触的权值,即突触权,Si(t)为当前时刻第i个脉冲神经元对应的脉冲输入区域,将Si(t)与突触权卷积得到该脉冲神经元的膜电位更新值;进一步与Vi(t-1)相加,可得到该脉冲神经元更新后的膜电位。依次类推,每一个脉冲神经元膜电位根据(6)式进行更新。由于输入是一对脉冲特征图序列,卷积操作(*表示卷积)时,每一个时刻一对脉冲特征图的对应像素点(即脉冲神经元)的局部区域进行相同的操作,二者叠加求和作为该脉冲神经元新的膜电位。
更新后的膜电位是否触发脉冲采用LIF机制,当此刻某脉冲神经元膜电位超过预设的阈值时,则会发出脉冲,同时抑制当前特征图的其它脉冲神经元发出脉冲,即将其它脉冲神经元的膜电位置0。当脉冲神经元在一个时刻发出脉冲后,在时序内以后的时刻也会发出脉冲。
当某一时刻所有脉冲神经元膜电位更新完成,则通过STDP机制更新其突触权(即卷积权)W,为下一时刻所有脉冲神经元膜电位的更新作准备。如果第j个突触前神经元(突触前神经元指当前突触连接的前一层脉冲神经元)发出脉冲,即上一层的第j个脉冲神经元发出脉冲,与之相连的第i个突触后神经元(突触后神经元指当前突触连接的后一层脉冲神经元)也发出脉冲(这里当前层的第i个脉冲神经元和上一层的第j个脉冲神经元通过突触连接),即当前层与其连接的第i个脉冲神经元也发出脉冲,则当前突触权wij(下标i指当前层的第i个脉冲神经元,j指上一层的第j个脉冲神经元,ij通过突触连接,wij指当前突触权)通过参数a+更新:
Δwij=a+wij(1-wij) (7)
除了上述描述的情况外,如果第j个突触前神经元发出脉冲,与之相连的第i个突触后神经元不发出脉冲;或者第j个突触前神经元不发出脉冲,与之相连的第i个突触后神经元也不发出脉冲;或者第j个突触前神经元不发出脉冲,与之相连的第i个突触后神经元发出脉冲,当前突触权wij都会通过参数a-更新:
Δwij=a-wij(1-wij) (8)
其中,a+和a-取值过大会加快学习速率但减短学习记忆,此时网络会学习最后呈现的图;a+和a-取值过小会减缓学习速率,在网络未学习之前,脉冲神经元还并未对任何模式具有选择性,被抑制的几率更高,因此a-小于a+更好,通过参考相关文献【M.Mozafari,etal.″Bio-inspired digit recognition using reward-modulated spike-timing-dependent plasticity in deepconvolutional networks.″Pattern Recognition,vol,94,no.31,pp.87-95,2018.】,本发明中a+取0.004,a-取-0.003。权重的更新不需要为输入的时频脉冲特征图添加标签,这是一个典型的无监督训练过程。当所有脉冲神经元的卷积权全部更新后,输入下一个时刻的一对时频脉冲特征图,以此类推再进行所有脉冲神经元膜电位的更新。直到输入时频脉冲特征图序列中的所有时频脉冲特征图,整个卷积层得到的触发脉冲图即为该卷积层的输出。
池化层:池化操作以池化层P1为例(网络包含两个池化层P1和P2,这里指第一个池化层P1)进行说明。如图6所示,P1主要对卷积层C1得到的特征图序列进行池化,即对未通过阈值判断转化为脉冲前的膜电位进行池化,P1采用2×2的窗口对卷积层C1的脉冲神经元进行池化。本发明采用最大池化的方式,将所有脉冲神经元分别进行2×2的池化操作,池化过程中取2×2区域内最大的膜电位作为池化后脉冲神经元的膜电位。最后通过阈值判断将膜电位转化为脉冲,最后得到尺寸缩小的脉冲特征图,对池化层P1上一层得到的所有时刻的脉冲特征图池化后得到脉冲特征图序列。
类似再经过卷积层C2-池化层P2后,得到一个二维数组,将其转换为一维数组,作为P2的输出H=[h1,h2…hI],其中hi′表示所述二维数组里第i′行的行向量,i′=1,2,…,I,I表示该二维数组行向量的总数。P2输出为SCNN网络提取的一维深度特征向量。卷积层C2-池化层P2操作与前面卷积层C1-池化层P2相似,只是输入操作的二维神经元尺寸不同。在卷积层C2和池化层P2中,除了输入输出大小和卷积核大小个数不同之外,其卷积和池化操作与卷积层C1和池化层P1是相同的。
(3)更新网络
1)网络权重更新:
SCNN网络根据步骤2中的传播过程接收和发放脉冲,并同时进行网络更新,所述SCNN网络中所有突触权(即卷积核中的权值)利用STDP学习机制进行更新,其不需要利用标签,学习只发生在卷积层C1和C2中,SCNN网络根据网络前一层中提取的相比当前层更简单的特征来检测输入图像的视觉特征,输入图像即特征图,SCNN网络学习通过逐层完成。随着特定层(特定层指卷积层)学习的进行,SCNN网络的脉冲神经元逐渐收敛到在输入图像(输入图像即特征图)中频繁出现的不同视觉特征。如前所述,当卷积层C1学习完成时,卷积层C2开始学习。在这里,我们测量卷积层C1的学习收敛率:
u1=∑f′∑j′[wf′,j′(1-wf′,j′)]/nw (9)
其中,wf′,j′是第f′个特征的第j′个突触权,nw是当前卷积层C1中突触权的总数(与特征无关)。如果每个突触权收敛于0或1,u1趋于0。因此,当u1足够接近0时,如u1<0.01,我们就会停止对卷积层C1的学习。卷积层C2的学习收敛率与卷积层C1计算方式相同,这个机制使得很少导致突触后神经元放电的突触前神经元与该突触后神经元间的突触的权重值越来越小,即神经元间变得越来越不连接,并且在突触后神经元很少活跃的情况下尤其明显,而那些经常导致突触后神经元放电的突触前神经元与该突触后神经元间突触的权重值越来越大,由此模拟大脑神经系统中神经元间突触连接形成、强化、弱化和消失的生物机理。
该学习算法下突触权的更新发生在每次突触前神经元发放脉冲时和每次突触后神经元发放脉冲时,这一事件触发特点使得算法计算量下降,减小处理负担。
卷积层C2的学习收敛率与卷积层C1计算方式相同,卷积层C1学习完毕后再开始卷积层C2的学习,两者学习过程除了突触权个数及卷积层的输入输出大小不同,其余均相同。
SCNN网络只有卷积层需要学习,其他网络层不需要。
(4)输出脉冲特征
在SCNN网络训练好后,将数据集A,B,C,D中测试集的时频特征数据样本(即时频特征图)输入到训练好的SCNN网络中,SCNN的最后一层池化层P2输出一个一维数组,我们将其作为当前时频特征数据样本的脉冲特征向量,然后将训练集和测试集所有样本输入训练好的SCNN网络得到脉冲特征向量集,脉冲特征向量集将用于接下来的分类过程。
下面是对步骤3的详细描述。
实施例六:
基于训练好的SCNN网络提取出的脉冲特征向量,通过设计分类器进行分类识别,本发明选择了支持向量机(SVM)分类器,随机森林(RF)分类器以及XGBoost分类器进行训练分类并比较分类结果,选取最优分类器作为本发明提取脉冲特征的分类器,具体方法如下:
将数据集A中平稳环境噪声、人工挖掘、机械破路、容易误判的交通干扰这四类事件每一类分别取200个典型事件训练样本输入到训练好的SCNN网络,每一个典型事件训练样本都会输出典型事件训练样本特征向量,所有典型事件训练样本的输出共同组成典型事件训练样本特征向量集,将所述典型事件训练样本特征向量集分别输入到SVM,RF,XGBoost分类器中进行训练,训练好的三种分类器分别记为Model_T1,Model_T2,Model_T3,然后在数据集A中每一类事件随机取25个典型事件测试样本,共100个典型事件测试样本,输入到训练好的SCNN网络得到每一个典型事件测试样本特征向量,所有典型事件测试样本特征向量构成典型事件测试样本特征向量集,然后将典型事件测试样本特征向量集分别输入到Model_T1,Model_T2,Model_T3得到测试结果,循环进行5次测试,得到的结果如图8,由此选择了测试时间最短且平均识别率最高的SVM分类器作为本发明的分类器。
实施例七:
基于本发明提出的深度学习网络SCNN对事件信号进行分类,并与相同情况下(相同输入)训练好的卷积神经网络CNN和公开号为CN112749637A的发明专利中的SNN的分类效果进行比较,用于比较的CNN网络结构如图9所示,SNN网络结构如图10所示。
测试一:为了验证各个网络在小样本集上构建的优势,样本均衡条件下,从数据集A的训练集中四类事件中每一类分别选取典型事件样本数为25、50、75、100、150、200的训练样本作为训练集,记为A1,A2,A3,A4,A5,A6(A1,A2,A3,A4,A5,A6中的训练样本数分别为100、200、300、400、600、800),将各训练集分别输入到SCNN,SNN和CNN网络中进行训练,在数据集A的测试集四类事件中每一类事件随机选取25个测试样本,共100个测试样本进行测试得到分类结果,循环测试5次,取5次分类结果的算数平均值,用于少样本分类效果评估,测试结果如图11,CNN随样本数增长其识别率增长最陡,说明CNN对样本数量的依赖性最强。其中在每类样本数小于150的情况下,CNN最差,SNN分类效果略微优于SCNN;在每类样本数大于等于150的情况下,CNN最好,SCNN、SNN分类精度均略低于CNN。该测试结果说明训练样本数较少的时候对SNN和SCNN网络构建影响较小,而CNN的分类效果受样本数的影响较大。
测试二:为了验证SCNN网络在不一致数据集上的迁移学习能力,稳定性及时效性,选择了训练集A6训练的SNN、CNN和SCNN三个网络模型,对典型不一致样本数据集B(不同场景下的同一类事件有较大差异的信号但同一场景下的同一类事件差异较小)、非典型不一致样本数据集C(不同场景下的信号具有较大差异且同一场景下同一类事件也有较大差异)分别进行测试。为了进一步提升网络在不同场景下的迁移学习能力,先用不同场景下采集的无标签集通过无监督学习对SNN网络微调,将数据集B、C中的无标签微调集分别输入测试一中训练好的SNN和SCNN网络进行微调训练,首先将数据集B、C中的测试样本输入三个网络得到混淆矩阵如图12(因为CNN网络是直接用测试样本进行测试,SNN和SCNN都是无监督学习,因此可以用无标签样本微调,CNN网络采用有监督学习不能用无标签样本微调),图12(a),(c),(e)分别为数据集B在SNN、CNN和SCNN下测试的混淆矩阵,其平均识别率分别为93.00%、72.50%、91.50%,图12(b),(d),(f)分别为数据集C在SNN、CNN和SCNN下测试的混淆矩阵,其识别率分别为89.00%、67.50%和84.50%。在数据集B、C的测试集中每类事件随机选取25个测试样本,共100个测试样本输入三个网络中进行测试得到分类结果,循环测试5次,取5次分类结果的算数平均值,测试结果如图13,典型不一致样本和非典型不一致样本的测试结果SCNN与相同情况下的CNN和SNN相比较,CNN在典型不一致样本集和非典型不一致样本集测试的识别率最低,SNN的识别率略优于SCNN,说明将同一场景下数据训练得到的模型用于不同场景测试。该测试说明SNN和SCNN的迁移学习能力明显优于CNN,其中SNN的识别性能略高于SCNN。但是,SNN的测试时间最长,达到SCNN和CNN的10倍以上,而SCNN在保证较好的识别率情况下,测试时间最短,时效性最好,因此本发明选用SCNN网络。
测试三:为了验证真实情况下不均衡样本条件各个网络模型的识别效果及时效性,用数据集D中四类事件类型的所有训练样本构成训练集训练好SCNN网络得到Model_B,同样情况(采用相同的训练集)训练好CNN和SNN网络用于比较,再在数据集D四类事件类型共300个测试样本中随机选取100个样本输入Model_B及训练好的CNN和SNN网络中进行测试得到分类结果,循环测试5次,测试结果如图14,在不均衡条件下,SCNN和SNN识别效果相当,均优于CNN,说明SCNN适用于不均衡样本集的处理,且测试时间最短,具有最佳时效性。
测试四:为了进一步验证SNN、CNN和SCNN三个网络的抗过拟合能力,再将数据集D的训练集和测试集一起分别输入测试三训练好的SCNN网络、CNN网络和SNN网络进行测试,得到混淆矩阵如图15,行代表真实事件类型,列代表预测的事件类型,对角线上为某类事件被正确判定的样本数量占该类事件总样本的比例,其他网格则为某类事件被误判为其他类事件样本占该类事件总样本的比例,图15(a)为CNN训练集用于测试的混淆矩阵,图15(b)为CNN测试集用于测试的混淆矩阵,图15(c)为SNN训练集用于测试的混淆矩阵,图15(d)为SNN测试集用于测试的混淆矩阵,图15(e)为SCNN训练集用于测试的混淆矩阵,图15(f)为SCNN测试集用于测试的混淆矩阵,CNN对训练集的识别率达到了100%,但是对测试集的识别率只达到了92.0%,SNN对四类事件的训练集的识别率达到了99.03%,对测试集的识别率达到了97.67%,SCNN对四类事件的训练集的识别率达到了100%,对测试集的识别率达到了98.00%,看出CNN在此数据集训练过拟合严重,能识别所有训练集样本,但是对测试集样本识别率低。SCNN在不均衡条件下达到了最佳识别率,且时效性最优,由此证明了SCNN抗过拟合能力较强,对训练集和测试集的识别率都较高,且时效性好。
SCNN与CNN具体的测试时间比较如图16所示,其在典型一致数据集、典型不一致数据集、非典型不一致数据集以及不均衡样本集中的随机100个样本测试时间。本发明在SNN网络基础上,用卷积层和池化层替换了全连接层,减少了训练的参数;简化了LIF模型,不用每次计算都需要解微分方程,时效性得到提高。同时,由于SCNN较CNN结构简单,不需要通过损失函数进行反向传播计算。SCNN与CNN测试时间相当,为SNN的十分之一。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,在长距离管道安全监测应用中,该方法包括以下步骤:
步骤1:数据准备:
利用基于相敏光时域反射仪的分布式光纤声波、振动传感系统硬件采集实际应用现场的多场景复杂背景环境下管道沿线的声波或振动信号作为采集的管道事件信号时间序列,对各空间点采集的管道事件信号时间序列按时间段进行分割,构建典型事件信号数据集,再对中心空间点的一段时间信号做短时傅里叶变换STFT得到时频图,对时频图进行包括裁剪、灰度转换在内的预处理后,利用高斯差分滤波和阈值判断对时频图进行处理,得到一对时频脉冲特征图,以此构建典型事件时频特征数据集;
步骤2:构建脉冲卷积神经网络SCNN,对典型事件时频特征数据集中典型事件信号的时频特征进行无监督学习:
首先构建脉冲卷积神经网络SCNN,对脉冲神经元模型LIF进行了简化,不用解微分方程,且对侧抑制机制也进行了简化,同时结合卷积神经网络,采用卷积和池化的机制进行膜电位更新;然后对脉冲卷积神经网络SCNN进行初始化,根据所述典型事件时频特征数据集对构建的脉冲卷积神经网络SCNN进行训练,这里不需要用到数据标签,训练算法利用尖峰时间相关可塑性STDP无监督训练算法进行调整,通过迭代调整使SCNN网络达到最优,得到训练好的脉冲卷积神经网络;
步骤3:识别分类:
长距离管道安全监测过程中,典型事件类型包括平稳环境噪声、人工挖掘、机械破路、容易误判的交通干扰;利用所述典型事件信号数据集中带标签的数据样本输入到训练好的脉冲卷积神经网络中,将脉冲卷积神经网络输出的特征图转换为一维向量输入到最优分类器中训练,再将所述典型事件信号数据集中对应的测试集输入到最优分类器中进行监督分类,得到测试集中的测试样本信号属于平稳环境噪声、人工挖掘、机械破路、容易误判的交通干扰这4种事件类型中的一种,并计算其识别率与测试时间,并与现有SNN网络及CNN网络的分类结果进行对比,从而评估SCNN网络的分类性能。
2.根据权利要求1所述的基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,所述步骤1中所述基于相敏光时域反射仪的分布式光纤声波、振动传感系统硬件的结构及工作原理具体为:所述基于相敏光时域反射仪的分布式光纤声波、振动传感系统硬件包括探测光缆、光信号解调设备和信号处理主机三部分;其中所述探测光缆采用普通单模通信光纤,沿地下管道、输电线缆、城镇道路埋地铺设,还能够直接利用沿管道或道路铺设的通信光缆空余纤芯实现;所述光信号解调设备内部组成器件包括光学器件和电学器件两类,由超窄线宽激光器产生连续相干光信号,经声光或电光调制器调制成光脉冲信号,光脉冲信号由掺铒光纤放大器EDFA集中放大,放大后的光脉冲信号依次经隔离器、环形器的1端口、2端口注入探测光缆;光脉冲信号沿光缆传输过程产生瑞利散射,其后向瑞利散射光信号沿光缆返回,由环形器的2端口、3端口接收,经光学滤波器滤除噪声信号后经分光比为50%/50%的第一耦合器耦合后,再将其注入到一个非平衡马赫曾德尔或迈克尔逊干涉仪,具体由解调方法确定,经由3×3的第二耦合器输出三路相位差为120度的外界扰动引入的相位变化信息,即可获得声波、振动在光纤上的作用信号,解调出的光信号由光电探测器转换成电信号,再由波形发生卡控制的同步触发模数转换器进行信号同步采集,最后数字电信号通过网络接口实时传输给信号处理主机;所述信号处理主机为普通电脑主机PC或FPGA/DSP嵌入式主板,用于光纤探测信号的分析、处理,通过特定信号处理算法对感测的声波、振动信号进行智能分析、处理和识别分类,并由光时域反射原理确定该声波、振动信号在空间中的位置;
该基于相敏光时域反射仪的分布式光纤声波、振动传感系统每个时刻返回沿空间分布的原始信号轨迹,在时间轴上连续累积T条原始信号轨迹,构建得到一个时间T维,空间S维的时空信号矩阵XX:
{XX=xts(t=1,2,…,T;s=1,2,…,S)} (1)
其中T为时间采样长度,S为空间采样长度,单位均为采样点;xts表示矩阵XX中任意时间采样点t、空间采样点s的一个元素。
3.根据权利要求2所述的基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,所述步骤1具体包括:将所述时空信号矩阵XX中每个空间点的一维时间序列,依次按列沿时间轴进行事件信号分割,并取其中心空间点的时间序列来构建管道安全相关的典型事件信号数据集,具体操作过程如下:对每个空间点的信号时间序列,依次截取时间长度为L的事件信号,获得中心空间点的时间序列,作为事件信号样本,截取的信号依次记为其中,/>表示向下取整,X1表示中心空间点在时间轴截取的第一段信号,根据实际发生的事件类型分别贴上事件类型标签;
将平稳环境噪声称为正常事件,事件类别标签设为1;将人工挖掘、机械破路、容易误判的交通干扰事件统称为异常事件,其中容易误判的交通干扰则属于环境干扰事件,将容易误判的交通干扰事件类别标签设为2;人工挖掘与机械破路为真实异常事件,机械破路事件类别标签设为3,人工挖掘事件类别标签设为4;将各事件类型标签分别添加到典型事件信号数据集中;
将构建的所述典型事件信号数据集的每个数据样本做信号预处理,构建信号的典型事件时频特征数据集;在通信光缆安全监测中,具体操作过程如下:将所述典型事件信号数据集中时间信号通过短时傅里叶变换转为时频图并在某个时间段内局部化,通过短时傅里叶变换STFT构建其时频特征图:
其中x(n)是进行短时傅里叶变换的离散时间信号,n表示信号的时间点,ω表示频率点,ω(n)是一个长为L的矩形窗,用于获取短期快速傅里叶变换FFT的加窗数据帧,R是矩形窗窗口的滑动步长,mR是加窗数据的位置,因为窗口随时间“滑动”或“跳跃”,m表示窗口滑动到第m个滑动步长;
在短时傅里叶变换中,采用的矩形窗大小是95,步长是1,FFT点数是128,生成时频图后,将其进行灰度转换和裁剪预处理,得到各信号数据构建的预处理后的时频特征图;
然后将每一个数据样本的预处理后的时频特征图转换为一对时频脉冲特征图作为后续网络的输入:对预处理后的时频特征图分别进行正反向高斯差分滤波,即DOG运算,经阈值判断转换为一对时频脉冲特征图,阈值判断即将图像中每个像素值与阈值比较,大于阈值则触发脉冲,否则未触发脉冲,采用1表示触发脉冲,0表示未触发脉冲,时频脉冲特征图中每个像素值为正数或负数,使得预处理后的时频特征图对比度得到增强;
正反向高斯差分滤波操作过程如下:将预处理后的时频特征图与两个不同参数的高斯函数卷积后做差分运算,两个高斯函数定义为:
其中,k=1,2,σ1,σ2分别为两个高斯函数的方差;
正、反向高斯差分滤波模板分别为
DoGf=Gσ1-Gσ2
DoGb=Gσ2-Gσ1 (4)
正反向高斯差分滤波过程表示为:
Si′(x,y)=DoGi′*f(x,y) (5)
其中式(5)中的*表示卷积操作,i′取值为f或b,f表示正向高斯差分滤波,b表示反向高斯差分滤波,x为原图像中某一点的横坐标,y为原图像中该点对应的纵坐标,f(x,y)为原图像中该点对应的像素值,由此,对各数据集中每一个数据样本预处理后的时频特征图用正反向两个DOG模板形成两个时频脉冲特征图,正反向高斯差分滤波的窗口大小为7×7,完成所述典型事件时频特征数据集的构建。
4.根据权利要求3所述的基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,所述步骤2具体包括:
基于得到的典型事件时频特征数据集,构建并训练脉冲卷积神经网络SCNN,包括设计SCNN网络结构并初始化参数、训练网络、更新网络和输出脉冲特征四个环节:
(1)设计SCNN网络结构并初始化参数
构建的SCNN网络结构包括依次连接的输入层I、卷积层C1、池化层P1、卷积层C2和池化层P2共5层网络结构,其中,输入层I即编码层,其大小为2×50×100,编码方式为频率编码,连接方式为全连接方式;卷积层C1的卷积核大小为10×10,卷积核数量为32,步长为1,脉冲阈值为10;池化层P1的池化大小为2×2,步长为2,池化方式为最大值池化;卷积层C2的卷积核大小为4×4,卷积核数量为150,步长为1,脉冲阈值为1;池化层P2的池化大小为2×2,步长为2,池化方式为最大值池化;
(2)训练网络
脉冲卷积神经网络SCNN经过参数初始化设置后,输入准备好的典型事件信号时频特征数据集作为训练数据,通过STDP学习机制对SCNN网络结构参数进行更新,所述SCNN网络结构需要更新的结构参数为权值W,以第一次结构参数更新过程进行说明:
输入典型事件信号时频特征数据集完成前向传播过程
输入层I:将经过正反向高斯差分滤波并进行了阈值判断得到的一对时频脉冲特征图,再分别复制N份,得到一对长度为N的图像序列作为输入层I的输入,由此将正反向高斯差分滤波并阈值判断得到的一对时频脉冲特征图转换成一对时频脉冲特征图序列,设置N为15,即每一对时频脉冲特征图复制15份,15个图像构建成一个15s的时频脉冲特征图序列,每1s为一个时频脉冲特征图;为了使有足够的特征值能触发脉冲,阈值判断的脉冲触发阈值设为0;
卷积层即脉冲触发层:以卷积层C1进行说明,卷积层C1包含32个卷积核,即对应了32个特征图序列,输入层I输入卷积层C1的时频脉冲特征图序列经过式(6)操作得到的图序列为特征图序列,序列中每个图叫做特征图,即更新后的膜电位,卷积层C1第一层的输入则为时频脉冲特征图序列,每个特征图序列中的像素点对应一个卷积层脉冲神经元,脉冲神经元包含该像素点的整个序列;输入一对时频脉冲特征图序列,每一个时刻通过卷积运算得到卷积层特征图中每个像素点,即脉冲神经元膜电位的变化值,加上该脉冲神经元上一个时刻的膜电位得到其现在的膜电位,第一个时刻膜电位都为0,如式(6)所示计算当前时刻每个脉冲神经元的膜电位,然后通过阈值判断得到当前时刻的脉冲特征图,每个时刻运算完后得到当前层的脉冲特征图序列;这里以输入特征图某个像素点,即脉冲神经元的卷积进行说明,脉冲神经元采用LIF模型,具体表示为:
Vi(t)=Vi(t-1)+W*Si(t) (6)
其中*表示卷积操作,Vi(t)和Vi(t-1)分别表示第i个脉冲神经元在当前时刻t和上一时刻t-1的膜电位,Vi(0)初始化为0,卷积权W,即卷积核中的权值,卷积权W也是该当前层脉冲神经元与上一层脉冲神经元的连接突触的权值,即突触权,Si(t)为当前时刻第i个脉冲神经元对应的脉冲输入区域,将Si(t)与突触权卷积得到该脉冲神经元的膜电位更新值;进一步与Vi(t-1)相加,得到该脉冲神经元更新后的膜电位,依次类推,每一个脉冲神经元膜电位根据(6)式进行更新;由于输入是一对脉冲特征图序列,卷积操作时,每一个时刻一对脉冲特征图的对应像素点,即脉冲神经元的局部区域进行相同的操作,二者叠加求和作为该脉冲神经元新的膜电位;
更新后的膜电位是否触发脉冲采用LIF机制,当此刻某脉冲神经元膜电位超过预设的阈值时,则会发出脉冲,同时抑制当前特征图的其它脉冲神经元发出脉冲,即将其它脉冲神经元的膜电位置0,当脉冲神经元在一个时刻发出脉冲后,在时序内以后的时刻也会发出脉冲;
当某一时刻所有脉冲神经元膜电位更新完成,则通过STDP机制更新其突触权W,为下一时刻所有脉冲神经元膜电位的更新作准备;如果第j个突触前神经元发出脉冲,即上一层的第j个脉冲神经元发出脉冲,与之相连的第i个突触后神经元也发出脉冲,即当前层与其连接的第i个脉冲神经元也发出脉冲,则当前突触权wij通过参数a+更新:
Δwij=a+wij(1-wij) (7)
其中,下标i指当前层的第i个脉冲神经元,j指上一层的第j个脉冲神经元,ij通过突触连接,wij指当前突触权;
除了上述描述的情况外,如果第j个突触前神经元发出脉冲,与之相连的第i个突触后神经元不发出脉冲;或者第j个突触前神经元不发出脉冲,与之相连的第i个突触后神经元也不发出脉冲;或者第j个突触前神经元不发出脉冲,与之相连的第i个突触后神经元发出脉冲,当前突触权wij都会通过参数a-更新:
Δwij=a-wij(1-wij) (8)
其中,a-小于a+;权重的更新不需要为输入的时频脉冲特征图添加标签,这是一个典型的无监督训练过程,当所有脉冲神经元的卷积权全部更新后,输入下一个时刻的一对时频脉冲特征图,以此类推再进行所有脉冲神经元膜电位的更新,直到输入时频脉冲特征图序列中的所有时频脉冲特征图,整个卷积层得到的触发脉冲图即为该卷积层的输出;
池化层:池化操作以池化层P1进行说明,P1主要对卷积层C1得到的特征图序列进行池化,即对未通过阈值判断转化为脉冲前的膜电位进行池化,P1采用2×2的窗口对卷积层C1的脉冲神经元进行池化,采用最大池化的方式,将所有脉冲神经元分别进行2×2的池化操作,池化过程中取2×2区域内最大的膜电位作为池化后脉冲神经元的膜电位,最后通过阈值判断将膜电位转化为脉冲,得到尺寸缩小的脉冲特征图,对池化层P1上一层得到的所有时刻的脉冲特征图池化后得到脉冲特征图序列;
再经过卷积层C2和池化层P2后,得到一个二维数组,将其转换为一维数组,作为P2的输出H=[h1,h2…hI′],其中hi′表示所述二维数组里第i′行的行向量,i′=1,2,…,I′,I′表示该二维数组行向量的总数,P2的输出为SCNN网络提取的一维深度特征向量,在卷积层C2和池化层P2中,除了输入输出大小和卷积核大小个数不同之外,其卷积和池化操作与卷积层C1和池化层P1是相同的;
(3)更新网络
网络权重更新:
SCNN网络根据上述步骤(2)中的传播过程接收和发放脉冲,并同时进行网络更新,所述SCNN网络中所有突触权利用STDP学习机制进行更新,其不需要利用标签,学习只发生在卷积层C1和C2中,SCNN网络根据网络前一层中提取的相比当前层更简单的特征来检测输入图像的视觉特征,输入图像即特征图,SCNN网络学习通过逐层完成;随着卷积层学习的进行,SCNN网络的脉冲神经元逐渐收敛到在输入图像中频繁出现的不同视觉特征;当卷积层C1学习完成时,卷积层C2开始学习,通过式(9)测量卷积层C1的学习收敛率:
u1=∑f′∑j′[wf′,j′(1-wf′,j′)]/nw (9)
其中,wf′,j′是第f′个特征的第j′个突触权,nw是当前卷积层C1中突触权的总数,其与特征无关;当u1<0.01,停止对卷积层C1的学习;卷积层C2的学习收敛率与卷积层C1计算方式相同,C1和C2的学习过程除了突触权个数及卷积层的输入输出大小不同,其余均相同;SCNN网络只有卷积层需要学习,其他网络层则不需要学习;
(4)输出脉冲特征
在SCNN网络训练好后,将所述典型事件信号数据集中对应的测试集的时频特征数据样本输入到训练好的SCNN网络中,SCNN网络的最后一层池化层P2输出一个一维数组,将其作为当前时频特征数据样本的脉冲特征向量,然后将所有训练样本数据和测试样本数据输入训练好的SCNN网络得到脉冲特征向量集。
5.根据权利要求4所述的基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,所述步骤3具体包括:首先根据实际应用现场的复杂条件,将采集的事件信号分为典型信号、非典型信号、不一致信号和一致信号,并在此基础上,将构建的所述典型事件信号数据集分为数据集A、数据集B、数据集C和数据集D,其中数据集A为在同一场景下采集的典型一致的信号数据集,数据集B为在不同场景下采集的典型不一致的信号数据集,数据集C为非典型不一致的信号数据集,数据集D为不均衡数据集,数据集A、B、C、D都有需要训练的样本,A和D均包含训练集和测试集,B和C均包含微调集和测试集;在不均衡数据集D中,将平稳环境噪声、容易误判的交通干扰、机械破路和人工挖掘这四类事件样本的样本数依次按14:8:5:3的比例构建,将数据集A和数据集D均按照比例4:1划分为各自对应的训练集与测试集;
此时,所述步骤2中根据所述典型事件信号数据集对构建的脉冲卷积神经网络SCNN进行训练具体为:将数据集A和数据集D的训练集以及数据B和数据集C的微调集数据作为输入对构建的脉冲卷积神经网络SCNN进行训练,即数据集A和数据集D分别用自己的训练集训练网络然后用自己的测试集进行测试,数据集A训练好的网络分别通过数据集B和数据集C各自的微调集微调后,用数据集B和数据集C各自的测试集用于测试,数据集D训练的网络不用微调集再进行微调,得到训练好的SCNN网络;
然后基于训练好的SCNN网络提取出的脉冲特征向量,通过设计分类器进行分类识别,最终选取测试时间最短且平均识别率最高的SVM分类器作为最优分类器用于提取脉冲特征;
测试一:为了验证SCNN网络、SNN网络及CNN网络在小样本训练集上构建的优势,样本均衡条件下,从数据集A的训练集的四类事件中每一类分别选取典型事件样本数为25、50、75、100、150、200的训练样本构建训练集A1,A2,A3,A4,A5,A6,其中A1,A2,A3,A4,A5,A6中的训练样本数分别为100、200、300、400、600、800,将各训练集A1,A2,A3,A4,A5或A6分别输入到SCNN、SNN和CNN网络中进行训练,在数据集A的测试集中每一类事件随机选取25个测试样本,共100个测试样本进行测试得到分类结果,循环测试5次,取5次分类结果的算数平均值,用于小样本集分类效果评估,测试一的结果说明在小样本训练集时对SNN和SCNN网络的分类效果相比CNN网络更小;
测试二:为了验证SCNN网络在不一致数据集上的迁移学习能力、稳定性及时效性,选择了训练集A6训练的SNN、CNN和SCNN三个网络模型,对典型不一致样本数据集B、非典型不一致样本数据集C分别进行测试;为了进一步提升网络在不同场景下的迁移学习能力,首先将数据集B、C中的无标签微调集分别输入测试一中训练好的SNN和SCNN网络进行微调训练,然后将数据集B、C中的测试样本分别输入测试一中训练好的CNN网络、微调训练后的SNN和SCNN网络得到混淆矩阵,测试二的结果表明SCNN网络在保证需要的识别率前提下,测试时间最短,时效性最好;
测试三:为了验证真实情况下不均衡样本条件下SNN、CNN和SCNN三个网络模型的识别效果及时效性,用数据集D中四类事件类型的所有训练样本构成训练集训练好SCNN网络得到Model_B,采用相同的训练集训练好CNN和SNN网络用于比较,再在数据集D四类事件类型共300个测试样本中随机选取100个样本输入Model_B及训练好的CNN和SNN网络中进行测试得到分类结果,循环测试5次,测试三的结果表明在不均衡条件下,SCNN网络适用于不均衡样本集的处理,且测试时间最短,具有最佳时效性;
测试四:为了进一步验证SNN、CNN和SCNN三个网络的抗过拟合能力,再将数据集D的训练集和测试集一起分别输入测试三训练好的SCNN网络、CNN网络和SNN网络进行测试,得到混淆矩阵,测试四的结果表明SCNN网络在不均衡条件下达到了最佳识别率,且时效性最优;
SCNN与CNN网络随机选取典型一致数据集、典型不一致数据集、非典型不一致数据集以及不均衡数据集中的100个样本进行测试时间比较,结果表明SCNN与CNN网络测试时间相当,均为SNN网络的十分之一。
6.根据权利要求5所述的基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,所述σ1为2,σ2为1。
7.根据权利要求6所述的基于SCNN的分布式光纤振动及声波传感信号识别方法,其特征在于,所述a+取0.004,a-取-0.003。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210271901.9A CN114692681B (zh) | 2022-03-18 | 2022-03-18 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210271901.9A CN114692681B (zh) | 2022-03-18 | 2022-03-18 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114692681A CN114692681A (zh) | 2022-07-01 |
CN114692681B true CN114692681B (zh) | 2023-08-15 |
Family
ID=82139169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210271901.9A Active CN114692681B (zh) | 2022-03-18 | 2022-03-18 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114692681B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115622626B (zh) * | 2022-12-20 | 2023-03-21 | 山东省科学院激光研究所 | 一种分布式声波传感语音信息识别系统及方法 |
CN116863251B (zh) * | 2023-09-01 | 2023-11-17 | 湖北工业大学 | 一种分布式光纤传感扰动识别方法 |
CN117313001B (zh) * | 2023-09-20 | 2024-05-07 | 华中科技大学 | 用于分布式光纤声波传感系统的混合事件分解及识别方法 |
CN117553903A (zh) * | 2024-01-10 | 2024-02-13 | 三峡金沙江云川水电开发有限公司 | 一种基于光纤传感的大型变压器运输监测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107333040A (zh) * | 2017-07-13 | 2017-11-07 | 中国科学院半导体研究所 | 仿生视觉成像与处理装置 |
CN110236525A (zh) * | 2019-06-27 | 2019-09-17 | 上海数创医疗科技有限公司 | 一种基于迁移学习的室性心动过速心律识别用神经网络 |
CN110751057A (zh) * | 2019-09-27 | 2020-02-04 | 五邑大学 | 基于长短时记忆循环神经网络的手指静脉验证方法及装置 |
CN110867181A (zh) * | 2019-09-29 | 2020-03-06 | 北京工业大学 | 基于scnn和tcnn联合估计的多目标语音增强方法 |
CN111858989A (zh) * | 2020-06-09 | 2020-10-30 | 西安工程大学 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
CN112749637A (zh) * | 2020-12-29 | 2021-05-04 | 电子科技大学 | 一种基于snn的分布式光纤传感信号识别方法 |
CN113033759A (zh) * | 2019-12-09 | 2021-06-25 | 南京惟心光电系统有限公司 | 脉冲卷积神经网络算法、集成电路、运算装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020092691A1 (en) * | 2018-11-01 | 2020-05-07 | Peter Aj Van Der Made | An improved spiking neural network |
-
2022
- 2022-03-18 CN CN202210271901.9A patent/CN114692681B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107333040A (zh) * | 2017-07-13 | 2017-11-07 | 中国科学院半导体研究所 | 仿生视觉成像与处理装置 |
CN110236525A (zh) * | 2019-06-27 | 2019-09-17 | 上海数创医疗科技有限公司 | 一种基于迁移学习的室性心动过速心律识别用神经网络 |
CN110751057A (zh) * | 2019-09-27 | 2020-02-04 | 五邑大学 | 基于长短时记忆循环神经网络的手指静脉验证方法及装置 |
CN110867181A (zh) * | 2019-09-29 | 2020-03-06 | 北京工业大学 | 基于scnn和tcnn联合估计的多目标语音增强方法 |
CN113033759A (zh) * | 2019-12-09 | 2021-06-25 | 南京惟心光电系统有限公司 | 脉冲卷积神经网络算法、集成电路、运算装置及存储介质 |
CN111858989A (zh) * | 2020-06-09 | 2020-10-30 | 西安工程大学 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
CN112749637A (zh) * | 2020-12-29 | 2021-05-04 | 电子科技大学 | 一种基于snn的分布式光纤传感信号识别方法 |
Non-Patent Citations (1)
Title |
---|
干登轲.基于无监督脉冲神经网络的分布式光纤传感信号识别方法.中国优秀硕士学位论文全文数据库 信息科技辑.2023,(第01期),I140-375. * |
Also Published As
Publication number | Publication date |
---|---|
CN114692681A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114692681B (zh) | 基于scnn的分布式光纤振动及声波传感信号识别方法 | |
CN111242021B (zh) | 一种分布式光纤振动信号特征提取与识别方法 | |
CN108932480A (zh) | 基于1d-cnn的分布式光纤传感信号特征学习与分类方法 | |
CN112749637B (zh) | 一种基于snn的分布式光纤传感信号识别方法 | |
CN113049084B (zh) | 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法 | |
CN111649817B (zh) | 一种分布式光纤振动传感器系统及其模式识别方法 | |
CN110213244A (zh) | 一种基于时空特征融合的网络入侵检测方法 | |
CN106846729A (zh) | 一种基于卷积神经网络的跌倒检测方法和系统 | |
Wang et al. | A novel structural damage identification scheme based on deep learning framework | |
US20210118117A1 (en) | Predicting and correcting vegetation state | |
CN114595732B (zh) | 基于深度聚类的雷达辐射源分选方法 | |
Yang et al. | Pipeline safety early warning by multifeature-fusion CNN and LightGBM analysis of signals from distributed optical fiber sensors | |
CN115964670B (zh) | 一种频谱异常检测方法 | |
CN110348434A (zh) | 相机来源鉴别方法、系统、存储介质和计算设备 | |
CN111967308A (zh) | 一种在线路面不平度辨识方法及系统 | |
Wu et al. | Improved generalization in signal identification with unsupervised spiking neuron networks for fiber-optic distributed acoustic sensor | |
CN114510960A (zh) | 一种分布式光纤传感器系统模式识别的方法 | |
CN112989906A (zh) | 基于改进集成经验模态分解与XGBoost模型的光纤周界信号特征识别方法 | |
CN115598714B (zh) | 基于时空耦合神经网络的探地雷达电磁波阻抗反演方法 | |
CN116091897A (zh) | 一种基于轻量化的分布式光纤传感事件识别方法及系统 | |
CN115060184A (zh) | 一种基于递归图的光纤周界入侵检测方法及系统 | |
CN114814776A (zh) | 基于图注意力网络和迁移学习的pd雷达目标检测方法 | |
Xu et al. | Accurate tsunami wave prediction using long short-term memory based neural networks | |
CN114118163B (zh) | 一种基于机器学习的光纤入侵检测方法 | |
CN117648655A (zh) | 基于神经网络的雷达天线方向图异常检测与矫正方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |