CN113687433B - 一种基于Bi-LSTM的大地电磁信号去噪方法及系统 - Google Patents

一种基于Bi-LSTM的大地电磁信号去噪方法及系统 Download PDF

Info

Publication number
CN113687433B
CN113687433B CN202111078503.7A CN202111078503A CN113687433B CN 113687433 B CN113687433 B CN 113687433B CN 202111078503 A CN202111078503 A CN 202111078503A CN 113687433 B CN113687433 B CN 113687433B
Authority
CN
China
Prior art keywords
magnetotelluric
noise
signals
signal
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111078503.7A
Other languages
English (en)
Other versions
CN113687433A (zh
Inventor
李晋
汪嘉琳
刘业成
苏贵
刘姗姗
马翻红
彭意群
张贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202111078503.7A priority Critical patent/CN113687433B/zh
Publication of CN113687433A publication Critical patent/CN113687433A/zh
Application granted granted Critical
Publication of CN113687433B publication Critical patent/CN113687433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/38Processing data, e.g. for analysis, for interpretation, for correction

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Measuring Magnetic Variables (AREA)

Abstract

本发明公开了一种基于Bi‑LSTM的大地电磁信号去噪方法及系统,本发明构造了海量符合大地电磁微弱信号和含有强干扰特性的噪声轮廓,将二者相加得到含噪信号;将含噪信号按比例划分为相应的训练集和测试集,并定义网络对应的输入和输出,优选利用NPSO选出最优的双向长短期记忆神经网络的相关参数,再将训练集送入神经网络进行训练得到预测模型;利用预测模型对实测的大地电磁数据进行预测得到噪声轮廓;最后用实测的大地电磁数据减去预测的噪声轮廓得到有用的大地电磁信号。本发明通过上述方法可以有效准确地完成噪声轮廓的预测,从而剔除含噪信号中的噪声,保留更多有用的大地电磁信号。

Description

一种基于Bi-LSTM的大地电磁信号去噪方法及系统
技术领域
本发明属于大地电磁信号处理技术领域,具体涉及一种基于Bi-LSTM的大地电磁信号去噪方法及系统。
背景技术
随着社会经济的高速发展,我国能源和金属矿产资源的对外依存度逐年上升。矿产资源短缺、能源后备探明储量不足,已成为制约国民经济发展的重大瓶颈。大地电磁法(Magnetotelluric,MT)是苏联学者Tikhon和法国学者Cagiard 在50年代初提出利用天然交变电磁场研究地球电性结构的一种地球物理勘探方法。MT由于勘探深度大、勘探费用低、施工方便,以及资料处理与解释技术成熟,在地球物理勘探工作中占有重要地位。众多地球物理工作者通过大量实地考察和后期研究证明我国深部资源开发潜力巨大,大范围内开展深部矿产的勘探开发,是我国资源开发利用的重要战略选择。
实测资料采集、处理和解释是物探工作三个不可分割的重要阶段。由于电磁干扰的日益严重,尤其是在中国东部地区开展大地电磁测深工作变得非常困难。该地区人烟稠密,各种人文电磁干扰源如发射塔、高速公路、高铁等纵横交错,导致采集的数据中包含了各种复杂的噪声干扰。因此,如何对野外采集的受干扰的实测资料进行正确、合理的噪声压制,从强干扰中提取出可靠、有用的大地电磁信息,已成为大地电磁测深法在强电磁干扰区开展工作的前提。
随着大数据时代的改变和发展,深度学习也逐渐成为一种热门的发展趋势,它不依赖数据的频谱特征,具有处理非线性数据的能力,在时间序列数据处理上取得了显著的成绩。若能将它应用到大地电磁数据的处理中,将会对含有强干扰的大地电磁数据去噪具有重要意义。因此,如何准确预测到实测数据中复杂的噪声轮廓,有效完成噪声的分离去除,解决现有技术对噪声过处理的问题是本发明亟需考虑的。
发明内容
本发明提供了一种基于Bi-LSTM的大地电磁信号去噪方法及系统,所述方法通过引入Bi-LSTM实现了利用大地电磁含噪数据直接映射出噪声轮廓,准确预测出待测数据中的噪声轮廓,最终实现去噪,得到所需的大地电磁信号,最大限度地保留大地电磁低频段的缓变化信息。
一方面,本发明提出一种基于Bi-LSTM的大地电磁信号去噪方法,其包括如下步骤:
S1:构建若干噪声轮廓信号以及无干扰的大地电磁纯净信号,并相加作为大地电磁含噪信号;
S2:定义双向长短期记忆神经网络的输入和输出,两者利用大地电磁含噪信号及其噪声轮廓信号训练所述双向长短期记忆神经网络;
其中,输入为大地电磁含噪信号,输出为噪声轮廓信号;
S3:将待去噪的大地电磁信号输入训练好的双向长短期记忆神经网络得到噪声轮廓信号,再将所述待去噪的大地电磁信号减去所述噪声轮廓信号得到去噪后的大地电磁有用信号。
可选地,步骤S2中利用样本数据训练所述双向长短期记忆神经网络的过程中,引入正交粒子群NPSO算法寻找最优的网络参数和样本分段长度n;再基于最优的网络参数下的双向长短期记忆神经网络以及基于样本分段长度n的大地电磁含噪信号数据段继续进行训练得到训练好的双向长短期记忆神经网络;
其中,将大地电磁含噪信号数据按照n值等长度划分数据段,再输入所述双向长短期记忆神经网络进行训练。
可选地,引入正交粒子群NPSO算法寻找最优的网络参数粒子进化次数的过程如下:
S21:正交粒子群NPSO算法的参数初始化,包括种群数量、学习因子、最大迭代次数(粒子进化次数)、粒子速度范围、粒子位置范围(值域范围);其中,将每组待优化的双向长短期记忆神经网络参数和样本分段长度n作为一个粒子位置,随机生成初始粒子;
S22:以预测误差值最小为目标,基于每个粒子对应的双向长短期记忆神经网络和样本分段长度n进行训练,再基于训练后的网格性能计算每个粒子的适应度函数;
S23:基于每个粒子的适应度值进行粒子更新,再返回步骤S22进入下一次迭代直至满足迭代终止条件,进入步骤S24;
其中,将每个粒子的适应度值和历史最优解进行比较,不断更新得到新的历史最优解,在迭代次数达到最大迭代次数时退出运算。其他可行的方式中可以设置其他迭代终止条件。
更新过程中,每个粒子的速度更新公式表示为:
Figure BDA0003263118540000031
式中,
Figure BDA0003263118540000032
是第t+1、t次迭代的速度,c1、c2是学习因子,r1、r2是随机因子,
Figure BDA0003263118540000033
是第t+1次、第t次迭代的位置,pij是粒子i在当前移动过程中适应度的最大值,pgi是在其他粒子相比较于粒子i的适应度指标的最大值。
在对当前的粒子i进行计算之后发现比历史最优解的效果更好时,则更新历史解,其公式如下:
Figure BDA0003263118540000034
其中,
Figure BDA0003263118540000035
表示在第t+1和t次迭代时的位置。在位置更新的时候如果超出了边界值则取边界值。
S24:选取最优粒子,并将所述最优粒子对应的双向长短期记忆神经网络参数应用至双向长短期记忆神经网络,以及将所述最优粒子对应的样本分段长度划 n分处理大地电磁含噪信号,再进行网络训练得到训练好的双向长短期记忆神经网络。
可选地,S22中以双向长短期记忆神经网络的预测值与真实值的误差作为适应度函数,适应度函数的公式如下:
Figure BDA0003263118540000036
其中,F为适应度值,L为参与训练或评估的全部数据点,yt是第l个数据点对应的实际的噪声轮廓信号,yp是第l个数据点对应的预测的噪声轮廓信号。
可选地,S24中利用FER值作为判定每个粒子的适应度的指标时,FER 值最大的粒子为找寻到的最优粒子。其中,FER的公式如下:
Figure BDA0003263118540000041
式中,A是尺度因子,
Figure BDA0003263118540000042
Figure BDA0003263118540000043
分别表示在上一次迭代中粒子适应度最好和最差的位置。FER(a,i)表示粒子i相对于粒子a的FER,pa和pi分别表示当前粒子a和粒子i的历史最佳位置。最佳位置表示当前粒子在移动的过程中适应度值最大时的位置。
其中,尺度因子A的式子如下:
Figure BDA0003263118540000044
式中,||H||为搜索的尺度上限与下限差的二范数,
Figure BDA0003263118540000045
Figure BDA0003263118540000046
分别表示在上一次迭代中粒子适应度最好和最差的位置。
可选地,所述双向长短期记忆神经网络的网络参数经过正交粒子群NPSO算法筛选后,最佳网络参数组合如下:
隐藏层神经元数为1000,最大迭代次数为250,初始学习率为0.005,学习率衰落因子为0.5,学习率衰落周期为125,梯度阈值为1,激活函数为sigmod。
可选地,设定训练集和测试集,所述训练集和所述测试集中均设有大地电磁含噪信号,所述方法还包括:利用测试集中大地电磁含噪信号验证长短期记忆神经网络拟合效果,实现过程如下:
S41:基于样本分段长度n将测试集中的大地电磁含噪信号进行数据段划分,设划分后测试集的一个数据段样本T1为:T1=[t1 t2 ... tn],t1、t2、tn分别为划分一个数据段样本中第1个、第2个、第n个数据点;
S42:将测试集样本数据送入长短期记忆神经网络Bi-LSTM的前向LSTM层和后向LSTM层中得到对应的输出YPred;
其中,对应输入样本T1的输出Y1为:Y1=[y1 y2 ... yn],y1、y2、yn为输出Y1中第1个、第2个、第n个数据点;输出结果的生成过程如下:
t时刻在两层中的隐藏状态h(1)t和h(2)t中,公式如下:
h(1) t=f1(u(1)ht-1 (1)+w(1)xt+b(1))
Figure BDA0003263118540000051
其中f1()为前向信息提取函数,u(1)和w(1)均为权重矩阵,b(1)为偏置项;f2() 为后项信息提取函数,u(2)和w(2)均为权重矩阵,b(2)为偏置项;
将h(1)t和h(2)t进行拼接得到在当前时刻t的输出yt,公式如下:
Figure BDA0003263118540000052
按照上述方法进行循环预测;
S46:将测试集中大地电磁含噪信号XTest与预测出的噪声轮廓YPred相减得到重构的有用信号,再与构造的无干扰的原始大地电磁纯净信号相比较,验证长短期记忆神经网络拟合效果。
可选地,本发明中基于任一组网络参数下的双向长短期记忆神经网络以及基于样本分段长度n的大地电磁含噪信号数据段时,双向长短期记忆神经网络的训练过程为:
S2-1:对大地电磁含噪信号进行标准化处理,将基于n值划分大地电磁含噪信号为m段,将输入数据变换为n×m的矩阵作为训练集的输入XTrain,按列依次送入网络,输入矩阵如下:
Figure BDA0003263118540000053
式中,矩阵每一列表示一个输入信号(一个数据段样本),
Figure BDA0003263118540000061
表示第n行的第m个数据的值;
S2-2:将构造好的含有大尺度干扰的纯噪声轮廓信号同样进行标准化处理之后按照训练集的划分方式进行划分,作为网络的输出YTrain,输出矩阵如下:
Figure BDA0003263118540000062
式中,矩阵每一列表示一个输出信号,
Figure BDA0003263118540000063
表示第n行中的第m个数据的值;
S2-3:设置好网络对应的输入和输出以及定义网络的相关参数,设置网络输入特征维度为n,Bi-LSTM层的隐藏单元层numhiddenunits,全连接层特征维度 n;
S2-4:定义双向长短期记忆神经网络的内部架构,序列输入层,Bi-LSTM层,全连接层和回归复原层;
S2-5:设置双向长短期记忆神经网络(Bi-LSTM)网络模型的训练参数,最大迭代次数,初始学习率,学习率下降因子,梯度阈值,并选用求解器算法更新权重值;
S2-6:网络依据S2-1和S2-2中的数据对应关系进行学习预测,并采用损失函数(loss)和相对均方根误差(RMSE)用于判断训练模型真实值与预测值的差距,以所述差距为依据进行网络模型的参数优化;
可选地,S2-1中进行网络训练之前还包括对训练集中的数据P进行标准化处理后得到P1,其中,标准化公式如下:
Figure BDA0003263118540000064
式中,Pi表示训练集数据中的元素,Pmin表示训练集数据中大地电磁含噪信号的幅值最小值,Pmax表示训练集数据中大地电磁含噪信号的幅值最大值,P1 表示标准化处理后的训练集数据。
同理,若有测试集,针对测试集中的大地电磁含噪信号进行如上标准化处理。
可选地,步骤1中大地电磁含噪信号的构建过程如下:
分别构造含有典型的方波、三角波、类充放电和脉冲的噪声轮廓信号;每段噪声轮廓信号的长度为L,四类噪声轮廓的长度为4L,幅值在10-5到105之间;
构造纯净的无干扰信号作为大地电磁纯净信号,大地电磁纯净信号的长度为 4L,幅值在-1000到1000之间;
将噪声轮廓信号与大地电磁纯净信号的和作为大地电磁含噪信号。
本发明以幅值大小进行样本构建,譬如幅值1000以内判定为有用信号,将信号输入网络进行特征提取时,可以直接利用大地电磁信号本身的幅值作为特征参数,避免引入过多其它特征参数,影响后续噪声预测的精度。相较于传统方法减少了运算过程,降低了运算难度。相对于普通的单向长短期记忆神经网络精度更高。
可选地,若大地电磁含噪数据输入双向长短期记忆神经网络之前进行了标准化处理,则得到每个数据段对应的输出结果Y之后进行拼接以及反标准化处理,所述反标准化公式如下:
YPred2=[YPred1×(Tmax-Tmin)]+Tmin
式中,YPred1代表预测的噪声轮廓信号,YPred2代表反标准化后的噪声轮廓信号,Tmax代表测试集中大地电磁含噪信号的幅值最大值,Tmin代表测试集中大地电磁含噪信号的幅值最小值。
第二方面,本发明提供一种基于上述方法的系统,其包括:
样本库构建模块:用于构建若干噪声轮廓信号以及无干扰的大地电磁纯净信号,两者相加作为大地电磁含噪信号;
Bi-LSTM模型构建模块:用于定义双向长短期记忆神经网络的输入和输出,并利用大地电磁含噪信号及其噪声轮廓信号训练所述双向长短期记忆神经网络;
所述Bi-LSTM预测模型用于预测所述干扰数据段的噪声轮廓;
预测模块:用于将待去噪的大地电磁信号输入至所述Bi-LSTM预测模型进行预测得到与之对应的噪声轮廓信号;
重构模块:用于将所述待去噪的大地电磁信号减去所述噪声轮廓信号得到去噪后的大地电磁有用信号。
有益效果
1、本发明提供了一种基于Bi-LSTM的大地电磁信号去噪方法,相比于传统的先分类再预测的方法,本发明提出了直接利用含噪数据映射噪声轮廓的新方法,通过大量的训练该网络学习到输入与输出之间的函数关系,可以准确地预测出实测数据中的噪声轮廓,相较于先分类再预测的两步实现过程,本发明将去噪过程缩减为一步实现,提高了信噪分离效率。尤其是本发明针对实测大地电磁数据中微弱的纯净信号难以直接预测的难题,提出了预测大尺度噪声轮廓的方法,相较于预测微弱的纯净信号,噪声轮廓会有更明显的可以识别的特征,直接预测噪声轮廓可以更加准确地将大尺度噪声剥离出来,从而得到更为精确的有用信号。
2、本发明进一步的优选方案中,提出了正交粒子群NPSO算法优化网络参数以及样本分段长度n。其中,利用NPSO算法其种群规模的设定范围和实测数据段长度范围一致,利用该算法可以快速地寻找到Bi-LSTM网络中效果最优的分段长度n,针对传统Bi-LSTM经过大量实验后人为选取最优参数的方法节约了大量的人力、物力和时间;与此同时,还优化了网络参数,本发明利用NPSO在提升了运算效率的同时,也实现了自适应和高精度的噪声预测。
附图说明
图1为本发明一种基于Bi-LSTM的大地电磁信号去噪的流程图。
图2为Bi-LSTM处理大地电磁信号的原理图。
图3为从构造的样本库数据中随机抽取的一组时域波形图,其中图(a)为含有方波、三角波和脉冲干扰的大地电磁信号,图(b)为有用的大地电磁信号。
图4为双向长短期记忆神经网络的模型训练图。其中图(a)为相对均方根误差,图(b)为损失函数。
图5为模拟信号使用双向长短期记忆神经网络得到的噪声轮廓,以及重构的有用信号。
图6为使用Bi-LSTM对实测大地电磁数据的去噪效果图。
具体实施方式
本发明提供了一种基于Bi-LSTM的大地电磁信号去噪方法,其将双向长短期记忆神经网络Bi-LSTM应用到大地电磁信号信噪分离技术领域,提高信噪分离的精度以及效率。尤其是,本发明优选方案中进一步引入了正交粒子群NPSO 算法寻找最优的网络参数和样本分段长度n,更进一步提升了模型的准确性。下述实施例以其为例进行说明,但是应当理解,其他可行的实施例中,在不同脱离本发明基础构思上,并不局限于是否引入优化算法以及引入哪种优化算法。下面将结合实施例对本发明做进一步的说明。
实施例1:
本实施例提供的一种基于Bi-LSTM的大地电磁信号去噪方法实质上是一种基于NPSO-Bi-LSTM的大地电磁信号去噪方法。如图1所示,所示方法包括以下步骤:
步骤1:以大地电磁信号时间序列的幅值作为特征参数,并构造包含海量符合实际大地电磁微弱信号和强干扰特性的噪声轮廓信号,将二者相加得到含噪信号;
为了更好地表征大地电磁实测数据的时域波形特征,分别构造含有典型的方波、三角波和脉冲的噪声轮廓信号,每段模拟信号的长度为80000,幅值在10-5到105之间;
构造纯净的干扰信号作为纯净信号。纯净信号的长度为320000,幅值在-1000 到1000之间;将噪声轮廓与纯净信号的和作为含噪数据。
步骤2:将步骤1得到的含噪信号和噪声轮廓按照7:3的比例划分为训练集和测试集备用,通过S1构造出的训练集长度为224000,测试集长度为96000。
步骤3:定义双向长短期记忆神经网络的输入和输出,并利用大地电磁含噪信号及其噪声轮廓信号训练所述双向长短期记忆神经网络。其中,引入正交粒子群NPSO算法寻找最优的网络参数和样本分段长度n。
本实施例中,不论是寻优过程的网络训练或者基于寻优结果后的网络训练,均优选对输入网络之前的测试集数据进行标准化处理以及分段处理,再输入双向长短期记忆神经网络。
以n=50为例,对测试集的含噪信号进行标准化处理,将含噪信号按长度为固定值50划分为4800个,将输入数据变换为50×4800的矩阵作为训练集的输入 XTrain,按列依次送入网络,输入矩阵如下:
Figure BDA0003263118540000101
式中,矩阵每一列表示一个输入信号,
Figure BDA0003263118540000102
表示第4800个样本中的第1 个数值,是原数据列中第223951个点的值;
将构造好的含噪数据同样进行标准化处理后按照训练集的划分方式进行划分,作为网络的输出YTrain,输出矩阵如下:
Figure BDA0003263118540000103
式中,矩阵每一列表示一个输出信号,输入与输出为对应关系,XTrain与 YTrain的矩阵按列成对应的输入和输出的关系。
其中,本发明的NPSO寻优过程是将待寻优的参数作为粒子位置,运用NPSO 算法进行寻优。本实施例中,利用NPSO找寻最优的适合长短期记忆神经网络处理的数据段长度为50,进而设置网络输入特征维度为50,全连接层特征维度50。寻优确定的网络参数组合为:内部隐藏层为1000,设置最大迭代次数为250,初始学习率为0.005,学习率下降因子为0.5,梯度阈值为1,并选用求解器算法adam 更新权重值。
本实施例中网络对输入和输出数据之间的对应关系进行学习,并采用损失函数(loss)和相对均方根误差(RMSE)用于判断训练模型真实值与预测值的差距,以所述差距为依据进行网络模型的参数优化。
如图4所示为使用上述样本库信号训练双向长短期记忆神经网络的结果,当训练次数达到60次左右,训练集和验证集的相对均方根误差和损失函数稳定在一个极小值且在250次训练完成后损失函数值趋近于0,最终该网络模型训练成功。
至此,步骤1到步骤3构建出了本发明的噪声样本库和纯净信号样本库,并且成功地搭建出了本发明所需要的网络模型框架。
步骤4:利用训练得到的网络模型对测试集信号进行预测验证网络的拟合效果,达到满意的效果后对实测大地电磁信号进行预测,得到实际信号中的噪声轮廓。
将样本库中的测试集数据(XTest)进行标准化处理之后划分为与训练集等长的数据段,XTest经处理后变为50×1920的矩阵形式,设其中一个测试集的样本为T1=[t1 t2... t50];将测试集(XTest)变换后的矩阵按列送入网络进行测试,依次得到对应的输出YPred,对应输入为T1的输出为Y1=[y1 y2 ... y50];
将处理后的测试集送入Bi-LSTM的前向LSTM层和后向LSTM层中,得到 t时刻在两层中的隐藏状态h(1)t和h(2)t中,公式如下:
h(1) t=f1(u(1)ht-1 (1)+w(1)xt+b(1))
Figure BDA0003263118540000111
其中f1()为前向信息提取函数,u(1)和w(1)为其权重矩阵,b(1)为其偏置项; f2()为后项信息提取函数,u(2)和w(2)为其权重矩阵,b(2)为其偏置项;
将前向信息和后项信息拼接,将h(1)t和h(2)t进行拼接,得到t时刻的输出Yt,公式如下:
Figure BDA0003263118540000112
将t时刻的输出Yt作为该神经网络的预测输出;对测试集中的样本进行循环预测后得到的矩阵将其按列连接后再转置为与P相同的数据类型YPred1,再对其进行反标准化处理得到YPred2;将测试集XTest与预测出的噪声轮廓YPred2 相减得到重构的有用信号,再与构造的原始信号相比较,用信噪比(SNR),相似度(acc)等参数评价网络的预测效果;测试集的数据用于检验模型预测准确度,按照上述预测方法进行循环预测得到预测结果。图5展示了一段双向长短期记忆神经网络对模拟数据预测的效果,预测值和真实值之间数值接近且形态接近,证明预测值在很大程度上能够反映真实数据的特征;
将实测的大地电磁噪声数据按照上述步骤进行处理后送入训练成型的网络进行预测得到实测数据中的噪声轮廓;
步骤5:将预测的噪声轮廓进行反标准化处理,用实测的大地电磁信号减去该噪声轮廓得到重构的有用信号;本发明中将该实测的大地电磁信号减去上述预测数据后得到去噪后的有用的大地电磁信号作为所需要的纯净信号,以此达到去噪的目的。
如图6所示,为使用Bi-LSTM对实测大地电磁数据去噪效果图,图6中第一道曲线为实测的含噪数据,第二道数据是实时提取出来的大尺度噪声轮廓,第三道是重构的有用信号,图中可以明显看出本发明所述方法的去噪效果显著。同时也可以理解,采用NPSO算法优化后的网络性能会更优,去噪效果更为显著。
实施例2:
基于上述实施例1提供的一种基于NPSO-Bi-LSTM大地电磁信号去噪方法的大地电磁信号去噪系统,包括:样本库构建模块、NPSO参数寻优模块、 Bi-LSTM模型构建模块、预测模块、重构模块。
其中,样本库构建模块用于构建大地电磁信号的噪声样本库和纯净信号样本库。
NPSO参数寻优模块:用于寻找合理范围内的最优数据段划分长度和网络参数,选择最优的参数组合用以提升Bi-LSTM网络的预测精度。
Bi-LSTM模型构建模块:用于定义双向长短期记忆神经网络的输入和输出,并利用大地电磁含噪信号及其噪声轮廓信号训练所述双向长短期记忆神经网络。
所述Bi-LSTM预测模型用于预测所述干扰数据段的噪声轮廓;
预测模块:用于将待去噪的大地电磁信号输入至所述Bi-LSTM预测模型进行预测得到与之对应的噪声轮廓;
重构模块:用于将所述待去噪的大地电磁信号减去所述噪声轮廓信号得到去噪后的大地电磁有用信号。
应当理解,在一些可行的方式中,若未引入优化算法或者引入其他优化算法,则NPSO参数寻优模块不存在或者为基于其他优化算法的参数寻优模块。
应当理解,上述单元模块的具体实现过程参照方法内容,本发明在此不进行具体的赘述,且上述功能模块单元的划分仅仅是一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。同时,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
分析以上具体实施方案可知,本发明中自适应和高精度体现在引入了大样本学习的双向长短期记忆神经网络且适合于预测一维大地电磁信号中的噪声轮廓;相较于传统的去噪方法提出了一种全新的方式,极大地提高了数据的处理速度,突出本发明方法在噪声预测过程中的准确性。
以上所述的具体实施方式,对本发明的技术领域、背景、目的、方案和有益效果做了进一步的详细说明,本发明在此不进行具体的赘述,且上述功能模块单元的划分仅仅是一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。同时,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所应理解的是,本实施方式仅为本发明的优选方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,做出的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于Bi-LSTM的大地电磁信号去噪方法,其特征在于:包括如下步骤:
S1:构建若干噪声轮廓信号以及无干扰的大地电磁纯净信号,两者相加作为大地电磁含噪信号;
S2:定义双向长短期记忆神经网络的输入和输出,并利用大地电磁含噪信号及其噪声轮廓信号训练所述双向长短期记忆神经网络;
其中,输入为大地电磁含噪信号,输出为噪声轮廓信号;
S3:将待去噪的大地电磁信号输入训练好的双向长短期记忆神经网络得到噪声轮廓信号,再将所述待去噪的大地电磁信号减去所述噪声轮廓信号得到去噪后的大地电磁有用信号;
步骤S2中利用样本数据训练所述双向长短期记忆神经网络的过程中,引入正交粒子群NPSO算法寻找最优的网络参数和样本分段长度n;再基于最优的网络参数下的双向长短期记忆神经网络以及基于样本分段长度n的大地电磁含噪信号数据段继续进行训练得到训练好的双向长短期记忆神经网络;
其中,将大地电磁含噪信号数据按照n值等长度划分数据段,再输入所述双向长短期记忆神经网络进行训练;
引入正交粒子群NPSO算法寻找最优的网络参数和样本分段长度n的过程如下:
S21:正交粒子群NPSO算法的参数初始化,包括种群数量、学习因子、最大迭代次数、粒子速度范围、粒子位置范围;其中,将每组待优化的双向长短期记忆神经网络参数和样本分段长度n作为一个粒子位置,随机生成初始粒子;
S22:以预测误差值最小为目标,基于每个粒子对应的双向长短期记忆神经网络和样本分段长度n进行训练,再基于训练后的网格性能计算每个粒子的适应度函数;
S23:基于每个粒子的适应度值进行粒子更新,再返回步骤S22进入下一次迭代直至满足迭代终止条件,进入步骤S24;
S24:选取最优粒子,并将所述最优粒子对应的双向长短期记忆神经网络参数应用至双向长短期记忆神经网络以及将所述最优粒子对应的样本分段长度n划分处理大地电磁含噪信号,再进行网络训练得到训练好的双向长短期记忆神经网络。
2.根据权利要求1所述的方法,其特征在于:S22中以双向长短期记忆神经网络的预测值与真实值的误差作为适应度函数,适应度函数的公式如下:
Figure FDA0003655996550000021
其中,F为适应度值,L为参与训练或评估的全部数据点,yt是第l个数据点对应的实际噪声轮廓信号,yp是第l个数据点对应预测的噪声轮廓信号。
3.根据权利要求1所述的方法,其特征在于:S24中利用FER值作为判定每个粒子的适应度指标时,FER值最大的粒子为找寻到的最优粒子。
4.根据权利要求1所述的方法,其特征在于:所述双向长短期记忆神经网络的网络参数经过正交粒子群NPSO算法筛选后,最佳网络参数组合如下:
隐藏层神经元数为1000,最大迭代次数为250,初始学习率为0.005,学习率衰落因子为0.5,学习率衰落周期为125,梯度阈值为1,激活函数为sigmod。
5.根据权利要求1所述的方法,其特征在于:设定训练集和测试集,所述训练集和所述测试集中均设有大地电磁含噪信号,所述方法还包括:利用测试集中大地电磁含噪信号验证长短期记忆神经网络拟合效果,实现过程如下:
S41:基于样本分段长度n将测试集中的大地电磁含噪信号进行数据段划分,设划分后测试集的一个样本T1为:T1=[t1 t2...tn],t1、t2、tn分别为划分一个数据段样本中第1个、第2个、第n个数据点;
S42:将测试集样本数据送入长短期记忆神经网络Bi-LSTM的前向LSTM层和后向LSTM层得到对应的输出YPred;
其中,对应输入样本T1的输出Y1为:Y1=[y1 y2...yn],y1、y2、yn为输出Y1中第1个、第2个、第n个数据点;输出结果的生成过程如下:
t时刻在两层中的隐藏状态h(1)t和h(2)t中,公式如下:
h(1)t=f1(u(1)ht-1 (1)+w(1)xt+b(1))
Figure FDA0003655996550000022
其中f1()为前向信息提取函数,u(1)和w(1)均为权重矩阵,b(1)为偏置项;f2()为后向信息提取函数,u(2)和w(2)均为权重矩阵,xt为t时刻的输入,b(2)为偏置项;
将h(1)t和h(2)t进行拼接得到在当前时刻t的输出yt,公式如下:
Figure FDA0003655996550000031
按照上述方法进行循环预测;
S46:将测试集XTest与预测出的噪声轮廓YPred相减得到重构的有用信号,再与构造的无干扰的原始大地电磁纯净信号相比较,验证双向长短期记忆神经网络拟合效果。
6.根据权利要求1所述的方法,其特征在于:步骤1中大地电磁含噪信号的构建过程如下:
分别构造含有典型的方波、三角波、类充放电和脉冲的噪声轮廓信号;每段噪声轮廓信号的长度为L,四类噪声轮廓的长度为4L,幅值在10-5到105之间;
构造纯净的无干扰信号作为大地电磁纯净信号,大地电磁纯净信号的长度为4L,幅值在-1000到1000之间;
将噪声轮廓信号与大地电磁纯净信号的和作为大地电磁含噪信号。
7.根据权利要求6所述的方法,其特征在于:若大地电磁含噪数据输入双向长短期记忆神经网络之前进行了标准化处理,则得到双向长短期记忆神经网络输出结果后进行反标准化处理,所述反标准化公式如下:
YPred2=[YPred1×(Tmax-Tmin)]+Tmin
式中,YPred1代表预测的噪声轮廓信号,YPred2代表反标准化后的噪声轮廓信号,Tmax代表测试集中大地电磁含噪信号的幅值最大值,Tmin代表测试集中大地电磁含噪信号的幅值最小值。
8.一种基于权利要求1-7任一项所述方法的系统,其特征在于:包括:
样本库构建模块:用于构建若干噪声轮廓信号以及无干扰的大地电磁纯净信号,两者相加作为大地电磁含噪信号;
Bi-LSTM模型构建模块:用于定义双向长短期记忆神经网络的输入和输出,并利用大地电磁含噪信号及其噪声轮廓信号训练所述双向长短期记忆神经网络;
Bi-LSTM预测模型用于预测干扰数据段的噪声轮廓;
预测模块:用于将待去噪的大地电磁信号输入至Bi-LSTM预测模型进行预测得到与之对应的噪声轮廓信号;
重构模块:用于将待去噪的大地电磁信号减去所述噪声轮廓信号得到去噪后的大地电磁有用信号。
CN202111078503.7A 2021-09-15 2021-09-15 一种基于Bi-LSTM的大地电磁信号去噪方法及系统 Active CN113687433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111078503.7A CN113687433B (zh) 2021-09-15 2021-09-15 一种基于Bi-LSTM的大地电磁信号去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111078503.7A CN113687433B (zh) 2021-09-15 2021-09-15 一种基于Bi-LSTM的大地电磁信号去噪方法及系统

Publications (2)

Publication Number Publication Date
CN113687433A CN113687433A (zh) 2021-11-23
CN113687433B true CN113687433B (zh) 2022-07-12

Family

ID=78586325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111078503.7A Active CN113687433B (zh) 2021-09-15 2021-09-15 一种基于Bi-LSTM的大地电磁信号去噪方法及系统

Country Status (1)

Country Link
CN (1) CN113687433B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102674B (zh) * 2022-06-17 2023-08-22 西安电子科技大学 基于Bi-LSTM网络的高速链路预测眼图方法
CN115545080B (zh) * 2022-10-20 2023-05-23 南京航空航天大学 滑油屑末在线检测方法及装置
CN117233850B (zh) * 2023-10-19 2024-01-26 中国地质调查局成都地质调查中心(西南地质科技创新中心) 一种大地电磁信号处理方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11456007B2 (en) * 2019-01-11 2022-09-27 Samsung Electronics Co., Ltd End-to-end multi-task denoising for joint signal distortion ratio (SDR) and perceptual evaluation of speech quality (PESQ) optimization
US11668853B2 (en) * 2019-08-06 2023-06-06 ExxonMobil Technology and Engineering Company Petrophysical inversion with machine learning-based geologic priors
CN112686464A (zh) * 2021-01-07 2021-04-20 云南电力技术有限责任公司 短期风电功率预测方法及装置
CN112885368B (zh) * 2021-01-25 2023-07-21 西安邮电大学 基于改进胶囊网络的多频带谱减法振动信号去噪方法
CN113158553B (zh) * 2021-03-25 2022-04-01 湖南师范大学 一种基于cnn-lstm的大地电磁信号噪声压制方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法

Also Published As

Publication number Publication date
CN113687433A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113687433B (zh) 一种基于Bi-LSTM的大地电磁信号去噪方法及系统
CN108805269B (zh) 一种基于lstm循环神经网络拾取震相到时的方法
CN109828304B (zh) 一种基于深度学习的利用地震数据预测岩性序列模型的方法
CN111723329B (zh) 一种基于全卷积神经网络的震相特征识别波形反演方法
CN112528564A (zh) 一种基于稀疏贝叶斯学习的桥梁结构损伤识别方法
CN112884134B (zh) 面向地震震相识别的基于时域的卷积神经网络模型及应用
CN115758212A (zh) 一种基于并行网络和迁移学习的机械设备故障诊断方法
CN111580151A (zh) 一种基于SSNet模型的地震事件到时识别方法
CN114723095A (zh) 缺失测井曲线预测方法及装置
CN115293197A (zh) 一种基于长短期记忆网络的钻孔应变数据异常检测方法
CN115796351A (zh) 基于变分模态分解和微波衰减的降雨短临预测方法及装置
CN115270239A (zh) 基于动力特性和智能算法响应面法的桥梁可靠性预测方法
CN115146700A (zh) 一种基于Transformer序列到序列模型的径流预测方法
CN117056865B (zh) 一种基于特征融合的机泵设备运行故障诊断方法及装置
CN113361782A (zh) 基于改进mkpls的光伏发电功率短期滚动预测方法
CN117454100A (zh) 一种面向工程结构的缺失数据重构方法
CN116927771A (zh) 一种预测页岩储层总有机碳数据的方法、装置、设备及介质
CN112329535B (zh) 基于cnn的电力系统低频振荡模态特征的快速辨识方法
CN115860165A (zh) 一种考虑初损的神经网络流域降雨径流预报方法及系统
CN115204277A (zh) 一种基于多阈值量化输出观测的渐近最优岩性预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN114462127A (zh) 基于深度极限学习机的结构损伤识别方法及系统
CN117574790B (zh) 一种基于物理空间树状结构的跨维贝叶斯采样器的设计方法
CN117709488B (zh) 基于RUN-XGBoost的大坝渗流预测方法
Yu et al. A Deep Learning-Based Multi-model Ensemble Method for Hydrological Forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant