CN117574056A - 基于混合神经网络模型的广域电磁数据去噪方法及系统 - Google Patents
基于混合神经网络模型的广域电磁数据去噪方法及系统 Download PDFInfo
- Publication number
- CN117574056A CN117574056A CN202311555194.7A CN202311555194A CN117574056A CN 117574056 A CN117574056 A CN 117574056A CN 202311555194 A CN202311555194 A CN 202311555194A CN 117574056 A CN117574056 A CN 117574056A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- noise
- useful signal
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003062 neural network model Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 162
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000013145 classification model Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005684 electric field Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于混合神经网络模型的广域电磁数据去噪方法及系统，方法包括：构建大尺度噪声和有用信号训练数据，进而构建带噪和有用信号训练样本并添加标签；将训练样本和对应标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型；将实测广域电磁数据均匀分段输入至数据分类模型中，得到各数据段的分类标签并以此判断数据类型；针对实测广域电磁数据，将其中判定为噪声的数据段去除，将其中判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。本发明可以准确区分出实测广域电磁数据中的大尺度噪声和有用信号并去除噪声，有效提升广域电磁数据的质量。
Description
技术领域
本发明属于广域电磁数据处理技术领域，具体涉及一种基于混合神经网络模型的广域电磁数据去噪方法及系统。
背景技术
矿产资源是国家经济与科技发展的重要物质基础，随着地球浅部资源的逐步开发，人们对探测地球深部资源愈加重视。电磁法是目前应用最广泛的地球物理勘探方法之一，但传统电磁法仍然存在探测深度和准确度等方面的不足，导致其无法准确反映地下深部信息。与传统电磁法相比，广域电磁法可实现强干扰条件下电磁信号的高精度、高信噪比采集，具有探测深度大，分辨率高等特点，是一种勘探地球深部资源的有效手段。然而，人类活动如铁路运输，采矿工作等不可避免会对广域电磁法接收信号产生干扰。因此，如何识别并去除广域电磁数据中的强干扰是急需解决的难题之一。
目前，常用于电磁数据去噪的方法有小波阈值法、有理函数滤波、经验模态分解等，这些方法虽然在一定程度上去除了噪声，但在去噪过程中仍会连带去除部分有用信息，导致去噪效果不佳。因此，精准区分广域电磁数据中的大尺度噪声对提高数据质量至关重要。近年来，深度学习算法逐渐成为处理大数据的主流工具，其通过对大量数据进行训练学习可以深度挖掘数据内部特征，且处理大规模数据的效率相比传统方法而言更具优势。
因此，如何利用混合神经网络模型实现对广域电磁数据中含大尺度噪声数据段和有用信号的精准分类并去除大尺度噪声是本发明亟需研究的，有利于进一步提升数据质量。
发明内容
针对传统去噪方法对广域电磁数据进行去噪时存在有用信息过处理且难以精准区分大尺度噪声的技术问题，本发明提供一种基于混合神经网络模型的广域电磁数据去噪方法及系统，利用混合神经网络中的CNN可以有效提取数据的复杂特征，然后通过LSTM网络挖掘隐含的时间序列特征，提升了神经网络模型区分噪声与有用信号的准确度，进一步增加去噪可靠性。
为实现上述技术目的，本发明采用如下技术方案：
一种基于混合神经网络模型的广域电磁数据去噪方法，其特征在于，包括：
S1：根据实测广域电磁数据中常见的噪声类型，构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本，并对应添加标签；
S2：将所有训练样本按比例划分为训练集和验证集后，连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型；
S3：将实测广域电磁数据按训练样本长度且等周期均匀分段依次输入至学习得到的数据分类模型中，模型输出各数据段的分类标签并以此判断数据类型；
S4：针对实测广域电磁数据，将其中分类标签判定为噪声的数据段去除，将其中分类标签判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
由实测广域电磁时间序列可知，大尺度噪声通常具有一定的形态特征，其波形类似于脉冲、三角波、方波等，因此可用数学函数模拟出这类具有明显特征的波形，并作为训练数据中的大尺度噪声。广域电磁有用信号具有周期性特征，且其时间序列波形在未受到噪声干扰下几乎没有异常跳变现象。因此，基于大尺度噪声与广域电磁有用信号之间的形态特征差异，本发明利用CNN-LSTM混合神经网络学习大量训练数据并获得分类模型，最终通过模型分辨大尺度噪声与有用信号并实现去噪。
进一步优选，所述常见的噪声类型包括：脉冲、三角波、方波；步骤S1中所述构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本的过程包括：
S11：使用数学公式对应生成模拟各种类型噪声的脉冲、三角波和方波，并将生成的波形数据与不同幅值系数相乘以此调节噪声的幅值；
设单个脉冲、三角波、方波噪声分别为P、T、S，生成公式分别如下：
P＝kP×[Zeros(1,l1),1,Zeros(1,l2)]
S＝kS×[Zeros(1,j1),1+Zeros(1,j2),Zeros(1,j3)]
式中，Zeros(1,x)表示生成长度为x一维全零数组，kP、kT、kS分别表示脉冲噪声P、三角波噪声T和方波噪声S的幅值系数，用于调整噪声幅值，l1和l2用于调整脉冲噪声的长度，a1和a2用于调整三角波的形状，t表示生成三角波的长度，j1、j2和j3共同决定生成的方波长度
S12：从实测广域电磁数据中提取部分未受到大尺度噪声干扰的数据段作为有用信号训练数据；
S13：利用S11构建的噪声训练数据与S12提取的实测有用信号训练数据的部分数据段进行叠加，作为大尺度带噪训练样本。
进一步优选，步骤S13具体包括：
设一段噪声训练数据Noise如下：
Noise＝[N1,N2,...,Nλ]
式中，Nλ表示Noise中的数据，λ为Noise的长度；
设一段有用信号训练数据Signal如下：
式中，S1,S2,...,Sμ表示Signal中的μ个数据，μ为Signal的长度且μ>λ；
设置滑动窗口的长度为λ，滑动步长为1；
使用滑动窗口依次在有用信号训练数据Signal滑动以取一段长为λ的有用信号数据段作为一个有用信号训练样本，长度为μ的有用信号Signal最终得到μ-λ+1个有用信号训练样本；
将每个有用信号训练样本均与噪声训练数据Noise叠加得到一段带噪数据，作为一个带噪训练样本，每个有用信号Signal与每个噪声训练数据Noise最终获得带噪数据矩阵NS如下：
式中，Signal(1:λ)表示有用信号Signal中第1到第λ个元素，NS矩阵中的每一行数据代表叠加而成的一段带噪数据，作为一个带噪训练样本；设噪声训练数据和有用信号训练数据的数量分别为W1和W2，则总计生成带噪训练样本的数量V如下：
V＝W1×W2×(μ-λ+1)。
进一步优选，步骤S2中所述基于卷积神经网络和长短时记忆神经网络的混合神经网络，学习过程包括：
S2.1：将构建的所有噪声训练样本和有用信号训练样本按照4:1划分为训练集和测试集；
S2.2：构建CNN-LSTM网络架构，其中包括网络层和训练参数的选取；
其中，CNN-LSTM网络层依次为序列输入层、一维卷积层、一维池化层、Relu激活函数层、一维卷积层、一维池化层、Relu激活函数层、LSTM层、丢弃层、全连接层、SoftmaxLayer和分类输出层；
LSTM层中LSTM神经单元的运算公式如下：
Bt＝Dα×Bt-1+Dβ×D
Ht＝Dχ×tanh(Bt)
yt＝σ(Wy×Ht)
式中，Bt为信息传输通道，Dα、Dβ、Dχ分别为遗忘门、输入门、输出门，Ht为t时刻LSTM隐层状态向量，yt为输出，Wy为权重矩阵，σ为激活函数；
SoftmaxLayer将神经网络输出y转换为分类概率值，公式如下：
分类输出层中所使用的损失函数为交叉熵函数Cross，公式如下：
式中，P(i)为期望输出，Q(i)为实际输出；
S2.3：将训练集、测试集和与之对应的标签共同输入至混合网络中训练，网络训练曲线收敛或达到最大训练步长后导出分类模型，即为数据分类模型；其中，噪声训练样本和有用信号训练样本作为训练输入，对应的分类标签作为训练输出。
进一步优选，卷积神经网络中的卷积运算公式如下：
式中，为当前第c层的第g个特征图，g∈[1,2,...,Nc]表示特征图编号，Nc为当前第c层的特征图个数；/>为第c-1层卷积的第i个特征图，i表示第c-1层卷积中的特征图编号，Nc-1为第c-1层的特征图个数；Fun为激活函数；/>为当前第c层卷积与第c-1层卷积之间的连接矩阵；/>为卷积核矩阵；/>为偏置向量；*为卷积运算符号。设输入一维卷积核的数据Data＝[d1,d2,...,dn]，n表示数段长度，设一维卷积核大小为1×m，滑动步长为h，则输出特征图的大小Size计算公式如下：
另一方面，本发明还提供一种基上述任一项所述广域电磁数据去噪方法的系统，包括：训练样本构建模块、神经网络构建模块、分类模型训练模块、数据拼接模块；
所述训练样本构建模块用于：根据实测广域电磁数据中常见的噪声类型，构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本，并对应添加标签；
所述神经网络构建模块用于：构建卷积神经网络和长短时记忆神经网络的混合架构，包括网络层、训练参数的选取；
所述分类模型训练模块用于：将所有训练样本按比例划分为训练集和验证集后，连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型；
所述数据分类模型用于：根据输入的实测广域电磁数据的等周期均匀分段数据，输出分类标签，并以此判断数据类型；
所述数据拼接模块用于：针对实测广域电磁数据，将其中分类标签判定为噪声的数据段去除，将其中分类标签判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
另一主面，本发明还提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项所述的广域电磁数据去噪方法。
另一主面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的广域电磁数据去噪方法。
有益效果
本发明提供的一种基于混合神经网络模型的广域电磁数据去噪方法，首先构建含大尺度噪声和有用信号的训练数据库并对两者添加不同的标签，然后利用CNN-LSTM混合神经网络对训练数据进行学习。一方面，CNN的卷积操作可以深入挖掘数据的复杂特征，且权值共享和池化大大减少了权值参数，提升了数据处理效率。另一方面，LSTM对时间序列敏感度更高，与CNN形成互补，可获得准确度更高的分类模型。利用分类模型准确区分出实测广域电磁数据中的大尺度噪声和有用信号并去除噪声，能够有效提升广域电磁数据的质量，获得更可靠的电场曲线。
本发明利用深度学习算法总结电磁数据的内在特征并应用至实测广域电磁数据处理，相对于传统去噪方法而言，本发明方法的去噪可靠性和效率更高。相对于传统单类网络如BP神经网络、CNN或LSTM网络，本发明所构建的CNN-LSTM混合网络与广域电磁数据处理背景更加契合，数据处理效果更佳。
附图说明
图1为本发明一种基于混合神经网络模型的广域电磁数据去噪方法流程图。
图2中(a)、(b)、(c)和(d)分别为构建的脉冲、三角波、方波噪声和有用信号图。
图3为构建的模拟脉冲、三角波、方波带噪数据。
图4为CNN-LSTM混合神经网络结构图。
图5为CNN-LSTM分类模型训练曲线图。
图6为CNN-LSTM模型对模拟广域电磁数据分类和去噪效果图。
图7为CNN-LSTM模型对实测广域电磁数据分类和去噪效果图。
图8中(a)、(b)分别为某测点原始电场曲线和本发明方法处理后的电场曲线图。。
具体实施方式
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
如图1所示，本发明实施例提供的一种基于混合神经网络模型的广域电磁数据去噪方法，包括如下步骤：
S1：根据实测广域电磁数据中常见的噪声类型，构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本，并对应添加标签。
由观测实测广域电磁数据可知，常见于数据中的大尺度噪声类型有脉冲、三角波、方波噪声等，本实施例中，构建大尺度噪声和有用信号样本库的过程如下：
S1.1：使用数学公式对应生成模拟各种类型噪声的脉冲、三角波和方波，并将生成的波形数据与不同幅值系数相乘以此调节噪声的幅值；
设单个脉冲、三角波、方波噪声分别为P、T、S，生成公式分别如下：
P＝kP×[Zeros(1,l1),1,Zeros(1,l2)]
S＝kS×[Zeros(1,j1),1+Zeros(1,j2),Zeros(1,j3)]
式中，Zeros(1,x)表示生成长度为x一维全零数组，kP、kT、kS分别表示脉冲噪声P、三角波噪声T和方波噪声S的幅值系数，用于调整噪声幅值，l1和l2用于调整脉冲噪声的长度，a1和a2用于调整三角波的形状，t表示生成三角波的长度，j1、j2和j3共同决定生成的方波长度。
S1.2：从实测广域电磁数据中提取部分几乎未受到大尺度噪声干扰的数据段作为有用信号训练数据。
如图2所示为步骤1.2中利用上述函数生成的大尺度脉冲、三角波、方波噪声波形和提取的部分有用信号。
S1.3：利用S1.1构建的噪声训练数据与S1.2提取的实测有用信号训练数据的部分数据段进行叠加，作为大尺度带噪训练样本。
其中，不同的噪声波形与有用信号样本叠加可增加训练数据集的规模，设一段噪声波形Noise如下：
Noise＝[N1,N2,...,Nλ]
式中，Nλ表示Noise中的数据，λ为Noise的长度。设一段有用信号Signal如下：
式中，Sμ表示Signal中的数据，μ为Signal的长度且μ>λ。将Signal和Noise叠加类似于将Noise在Signal上滑动相加，滑动一次即可得到一段带噪数据，最终可获得带噪数据矩阵NS如下:
式中，Signal(1:λ)表示Signal中第1到第λ个元素，NS矩阵中的每一行数据代表叠加而成的一段含噪数据。由此可知，设噪声数据段和有用信号段的数量分别为W1和W2，则可总计生成含噪数据段数量V如下：
V＝W1×W2×(μ-λ+1)
如图3所示为步骤1.3中利用不同的噪声波形与有用信号样本叠加获得的脉冲、三角波、方波带噪数据。
S2：将所有训练样本按比例划分为训练集和验证集后，连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型。
本实施例中，CNN-LSTM混合神经网络模型训练的过程如下：
S2.1：将构建的所有噪声训练样本和有用信号训练样本按照4:1划分为训练集和测试集。
S2.2：构建CNN-LSTM网络架构，其中包括网络层和训练参数的选取；
CNN-LSTM网络层依次为序列输入层、一维卷积层、一维池化层、Relu激活函数层、一维卷积层、一维池化层、Relu激活函数层、LSTM层、丢弃层、全连接层、SoftmaxLayer和分类输出层；如图4所示为本发明所使用的CNN-LSTM网络结构图。
其中，卷积神经网络中的卷积运算公式如下：
式中，为当前第c层的第g个特征图，g∈[1,2,...,Nc]表示特征图编号，Nc为当前第c层的特征图个数；/>为第c-1层卷积的第i个特征图，i表示第c-1层卷积中的特征图编号，Nc-1为第c-1层的特征图个数；Fun为激活函数；/>为当前第c层卷积与第c-1层卷积之间的连接矩阵；/>为卷积核矩阵；/>为偏置向量；*为卷积运算符号。设输入一维卷积核的数据Data＝[d1,d2,...,dn]，n表示数段长度，设一维卷积核大小为1×m，滑动步长为h，则输出特征图的大小Size计算公式如下：
LSTM层中LSTM神经单元的运算公式如下：
Bt＝Dα×Bt-1+Dβ×D
Ht＝Dχ×tanh(Bt)
yt＝σ(Wy×Ht)
式中，Bt为信息传输通道，Dα、Dβ、Dχ分别为遗忘门、输入门、输出门，Ht为t时刻LSTM隐层状态向量，yt为输出，Wy为权重矩阵，σ为激活函数；
SoftmaxLayer将神经网络输出y转换为分类概率值，公式如下：
分类输出层中所使用的损失函数为交叉熵函数Cross，公式如下：
式中，P(i)为期望输出，Q(i)为实际输出。
S2.3：将训练集、测试集和与之对应的标签共同输入至混合网络中训练，网络训练曲线收敛或达到最大训练步长后导出分类模型，即为数据分类模型；
其中，噪声训练样本和有用信号训练样本作为训练输入，对应的分类标签作为训练输出。如图5所示为CNN-LSTM分类模型训练曲线图。由图5可知，准确度不断增加且损失不断降低，随着训练步长的增加训练曲线逐渐趋于平稳和收敛，表明模型已训练完成，验证集的准确度最终为98.75％。
S3：将实测广域电磁数据按等周期均匀分段依次输入至学习得到的数据分类模型中，模型输出各数据段的分类标签并以此判断数据类型。
本实施例中，使用CNN-LSTM混合神经网络模型区分大尺度噪声数据和有用信号的过程如下：
步骤3.1：将实测广域电磁数据按等周期均匀分段并输入至CNN-LSTM分类模型中；
步骤3.2：分类模型模型输出标签“1”或“0”，“1”表示该数据段为含大尺度噪声数据段，而“0”表示为有用信号。
S4：针对实测广域电磁数据，将其中分类标签判定为噪声的数据段去除，将其中分类标签判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
如图6和图7所示分别为CNN-LSTM模型对模拟和实测广域电磁数据分类效果和去噪效果图。由图6和图7可知，CNN-LSTM模型能够准确区分模拟和实测广域电磁数据中的大尺度噪声数据段和有用信号数据段，保留的有用信号中大尺度噪声几乎全部剔除，数据质量显著提高。
将按本发明方法去噪前和去噪后的广域电磁数据计算电场曲线，得到对比图如图8所示，经本发明方法处理后的电场曲线趋于光滑，表明本发明方法能为后续解释地下真实电性结构提供可靠的数据基础。
此外，基于上述方法，本发明还提供一种基于混合神经网络模型的广域电磁数据去噪方法的系统实施例，包括：训练样本构建模块、神经网络构建模块、分类模型训练模块、数据拼接模块；
所述训练样本构建模块用于：根据实测广域电磁数据中常见的噪声类型，构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本，并对应添加标签；
所述神经网络构建模块用于：构建卷积神经网络和长短时记忆神经网络的混合架构，包括网络层、训练参数的选取；
所述分类模型训练模块用于：将所有训练样本按比例划分为训练集和验证集后，连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型；
所述数据分类模型用于：根据输入的实测广域电磁数据的等周期均匀分段数据，输出分类标签，并以此判断数据类型；
所述数据拼接模块用于：针对实测广域电磁数据，将其中分类标签判定为噪声的数据段去除，将其中分类标签判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
应当理解：本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。
以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。
Claims (6)
1.一种基于混合神经网络模型的广域电磁数据去噪方法，其特征在于，包括：
S1：根据实测广域电磁数据中常见的噪声类型，构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本，并对应添加标签；
S2：将所有训练样本按比例划分为训练集和验证集后，连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型；
S3：将实测广域电磁数据按训练样本长度且等周期均匀分段依次输入至学习得到的数据分类模型中，模型输出各数据段的分类标签并以此判断数据类型；
S4：针对实测广域电磁数据，将其中分类标签判定为噪声的数据段去除，将其中分类标签判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
2.根据权利要求1所述的广域电磁数据去噪方法，其特征在于，所述常见的噪声类型包括：脉冲、三角波、方波；步骤S1中所述构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本的过程包括：
S1.1：使用数学公式对应生成模拟各种类型噪声的脉冲、三角波和方波，并将生成的波形数据与不同幅值系数相乘以此调节噪声的幅值；
设单个脉冲、三角波、方波噪声分别为P、T、S，生成公式分别如下：
P＝kP×[Zeros(1,l1),1,Zeros(1,l2)]
S＝kS×[Zeros(1,j1),1+Zeros(1,j2),Zeros(1,j3)]
式中，Zeros(1,x)表示生成长度为x一维全零数组，kP、kT、kS分别表示脉冲噪声P、三角波噪声T和方波噪声S的幅值系数，用于调整噪声幅值，l1和l2用于调整脉冲噪声的长度，a1和a2用于调整三角波的形状，t表示生成三角波的长度，j1、j2和j3共同决定生成的方波长度；
S1.2：从实测广域电磁数据中提取部分未受到大尺度噪声干扰的数据段作为有用信号训练数据；
S1.3：利用S1.1构建的噪声训练数据与S1.2提取的实测有用信号训练数据的部分数据段进行叠加，作为大尺度带噪训练样本。
3.根据权利要求2所述的广域电磁数据去噪方法，其特征在于，步骤S13具体包括：
设一段噪声训练数据Noise如下：
Noise＝[N1,N2,...,Nλ]
式中，Nλ表示Noise中的数据，λ为Noise的长度；
设一段有用信号训练数据Signal如下：
式中，S1,S2,...,Sμ表示Signal中的μ个数据，μ为Signal的长度且μ>λ；
设置滑动窗口的长度为λ，滑动步长为1；
使用滑动窗口依次在有用信号训练数据Signal滑动以取一段长为λ的有用信号数据段作为一个有用信号训练样本，长度为μ的有用信号Signal最终得到μ-λ+1个有用信号训练样本；
将每个有用信号训练样本均与噪声训练数据Noise叠加得到一段带噪数据，作为一个带噪训练样本，每个有用信号Signal与每个噪声训练数据Noise最终获得带噪数据矩阵NS如下：
式中，Signal(1:λ)表示有用信号Signal中第1到第λ个元素，NS矩阵中的每一行数据代表叠加而成的一段带噪数据，作为一个带噪训练样本；设噪声训练数据和有用信号训练数据的数量分别为W1和W2，则总计生成带噪训练样本的数量V如下：
V＝W1×W2×(μ-λ+1)。
4.根据权利要求1所述的广域电磁数据去噪方法，其特征在于，步骤S2中所述基于卷积神经网络和长短时记忆神经网络的混合神经网络，学习过程包括：
S2.1：将构建的所有噪声训练样本和有用信号训练样本按照4:1划分为训练集和测试集；
S2.2：构建CNN-LSTM网络架构，其中包括网络层和训练参数的选取；
其中，CNN-LSTM网络层依次为序列输入层、一维卷积层、一维池化层、Relu激活函数层、一维卷积层、一维池化层、Relu激活函数层、LSTM层、丢弃层、全连接层、SoftmaxLayer和分类输出层；
LSTM层中LSTM神经单元的运算公式如下：
Bt＝Dα×Bt-1+Dβ×D
Ht＝Dχ×tanh(Bt)
yt＝σ(Wy×Ht)
式中，Bt为信息传输通道，Dα、Dβ、Dχ分别为遗忘门、输入门、输出门，Ht为t时刻LSTM隐层状态向量，yt为输出，Wy为权重矩阵，σ为激活函数；
SoftmaxLayer将神经网络输出y转换为分类概率值，公式如下：
分类输出层中所使用的损失函数为交叉熵函数Cross，公式如下：
式中，P(i)为期望输出，Q(i)为实际输出；
S2.3：将训练集、测试集和与之对应的标签共同输入至混合网络中训练，网络训练曲线收敛或达到最大训练步长后导出分类模型，即为数据分类模型；其中，噪声训练样本和有用信号训练样本作为训练输入，对应的分类标签作为训练输出。
5.根据权利要求4所述的广域电磁数据去噪方法，其特征在于，卷积神经网络中的卷积层运算公式如下：
式中，为当前第c层的第g个特征图，g∈[1,2,...,Nc]表示特征图编号，Nc为当前第c层的特征图个数；/>为第c-1层卷积的第i个特征图，i表示第c-1层卷积中的特征图编号，Nc-1为第c-1层的特征图个数；Fun为激活函数；/>为当前第c层卷积与第c-1层卷积之间的连接矩阵；/>为卷积核矩阵；/>为偏置向量；*为卷积运算符号；
设输入一维卷积核的数据Data＝[d1,d2,...,dn]，n表示数段长度，设一维卷积核大小为1×m，滑动步长为h，则输出特征图的大小Size计算公式如下：
6.一种基于权利要求1-5任一项所述方法的系统，其特征在于，包括：训练样本构建模块、神经网络构建模块、分类模型训练模块、数据拼接模块；
所述训练样本构建模块用于：根据实测广域电磁数据中常见的噪声类型，构建大尺度噪声训练数据和有用信号训练数据，进而构建带噪训练样本和有用信号训练样本，并对应添加标签；
所述神经网络构建模块用于：构建卷积神经网络和长短时记忆神经网络的混合架构，包括网络层、训练参数的选取；
所述分类模型训练模块用于：将所有训练样本按比例划分为训练集和验证集后，连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习，获得数据分类模型；
所述数据分类模型用于：根据输入的实测广域电磁数据的等周期均匀分段数据，输出分类标签，并以此判断数据类型；
所述数据拼接模块用于：针对实测广域电磁数据，将其中分类标签判定为噪声的数据段去除，将其中分类标签判定为有用信号的数据段保留，最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311555194.7A CN117574056B (zh) | 2023-11-21 | 2023-11-21 | 基于混合神经网络模型的广域电磁数据去噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311555194.7A CN117574056B (zh) | 2023-11-21 | 2023-11-21 | 基于混合神经网络模型的广域电磁数据去噪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117574056A true CN117574056A (zh) | 2024-02-20 |
| CN117574056B CN117574056B (zh) | 2024-05-10 |
Family
ID=89862067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311555194.7A Active CN117574056B (zh) | 2023-11-21 | 2023-11-21 | 基于混合神经网络模型的广域电磁数据去噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117574056B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197127A (zh) * | 2019-05-06 | 2019-09-03 | 安徽继远软件有限公司 | 基于深度学习的无线信号检测与电磁干扰分类系统及方法 |
| CN111353425A (zh) * | 2020-02-28 | 2020-06-30 | 河北工业大学 | 一种基于特征融合与人工神经网络的睡姿监测方法 |
| CN113067805A (zh) * | 2021-03-15 | 2021-07-02 | 衢州学院 | 基于边缘计算的物联网弱电磁干扰攻击检测方法及系统 |
| US20210350796A1 (en) * | 2019-05-07 | 2021-11-11 | Electronics And Telecommunications Research Institute | Apparatus and method for speech processing using a densely connected hybrid neural network |
| CN113642484A (zh) * | 2021-08-18 | 2021-11-12 | 湖南师范大学 | 一种基于bp神经网络的大地电磁信号噪声压制方法及系统 |
| CN113761805A (zh) * | 2021-09-14 | 2021-12-07 | 东华理工大学 | 一种基于时域卷积网络的可控源电磁数据去噪方法、系统、终端及可读存储介质 |
| CN113963213A (zh) * | 2021-10-27 | 2022-01-21 | 上海交通大学 | 针对深度神经网络对抗样本的对抗噪声去除方法及系统 |
| CN115330643A (zh) * | 2022-10-13 | 2022-11-11 | 中国石油大学(华东) | 基于卷积神经网络和视觉变换神经网络的地震去噪方法 |
| CN116304565A (zh) * | 2023-03-02 | 2023-06-23 | 江西财经大学 | 一种基于小波包去噪与bp神经网络瞬变电磁反演方法 |
| KR20230156598A (ko) * | 2022-05-06 | 2023-11-14 | 인하대학교 산학협력단 | 익스트림 기계 학습 알고리즘을 활용한 당뇨망막병증을 위한 하이브리드 cnn-svd 기반 특징 추출 및 선별 방법 및 시스템 |
| CN117076858A (zh) * | 2023-08-18 | 2023-11-17 | 东华理工大学 | 一种基于深度学习的低频大地电磁强干扰压制方法及系统 |
-
2023
- 2023-11-21 CN CN202311555194.7A patent/CN117574056B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197127A (zh) * | 2019-05-06 | 2019-09-03 | 安徽继远软件有限公司 | 基于深度学习的无线信号检测与电磁干扰分类系统及方法 |
| US20210350796A1 (en) * | 2019-05-07 | 2021-11-11 | Electronics And Telecommunications Research Institute | Apparatus and method for speech processing using a densely connected hybrid neural network |
| CN111353425A (zh) * | 2020-02-28 | 2020-06-30 | 河北工业大学 | 一种基于特征融合与人工神经网络的睡姿监测方法 |
| CN113067805A (zh) * | 2021-03-15 | 2021-07-02 | 衢州学院 | 基于边缘计算的物联网弱电磁干扰攻击检测方法及系统 |
| CN113642484A (zh) * | 2021-08-18 | 2021-11-12 | 湖南师范大学 | 一种基于bp神经网络的大地电磁信号噪声压制方法及系统 |
| CN113761805A (zh) * | 2021-09-14 | 2021-12-07 | 东华理工大学 | 一种基于时域卷积网络的可控源电磁数据去噪方法、系统、终端及可读存储介质 |
| CN113963213A (zh) * | 2021-10-27 | 2022-01-21 | 上海交通大学 | 针对深度神经网络对抗样本的对抗噪声去除方法及系统 |
| KR20230156598A (ko) * | 2022-05-06 | 2023-11-14 | 인하대학교 산학협력단 | 익스트림 기계 학습 알고리즘을 활용한 당뇨망막병증을 위한 하이브리드 cnn-svd 기반 특징 추출 및 선별 방법 및 시스템 |
| CN115330643A (zh) * | 2022-10-13 | 2022-11-11 | 中国石油大学(华东) | 基于卷积神经网络和视觉变换神经网络的地震去噪方法 |
| CN116304565A (zh) * | 2023-03-02 | 2023-06-23 | 江西财经大学 | 一种基于小波包去噪与bp神经网络瞬变电磁反演方法 |
| CN117076858A (zh) * | 2023-08-18 | 2023-11-17 | 东华理工大学 | 一种基于深度学习的低频大地电磁强干扰压制方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 雷俊锋;王赫;刘恩雨;肖进胜;谢文娟;: "基于卷积神经网络的图像混合噪声去除算法", 微电子学与计算机, no. 12, 5 December 2017 (2017-12-05) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117574056B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5373486A (en) | Seismic event classification system | |
| Shahi | A probabilistic framework to include the effects of near-fault directivity in seismic hazard assessment | |
| CN108680796B (zh) | 用于计算机显示器的电磁信息泄漏检测系统及方法 | |
| CN111126471A (zh) | 微地震事件检测方法及系统 | |
| CN110132403A (zh) | 一种基于eemd和小波阈值的真空泵振动信号降噪方法 | |
| CN113642484B (zh) | 一种基于bp神经网络的大地电磁信号噪声压制方法及系统 | |
| CN104634872A (zh) | 高铁钢轨伤损在线监测方法 | |
| CN115114949A (zh) | 一种基于水声信号的舰船目标智能识别方法及系统 | |
| CN112464721A (zh) | 微地震事件自动识别方法及装置 | |
| CN111289251A (zh) | 一种滚动轴承细粒度故障识别方法 | |
| CN109409216B (zh) | 基于子载波动态选择的速度自适应室内人体检测方法 | |
| Li et al. | Magnetotelluric noise suppression via convolutional neural network | |
| Wang et al. | A novel rolling bearing fault diagnosis method based on adaptive denoising convolutional neural network under noise background | |
| CN111983569B (zh) | 基于神经网络的雷达干扰抑制方法 | |
| CN117574056B (zh) | 基于混合神经网络模型的广域电磁数据去噪方法及系统 | |
| CN112761843A (zh) | 一种共轨喷油器故障诊断方法 | |
| CN111797690A (zh) | 基于小波神经网络光栅阵列光纤周界入侵识别方法及装置 | |
| CN112183260A (zh) | 一种基于总变差降噪与rqa的单向阀故障诊断方法 | |
| CN116881712A (zh) | 一种混凝土大坝活动裂纹电磁脉冲信号识别方法 | |
| CN116758922A (zh) | 一种用于变压器的声纹监测与诊断方法 | |
| Bagwe et al. | Automated Radar Signal Analysis Based on Deep Learning | |
| CN113901878B (zh) | 一种基于cnn+rnn算法的三维探地雷达图像地下管线识别方法 | |
| CN115563480A (zh) | 基于峭度比系数筛选辛几何模态分解的齿轮故障辨识方法 | |
| CN113361204B (zh) | 一种基于sae的雷达辐射源pri调制识别方法 | |
| Kats et al. | Features extraction from non-destructive testing data in cyber-physical monitoring system of construction facilities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |