CN114239757B - 一种电磁时间序列数据的去噪方法及系统 - Google Patents

一种电磁时间序列数据的去噪方法及系统 Download PDF

Info

Publication number
CN114239757B
CN114239757B CN202210173887.9A CN202210173887A CN114239757B CN 114239757 B CN114239757 B CN 114239757B CN 202210173887 A CN202210173887 A CN 202210173887A CN 114239757 B CN114239757 B CN 114239757B
Authority
CN
China
Prior art keywords
time sequence
singular value
matrix
data
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210173887.9A
Other languages
English (en)
Other versions
CN114239757A (zh
Inventor
李晋
马翻红
李年春
罗宇成
刘业成
苏贵
张贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202210173887.9A priority Critical patent/CN114239757B/zh
Publication of CN114239757A publication Critical patent/CN114239757A/zh
Application granted granted Critical
Publication of CN114239757B publication Critical patent/CN114239757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明涉及一种电磁时间序列数据处理的方法及系统。该方法包括：获取原始电磁时间序列数据，将所述电磁时间序列表征成一维时间序列；将所表征的一维时间序列构造成汉克尔矩阵，对矩阵进行SVD分解，根据奇异值占比率确定汉克尔矩阵的维数；再根据矩阵维数及多尺度样本熵将一维时间序列分解为不同分辨率的近似时间序列和细节时间序列；然后使用ICEEMDAN算法将叠加的细节时间序列自适应分解成多个模态分量，构造瞬时模态分量阈值识别模态分量中异常部分并截断处理。根据本发明提供的技术手段，对电磁时间序列数据处理能够达到良好的效果，能够有效获取地下信息及电性结构。

Description

一种电磁时间序列数据的去噪方法及系统
技术领域
本发明属于电磁数据处理领域，具体涉及一种电磁时间序列数据的去噪方法及系统。
背景技术
磁勘探技术已广泛应用于有色金属开发与利用、油气资源识别等领域中，大地电磁数据质量对电磁反演和地下电性信息获取至关重要，而数据处理技术是提高数据质量的重要手段。2020年初，中国海油、中石油、中石化均发声全力加大对勘探和开发的资本投入，另外我国对铜、铝、锂、钛、金等地下有色金属的勘探有着长期的需求，并有不断增长的趋势，然而实际上，天然的大地电磁信号是一种典型的非线性非平稳信号，频带非常宽且信号非常微弱，采集到的电磁数据不可避免地会受到强噪声的影响，数据质量降低，对深入研究地质构造信息造成很大影响，因此改善电磁数据质量至关重要。
随着人工智能的不断发展，现代技术对智能化的要求也飞速发展，高质量数据获取及信息传输也越来越复杂，而传统的多层次奇异值分解(SingularValueDecomposition，SVD)中汉克尔矩阵的固定维数已不能处理复杂问题，从而也导致传统技术中将固定维数的汉克尔矩阵应用于电磁时间序列数据处理时，将会一定程度影响数据去噪精度。
发明内容
本发明的目的是针对电磁数据质量不高，现有方法对时间序列处理精确度存在不足的问题，提供一种电磁时间序列数据的去噪方法及系统，所述方法为获取原始电磁时间序列数据并将其表征成一维时间序列；将所表征的一维时间序列构造成汉克尔矩阵，对矩阵进行SVD分解，其中，根据奇异值占比率确定汉克尔矩阵的维数，实现自适应确定汉克尔矩阵的维数，提升电磁数据质量。再者，引入处理非线性、非平稳信号的改进的自适应白噪声的完备总体经验模态分解(ImprovedComplete EnsembleEmpirical ModeDecomposition with AdaptiveNoise，ICEEMDAN)算法，有效提高电磁时间序列数据的去噪效果。
一方面，本发明提供一种电磁时间序列数据的去噪方法，其包括以下步骤：
步骤S101：获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
步骤S102：根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
步骤S103：基于步骤S102确定的维数将所述一维时间序列进行SVD分解得到近似时间序列和细节时间序列；
步骤S104：将所述细节时间序列对应叠加，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分进行截断处理，无干扰的部分保留；
步骤S105：拼接步骤S104中处理后以及无干扰的电磁时间序列。
进一步可选，步骤S102中根据奇异值占比率自适应确定所述一维时间序列对应的汉克尔矩阵的维数的过程为：
步骤S1021：设定汉克尔矩阵P的维数n，利用所述一维时间序列构造汉克尔矩阵P，对所述汉克尔矩阵P进行SVD分解处理得到奇异值矩阵
Figure 509400DEST_PATH_IMAGE001
；
步骤S1022：计算所述奇异值矩阵
Figure 946329DEST_PATH_IMAGE001
中每个奇异值对应的奇异值占比率；
步骤S1023：判断当前得到的奇异值占比率中是否存在奇异值占比率小于或等于预设阈值，若存在，当前确定的维数是步骤S102确定的最终维数；否则，返回步骤S1021，维数n+1。
进一步可选地，步骤S103是基于步骤S102确定的维数将所述一维时间序列采用多层次SVD分解得到不同分辨率的近似时间序列和细节时间序列时，具体过程如下：
S1031：基于步骤S102确定的维数将所述一维时间序列采用SVD分解得到奇异值矩阵；
S1032：确定所述奇异值矩阵中的主奇异值，其余为细节奇异值；再利用SVD的逆运算重构得到近似时间序列和细节时间序列，其中，所述主奇异值为近似奇异值；
S1033：针对所述近似时间序列返回执行步骤S1031，达到最佳分解层数时停止循环，其中，将所述近似时间序列作为步骤S1031中的所述一维时间序列进行SVD分解。
其中，主奇异值为近似奇异值，利用SVD的逆运算重构得到近似时间序列；针对每个细节奇异值，分别利用SVD的逆运算重构得到对应的细节时间序列。
进一步可选地，步骤S1032中根据多尺度样本熵确定所述奇异值矩阵中的主奇异值，具体为：
获取所述奇异值矩阵中每个奇异值对应的多尺度样本熵；
将每个奇异值对应的多尺度样本熵输入基于多尺度样本熵构建的支持向量机模型中得到每个奇异值对应是主奇异值或细节奇异值的分类结果；
其中，所述基于多尺度样本熵构建的支持向量机模型是以多尺度样本熵为模型特征，主奇异值、细节奇异值为分类目标，通过样本数据进行训练得到。进一步可选地，步骤S104中所述瞬时模态分量阈值
Figure 950057DEST_PATH_IMAGE002
表示为：
Figure 329086DEST_PATH_IMAGE003
式中，N为模态分量的长度，
Figure 519896DEST_PATH_IMAGE004
为第i阶模态分量的总体序列水平，定义为：
Figure 275362DEST_PATH_IMAGE005
式中，
Figure 602438DEST_PATH_IMAGE006
为第i阶模态分量中第j个采样点的值，其在整个时间域内进行取值；
Figure 670145DEST_PATH_IMAGE007
为第i阶模态分量的绝对中值偏差，
Figure 348251DEST_PATH_IMAGE008
表示求一组序列从大到小排列的中间值，
Figure 907408DEST_PATH_IMAGE009
为常数。
进一步可选地，步骤S104中基于设定瞬时模态分量阈值识别有无脉冲序列，并将有脉冲序列的部分采用汤姆逊函数进行截断处理的过程表示为：
Figure 354570DEST_PATH_IMAGE010
其中，
Figure 75401DEST_PATH_IMAGE011
为截断处理之后、截断处理之前第i阶模态分量中第j个采样点的值，
Figure 991536DEST_PATH_IMAGE002
表示为瞬时模态分量阈值；
所述汤姆逊函数
Figure 88805DEST_PATH_IMAGE012
表示为：
Figure 656052DEST_PATH_IMAGE013
。
Figure 547785DEST_PATH_IMAGE014
为第i阶模态分量的总体序列水平，定义为：
Figure 200483DEST_PATH_IMAGE015
式中，
Figure 835864DEST_PATH_IMAGE016
为第i阶模态分量的绝对中值偏差，
Figure 506885DEST_PATH_IMAGE008
表示求一组序列从大到小排列的中间值，
Figure 569519DEST_PATH_IMAGE009
为常数
进一步可选地，所述奇异值占比率表示为：
Figure 443935DEST_PATH_IMAGE018
式中，
Figure 148585DEST_PATH_IMAGE019
为奇异值矩阵中第i个奇异值，
Figure 424846DEST_PATH_IMAGE020
为第i个奇异值对应的奇异值占比率。
第二方面，本发明提供一种基于上述电磁时间序列数据处理的方法的系统，其包括：
原始电磁时间序列数据处理模块，用于获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
维数确定模块，用于根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
分解模块，用于基于确定的维数将所述一维时间序列进行SVD分解得到近似时间序列和细节时间序列；
细节时间序列处理模块，用于将所述细节时间序列对应叠加 ，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留；
拼接模块，用于拼接处理后以及无干扰的电磁时间序列。
第三方面，本发明提供一种电子终端，其包括一个或多个处理器以及存储了一个或多个计算机程序的存储器，所述处理器调用计算机程序以实现：
一种电磁时间序列数据处理的方法的步骤。
第四方面，本发明提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：
一种电磁时间序列数据处理的方法的步骤。
有益效果
1.本发明提供了一种电磁时间序列数据处理的方法及系统，其中，通过奇异值占比率选择合适的汉克尔矩阵，再进行SVD分解，将时间序列中存在的凸起部分采用ICEEMDAN识别，选择瞬时模态分量阈值进行截断处理，达到低频有用数据保留的目的，提高数据质量。其中，采用奇异值占比率来确定汉克尔矩阵的维数，使得矩阵的构造更加合理，尤其是解决了多层次SVD在多尺度多层次分解过程中不需要足够细地分解的问题，进而提高了分解效率。关于引入ICEEMDAN技术，本发明利用ICEEMDAN自适应分解的完备性，采用确定的瞬时模态分量阈值对超过的部分进行截断处理，解决了时间序列中复杂脉冲噪声。
2.本发明进一步的优选方案中，采用多尺度样本熵将近似时间序列和细节时间序列分离，更有效的保留有用数据，获取的信息更为可靠。
附图说明
图1为本发明一种电磁时间序列数据处理的方法实现方式的流程图。
图2为针对类充放电三角波、类方波及类谐波含噪数据等进行的模拟仿真效果图，其中，图中的横坐标以时间(秒)进行采样，定义横坐标为采样点(s)，纵坐标为模拟的电场(毫伏)数据，故定义纵坐标为幅值(mV)；图2中(1)为模拟的类充放电三角波带噪数据；(2)为模拟的类方波带噪数据；(3)为模拟的类谐波含噪数据；(4)为模拟的类充放电三角波经多层次SVD提取的类充放电三角波噪声轮廓；(5)为模拟的类方波含噪数据经多层次SVD提取的类方波噪声轮廓；(6)为模拟的类谐波含噪数据经多层次SVD提取的类谐波噪声轮廓；(7)为模拟的类充放电三角波含噪数据去除类充放电噪声轮廓之后的有用信号；(8)为模拟的类充方波含噪数据去除类方波噪声轮廓之后的有用信号；(9)为模拟的类谐波波含噪数据去除类谐波噪声轮廓之后的有用信号。
图3 (a)为将图2中的(8)含大量的尖脉冲数据经ICEEMDAN自适应分解的13个模态分量及对应的瞬时模态分量阈值的示意图，(1)~(13)分别对应ICEEMDAN依次分解的1-13阶模态分量及每个模态分量对应的阈值的示意图。
图3(b)为经设定瞬时模态分量阈值进行截断处理后的模态分量，其中，(1)~(13)分别对应经ICEEMDAN处理之后的1-13阶有用模态分量的示意图。
图4为噪声数据滤波前后大地电磁测点的EX、EY、HX、HY四个方向时间域对比图，其中纵坐标(1)-(4)为模拟的电场(毫伏)数据，故定义纵坐标为幅值(mV)；其中纵坐标(5)-(8)为模拟的磁场(纳特)数据，故定义纵坐标为幅值(nT)；(1)为采集的EX段大地电磁原始含噪数据段；(2)为采集的EY段大地电磁原始含噪数据段；(3)为采集的EX段大地电磁原始含噪数据经本发明方法处理之后的有用信号；(4)为采集的EY段大地电磁原始含噪数据经本发明方法处理之后的有用信号；(5)为采集的HX段大地电磁原始含噪数据段；(6)为采集的HY段大地电磁原始含噪数据段；(7)为采集的HX段大地电磁原始含噪数据经本发明方法处理之后的有用信号；(8)为采集的HY段大地电磁原始含噪数据经本发明方法处理之后的有用信号。
图5为强干扰数据滤波前后大地电磁测点的视电阻率-相位曲线对比图，其中分别为原始测点的视电阻率-相位曲线图及经过本发明处理过的大地电磁视电阻率-相位曲线图，(1)为原始大地电磁EX-HY道视电阻率曲线和经本发明案例处理过的视电阻率曲线(实心代表经本发明方法之后过的曲线，虚心代表原始大地电磁曲线)；(2)为原始大地电磁EY-HX道视电阻率曲线和经本发明案例处理过的视电阻率曲线；(3)为原始大地电磁EX-HY道相位曲线和经本发明案例处理过的相位曲线；(4)为原始大地电磁EX-HY道相位曲线和经本发明案例处理过的相位曲线。
具体实施方式
本发明提供的一种电磁时间序列数据的去噪方法及系统，本发明所述方法获取原始大地电磁噪声数据（原始电磁时间序列数据），去均值并以采样数为N均匀分段进行预处理；对预处理的大地电磁数据构建汉克尔矩阵并进行SVD分解。其中，根据奇异值占比率自适应确定汉克尔矩阵的维数。然后将分解后的细节时间序列进行叠加，并采用ICEEMDAN将叠加的细节时间序列自适应分解成多个具有固定意义的模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，并将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留；最后拼接大地电磁低频有用信号。
各个步骤的具体实现过程请参照前述方法的阐述。
实施例1：
本实施例提供一种电磁时间序列数据的去噪方法，其包括以下步骤：
步骤S101：获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列。
本实施例以大地电磁数据为例，由于采集的大地电磁数据时间长，采样数据量大，需要进行等长度处理，每段大地电磁数据分别可以按照步骤S101-S105的方式进行处理。其中，分段处理既可以提高运行的效率也可以提升数据滤波的质量。本发明对处理的数据采用了以采样数为N的方式进行等长度处理，在其他的实施案例中对其没有做具体的限制，同时，为了更好地滤除噪声，本发明对原始数据进行了去均值处理，在其他案例中可以不做限定。
步骤S102：根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数。
其中，SVD算法在信号处理等领域具有广阔的应用，分解所得奇异值能够表征信号的基本属性，其理论是指：假若有一个实矩阵
Figure 674693DEST_PATH_IMAGE021
，无论行和列是否相关，存在左正交矩阵
Figure 36404DEST_PATH_IMAGE022
和右正交矩阵
Figure 279166DEST_PATH_IMAGE023
，使得：
Figure 409934DEST_PATH_IMAGE024
其中，
Figure 79949DEST_PATH_IMAGE025
，且
Figure 928957DEST_PATH_IMAGE026
为实矩阵P的奇异值。从实矩阵P分解所得矩阵可知，奇异值
Figure 967887DEST_PATH_IMAGE027
可以表示分量的大小，
Figure 218740DEST_PATH_IMAGE027
越小对应的信号主体成分越小。对此，利用奇异值占比率
Figure 794078DEST_PATH_IMAGE028
来衡量不同分量的成分比重。以第i个奇异值对应的奇异值占比率为例，其表示为：
Figure 130381DEST_PATH_IMAGE018
式中，
Figure 714947DEST_PATH_IMAGE019
为奇异值矩阵中第i个奇异值，
Figure 820306DEST_PATH_IMAGE020
为第i个奇异值对应的奇异值占比率。
根据
Figure 317277DEST_PATH_IMAGE028
的大小确定汉克尔矩阵的行n和列m的值，n值在增大过程中，
Figure 140877DEST_PATH_IMAGE028
的值将趋于零，表明从第k个分量开始其他分量没有意义，此时n=k，m=N-n+1，N为一维信号的长度。
具体的，步骤S102中根据奇异值占比率自适应确定所述一维时间序列对应的汉克尔矩阵的维数的过程为：
步骤S1021：设定汉克尔矩阵P的维数n，利用所述一维时间序列
Figure 263554DEST_PATH_IMAGE029
构造汉克尔矩阵P，对矩阵进行SVD分解处理得到奇异值矩阵
Figure 223419DEST_PATH_IMAGE001
。初始设置时，n=2。
步骤S1022：计算所述奇异值矩阵
Figure 406139DEST_PATH_IMAGE001
中每个奇异值对应的奇异值占比率。其中，按照上述公式计算奇异值占比率，n=2时，根据奇异值占比率
Figure 717035DEST_PATH_IMAGE028
得到不同的奇异值占比率
Figure 627091DEST_PATH_IMAGE030
。
步骤S1023：判断当前得到的奇异值占比率中是否存在奇异值占比率小于或等于预设阈值，若存在，当前确定的维数是步骤S102确定的最终维数；否则，返回步骤S1021，维数n+1。
其中，本实施例将预设阈值设置为5%，其他可行的实施例中，依据实验效果以及精度要求可以对其进行调整。且按照上述方法，本实施例根据模拟数据确定了汉克尔矩阵的维数是5，在其他可行实施例中，根据处理的不同数据可选择不同的方法确定汉克尔矩阵的维数，本发明案例对此不做具体的限定。
步骤S103：基于步骤S102确定的维数将所述一维时间序列进行SVD分解得到近似时间序列和细节时间序列。其中，本实施例选择多层次SVD分解，其他可行的实施例中，可以选择不同方式的SVD分解。
本实施例中，步骤S103中基于步骤S102确定的维数将所述一维时间序列采用多层次SVD分解得到不同分辨率的近似时间序列和细节时间序列时，具体过程如下：
S1031：基于骤S102确定的维数将所述一维时间序列
Figure 707042DEST_PATH_IMAGE031
采用多层次SVD分解得到奇异值矩阵。
其中，对
Figure 60663DEST_PATH_IMAGE032
构造步骤S102确定的汉克尔矩阵
Figure 593276DEST_PATH_IMAGE033
，对矩阵
Figure 323334DEST_PATH_IMAGE033
进行SVD处理，获得奇异值矩阵
Figure 992213DEST_PATH_IMAGE001
。
S1032：根据多尺度样本熵确定主奇异值，其余为细节奇异值；再利用SVD的逆运算重构得到近似时间序列和细节时间序列，其中，所述主奇异值为近似奇异值。
多尺度样本熵针对样本熵提取特征的单一性而相继提出，多尺度样本熵用来衡量时间序列数据在不同尺度上的复杂度，对应的时间序列复杂度越高，其熵值越大。此算法对时间序列进行不同尺度的粗粒化运算，计算各个序列的样本熵值。其对于给定的奇异值矩阵Q1，将其设定为一维奇异值序列x(t)，奇异值的个数为j，设定参数R和M，建构时间序列：
Figure 533047DEST_PATH_IMAGE034
其中，嵌入维数M一般取M=0.2，R=0.2SD，
Figure 552955DEST_PATH_IMAGE035
运算为向下取整，其
Figure 555547DEST_PATH_IMAGE036
为尺度因子，而多尺度样本熵的运算过程可以看成以
Figure 610090DEST_PATH_IMAGE036
窗口大小的移动均值无重复运算过程。对最大尺度因子
Figure 305514DEST_PATH_IMAGE037
，针对一个奇异值，计算出其全部时间序列
Figure 547139DEST_PATH_IMAGE038
，计算粗粒化程度上的样本熵即SE值，得到一个奇异值对应的一维奇异值序列的多尺度样本熵值：
Figure 871198DEST_PATH_IMAGE039
。
针对电磁时间序列数据中噪声轮廓和有用信号复杂性的不同，经SVD分解之后奇异值的复杂度的差异，采用多尺度样本熵方法分析奇异值的特征并计算不同奇异值的多尺度样本熵，将得到的多尺度样本熵作为特征，利用支持向量机即SVM分类器对奇异值进行分类，将奇异值分为近似奇异值和细节奇异值。应当理解，支持向量机的模型是现有架构，因此对其训练过程不进行详细陈述。
S1034：针对所述近似时间序列返回步骤S1031，达到最佳分解层数时停止循环。本实施例中依据信噪比(NCC)、相似度(NCC)及分解误差(E)确定最佳分解层数。其他可行的实施例中，还可以选择其他依据确定最佳分解层数。
步骤S104：将所述细节时间序列对应叠加，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个具有固定意义的模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留。
其中，具体实现过程如下：
ICEEMDAN将信号自适应分解为I个模态分量，对第i个模态分量，处理脉冲序列时的瞬时模态分量阈值设置为：
Figure 780248DEST_PATH_IMAGE040
式中，N为模态分量的长度，
Figure 380993DEST_PATH_IMAGE004
为第i阶模态分量的总体序列水平，定义为：
Figure 641074DEST_PATH_IMAGE005
式中，
Figure 985467DEST_PATH_IMAGE006
为第i阶模态分量中第j个采样点的值，其在整个时间域内进行取值；
Figure 749024DEST_PATH_IMAGE041
为第i阶模态分量的绝对中值偏差，
Figure 536982DEST_PATH_IMAGE008
表示求一组序列从大到小排列的中间值，
Figure 18779DEST_PATH_IMAGE009
是一个具有固定统计意义的常数。同均方差相比，能够检测到突起的脉冲序列并进行更好地抑制，
Figure 166864DEST_PATH_IMAGE009
通常取
Figure 50506DEST_PATH_IMAGE042
。
其中，基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理的过程表示为：
Figure 258634DEST_PATH_IMAGE010
其中，
Figure 962148DEST_PATH_IMAGE011
为截断处理之后、截断处理之前第i阶模态分量中第j个采样点的值，
Figure 163191DEST_PATH_IMAGE002
表示为瞬时模态分量阈值；
所述汤姆逊函数
Figure 901339DEST_PATH_IMAGE012
表示为：
Figure 14789DEST_PATH_IMAGE013
。
步骤S105：拼接步骤S104中处理后以及无干扰的电磁时间序列。
为了验证本发明大地电磁噪声滤波和识别的有效性及可靠性，首先进行了模拟仿真实验，得到如图2中所示的处理效果，从图2中可以看出，模拟的类充放电三角波、类方波、类谐波噪声数据有用信号几乎被大尺度噪声所掩盖，经多层次SVD处理之后，大尺度噪声轮廓被提取出来，细节有用信号被有效保留，验证了多层次SVD处理数据的有效性。紧接着进行了多层次SVD处理后的重构信号经ICEEMDAN处理前后的模态分量。如图3(a)为图2中的(8)含大量尖脉冲数据经ICEEMDAN自适应分解之后的13阶模态分量及设定的瞬时模态分量阈值；图3(b)为经过瞬时模态分量阈值截断处理后的ICEEMDAN模态分量，从图3(a)可以得出，ICEEMDAN可以将信号自适应分解成多个不同物理意义的模态分量，且每个模态分量都有一个对应的瞬时模态分量阈值，超过部分在图中清晰地显示出来，可以对每个模态分量进行清晰的划分，导致大量的尖脉冲被截断去除，低频信号不会丢失；从图3(b)中可以得出，经瞬时模态分量阈值处理之后，每个模态分量中幅值超出有用信号的部分被截断处理，低频有用信号得到最大化的保留；图4中测点中原始大地电磁强干扰数据段和经本发明滤波后的大地电磁信号在同一时间段的对比，从图4中可以得出，原始大地电磁电道和磁道数据都不同程度地含有不同的噪声，且幅值各有差异，经本发明方法处理之后，大地电磁数据中的大尺度噪声轮廓被完全消除，反映大地电磁中的真实数据被提取出来。图5为采用SSMT2000软件计算的视电阻率-相位曲线在滤波前后的对比图，从图5中可以得出，大地电磁原始数据因大尺度噪声轮廓掩盖，视电阻率-相位曲线连续性较差，且EY-HX中的相位出现严重的跳变，经本发明方法处理之后，视电阻率曲线更加平缓、连续，相位更加接近真实值，用以反映大地电磁地质构造的真实轮廓得以真实反映，体现了本发明方法的有效性。通过对比去噪前后大地电磁的时间域波形，发现强干扰噪声被有效滤除，大地电磁低频信号被还原；通过对比去噪前后的表观视电阻率-相位曲线，得到相对比滤除噪声前，滤除噪声后的视电阻率曲线更加平稳、光滑，能够客观地反映大地电磁深部电性结构信息。
实施例2：
本实施例提供一种基于上述电磁时间序列数据处理的方法的系统，其包括：
原始电磁时间序列数据处理模块，用于获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
维数确定模块，用于根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
分解模块，用于基于确定的维数将所述一维时间序列进行SVD分解得到近似时间序列和细节时间序列；
细节时间序列处理模块，用于将所述细节时间序列对应叠加 ，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个具有固定意义的模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留；
拼接模块，用于拼接处理后以及无干扰的电磁时间序列。
应当理解，上述单元模块的具体实现过程参照方法内容，本发明在此不进行具体的赘述，且上述功能模块单元的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例3：
本实施例提供一种电子终端，其包括一个或多个处理器以及存储了一个或多个计算机程序的存储器，所述处理器调用计算机程序以实现：一种电磁时间序列数据处理的方法的步骤。其中，具体执行：
步骤S101：获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
步骤S102：根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
步骤S103：基于步骤S102确定的维数将所述一维时间序列进行SVD分解得到近似时间序列和细节时间序列；
步骤S104：将所述细节时间序列对应叠加 ，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个具有固定意义的模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留；
步骤S105：拼接步骤S104中处理后以及无干扰的电磁时间序列。
各个步骤的具体实现过程请参照前述方法的阐述。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例4：
本实施例提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以执行：
一种电磁时间序列数据处理的方法的步骤。其中，具体执行：
步骤S101：获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
步骤S102：根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
步骤S103：基于步骤S102确定的维数将所述一维时间序列进行SVD分解得到近似时间序列和细节时间序列；
步骤S104：将所述细节时间序列对应叠加 ，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个具有固定意义的模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留；
步骤S105：拼接步骤S104中处理后以及无干扰的电磁时间序列。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或处理器执行的指令产生用于实现在流程图的一个流程或多个流程和／或方框图的一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图的一个流程或多个流程和／或方框图的一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和／或方框图的一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种电磁时间序列数据的去噪方法，其特征在于：包括以下步骤：
步骤S101：获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
步骤S102：根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
步骤S103：将步骤S102确定维数的汉克尔矩阵进行SVD分解得到近似时间序列和细节时间序列；
步骤S104：将所述细节时间序列对应叠加，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分进行截断处理，无干扰的部分保留；
步骤S105：拼接步骤S104中进行截断处理后以及无干扰的电磁时间序列；
步骤S104中的瞬时模态分量阈值η i 表示为：
Figure DEST_PATH_IMAGE001
式中，N为模态分量的长度，Mi为第i阶模态分量的总体序列水平，定义为：
Figure 191662DEST_PATH_IMAGE002
式中，modesi(j)为第i阶模态分量中第j个采样点的值，其在整个时间域内进行取值；
Figure DEST_PATH_IMAGE003
为第i阶模态分量的绝对中值偏差，median表示求一组序列从大到小排列的中间值，β为常数；
步骤S104中基于设定瞬时模态分量阈值识别有无脉冲序列，并将有脉冲序列的部分采用汤姆逊函数进行截断处理的过程表示为：
Figure 515327DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
为截断处理之后、截断处理之前第i阶模态分量中第j个采样点的值；
所述汤姆逊函数S（j）表示为：
Figure 498327DEST_PATH_IMAGE006
。
2.根据权利要求1所述的方法，其特征在于：步骤S102中根据奇异值占比率自适应确定所述一维时间序列对应的汉克尔矩阵的维数的过程为：
步骤S1021：设定汉克尔矩阵P的维数n，利用所述一维时间序列构造汉克尔矩阵P，对所述汉克尔矩阵P进行SVD分解处理得到奇异值矩阵Q1；
步骤S1022：计算所述奇异值矩阵Q1中每个奇异值对应的奇异值占比率；
步骤S1023：判断当前得到的奇异值占比率中是否存在奇异值占比率小于或等于预设阈值，若存在，当前确定的维数是步骤S102确定的最终维数；否则，返回步骤S1021，维数n+1。
3.根据权利要求1所述的方法，其特征在于：步骤S103将步骤S102确定维数的汉克尔矩阵进行SVD分解得到近似时间序列和细节时间序列时，具体过程如下：
S1031：基于步骤S102确定的维数将所述一维时间序列采用SVD分解得到奇异值矩阵；
S1032：确定所述奇异值矩阵中的主奇异值，其余为细节奇异值；再利用SVD的逆运算重构得到近似时间序列和细节时间序列，其中，所述主奇异值为近似奇异值；
S1033：针对所述近似时间序列返回执行步骤S1031，达到最佳分解层数时停止循环，其中，将所述近似时间序列作为步骤S1031中的所述一维时间序列进行SVD分解。
4.根据权利要求3所述的方法，其特征在于：步骤S1032中根据多尺度样本熵确定所述奇异值矩阵中的主奇异值，具体为：
获取所述奇异值矩阵中每个奇异值对应的多尺度样本熵；
将每个奇异值对应的多尺度样本熵输入基于多尺度样本熵构建的支持向量机模型中得到每个奇异值对应是主奇异值或细节奇异值的分类结果；
其中，所述基于多尺度样本熵构建的支持向量机模型是以多尺度样本熵为模型特征，主奇异值、细节奇异值为分类目标，通过样本数据进行训练得到。
5.权利要求1所述的方法，其特征在于：所述奇异值占比率表示为：
Figure DEST_PATH_IMAGE007
式中，λi为奇异值矩阵中第i个奇异值，μi为第i个奇异值对应的奇异值占比率。
6.一种基于权利要求1-5任 一项所述方法的系统，其特征在于：包括：
原始电磁时间序列数据处理模块，用于获取原始电磁时间序列数据，将所述原始电磁时间序列数据表征成一维时间序列；
维数确定模块，用于根据奇异值占比率自适应确定所述的一维时间序列对应的汉克尔矩阵的维数；
分解模块，用于将确定维数的汉克尔矩阵进行SVD分解得到近似时间序列和细节时间序列；
细节时间序列处理模块，用于将所述细节时间序列对应叠加，采用ICEEMDAN将叠加的细节时间序列自适应分解成多个模态分量，并基于设定瞬时模态分量阈值识别有无脉冲序列，将有脉冲序列的部分采用汤姆逊函数进行截断处理，无干扰的部分保留；
拼接模块，用于拼接处理后以及无干扰的电磁时间序列。
7.一种电子终端，其特征在于：包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用计算机程序以实现：
权利要求1-5任一项所述一种电磁时间序列数据的去噪方法的步骤。
8.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以实现：
权利要求1-5任一项所述一种电磁时间序列数据的去噪方法的步骤。
CN202210173887.9A 2022-02-25 2022-02-25 一种电磁时间序列数据的去噪方法及系统 Active CN114239757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210173887.9A CN114239757B (zh) 2022-02-25 2022-02-25 一种电磁时间序列数据的去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210173887.9A CN114239757B (zh) 2022-02-25 2022-02-25 一种电磁时间序列数据的去噪方法及系统

Publications (2)

Publication Number Publication Date
CN114239757A CN114239757A (zh) 2022-03-25
CN114239757B true CN114239757B (zh) 2022-06-03

Family

ID=80748118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210173887.9A Active CN114239757B (zh) 2022-02-25 2022-02-25 一种电磁时间序列数据的去噪方法及系统

Country Status (1)

Country Link
CN (1) CN114239757B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409131B (zh) * 2022-10-28 2023-02-17 武汉惠强新能源材料科技有限公司 基于spc过程管控系统的生产线异常检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817056A (zh) * 2020-12-30 2021-05-18 吉林大学 一种大地电磁信号去噪方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045149B (zh) * 2017-04-17 2018-10-16 吉林大学 一种基于双奇异值分解的全波核磁共振信号噪声滤除方法
CN108267784A (zh) * 2018-01-18 2018-07-10 国网江西省电力有限公司电力科学研究院 一种地震信号随机噪声压制处理方法
CN110826017A (zh) * 2019-09-25 2020-02-21 中国地质大学（武汉） 一种基于参数优化Hankel矩阵和奇异值分解的信号去噪方法
CN110940409A (zh) * 2019-12-02 2020-03-31 天津市计量监督检测科学研究院 一种基于iceemdan与ica联合去噪的超声信号测量方法
CN113568058B (zh) * 2021-07-20 2022-06-03 湖南师范大学 一种基于多分辨率奇异值分解的大地电磁信噪分离方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817056A (zh) * 2020-12-30 2021-05-18 吉林大学 一种大地电磁信号去噪方法及系统

Also Published As

Publication number Publication date
CN114239757A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
Damaševičius et al. IMF mode demixing in EMD for jitter analysis
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
CN113158553B (zh) 一种基于cnn-lstm的大地电磁信号噪声压制方法及系统
CN112329713A (zh) 网络流量异常在线检测方法、系统、计算机设备及存储介质
CN114239757B (zh) 一种电磁时间序列数据的去噪方法及系统
CN102184451B (zh) 一种基于多小波融合特征的神经元动作特征提取方法
CN111597981A (zh) 基于改进多尺度散布熵的大地电磁信号去噪方法及系统
CN108270543A (zh) 一种基于小波空域相关法的侧信道攻击预处理方法
CN114429151A (zh) 一种基于深度残差网络的大地电磁信号识别与重建方法及其系统
CN113761805A (zh) 一种基于时域卷积网络的可控源电磁数据去噪方法、系统、终端及可读存储介质
CN112509601B (zh) 一种音符起始点检测方法及系统
CN113935246A (zh) 一种信号鲁棒稀疏时频分析方法、终端设备及存储介质
CN116884435A (zh) 一种基于音频提示学习的声音事件检测方法及装置
CN113568058B (zh) 一种基于多分辨率奇异值分解的大地电磁信噪分离方法及系统
CN113392916B (zh) 基于高光谱图像的麻竹笋营养成分检测方法、系统和存储介质
CN115563480A (zh) 基于峭度比系数筛选辛几何模态分解的齿轮故障辨识方法
CN115563500A (zh) 基于数据增强技术的配电设备局部放电模式识别方法、装置及系统
CN105156901B (zh) 一种基于小波分析的光纤预警系统降噪方法及装置
CN113673452A (zh) 一种辛几何模态分解的感应屑末传感器特征信号提取方法
CN107437414A (zh) 基于嵌入式gpu系统的并行化游客识别方法
CN113627539A (zh) 滚动轴承复合故障诊断方法、系统、存储介质及计算设备
Liu et al. The measurement and elimination of mode splitting: from the perspective of the partly ensemble empirical mode decomposition
CN111508525A (zh) 一种全参考音频质量评价方法及装置
CN113836995B (zh) 年龄段识别方法及装置
CN117574056B (zh) 基于混合神经网络模型的广域电磁数据去噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant