CN107894434A - 一种基于交叉验证的傅里叶变换去噪方法 - Google Patents

一种基于交叉验证的傅里叶变换去噪方法 Download PDF

Info

Publication number
CN107894434A
CN107894434A CN201711096062.7A CN201711096062A CN107894434A CN 107894434 A CN107894434 A CN 107894434A CN 201711096062 A CN201711096062 A CN 201711096062A CN 107894434 A CN107894434 A CN 107894434A
Authority
CN
China
Prior art keywords
mrow
msub
frequency
mover
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711096062.7A
Other languages
English (en)
Inventor
王爱民
袁昌旺
霍耀璞
朱晨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201711096062.7A priority Critical patent/CN107894434A/zh
Publication of CN107894434A publication Critical patent/CN107894434A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/223Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material by irradiating the sample with X-rays or gamma-rays and by measuring X-ray fluorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • G06F17/142Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种基于交叉验证的傅里叶变换去噪方法,首先利用交叉验证和傅里叶变换相结合确定最优阈值,再利用该最优阈值基于傅里叶变换去噪,本方法能比较准确的确定最优阈值,使傅里叶变换去噪能自动进行,有效滤除噪声。

Description

一种基于交叉验证的傅里叶变换去噪方法
技术领域
本发明公开了一种基于交叉验证的傅里叶变换去噪方法,用于滤除光谱中的高频噪声,属于谱处理技术领域。
背景技术
X射线荧光分析在冶金、考古、探矿等领域有着广泛应用,具有快速、准确、不破坏样本的优点。根据荧光光谱中X射线的荧光强度可以对待测样品进行定性和定量分析,但由于统计涨落、电子学噪声等的影响,荧光光谱含有高频噪声,影响光谱的基线校正、峰的识别等。因此,光谱的去噪技术在光谱分析中具有重要作用。
以往采用的去噪方法多为Savitzky-Golay滤波器法,对多个连续数据点进行多项式拟合,用拟合后的数据作为去噪后的数据。该方法具有简单、快速的优点,但去噪效果一般。近年来,基于小波变换的去噪方法被广泛应用于光谱去噪领域,由于小波变换具有时频域局部化特性和多分辨率分析特性,其去噪效果较好。但小波变换去噪方法需要确定的参数过多,比如小波函数的选取、分解层数的确定、阈值的计算等,对使用者的经验要求高,不利于光谱数据的自动化处理。傅里叶变换去噪方法是基于噪声频率和有用信号频率的分布差异的去噪方法,具有去噪效果好、使用简单的优点,但去噪阈值的选取往往依靠使用者的经验。
发明内容
本发明针对傅里叶变换去噪方法中阈值不能自动确定问题,提出了一种交叉验证和傅里叶变换相结合确定最优阈值,再利用该最优阈值基于傅里叶变换去噪。该方法能比较准确地确定最优阈值,使傅里叶变换去噪能自动进行,且能有效滤除噪声。
为解决上述技术问题,本发明提供了一种基于交叉验证的傅里叶变换去噪方法,包括如下步骤:
S1、将采样频率为fs、长度为N的含噪信号x(n)按照奇偶序号分为两组,原偶数序号序列记为xe(n),原奇数序号序列记为xo(n),每组长度均为N/2,N为偶数;
S2、对奇数序号序列xo(n)进行插值,得到偶数序号序列的估计序列插值公式为:
其中,规定
S3、对估计序列做快速傅里叶变换FFT,得到频域信号
S4、用阈值t对频域信号进行阈值处理,滤除频率大于阈值t的高频噪声,得到去噪后的频域信号
式中,表示频域信号第m个点对应的频率;
S5、对频域信号做快速傅里叶逆变换IFFT,得到去噪后的时域信号
S6、将xe(n)作为参考值,计算xe(n)和的误差平方和Me(t):
S7、对偶数序号序列xe(n)应用步骤S2)-步骤S6),得到估计的奇数序号序列的误差平方和Mo(t),则总的误差平方和为
M(t)=Me(t)+Mo(t) (6)
S8、计算M(t)取最小值时的阈值tm
S9、对原始信号x(n)进行快速傅里叶变换,再滤除频域信号中频率大于tm的高频噪声,对去噪后的频域信号进行快速傅里叶逆变换,得到去噪后的光滑信号。
进一步的,偶数序号序列xe(n)和奇数序号序列xo(n)的采样频率均为fs/2,所述阈值t的取值范围为[0,fs/4]。
有益效果:本发明与现有技术相比,本发明具有以下优点:
1)本发明针对有用信号频率和噪声频率不重合的光谱,根据噪声频率的分布特点,提出一种交叉验证和傅里叶变换相结合确定最优阈值,再利用该最优阈值基于傅里叶变换去噪的方法。
2)本发明的核心去噪方法为傅里叶变换去噪法,当高频的噪声频率和低频的有用信号频率分离时,可以有效滤出高频噪声,具有快速、准确、简单的特点。
3)本发明使用交叉验证和傅里叶变换相结合确定最优阈值,确定的最优阈值和人工确定的最优阈值相接近,表明该阈值去噪效果较佳,且使得傅里叶变换去噪可以自动化进行,提高光谱处理的效率和便捷性。
附图说明
图1为交叉验证和和傅里叶变换相结合确定最优阈值的流程图;
图2为信噪比为20db的仿真光谱及其频谱图;
图3为信噪比为20db的仿真光谱的奇数序号序列和偶数序号序列的时域图及其频谱图,其中:(a)奇数序号序列的时域图;(b)奇数序号序列的频谱图;(c)偶数序号序列的时域图;(d)偶数序号序列的频谱图;
图4为不同阈值下估计的奇数序号序列和偶数序号序列的总误差平方和M(t)曲线;
图5为不同阈值下原含噪信号的傅里叶变换去噪后光滑信号的误差平方和曲线;
图6为基于交叉验证的傅里叶变换去噪法和Savitzky-Golay滤波器法对不同信噪比的仿真光谱去噪后的信噪比曲线;
图7为基于交叉验证的傅里叶变换去噪法和Savitzky-Golay滤波器法对信噪比为20db的仿真光谱的去噪效果对比图;
图8为对实测能量色散X射线荧光光谱去噪效果图。
具体实施方式
下面以能量色散X射线荧光光谱为例,详细说明本发明的实施例,所述实施例的示例在附图中示出。
图1为本发明具体实施时的流程图,图2(a)为信噪比为20db的仿真光谱。具体步骤如下:
S1、将信噪比为20db、长度为1024的仿真能量色散X射线荧光光谱x(n)按照奇偶序号分为两组,原偶数序号序列记为xe(n),原奇数序号序列记为xo(n),每组长度均为512。含噪信号x(n)如图2(a)所示,奇数序号序列xo(n)如图3(a)所示,偶数序号序列xe(n)如图3(c)所示。假设含噪信号x(n)的采样频率fs=1,则奇数序号序列xo(n)和偶数序号序列xe(n)的采样频率为fs/2=0.5,对x(n)、xo(n)和xe(n)做快速傅里叶变换FFT,得到它们相应的频谱图。含噪信号x(n)的频谱图如图2(b)所示,奇数序号序列xo(n)的频谱图如图3(b)所示,偶数序号序列xe(n)的频谱图如图3(d)所示,频谱图的横坐标为频率,纵坐标为频率的幅度。
S2、对奇数序号序列xo(n)进行插值,得到偶数序号序列的估计序列插值公式为
其中,规定xo(513)=xo(1)。
S3、估计序列做快速傅里叶变换FFT,得到频域信号
S4、用阈值t对频域信号进行阈值处理,滤除频率大于t的高频噪声,得到去噪后的频域信号
式中,表示频域信号第m个点对应的频率。根据奈奎斯特采样定理,信号的最大频率应小于等于采样频率的一半,所以阈值t的取值范围为[0,0.25]。以0.001为间隔获得阈值序列,用不同的阈值处理频域信号,得到不同的去噪后的频域信号。对于不同应用,阈值序列的间隔可以增加或缩小,如果对去噪效果要求高,可以适当减小间隔,如果对算法的执行时间要求高,可以适当增加间隔。
S5、对频域信号做快速傅里叶逆变换IFFT,得到去噪后的时域信号
S6、将xe(n)作为参考值,计算xe(n)和的误差平方和Me(t),
S7、对偶数序号序列xe(n)应用步骤S2)-步骤S6),得到估计的奇数序号序列的误差平方和Mo(t),则总的误差平方和为
M(t)=Me(t)+Mo(t) (6)
图4为不同阈值下估计的奇数序号序列和偶数序号序列的总误差平方和M(t)曲线;
S8、计算M(t)取最小值时的阈值tm,对于本示例的仿真信号,tm=0.063。为了判断交叉验证和傅里叶变换相结合确定的最优阈值是否合适,直接用不同阈值对含噪信号x(n)进行傅里叶变换去噪,以无噪信号为参考值计算光滑信号的误差平方和,误差平方和曲线如图5所示。由图5得,人工确定的最优阈值为0.060,两者相差不大,所以交叉验证和傅里叶变换相结合确定的最优阈值是合适的。
S9、对原始信号x(n)进行快速傅里叶变换,再滤除频域信号中频率大于tm的高频噪声,对去噪后的频域信号进行快速傅里叶逆变换,得到去噪后的光滑信号,其信噪比为28.78。而基于人工确定的最优阈值的傅里叶变换去噪,得到去噪后的光滑信号的信噪比为28.93。
为了证明本发明提出的方法的优越性和适应性,用本方法和Savitzky-Golay滤波器法对不同信噪比的仿真信号进行去噪处理,计算光滑信号的信噪比。图6为基于交叉验证的傅里叶变换去噪法和Savitzky-Golay滤波器法对不同信噪比的仿真光谱去噪后的信噪比曲线,横坐标为原始含噪信号的信噪比,纵坐标为去噪后光滑信号的信噪比。由图6得,不同信噪比下,基于交叉验证的傅里叶变换去噪法比Savitzky-Golay滤波器法对仿真光谱的去噪效果更好。为了更直观的对比两种方法的去噪效果,在图7中显示两种方法对信噪比为20db的仿真光谱的去噪效果,且显示时相对原始含噪信号均向下偏移。为了证明本方法的实用性,对一个实测的能量色散X射线荧光光谱进行去噪处理,结果如图8所示。由图8得,本方法去噪后的信号更加光滑,且无明显失真,表明本方法可以用于实际光谱的去噪处理。

Claims (2)

1.一种基于交叉验证的傅里叶变换去噪方法,其特征在于:包括如下步骤:
S1、将采样频率为fs、长度为N的含噪信号x(n)按照奇偶序号分为两组,原偶数序号序列记为xe(n),原奇数序号序列记为xo(n),每组长度均为N/2,N为偶数;
S2、对奇数序号序列xo(n)进行插值,得到偶数序号序列的估计序列插值公式为:
<mrow> <msub> <mover> <mi>x</mi> <mo>&amp;OverBar;</mo> </mover> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>o</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>o</mi> </msub> <mo>(</mo> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> <mo>,</mo> <mi>n</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>N</mi> <mo>/</mo> <mn>2</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中,规定
S3、对估计序列做快速傅里叶变换FFT,得到频域信号
<mrow> <msub> <mover> <mrow> <mi>F</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>F</mi> <mi>F</mi> <mi>T</mi> <mo>{</mo> <msub> <mover> <mi>x</mi> <mo>&amp;OverBar;</mo> </mover> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> <mi>m</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>N</mi> <mo>/</mo> <mn>2</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
S4、用阈值t对频域信号进行阈值处理,滤除频率大于阈值t的高频噪声,得到去噪后的频域信号
式中,表示频域信号第m个点对应的频率;
S5、对频域信号做快速傅里叶逆变换IFFT,得到去噪后的时域信号
<mrow> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>I</mi> <mi>F</mi> <mi>F</mi> <mi>T</mi> <mo>{</mo> <msub> <mover> <mrow> <mi>F</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>,</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> <mi>n</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>N</mi> <mo>/</mo> <mn>2</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
S6、将xe(n)作为参考值,计算xe(n)和的误差平方和Me(t):
<mrow> <msub> <mi>M</mi> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mfrac> <mi>N</mi> <mn>2</mn> </mfrac> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>e</mi> </msub> <mo>(</mo> <mrow> <mi>t</mi> <mo>,</mo> <mi>n</mi> </mrow> <mo>)</mo> <mo>-</mo> <msub> <mi>x</mi> <mi>e</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
S7、对偶数序号序列xe(n)应用步骤S2)-步骤S6),得到估计的奇数序号序列的误差平方和Mo(t),则总的误差平方和为
M(t)=Me(t)+Mo(t) (6)
S8、计算M(t)取最小值时的阈值tm
S9、对原始信号x(n)进行快速傅里叶变换,再滤除频域信号中频率大于tm的高频噪声,对去噪后的频域信号进行快速傅里叶逆变换,得到去噪后的光滑信号。
2.根据权利要求1所述的一种基于交叉验证的傅里叶变换去噪方法,其特征在于:所述偶数序号序列xe(n)和奇数序号序列xo(n)的采样频率均为fs/2,所述阈值t的取值范围为[0,fs/4]。
CN201711096062.7A 2017-11-09 2017-11-09 一种基于交叉验证的傅里叶变换去噪方法 Pending CN107894434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711096062.7A CN107894434A (zh) 2017-11-09 2017-11-09 一种基于交叉验证的傅里叶变换去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711096062.7A CN107894434A (zh) 2017-11-09 2017-11-09 一种基于交叉验证的傅里叶变换去噪方法

Publications (1)

Publication Number Publication Date
CN107894434A true CN107894434A (zh) 2018-04-10

Family

ID=61804684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711096062.7A Pending CN107894434A (zh) 2017-11-09 2017-11-09 一种基于交叉验证的傅里叶变换去噪方法

Country Status (1)

Country Link
CN (1) CN107894434A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574063A (zh) * 2024-01-17 2024-02-20 北京雪迪龙科技股份有限公司 一种基于傅里叶变换的光谱降噪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58170212A (ja) * 1982-03-31 1983-10-06 Yokogawa Hokushin Electric Corp フイルタ−演算装置
CN105187341A (zh) * 2015-08-03 2015-12-23 东南大学 一种基于交叉验证的平稳小波变换去噪方法
CN106019102A (zh) * 2016-06-27 2016-10-12 国网北京市电力公司 信号去噪方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58170212A (ja) * 1982-03-31 1983-10-06 Yokogawa Hokushin Electric Corp フイルタ−演算装置
CN105187341A (zh) * 2015-08-03 2015-12-23 东南大学 一种基于交叉验证的平稳小波变换去噪方法
CN106019102A (zh) * 2016-06-27 2016-10-12 国网北京市电力公司 信号去噪方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李芳: "基于小波变换的能量色散 X 射线荧光光谱建模方法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *
董长虹 等: "《Matlab小波分析工具箱原理及应用》", 31 January 2004, 国防工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574063A (zh) * 2024-01-17 2024-02-20 北京雪迪龙科技股份有限公司 一种基于傅里叶变换的光谱降噪方法
CN117574063B (zh) * 2024-01-17 2024-04-16 北京雪迪龙科技股份有限公司 一种基于傅里叶变换的光谱降噪方法

Similar Documents

Publication Publication Date Title
CN105158740B (zh) 基于高精度频率估计的噪声调幅干扰抑制方法
CN106597408B (zh) 基于时频分析和瞬时频率曲线拟合的高阶pps信号参数估计方法
CN110967599A (zh) 一种电能质量扰动检测与定位算法
CN107102255A (zh) 单一adc采集通道动态特性测试方法
CN108594177A (zh) 基于改进hht的雷达信号调制方式分析方法、信号处理系统
CN105307095B (zh) 一种基于fft的高分辨率音频频率测量方法
CN113325277A (zh) 一种局部放电处理方法
CN105930818A (zh) 一种提升emd去噪能力的数据处理方法
CN104901909B (zh) 一种α非高斯噪声下chirp信号的参数估计方法
CN109490627A (zh) 基于混合卷积窗的新型电力系统谐波分析方法
CN104215459A (zh) 一种轴承故障的诊断方法
CN115700544A (zh) 一种联合经验模态分解及小波软阈值的色谱信号去噪方法
CN102998528B (zh) 动态正弦畸变信号中频率分量的提取方法及其实现装置
CN106483563A (zh) 基于互补集合经验模态分解的地震能量补偿方法
CN106125134A (zh) 基于双曲时窗的地震数据信噪比计算方法
CN109374298B (zh) 基于互相关奇异值的轴承故障诊断方法
CN108254794B (zh) 一种基于建模反恢复技术的磁共振消噪方法及装置
CN111159888A (zh) 一种基于互相关函数的协方差矩阵稀疏迭代时延估计方法
CN107894434A (zh) 一种基于交叉验证的傅里叶变换去噪方法
CN107248869B (zh) 一种基于吕分布的多分量线性调频信号去噪方法
CN109460614B (zh) 基于瞬时带宽的信号时间-频率分解方法
CN113406386B (zh) 一种基于数字下变频的信号频率精确估计方法
CN103905360A (zh) 加入“判极”操作的非合作bpsk信号解码方法
CN102868403B (zh) 一种测试模数转换器主要性能指标的测试系统
CN103441975B (zh) 一种基于功率谱的二相编码信号参数估值方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180410

RJ01 Rejection of invention patent application after publication