CN111207830B - 一种低失真的光谱降噪滤波方法 - Google Patents

一种低失真的光谱降噪滤波方法 Download PDF

Info

Publication number
CN111207830B
CN111207830B CN202010103494.1A CN202010103494A CN111207830B CN 111207830 B CN111207830 B CN 111207830B CN 202010103494 A CN202010103494 A CN 202010103494A CN 111207830 B CN111207830 B CN 111207830B
Authority
CN
China
Prior art keywords
noise reduction
filtering
value
residual
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010103494.1A
Other languages
English (en)
Other versions
CN111207830A (zh
Inventor
姚志湘
粟晖
洪刚
尧伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Dalai Software Technology Co ltd
Original Assignee
Suzhou Dalai Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Dalai Software Technology Co ltd filed Critical Suzhou Dalai Software Technology Co ltd
Priority to CN202010103494.1A priority Critical patent/CN111207830B/zh
Publication of CN111207830A publication Critical patent/CN111207830A/zh
Application granted granted Critical
Publication of CN111207830B publication Critical patent/CN111207830B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0297—Constructional arrangements for removing other types of optical noise or for performing calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65—Raman scattering

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开一种低失真的光谱降噪滤波方法，包括以下步骤：步骤1，选定待降噪处理的光谱信号S；步骤2，对所述带降噪处理的光谱信号S执行确定降噪执行模块BF，得到优化的降噪结果S1；步骤3，对步骤2所述的降噪执行模块BF进行递进降噪，得到最优的降噪结果S1*。本发明的光谱降噪滤波方法采用多次不同参数的滤波器取代固定参数滤波器，依据判据对每次滤波的参数进行调整，逼近滤波的优化效果，提高降噪强度和输出信号的保真程度。

Description

一种低失真的光谱降噪滤波方法
技术领域
本发明涉及光谱仪器领域，尤其涉及一种低失真的光谱降噪滤波方法。
背景技术
光谱信号中包含的白噪声是影响信号质量的重要原因。除了从硬件上提高仪器性能来降低噪声水平，在数据处理中的滤波也是很常用的方法。在常用的滤波方法中主要是采用不同的滤波器设计来改进降噪效果。
评价滤波效果，一方面是滤除噪声强度，另一方面是真实信号保留程度即失真程度，这两方面是矛盾的。通常采用调整确定滤波器参数后，选取优化值，通过一次滤波完成操作。然而，固定参数的滤波器无法适应频率分布宽的信号，即使是按照多项式优化后的S-G滤波，对于不同频率信号的失真程度也是不同的，也就是说，对于实际信号，固定参数的滤波器难以达到优化条件。
发明内容
为了解决上述问题，本发明提供一种低失真的光谱降噪滤波方法，该方法采用多次不同参数的滤波器取代固定参数滤波器，依据判据对每次滤波的参数进行调整，逼近滤波的优化效果，提高降噪强度和输出信号的保真程度。
本发明的一种光谱仪器的降噪方法是这样实现的：
一种低失真的光谱降噪滤波方法，其特征在于，包括以下步骤：
步骤1，选定待降噪处理的光谱信号S；
步骤2，对所述带降噪处理的光谱信号S执行确定降噪执行模块BF，得到优化的降噪结果S1；
步骤3，对步骤2所述的降噪执行模块BF进行递进降噪，得到最优的降噪结果S1*。
优选的，所述降噪执行模块BF包括以下步骤：
a.模块开始，输入被滤波信号S0和预定义的窗宽参数m；
b.选择滤波器；
c.选择窗宽参数m作为变量；
d.以m对被降噪信号S0滤波，得到F1；
e.S0-F1得到残留的RS1；
f.以小于m的最小窗宽m0开始，依次增大窗宽，每次对RS1滤波得到F2，计算残差N1＝RS1-F2，按照N1的优化指标，判断N1优化值出现时的m1，然后输出优化条件下的F2；
g.将F2与F1相加，定义S1＝F1+F2；
h.此模块结束，输出优化的降噪结果S1。
优选的，所述递进降噪包括以下步骤：
a).定义初始m，输入S0；
b).执行BF模块，输出S1；
c).令S0＝S1，m＝m+1，回到第一步a)开始递进循环；
d).根据优化指标，判断循环终点；
e).到达终点后，停止循环，最终的S1作为结果输出，最终的S1即为最优的降噪结果S1*。
优选的，所述滤波器包括移动平均滤波、最小二乘线性滤波和S-G滤波。
优选的，步骤c所述窗宽参数m按照以下方法进行选择：对于单参数滤波器，选择窗宽参数m作为变量；对于多参数滤波器，固定其他参数，窗宽参数m作为变量。
优选的，所述优化指标包括N1的“残差均方差-峰度比”值。
优选的，所述优化指标包括：S1的“残差均方差-峰度比”值和S1的熵值；
优选的，所述“残差均方差-峰度比”值是按照以下步骤得到的：
步骤1)，选定滤波算法，对原始测量信号xb，进行平滑降噪得到输出信号xa；
步骤2)，求取xb与xa的残差值x
步骤3)，计算残差值x的均方差-峰度比VFR；
步骤4)，调整滤波参数，计算不同参数对应的VFR；
步骤5)，找出VFR的最优值，VFR的最优值相对应的滤波参数即为最优化的滤波参数。
优选的，所述残差值x按照以下公式进行计算：
x＝xb-xa；
式中xb为原始测量信号，xa为进行平滑降噪得到输出信号。
优选的，所述VFR值是按照以下公式进行计算：
Figure BDA0002387658600000021
式中σ为均方差，g为峰度比。
本发明提供了一种低失真的光谱降噪滤波方法，解决了目前降噪效果评价的难题，为光谱仪器的开发和使用提供了基础支持；本发明的光谱降噪滤波方法采用多次不同参数的滤波器取代固定参数滤波器，依据判据对每次滤波的参数进行调整，逼近滤波的优化效果，提高降噪强度和输出信号的保真程度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是采用Voigt峰模拟的光谱信号；
图2是叠加10％强度的高斯白噪声的模拟光谱信号；
图3是直接采用移动平均滤波器的滤波效果(m＝7)；
图4是直接采用移动平均滤波器的滤波残差(m＝7)；
图5是采用移动平均滤波器的残差滤波效果(优化m1＝5)；
图6是本发明的降噪结果；
图7是直接移动平均滤波和采用本发明BF模块滤波结果对比图；
图8是采用BF模块递进降噪结果；
图9是布洛芬药片的拉曼光谱信号；
图10是采用本发明方法(选择S-G作为基础滤波器)的滤波效果
图11是最优S-G滤波和本发明滤波的残值对比。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
一种低失真的光谱降噪滤波方法，其特征在于，包括以下步骤：
步骤1，选定待降噪处理的光谱信号S；
步骤2，对所述带降噪处理的光谱信号S执行确定降噪执行模块BF，得到优化的降噪结果S1；
步骤3，对步骤2所述的降噪执行模块BF进行递进降噪，得到最优的降噪结果S1*。
所述降噪执行模块BF包括以下步骤：
a.模块开始，输入被滤波信号S0和预定义的窗宽参数m；
b.选择滤波器；
c.选择窗宽参数m作为变量；
d.以m对被降噪信号S0滤波，得到F1；
e.S0-F1得到残留的RS1；
f.以小于m的最小窗宽m0开始，依次增大窗宽，每次对RS1滤波得到F2，计算残差N1＝RS1-F2，按照N1的优化指标，判断N1优化值出现时的m1，然后输出优化条件下的F2；
g.将F2与F1相加，定义S1＝F1+F2；
h.此模块结束，输出优化的降噪结果S1。
优选的，所述递进降噪包括以下步骤：
a).定义初始m，输入S0；
b).执行BF模块，输出S1；
c).令S0＝S1，m＝m+1，回到第一步a)开始递进循环；
d).根据优化指标，判断循环终点；
e).到达终点后，停止循环，最终的S1作为结果输出，最终的S1即为最优的降噪结果S1*。
优选的，所述滤波器包括移动平均滤波、最小二乘线性滤波和S-G滤波。
优选的，步骤c所述窗宽参数m按照以下方法进行选择：对于单参数滤波器，选择窗宽参数m作为变量；对于多参数滤波器，固定其他参数，窗宽参数m作为变量。优选的，所述优化指标包括N1的“残差均方差-峰度比”值。
优选的，所述优化指标包括：S1的“残差均方差-峰度比”值和S1的熵值；
优选的，所述“残差均方差-峰度比”值是按照以下步骤得到的：
步骤1)，选定滤波算法，对原始测量信号xb，进行平滑降噪得到输出信号xa；
步骤2)，求取xb与xa的残差值x
步骤3)，计算残差值x的均方差-峰度比VFR；
步骤4)，调整滤波参数，计算不同参数对应的VFR；
步骤5)，找出VFR的最优值，VFR的最优值相对应的滤波参数即为最优化的滤波参数。
优选的，所述残差值x按照以下公式进行计算：
x＝xb-xa；
式中xb为原始测量信号，xa为进行平滑降噪得到输出信号。
优选的，所述VFR值是按照以下公式进行计算：
Figure BDA0002387658600000041
式中σ为均方差，g为峰度比；
其中均方差采用以下公式计算：
Figure BDA0002387658600000042
峰度采用以下公式计算：
Figure BDA0002387658600000043
式中：信号序列包含n个数据单值，残差序列x是滤波前信号xb与滤波后信号xa的差值，按照方差和峰度公式分别计算方差σ2和g。均方差-峰度比(VFR)是校正后的方差值，即峰度值减3的绝对值，反映了残差偏离高斯分布的程度，加1后作为方差的校正系数，偏离高斯分布的程度越大，降噪后方差增大的意义响应缩小。
发明原理：
信号的峰宽差异，本质上是频率差异。频率差异越大，在滤波器设计时，兼顾越困难。因此，有必要分级分次采用不同的滤波器。
如果从信号中扣除低频成分，其频率分布会变得集中；对残差进行滤波，可以有效减少滤波中高频信号的损失，将滤波结果叠加被扣的成分，还原后的信号，从而减小失真。
频率集中真实信号，采用“残差均方差-峰度比”优化滤波器参数，可以使滤除部分最接近白噪声，得到局部优化的滤波信号。
重复以上步骤，直至滤波信号达到收敛，输出的滤波信号为全局优化结果。
实施例1
用一组不同宽度和强度的Voigt峰叠加模拟光谱信号CR，图1。
在图1中CR基础上叠加10％强度的高斯白噪声N，得到信号含白噪声的信号S，图2。
对S执行BF模块：选用最简单的移动平均滤波器，定义移动窗口m＝7，得到的F1，图3。
计算S0和F1的残差，得到RS1，如图4。
对RS1按照“残差均方差-峰度比”判断出优化的m1等于5，计算F2，如图5。
将F1与F2相加，输出滤波后的S1，即采用本发明方法的滤波效果，如图6。
为了对比BF模块的降噪效果，将S1与S相减，显示噪声滤除效果，并与移动窗口值分别为5和7的直接移动平均滤波相比，图7上中下分别为窗口值7、5和BF模块m＝7的情况。
图7中可以看出，BF模块滤除信号最平稳，即失真最小。
对S采用BF模块，定义m从3到7递进降噪，S1的结果如图8，直观上比图6更平滑。
将S与S1相减得残差DS，残差DS与添加的N相关系数越高，表明降噪越充分而且失真越小。本发明的相关系数为0.8720，直接移动平均滤波结果对应残差的最大相关系数为0.8070，S-G滤波得到的最优结果为0.8700，也就是说递进滤波可以达到比目前普遍认可的滤波器具有更好的效果。
另外滤波结果S1与不含噪声的真实信号CR的相关系数也可以反映滤波的真实程度，本发明的得到的S1与CR的相关系数为0.9988，S-G滤波的最大相关系数为0.9977，移动平均滤波的最大相关系数为0.9980。
从噪声N和真实信号CR两个方面对比来看，本发明提出的滤波方法具有更好的保真效果。
在同一计算平台和环境下，1000次计算时间S-G滤波为0.44秒，BF循环递进时间为0.46秒，计算时间基本无差异，说明本发明提出的方法不会增加计算成本。
实施例2
选用真实的布洛芬药片的拉曼光谱信号(如图9)来验证本发明的效果。
选用S-G滤波器构造BF模块，适当延长计算时间，单次计算时间20ms(重复1000次计算时间为20秒)，输出的结果如图10。
图11是最优S-G滤波结果和本发明滤波结果分别与未滤波信号的残值对比，上为S-G滤波，下为本发明滤波的残值效果。
可以看出在高频(窄峰宽)处，本发明滤波的信号损失明显小于S-G滤波的最优结果。
本发明提供了一种优化滤波器参数的方法和基准，解决了目前降噪效果评价的难题，为光谱仪器的开发和使用提供了基础支持，对仪器用户而言，避免盲目设置和经验估计带来的疑虑。采用本发明可以有效提高仪器性能和易用性。

Claims (8)

1.一种低失真的光谱降噪滤波方法，其特征在于，包括以下步骤：
步骤1，选定待降噪处理的光谱信号S；
步骤2，对所述待降噪处理的光谱信号S执行确定降噪执行模块BF，得到优化的降噪结果S1；
步骤3，对步骤2所述的降噪执行模块BF进行递进降噪，得到最优的降噪结果S1*；
所述降噪执行模块BF包括以下步骤：
a.模块开始，输入被滤波信号S0和预定义的窗宽参数m；
b.选择滤波器；
c.选择窗宽参数m作为变量；
d.以m对被降噪信号S0滤波，得到F1；
e.S0-F1得到残留的RS1；
f.以小于m的最小窗宽m0开始，依次增大窗宽，每次对RS1滤波得到F2，计算残差N1＝RS1-F2，按照N1的优化指标，判断N1优化值出现时的m1，然后输出优化条件下的F2；
g.将F2与F1相加，定义S1＝F1+F2；
h.此模块结束，输出优化的降噪结果S1；
所述递进降噪包括以下步骤：
a).定义初始m，输入S0；
b).执行BF模块，输出S1；
c).令S0＝S1，m＝m+1，回到第一步a)开始递进循环；
d).根据优化指标，判断循环终点；
e).到达终点后，停止循环，最终的S1作为结果输出，最终的S1即为最优的降噪结果S1*。
2.如权利要求1所述的一种低失真的光谱降噪滤波方法，其特征在于，所述滤波器包括移动平均滤波、最小二乘线性滤波和S-G滤波。
3.如权利要求2所述的一种低失真的光谱降噪滤波方法，其特征在于，步骤c所述窗宽参数m按照以下方法进行选择：对于单参数滤波器，选择窗宽参数m作为变量；对于多参数滤波器，固定其他参数，窗宽参数m作为变量。
4.如权利要求2所述的一种低失真的光谱降噪滤波方法，其特征在于，所述优化指标包括N1的“残差均方差-峰度比”值。
5.如权利要求3所述的一种低失真的光谱降噪滤波方法，其特征在于，所述优化指标包括：S1的“残差均方差-峰度比”值和S1的熵值；
6.如权利要求4或5所述的一种低失真的光谱降噪滤波方法，其特征在于，所述“残差均方差-峰度比”值是按照以下步骤得到的：
步骤1)，选定滤波算法，对原始测量信号xb，进行平滑降噪得到输出信号xa；
步骤2)，求取xb与xa的残差值x
步骤3)，计算残差值x的均方差-峰度比VFR；
步骤4)，调整滤波参数，计算不同参数对应的VFR；
步骤5)，找出VFR的最优值，VFR的最优值相对应的滤波参数即为最优化的滤波参数。
7.如权利要求6所述一种低失真的光谱降噪滤波方法，其特征在于，所述残差值x按照以下公式进行计算：
x＝xb—xa；
式中xb为原始测量信号，xa为进行平滑降噪得到输出信号。
8.如权利要求6所述的一种低失真的光谱降噪滤波方法，其特征在于，所述VFR值是按照以下公式进行计算：
Figure FDA0003517841890000021
式中σ为均方差，g为峰度比。
CN202010103494.1A 2020-02-20 2020-02-20 一种低失真的光谱降噪滤波方法 Expired - Fee Related CN111207830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103494.1A CN111207830B (zh) 2020-02-20 2020-02-20 一种低失真的光谱降噪滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103494.1A CN111207830B (zh) 2020-02-20 2020-02-20 一种低失真的光谱降噪滤波方法

Publications (2)

Publication Number Publication Date
CN111207830A CN111207830A (zh) 2020-05-29
CN111207830B true CN111207830B (zh) 2022-10-21

Family

ID=70784895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103494.1A Expired - Fee Related CN111207830B (zh) 2020-02-20 2020-02-20 一种低失真的光谱降噪滤波方法

Country Status (1)

Country Link
CN (1) CN111207830B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787890A (zh) * 2016-01-28 2016-07-20 河南师范大学 自适应等距模板迭代均值滤波的图像去噪方法
CN106383107A (zh) * 2016-09-23 2017-02-08 新疆大学 一种基于平滑滤波联合vs‑lms的光谱信号降噪方法
CN110274620A (zh) * 2019-07-26 2019-09-24 南京航空航天大学 一种基于频谱中心对齐的布里渊散射信号去噪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021235A (ko) * 2008-08-14 2010-02-24 엘지디스플레이 주식회사 영상의 에지 보정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787890A (zh) * 2016-01-28 2016-07-20 河南师范大学 自适应等距模板迭代均值滤波的图像去噪方法
CN106383107A (zh) * 2016-09-23 2017-02-08 新疆大学 一种基于平滑滤波联合vs‑lms的光谱信号降噪方法
CN110274620A (zh) * 2019-07-26 2019-09-24 南京航空航天大学 一种基于频谱中心对齐的布里渊散射信号去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
荧光褪色效应与拉曼光谱基线干扰消除;姚志湘 等;《光谱学与光谱分析》;20190731;第39卷(第7期);第2034-2039页 *

Also Published As

Publication number Publication date
CN111207830A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
AU2007280822B2 (en) Device and method for processing a real subband signal for reducing aliasing effects
TWI470623B (zh) 用以獲得描述信號之信號特性變異之參數的裝置、方法與電腦程式、以及用以時間捲曲編碼輸入音訊信號的時間捲曲音訊編碼器
CN106663444A (zh) 用于使用谐波后置滤波器来处理音频信号的装置及方法
CN107610712B (zh) 一种结合mmse和谱减法的语音增强方法
CN116388733B (zh) 一种适用于近红外水果无损检测的光谱预处理方法及装置
CN106644075A (zh) 一种傅立叶光谱仪的高效去噪方法
CN105260990A (zh) 染噪红外光谱信号的去噪方法
CN111207830B (zh) 一种低失真的光谱降噪滤波方法
CN109724693B (zh) 一种基于平稳小波的融合光谱去噪方法
CN108168697B (zh) 一种光谱仪降噪和波长标定方法
KR19990028308A (ko) 전력 스펙트럼밀도 추정방법 및 장치
JP6064370B2 (ja) 雑音抑圧装置、方法及びプログラム
JP2003533753A (ja) スペクトルのモデル化
CN111289106B (zh) 一种基于数字滤波的光谱降噪方法
CN112580451A (zh) 一种基于改进emd和med的数据降噪方法
JP2016024000A (ja) ベースライン推定方法、計測信号補正方法、及び分光光度計
KR20120115729A (ko) 스펙트럼 데이터의 이상값 영향을 최소화하기 위한 전처리 방법
CN113375065B (zh) 管道泄漏监测中趋势信号的消除方法及装置
Turulin et al. Analysis of controlled digital recursive high-pass filters structures with infinite non-negative impulse response
CN113948088A (zh) 基于波形模拟的语音识别方法及装置
CN112687277B (zh) 语音共振峰的确定方法、装置、电子设备及可读存储介质
CN111256819B (zh) 一种光谱仪器的降噪方法
Yao et al. Design the arbitrary order calculus operator by a simulated hyperbolic function for analytical applications
Zhang et al. A new filter algorithm of image based on fuzzy logical
CN110470396B (zh) 光谱平滑降噪的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221021