CN102998296B - 一种去除背景噪声影响的拉曼光谱预处理方法 - Google Patents
一种去除背景噪声影响的拉曼光谱预处理方法 Download PDFInfo
- Publication number
- CN102998296B CN102998296B CN201210490443.4A CN201210490443A CN102998296B CN 102998296 B CN102998296 B CN 102998296B CN 201210490443 A CN201210490443 A CN 201210490443A CN 102998296 B CN102998296 B CN 102998296B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- raman spectrum
- differential difference
- raman
- differential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
一种去除背景噪声影响的拉曼光谱预处理方法，步骤如下：1）获得信息拉曼光谱及背景光谱；2)分别对信息拉曼光谱和背景拉曼光谱作一阶微分，得到微分差值光谱；3)对微分差值光谱作分段处理；4）对经过步骤3）处理后的微分差值光谱作有效信息保留的处理；5）对经过步骤4）处理后微分差值光谱的有效部分进行分别分段积分；6）对步骤5）获得的积分光谱的突变点作修正，即获得预处理后的拉曼信息光谱。本方法用于拉曼光谱预处理中，能够有效地从复杂背景噪声中提取出有效拉曼信息，方法简单，容易实现。
Description
技术领域
本发明涉及一种光学领域，特别是一种拉曼光谱去噪处理方法。
背景技术
在进行拉曼光谱分析时，被测量物质的拉曼光谱往往会受到背景噪声的影响。这些背景噪声包括机器噪声、荧光干扰、其他物质的拉曼光谱等。背景噪声干扰会影响光谱分析的精度，背景噪声干扰严重会使光谱分析难以有效进行，因此，在进行光谱分析前往往需要找到合适的消除背景噪声影响的光谱预处理方法。
常用的去除背景、噪声影响的光谱预处理方法包括 数字平滑滤波：常用的数字平滑滤波方法有窗口移动平均法，窗口移动二项式平滑，通过数字平滑滤波可以提高信噪比，其实质是去除随机误差信号引去的分析信号偏离，对高频噪声有效。(2) 多项式拟合基线校正：利用多项式拟合的基线校正法可以消除荧光背景，这种方法对于荧光背景这样整体平缓的背景消除有效，本质上是对低频噪声的消除。(3)小波变换：小波变换可以通过多分辨率的特性消除噪声，但前提是噪声、背景要与信号有明显的频率差异，才能找到合适的分解方法。(4)FT与HT滤波：低通可以过滤随机信号等高频噪声；高通可以去掉基线漂移等低频信号。以上这些方法在某些情况下能够有效去除机器噪声、荧光等的干扰，但在复杂体系中，这些方法对于其他非探测物质的拉曼光谱干扰则无能为力，面对高强度的荧光背景干扰时也达不到理想的效果。
另一方面，由于环境的不稳定，如温度的不稳定，周围环境的变化，表面增强基底的不稳定等，这些因素往往会使为拉曼光谱的散射强度变化很大，直接通过信息拉曼光谱与背景光谱相减的处理方式不能有效去除背景干扰。
发明内容
本发明的目的就是提供一种去除背景噪声影响的拉曼光谱预处理方法，它可以有效去除包括高强度荧光的拉曼光谱干扰背景噪声的影响，适用于背景噪声不稳定的情况。
本发明的目的是通过这样的技术方案实现的，具体步骤如下：
1）获取信息拉曼光谱Ls及背景拉曼光谱Lb，加入被测物质之前，用拉曼光谱仪对背景进行测量，获得背景光谱Lb;加入被测物质后，再用拉曼光谱仪测量获得拉曼信息光谱Ls。
2）分别对信息拉曼光谱Ls及背景拉曼光谱Lb作一阶微分处理，并将含有信息光谱Ls的一阶微分值减去背景光谱Lb的一阶微分值，得到微分差值光谱CO；
3）将步骤2）得到的微分差值光谱CO作分段处理，将微分差值的绝对值小于阈值σ的分为一段，并用Flag函数标记该段为0，将微分差值大于σ的分为一段，并用Flag函数标记该段为1，将微分差值小于-σ的的分为一段，并用Flag函数标记该段为-1；
4）经过步骤3）处理后的微分差值光谱作有效信息保留处理，保留的有效信息微分差值光谱为C1；
5）对微分差值光谱C1进行分段积分，获得有效拉曼光谱L1；
6）若有效拉曼光谱L1中包含由正值或负值直接变为0的突变点，则对突变点所在区间作线性修正，直至处理后的光谱中没有突变点，即获得预处理后的有效信息拉曼光谱L2。
进一步，步骤3）中的阈值σ=k*V，其中V为含有有效信息的光谱中选取的比较平衡的一段光谱的散射强度的标准差，标准差计算公式为
式中，u为所选取光谱散射强度的平均值，计算分式为，k为1，2或3的整数。
进一步，步骤4）中对微分差值光谱作有效信息保留处理的方法为：找到标记函数Flag从1到0的突变点1到0的突变点M及标记函数Flag从0到-1的突变点N，若M与N之间的标记函数Flag值全为0，则从M点往前查找微分差值由大于零变为不大于零的突变点M1，直至M1点的微分差值不大于0，从N点往后查找微分差值由小于零到不小于零的突变点N1，直至N1点的微分微分差值不小于0，则有效信息区间[M1,N1]，保留所有有效信息区间内全部微分差值，其他值设为0，得到处理后的微分差值光谱C1。
进一步，步骤5）对微分差值光谱C1进行分段积分的方法为：对微分差值光谱中C1中不为零的有效信息段进行分别分段积分，为零的部分积分值置为0，获得有效拉曼光谱L1。
进一步，步骤6）中对突变点进行修改的方法为：设突变点处的散射位移及散射强度分别为和，往前找到第一个散射强度0的点，记其散射位移为，对散射位移在到之间的点的散射强度进行线性校正，校正公式为，式中和分别为所修正的点对应的散射位移及散射强度，为修正后的点所对应的散射强度。
由于采用了上述技术方案，本发明具有如下的优点：
本发明采用形状相似性判断的方法，将背景与信息区别分离开来，根据拉曼峰的分布规律对有效的信息进行了保留，因此能够有效地去除背景噪声的影响。本发明是采用基于形状而不是拉曼散射强度的判断方式去除背景噪声、保留有效信息，克服了在背景拉曼光谱散射强度不稳定时，直接采用强度相减的方法容易带来额外噪声的缺点。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
本发明的附图说明如下。
图1为本发明方法的整体流程图；
图2 为原始的信息拉曼光谱及背景拉曼光谱的示例图；
图3为信息光谱及背景光谱分别一阶微分后相减的处理效果图；
图4为分段处理后的效果局部放大图；
图5为有效信息保留处理后的效果局部放大图；
图6为分段积分处理后的效果局部放大图；
图7为突变点修正处理后的效果的局部放大图；
图8为经过本发明预处理后得到的信息拉曼光谱实例图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
一种去除背景噪声影响的拉曼光谱预处理方法，如图1所示，包括有对信息光谱及背景光谱分别作一阶微分，然后将信息光谱的微分值减去背景光谱的微分值得到微分差值光谱C0；Flag函数对C0作分段标记处理；有效信息保留处理得到微分差值光谱C1；对微分差值光谱C1中有效信息区间进行分别分段积分，获得有效拉曼光谱L1；进行突变点修正得到本发明预处理后得到最终信息拉曼光谱。
未经任何处理的信息拉曼光谱及背景拉曼光谱如图2所示，其中实线表示的是信息拉曼光谱Ls，虚线表示的是背景拉曼光谱Lb。
分别对信息拉曼光谱Ls及背景拉曼光谱Lb作一阶微分，并将含有效信息的光谱的一阶微分值减去背景光谱的一阶微分值，得到微分差值光谱C0，如图3所示。
接着，C0作分段处理，将微分差值的绝对值小于阈值σ的分为一段，并用Flag函数标记该段为0，将微分差值大于σ的分为一段，并用Flag函数标记该段为1，将微分差值小于-σ的分为一段，并用Flag函数标记该段为-1。处理后，Flag函数分段标记的效果如图4 所示，其中实线部分为微分差值光谱C0的局部放大图，虚线部分表示的是Flag函数分段标记的局部放大效果。
其中，阈值σ=k*V,其中V为含有有效信息的光谱中选取的比较平稳的一段光谱的纵坐标散射强度的标准差，标准差的计算公式为，u为所选取光谱纵坐标散射强度的平均值,计算公式为，k为根据实际应用可灵活定义的阈值系数，确定阈值系数k=1。
紧跟着，作有效信息保留处理。其具体步骤为找到标记函数Flag从1到0的突变点M及标记函数Flag从0到-1的突变点N，若M与N之间的标记函数Flag值全为0，则从M点往前查找点M1，直至M1点的微分差值不大于0，从N点往后查找N1点，直至N1点的微分差值不小于0，则有效信息区间为[M1，N1]，保留所有有效信息区间内的全部微分差值，其他值设为0,得到处理后的微分差值光谱C1，如图5所示。
然后，进行积分处理。具体积分方法为：对微分差值光谱中C1中不为零的有效信息段进行分别分段积分，为零的部分积分值置为0，获得有效拉曼光谱L1如图6所示，图6中的圆点表示的是有效拉曼光谱L1中由正值或者负值直接变为0的突变点。
最后，对L1由正值或者负值直接变为0的突变点进行修正，得到修正后的信息拉曼光谱L2，修正方法的具体方法为：设突变点处的散射位移及散射强度分别为,,往前找到第一个散射强度0的点，记其散射位移为,对散射位移在到之间的点的散射强度进行线性校正，校正公式为，，分别为所修正的点对应的散射位移及散射强度，为修正后的点所对应的散射强度。图8为修正后的信息拉曼光谱L2的效果图，图7为信息拉曼光谱L2的局部放大效果图
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种去除背景噪声影响的拉曼光谱预处理方法，其特征在于，具体步骤如下：
1)获取信息拉曼光谱Ls及背景拉曼光谱Lb：加入被测物质之前，用拉曼光谱仪对背景进行测量，获得背景拉曼光谱Lb；加入被测物质后，再用拉曼光谱仪测量获得信息拉曼光谱Ls；
2)分别对信息拉曼光谱Ls及背景拉曼光谱Lb作一阶微分处理，并将含有信息拉曼光谱Ls的一阶微分值减去背景拉曼光谱Lb的一阶微分值，得到微分差值光谱CO；
3)将步骤2)得到的微分差值光谱CO作分段处理，将微分差值的绝对值小于阈值σ的分为一段，并用Flag函数标记该段为0，将微分差值大于σ的分为一段，并用Flag函数标记该段为1，将微分差值小于-σ的的分为一段，并用Flag函数标记该段为-1；
4)经过步骤3)处理后的微分差值光谱作有效信息保留处理，保留的有效信息微分差值光谱为C1；
5)对微分差值光谱C1进行分段积分，获得有效拉曼光谱L1；
6)若有效拉曼光谱L1中包含由正值或负值直接变为0的突变点，则对突变点所在区间作线性修正，直至处理后的光谱中没有突变点，即获得预处理后的有效信息拉曼光谱L2。
2.如权利要求1所述的一种去除背景噪声影响的拉曼光谱预处理方法，其特征在于：步骤3)中的阈值σ＝k*V，其中V为含有有效信息的光谱中选取的比较平衡的一段光谱的散射强度的标准差，标准差计算公式为
式中，u为所选取光谱散射强度的平均值，计算分式为为1，2或3的整数。
3.如权利要求1所述的一种去除背景噪声影响的拉曼光谱预处理方法，其特征在于，步骤4)中对微分差值光谱作有效信息保留处理的方法为：找到标记函数Flag从1到0的突变点M及标记函数Flag从0到-1的突变点N，若M与N之间的标记函数Flag值全为0，则从M点往前查找微分差值由大于零变为不大于零的突变点M1，直至M1点的微分差值不大于0，从N点往后查找微分差值由小于零到不小于零的突变点N1，直至N1点的微分差值不小于0，则有效信息区间[M1,N1]，保留所有有效信息区间内全部微分差值，其他值设为0，得到处理后的微分差值光谱C1。
4.如权利要求3所述的一种去除背景噪声影响的拉曼光谱预处理方法，其特征在于，步骤5)对微分差值光谱C1进行分段积分的方法为：对微分差值光谱中C1中不为零的有效信息段进行分别分段积分，为零的部分积分值置为0，获得有效拉曼光谱L1。
5.如权利要求1所述的一种去除背景噪声影响的拉曼光谱预处理方法，其特征在于，步骤6)中对突变点进行修改的方法为：设突变点处的散射位移及散射强度分别为x1和y1，往前找到第一个散射强度0的点，记其散射位移为x0，对散射位移在x0到x1之间的点的散射强度进行线性校正，校正公式为式中xi和yi分别为所修正的点对应的散射位移及散射强度，y'i为修正后的点所对应的散射强度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210490443.4A CN102998296B (zh) | 2012-11-28 | 2012-11-28 | 一种去除背景噪声影响的拉曼光谱预处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210490443.4A CN102998296B (zh) | 2012-11-28 | 2012-11-28 | 一种去除背景噪声影响的拉曼光谱预处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102998296A CN102998296A (zh) | 2013-03-27 |
| CN102998296B true CN102998296B (zh) | 2014-10-29 |
Family
ID=47927139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210490443.4A Active CN102998296B (zh) | 2012-11-28 | 2012-11-28 | 一种去除背景噪声影响的拉曼光谱预处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102998296B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103308165B (zh) * | 2013-05-29 | 2015-10-28 | 南京宝光检测技术有限公司 | 基于分段积分匹配法获得全波段均衡光谱的方法 |
| CN103901014B (zh) * | 2014-03-10 | 2016-04-20 | 华南师范大学 | 多元线性回归拟合获得真实的细胞拉曼光谱的方法 |
| CN103940803B (zh) * | 2014-05-06 | 2016-09-21 | 北京华泰诺安探测技术有限公司 | 一种拉曼光谱分析的自动基线校正方法 |
| CN103983631B (zh) * | 2014-06-06 | 2016-01-13 | 清华大学 | 基于多波长同时激发的拉曼信号检测与提取系统 |
| WO2016120959A1 (ja) * | 2015-01-26 | 2016-08-04 | 株式会社島津製作所 | ノイズレベル推定方法、測定データ処理装置、及び測定データ処理用プログラム |
| US11187685B2 (en) * | 2015-02-16 | 2021-11-30 | Shimadzu Corporation | Noise level estimation method, measurement data processing device, and program for processing measurement data |
| CN104954704B (zh) * | 2015-06-01 | 2018-08-31 | 北京华泰诺安探测技术有限公司 | 一种用于拉曼光谱仪ccd信号降噪方法 |
| CN105628676B (zh) * | 2015-12-29 | 2018-10-12 | 北京华泰诺安探测技术有限公司 | 一种拉曼光谱修正系统及方法 |
| CN105466908B (zh) * | 2015-12-31 | 2018-04-20 | 安徽芯核防务装备技术股份有限公司 | 一种样品瓶固定干扰噪声的拉曼光谱去除方法 |
| CN105675580B (zh) * | 2016-01-26 | 2018-09-07 | 武汉四方光电科技有限公司 | 一种动态惰性气体基底拟合方法 |
| CN105784643B (zh) * | 2016-03-07 | 2019-03-05 | 华中科技大学 | 一种降低气体拉曼光谱荧光背景的装置及其方法 |
| CN107515327B (zh) * | 2016-06-16 | 2020-10-30 | 上海华虹集成电路有限责任公司 | 用于iso7811协议中磁介质信号接收的峰检测电路 |
| CN106770151B (zh) * | 2016-11-01 | 2019-10-25 | 北京华泰诺安技术有限公司 | 一种快速检测拉曼光谱信号的方法及装置 |
| CN107831157B (zh) * | 2017-10-24 | 2020-02-18 | 西安电子科技大学 | 基于除谱的拉曼光谱荧光背景扣除方法 |
| WO2019080013A1 (zh) * | 2017-10-25 | 2019-05-02 | 深圳达闼科技控股有限公司 | 拉曼检测方法、装置、存储介质及电子设备 |
| CN110567932B (zh) * | 2018-06-06 | 2021-09-28 | 中国石油天然气股份有限公司 | 气体拉曼光谱的处理方法及处理装置 |
| CN109001182B (zh) * | 2018-09-29 | 2022-01-04 | 西安电子科技大学 | 封闭容器中酒精含量的拉曼光谱无损测定方法 |
| CN112213295A (zh) * | 2020-09-29 | 2021-01-12 | 中国科学院长春光学精密机械与物理研究所 | 一种含有掺杂光谱的样本拉曼光谱的分离方法和装置 |
| CN113324971B (zh) * | 2021-05-14 | 2022-11-08 | 重庆大学 | 一种基于低通滤波的自适应拉曼光谱基线校正方法 |
| CN113883672B (zh) * | 2021-09-13 | 2022-11-15 | Tcl空调器(中山)有限公司 | 噪音类型识别方法、空调器及计算机可读存储介质 |
| CN114878552B (zh) * | 2022-07-11 | 2022-10-04 | 合肥金星智控科技股份有限公司 | 光谱校正方法、装置以及存储介质、电子设备 |
| CN115308130A (zh) * | 2022-08-08 | 2022-11-08 | 厦门大学 | 显微光谱仪器噪音的分析、处理方法和降噪模型 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5745369A (en) * | 1995-05-30 | 1998-04-28 | Horiba Ltd. | Method and apparatus for determining a peak position of a spectrum |
| US20050285023A1 (en) * | 2004-06-23 | 2005-12-29 | Lambda Solutions, Inc. | Automatic background removal for input data |
| CN101187635A (zh) * | 2007-12-21 | 2008-05-28 | 浙江大学 | 一种基于拉曼光谱定性鉴别纺织纤维的方法 |
| CN101692045B (zh) * | 2009-10-28 | 2011-04-27 | 广西工学院 | 基于多波长激发的拉曼光谱的荧光消除方法 |
-
2012
- 2012-11-28 CN CN201210490443.4A patent/CN102998296B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102998296A (zh) | 2013-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102998296B (zh) | 一种去除背景噪声影响的拉曼光谱预处理方法 | |
| Whitaker et al. | A simple algorithm for despiking Raman spectra | |
| Morháč | An algorithm for determination of peak regions and baseline elimination in spectroscopic data | |
| CN107505652B (zh) | 一种基于能量分布特征的矿山微震信号辨识方法 | |
| CN116842326A (zh) | 一种基于光学手段的畜牧养殖水质监测系统 | |
| MX2007000064A (es) | Eliminacion automatica del fondo para los datos de entrada. | |
| CN110673109B (zh) | 一种星载大光斑激光雷达全波形数据分解方法 | |
| CN110503060B (zh) | 一种光谱信号去噪方法及其系统 | |
| CN115950846B (zh) | 基于光学手段的猪饮用水检测方法及系统 | |
| CN111934711A (zh) | 一种时频混叠跳频信号的参数估计方法 | |
| CN112557332A (zh) | 一种基于光谱分峰拟合的光谱分段和光谱比对方法 | |
| CN115935144A (zh) | 一种运检维护数据去噪重构方法 | |
| CN115859087A (zh) | 一种基于分割熵的油液磨粒特征信号提取方法 | |
| CN117368141B (zh) | 基于人工智能的高氯酸盐废水浓度智能检测方法 | |
| CN114820351A (zh) | 高光谱噪声滤波方法、装置、设备和存储介质 | |
| CN105718723B (zh) | 一种质谱数据处理中谱峰位置检测方法 | |
| CN111767813B (zh) | 一种多特征与长时序概率协同的红树林提取方法 | |
| CN116165635B (zh) | 多级滤波算法的日间条件下不同波束光子云数据去噪方法 | |
| CN104122583A (zh) | 一种拓宽地震数据频谱的方法和装置 | |
| Alasta et al. | Automatic sunspots detection on SODISM solar images | |
| CN118010649B (zh) | 用于食品的污染检测方法 | |
| Jiang et al. | Mixed pixel decomposition of mineral spectrum based on EMD-ICA method | |
| CN104268838A (zh) | 一种面向超光谱数据库的小波去噪算法 | |
| CN117454095B (zh) | 一种桥梁动挠度数据降噪方法 | |
| CN112379427B (zh) | 面波噪声压制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C53 | Correction of patent for invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yin Shaoyun Inventor after: Li Huadong Inventor after: Xia Liangping Inventor after: Du Chunlei Inventor after: Shi Haofei Inventor before: Li Huadong Inventor before: Xia Liangping Inventor before: Yin Shaoyun Inventor before: Du Chunlei Inventor before: Shi Haofei |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: LI HUADONG XIA LIANGPING YIN SHAOYUN DU CHUNLEI SHI HAOFEI TO: YIN SHAOYUNLI HUADONG XIA LIANGPING DU CHUNLEI SHI HAOFEI |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: CHONGQING INSTITUTE OF GREEN AND INTELLIGENT TECHN Free format text: FORMER OWNER: CHONGQING INSTITUTE OF GREEN AND INTELLIGENT TECHNOLOGY Effective date: 20140905 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 401122 YUBEI, CHONGQING TO: 400714 BEIPEI, CHONGQING |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20140905 Address after: 400714 Chongqing Road, Beibei District, No. 266 Applicant after: Chongqing Institute of Green and Intelligent Technology of the Chinese Academy of Sciences Address before: 401122 block B, Han Chinese Center, 85 Jin Yu Road, North New District, Chongqing Applicant before: Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |