CN111089856A - 一种拉曼光谱弱信号提取的后处理方法 - Google Patents

一种拉曼光谱弱信号提取的后处理方法 Download PDF

Info

Publication number
CN111089856A
CN111089856A CN201911371518.5A CN201911371518A CN111089856A CN 111089856 A CN111089856 A CN 111089856A CN 201911371518 A CN201911371518 A CN 201911371518A CN 111089856 A CN111089856 A CN 111089856A
Authority
CN
China
Prior art keywords
peak
noise
window
peaks
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911371518.5A
Other languages
English (en)
Other versions
CN111089856B (zh
Inventor
刘国坤
罗思恒
陈甘雨
刘涛
周志明
谢怡
田中群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201911371518.5A priority Critical patent/CN111089856B/zh
Publication of CN111089856A publication Critical patent/CN111089856A/zh
Application granted granted Critical
Publication of CN111089856B publication Critical patent/CN111089856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65—Raman scattering

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种拉曼光谱弱信号提取的后处理方法包括如下步骤：(1)固定小窗口平滑进行噪声初筛，利用一阶导找出谱图中所有峰及噪声的位置及峰宽；(2)在步骤(1)的噪声初筛上，加入峰顶点及其临近两点的二阶导峰宽内持续小于0的条件，对于噪声和信号进行再区分，确保获取的峰中无噪声存在；(3)通过对比极小值确保步骤(2)获取的峰的左右边界数值偏差稳定，获取更准确的峰宽范围；并在该峰宽范围内，通过检测峰上是否存在多个小峰，来进行峰尖锐度的判断，不够尖锐的峰则纳入平滑范围；(4)对于步骤(3)获得的尖锐峰内部的部分数值进行保留原始数值，其余部分按照权值平滑算法进行平滑，以达到去除噪声，保留峰强信息的目的。

Description

一种拉曼光谱弱信号提取的后处理方法
技术领域
本发明属于拉曼光谱信号处理技术领域，具体涉及一种拉曼光谱弱信号提取的后处理方法。
背景技术
拉曼光谱作为一种分子振动光谱检测技术，凭借其检测速度快、非侵入、使用样品量少并能提供目标物丰富的指纹信息等优点，近年来在生物医药、法医鉴定、食品检测等领域运用广泛，通过拉曼光谱的峰高、峰宽及峰形等信息，可以实现对目标物定性、定量及分子结构的分析，是一项强有力的检测技术。
拉曼光谱采集往往会遭到荧光、宇宙射线以及仪器系统的固有噪声等众多因素的干扰。这些冗余信息的存在，严重影响了从拉曼光谱谱图中提取有效光谱信息。采用制冷型CCD等检测器可以通过增加采谱时间而降低系统噪声，但增加采谱时间还会牺牲拉曼光谱的实时性，对于特殊体系而言是不可行的，并且目前使用广泛的便携式拉曼仪器并无此类部件，故需引入弱信号提取和识别算法，从数据处理角度提高方法的可靠性。其中，平滑去噪是光谱分析中的最基本数据处理环节之一，是拉曼光谱进行准确可靠的定性和定量分析的不可或缺的支撑。
目前用于拉曼光谱数据的平滑方法主要分为两类。一类为基于滤波的算法：利用信号分析工具从频域上区别噪声，再进行信号复原。例如利用小波变换的多尺度变换特点，将拉曼信号分解到不同的频域上，完成对拉曼信号和背景噪声信号的分离。但在复杂体系下，拉曼谱图的荧光背景和噪声数据构成相当复杂，仅凭频率高低难以区分出拉曼信号。并且算法设置需要先验证确定小波基、阈值、分级层数等多个参数，较为复杂。另一类算法则是基于滑动窗口法：沿着光谱向量平移，利用窗口内的光谱值获得一个新值以替代窗口中心位置的原始光谱值。这类方法简便易行，例如滑动窗口多项式法对窗口内的数值做多项式最小二乘拟合的运算，并将各点的加权和作为窗口中心位置的新光谱值。该类算法的平滑去噪效果对于窗口参数较为敏感，窗口过大会引起谱图失真，窗口过小则会导致平滑效果差。
发明内容
本发明的目的在于克服现有技术缺陷，提供一种拉曼光谱弱信号提取的后处理方法。
本发明的技术方案如下：
一种拉曼光谱弱信号提取的后处理方法，包括如下步骤：
(1)固定小窗口平滑进行噪声初筛，利用一阶导找出谱图中所有峰及噪声的位置及峰宽；
(2)在步骤(1)的噪声初筛上，加入峰顶点及其临近两点的二阶导峰宽内持续小于0的条件，对于噪声和信号进行再区分，确保获取的峰中无噪声存在；
(3)通过对比极小值确保步骤(2)获取的峰的左右边界数值偏差稳定，获取更准确的峰宽范围；并在该峰宽范围内，通过检测峰上是否存在多个小峰，来进行峰尖锐度的判断，不够尖锐的峰则纳入平滑范围；
(4)对于步骤(3)获得的尖锐峰内部的部分数值进行保留原始数值，其余部分按照权值窗口平滑算法进行平滑，以达到去除噪声，保留峰强信息的目的。
在本发明的一个优选实施方案中，所述权值窗口平滑算法中的权值w(j)采用光谱值与坐标均值的欧式距离来计算。
进一步优选的，所述计算的过程为
Figure BDA0002338748680000021
其中m为窗口宽度，g为谱图原始数据。
在本发明的一个优选实施方案中，所述步骤(4)中的平滑的窗口参数的选择包括：选取多个不同信噪比的拉曼谱图建库，并对不同信噪比的谱图进行窗口参数调优，并将信噪比和对应的窗口参数利用支持向量回归(Support Vactor Regerssion)建模，进行不同信噪比谱图的窗口参数的预测，为不同信噪比的谱图选择合适的窗口参数。
本发明的有益效果是：
1、本发明利用拉曼光谱谱图的一阶导数、二阶导数等特性，从构成复杂的谱图中提取出峰的相关信息，再对除峰以外的噪声信息进行平滑处理，而对峰的信息进行选择性的保留，从而在平滑过程中快速有效地去除噪声干扰且能最大限度保留原谱图的峰强信息。
2、本发明由于平滑点数较传统方法少，运算速度快，参数设置简单，能够在较短的时间内实现去噪且最大程度的保留原有的峰强、峰形等原谱图信息，在谱图定量定性分析上占有一定优势。
3、本发明中由于求导步骤存在，对荧光背景不敏感，如图2(A)和(B)所示，用于荧光背景强或者弱的拉曼谱图效果良好。并且可用于迭代，如图3(A)和(B)所示，迭代过程中峰强信息不会受到影响，并且在设置信噪比的阈值后可实现自适应迭代平滑过程。
4、本发明对拉曼光谱定量分析具有支撑作用，并且耗时低的特性使其可适用于大规模拉曼光谱数据的预处理。
附图说明
图1为本发明中的导数特性图(A)及权值窗口平滑效果图(B)。
图2为本发明中的平滑效果图，其中，A为荧光背景弱，B为荧光背景强。
图3为本发明中的迭代效果图。
图4为本发明中的算法流程图。
具体实施方式
以下通过具体实施方式结合附图对本发明的技术方案进行进一步的说明和描述。
实施例1
如图4所示，一种拉曼光谱弱信号提取的后处理方法，包括如下步骤：
(1)固定小窗口平滑进行噪声初筛，利用一阶导数找出谱图中所有峰及噪声的位置及峰宽；
(2)在步骤(1)的噪声初筛上，加入峰顶点及其临近两点的二阶导峰宽内持续小于0的条件，对于噪声和信号进行再区分，确保获取的峰中无噪声存在；
(3)通过对比极小值确保步骤(2)获取的峰的左右边界数值偏差稳定，获取更准确的峰宽范围；并在该峰宽范围内，通过检测峰上是否存在多个小峰，来进行峰尖锐度的判断，不够尖锐的峰则纳入平滑范围；
(4)对于步骤(3)获得的尖锐峰内部的部分数值进行保留原始数值，其余部分按照权值窗口平滑算法进行平滑，以达到去除噪声，保留峰强信息的目的；其中，权值平滑算法中的权值w(j)采用光谱值与坐标均值的欧式距离来计算。
所述计算的过程为
Figure BDA0002338748680000031
其中m为窗口宽度，g为谱图原始数据；
平滑的窗口参数的选择包括：选取多个不同信噪比的拉曼谱图建库，并对不同信噪比的谱图进行窗口参数调优，并将信噪比和对应的窗口参数利用支持向量回归(SupportVactor Regerssion)建模，进行不同信噪比谱图的窗口参数的预测，为不同信噪比的谱图选择合适的窗口参数。
实施例2
如实施例1所示，将其应用于实测样本过程及结果如下所示：
(1)在固定小窗口平滑的基础上，利用一阶导数和二阶导数的特性，剔除噪声，筛选得到峰的位置，如图2(A)中的1550cm-1的尖锐峰及1620cm-1左右处的宽峰；
(2)对比峰谷上极小值的位置，确保获取真实峰宽，在此基础上，通过检测峰上是否存在多个小峰来检测峰的尖锐度，进行峰的筛选。如图2(A)所示，其于1620cm-1上的峰由于存在噪声信号而导致峰不够尖锐，故被剔除保留范围，仅1550cm-1的峰于保留范围内。
(3)对于步骤(2)得到的峰的保留范围内原始数值进行部分保留，其余按照权值窗口平滑算法进行平滑，结果如图2(A)所示，可达到保留尖锐峰峰强信息并除去噪声的目的。
根据以上具体说明，本发明主要分为两个部分，因此，所发展的算法主要分为两个部分。首先是建立合适的寻峰算法，即找到谱图中尖锐的峰并保留。目前最常用的寻峰算法是将谱图进行整体平滑并进行一阶求导，根据谱峰极大值及谱峰左右边界分别对应于一阶导谱图的零点和两边极值的特性，获取谱峰的位置及宽度。该方法的主要不足在于需要多次平滑去除噪声且对窗口参数敏感：大窗口可能遗漏较弱谱峰，小窗口则可能将噪声误判成谱峰。如图1(A)所示，二阶求导后，特征谱峰的峰极大值两侧数据的数值为持续小于零以及噪声在零处波动。因此，可借助于这两个特性进行噪声和谱峰区分：1)固定小窗口平滑进行噪声初筛，利用一阶导找出谱图中所有峰及噪声的位置及峰宽；2)利用二阶导的性质对于峰和噪声进行细分，即可实现寻峰，运算时间较常规算法更短且可有效解决传统寻峰算法中平滑窗口参数选择问题。
获取峰的位置之后，本发明将峰位置的部分峰进行数据保留，而其余需要平滑的部分进行平滑处理，但目前常用算法都存在一定缺陷，滑动窗口均值算法虽简单但在信噪差的谱图上效果相对较好，但其仍存在窗口参数敏感且易受误差干扰等问题，需要对算法进行改良优化。本发明第二部分为平滑算法，为降低边界影响，在算法中加入权值操作(如以上所述)。由于距离窗口均值越近的点获得权值越高，可有效减少误差干扰，并且加入权值后的算法有效降低了窗口参数的敏感程度，如图1(B)所示，相较于滑动窗口均值算法本算法更加贴合于原谱图，结果更加准确。
在收集到峰的位置信息后，对峰的部分原始数值进行保留，以保留峰的峰强和峰形信息，并对其余含有噪声的谱图进行权值窗口平滑。由于本发明是通过求导方法进行计算，故其对谱图的背景信息不敏感，如图2所示，本发明对有无背景的谱图中的峰位置都可以进行准确识别并划分平滑区间，含有背景信息的谱图在平滑后也紧贴原谱图，总体所获得的平滑效果较好。并且由于本发明对于尖锐峰存在判断准则，故用于算法迭代过程中时，尖锐峰的有效信息并不受到改变，而含有噪声信息的峰在平滑至足够尖锐时，也将被保留其相关有效信息。如图3所示，将本平滑算法加以迭代用于处理信噪比极差的数据时，也能取得较好效果。
为了进一步解决窗口参数的选择问题，本发明选取多个不同信噪比的拉曼谱图建库，并对不同信噪比的谱图进行窗口参数调优，并将信噪比和对应的窗口参数利用支持向量回归(Support Vactor Regerssion)建模，进行不同信噪比谱图的窗口参数的预测，为不同信噪比的谱图选择合适的窗口参数，优化数据预处理过程。
以上所述，仅为本发明的较佳实施例而已，故不能依此限定本发明实施的范围，即依本发明专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明涵盖的范围内。

Claims (4)

1.一种拉曼光谱弱信号提取的后处理方法，其特征在于：包括如下步骤：
(1)固定小窗口平滑进行噪声初筛，利用一阶导找出谱图中所有峰及噪声的位置及峰宽；
(2)在步骤(1)的噪声初筛上，加入峰顶点及其临近两点的二阶导峰宽内持续小于0的条件，对于噪声和信号进行再区分，确保获取的峰中无噪声存在；
(3)通过对比极小值确保步骤(2)获取的峰的左右边界数值偏差稳定，获取更准确的峰宽范围；并在该峰宽范围内，通过检测峰上是否存在多个小峰，来进行峰尖锐度的判断，不够尖锐的峰则纳入平滑范围；
(4)对于步骤(3)获得的尖锐峰内部的部分数值进行保留原始数值，其余部分按照权值窗口平滑算法进行平滑，以达到去除噪声，保留峰强信息的目的。
2.如权利要求1所述的后处理方法，其特征在于：所述权值窗口平滑算法中的权值w(j)采用光谱值与坐标均值的欧式距离来计算。
3.如权利要求2所述的后处理方法，其特征在于：所述计算的过程为
Figure FDA0002338748670000011
4.如权利要求1至3中任一权利要求所述的后处理方法，其特征在于：所述步骤(4)中的平滑的窗口参数的选择包括：选取多个不同信噪比的拉曼谱图建库，并对不同信噪比的谱图进行窗口参数调优，并将信噪比和对应的窗口参数利用支持向量回归模，进行不同信噪比谱图的窗口参数的预测，为不同信噪比的谱图选择合适的窗口参数。
CN201911371518.5A 2019-12-26 2019-12-26 一种拉曼光谱弱信号提取的后处理方法 Active CN111089856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911371518.5A CN111089856B (zh) 2019-12-26 2019-12-26 一种拉曼光谱弱信号提取的后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911371518.5A CN111089856B (zh) 2019-12-26 2019-12-26 一种拉曼光谱弱信号提取的后处理方法

Publications (2)

Publication Number Publication Date
CN111089856A true CN111089856A (zh) 2020-05-01
CN111089856B CN111089856B (zh) 2021-05-14

Family

ID=70397493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911371518.5A Active CN111089856B (zh) 2019-12-26 2019-12-26 一种拉曼光谱弱信号提取的后处理方法

Country Status (1)

Country Link
CN (1) CN111089856B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443074A (zh) * 2020-05-11 2020-07-24 厦门大学 自动在线前处理和拉曼检测装置及其方法
CN112685686A (zh) * 2020-08-25 2021-04-20 杭州博日科技股份有限公司 一种熔解曲线平滑方法
CN114609319A (zh) * 2022-02-14 2022-06-10 中国科学院苏州生物医学工程技术研究所 基于噪声估计的谱峰识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061761A1 (en) * 2004-09-17 2006-03-23 Qun Li Apparatus for fluorescence subtracted Raman spectroscopy
CN105184223A (zh) * 2015-08-10 2015-12-23 厦门大学 一种拉曼成像信号提取与后处理方法
CN105466908A (zh) * 2015-12-31 2016-04-06 安徽芯核防务装备技术股份有限公司 一种样品瓶固定干扰噪声的拉曼光谱去除方法
CN106908655A (zh) * 2017-03-06 2017-06-30 广东顺德工业设计研究院(广东顺德创新设计研究院) 光电信号峰值检测方法与系统
CN108241845A (zh) * 2016-12-26 2018-07-03 同方威视技术股份有限公司 用于扣除谱图本底的方法和通过拉曼谱图识别物质的方法
CN108444954A (zh) * 2017-12-08 2018-08-24 广东顺德工业设计研究院(广东顺德创新设计研究院) 光谱信号峰值检测方法、装置以及系统
CN110596074A (zh) * 2019-09-19 2019-12-20 广西科技大学 一种蔗糖水解反应过程动力学研究方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061761A1 (en) * 2004-09-17 2006-03-23 Qun Li Apparatus for fluorescence subtracted Raman spectroscopy
CN105184223A (zh) * 2015-08-10 2015-12-23 厦门大学 一种拉曼成像信号提取与后处理方法
CN105466908A (zh) * 2015-12-31 2016-04-06 安徽芯核防务装备技术股份有限公司 一种样品瓶固定干扰噪声的拉曼光谱去除方法
CN108241845A (zh) * 2016-12-26 2018-07-03 同方威视技术股份有限公司 用于扣除谱图本底的方法和通过拉曼谱图识别物质的方法
CN106908655A (zh) * 2017-03-06 2017-06-30 广东顺德工业设计研究院(广东顺德创新设计研究院) 光电信号峰值检测方法与系统
CN108444954A (zh) * 2017-12-08 2018-08-24 广东顺德工业设计研究院(广东顺德创新设计研究院) 光谱信号峰值检测方法、装置以及系统
CN110596074A (zh) * 2019-09-19 2019-12-20 广西科技大学 一种蔗糖水解反应过程动力学研究方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭峰等: "《基于光谱技术的寒地水稻稻瘟病害分析及机理研究》", 31 August 2016 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443074A (zh) * 2020-05-11 2020-07-24 厦门大学 自动在线前处理和拉曼检测装置及其方法
CN112685686A (zh) * 2020-08-25 2021-04-20 杭州博日科技股份有限公司 一种熔解曲线平滑方法
CN114609319A (zh) * 2022-02-14 2022-06-10 中国科学院苏州生物医学工程技术研究所 基于噪声估计的谱峰识别方法及系统
CN114609319B (zh) * 2022-02-14 2023-08-22 天津国科医疗科技发展有限公司 基于噪声估计的谱峰识别方法及系统

Also Published As

Publication number Publication date
CN111089856B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN111089856B (zh) 一种拉曼光谱弱信号提取的后处理方法
US7899625B2 (en) Method and system for robust classification strategy for cancer detection from mass spectrometry data
Zhang et al. Multiscale peak detection in wavelet space
WO2015033478A1 (ja) ピーク検出方法
CN107179310B (zh) 基于鲁棒噪声方差估计的拉曼光谱特征峰识别方法
CN110243806B (zh) 拉曼光谱下基于相似度的混合物组分识别方法
JP5964983B2 (ja) 質量分析法により微生物を特定するための方法
CN108919216B (zh) 一种微动特征获取方法及装置
JP2015503763A5 (zh)
CN111274874A (zh) 基于adaboost的食源性致病菌拉曼光谱分类模型训练方法
CN113325277A (zh) 一种局部放电处理方法
CN108444954B (zh) 光谱信号峰值检测方法、装置以及系统
CN114112400A (zh) 一种基于多角度信息融合的机械轴承故障诊断方法
CN110599425A (zh) 一种适用于acfm信号小波去噪的小波参数选择方法
CN112751633B (zh) 一种基于多尺度窗口滑动的宽带频谱检测方法
CN109283169A (zh) 一种鲁棒的拉曼光谱峰识别方法
TWI428581B (zh) 辨識光譜的方法
CN117609872A (zh) 一种提高libs检测钻遇碳酸盐岩钙元素含量精度的方法
CN114863286B (zh) 一种基于多算法协同选优的混合废塑料分类方法
CN114186596B (zh) 一种谱图峰的多窗口识别方法、装置以及电子设备
CN115146219A (zh) 基于导数光谱和三次平滑的拉曼光谱尖峰去除方法和系统
CN115166120A (zh) 一种谱峰识别方法、设备、介质及产品
CN114358047A (zh) 一种卷积法识别sers光谱信号中特征峰峰位信息的方法
Prados et al. On preprocessing of seldi-ms data and its evaluation
CN114298107A (zh) 近红外光谱的净信号提取方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant