CN108169204A - 一种基于数据库的拉曼光谱预处理方法 - Google Patents

Abstract

本发明公开了一种基于数据库的拉曼光谱预处理方法，包括：采集多种样品的拉曼光谱，构建拉曼光谱数据库，此数据库中所包含的拉曼光谱数据构成的光谱矩阵具有低秩性；在某一预设的积分时间条件下，采集具有相同组成成分样品的原始光谱；当原始光谱的噪声超过阈值时，从拉曼光谱数据库中提取合适的光谱数据构造临时数据库，将原始光谱与临时数据库组合成光谱矩阵，利用低秩性光谱优化算法对光谱矩阵进行处理；提取出算法优化后的拉曼光谱并对其进行噪声评估，若噪声未超过阈值，得到剔除了噪声影响的信噪比满意的拉曼光谱；否则，进行下次迭代，重新执行数据优化处理。本方法有效缩短了光谱数据的采集时间，为拉曼光谱检测提供了更广阔的应用前景。

Description

一种基于数据库的拉曼光谱预处理方法

技术领域

本发明涉及拉曼光谱预处理技术领域，尤其涉及一种基于数据库的拉曼光谱预处理方法。

背景技术

拉曼光谱是一种基于拉曼散射效应的重要的光谱检测技术，可以实现对物质的定性、定量以及结构分析，具有操作简单、分析速度快、灵敏度高等优越性，更重要的是，拉曼光谱无需样品制备过程，而且可以对样品进行无损检测，可靠性高。

目前，拉曼光谱的应用范围十分广泛，包括：化学、材料、食品、医药、生物学、环境保护、地质考古、宝石鉴定等各个领域。

在利用拉曼光谱进行物质检测的过程中，采集到的原始拉曼光谱通常伴随着一定的噪声，影响检测结果的准确度和精度，因此光谱预处理是非常重要的步骤。

目前，常用的拉曼光谱预处理的方法有平滑、求导、标准正态变换、小波变换等，但是每种方法都有一定的局限性，例如：平滑法可能会丢失有用的高频信号数据；求导法会引入新的噪声；标准正态变换法不能去除荧光背景干扰；小波变换法对参数设置敏感等等。

发明内容

本发明提供了一种基于数据库的拉曼光谱预处理方法，本发明不仅能够很大程度地提高拉曼光谱的信噪比，而且可以缩短光谱数据的采集时间，详见下文描述：

一种基于数据库的拉曼光谱预处理方法，所述拉曼光谱预处理方法包括以下步骤：

进行预实验，采集多种样品的拉曼光谱，基于残差谱图分析法对采集到的拉曼光谱进行筛选，识别并消除拉曼光谱中由于宇宙射线等外界因素造成的干扰，提高拉曼光谱数据库的预处理精度。

根据光谱特征的不同对拉曼光谱进行分类，由于有限种组成成分的样品的拉曼光谱信号具有高度相关性，因而拉曼光谱数据具有低秩特性，利用这一特性建立低秩矩阵模型，即构建不同类别的拉曼光谱数据库；

在某一预设的积分时间条件下，采集待测样品的原始光谱；

设定噪声评估阈值，对原始光谱的噪声进行评估；

当原始光谱的噪声超过阈值时，选择相应类别的拉曼光谱数据库进行光谱预处理(若待测样品的组成成分已知时，可人为选择组成成分相同的拉曼光谱数据库；当待测样品的组成成分未知时，利用自动分类算法对采原始光谱进行预分析，并自动匹配相应类别的拉曼光谱数据库)；

从拉曼光谱数据库中提取合适的光谱数据构造临时数据库，将原始光谱与临时数据库组合成光谱矩阵，利用低秩性光谱优化算法对光谱矩阵进行处理；

提取出算法优化后的拉曼光谱并对其进行噪声评估，若噪声未超过阈值，则得到剔除了噪声影响的信噪比满意的拉曼光谱；否则，进行下次迭代，重新执行数据优化处理。

其中，所述拉曼光谱预处理方法还包括：

当原始光谱的噪声没超过阈值时，将原始光谱作为信噪比满意的拉曼光谱输出。

进一步地，所述阈值为6％。

本发明提供的技术方案的有益效果是：

1、本发明基于构建的拉曼光谱数据库，利用低秩性光谱优化算法对原始光谱进行处理，获得具有高信噪比的拉曼光谱；

2、由于拉曼光谱数据库所构成的矩阵具有低秩性，本方法通过构建样品的拉曼光谱数据库，将拉曼光谱预处理问题转化成低秩矩阵估计问题，利用低秩性光谱优化算法得到拉曼光谱的预处理结果；

3、该拉曼光谱预处理技术具有显著的优势，不仅能够大大提高拉曼光谱的信噪比，而且可以有效缩短光谱数据的采集时间，是一种准确、高效的拉曼光谱预处理方法。

附图说明

图1是本发明提供的一种基于数据库的拉曼光谱预处理方法的流程图；

图2是本发明提供的拉曼光谱。

(a)(b)为采集到同一样品的原始拉曼光谱，积分时间分别为0.01s和10s。

(c)为原始光谱(a)在本发明处理后得到的拉曼光谱。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了更好地对拉曼光谱进行预处理，引进基于数据库的拉曼光谱预处理方法。由于有限种物质混合而成的样品的拉曼光谱数据库具有低秩性，低秩性光谱优化算法就是基于拉曼光谱数据库的低秩性，通过迭代优化算法对拉曼光谱进行降噪处理。

实施例1

一种基于数据库的拉曼光谱预处理方法，包括：预实验、预分类、数据采集、噪声评估、数据库选择和数据优化的步骤，参见图1，该拉曼光谱预处理方法包括以下步骤：

101：采集多种样品的拉曼光谱，构建拉曼光谱数据库，此数据库中所包含的拉曼光谱数据构成的光谱矩阵具有低秩性；

102：在某一预设的积分时间(根据实际应用中的需要进行设定，本发明实施例对此不做限制)条件下，采集具有相同组成成分样品的原始光谱；

其中，由于积分时间太短会大大降低所采集到的拉曼光谱的信噪比，可将其作为待处理的原始光谱。

103：当原始光谱的噪声超过阈值时，从拉曼光谱数据库中提取合适的光谱数据构造临时数据库，将原始光谱与临时数据库组合成光谱矩阵，利用低秩性光谱优化算法对光谱矩阵进行处理；

其中，当原始光谱的噪声没超过阈值时，将原始光谱作为信噪比满意的拉曼光谱输出。

104：提取出算法优化后的拉曼光谱并对其进行噪声评估，若噪声未超过阈值，则得到剔除了噪声影响的信噪比满意的拉曼光谱；否则，进行下次迭代，重新执行数据优化处理。

综上所述，本发明实施例通过上述步骤101-步骤104无需对检测仪器进行改进，就能够大大提高拉曼光谱的信噪比，同时可以有效缩短拉曼光谱数据的采集时间，是一种准确、高效的拉曼光谱预处理方法，在光谱检测领域具有广阔的应用前景。

实施例2

本发明实施例提出了一种基于数据库的拉曼光谱预处理方法，针对传统拉曼光谱预处理方法的局限性，提出了基于数据库的低秩性光谱优化算法，能够大大提高拉曼光谱的信噪比，同时可以有效缩短拉曼光谱数据的采集时间，结合附图1，详细说明如下：

201：采集由有限种混合物质组成的样品的拉曼光谱，筛选，根据不同的光谱特征进行分类，构建不同类别的拉曼光谱数据库；

其中，此数据库中所包含的拉曼光谱数据所构成的光谱矩阵具有低秩性。

202：在较短的积分时间条件下，采集具有相同组成成分的样品的拉曼光谱作为待处理的原始光谱；

由于积分时间太短会大大降低所采集到的拉曼光谱的信噪比，将其作为待处理的原始光谱。

203：根据实际需要设定噪声阈值为6％，对原始光谱的噪声水平进行评估，若当前原始光谱的噪声没有超过给定的噪声阈值，则可作为信噪比满意的拉曼光谱输出，流程结束；否则，需要对原始光谱进行数据优化处理，即，执行步骤204；

204：选择相应类别的光谱数据库，从拉曼光谱数据库中提取合适的光谱数据构造临时数据库，将原始光谱与临时数据库组合成光谱矩阵；

205：利用低秩性光谱优化算法对构造的光谱矩阵进行处理，提取出经算法优化后的拉曼光谱，并对优化后的拉曼光谱进行噪声评估；

206：若噪声未超过噪声阈值，则得到剔除了噪声影响的信噪比满意的拉曼光谱；否则，进行下次迭代，重新执行数据优化处理，即重新执行步骤204。

其中，上述步骤204中的从拉曼光谱数据库中提取合适的光谱数据构造临时数据库的步骤具体为：

根据最小距离原则，选取用于构建临时数据库的最合适的100条光谱数据A_i(i＝1,2，…，n)，使得A_i与待处理光谱X的差异最小，即：

其中，上述步骤205中的利用低秩性光谱优化算法对构造的光谱矩阵进行处理，提取出经算法优化后的拉曼光谱的步骤具体为：

对构建的由n条光谱组成的光谱矩阵M作奇异值提取(Singular ValueExtraction,记为SVE)，即对矩阵进行奇异值分解，提取出奇异值S并进行降秩处理，记作：

S＝SVE(M)

将待处理光谱X对光谱矩阵M中的光谱数据进行逐条替换得到矩阵M_i(i＝1,2，…，n)，对光谱矩阵M_i做奇异值分解，即：

[Ur，Sr，Vr]＝svd(M_i)

用S替换Sr，得到重构矩阵M_i′，即：

M_i′＝Ur*S*Vr

其中，Ur为左奇异向量，Sr为奇异值矩阵，Vr为右奇异向量。

迭代n次后，得到低秩优化后的矩阵，从中提取算法优化后的拉曼光谱X。

综上所述，本发明实施例通过上述步骤201-步骤206预实验构建的拉曼光谱数据库所构成的光谱矩阵具有低秩性，可将拉曼光谱预处理问题转化成低秩矩阵估计问题，利用低秩性光谱优化算法得到拉曼光谱的预处理结果。此方法不仅能够大大提高拉曼光谱的信噪比，而且可以缩短光谱数据的采集时间，是一种准确、高效的拉曼光谱预处理方法。

实施例3

下面结合具体的实验数据、图2对实施例1中的方案进行进一步地介绍，详见下文描述：

图2所示为预处理前后的拉曼光谱，实验检测的样品由三种不同物质混合而成，(a)(b)为采集到同一样品的原始拉曼光谱，积分时间分别为0.01s和10s，(c)为(a)在本方法处理后得到的拉曼光谱，可见其光谱特征与(b)基本一致，光谱(a)的信噪比为1.26，光谱(c)的信噪比为187.41，信噪比提高了148.79倍。

从结果可以看出，本方法可以将拉曼光谱的信噪比提高近150倍，从而降低拉曼光谱检测技术对于原始光谱数据质量的要求，有效地缩短了拉曼光谱采集的积分时间，是一种高效、准确的拉曼光谱预处理技术。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于数据库的拉曼光谱预处理方法，其特征在于，所述拉曼光谱预处理方法包括以下步骤：

采集多种样品的拉曼光谱，进行初步筛选，根据不同光谱特征构建不同类别的拉曼光谱数据库，此数据库中所包含的拉曼光谱数据构成的光谱矩阵具有低秩性；

在某一预设的积分时间条件下，采集具有相同组成成分样品的原始光谱；

设定噪声评估阈值，当原始光谱的噪声超过阈值时，从预实验构建的拉曼光谱数据库中提取合适的光谱数据构造临时数据库，将原始光谱与临时数据库组合成光谱矩阵，利用低秩性光谱优化算法对光谱矩阵进行处理；

提取出算法优化后的拉曼光谱并对其进行噪声评估，若噪声未超过阈值，则得到剔除了噪声影响的信噪比满意的拉曼光谱；否则，进行下次迭代，重新执行数据优化处理。

2.根据权利要求1所述的一种基于数据库的拉曼光谱预处理方法，其特征在于，所述拉曼光谱预处理方法还包括：

当原始光谱的噪声没超过阈值时，将原始光谱作为信噪比满意的拉曼光谱输出。

3.根据权利要求1所述的一种基于数据库的拉曼光谱预处理方法，其特征在于，所述噪声评估阈值为6％。

4.根据权利要求1所述的一种基于数据库的拉曼光谱预处理方法，其特征在于，所述构建的拉曼光谱数据库具体为：

若待测样品的组成成分已知时，人为选择组成成分相同的拉曼光谱数据库；

当待测样品的组成成分未知时，利用自动分类算法对采原始光谱进行预分析，并自动匹配相应类别的拉曼光谱数据库。

5.根据权利要求1所述的一种基于数据库的拉曼光谱预处理方法，其特征在于，所述从预实验构建的拉曼光谱数据库中提取合适的光谱数据构造临时数据库具体为：

根据最小距离原则，选取用于构建临时数据库的最合适的100条光谱数据A_i，使得A_i与待处理光谱X的差异最小，即：

6.根据权利要求1所述的一种基于数据库的拉曼光谱预处理方法，其特征在于，所述利用低秩性光谱优化算法对光谱矩阵进行处理，提取出算法优化后的拉曼光谱具体为：

对构建的由n条光谱组成的光谱矩阵M进行奇异值分解，提取出奇异值矩阵并进行降秩处理得到S，记作：

S＝SVE(M)

将待处理光谱X对光谱矩阵M中的光谱数据进行逐条替换得到矩阵M_i(i＝1，2，...，n)，对光谱矩阵M_i做奇异值分解，即：

[Ur，Sr，Vr]＝svd(M_i)

用S替换Sr，得到重构矩阵M_i′，即：

M′_i＝Ur*S*Vr

其中，Ur为左奇异向量，Sr为奇异值矩阵，Vr为右奇异向量；svd为奇异值分解；

迭代n次后，得到低秩优化后的矩阵，从中提取算法优化后的拉曼光谱X。