CN115204233B - 一种基于ls-svr算法的波形基底消噪方法及系统 - Google Patents

一种基于ls-svr算法的波形基底消噪方法及系统 Download PDF

Info

Publication number
CN115204233B
CN115204233B CN202210862818.9A CN202210862818A CN115204233B CN 115204233 B CN115204233 B CN 115204233B CN 202210862818 A CN202210862818 A CN 202210862818A CN 115204233 B CN115204233 B CN 115204233B
Authority
CN
China
Prior art keywords
base
noise
waveform
substrate
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210862818.9A
Other languages
English (en)
Other versions
CN115204233A (zh
Inventor
谈怡君
易辉
郑磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202210862818.9A priority Critical patent/CN115204233B/zh
Publication of CN115204233A publication Critical patent/CN115204233A/zh
Application granted granted Critical
Publication of CN115204233B publication Critical patent/CN115204233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开一种基于LS‑SVR算法的波形基底消噪方法，包括以下步骤：采集波形数据，初始化基底数据集，将波形数据集分成段，构建基底数据集，基底噪声函数拟合，计算基底噪声，去除噪声，基于去除噪声后的光谱强度，构成基底消噪后的样本集；本申请更好的降低基底噪声的影响，增强LIBS光谱数据的分析精度。

Description

一种基于LS-SVR算法的波形基底消噪方法及系统
技术领域
本发明涉及激光诱导击穿光谱领域，具体涉及到基于LS-SVR算法的波形基底消噪方法及系统。
背景技术
波形数据广泛存在于各类设备通讯中，典型的包括电流电压时序数据、色谱、频谱波形等。波形数据在采集时，受设备运行状态波动、外界干扰等诸多因素的影响，往往会存在基底噪声。
以激光诱导击穿系统(laser-induced breakdown spectroscopy,LIBS)中的光谱波形为例，对基底噪声进行介绍。LIBS中，不同类型不同浓度的元素在激光作用下形成离子并对外发射出不同的谱线。如果在特定波长上，谱线幅值不为0，则可以判定待测物体中存在特定元素(如在波长247.85nm处存在谱线幅值大于0，代表被测物中存在碳元素)。在真实波形中，数据只有在特定波长上才存在峰值，而在其它波长段上，谱线取值应均为0，如图2。
然而在实际采集数据中，由于基底噪声的存在，可以发现几乎在所有频段，数据均不为0，如图3。如果数据不加处理，将严重影响后继分析的可靠性。基底消噪是波形数据预处理的重要环节。
针对该问题，在实际处理时通常采用均值滤波、中值滤波、维纳滤波、双边滤波以及小波变换去除噪声。均值、中值滤波、维纳滤波和双边滤波方法对于突变信号的降噪容易出现过度纠正。而基于小波变换的去噪方法方向性比较弱，只能捕捉有限的方向信息，不包含高阶的各相异性因素。
现有技术CN107306239公开一种基于最小均方算法的堆垛机消噪方法，本发明公开了一种基于最小均方算法的堆垛机消噪方法，包括最优均衡器参数的初始化；最优均衡器参数的训练；通过训练后的最优均衡器，均衡堆垛机的噪声信号，能够用于堆垛机噪声的消除，通过最小均方算法，在训练阶段，自适应地调整权系数，从而形成在稳定工作阶段的最佳滤波形态，完成堆垛机的精准化消噪，为高效滤波方法，既保证了算法的快收敛性又保证了算法的稳定性，能可靠地滤除堆垛机噪声，具有良好的应用前景。但是同样对于突变信号的降噪容易出现过度纠正，在消除噪音的同时，对基底有效信号削弱大，若使用此类方法会在LIBS峰值较高的光谱处造成较大误差，且只会让基底噪声变得平滑，并没有消除。
发明内容
本发明公开一种基于LS-SVR算法的波形基底消噪方法，针对不同程度的基底噪声进行回归拟合，通过基底噪声分布函数求出噪声幅值，精确去除噪声。
本申请技术方案如下。
一种基于LS-SVR算法的波形基底消噪方法，包括以下步骤：
步骤S1、采集波形数据，建立波形数据集其中N为样本个数，xi为第i个样本的LIBS光谱波长，yi为第i个样本的光谱强度；
步骤S2、初始化基底数据集TBase＝Φ，其中Φ为空集；
步骤S3、将波形数据集分成N/S段，设置基底采样值Kj，j＝1,2,…,N/S；其中S为基底采样步长；
步骤S4、构建基底数据集：第j(j＝1,2,…,N/S)段中光谱强度最小值对应的波长Xj与基底采样值Kj组成基底采样点{Xj,Kj}，将{Xj,Kj}依次放入至TBase中，遍历全部样本，构成基底数据集
步骤S5、基底噪声函数拟合：采用最小二乘支持向量回归方法(LS-SVR)对基底数据集进行回归拟合，求解基底噪声分布函数f()；
步骤S6、计算基底噪声：遍历波形数据集全部样本，将xi代入基底噪声分布函数f()，求出基底噪声数据幅值pi＝f(xi)，i＝1,2,…,N，其中xi为第i个样本的光谱波长；
步骤S7、去除噪声：给定阈值T，对于第i个样本，去除噪声后的光谱强度Zi为：
步骤S8、基于去除噪声后的光谱强度Zi，构成基底消噪后的样本集
较优地，步骤S5具体包括以下步骤：
S501,基于基底数据集和LS-SVR模型，构建回归函数：
其中，是将输入量x映射到高维空间的非线性映射，w和b为待确定的模型参数；
S502,选取LS-SVR核函数：存在核函数k()使得式(3)中的映射函数满足式(4)的关系：
表示将输入量Xj映射到高维空间的非线性映射；
S503,构建最优化约束方程,求解w和b的最优值：
其中，常数γ＞0，为惩罚因子，它的大小决定了函数复杂度与拟合精度之间的平衡；ξj为第j个样本的拟合误差，优化函数为：
其中，αj≥0为拉格朗日乘子，求偏导可得：
方程组(7)等价于矩阵形式(1)：
其中，α＝[α1,α2,…,αN/S]T；/>是/>矩阵，I为/>单位矩阵；
消去中间变量w、ξj，问题转换为求线性方程组：
其中，Q为核函数矩阵，表达式为且由偏导数结果，将/>代入式(3)得式(10)：
由此可知，将求w，b的过程转换为求拉格朗日乘子αj和b；
设Qr＝Q+γ-1I，由于矩阵Q是对称半正定矩阵，γ-1I是对称正定矩阵，所以Qr是对称正定矩阵，且其逆矩阵存在；LS-SVR模型αj和b的解为：
其中，Kj是基底采样值，是已知量；
S504，构造基底噪声分布函数：
其中，αj为拉格朗日乘子；b为偏置项；x为待求解变量。
较优地，T＝min(Y)，其中Y为全体样本光谱强度。
较优地，
其中，S为基底采样步长，基底采样步长S取值根据样本数量人工调节，Yj为波形数据集中第j段中光谱的强度值，为第j段中光谱强度的平均值，N为样本个数。
较优地，核函数k(x,Xj)＝exp(-||x-Xj||2/2σ2),σ＞0，其中σ为核函数参数。核函数k(x,Xj)＝exp(-||x-Xj||2/2σ2)是的核函数参数表达形式。
一种基于LS-SVR算法的波形基底消噪系统，包括：波形数据采集单元、基底数据集初始化单元、波形数据集分段单元、基底数据集构建单元、基底噪声函数拟合单元、基底噪声计算单元、噪声去除单元和新样本建构单元；
波形数据采集单元采集波形数据，建立波形数据集其中N为样本个数，xi为第i个样本的光谱波长，yi为第i个样本的光谱强度；
基底数据集初始化单元初始化基底数据集TBase＝Φ，其中Φ为空集；
波形数据集分段单元将波形数据集分成N/S段，设置基底采样值Kj，j＝1,2,…,N/S；，S为基底采样步长；
基底数据集构建单元将第j(j＝1,2,…,N/S)段中光谱强度最小值对应的波长Xj与基底采样值Kj组成基底采样点{Xj,Kj}，将{Xj,Kj}依次放入至TBase中，遍历全部样本，构成基底数据集
基底噪声函数拟合单元采用最小二乘支持向量回归方法对基底数据集进行回归拟合，求解基底噪声分布函数f(x)；
基底噪声计算单元遍历波形数据集全部样本，将xi代入基底噪声分布函数f(x)，求出基底噪声数据幅值pi＝f(xi)，i＝1,2,…,N，其中xi为第i个样本的光谱波长；
噪声去除单元给定阈值T，对于第i个样本，去除噪声后的光谱强度Zi为：
新样本建构单元基于去除噪声后的光谱强度Zi，构成基底消噪后的样本集
较优地，基底噪声函数拟合单元工作过程具体包括以下步骤：
S501,基于基底数据集和LS-SVR模型，构建回归函数：
其中，是将输入量x映射到高维空间的非线性映射，w和b为待确定的模型参数；
S502,选取LS-SVR核函数：所述核函数k()使得式(3)中的映射函数满足式(4)的关系：
表示将输入量Xj映射到高维空间的非线性映射；
S503,构建最优化约束方程,求解w和b的最优值：
其中，常数γ＞0，为惩罚因子；ξj为第j个样本的拟合误差；优化函数为：
其中，αj≥0为拉格朗日乘子，求偏导可得：
方程组(7)等价于矩阵形式(2)：
其中，α＝[α1,α2,…,αN/S]T；/>是/>矩阵，I为/>单位矩阵；
消去中间变量w、ξj，转换为求线性方程组：
其中，Q为核函数矩阵，表达式为由偏导数结果，将代入式(3)得式(10)：
将求w，b的过程转换为求拉格朗日乘子αj和b。
设Qr＝Q+γ-1I，由于矩阵Q是对称半正定矩阵，γ-1I是对称正定矩阵，所以Qr是对称正定矩阵，且其逆矩阵存在；LS-SVR模型αj和b的解为：
其中，Kj是基底采样值，是已知量；
S504，构造基底噪声分布函数：
其中，αj为拉格朗日乘子；b为偏置项；x为待求解变量，将其代入f(x)后即可求得波长x所对应的基底强度。
T＝min(Y)，其中Y为全体样本光谱强度；
波形数据集分段单元中，
其中，S为基底采样步长，基底采样步长S取值根据样本数量人工调节，Yj为波形数据集中第j段中光谱的强度值，为第j段中光谱强度的平均值，N为样本个数。
一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行。
相对于现有技术，本发明具有以下有益效果：
本发明公开一种基于LS-SVR算法的波形基底消噪方法，步骤S3采用分段采样基底信号，并可根据样本量自行调节采样步长，实现部分基底噪声的有效提取；步骤S5基于经典的最小二乘支持向量机(LS-SVR)方法，对步骤S3获得的噪声信号进行拟合，得到基底噪声分布函数，只需将光谱波长代入噪声分布函数，即可获得整个光谱的基底噪声幅值。步骤S7设定噪声去除阈值，高于阈值的基底进行去噪处理，低于阈值的基底归零，避免了有用信号的损失；本申请针对不同程度的基底噪声进行回归拟合，通过基底噪声分布函数求出噪声幅值，精确去除噪声。
附图说明
图1为本申请一种基于LS-SVR算法的波形基底消噪方法流程示意图；
图2为LIBS光谱波形真实数据；
图3为光谱波形含基底噪声的实采数据；
图4为LS-SVR拟合出的LIBS光谱基底噪声。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于LS-SVR算法的波形基底消噪方法，包括以下步骤：
步骤S1、采集波形数据，建立波形数据集其中N为样本个数，xi为第i个样本的LIBS光谱波长，yi为第i个样本的光谱强度；
步骤S2、初始化基底数据集TBase＝Φ，其中Φ为空集；
步骤S3、将波形数据集分成N/S段，设置基底采样值Kj，j＝1,2,…,N/S；考虑到基底噪声通常取值小，令：
其中，S为基底采样步长，基底采样步长S取值根据样本数量人工调节，Yj为波形数据集中第j段中光谱的强度值，为第j段中光谱强度的平均值，N为样本个数；
步骤S4、构建基底数据集：第j(j＝1,2,…,N/S)段中光谱强度最小值对应的波长Xj与基底采样值Kj组成基底采样点{Xj,Kj}，将{Xj,Kj}依次放入至TBase中，遍历全部样本，构成基底数据集其中N为样本个数，S为基底采样步长；
步骤S5、基底噪声函数拟合：采用最小二乘支持向量回归(LS-SVR)方法对基底数据集进行回归拟合，求解基底噪声分布函数f()；
步骤S6、计算基底噪声：遍历波形数据集全部样本，将xi代入基底噪声分布函数f()，求出基底噪声数据幅值pi＝f(xi)，i＝1,2,…,N，其中xi为第i个样本的光谱波长；
步骤S7、去除噪声：给定阈值T，阈值T根据稀疏度需求人工调节，默认取值T＝min(Y)，其中Y为全体样本光谱强度，对于第i个样本，去除噪声后的光谱强度Zi为：
步骤S8、基于去除噪声后的光谱强度Zi，构成基底消噪后的样本集
步骤S5具体包括以下步骤：
S501,基于基底数据集和LS-SVR模型，构建回归函数：
其中，是将输入量x映射到高维空间的非线性映射，w和b为待确定的模型参数；
S502,选取LS-SVR核函数：核函数的作用是，通过将空间内线性不可分的数据映射到一个高维的空间，使数据在特征空间中可分。根据Hilbert-Schmidt原理，任何满足Mercer条件的函数都可以作为核函数，故存在核函数k()使得式(3)中的映射函数满足以下关系：
本申请核函数为k(x,Xj)＝exp(-||x-Xj||2/2σ2),σ＞0，其中σ为核函数参数。由式(10)知，引入核函数后，就无需求出式中(3)的 表示将输入量Xj映射到高维空间的非线性映射；
S503,构建最优化约束方程,求解w和b的最优值：
其中，常数γ＞0，为惩罚因子，它的大小决定了函数复杂度与拟合精度之间的平衡；ξj为第j个样本的拟合误差；为求解上述优化问题，将该问题转化为一个凸二次优化问题，优化函数(Lagrange函数)为：
其中，αj≥0为拉格朗日乘子，求偏导可得：
方程组(7)等价于矩阵形式(3)：
其中，α＝[α1,α2,…,αN/S]T；/>是/>矩阵，I为/>单位矩阵。
消去中间变量w(并没有求得w)、ξj，问题转换为求线性方程组：
其中，Q为核函数矩阵，表达式为且由偏导数结果，将/>代入式(3)得式(10)：
由此可知，将求w，b的过程转换为求拉格朗日乘子αj和b。
设Qr＝Q+γ-1I，由于矩阵Q是对称半正定矩阵，γ-1I是对称正定矩阵，所以Qr是对称正定矩阵，且其逆矩阵存在；LS-SVR模型αj和b的解为：
其中，Kj是基底采样值，是已知量；
S504，构造基底噪声分布函数：
其中，αj为拉格朗日乘子；b为偏置项；x为待求解变量，将其代入f(x)后即可求得波长x所对应的基底强度。
基底噪声函数拟合单元工作过程具体包括以下步骤：
S501,基于基底数据集和LS-SVR模型，构建回归函数：
其中，是将输入量x映射到高维空间的非线性映射，w和b为待确定的模型参数；
S502,选取LS-SVR核函数：核函数的作用是，通过将空间内线性不可分的数据映射到一个高维的空间，使数据在特征空间中可分。根据Hilbert-Schmidt原理，任何满足Mercer条件的函数都可以作为核函数，故存在核函数k()使得式(3)中的映射函数满足式(4)的关系：
本申请核函数为k(x,Xj)＝exp(-||x-Xj||2/2σ2),σ＞0，其中σ为核函数参数。核函数k(x,Xj)＝exp(-||x-Xj||2/2σ2)是的核函数参数表达形式。
由式(10)知，引入核函数后，就无需求出式中(3)的表示将输入量Xj映射到高维空间的非线性映射；
S503,构建最优化约束方程,求解w和b的最优值：
其中，常数γ＞0，为惩罚因子，它的大小决定了函数复杂度与拟合精度之间的平衡；ξj为第j个样本的拟合误差；为求解上述优化问题，将该问题转化为一个凸二次优化问题，优化函数(Lagrange函数)为：
其中，αj≥0为拉格朗日乘子，求偏导可得：
方程组(7)等价于矩阵形式(4)：
其中，α＝[α1,α2,…,αN/S]T；/>是/>矩阵，I为/>单位矩阵。
消去中间变量w(并没有求得w)、ξj，问题转换为求线性方程组：
其中，Q为核函数矩阵，表达式为且由偏导数结果，将/>代入式(3)得式(10)：
由此可知，将求w，b的过程转换为求拉格朗日乘子αj和b。
设Qr＝Q+C-1I，由于矩阵Q是对称半正定矩阵，C-1I是对称正定矩阵，所以Qr是对称正定矩阵，且其逆矩阵存在；LS-SVR模型αj和b的解为：
其中，Kj是基底采样值，是已知量；
S504，构造基底噪声分布函数：
其中，αj为拉格朗日乘子；b为偏置项；x为待求解变量，将其代入f(x)后即可求得波长x所对应的基底强度。
如图4为LS-SVR拟合出的LIBS光谱基底噪声，基于本申请的方法选取LIBS光谱基底采样点后，通过LS-SVR将基底采样数据进行拟合，得到基底噪声分布函数f(x)，将所有样本的波长xi(i＝1,2,…,N)代入f(x)，获得LIBS光谱的基底峰值。本申请针对不同程度的基底噪声进行回归拟合，通过基底噪声分布函数求出噪声幅值，精确去除噪声
一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据本发明方法中的指令。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行本申请方法。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于LS-SVR算法的波形基底消噪方法，其特征在于，包括以下步骤：
步骤S1、采集波形数据，建立波形数据集其中N为样本个数，xi为第i个样本的光谱波长，yi为第i个样本的光谱强度；
步骤S2、初始化基底数据集TBase＝Φ，其中Φ为空集；
步骤S3、将波形数据集分成N/S段，设置基底采样值Kj，j＝1,2,…,N/S；其中S为基底采样步长；
步骤S4、构建基底数据集：第j段中光谱强度最小值对应的波长Xj与基底采样值Kj组成基底采样点{Xj,Kj}，将{Xj,Kj}依次放入至TBase中，遍历全部样本，构成基底数据集
步骤S5、基底噪声函数拟合：采用最小二乘支持向量回归方法对基底数据集进行回归拟合，求解基底噪声分布函数f()；
步骤S6、计算基底噪声：遍历波形数据集全部样本，将xi代入基底噪声分布函数f()，求出基底噪声数据幅值pi＝f(xi)，i＝1,2,…,N，其中xi为第i个样本的光谱波长；
步骤S7、去除噪声：给定阈值T，对于第i个样本，去除噪声后的光谱强度Zi为：
步骤S8、基于去除噪声后的光谱强度Zi，构成基底消噪后的样本集
2.根据权利要求1所述的一种基于LS-SVR算法的波形基底消噪方法，其特征在于，步骤S5具体包括以下步骤：
S501,基于基底数据集和LS-SVR模型，构建回归函数：
其中，是将输入量x映射到高维空间的非线性映射，w和b为待确定的模型参数；
S502,选取LS-SVR核函数：存在核函数k()使得式(3)中的映射函数满足式(4)的关系：
表示将输入量Xj映射到高维空间的非线性映射；
S503,构建最优化约束方程,求解w和b的最优值：
其中，常数γ＞0，为惩罚因子；ξj为第j个样本的拟合误差，优化函数为：
其中，αj≥0为拉格朗日乘子，求偏导得：
方程组(7)等价于矩阵形式(1)：
其中，α＝[α1,α2,…,αN/S]T；/>是/>矩阵，I为/>单位矩阵；
消去中间变量w、ξj，问题转换为求线性方程组：
其中，Q为核函数矩阵，表达式为由偏导数结果，将代入式(3)得式(10)：
将求w，b的过程转换为求拉格朗日乘子αj和b；
取Qr＝Q+γ-1I，由于矩阵Q是对称半正定矩阵，γ-1I是对称正定矩阵，所以Qr是对称正定矩阵，且其逆矩阵存在；LS-SVR模型αj和b的解为：
其中，Kj是基底采样值；
S504，构造基底噪声分布函数：
其中，αj为拉格朗日乘子；b为偏置项；x为待求解变量。
3.根据权利要求1所述的一种基于LS-SVR算法的波形基底消噪方法，其特征在于，
T＝min(Y)，其中Y为全体样本光谱强度。
4.根据权利要求1所述的一种基于LS-SVR算法的波形基底消噪方法，其特征在于，
步骤S3中，
其中，S为基底采样步长，基底采样步长S取值根据样本数量人工调节，Yj为波形数据集中第j段中光谱的强度值，为第j段中光谱强度的平均值，N为样本个数。
5.根据权利要求2所述的一种基于LS-SVR算法的波形基底消噪方法，其特征在于，
核函数k(x,Xj)＝exp(-||x-Xj||2/2σ2),σ＞0，其中σ为核函数参数。
6.一种基于LS-SVR算法的波形基底消噪系统，其特征在于，包括：
波形数据采集单元、基底数据集初始化单元、波形数据集分段单元、基底数据集构建单元、基底噪声函数拟合单元、基底噪声计算单元、噪声去除单元和新样本建构单元；
波形数据采集单元采集波形数据，建立波形数据集其中N为样本个数，xi为第i个样本的光谱波长，yi为第i个样本的光谱强度；
基底数据集初始化单元初始化基底数据集TBase＝Φ，其中Φ为空集；
波形数据集分段单元将波形数据集分成N/S段，设置基底采样值Kj，j＝1,2,…,N/S；S为基底采样步长；
基底数据集构建单元将第j，j＝1,2,…,N/S；段中光谱强度最小值对应的波长Xj与基底采样值Kj组成基底采样点{Xj,Kj}，将{Xj,Kj}依次放入至TBase中，遍历全部样本，构成基底数据集
基底噪声函数拟合单元采用最小二乘支持向量回归方法对基底数据集进行回归拟合，求解基底噪声分布函数f()；
基底噪声计算单元遍历波形数据集全部样本，将xi代入基底噪声分布函数f()，求出基底噪声数据幅值pi＝f(xi)，i＝1,2,…,N，其中xi为第i个样本的光谱波长；
噪声去除单元给定阈值T，对于第i个样本，去除噪声后的光谱强度Zi为：
新样本建构单元基于去除噪声后的光谱强度Zi，构成基底消噪后的样本集
7.根据权利要求6所述的一种基于LS-SVR算法的波形基底消噪系统，其特征在于，基底噪声函数拟合单元工作过程具体包括以下步骤：
S501,基于基底数据集和LS-SVR模型，构建回归函数：
其中，是将输入量x映射到高维空间的非线性映射，w和b为待确定的模型参数；
S502,选取LS-SVR核函数：所述核函数k()使得式(3)中的映射函数满足式(4)的关系：
表示将输入量Xj映射到高维空间的非线性映射；
S503,构建最优化约束方程,求解w和b的最优值：
其中，常数γ＞0，为惩罚因子；ξj为第j个样本的拟合误差，优化函数为：
其中，αj≥0为拉格朗日乘子，求偏导得：
方程组(7)等价于矩阵形式(2)：
其中，α＝[α1,α2,…,αN/S]T；/>是/>矩阵，I为/>单位矩阵；
消去中间变量w、ξj，转换为求线性方程组：
其中，Q为核函数矩阵，表达式为由偏导数结果，将代入式(3)得式(10)：
将求w，b的过程转换为求拉格朗日乘子αj和b；
取Qr＝Q+γ-1I，由于矩阵Q是对称半正定矩阵，γ-1I是对称正定矩阵，所以Qr是对称正定矩阵，且其逆矩阵存在；LS-SVR模型αj和b的解为：
其中，Kj是基底采样值；
S504，构造基底噪声分布函数：
其中，αj为拉格朗日乘子；b为偏置项；x为待求解变量，将其代入f(x)后即可求得波长x所对应的基底强度。
8.根据权利要求6所述的一种基于LS-SVR算法的波形基底消噪系统，其特征在于，
T＝min(Y)，其中Y为全体样本光谱强度；
其中，S为基底采样步长，基底采样步长S取值根据样本数量人工调节，Yj为波形数据集中第j段中光谱的强度值，为第j段中光谱强度的平均值，N为样本个数。
9.根据权利要求6所述的一种基于LS-SVR算法的波形基底消噪系统，其特征在于，
核函数k(x,Xj)＝exp(-||x-Xj||2/2σ2),σ＞0，其中σ为核函数参数。
10.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。
CN202210862818.9A 2022-07-21 2022-07-21 一种基于ls-svr算法的波形基底消噪方法及系统 Active CN115204233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862818.9A CN115204233B (zh) 2022-07-21 2022-07-21 一种基于ls-svr算法的波形基底消噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210862818.9A CN115204233B (zh) 2022-07-21 2022-07-21 一种基于ls-svr算法的波形基底消噪方法及系统

Publications (2)

Publication Number Publication Date
CN115204233A CN115204233A (zh) 2022-10-18
CN115204233B true CN115204233B (zh) 2023-09-19

Family

ID=83583620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210862818.9A Active CN115204233B (zh) 2022-07-21 2022-07-21 一种基于ls-svr算法的波形基底消噪方法及系统

Country Status (1)

Country Link
CN (1) CN115204233B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103217409A (zh) * 2013-03-22 2013-07-24 重庆绿色智能技术研究院 一种拉曼光谱预处理方法
CN110728331A (zh) * 2019-10-28 2020-01-24 国网上海市电力公司 一种改进最小二乘支持向量机的谐波发射水平评估方法
CN113259031A (zh) * 2021-05-13 2021-08-13 南京邮电大学 一种面向卫星频谱态势生成的底噪拟合与消除方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103217409A (zh) * 2013-03-22 2013-07-24 重庆绿色智能技术研究院 一种拉曼光谱预处理方法
CN110728331A (zh) * 2019-10-28 2020-01-24 国网上海市电力公司 一种改进最小二乘支持向量机的谐波发射水平评估方法
CN113259031A (zh) * 2021-05-13 2021-08-13 南京邮电大学 一种面向卫星频谱态势生成的底噪拟合与消除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A hybrid slantlet denoising least squares support vector regression model for exchange rate prediction;Kaijian He;ICCS;第1-9页 *

Also Published As

Publication number Publication date
CN115204233A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Montazer et al. An improved radial basis function neural network for object image retrieval
Liu et al. A MAP-based algorithm for spectroscopic semi-blind deconvolution
CN107515424A (zh) 一种基于vmd与小波包的微震信号降噪滤波方法
US20110069904A1 (en) Image denoising method
CN110516728B (zh) 基于去噪卷积神经网络的极化sar地物分类方法
CN109492593A (zh) 基于主成分分析网络和空间坐标的高光谱图像分类方法
CN110503060B (zh) 一种光谱信号去噪方法及其系统
Chen et al. Hyperspectral imagery denoising using a spatial-spectral domain mixing prior
CN112367284A (zh) 概率整形星座下的概率分布识别方法、装置、设备及介质
CN107680081B (zh) 基于卷积神经网络的高光谱图像解混方法
CN115204233B (zh) 一种基于ls-svr算法的波形基底消噪方法及系统
CN107292847B (zh) 一种数据降噪方法及系统
CN101567081B (zh) 一种手部静脉图像增强方法
CN109143341A (zh) 基于Hampel范数的降秩滤波方法
Milanfar et al. A new class of image filters without normalization
CN116994126A (zh) 基于冠层反射率光谱的作物叶面积指数获取方法及装置
CN106934783B (zh) 一种高频次遥感时间序列数据的时域重建方法
CN113009564B (zh) 地震数据处理方法和装置
CN105160070A (zh) 一种半导体激光器光谱自适应峰值搜索方法
CN115019215A (zh) 一种基于高光谱图像的大豆病虫害识别方法和装置
CN104268838B (zh) 一种面向超光谱数据库的小波去噪算法
CN102915524A (zh) 一种基于阴影区域内外检查线匹配的阴影消除方法
CN112363217A (zh) 一种地震数据随机噪声压制方法及系统
CN109033980A (zh) 基于增量局部残差最小二乘的高光谱图像Gabor特征分类方法
KR101753365B1 (ko) Ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ 방법을 이용한 효율적인 영상 잡음 제거 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant