CN109406446A - 对近红外数据的预处理方法及其调用方法 - Google Patents
对近红外数据的预处理方法及其调用方法 Download PDFInfo
- Publication number
- CN109406446A CN109406446A CN201811189484.3A CN201811189484A CN109406446A CN 109406446 A CN109406446 A CN 109406446A CN 201811189484 A CN201811189484 A CN 201811189484A CN 109406446 A CN109406446 A CN 109406446A
- Authority
- CN
- China
- Prior art keywords
- data
- algorithm
- infrared
- smoothing filter
- gaussian smoothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000009499 grossing Methods 0.000 claims abstract description 25
- 238000011946 reduction process Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims description 24
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000002329 infrared spectrum Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Optical Communication System (AREA)
Abstract
本发明涉及近红外光谱分析和信号处理领域，其公开了一种对近红外数据的预处理方法及其调用方法，对近红外数据进行有效降噪处理，在降低噪声干扰的同时保留数据特征。本发明中的对近红外数据的预处理方法，应用于原始数据到建模数据之间的处理链中，以及应用于预测操作的原始数据到预测数据之间的处理链中，该方法包括：采用高斯平滑滤波算法对近红外原始数据进行降噪处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。
Description
技术领域
本发明涉及近红外光谱分析和信号处理领域，具体涉及一种对近红外数据的预处理方法及其调用方法。
背景技术
目前，在近红外光谱分析与信号处理等领域，由于采集器、采集条件、样本条件等诸多原因，采集到的数据受噪音干扰较大，需要使用一定的技术手段对原始数据进行降噪处理。如何对近红外数据进行有效降噪，在降低噪声干扰的同时保留数据特征是一项研究热点和难点问题。
发明内容
本发明所要解决的技术问题是：提出一种对近红外数据的预处理方法及其调用方法，对近红外数据进行有效降噪处理，在降低噪声干扰的同时保留数据特征。
本发明解决上述技术问题所采用的技术方案是：对近红外数据的预处理方法，应用于原始数据到建模数据之间的处理链中，以及应用于预测操作的原始数据到预测数据之间的处理链中，该方法包括：采用高斯平滑滤波算法对近红外原始数据进行降噪处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。
作为进一步优化，所述关键参数为标准差σ，标准差σ的取值为半窗宽的0.3～0.5倍。
此外，本发明还公开了一种上述预处理方法的调用方法，其包括：
当平台端接收到采集器传输的数据之后，经过初步验证转化为基础的原始数据进行存储，在建模阶段，将多个原始数据传入预处理算法队列进行预处理操作，所述预处理算法队列中包括高斯平滑滤波算法，所述高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波，然后，返回处理结果并传入下一级的预处理算法中，最终得到用于建模的建模数据，平台端根据建模数据生成预测模型，并记录预处理算法队列；
在使用模型进行预测时，先从采集器获取到上传的数据并进行初步验证转化为基础的原始数据，获取选用的预测模型，读取保存的预处理算法队列，将原始数据传入预处理算法队列中进行处理，预处理算法队列中的高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波；然后，返回处理结果并传入下一级的预处理算法中，最终得到用于预测的预测数据，平台端根据生成的预测数据调用模型，得出预测结果，记录并返回到采集器终端。
本发明的有益效果是：
采用高斯平滑滤波算法对近红外原始数据处理，根据选择的不同窗宽，自动调整算法参数，以实现对光谱处理的最佳效果，在降低噪声干扰的同时保留数据特征。
附图说明
图1为平台系统处理原始数据的流程图；
图2为平台系统处理测试数据的流程图；
图3为预处理算法队列的处理流程图。
具体实施方式
本发明旨在提出一种利用自适应滤波算法对近红外数据的预处理方法及其调用方法，对近红外数据进行有效降噪处理，在降低噪声干扰的同时保留数据特征。
本发明提出的利用自适应滤波算法对近红外数据的预处理方法的核心思想是：采用高斯平滑滤波算法对近红外原始数据处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。即根据选择的不同窗宽，自动调整算法参数。
在高斯平滑滤波算法中，关键参数为标准差σ，确定σ的值决定了高斯滤波的结果好坏。根据实际工程试验发现，当σ取值为半窗宽的0.3～0.5倍时，对近红外光谱的原始数据噪声处理效果最好，得出的模型可靠性最高。
针对近红外的原始数据，需要处理之后才能更好的用于数据建模，故上述预处理方法宜用在原始数据到建模数据之间的处理链中。同时，针对新数据的模型分析预测，也需要经过相应的处理方式处理为建模数据相同格式才能符合模型输入标准，故上述预处理方法也需要用在预测操作的原始数据到预测数据之间的处理链中。
由此，本发明提出了对上述预处理方法的调用流程；该流程包括红外采集器上传的原始数据的预处理阶段，通过与其他预处理算法配合使用，降低噪声干扰的同时保留数据特征，进而得出可靠的数据测算模型；以及，使用模型进行预测时，对红外采集器上传的测试数据(也称之为原始数据)的预处理阶段，通过与其他预处理算法配合使用，获得用于预测的预测数据。
如图1所示，当平台端接收到采集器传输的数据之后，经过初步验证转化为基础的原始数据进行存储。在建模阶段，将多个原始数据传入如图3所示的预处理算法队列进行预处理操作，该预处理算法队列中包括高斯平滑滤波算法，所述高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波，返回处理结果并传入下一级的预处理算法中，最终得到用于建模的建模数据。平台系统根据建模数据生成预测模型，并记录预处理算法队列。
在使用模型进行预测时，如图2所示，先从采集器获取到上传的数据并进行初步验证转化为基础的原始数据，获取选用的预测模型，读取保存的预处理算法队列，将原始数据传入预处理算法队列中进行处理，预处理算法队列中的高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波；返回处理结果并传入下一级的预处理算法中，最终得到用于预测的预测数据。平台根据生成的预测数据调用模型，得出预测结果，记录并返回到采集器终端。
Claims (3)
1.对近红外数据的预处理方法，应用于原始数据到建模数据之间的处理链中，以及应用于预测操作的原始数据到预测数据之间的处理链中，其特征在于，该方法包括：采用高斯平滑滤波算法对近红外原始数据进行降噪处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。
2.如权利要求1所述的对近红外数据的预处理方法，其特征在于，所述关键参数为标准差σ，标准差σ的取值为半窗宽的0.3～0.5倍。
3.如权利要求1或2所述对近红外数据的预处理方法的调用方法，其特征在于，包括：
当平台端接收到采集器传输的数据之后，经过初步验证转化为基础的原始数据进行存储，在建模阶段，将多个原始数据传入预处理算法队列进行预处理操作，所述预处理算法队列中包括高斯平滑滤波算法，所述高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波，然后，返回处理结果并传入下一级的预处理算法中，最终得到用于建模的建模数据，平台端根据建模数据生成预测模型，并记录预处理算法队列；
在使用模型进行预测时，先从采集器获取到上传的数据并进行初步验证转化为基础的原始数据，获取选用的预测模型，读取保存的预处理算法队列，将原始数据传入预处理算法队列中进行处理，预处理算法队列中的高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波；然后，返回处理结果并传入下一级的预处理算法中，最终得到用于预测的预测数据，平台端根据生成的预测数据调用模型，得出预测结果，记录并返回到采集器终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811189484.3A CN109406446A (zh) | 2018-10-12 | 2018-10-12 | 对近红外数据的预处理方法及其调用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811189484.3A CN109406446A (zh) | 2018-10-12 | 2018-10-12 | 对近红外数据的预处理方法及其调用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109406446A true CN109406446A (zh) | 2019-03-01 |
Family
ID=65467750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811189484.3A Pending CN109406446A (zh) | 2018-10-12 | 2018-10-12 | 对近红外数据的预处理方法及其调用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109406446A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020238970A1 (zh) * | 2019-05-31 | 2020-12-03 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006113813A2 (en) * | 2005-04-15 | 2006-10-26 | Invivo Corporation | Method for image intensity correction using extrapolation and adaptive smoothing |
| CN102721663A (zh) * | 2012-05-28 | 2012-10-10 | 中国科学院长春光学精密机械与物理研究所 | 一种基于自适应滤波的近红外土壤光谱去噪方法 |
| CN102930576A (zh) * | 2012-10-15 | 2013-02-13 | 中国科学院软件研究所 | 一种基于特征流的抽象线条画生成方法 |
| CN107064053A (zh) * | 2017-02-23 | 2017-08-18 | 浙江大学 | 基于近红外高光谱技术无损检测杨梅中多酚含量的方法 |
| CN107064054A (zh) * | 2017-02-28 | 2017-08-18 | 浙江大学 | 一种基于cc‑pls‑rbfnn优化模型的近红外光谱分析方法 |
| CN107403181A (zh) * | 2017-06-01 | 2017-11-28 | 深圳信息职业技术学院 | 基于广式腊肠高光谱图像的瘦肉与肥肉自适应分离的方法 |
-
2018
- 2018-10-12 CN CN201811189484.3A patent/CN109406446A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006113813A2 (en) * | 2005-04-15 | 2006-10-26 | Invivo Corporation | Method for image intensity correction using extrapolation and adaptive smoothing |
| CN102721663A (zh) * | 2012-05-28 | 2012-10-10 | 中国科学院长春光学精密机械与物理研究所 | 一种基于自适应滤波的近红外土壤光谱去噪方法 |
| CN102930576A (zh) * | 2012-10-15 | 2013-02-13 | 中国科学院软件研究所 | 一种基于特征流的抽象线条画生成方法 |
| CN107064053A (zh) * | 2017-02-23 | 2017-08-18 | 浙江大学 | 基于近红外高光谱技术无损检测杨梅中多酚含量的方法 |
| CN107064054A (zh) * | 2017-02-28 | 2017-08-18 | 浙江大学 | 一种基于cc‑pls‑rbfnn优化模型的近红外光谱分析方法 |
| CN107403181A (zh) * | 2017-06-01 | 2017-11-28 | 深圳信息职业技术学院 | 基于广式腊肠高光谱图像的瘦肉与肥肉自适应分离的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 党邵国等: "基于自适应高斯滤波的超声斑点降噪", 《万方数据》 * |
| 陈丛等: "基于ＮＬＭＳ自适应滤波的近红外光谱去噪处理方法研究", 《光学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020238970A1 (zh) * | 2019-05-31 | 2020-12-03 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Deep networks for compressed image sensing | |
| CN108921130B (zh) | 基于显著性区域的视频关键帧提取方法 | |
| CN111783558A (zh) | 一种卫星导航干扰信号类型智能识别方法及系统 | |
| CN110619296B (zh) | 一种基于奇异分解的信号降噪方法 | |
| US20080010040A1 (en) | Blind Estimation Of Bandwidth And Duration Parameters Of An Incoming Signal | |
| CN110690931B (zh) | 一种基于多小波基联合的数字信号自适应码率估计方法和装置 | |
| CN112910812B (zh) | 一种基于时空特征提取深度学习的调制模式识别方法 | |
| CN104063686B (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN111314257A (zh) | 一种基于复值神经网络的调制方式识别方法 | |
| CN113723244A (zh) | 一种基于改进变分模态分解的雷达辐射源信号分离方法 | |
| CN109406446A (zh) | 对近红外数据的预处理方法及其调用方法 | |
| CN107534622A (zh) | 非合作数字电信中合并信号的联合识别 | |
| CN111882057A (zh) | 一种面向时空序列数据建模的多阶段深度学习方法及应用 | |
| CN110111261A (zh) | 图像的自适应平衡处理方法、电子设备和计算机可读存储介质 | |
| CN117761733A (zh) | 一种用于无人机的gps欺骗攻击检测方法及系统 | |
| CN112016487A (zh) | 一种智能识别方法及设备 | |
| CN109586763B (zh) | 一种电子通信系统中扩频信号的去噪方法及其去噪系统 | |
| CN112422212B (zh) | 一种数据自适应无线通信信道预测方法、存储介质及设备 | |
| CN115883424A (zh) | 一种高速骨干网间流量数据预测方法及系统 | |
| CN113611304B (zh) | 一种基于大屏语音唤醒识别降噪混合系统及方法 | |
| Zhong et al. | Prediction system for activity recognition with compressed video | |
| CN118484650B (zh) | 一种eLoran信号的提取方法、系统、设备及介质 | |
| CN112861772A (zh) | 一种基于图像识别的场景分析方法及装置 | |
| CN109813737A (zh) | 土壤重金属含量的估算方法及装置 | |
| CN117542370B (zh) | 一种用于智能客服机器人的语音信号智能处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |
|
| RJ01 | Rejection of invention patent application after publication |