CN117194902A - 一种光谱测量过程中噪声数据滤除方法 - Google Patents
一种光谱测量过程中噪声数据滤除方法 Download PDFInfo
- Publication number
- CN117194902A CN117194902A CN202311475779.8A CN202311475779A CN117194902A CN 117194902 A CN117194902 A CN 117194902A CN 202311475779 A CN202311475779 A CN 202311475779A CN 117194902 A CN117194902 A CN 117194902A
- Authority
- CN
- China
- Prior art keywords
- data
- near infrared
- infrared band
- different concentrations
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000008569 process Effects 0.000 title claims abstract description 42
- 238000005259 measurement Methods 0.000 title claims abstract description 29
- 238000001914 filtration Methods 0.000 title claims abstract description 24
- 230000035945 sensitivity Effects 0.000 claims abstract description 32
- 230000003595 spectral effect Effects 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims 1
- 239000000126 substance Substances 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 6
- 239000003994 anesthetic gas Substances 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003444 anaesthetic effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 2
- 230000037005 anaesthesia Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明涉及数据处理技术领域，具体涉及一种光谱测量过程中噪声数据滤除方法，包括：获取不同浓度下的样本光谱数据；根据不同浓度下与其他浓度下的样本光谱数据中近红外波段数据的数据差异程度，获取不同浓度下的样本光谱数据中近红外波段数据的敏感度；根据不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点在孤立树上的位置差异程度和距离差异程度，获取每个频率数据点的结构相似程度；对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后样本光谱数据。本发明可以更准确的分辨出噪声数据，使得滤除噪声后的数据结果更加准确。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种光谱测量过程中噪声数据滤除方法。
背景技术
光谱测量一种广泛应用于物质分析和识别的非常有效的方法。在光谱测量过程中，将样本或物体的光信号通过化学仪器捕捉，并转换为电信号进一步处理和分析。然而，由于光谱测量系统的复杂性和外部环境的影响，测量中常常会引入各种噪声，例如背景光、仪器漂移、光电探测器噪声等，这些噪声会干扰光谱的准确测量和分析。为了提高光谱测量的准确性和可靠性，故需要对光谱测量过程中的噪声数据进行滤除。
传统的噪声数据滤除方法是通过孤立森林对数据进行异常性检测，然后对异常检测后的异常数据视为噪声数据进行平滑处理，而由于在光谱数据中，不同的环境条件也会导致数据的异常性变化，而孤立森林算法无法将噪声的异常和环境条件所导致的数据异常区分开。
发明内容
为了解决上述问题，本发明提供一种光谱测量过程中噪声数据滤除方法，所述方法包括：
获取不同浓度下的样本光谱数据；
获取不同浓度下的样本光谱数据中近红外波段数据，近红外波段数据包含若干个频率数据点；获取不同浓度下的样本光谱数据中近红外波段数据的数据差异程度；根据不同浓度样本光谱数据近红外波段数据的数据差异程度，获取不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度；
根据不同浓度下的样本光谱数据中近红外波段数据的多个频率数据点，构建不同浓度下的样本的多棵孤立树；获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的距离差异程度；获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度；根据不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度和距离差异程度，获取每个频率数据点的结构相似程度；
根据不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度和每个频率数据点的结构相似程度，对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后的样本光谱数据。
优选的，所述获取不同浓度下的样本光谱数据中近红外波段数据的数据差异程度的具体公式为：
式中，表示第/>个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度；/>表示不同浓度下的样本光谱数据中近红外波段数据的频率数据点总数量；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示取绝对值。
优选的，所述根据不同浓度样本光谱数据近红外波段数据的数据差异程度，获取不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度，包括的具体方法为：
将不同浓度之间的浓度差值绝对值，作为不同浓度下的样本光谱数据中近红外波段数据的浓度差异；根据不同浓度下的样本光谱数据中近红外波段数据的数据差异程度与浓度差异的比值，获得不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度。
优选的，所述根据不同浓度下的样本光谱数据中近红外波段数据的数据差异程度与浓度差异的比值，获得不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度的具体公式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>表示第/>个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度；/>表示第/>个浓度的浓度大小；/>表示第/>个浓度的浓度大小；/>为预设参数；/>表示取绝对值；/>表示线性归一化函数。
优选的，所述获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的距离差异程度，包括的具体方法为：
获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在每棵孤立树的分布位置，将第/>个频率数据点在第/>棵孤立树的分布位置距离第/>棵孤立树的根节点的路径长度，记为第/>个频率数据点在第/>棵孤立树的第一距离，将第/>个频率数据点在所有棵孤立树的第一距离的方差作为第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的距离差异程度。
优选的，所述获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度，包括的具体方法为：
获取第个频率数据点的位置占比程度，则第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度的计算表达式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据中所有频率数据点总数量；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在第/>棵孤立树的位置占比程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据中第/>个频率数据点在所有棵孤立树的位置占比程度均值。
优选的，所述获取第个频率数据点的位置占比程度的具体方法为：
将第个频率数据点在第/>棵孤立树的第一距离与第/>棵孤立树的深度的比值，作为第/>个频率数据点的位置占比程度。
优选的，所述根据不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度和距离差异程度，获取每个频率数据点的结构相似程度的具体公式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的距离差异程度；/>表示以自然常数为底数的指数函数。
优选的，所述根据不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度和每个频率数据点的结构相似程度，对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后的样本光谱数据，包括的具体方法为：
获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数，则对第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点进行调整的具体过程为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的滤波后的光谱数据；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>为预设阈值。
优选的，所述获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数的具体公式为：/>。
本发明的技术方案的有益效果是：针对由于在光谱数据中，不同的实验条件也会导致数据的异常性变化，而孤立森林算法无法将噪声的异常和实验条件所导致的数据异常区分开的问题，本发明通过不同样本的光谱测量数据在各个波段范围内的敏感性以及各个波段对应在数据在孤立树中的分布位置计算各个波段范围内的数据的结构相似程度，并根据数据在各个波段范围内的敏感性以及各个波段对应在数据在孤立树中的相似程度对数据进行滤除处理；进而可以更准确的分辨出噪声数据，使得滤除噪声后的数据结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种光谱测量过程中噪声数据滤除方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种光谱测量过程中噪声数据滤除方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种光谱测量过程中噪声数据滤除方法的具体方案。请参阅图1，其示出了本发明一个实施例提供的一种光谱测量过程中噪声数据滤除方法的步骤流程图。
在实施具体步骤之前，需要说明的是，本实施例以如下应用场景为例进行叙述：获取每次麻醉手术之后麻醉室内的样本，该样本内包括未知浓度的残留麻醉气体，需要通过光谱测量的方法获取样本内麻醉气体的成分和浓度，以达到获取麻醉手术后的麻醉气体量的目的。
在多次麻醉手术之后获得若干麻醉室内多个样本，每个样本对应一个未知的麻醉气体浓度，至此获得若干浓度下的样本。
需要说明的是，具体实施时可以应用其他场景，本实施例不对具体应用场景进行限定。
本实施例包括以下步骤：
步骤S001：获取不同浓度下的样本光谱数据。
本实施例将获得的样本个数记为，也即得到了/>个浓度下的样本。
需要说明的是，即便两个样本对应的浓度相同，在本实施例中也视为两个浓度下的样本。
需要说明的是，光谱测量数据是描述光信号在不同波长或频率下的强度或能量分布的一组数字或信号。它可以用于分析物质的组成、浓度、结构等特征，以及研究光的相互作用、光谱特性等。光谱测量数据通常由光学仪器和光电探测器采集，并以数字形式进行记录和处理。
具体的，为了实现本实施例提出的一种光谱测量过程中噪声数据滤除方法，首先需要采集不同浓度下的样本光谱数据具体过程为：
对个浓度下的样本使用光电探测器采集，获得不同浓度下的样本光谱数据。
至此，通过上述方法得到不同浓度下的样本光谱数据。
步骤S002：根据不同浓度下的样本光谱数据中近红外波段数据的数据差异程度，获取不同浓度下的样本光谱数据中近红外波段数据的敏感度。
需要说明的是，由于不同的物质样本具有不同的特性，这些特性包括化学成分、结构、形态等。这些特性会对光的相互作用和吸收产生不同的影响。因此，在不同浓度下的样本光谱数据中，不同浓度下的样本光谱数据的波段范围内显示不同的波动强度，即不同浓度下的样本光谱数据的波段范围内的敏感性不同。
1.获取不同浓度下的样本光谱数据中近红外波段数据。
需要说明的是，在光谱数据中，可能会出现一个或多个峰值，表示物体在特定波段或频率处有显著的辐射或吸收。而近红外波段或频率的光与物质相互作用的机制和能级结构不同。在近红外波段中，光与物质的相互作用可能引起较强的吸收或发射现象，而其他波段可能相对较弱。这种差异会导致在近红外波段下的光谱数据的波动程度不同。故需要对不同浓度下的样本光谱数据进行划分出近红外波段数据。
具体的，通过对不同浓度下的样本光谱数据利用光谱仪，获取不同浓度下的样本光谱数据中近红外波段数据；其中，近红外波段数据是由多个频率数据点组成，频率数据点的数据取值为频率。
至此，获得不同浓度下的样本光谱数据中近红外波段数据。
2.获取不同浓度下的样本光谱数据中近红外波段数据的敏感度。
需要说明的是，光谱数据的波动程度通常与物质在近红外波段内的吸收强度相关。如果物质对近红外波段的光吸收非常强烈，那么在近红外波段内的光谱数据将显示出较大的吸收峰或吸收带，波动程度也相对较大。反之，如果物质对近红外波段的吸收很弱，光谱数据的波动程度将较小。因此，波动程度可以反映出物质对近红外波段的吸收敏感性。故根据样本在不同波段内的波动程度计算不同浓度下样本光谱数据中的近红外波段数据的敏感性；通过改变样本的不同浓度，样本的浓度不同，会使样本在近红外波段数据内的峰值变化不同，故根据同一物质的不同浓度的光谱数据，计算不同浓度下的样本光谱数据中的近红外波段数据的敏感度。
具体的，第个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度的计算表达式为：
式中，表示第/>个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度；/>表示不同浓度下的样本光谱数据中近红外波段数据的频率数据点总数量；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示取绝对值。
进一步，第个浓度下的样本光谱数据中近红外波段数据的敏感度的计算表达式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>表示第/>个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度；/>表示第/>个浓度的浓度大小；/>表示第/>个浓度的浓度大小；/>为预设参数；/>表示取绝对值；/>表示线性归一化函数。
至此，通过上述方法得到不同浓度下的样本光谱数据中近红外波段数据的敏感度。
步骤S003：根据不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点在孤立树上的位置差异程度和距离差异程度，获取每个频率数据点的结构相似程度。
需要说明的是，由于光谱数据在近红外波段范围内的数据的波动程度不同，在对其利用孤立森林检测时的阈值标准不同，故将光谱数据的近红外波段维度拆分为多个独立的频率数据点，以保证在拆分后的多个频率数据点的数据的变化较小，进而使得在利用孤立森林对样本进行检测时，更容易检测出异常数据。
具体的，根据不同浓度下的样本光谱数据中近红外波段数据的多个频率数据点，构建不同浓度下的样本的多棵孤立树，并遍历孤立树，获取每个频率数据点在孤立树中的分布位置以及各个孤立树的深度；其中，每个频率数据点会参与多棵孤立树的构建。
需要说明的是，在采集光谱数据到的过程中在分割过程中，会由于背景光、仪器漂移等因素的影响给光谱数据中引入噪声。若光谱数据中存在噪声点，则该频率数据点会在某些维度方面与其他维度的差异较大。差异越大，该频率数据点在不同孤立树中的结构差异越大，即该频率数据点在不同维度的相似程度越低；差异越小，则该频率数据点在不同孤立树中的结构差异越小，即该频率数据点在不同维度的相似程度越高。故根据各个频率数据点在孤立树中的分布位置计算各个波段范围内的数据的结构相似程度。
1.获取不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点在孤立树上的距离差异程度。
需要说明的是，每个频率数据点在所有孤立树中距离根节点的距离越小，则说明该频率数据点在所有孤立树中距离根节点的距离差异越小，即该频率数据点在各个孤立树中的结构相似程度越高，反之，该频率数据点在各个孤立树中的结构相似程度越低。
具体的，将第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在每棵孤立树的分布位置，将第/>个频率数据点在第/>棵孤立树的分布位置距离第/>棵孤立树的根节点的路径长度，记为第/>个频率数据点在第/>棵孤立树的第一距离，将第/>个频率数据点在所有棵孤立树的第一距离的方差作为第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的距离差异程度。
至此，获得不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点在孤立树上的距离差异程度。
2.获取不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点在孤立树上的位置差异程度。
需要说明的是，每个频率数据点在各个孤立树中的位置占比越小，则说明频率数据点在孤立树中越先被分割出来；频率数据点在所有孤立树中的位置差异程度越小，则说明频率数据点在所有孤立树中的位置越接近，即频率数据点在各个孤立树中的结构相似程度越高，反之，频率数据点在所有孤立树中的位置越远，即频率数据点在在各个孤立树中的结构相似程度越低。
具体的，将第个频率数据点在第/>棵孤立树的第一距离与第/>棵孤立树的深度的比值，作为第/>个频率数据点的位置占比程度；则第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度的计算表达式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据中所有频率数据点总数量；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的位置占比程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据中第/>个频率数据点在所有棵孤立树的位置占比程度均值。
至此，获得不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点在孤立树上的位置差异程度。
进一步，根据第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度和距离差异程度，获取第/>个频率数据点的结构相似程度的计算表达式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的距离差异程度；/>表示以自然常数为底数的指数函数。
至此，通过上述方法得到不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点的结构相似程度。
步骤S004：对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后样本光谱数据。
需要说明的是，若频率数据点在各个孤立树中的结构相似程度越低，则说明频率数据点为噪声数据的可能性越大；若频率数据点在各个孤立树中的结构相似程度越高，则说明频率数据点为噪声数据的可能性越小；由于不同浓度下的样本光谱数据中近红外波段数据的敏感程度不同，在对敏感性较低的近红外波段数据的每个频率数据点进行滤除处理时，敏感性较低的近红外波段数据的每个频率数据点中的噪声数据与该近红外波段数据的其他频率数据点的差异较小，故在对噪声数据进行滤除处理时，需要考虑数据在不同浓度下的样本光谱数据中近红外波段数据的敏感性。
预设一个阈值，其中本实施例以/>为例进行叙述，本实施例不进行具体限定，其中/>根据具体实施情况而定。
具体的，获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数的计算表达为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>为预设阈值。
进一步，对第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点进行调整的具体过程为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整后数据取值；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>为预设阈值。
同理，对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后样本光谱数据。
在本实施例中，根据滤除噪声后样本光谱数据获取样本中麻醉气体的浓度；CN111855606A中公开了具体的浓度检测方法，本实施例不在进行具体赘述。至此，本实施例完成。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种光谱测量过程中噪声数据滤除方法，其特征在于，该方法包括以下步骤：
获取不同浓度下的样本光谱数据；
获取不同浓度下的样本光谱数据中近红外波段数据，近红外波段数据包含若干个频率数据点；获取不同浓度下的样本光谱数据中近红外波段数据的数据差异程度；根据不同浓度样本光谱数据近红外波段数据的数据差异程度，获取不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度；
根据不同浓度下的样本光谱数据中近红外波段数据的多个频率数据点，构建不同浓度下的样本的多棵孤立树；获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的距离差异程度；获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度；根据不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度和距离差异程度，获取每个频率数据点的结构相似程度；
根据不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度和每个频率数据点的结构相似程度，对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后的样本光谱数据。
2.根据权利要求1所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述获取不同浓度下的样本光谱数据中近红外波段数据的数据差异程度的具体公式为：
式中，表示第/>个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度；/>表示不同浓度下的样本光谱数据中近红外波段数据的频率数据点总数量；表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；表示取绝对值。
3.根据权利要求1所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述根据不同浓度样本光谱数据近红外波段数据的数据差异程度，获取不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度，包括的具体方法为：
将不同浓度之间的浓度差值绝对值，作为不同浓度下的样本光谱数据中近红外波段数据的浓度差异；根据不同浓度下的样本光谱数据中近红外波段数据的数据差异程度与浓度差异的比值，获得不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度。
4.根据权利要求3所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述根据不同浓度下的样本光谱数据中近红外波段数据的数据差异程度与浓度差异的比值，获得不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度的具体公式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>表示第/>个浓度下与第/>个浓度下的样本光谱数据中近红外波段数据的数据差异程度；/>表示第/>个浓度的浓度大小；/>表示第/>个浓度的浓度大小；/>为预设参数；/>表示取绝对值；表示线性归一化函数。
5.根据权利要求1所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的距离差异程度，包括的具体方法为：
获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在每棵孤立树的分布位置，将第/>个频率数据点在第/>棵孤立树的分布位置距离第/>棵孤立树的根节点的路径长度，记为第/>个频率数据点在第/>棵孤立树的第一距离，将第/>个频率数据点在所有棵孤立树的第一距离的方差作为第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的距离差异程度。
6.根据权利要求1所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述获取不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度，包括的具体方法为：
获取第个频率数据点的位置占比程度，则第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度的计算表达式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据中所有频率数据点总数量；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在第/>棵孤立树的位置占比程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据中第/>个频率数据点在所有棵孤立树的位置占比程度均值。
7.根据权利要求6所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述获取第个频率数据点的位置占比程度的具体方法为：
将第个频率数据点在第/>棵孤立树的第一距离与第/>棵孤立树的深度的比值，作为第/>个频率数据点的位置占比程度。
8.根据权利要求1所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述根据不同浓度样本光谱数据近红外波段数据的每个频率数据点在孤立树上的位置差异程度和距离差异程度，获取每个频率数据点的结构相似程度的具体公式为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的位置差异程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点在孤立树上的距离差异程度；/>表示以自然常数为底数的指数函数。
9.根据权利要求1所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述根据不同浓度下的样本光谱数据中近红外波段数据中近红外波段数据的敏感度和每个频率数据点的结构相似程度，对不同浓度下的样本光谱数据中近红外波段数据的每个频率数据点进行调整，获得不同浓度下滤除噪声后的样本光谱数据，包括的具体方法为：
获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数，则对第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点进行调整的具体过程为：
式中，表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的滤波后的光谱数据；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的数据取值；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的结构相似程度；/>表示第/>个浓度下的样本光谱数据中近红外波段数据的敏感度；/>为预设阈值。
10.根据权利要求9所述一种光谱测量过程中噪声数据滤除方法，其特征在于，所述获取第个浓度下的样本光谱数据中近红外波段数据的第/>个频率数据点的调整系数的具体公式为：/>。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311475779.8A CN117194902B (zh) | 2023-11-08 | 2023-11-08 | 一种光谱测量过程中噪声数据滤除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311475779.8A CN117194902B (zh) | 2023-11-08 | 2023-11-08 | 一种光谱测量过程中噪声数据滤除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117194902A true CN117194902A (zh) | 2023-12-08 |
| CN117194902B CN117194902B (zh) | 2024-02-06 |
Family
ID=88989192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311475779.8A Active CN117194902B (zh) | 2023-11-08 | 2023-11-08 | 一种光谱测量过程中噪声数据滤除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117194902B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117571745A (zh) * | 2023-12-12 | 2024-02-20 | 山东鲁玻玻璃科技有限公司 | 一种低硼硅玻璃缺陷检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112557325A (zh) * | 2020-12-08 | 2021-03-26 | 塔里木大学 | 一种果树果品品质近地面遥感监测装置和方法 |
| CN114384031A (zh) * | 2022-01-12 | 2022-04-22 | 广西壮族自治区地理信息测绘院 | 星-空-地高光谱遥感水体重金属污染立体监测方法 |
| CN115221927A (zh) * | 2022-07-26 | 2022-10-21 | 浙江树人学院 | 一种紫外-可见光谱的溶解有机碳检测方法 |
| CN116881705A (zh) * | 2023-09-07 | 2023-10-13 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理系统 |
-
2023
- 2023-11-08 CN CN202311475779.8A patent/CN117194902B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112557325A (zh) * | 2020-12-08 | 2021-03-26 | 塔里木大学 | 一种果树果品品质近地面遥感监测装置和方法 |
| CN114384031A (zh) * | 2022-01-12 | 2022-04-22 | 广西壮族自治区地理信息测绘院 | 星-空-地高光谱遥感水体重金属污染立体监测方法 |
| CN115221927A (zh) * | 2022-07-26 | 2022-10-21 | 浙江树人学院 | 一种紫外-可见光谱的溶解有机碳检测方法 |
| CN116881705A (zh) * | 2023-09-07 | 2023-10-13 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117571745A (zh) * | 2023-12-12 | 2024-02-20 | 山东鲁玻玻璃科技有限公司 | 一种低硼硅玻璃缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117194902B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117194902B (zh) | 一种光谱测量过程中噪声数据滤除方法 | |
| CN105486655B (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
| CN101105446A (zh) | 差分吸收光谱空气质量检测系统 | |
| CN108169213A (zh) | 一种激光诱导击穿光谱谱峰元素自动识别方法 | |
| CN113109317B (zh) | 基于背景扣除提取峰面积的拉曼光谱定量分析方法及系统 | |
| CN111198165A (zh) | 一种基于光谱数据标准化进行水质参数的测定方法 | |
| CN116818739A (zh) | 一种基于光学的吲哚菁绿检测方法 | |
| CN116842326B (zh) | 一种基于光学手段的畜牧养殖水质监测系统 | |
| CN111487213A (zh) | 多光谱融合的化学需氧量测试方法及装置 | |
| CN107831157B (zh) | 基于除谱的拉曼光谱荧光背景扣除方法 | |
| CN113008805A (zh) | 基于高光谱成像深度分析的白芷饮片质量预测方法 | |
| CN116089824B (zh) | 光谱共焦位移传感器的峰值提取方法及系统、介质 | |
| Wang et al. | Independent component analysis-based baseline drift interference suppression of portable spectrometer for optical electronic nose of Internet of Things | |
| CN116388733B (zh) | 一种适用于近红外水果无损检测的光谱预处理方法及装置 | |
| CN102072767A (zh) | 基于波长相似性共识回归红外光谱定量分析方法和装置 | |
| CN108802002B (zh) | 一种快速无损鉴别解除滞育的蚕卵拉曼光谱模型构建方法 | |
| CN104020128A (zh) | 一种快速鉴别蜂胶胶源的方法 | |
| CN107528646B (zh) | 一种基于宽带频谱的干扰信号识别及提取方法 | |
| CN113109318B (zh) | 基于光谱峰高直接提取的拉曼光谱定量分析方法及系统 | |
| CN112834481B (zh) | 一种拉曼光谱增强测量系统及测量方法 | |
| CN111141809B (zh) | 一种基于非接触式电导信号的土壤养分离子含量检测方法 | |
| CN112666104A (zh) | 一种基于doas的气体浓度反演方法 | |
| CN102880861A (zh) | 基于线性预测倒谱系数的高光谱图像分类方法 | |
| CN112229817A (zh) | 一种苏打盐碱地重金属定量反演模型建立方法 | |
| CN109977349B (zh) | 滤除太赫兹信号中水蒸气吸收峰的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |