CN113271099A - 一种提升仪器测量精度的数据处理方法 - Google Patents
一种提升仪器测量精度的数据处理方法 Download PDFInfo
- Publication number
- CN113271099A CN113271099A CN202110814233.5A CN202110814233A CN113271099A CN 113271099 A CN113271099 A CN 113271099A CN 202110814233 A CN202110814233 A CN 202110814233A CN 113271099 A CN113271099 A CN 113271099A
- Authority
- CN
- China
- Prior art keywords
- floating point
- peak
- light intensity
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/06—Continuously compensating for, or preventing, undesired influence of physical parameters
- H03M1/08—Continuously compensating for, or preventing, undesired influence of physical parameters of noise
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
Landscapes
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种提升仪器测量精度的数据处理方法,本方法是在预处理后的数据中找到关键信息数据,再将关键信息数据及其多个邻近点信息,做最小二乘法拟合,将拟合后的函数逼近原求取的关键信息数据及其多个邻近点信息的函数,最终实现对关键信息的求取,这种方法是为了消除由于高斯波动引来的最高点位置的不确定性,达到提升数据精度的目的;本方法应用非常广泛,溶解氧测量仪、折光仪等多个仪器都可以使用此方法;经过本方法处理后得到的仪器测量数据在稳定性上也得到了数倍的提高。
Description
技术领域
本发明涉及数据处理技术领域,具体为一种提升仪器测量精度的数据处理方法。
背景技术
很多仪器在环境不变的情况下,终端值常常会波动,当这种波动相对较大时,用户会感觉仪器本身的不可靠、不可信;从本源说,这种波动是来源于仪器硬件ADC采样及系统本身的高斯噪音,而且对仪器得到的测量数据进行的处理主要指数学处理,是在理解仪器测量的物理、化学原理后,在理解仪器的硬件数据采样方法后,围绕数据的数学和编程过程,做一些相关的数值取舍;但在这个过程中噪音会转递甚至放大到最后的终端值上;对含有高噪音的数据的处理,通常先平滑、滤波;再以时间换稳定性和精度,即增加采集次数,取其平均或中值等统计学手段,达到降噪取信号的目的;但这种牺牲时间换稳定性的方法,必然增加了仪器终端值的滞后性;降低噪音、消除不确定性及其转递,成了提高仪器的稳定性和精度的重要问题。
基于上述问题,亟于提出一种提升仪器测量精度的数据处理方法,本方法是借用数据组内多个邻近点的信息,消除由于高斯波动引来的最高点位置的不确定性,达到提升精度的方法,因为从信息论角度看,数据的关键信息通常在波峰或者波谷中、在图像的边界中,但在对关键信息多次采样的过程中常常有微小的波动,本发明就是消除这波动的方法;本文创新在于,经过系统跟踪和分析发现数据关键信息的值及位置,而这也是很多计算链中误差和波动的关键起点;基于这个问题提出了利用关键信息的邻近点的信息求解其位置的稳定方法,本方法应用非常广泛,溶解氧测量仪、折光仪等多个仪器都可以使用此方法;经过本方法处理后得到的仪器测量数据在稳定性上也得到了数倍的提高。
发明内容
本发明的目的在于提供一种提升仪器测量精度的数据处理方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种提升仪器测量精度的数据处理方法,数据处理方法包括:
S100:使用单片机每隔若干微秒对光强进行ADC采样,并将采样得到的浮点信息依次记录在一维数组中,浮点信息包括浮点的位置信息和对应位置信息上的光强信息,并对一维数组中的浮点信息进行预处理;预处理包括去噪、平滑;
S200:根据步骤S100中的一维数组找出波峰初值位置;采用遍历循环法,对步骤S100中的一维数组中的光强信息进行遍历循环,将光强最大的浮点作为波峰初值位置;
S300:将步骤S200找到的波峰初值位置的临近信息组成波峰系列;步骤S300包括以下步骤:
S301:在波峰初值位置的左侧和右侧各采取相同个数的浮点;
S400:将步骤S300得到的波峰系列采用最小二乘法拟合的方法,将波峰系列对波峰形态进行逼近;
S500:根据步骤S400得到的逼近后的波峰形态,求出波峰精确位置;
在步骤S100中,使用单片机每隔若干微秒对光强进行ADC采样得到的数据因为收到了仪器硬件ADC本身以及仪器系统本身的高斯噪音影响所以需要对采样得到的数据先进行一些必要的预处理,初步降低数据的噪音和不确定性;
上述步骤S200中得到的波峰初值位置是属于一个粗糙的波峰位置,在这个位置上达到了仪器物理分辨率的极限;首先选定一个波峰初值位置是为了在后续的波峰精确位置的求取过程中减少数据上的操作负担,提高工作效率;
上述步骤S300是利用在步骤S200得到的波峰初值位置的临近信息,将临近信息进行第二次处理是为了步骤S400和步骤S500得到一个较为精确的波峰位置。
进一步的,步骤S400包括以下步骤:
在内存和计算资源十分有限的单片机上,需要实现多项式最小二乘法,可以将数据写成矩阵形式,而需要解方程的最小二乘解,可将上述矩阵进行变形为,这样在嵌入式的C语言实现上,能够更省空间,并且可以实现去除求矩阵的逆或伪逆这些繁杂的步骤,而对于变形式,就是最小二乘解,方程左边 是3x3的矩阵,右边是3维列向量,计算得到的拟合后的一元二次方程与实际的波峰形状差距将会进一步缩小,使得最终得到的波峰位置将会更加的精准。
进一步的,步骤S500是指利用步骤S400解得的a、b、c值根据公式求取波峰精确位置;上述求得的波峰精确位置是修正后的高精度的波峰位置,通过上述方法最终得到的波峰精确位置是在预处理的基础上进行了再次的降噪和消除数据的不确定性,而且对比通过增加采集次数再取其平均或中值这种牺牲时间换稳定性的方法的统计学手段,避免了会出现增加仪器终端值滞后性的情况。
与现有技术相比,本发明所达到的有益效果是:本发明经过系统跟踪和分析发现数据关键信息的值及位置,通过关键信息的邻近点的信息来求解关键信息稳定的位置,本方法是借用数据组内多个邻近点的信息,消除由于高斯波动引来的最高点位置的不确定性,最终达到数据精度提高的效果。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种提升仪器测量精度的数据处理方法的流程图;
图2是一种提升仪器测量精度的数据处理方法实施例中蓝光随时间的变化曲线,即蓝光波峰位置的波动示意图;
图3是一种提升仪器测量精度的数据处理方法实施例中蓝光波峰位置的波动变化正态分布示意图;
图4是一种提升仪器测量精度的数据处理方法实施例中波峰位置的波动百分率对比序列图;
图5是一种提升仪器测量精度的数据处理方法实施例中溶解氧浓度的波动百分率对比序列图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-5,本发明提供技术方案:一种提升仪器测量精度的数据处理方法,数据处理方法包括:
S100:使用单片机每隔若干微秒对光强进行ADC采样,并将采样得到的1024个浮点信息依次记录在一维数组中,浮点信息包括浮点的位置信息和对应位置信息上的光强信息,并对一维数组中的浮点信息进行预处理;其中,预处理包括去噪、平滑;
S200:根据步骤S100中的一维数组找出波峰初值位置;通过采用遍历循环法,对步骤S100中的一维数组中的光强信息进行遍历循环,将光强最大的浮点作为波峰初值位置;
S300:将步骤S200找到的波峰初值位置的临近信息组成波峰系列;
其中,步骤S300包括以下步骤:
S301:在波峰初值位置的左侧和右侧各采取相同个数的浮点;
S400:将步骤S300得到的波峰系列采用最小二乘法拟合的方法,将波峰系列对波峰形态进行逼近;其中,步骤S400包括以下步骤:
在本实施例中,以具体的溶解氧测量数据的处理为例,仪器采用荧光法测定水中溶解氧, 其方法原理:调制的蓝光照到荧光物质上使其激发,并发出红光,由于猝息效应的原理氧分子可以带走能量,所以激发红光的时间和强度与氧分子的浓度成反比;再采用与蓝光同步的红色光源作为参比,测量激发红光与参比光之间的相位差,并与内部标定值对比,从而计算出氧分子的浓度,经过一些处理,输出溶解氧;为了降低和消除溶解氧值的波动,我们对ADC采样数据及计算链的多个环节,收集千次数据,做统计上的频率分布,以标准差为依据,找到了波动在计算链的传播规律后,在关键环节用组间平均法降低了波动,并且还发现在时间序列中找最大值的位置,是波动传播的计算链中的关键起点;
在溶解氧测量中,仪器中采用ADC采样收集蓝光、红光的湮灭时间;如图2所示,是蓝光的光强随时间的变化关系,根据专业研究及实验发现,蓝光湮灭时间的计算区与波峰位置相关。 横轴x代表采样间隔,纵轴y代表光强,可记录在1024个浮点值的数组中,由于ADC 采样硬件及测量的系统噪音不可避免,这种噪音显正态分布;使用“循序法”找到的波峰位置有10多个点波动;收集上千次位置,将其作统计上的频率分布分析,发现以正态分布,即波峰位置p的分布是以中心点为123、标准差为5.13的正态分布,如图3所示,所以将其利用波峰区临近信息使用上述算法,进行最小二拟合为一元二次函数逼近波峰的形态,再对波峰位置进行求取,为了直观感受波动效果,应用算法前后,分别采集了1600组溶解氧终端数据,将其记作DO,对此溶氧时间序列分析,以如下公式求其溶氧波动百分率Y:
其中,为第i个溶解氧的值,为前一个样本即第i-1溶解氧的值,为了比较应用此发明的前后的效果,作直观的对比效果图,如图4是波峰位置的波动百分率对比序列图,如图5是溶解氧浓度的波动百分率对比序列图;宽线是未采用本发明前的波动百分率;中间的窄线是采用本发明后的波动百分率;稳定性及精度有数倍的提高;另外,对未采用本发明和已采用本发明的溶氧时间序列求其统计上的标准差(Standard Deviation),发现标准差从11.22降低到0.388,波动性有数量级的降低。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种提升仪器测量精度的数据处理方法,其特征在于,所述数据处理方法包括:
S100:使用单片机每隔若干微秒对光强进行ADC采样,并将采样得到的浮点信息依次记录在一维数组中,所述浮点信息包括浮点的位置信息和对应所述位置信息上的光强信息,并对所述一维数组中的浮点信息进行预处理;所述预处理包括去噪、平滑;
S200:根据步骤S100中的一维数组找出波峰初值位置;采用遍历循环法,对所述步骤S100中的一维数组中的光强信息进行遍历循环,将光强最大的浮点作为波峰初值位置;
S300:将所述步骤S200找到的波峰初值位置的临近信息组成波峰系列;所述步骤S300包括以下步骤:
S301:在所述波峰初值位置的左侧和右侧各采取相同个数的浮点;
S400:将步骤S300得到的波峰系列采用最小二乘法拟合的方法,将所述波峰系列对波峰形态进行逼近;
S500:根据步骤S400得到的逼近后的波峰形态,求出波峰精确位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110814233.5A CN113271099A (zh) | 2021-07-19 | 2021-07-19 | 一种提升仪器测量精度的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110814233.5A CN113271099A (zh) | 2021-07-19 | 2021-07-19 | 一种提升仪器测量精度的数据处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113271099A true CN113271099A (zh) | 2021-08-17 |
Family
ID=77236769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110814233.5A Pending CN113271099A (zh) | 2021-07-19 | 2021-07-19 | 一种提升仪器测量精度的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113271099A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102706372A (zh) * | 2012-03-28 | 2012-10-03 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种光纤波长解调光谱峰值定位方法 |
CN103513335A (zh) * | 2013-10-09 | 2014-01-15 | 中南大学 | 一种基于耦合模型的阵列波导器件对准方法与装置 |
CN104062642A (zh) * | 2013-11-22 | 2014-09-24 | 董立新 | 一种对激光雷达波形数据进行高斯回波分解的方法 |
CN104166793A (zh) * | 2014-08-06 | 2014-11-26 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种基于二次曲线拟合的冲击波形峰值测量方法 |
CN104614718A (zh) * | 2015-01-08 | 2015-05-13 | 南京大学 | 基于粒子群算法的激光雷达波形数据分解的方法 |
CN107798330A (zh) * | 2017-11-10 | 2018-03-13 | 上海电力学院 | 一种焊缝图像特征信息提取方法 |
CN107860764A (zh) * | 2017-11-03 | 2018-03-30 | 浙江全世科技有限公司 | 一种发射光谱背景动态校正的方法 |
CN111664951A (zh) * | 2019-03-06 | 2020-09-15 | 中国科学院大连化学物理研究所 | 皮秒分辨单光子弱信号测量装置及测量方法 |
CN111854801A (zh) * | 2020-07-27 | 2020-10-30 | 武汉长盈通光电技术股份有限公司 | 一种光纤陀螺光源光强稳定性检测方法 |
CN112881415A (zh) * | 2021-02-07 | 2021-06-01 | 中交第二航务工程局有限公司 | 一种基于线扫激光的索股入鞍质量数字化检测方法 |
CN113180689A (zh) * | 2021-04-08 | 2021-07-30 | 上海数创医疗科技有限公司 | 一种基于高斯函数拟合的p波波峰及起始位置提取方法 |
-
2021
- 2021-07-19 CN CN202110814233.5A patent/CN113271099A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102706372A (zh) * | 2012-03-28 | 2012-10-03 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种光纤波长解调光谱峰值定位方法 |
CN103513335A (zh) * | 2013-10-09 | 2014-01-15 | 中南大学 | 一种基于耦合模型的阵列波导器件对准方法与装置 |
CN104062642A (zh) * | 2013-11-22 | 2014-09-24 | 董立新 | 一种对激光雷达波形数据进行高斯回波分解的方法 |
CN104166793A (zh) * | 2014-08-06 | 2014-11-26 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种基于二次曲线拟合的冲击波形峰值测量方法 |
CN104614718A (zh) * | 2015-01-08 | 2015-05-13 | 南京大学 | 基于粒子群算法的激光雷达波形数据分解的方法 |
CN107860764A (zh) * | 2017-11-03 | 2018-03-30 | 浙江全世科技有限公司 | 一种发射光谱背景动态校正的方法 |
CN107798330A (zh) * | 2017-11-10 | 2018-03-13 | 上海电力学院 | 一种焊缝图像特征信息提取方法 |
CN111664951A (zh) * | 2019-03-06 | 2020-09-15 | 中国科学院大连化学物理研究所 | 皮秒分辨单光子弱信号测量装置及测量方法 |
CN111854801A (zh) * | 2020-07-27 | 2020-10-30 | 武汉长盈通光电技术股份有限公司 | 一种光纤陀螺光源光强稳定性检测方法 |
CN112881415A (zh) * | 2021-02-07 | 2021-06-01 | 中交第二航务工程局有限公司 | 一种基于线扫激光的索股入鞍质量数字化检测方法 |
CN113180689A (zh) * | 2021-04-08 | 2021-07-30 | 上海数创医疗科技有限公司 | 一种基于高斯函数拟合的p波波峰及起始位置提取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huber et al. | Variance stabilization applied to microarray data calibration and to the quantification of differential expression | |
US7302348B2 (en) | Method and system for quantifying and removing spatial-intensity trends in microarray data | |
US20230245718A1 (en) | Denoising ATAC-Seq Data With Deep Learning | |
Jalalvand et al. | Multidimensional voltammetry: four-way multivariate calibration with third-order differential pulse voltammetric data for multi-analyte quantification in the presence of uncalibrated interferences | |
CN110503156B (zh) | 一种基于最小相关系数的多变量校正特征波长选择方法 | |
CN113271099A (zh) | 一种提升仪器测量精度的数据处理方法 | |
Stamoulis et al. | A novel signal processing approach for the detection of copy number variations in the human genome | |
Głowacz et al. | Comparison of various data analysis techniques applied for the classification of oligopeptides and amino acids by voltammetric electronic tongue | |
CN111125625B (zh) | 一种基于嵌入式系统的光谱基线计算方法 | |
CN110632247B (zh) | 一种多维滴定分析的数据处理方法及其应用 | |
US8340915B2 (en) | Systems and methods for analyzing microarrays | |
CN116380869A (zh) | 一种基于自适应稀疏分解的拉曼光谱去噪方法 | |
CN116794010A (zh) | 一种用于拉曼光谱仪器的跨仪器拉曼位移校准方法及系统 | |
CN116399836A (zh) | 基于交替梯度下降算法的串扰荧光光谱分解方法 | |
Wabuyele et al. | Optimal associative memory for background correction of spectra | |
Antunes et al. | Resolution of voltammetric peaks using chemometric multivariate calibration methods | |
Gao et al. | Combining direct orthogonal signal correction and wavelet packet transform with partial least squares to analyze overlapping voltammograms of nitroaniline isomers | |
US11995833B2 (en) | System and method for on-phase microscopy | |
Xu et al. | Optimizing machine learning models for predicting soil pH and total P in intact soil profiles with visible and near-infrared reflectance (VNIR) spectroscopy | |
JP2010193832A (ja) | 遺伝子解析方法および遺伝子解析システム | |
CN114878552B (zh) | 光谱校正方法、装置以及存储介质、电子设备 | |
CN107132214B (zh) | 一种基于多谱线加权的元素测量方法及装置 | |
US11456163B1 (en) | Method of improving an analytical instrument and improved analytical instruments | |
Hannon et al. | Patterns of Reliability: Assessing the Reproducibility and Integrity of DNA Methylation Measurement | |
US10964407B2 (en) | Method for estimating the probe-target affinity of a DNA chip and method for manufacturing a DNA chip |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210817 |