CN106442376A - 化验数据质量的评估方法 - Google Patents

化验数据质量的评估方法 Download PDF

Info

Publication number
CN106442376A
CN106442376A CN201610797122.7A CN201610797122A CN106442376A CN 106442376 A CN106442376 A CN 106442376A CN 201610797122 A CN201610797122 A CN 201610797122A CN 106442376 A CN106442376 A CN 106442376A
Authority
CN
China
Prior art keywords
sample
analysis data
analysis
value
appraisal procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610797122.7A
Other languages
English (en)
Other versions
CN106442376B (zh
Inventor
周新奇
慎石磊
肖鑫龙
杨伟伟
韩双来
俞晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focused Photonics Hangzhou Inc
Original Assignee
Focused Photonics Hangzhou Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focused Photonics Hangzhou Inc filed Critical Focused Photonics Hangzhou Inc
Priority to CN201610797122.7A priority Critical patent/CN106442376B/zh
Publication of CN106442376A publication Critical patent/CN106442376A/zh
Application granted granted Critical
Publication of CN106442376B publication Critical patent/CN106442376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供了化验数据质量的评估方法,所述评估方法包括以下步骤:(A1)使用光谱分析仪扫描样品,获知样品的光谱si,i为正整数;通过化验分析所述样品,获知化验数据分析值yi;(A2)将每一个样品的光谱与化验数据一一对应,获得光谱数据集X=[s1,s2,…sn]、化验数据集y=[y1,y2,…yn];(A3)建立所述光谱数据集和化验数据集间的分析模型y=f(X);(A4)获得样品的光谱si,i=1,2,…n,n为样品数量,并利用所述分析模型y=f(X)获得样品的化验数据计算值(A5)得出样品的化验数据计算值以及该样品的化验数据分析值yi间的统计学的偏差,该偏差越接近于零,化验数据分析值质量越高。本发明具有省时、可靠等优点。

Description

化验数据质量的评估方法
技术领域
本发明涉及人员评估,特别涉及化验数据质量的评估方法。
背景技术
一般情况下,化验室分析均采用标准样品对普通样品的分析检测数据结果进行评估和保证。通过标准样品建立标准曲线后,检测加标或者未加标样品,评估样品检测数据的准确性。
影响样品检测数据准确性的最大影响因素之一来自于标准品的质量。标准品标定失误、保管不当失效变质,很容易导致成批检测数据质量不良,且该检测数据存在的问题不容易被发现或检查出来。
影响样品检测数据准确性的最大影响因素之二来自于实验人员的分析操作水平。同一实验室因为人员水平不同,检测数据的质量各有千秋,不同实验室之间的检测数据则更有差别,如何通过检测数据的质量评估不同分析人员和不同实验室的水平,成为一个技术上和管理上的难题。
当前最通行保证分析检测数据质量的方法是对实验室进行认证,组织人员技术培训、进行实验室管理评审、多个实验室之间、多个不同人员之间进行检测分析结果对比等方法。此种方法组织难道大,且只能对某一个或少数几个样品的分析检测数据质量进行评估。
发明内容
为了解决上述现有技术方案中的不足,本发明提供了一种化验数据质量的评估方法,可在日常工作中完成化验检测数据质量的检查评估,不需集中组织质量检查,有助于实验室化验能力考核和管理评估。
本发明的目的是通过以下技术方案实现的:
化验数据质量的评估方法,所述化验数据质量的评估方法包括以下步骤:
(A1)使用光谱分析仪扫描样品,获知样品的光谱si,i为正整数;
通过化验分析所述样品,获知化验数据分析值yi,i为正整数;
(A2)将每一个样品的光谱与化验数据一一对应,获得光谱数据集X=[s1,s2,…sn]、化验数据集y=[y1,y2,…yn];
(A3)建立所述光谱数据集和化验数据集间的分析模型y=f(X);
(A4)获得样品的光谱si,i=1,2,…n,n为样品数量,并利用所述分析模型y=f(X)获得样品的化验数据计算值
(A5)得出样品的化验数据计算值以及该样品的化验数据分析值yi间的统计学的偏差,该偏差越接近于零,化验数据分析值质量越高。
根据上述的化验数据质量的评估方法,优选地,所述偏差为绝对误差的平均值标准差
根据上述的化验数据质量的评估方法,可选地,所述评估方法进一步包括以下步骤:n为样品数量
(A6)计算任一样品的ti值对应的自由度在数据没有中心化时,自由度是n-k,中心化后则是n-k-1,n为样品数量,k为所述分析模型中主因子数;
查询T分布表,判断该样品的化验数据分析值是否异常:如果ti值小于对应自由度下T分布表中的值,则说明该样品的化验结果正常,否则异常。
根据上述的化验数据质量的评估方法,可选地,步骤(A4)中的样品和步骤(A1)的样品相同或不同。
根据上述的化验数据质量的评估方法,优选地,所述光谱分析仪是近红外光谱分析仪。
根据上述的化验数据质量的评估方法,可选地,在步骤(A2)中,利用预处理算法处理光谱数据集、化验数据集,提取有效信号。
根据上述的化验数据质量的评估方法,可选地,在步骤(A3)中,采用交互检验方式优化所述分析模型。
与现有技术相比,本发明具有的有益效果为:
1.利用近红外光谱仪器长时间的高稳定性和仪器检测精密度比手工化验精度更高的特性,完成日常工作检测结果的质量评估,不需专门集中组织质量检查,有助于实验室化验能力考核和管理评估;
2.容易实现化验人员的个人化验数据质量的考核;
3.操作简单便利,样品不需要预处理,样品光谱采集时间不到30秒。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于举例说明本发明的技术方案,而并非意在对本发明的保护范围构成限制。图中:
图1是根据本发明实施例的化验数据质量的评估方法的流程图;
图2为实施例2中蛋白含量计算值与化验分析值对应关系图;
图3为实施例2中样品与绝对误差对应关系图;
图4为实施例2中样品与误差的方差对应关系图;
图5为实施例2中样品与学生残差对应关系图;
图6为实施例3中水分含量计算值与化验分析值对应关系图;
图7为实施例3中水分含量计算值与化验分析值对应关系图
图8为实施例3中样品与学生残差对应关系图
图9为实施例3中样品与学生残差对应关系图。
具体实施方式
图1-9和以下说明描述了本发明的可选实施方式以教导本领域技术人员如何实施和再现本发明。为了教导本发明技术方案,已简化或省略了一些常规方面。本领域技术人员应该理解源自这些实施方式的变型或替换将在本发明的范围内。本领域技术人员应该理解下述特征能够以各种方式组合以形成本发明的多个变型。由此,本发明并不局限于下述可选实施方式,而仅由权利要求和它们的等同物限定。
实施例1:
图1示意性地给出了本发明实施例的化验数据质量的评估方法的流程图,如图1所示,所述化验数据质量的评估方法包括以下步骤:
(A1)使用光谱分析仪(如稳定性好的近红外光谱分析仪)扫描样品,获知样品的光谱si,i为正整数;
通过化验分析所述样品,获知化验数据分析值yi,i为正整数;
(A2)将每一个样品的光谱与化验数据一一对应,获得光谱数据集X=[s1,s2,…sn]、化验数据集y=[y1,y2,…yn];
(A3)建立所述光谱数据集和化验数据集间的分析模型y=f(X);
(A4)获得样品(该样品和步骤(A1)的样品相同或不同)的光谱si,i=1,2,…n,n为样品数量,并利用所述分析模型y=f(X)获得样品的化验数据计算值
(A5)得出样品的化验数据计算值以及该样品的化验数据分析值yi间的统计学的偏差,该偏差越接近于零,化验数据分析值的总体质量越高。
为了更有效地获得偏差,进一步地,所述偏差为绝对误差的平均值标准差
为了获知任一样品的化验分析质量,进一步地,所述评估方法进一步包括以下步骤:n为样品数量
(A6)计算任一样品的ti值对应的自由度在数据没有中心化时,自由度是n-k,中心化后则是n-k-1,n为样品数量,k为所述分析模型中主因子数;
查询T分布表,判断该样品的化验数据分析值是否异常:如果ti值小于对应自由度下T分布表中的值,则说明该样品的化验结果正常,否则异常。
为了提高后续分析模型的建立质量,进一步地,在步骤(A2)中,利用预处理算法处理光谱数据集、化验数据集,提取有效信号。
为了提高分析模型的质量,进一步地,在步骤(A3)中,采用交互检验方式优化所述分析模型。
实施例2:
根据本发明实施例1的化验数据质量的评估方法在榨油加工厂中的应用例。
在该应用例中,对豆粕的蛋白质含量化验数据进行质量评估,获取质检部一个季度的考核基础数据。
生产过程中,工厂几乎每天均抽取3个样品进行化验分析,以评估产品质量。
1.抽取待分析的豆粕样品后,先进行粉碎处理(因化验蛋白含量时样品需要预先粉碎);
采用聚光科技(杭州)股份有限公司生产的SupNIR-2720近红外分析仪采集待分析豆粕的粉碎样光谱,每一个样品均采集光谱。采集光谱之前先进行仪器预热与性能自检,确保仪器工作状态正常可靠。
采集完光谱后的样品再进行化验分析,得到样品的蛋白质含量分析值;
2.一个季度后,共采集了184个样品的光谱,并得到该批样品的蛋白含量化验分析值,将样品的光谱与蛋白含量化验分析值一一对应形成数据集,采用预处理算法处理数据集进行预处理,提取其有效信号;
3.建模型的参数如下:采用正态变量变换(SNV)、去趋势(DT)、一阶导数和均值中心化进行预处理;
采用PLS1建模方法,建立光谱与蛋白含量的分析模型。
4.采用分析模型对样品(如上述184个样品)的光谱进行反演,得到各样品的蛋白含量计算值(反演值),蛋白含量计算值与化验分析值散点图,如图2所示;
5.计算上述蛋白含量计算值与化验分析值之差,并计算其绝对差,所得误差分析图如下,其绝对误差的平均值等于0.18,如图3所示;误差的方差等于0.22,如图4所示;
6.计算每一个样品的学生残差,并与T分布阈值进行比较,发现有5个样品化验值结果误差较大,如图5所示,阈值线之上的5个样品为化验结果存在问题的样品。
实施例3:
根据本发明实施例1的化验数据质量的评估方法在分析人员考核中的应用例。
在该应用例中,实验室分析检测同一检测指标有多人进行化验,即可采用本专利方法对各分析人员的检测数据质量进行检查和考核。例如2位分析人员分别独立分析检测饲料加工中豆粕的水分,对其分析数据的质量检查和考核方法如下:
1.两人分别抽取各自待分析的豆粕样品后,完全不经预处理,先采用聚光科技(杭州)股份有限公司生产的SupNIR-2720近红外分析仪采集样品光谱,每一个样品均采集光谱。采集光谱之前先进行仪器预热与性能自检,确保仪器工作状态正常可靠;
采集完光谱后的样品再由两人各自进行化验分析,得到样品的水分含量分析值;
2.一个季度后,每人各自均检测了一批样品,各自收集了该样品的光谱和水分化验分析值;
将两人各自收集的样品的光谱与水分含量化验分析值一一对应,形成两套数据集;
3.两套数据集建模型的参数和方法完全一致,均采用正态变量变换(SNV)、去趋势(DT)、一阶导数和均值中心化进行预处理。采用PLS1建模方法,建立光谱与水分含量的分析模型;
4.采用分析模型对样品的光谱进行反演,得到的水分含量化验计算值(反演值)与近水分含量化验分析值散点图,图6为第一位分析人员的结果,图7为第二位分析人员的结果;
5.计算上述水分含量化验计算值与近水分含量化验分析值之差,图8为第一位分析人员的误差分布图,图9为第二位分析人员的误差分布图;
6.分别计算两位人员每一个样品的学生残差,并与T分布阈值进行比较,得到学生残差超标品个数值,并计算超差样品的百分比。对两位人员检测结果进行统计,所得统计表如下:
指标 第一位人员 第二位人员
误差平均值 0.02 0.03
绝对误差平均值 0.18 0.14
误差的方差 0.24 0.19
学生残差超标样品个数 29 18
超标样品的百分比 23% 14%
从统计表可知,第一位人员的绝对平均误差、误差的方差、超标样品个数和超标样品百分比等参数均大于第二位人员,可以说明第二位人员的检测数据质量优于第一位人员。

Claims (7)

1.化验数据质量的评估方法,所述化验数据质量的评估方法包括以下步骤:
(A1)使用光谱分析仪扫描样品,获知样品的光谱si,i为正整数;
通过化验分析所述样品,获知化验数据分析值yi,i为正整数;
(A2)将每一个样品的光谱与化验数据一一对应,获得光谱数据集X=[s1,s2,…sn]、化验数据集y=[y1,y2,…yn];
(A3)建立所述光谱数据集和化验数据集间的分析模型y=f(X);
(A4)获得样品的光谱si,i=1,2,…n,n为样品数量,并利用所述分析模型y=f(X)获得样品的化验数据计算值
(A5)得出样品的化验数据计算值以及该样品的化验数据分析值yi间的统计学的偏差,该偏差越接近于零,化验数据分析值质量越高。
2.根据权利要求1所述的化验数据质量的评估方法,其特征在于:所述偏差为绝对误差的平均值标准差
3.根据权利要求2所述的化验数据质量的评估方法,其特征在于:所述评估方法进一步包括以下步骤:n为样品数量
(A6)计算任一样品的ti值对应的自由度在数据没有中心化时,自由度是n-k,中心化后则是n-k-1,n为样品数量,k为所述分析模型中主因子数;
查询T分布表,判断该样品的化验数据分析值是否异常:如果ti值小于对应自由度下T分布表中的值,则说明该样品的化验结果正常,否则异常。
4.根据权利要求1所述的化验数据质量的评估方法,其特征在于:步骤(A4)中的样品和步骤(A1)的样品相同或不同。
5.根据权利要求1所述的化验数据质量的评估方法,其特征在于:所述光谱分析仪是近红外光谱分析仪。
6.根据权利要求1所述的化验数据质量的评估方法,其特征在于:在步骤(A2)中,利用预处理算法处理光谱数据集、化验数据集,提取有效信号。
7.根据权利要求1所述的化验数据质量的评估方法,其特征在于:在步骤(A3)中,采用交互检验方式优化所述分析模型。
CN201610797122.7A 2016-08-31 2016-08-31 化验数据质量的评估方法 Active CN106442376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610797122.7A CN106442376B (zh) 2016-08-31 2016-08-31 化验数据质量的评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610797122.7A CN106442376B (zh) 2016-08-31 2016-08-31 化验数据质量的评估方法

Publications (2)

Publication Number Publication Date
CN106442376A true CN106442376A (zh) 2017-02-22
CN106442376B CN106442376B (zh) 2020-01-31

Family

ID=58165013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610797122.7A Active CN106442376B (zh) 2016-08-31 2016-08-31 化验数据质量的评估方法

Country Status (1)

Country Link
CN (1) CN106442376B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518339A (zh) * 2022-02-23 2022-05-20 新希望六和股份有限公司 一种湿基发酵豆粕近红外预测模型建立方法及应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3252843B2 (ja) * 1993-01-25 2002-02-04 井関農機株式会社 近赤外線分光分析装置
JP2009229191A (ja) * 2008-03-21 2009-10-08 Naraken Chusho Kigyo Sien Center 品質予測装置、品質予測方法、品質予測プログラム、およびコンピュータ読取可能な記録媒体
CN103822897A (zh) * 2014-03-07 2014-05-28 华中科技大学 一种基于红外光谱的白酒鉴定及溯源方法
CN104034684A (zh) * 2014-06-05 2014-09-10 北京金达清创环境科技有限公司 一种基于紫外-可见吸收光谱的水质多指标检测方法
CN104237060A (zh) * 2014-10-05 2014-12-24 浙江大学 一种金银花药材多指标快速检测方法
EP2876459A1 (fr) * 2013-11-22 2015-05-27 Thales Dispositif et procédé de détermination de présence de dégradations ou salissures sur un hublot de sonde d'anémométrie laser Doppler
CN104713842A (zh) * 2015-03-24 2015-06-17 河南省奥林特药业有限公司 利用紫外-可见分光光度法评价体虚感冒合剂质量的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3252843B2 (ja) * 1993-01-25 2002-02-04 井関農機株式会社 近赤外線分光分析装置
JP2009229191A (ja) * 2008-03-21 2009-10-08 Naraken Chusho Kigyo Sien Center 品質予測装置、品質予測方法、品質予測プログラム、およびコンピュータ読取可能な記録媒体
EP2876459A1 (fr) * 2013-11-22 2015-05-27 Thales Dispositif et procédé de détermination de présence de dégradations ou salissures sur un hublot de sonde d'anémométrie laser Doppler
CN103822897A (zh) * 2014-03-07 2014-05-28 华中科技大学 一种基于红外光谱的白酒鉴定及溯源方法
CN104034684A (zh) * 2014-06-05 2014-09-10 北京金达清创环境科技有限公司 一种基于紫外-可见吸收光谱的水质多指标检测方法
CN104237060A (zh) * 2014-10-05 2014-12-24 浙江大学 一种金银花药材多指标快速检测方法
CN104713842A (zh) * 2015-03-24 2015-06-17 河南省奥林特药业有限公司 利用紫外-可见分光光度法评价体虚感冒合剂质量的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李强 等: "中药指纹图谱技术进展及未来发展方向展望", 《中草药》 *
王维妙 等: "近红外透射法预测再造烟叶中的5种主要化学成分", 《烟草科技》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518339A (zh) * 2022-02-23 2022-05-20 新希望六和股份有限公司 一种湿基发酵豆粕近红外预测模型建立方法及应用
CN114518339B (zh) * 2022-02-23 2023-08-01 新希望六和股份有限公司 一种湿基发酵豆粕近红外预测模型建立方法及应用

Also Published As

Publication number Publication date
CN106442376B (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
US10670529B2 (en) Method for detecting coal quality using Raman spectroscopy
Möller et al. Photometric classification of type Ia supernovae in the SuperNova Legacy Survey with supervised learning
Gao et al. Opportunities and challenges using non-targeted methods for food fraud detection
CN110411957B (zh) 水果货架期及新鲜程度的无损快速预测方法及装置
CN109655532A (zh) 一种对卷烟分类鉴别的方法
CN101470121A (zh) 一种嵌入式仿生嗅觉气味识别方法及装置
CN103134850A (zh) 一种基于特征香气的茶叶品质快速检测装置及检测方法
US20220229040A1 (en) Method for authentication of animal species origin of leather products
Ruske et al. Machine learning for improved data analysis of biological aerosol using the WIBS
US7244902B2 (en) Method for classifying wine and coffee
CN103743703A (zh) 一种采用近红外光谱快速检测茶叶中主要成分的方法
WO2020248961A1 (zh) 一种无参考值的光谱波数选择方法
Pan et al. In situ monitoring of total polyphenols content during tea extract oxidation using a portable spectroscopy system with variables selection algorithms
CN110214271A (zh) 分析数据解析方法以及分析数据解析装置
CN110749565A (zh) 一种快速鉴别普洱茶存储年份的方法
CN104297206A (zh) 一种液态牛奶品牌快速鉴别方法
CN102042967B (zh) 一种基于近红外光谱技术的葡萄糖水溶液快速识别方法
CN105223140A (zh) 同源物质的快速识别方法
CN102749420B (zh) 一种适宜凝胶型蛋白质加工的花生品质测定及其评价方法
CN106442376A (zh) 化验数据质量的评估方法
CN104316492A (zh) 近红外光谱测定马铃薯块茎中蛋白质含量的方法
CN103592256A (zh) 基于傅里叶变换中红外光谱识别正常食用植物油和精炼潲水油的方法
CN111707728A (zh) 基于hs-ptr-tof-ms的不同等级白牡丹茶鉴别方法
CN111401794A (zh) 一种基于近红外光谱的饲料品质控制方法
Bloch et al. Identification of wheat varieties using matrix‐assisted laser desorption/ionisation time‐of‐flight mass spectrometry and an artificial neural network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant