CN111309958A - 一种基于插值运算的光谱重构方法 - Google Patents

一种基于插值运算的光谱重构方法 Download PDF

Info

Publication number
CN111309958A
CN111309958A CN202010237784.5A CN202010237784A CN111309958A CN 111309958 A CN111309958 A CN 111309958A CN 202010237784 A CN202010237784 A CN 202010237784A CN 111309958 A CN111309958 A CN 111309958A
Authority
CN
China
Prior art keywords
virtual
samples
sample
spectrum
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010237784.5A
Other languages
English (en)
Inventor
刘浩
闫晓剑
赵浩宇
张国宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202010237784.5A priority Critical patent/CN111309958A/zh
Publication of CN111309958A publication Critical patent/CN111309958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及光谱重构技术领域，公开了一种基于插值运算的光谱重构方法。该方法首先选取有限数量含量已知纺织品作为样品，并采集每个样品的光谱数据，分为训练集和预测集，将训练集中样品的光谱数据结合其参比值进行偏最小二乘法建模，记录为模型A，然后根据样品参比值进行插值运算，计算虚拟插值点，再根据样品光谱数据以及虚拟插值点计算虚拟光谱数据，接着结合虚拟插值点与虚拟光谱数据对光谱模型A进行重构，获得重构模型B，最后，使用重构模型B对预测集样品进行预测，判断模型的预测效果。该方法可以有效扩充样品光谱数据库，解决光谱建模需要大量实体样品的问题。同时有着极高的重构效率，而且可以有效提升光谱模型的预测效果。

Description

一种基于插值运算的光谱重构方法
技术领域
本发明涉及光谱重构技术领域，尤其涉及一种基于插值运算的光谱重构方法。
背景技术
随着社会的发展，人们对生活品质的关注日益增加，尤其针对纺织品行业，各类纺织品和人们的生活密不可分，越来越多的消费者也愿意在纺织品上进行投入。但是随之而来的问题，部分不良商家利用消费者难以辨别纺织品品质，为了私利选择在相应的纺织品中掺假，损害了消费者的利益。
然而随着光谱分析技术的发展，对纺织品品质的鉴定变得越发简单。光谱分析技术具有方便、快速、高效、准确和成本较低、不破坏样品、不消耗化学试剂、不污染环境等优点，在农业、食品、工业、纺织业等领域已有广泛的应用。纺织品光谱数据中包含丰富的物质信息，采用纺织品光谱数据以及相关化学值进行建模，能够快速实现对未知样品化学值的预测。但是随之而来的问题是，如若想获得效果良好的光谱模型，需要大量已知参比值的纺织品光谱数据进行数学建模，采集大量纺织品光谱数据不仅需要大量样品，而且采集过程费时费力，造成资源的浪费。因此，如何简单，快速获取纺织品光谱数据成为了需要解决的问题。
发明内容
根据以上现有技术中的不足，本发明要解决的技术问题是：提供一种基于插值运算的光谱重构方法，以解决现有技术中为了获得效果良好的光谱模型需要大量已知参比值的纺织品光谱数据进行数学建模，而采集大量纺织品光谱数据不仅需要大量样品，而且采集过程费时费力，造成资源的浪费的问题。
为了解决上述问题，本发明采用的技术方案是：一种基于插值运算的光谱重构方法，包括如下步骤：
步骤一：选取有限数量含量已知纺织品作为样品，并采集每个样品的光谱数据，分为训练集和预测集，将训练集中样品的光谱数据结合其参比值进行偏最小二乘法建模，记录为模型A；
步骤二：根据样品参比值进行插值运算，计算虚拟插值点；
步骤三：根据样品光谱数据以及虚拟插值点计算虚拟光谱数据；
步骤四：结合虚拟插值点与虚拟光谱数据对光谱模型A进行重构，获得重构模型B；
步骤五：使用重构模型B对预测集样品进行预测，判断预测集的预测参比值与实际参比值之间的相对误差是否超过设定的相对误差，没有超过设定相对误差则可以进行测量含量未知的样品，超过设定相对误差则增加训练集样品数量，重复步骤一至步骤五。
作为进一步优化，步骤一中参比值选取样品的棉纤维含量，训练集的样品数量为两个以上，训练集样品数量大于等于预测集样品数量。
作为进一步优化，步骤二中根据样品参比值进行插值运算，计算虚拟插值点。将样品参比值从小到大依次排列，在相邻两个样品参比值之间插入一个以上虚拟插值点，且虚拟插值点平均分布于相邻两个样品参比值之间，根据相邻两个样品参比值及虚拟插值点个数计算出各虚拟插值点数值。
作为进一步优化，步骤三中根据样品光谱数据以及虚拟插值点计算虚拟光谱数据。在光谱运算中，样品的光谱数据由各个波长点的光强数据构成，计算虚拟光谱数据的过程实际为每个插值计算单位中最大参比值对应的各个波长点光强数据依次减去最小参比值对应各个波长点光强数据，再根据虚拟插值点个数进行等比例分配，分配完成后一一对应虚拟插值点。
作为进一步优化，步骤四中结合虚拟插值点与虚拟光谱数据对光谱模型A进行重构，获得重构模型B。将虚拟光谱数据整合在原始光谱数据中，将虚拟插值点整合在原始参比值集合中，并使得光谱数据与参比值一一对应，然后使用偏最小二乘法算法对光谱模型A进行重新重构，得到重构模型B。
作为进一步优化，步骤五中使用重构模型B对预测集样品进行预测，当预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的两倍以上，则可以增加数倍的训练集样品数量，重复步骤一至步骤五；当预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的一倍以上两倍以内，则可以增加小于一倍的训练集样品数量，重复步骤一至步骤五。
本发明的有益效果是：通过一种基于插值运算的光谱重构方法，可以有效扩充样品光谱数据库，解决光谱建模需要大量实体样品的问题。同时，相较于已有的光谱重构方法，基于插值的重构方法不仅有着极高的重构效率，而且可以有效提升光谱模型的预测效果。
附图说明
图1为本发明公开的基于插值运算的光谱重构方法的流程图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1：
参见图1，在步骤101中，选取有限数量含量已知纺织品作为样品，并采集每个样本的光谱数据，分为训练集和预测集，将训练集中样品的光谱数据结合其参比值进行偏最小二乘法建模，记录为模型A。选取20件纺织品作为样品集进行光谱数据的采集，其中10件纺织品作为训练集，其余10件纺织品作为预测集，建模算法为偏最小二乘算法，所述参比值可以选取为样品的棉纤维含量。
在本实施例中，偏最小二乘法作为应用最为广泛的建模算法，其结合了多元线性回归(MLR)及主成分回归(PCR)法的优势，不仅能够对光谱矩阵进行处理，还能对棉纤维含量矩阵进行同样的处理，因此能够消除光谱矩阵以及棉纤维含量矩阵里的噪声信息，取得较好的预测效果。其计算过程为：对光谱矩阵及棉纤维含量矩阵进行分解，通过交互校验法确定其最佳主成分数，最后建立光谱矩阵与棉纤维含量矩阵的数学模型关系，该算法极度适用于棉纤维含量与光谱数据之间的建模。
步骤102中，根据样品参比值进行插值运算，计算虚拟插值点。在本实施例中，10件纺织品的棉纤维含量从小到大依次设置为C1，C2……C10，在计算虚拟插值点时，选择两个临近棉纤维含量点进行运算，如若整体需要扩充90条光谱数据，即增加90个虚拟插值点，则C1～C2棉纤维含量中需要增加10个虚拟插值点，可以计算出在C1～C2棉纤维含量范围内的两个相邻插值点的数值差异ΔC为：
ΔC＝(C2-C1)/11
进而可以计算出C1～C2棉纤维含量范围内10个虚拟插值点数值为(C1+ΔC，C1+2ΔC……C1+10ΔC)，同理可得其余虚拟插值点的数值大小。
步骤103中，根据样品光谱数据以及虚拟插值点计算虚拟光谱数据。在光谱运算中，样品的光谱数据由各个波长点的光强数据构成，计算虚拟光谱数据的过程实际为每个插值计算单位中最大棉纤维含量对应的各个波长点光强数据依次减去最小棉纤维含量对应各个波长点光强数据，再根据虚拟插值点个数进行等比例分配，分配完成后一一对应虚拟插值点。
在本实施例中，本专利采用的近红外光谱仪波长范围为1150～1445nm，分辨率为6nm，总计为50个波长点。假定棉纤维含量为C1的样品光谱数据在50个波长点的光强值分别为M1，M2……M50，棉纤维含量为C2的样品光谱数据在50个波长点的光强值分别为N1，N2……N50，可以计算出当波长为1150nm时，棉纤维含量为C1与C2光强差值为：
ΔK1＝(N1-M1)/11
进一步可以计算出，当波长为1150nm时，虚拟插值点数值为C1+ΔC的光强值为：
P1＝M1+ΔK1
同理可以得出当波长为1150nm时，虚拟插值点数值为C1+2ΔC的光强值为：
Q1＝M1+2ΔK1
进一步可以得到，当波长为1156nm时，棉纤维含量为C1与C2光强差值为：
ΔK2＝(N2-M2)/11
当波长为1156nm时，虚拟插值点数值为C1+ΔC的光强值为：
P2＝M2+ΔK2
同理可以得出当波长为1156nm时，虚拟插值点数值为C1+2ΔC的光强值为：
Q2＝M2+2ΔK2
从以上计算公式同理可计算出，虚拟插值点数值为C1+ΔC的虚拟光谱数据在50个波长点的光强值P1，P2……P50，同理也可得出，虚拟插值点数值为C1+2ΔC的虚拟光谱数据Q1，Q2……Q50。
步骤104中，结合虚拟插值点与虚拟光谱数据对光谱模型A进行重构，获得重构模型B。将虚拟光谱数据整合在原始光谱数据中，将虚拟插值点整合在原始棉纤维含量集合中，并使得光谱数据与棉纤维含量一一对应，然后使用偏最小二乘法算法对光谱模型A进行重新重构，得到重构模型B。
在本实施例中，将虚拟插值点与虚拟光谱数据与原始数据进行整合后，光谱数据库扩充到了100条，其中棉纤维含量C1对应的光谱数据为M1，M2……M50，棉纤维含量C1+ΔC对应的光谱数据为P1，P2……P50，棉纤维含量C1+2ΔC对应的光谱数据为Q1，Q2……Q50，将样品棉纤维含量与光谱数据一一对应后，采用偏最小二乘法算法对整体光谱数据库进行二次建模，得到重构模型B。
步骤105中，使用重构模型B对预测集样品进行预测，判断模型的预测效果。分别采用重构模型B对预测集10个纺织样品进行棉纤维含量预测，将预测值与预测集纺织样品的实际棉纤维含量进行差值运算，对比差值绝对值的大小，当预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的两倍以上，则可以增加数倍的训练集样品数量，重复步骤101至步骤105；当预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的一倍以上两倍以内，则可以增加小于一倍的训练集样品数量，重复步骤101至步骤105。
在本实施例中，设定预测集10个纺织样品棉纤维实际棉纤维含量为D1，D2……D10，采用重构模型B对预测集10个纺织样品进行棉纤维含量预测，得到10组棉纤维含量分别为F1，F2……F10，则重构模型B的预测相对误差为|F1-D1|，|F2-D2|……|F10-D10|，若预测集样品的预测棉纤维含量与实际棉纤维含量之间的相对误差均在1％至1.5％之间，且设定相对误差选取1.5％，由于没有超过设定相对误差，则可以直接测量含量未知样品的棉纤维含量。若设定相对误差选择1％，由于预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的一倍以上两倍以内，则需要增加1-9件含量已知的纺织品光谱数据作为训练集重复步骤101至步骤105，直至所有预测集的预测棉纤维含量与实际棉纤维含量之间的相对误差都小于1％则可以进行测量含量未知的纺织品棉纤维含量。若设定相对误差选择0.5％，由于预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的两倍以上，则需要增加10件以上含量已知的纺织品光谱数据作为训练集重复步骤101至步骤105，直至所有预测集的预测棉纤维含量与实际棉纤维含量之间的相对误差都小于1％则可以进行测量含量未知的纺织品棉纤维含量。
此外，采用原始模型A对预测集10个纺织样品进行棉纤维含量预测，得到10组棉纤维含量分别为E1，E2……E10，对比重构模型B的预测相对误差|F1-D1|，|F2-D2|……|F10-D10|与原始模型A的预测相对误差|E1-D1|，|E2-D2|……|E10-D10|，重构模型B的预测相对误差均小于原始模型A的预测相对误差，进而判断重构模型B预测效果优于原始模型A。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (6)

1.一种基于插值运算的光谱重构方法，其特征在于包括以下步骤：
步骤一：选取有限数量含量已知纺织品作为样品，并采集每个样品的光谱数据，分为训练集和预测集，将训练集中样品的光谱数据结合其参比值进行偏最小二乘法建模，记录为模型A；
步骤二：根据样品参比值进行插值运算，计算虚拟插值点；
步骤三：根据样品光谱数据以及虚拟插值点计算虚拟光谱数据；
步骤四：结合虚拟插值点与虚拟光谱数据对光谱模型A进行重构，获得重构模型B；
步骤五：使用重构模型B对预测集进行预测，判断预测集样品的预测参比值与实际参比值之间的相对误差是否超过设定相对误差，没有超过设定相对误差则可以进行测量含量未知的样品，超过设定相对误差则增加训练集样品数量，重复步骤一至步骤五。
2.如权利要求1所述的一种基于插值运算的光谱重构方法，其特征在于：步骤一中所述参比值选取样品的棉纤维含量，所述训练集的样品数量为两个以上，所述训练集样品数量大于或等于预测集样品数量。
3.如权利要求1所述的一种基于插值运算的光谱重构方法，其特征在于：步骤二中所述样品参比值从小到大依次排列，在相邻两个样品参比值之间插入一个以上虚拟插值点，且所述虚拟插值点平均分布于相邻两个样品参比值之间，根据相邻两个样品参比值及虚拟插值点个数计算出各虚拟插值点数值。
4.如权利要求1所述的一种基于插值运算的光谱重构方法，其特征在于：步骤三中所述样品光谱数据由各个波长点的光强数据构成，计算虚拟光谱数据的过程为每个插值计算单位中最大参比值对应的各个波长点光强数据依次减去最小参比值对应各个波长点光强数据，再根据虚拟插值点个数进行等比例分配，分配完成后一一对应虚拟插值点，从而得到各虚拟插值点的虚拟光谱数据。
5.如权利要求1所述的一种基于插值运算的光谱重构方法，其特征在于：步骤四中将所述虚拟光谱数据整合在原始光谱数据中，将所述虚拟插值点整合在原始参比值集合中，并使得光谱数据与参比值一一对应，然后使用偏最小二乘法法对光谱模型A进行重新重构，得到重构模型B。
6.如权利要求1所述的一种基于插值运算的光谱重构方法，其特征在于：步骤五中当预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的两倍以上，则可以增加数倍的训练集样品数量，重复步骤一至步骤五；当预测集样品的预测参比值与实际参比值之间的相对误差是设定相对误差的一倍以上两倍以内，则可以增加小于一倍的训练集样品数量，重复步骤一至步骤五。
CN202010237784.5A 2020-03-30 2020-03-30 一种基于插值运算的光谱重构方法 Pending CN111309958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010237784.5A CN111309958A (zh) 2020-03-30 2020-03-30 一种基于插值运算的光谱重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010237784.5A CN111309958A (zh) 2020-03-30 2020-03-30 一种基于插值运算的光谱重构方法

Publications (1)

Publication Number Publication Date
CN111309958A true CN111309958A (zh) 2020-06-19

Family

ID=71151579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010237784.5A Pending CN111309958A (zh) 2020-03-30 2020-03-30 一种基于插值运算的光谱重构方法

Country Status (1)

Country Link
CN (1) CN111309958A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111896497A (zh) * 2020-09-15 2020-11-06 四川长虹电器股份有限公司 一种基于预测值的光谱数据修正方法
CN114018861A (zh) * 2021-10-28 2022-02-08 四川启睿克科技有限公司 一种基于特征峰的光谱重构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852734A (zh) * 2010-06-01 2010-10-06 中国人民解放军第二军医大学 假药判别分析装置、系统以及方法
CN102567606A (zh) * 2010-12-21 2012-07-11 北京工业大学 给水管网等水压面实时绘制方法
CN102590132A (zh) * 2012-02-14 2012-07-18 浙江大学 一种甲醇汽油中甲醇含量快速测量方法
CN110096810A (zh) * 2019-05-05 2019-08-06 中南大学 一种基于逐层数据扩充深度学习的工业过程软测量方法
CN110837870A (zh) * 2019-11-12 2020-02-25 东南大学 基于主动学习的声呐图像目标识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852734A (zh) * 2010-06-01 2010-10-06 中国人民解放军第二军医大学 假药判别分析装置、系统以及方法
CN102567606A (zh) * 2010-12-21 2012-07-11 北京工业大学 给水管网等水压面实时绘制方法
CN102590132A (zh) * 2012-02-14 2012-07-18 浙江大学 一种甲醇汽油中甲醇含量快速测量方法
CN110096810A (zh) * 2019-05-05 2019-08-06 中南大学 一种基于逐层数据扩充深度学习的工业过程软测量方法
CN110837870A (zh) * 2019-11-12 2020-02-25 东南大学 基于主动学习的声呐图像目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
惠冰: "基于BP神经网络的电磁超声表面缺陷量化检测与校准", 《万方学位论文》 *
赵明慧 等: "浅析近红外光谱分析技术在聚酯纤维/氨纶面料成分检测中的应用", 《中国纤检》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111896497A (zh) * 2020-09-15 2020-11-06 四川长虹电器股份有限公司 一种基于预测值的光谱数据修正方法
CN114018861A (zh) * 2021-10-28 2022-02-08 四川启睿克科技有限公司 一种基于特征峰的光谱重构方法
CN114018861B (zh) * 2021-10-28 2023-07-07 四川启睿克科技有限公司 一种基于特征峰的光谱重构方法

Similar Documents

Publication Publication Date Title
CN109409628B (zh) 基于计量大数据聚类模型的采集终端生产厂商评价方法
CN106339536A (zh) 基于水污染指数法和云模型的水质综合评价方法
CN106897774B (zh) 基于蒙特卡洛交叉验证的多个软测量算法集群建模方法
US20210247367A1 (en) Workflow-based model optimization method for vibrational spectral analysis
CN110726694A (zh) 光谱变量梯度集成遗传算法的特征波长选择方法和系统
CN111309958A (zh) 一种基于插值运算的光谱重构方法
CN105740988A (zh) 基于灰色关联分析和多元线性回归模型对煤炭热值的预测方法
Suschnigg et al. Exploration of Anomalies in Cyclic Multivariate Industrial Time Series Data for Condition Monitoring.
CN110569566A (zh) 一种板带力学性能预测方法
CN115965110A (zh) 面向产业园区的企业用能画像及碳排放精准测算方法
CN114548552A (zh) 碳排放量预测方法、装置以及电子设备
CN113506121A (zh) 价格影响因素的分析方法及装置
CN116108998B (zh) 一种高速公路建设项目碳排放量预测方法及系统
CN110210000A (zh) 基于多元非线性回归的工业过程能效识别与诊断方法
CN114088657B (zh) 基于深度编解码器的纺织纤维成分分析方法
CN114547976B (zh) 基于金字塔变分自编码器的多采样率数据软测量建模方法
CN118380066A (zh) 基于梯度提升集成学习算法与三维荧光的水质氨氮快速检测方法及设备
CN111241629A (zh) 基于数据驱动的飞机液压泵性能变化趋势智能预测方法
Darmawan et al. Comparison between ANN and multiple linear regression models for prediction of warranty cost
CN107122899A (zh) 一种石材加工过程绿色性评价系统及诊断方法
CN116862291A (zh) 一种企业电碳监测模型的构建方法
CN114018861A (zh) 一种基于特征峰的光谱重构方法
CN113970528B (zh) 基于完全约束最小二乘法的纺织品成分解混方法
CN114264626A (zh) 一种基于时间序列残差网络的织物无损定量分析方法
CN116067905A (zh) 用于检测油液掺混的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619

RJ01 Rejection of invention patent application after publication