CN109241637B - 一种可适用于光谱分析的智能建模系统及方法 - Google Patents

一种可适用于光谱分析的智能建模系统及方法 Download PDF

Info

Publication number
CN109241637B
CN109241637B CN201811069060.3A CN201811069060A CN109241637B CN 109241637 B CN109241637 B CN 109241637B CN 201811069060 A CN201811069060 A CN 201811069060A CN 109241637 B CN109241637 B CN 109241637B
Authority
CN
China
Prior art keywords
modeling
model
scheme
module
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811069060.3A
Other languages
English (en)
Other versions
CN109241637A (zh
Inventor
何涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201811069060.3A priority Critical patent/CN109241637B/zh
Publication of CN109241637A publication Critical patent/CN109241637A/zh
Application granted granted Critical
Publication of CN109241637B publication Critical patent/CN109241637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种可适用于光谱分析的智能建模系统，包括：初评估模块、建模方案生成器模块、模型迭代器模块；初评估模块用于对输入的原始光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析并得出初评估参数；建模方案生成器模块使用初评估模块生成的初评估参数，通过智能建模方案生成算法进行方案生成，结合不同的建模算法给出建模方案集；模型迭代器模块用于对建模方案生成器模块给出的建模方案集进行建模运算，对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果。本发明的方法可根据用户输入数据集或硬件设备采集的数据集进行智能化建模，以更方便、快捷和智能化的方式为用户提供光谱数据建模服务。

Description

一种可适用于光谱分析的智能建模系统及方法
技术领域
本发明涉及红外光谱分析及信号处理识别技术领域，特别涉及一种可适用于光谱分析的智能建模系统及方法。
背景技术
目前随着科学技术的发展，特别是近红外光谱扫描终端的发展，对于快速分析物品属性及成分的需求越来越被公众市场及行业客户所重视。在光谱分析的过程中，一个良好的模型对扫描识别准确度有至关重要的影响。
发明内容
本发明的目的是基于上述背景技术，提供一种可适用于光谱分析的智能建模系统及方法，可内置于应用软件或者云平台为用户提供更好的建模分析效果，针对光谱分析过程中的使用场景以及良好的建模对于光谱分析至关重要的地位出发，可根据用户输入数据集或硬件设备采集的数据集进行智能化建模，以更方便、快捷和智能化的方式为用户提供光谱数据建模服务，以便用户结合其他软硬件设备系统进行光谱扫描分析，得到更好的结果及用户体验。
为了达到上述的技术效果，本发明采取以下技术方案：
一种可适用于光谱分析的智能建模系统，包括：初评估模块、建模方案生成器模块、模型迭代器模块；所述初评估模块与建模方案生成器模块相连，初评估模块用于对输入的原始光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析并得出初评估参数；所述建模方案生成器模块与模型迭代器模块相连，建模方案生成器模块使用初评估模块生成的初评估参数，通过智能建模方案生成算法进行方案生成，再结合不同的建模算法给出一个建模方案集；所述模型迭代器模块用于对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果。
进一步地，所述初评估模块可通过与用户的交互获取样品粗信息。
进一步地，所述样品粗信息包含样品颗粒度大小、颜色、和/或品类。
进一步地，所述初评估参数包括光谱波峰位置参数、倍频参数、光谱集中度参数、颜色参数、物理状态参数。
进一步地，所述通过智能建模方案生成算法是通过对所述初评估参数的深度分析给出针对性的光谱数据预处理算法流，即对各类预处理算法，如：降噪/加噪、加权、平移、Normalize、求导、滤波、Center&Scale等预处理算法进行智能化组合，再结合不同的建模算法如偏最小二乘法、神经网络等给出一个建模方案集，涉及多种预处理算法流及建模算法的智能化组合，具体组合方式根据具体情况而定。
进一步地，所述模型迭代器模块对建模方案集中的各个方案进行建模并进行模型质量测试时是通过系统中设置的模型质量参数阈值对各个模型进行对比，对于不满足模型质量参数阈值的模型进行迭代建模，至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。
进一步地，所述模型迭代器模块在输出测试结果时是按照测试质量由高至低或由低至高的排序后呈现。
同时，本发明还公开了一种可适用于光谱分析的智能建模方法，包括上述的可适用于光谱分析的智能建模系统，具体包括以下步骤：
A.初评估模块获取光谱信息数据，并对所述光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析，得出初评估参数；
B.建模方案生成器模块获取初评估模块生成的初评估参数，并通过智能建模方案生成算法进行方案生成，再结合不同的建模算法给出一个建模方案集；
C.模型迭代器模块对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果。
进一步地，所述步骤C中模型迭代器模块进行模型质量测试时具体包括以下步骤：
S1.通过系统中设置的模型质量参数阈值对各个模型进行对比测试，判断模型质量能否满足模型质量参数阈值；
S2.对模型质量不能满足模型质量参数阈值的模型进行迭代建模，包括至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。
进一步地，所述步骤C中所述模型迭代器模块在输出测试结果时是按照测试质量由高至低或由低至高的排序后呈现。
本发明与现有技术相比，具有以下的有益效果：
本发明的可适用于光谱分析的智能建模系统及方法，可内置于应用软件或者云平台为用户提供更好的建模分析效果，其基于光谱分析过程中的使用场景以及良好的建模对于光谱分析至关重要的前提，可根据用户输入数据集或硬件设备采集的数据集进行智能化建模，以更方便、快捷和智能化的方式为用户提供光谱数据建模服务，以便用户结合其他软硬件设备系统进行光谱扫描分析，从而得到更好的测试结果及用户体验。
附图说明
图1是本发明的可适用于光谱分析的智能建模系统的工作流程示意图。
具体实施方式
下面结合本发明的实施例对本发明作进一步的阐述和说明。
实施例：
实施例一：
一种可适用于光谱分析的智能建模系统，包括：初评估模块、建模方案生成器模块、模型迭代器模块。
所述初评估模块与建模方案生成器模块相连，初评估模块用于对输入的原始光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析并得出初评估参数。且作为优选，所述初评估模块可通过与用户的交互获取样品粗信息。
其中，所述初评估参数包括光谱波峰位置参数、倍频参数、光谱集中度参数、颜色参数、物理状态参数，所述样品粗信息则包含样品颗粒度大小、颜色、品类等数据信息。
所述建模方案生成器模块与模型迭代器模块相连，建模方案生成器模块使用初评估模块生成的初评估参数，通过智能建模方案生成算法进行方案生成，再结合不同的建模算法给出一个建模方案集。
具体的，所述通过智能建模方案生成算法是通过对所述初评估参数的深度分析给出针对性的光谱数据预处理算法流，即对各类预处理算法，如：降噪/加噪、加权、平移、Normalize、求导、滤波、Center&Scale等预处理算法进行智能化组合，再结合不同的建模算法如偏最小二乘法、神经网络等给出一个建模方案集，涉及多种预处理算法流及建模算法的智能化组合，具体组合方式根据具体情况而定。
所述模型迭代器模块用于对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果。
其中，所述模型迭代器模块对建模方案集中的各个方案进行建模并进行模型质量测试时是通过系统中设置的模型质量参数阈值对各个模型进行对比，对于不满足模型质量参数阈值的模型的光谱数据进行迭代建模，至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。实际工程中可使用多种评价方式来设置合适的模型质量参数阈值条件，满足此条件的模型才最终输出给用户。
作为优选，所述模型迭代器模块在输出测试结果时是按照测试质量由高至低或由低至高的排序后呈现，以便于用户更直接的挑选使用。
实施例二
一种可适用于光谱分析的智能建模方法，包括上述的可适用于光谱分析的智能建模系统，具体包括以下步骤：
A.初评估模块获取光谱信息数据，并对所述光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析，得出初评估参数；
B.建模方案生成器模块获取初评估模块生成的初评估参数，并通过智能建模方案生成算法进行方案生成，再结合不同的建模算法给出一个建模方案集；
C.模型迭代器模块对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果，且具体按照测试质量由高至低或由低至高的排序后呈现。
具体的，所述步骤C中模型迭代器模块进行模型质量测试时具体包括以下步骤：
S1.通过系统中设置的模型质量参数阈值对各个模型进行对比测试，判断模型质量能否满足模型质量参数阈值；
S2.对模型质量不能满足模型质量参数阈值的模型进行迭代建模，包括至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。
实施例三
如图1所示，一种可适用于光谱分析的智能建模系统，在本实施例中通过该系统对面粉含水量进行建模分析为例对该系统的工作方法进行说明。
首先，通过便携式智能光谱仪或其他光谱扫描采集设备对待建模的一系列面粉样本进行扫描，采集光谱数据，然后再将采集到的光谱数据作为一个数据集合导入到本实施例的可适用于光谱分析的智能建模系统中。
初评估模块获取光谱信息数据，并对光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析，从而获取到光谱波峰位置参数、倍频参数、光谱集中度参数等参数。
同时，通过与用户的交互初评估模块还获取到样本是白色粉末状样本，即获取到样本的颜色参数、物理状态参数等数据，实际中，通过与用户交互获取数据信息的渠道并非是必须的，获取到样本的颜色参数、物理状态参数等数据时仍可实现本技术方案。
初评估模块再对获取到的上述数据信息进行参数化，从而得到一系列初评估参数，具体包括光谱波峰位置参数、倍频参数、光谱集中度参数、颜色参数、物理状态参数等用于供决策建模方案的数据。
建模方案生成器模块再针对上述参数生成一系列建模方案集，如：smooth+snv预处理联合偏最小二乘建模、baseline+scale+derivative预处理联合神经网络建模等。
然后，由模型迭代器模块对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果，且具体按照测试质量由高至低或由低至高的排序后呈现。
最后将这些模型内置到嵌入式设备或者云平台中后，用户即可使用这些模型对未知水分含量的面粉样本进行扫描检测其水分含量。
具体的，进行模型质量测试时是通过在系统中设置模型质量参数阈值对各个模型进行对比测试，判断模型质量能否满足模型质量参数阈值；且对模型质量不能满足模型质量参数阈值的模型进行迭代建模，包括至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。
本实施例中，上述作为判别标准的模型质量参数阈值具体时通过设置R2参数达到0.9以上这个指标作为判别标准，R2参数是统计分析中常用的一个指标，实际中可使用多种分析测试指标，本实施例中仅以R2参数指标为例来说明本方案。
具体的，R2参数的计算公式如下：
Figure BDA0001799052070000081
其中，
Figure BDA0001799052070000082
是样本的某一参数对应的参数均值，yi表示样本的某一参数的实际值，
Figure BDA0001799052070000083
则表示样本的某一参数的预测值，且本实施中，还包括参与建模样本不少于100个的阈值条件，即i不小于100。
本实施例中以R2指标参数和建模样本数量两个参数作为衡量模型有效性的指标，R2指标参数表征了样本的相关度，建模样本数量则表征了样本集合的多样性，过于少的样本也许有很好的相关度但不适用，因其无法体现目标集合的多样性，因此，本实施例中具体还设置了参与建模样本不少于100个的阈值条件，从而保证了样本的多样性。实际中还可设定其他数值的阈值条件，一般数值越大，样本的多样性越能达到保证。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种可适用于光谱分析的智能建模系统，其特征在于，包括：初评估模块、建模方案生成器模块、模型迭代器模块；
所述初评估模块与建模方案生成器模块相连，初评估模块用于对输入的原始光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析并得出初评估参数；
所述建模方案生成器模块与模型迭代器模块相连，建模方案生成器模块使用初评估模块生成的初评估参数，通过智能建模方案生成算法进行方案生成，再结合不同的建模算法给出一个建模方案集；
所述模型迭代器模块用于对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果；所述模型迭代器模块对建模方案集中的各个方案进行建模并进行模型质量测试时是通过系统中设置的模型质量参数阈值对各个模型进行对比，对于不满足模型质量参数阈值的模型进行迭代建模，至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。
2.根据权利要求1所述的一种可适用于光谱分析的智能建模系统，其特征在于，所述初评估模块可通过与用户的交互获取样品粗信息。
3.根据权利要求2所述的一种可适用于光谱分析的智能建模系统，其特征在于，所述样品粗信息包含样品颗粒度大小、颜色、和/或品类。
4.根据权利要求2所述的一种可适用于光谱分析的智能建模系统，其特征在于，所述初评估参数包括光谱波峰位置参数、倍频参数、光谱集中度参数、颜色参数、物理状态参数。
5.根据权利要求1所述的一种可适用于光谱分析的智能建模系统，其特征在于，所述通过智能建模方案生成算法是通过对所述初评估参数的深度分析给出针对性的光谱数据预处理算法流。
6.根据权利要求1所述的一种可适用于光谱分析的智能建模系统，其特征在于，所述模型迭代器模块在输出测试结果时是按照测试质量由高至低或由低至高的排序后呈现。
7.一种可适用于光谱分析的智能建模方法，其特征在于，包括如权利要求1所述的可适用于光谱分析的智能建模系统，具体包括以下步骤：
A. 初评估模块获取光谱信息数据，并对所述光谱数据进行光强及吸光度转换、光谱数据频率宽度分析、光谱数据峰谷分析，得出初评估参数；
B. 建模方案生成器模块获取初评估模块生成的初评估参数，并通过智能建模方案生成算法进行方案生成，再结合不同的建模算法给出一个建模方案集；
C. 模型迭代器模块对建模方案生成器模块给出的建模方案集进行建模运算，并对建模方案集中的各个方案均进行建模并进行模型质量测试并输出测试结果；所述步骤C中模型迭代器模块进行模型质量测试时具体包括以下步骤：
S1. 通过系统中设置的模型质量参数阈值对各个模型进行对比测试，判断模型质量能否满足模型质量参数阈值；
S2. 对模型质量不能满足模型质量参数阈值的模型进行迭代建模，包括至少通过滤除畸值点和修正集中度算法对不满足模型质量参数阈值的模型进行处理后再建模直至可满足模型质量参数阈值。
8.根据权利要求7所述的一种可适用于光谱分析的智能建模方法，其特征在于，所述步骤C中所述模型迭代器模块在输出测试结果时是按照测试质量由高至低或由低至高的排序后呈现。
CN201811069060.3A 2018-09-13 2018-09-13 一种可适用于光谱分析的智能建模系统及方法 Active CN109241637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811069060.3A CN109241637B (zh) 2018-09-13 2018-09-13 一种可适用于光谱分析的智能建模系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811069060.3A CN109241637B (zh) 2018-09-13 2018-09-13 一种可适用于光谱分析的智能建模系统及方法

Publications (2)

Publication Number Publication Date
CN109241637A CN109241637A (zh) 2019-01-18
CN109241637B true CN109241637B (zh) 2022-04-15

Family

ID=65058682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811069060.3A Active CN109241637B (zh) 2018-09-13 2018-09-13 一种可适用于光谱分析的智能建模系统及方法

Country Status (1)

Country Link
CN (1) CN109241637B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286101A (zh) * 2019-07-16 2019-09-27 四川长虹电器股份有限公司 适用于流水线体系的光谱持续建模异常检测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102183467A (zh) * 2011-01-24 2011-09-14 中国科学院长春光学精密机械与物理研究所 一种近红外谱区新疆红枣品质分级建模方法
CN102682151A (zh) * 2011-02-17 2012-09-19 台湾积体电路制造股份有限公司 Mems建模系统及方法
WO2018010352A1 (zh) * 2016-07-11 2018-01-18 上海创和亿电子科技发展有限公司 一种定性定量相结合的近红外定量模型构建方法
CN107908928A (zh) * 2017-12-21 2018-04-13 天津科技大学 一种基于深度学习技术的血红蛋白动态光谱分析预测方法
CN108037092A (zh) * 2017-12-11 2018-05-15 四川长虹电器股份有限公司 一种基于信号识别的光谱分析系统
CN108152246A (zh) * 2017-12-25 2018-06-12 四川长虹电器股份有限公司 基于移动终端的无线智能光谱检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102183467A (zh) * 2011-01-24 2011-09-14 中国科学院长春光学精密机械与物理研究所 一种近红外谱区新疆红枣品质分级建模方法
CN102682151A (zh) * 2011-02-17 2012-09-19 台湾积体电路制造股份有限公司 Mems建模系统及方法
WO2018010352A1 (zh) * 2016-07-11 2018-01-18 上海创和亿电子科技发展有限公司 一种定性定量相结合的近红外定量模型构建方法
CN108037092A (zh) * 2017-12-11 2018-05-15 四川长虹电器股份有限公司 一种基于信号识别的光谱分析系统
CN107908928A (zh) * 2017-12-21 2018-04-13 天津科技大学 一种基于深度学习技术的血红蛋白动态光谱分析预测方法
CN108152246A (zh) * 2017-12-25 2018-06-12 四川长虹电器股份有限公司 基于移动终端的无线智能光谱检测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Analysis of wavelet envelope spectrum to vibration signal in the gearbox;Liu Ziran 等;《2010 International Conference on Electrical and Control Engineering》;20101231;第3594-3600页 *
一种多模型融合的近红外波长选择算法;洪明坚等;《光谱学与光谱分析》;20100815;第30卷(第08期);第2088-2092页 *
基于可调法珀腔的微型智能近红外光谱仪研究;张恩阳等;《自动化与仪器仪表》;20171025(第10期);第207-209页 *
部分面积法提高气体拉曼光谱强度测量重复性;孔德靖等;《光电工程》;20160515;第43卷(第05期);第20-26页 *

Also Published As

Publication number Publication date
CN109241637A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
Chang et al. Sparse feature fidelity for perceptual image quality assessment
Chang et al. Perceptual image quality assessment by independent feature detector
CN105160318B (zh) 基于面部表情的测谎方法及系统
Hosseini et al. Encoding visual sensitivity by maxpol convolution filters for image sharpness assessment
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
US7734064B2 (en) Method and apparatus for classifying geological materials using image processing techniques
Deng et al. Blind noisy image quality assessment using sub-band kurtosis
CN107121407B (zh) 基于pso-ricaelm的近红外光谱分析鉴别翠冠梨成熟度的方法
NL2025810B1 (en) Method for classifying and evaluating nitrogen content level of brassica rapa subsp. oleifera (brsro) canopy
CN110866490A (zh) 一种基于多任务学习的人脸检测方法及装置
CN105139022A (zh) 一种通过近红外高光谱图像技术建立塑料识别模型的方法
CN109241637B (zh) 一种可适用于光谱分析的智能建模系统及方法
CN110121109A (zh) 面向监控系统数字视频实时溯源方法、城市视频监控系统
CN112347910A (zh) 一种基于多模态深度学习的信号指纹识别方法
Utaminingrum et al. Alphabet Sign Language Recognition Using K-Nearest Neighbor Optimization.
CN110288026A (zh) 一种基于度量关系图学习的图像分割方法及装置
CN112562727B (zh) 应用于音频监控的音频场景分类方法、装置以及设备
CN115753809A (zh) 一种绝缘子污损检测方法、装置、设备及存储介质
Abhyankar et al. Spatial domain decision based image fusion using superimposition
Gavrovska et al. No-reference local image quality evaluation
CN110032933B (zh) 一种图像数据的获取方法、装置、终端及存储介质
Zhang et al. Nature scene statistics approach based on ICA for no-reference image quality assessment
CN111595802A (zh) 一种基于nir光谱的忧遁草种源地分类模型的构建方法及应用
Lee et al. Learning-based single image dehazing via genetic programming
CN114324337B (zh) 一种利用遥感影像进行水质分析系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant