CN106680236A - 一种将光谱数据和化学检测数据进行映射的方法 - Google Patents

一种将光谱数据和化学检测数据进行映射的方法 Download PDF

Info

Publication number
CN106680236A
CN106680236A CN201510753747.9A CN201510753747A CN106680236A CN 106680236 A CN106680236 A CN 106680236A CN 201510753747 A CN201510753747 A CN 201510753747A CN 106680236 A CN106680236 A CN 106680236A
Authority
CN
China
Prior art keywords
data
mapping
database
spectroscopic
chemical detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510753747.9A
Other languages
English (en)
Inventor
刘法安
刘毅
谭占鳌
陈剑
朱朝霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Batian Ecotypic Engineering Co Ltd
Original Assignee
Shenzhen Batian Ecotypic Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Batian Ecotypic Engineering Co Ltd filed Critical Shenzhen Batian Ecotypic Engineering Co Ltd
Priority to CN201510753747.9A priority Critical patent/CN106680236A/zh
Publication of CN106680236A publication Critical patent/CN106680236A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种将光谱数据和化学检测数据进行映射的方法,该方法包括将物体的光谱数据输入光谱数据库,将相同物体的化学检测数据输入化学数据库,然后将光谱数据库中的光谱数据和化学数据库中的化学检测数据进行映射,形成该物体的映射数据库,其特征在于:光谱数据按照纳米级光谱波长及吸光度分别作为单一光谱数据条,化学检测数据按照成分名称和成分含量分别作为单一成分数据条,通过单一光谱数据条与所有成分数据条对应形成映射数据组,将所有光谱数据条分别与所有成分数据条对应形成映射数据集,n次检测形成光谱数据和化学检测数据形成的n个映射数据集,将该映射数据集统一输入数据库中形成该物体的映射数据库。上述方法建立的映射数据库能够满足建模过程中对数据充分分析的要求,实现建模过程公式建立的高效。

Description

一种将光谱数据和化学检测数据进行映射的方法
技术领域
本发明属于物质检测领域,特别是涉及利用光谱检测化学成分的方法,具体是涉及一种将光谱数据和化学检测数据进行映射的方法。
背景技术
光谱检测过程中,对于光谱数据和化学检测数据的处理一直影响着后端模型建立的准确性和效果,甚至是该数据是否能够形成通用的数据模型,都取决于数据映射的方法,对于数据的校正效果也与数据映射的方法有关,例如中国专利申请201010208851.7中公开了一种基于高光谱成像技术的茶树营养信息快速探测方法,其包括两个步骤,首先是建立预测模型:选取茶树叶片样本,先测量样本叶片中N、P、K三种主要营养元素的含量,作为参考测量结果组成一个数据库;通过基于滤波片式高光谱成像系统获取茶树叶片样本在不同可见光和近红外波段的高光谱图像数据,数据经图像采集卡传入计算机;计算机对数据进行预处理,完成相应的特征提取,然后将这些特征变量与前述建立的数据库中测定的N、P、K含量相关联,建立叶片中N、P、K含量的预测模型;然后是进行样本测试:对于待测鲜叶样本,按照第一步中相同的方式获取待测样本高光谱图像数据、数据预处理、特征提取,然后将提取的特征变量代入上述建立的N、P、K含量预测模型,得出N、P、K含量预测结果,完成对待测鲜叶样本的实时检测。
上述方法虽然描述了要将光谱特征变量与测定的N、P、K含量相关联,建立模型,但是如何关联并没有明确,而且是否需要进行数据映射、数据映射方法等都没有明确说明,因此其效果是否能够实现,其预测模型中的数据映射方法是非常关键的技术。
中国专利申请号201110460138.6公开了一种检测谷物营养成分的光谱分析系统及方法,该系统包括近红外光学系统、CCD图像系统、样品台及数据处理系统,该样品台设置在该近红外光学系统和该CCD图像系统之间,该CCD图像系统分别与该近红外光学系统及该数据处理系统连接,该近红外光学系统照射该样品台上的样品以产生该样品的近红外吸收光谱,该CCD图像系统采集该近红外吸收光谱并传输至该数据处理系统,该数据处理系统分析该近红外吸收光谱以得到该样品的待测成分及其含量。该方法包括生成近红外吸收光谱、采集并传输所述近红外吸收光谱及分析得到检测样品的待测成分和/或含量。该方法中并没有明确数据映射的方法。
目前已有的方法有基于局部数据进行映射,有基于图像解析数据进行映射,针对完整的光谱范围内数据进行纳米级光谱数据和营养成分和含量进行映射的方法还没有更好的映射方法。
发明内容
为解决上述技术问题,本发明提供了一种将光谱数据和化学检测数据映射的方法,该方法包括将物体的光谱数据输入光谱数据库,将相同物体的化学检测数据输入化学数据库,然后将光谱数据库中的光谱数据和化学数据库中的化学检测数据进行映射,形成该物体的映射数据库,其特征在于:光谱数据按照纳米级光谱波长分别作为单一光谱数据条,化学检测数据按照成分分别作为单一成分数据条,通过单一光谱数据条与所有成分数据条对应形成映射数据组,将所有光谱数据条分别与所有成分数据条对应形成映射数据集,n次检测形成的光谱数据和化学检测数据映射形成的n个映射数据集,将该映射数据集统一输入数据库中形成该物体的映射数据库。
具体的,本发明提供了一种将光谱数据和化学检测数据映射的方法,该方法包括将物体的光谱数据输入光谱数据库,将相同物体的化学检测数据输入化学数据库,然后将光谱数据库中的光谱数据和化学数据库中的化学检测数据进行映射,形成该物体的映射数据库,具体步骤如下:
光谱数据输入光谱数据库中,按照纳米级建立数据条,每个纳米级波长定义为一个数据条,将每个纳米级波长数据和波长吸光度数据录入数据库中,形成光谱数据库中的光谱数据条,光谱范围中的纳米波长数量k对应形成相应数量的光谱数据条k;例如波长范围为1000-1500纳米,则有501条光谱数据条,k为501,每个光谱数据条包括波长和吸光度;
化学检测数据输入化学数据库中,将化学检测数据按所检测成分的数量建立数据条,照成分建立数据条,每个成分定义为一条数据条,将每个成分名称及成分含量录入数据库中,形成化学数据库中的成分数据条,成分的数量r对应形成相应数量的成分数据条r;例如某物体的化学检测数据中有5种成分,则有5条数据条,r为5,分别为Y1、Y2……Y5,每个数据条包括成分名称和成分含量;
将光谱表中的一条光谱数据条对应化学数据表中的所有成分数据条,形成映射数据组,对应原则是一条光谱数据条分别对应各成分数据条,形成单光谱和多成分对应的映射数据组;例如光谱数据条为X1000,成分数据条为Y1、Y2、Y3、Y4、Y5,则针对1000纳米的单光谱和多成分对应的映射数据组为{X1000Y1,X1000Y2,X1000Y3,X1000Y4,X1000Y5};
按照上述建立映射数据组的方法,将光谱表中的所有光谱数据条与化学数据表中所有成分数据条进行分别对应,形成所有映射数据组的集合,即为映射数据集合;例如光谱数据条为501条,成分数据条为5条,则一次检测所形成的光谱数据和化学检测数据的映射数据集合中包含501×5=2505条数据,该2505条数据即为物体该次检测的映射数据集合,即映射数据集合中的映射数据条为K*R条。
对该物体的不同样品进行n次检测,则形成n个映射数据集合,将n个映射数据集合统一输入一个单独的数据库中,则形成该物体映射数据库。映射数据库中的数据条数为n*k*r。
上述方法中,n大于30,优选大于50,尤其优选大于100。
上述方法中,物体为食物、农产品、土壤、植物的植株或其部分等,农产品包括但不限于粮食、蔬菜、水果等,粮食包括但不限于小麦、水稻、马铃薯、红薯、玉米等,水果包括但不限于苹果、柑橘、梨、火龙果、木瓜、西瓜等。
上述方法中,数据库的载体为存储设备等。数据库的格式不受限制,只要能够形成数据条、映射数据组、映射数据集合、映射数据库即可。
上述方法中,光谱的波长范围为700-2500nm。优选的,光谱的波长范围为800-1800nm,或光谱的波长范围为1500-2500,或者是700-2500nm内任意范围的波长范围。
上述方法中,成分包括但不限于所有的有机成分,包括营养成分,例如蛋白、淀粉、维生素、纤维素、糖类等,包括药品类,例如有机农药化学物质、有机医药化学物质等,包括危害人类健康的有害的有机物质。
本发明的方法中,化学测量数据,也称为化学计量数据,是指通过某些物质的国家标准进行测量获得的化学数据。例如马铃薯中的淀粉含量,需要按照国家标准或者是行业标准进行测量,也可以采用满足国标测量精度的仪器进行测量。
本发明的方法中,光谱数据为通过光谱收集装置收集的不同波长的光能量,通过光转化信号装置转化为光谱数据,光谱数据一般要求具有光谱吸光度,即使某波长光波吸光度为零,则在光谱数据也需要记载。
有益效果
本发明方法的有益效果体现在如下三个方面:
1、本发明的光谱数据和化学检测数据的映射方法充分考虑检测数据的单物质特性和组合物质的特性。在检测中由于单物质检测的光谱数据和多个物质检测的光谱数据是相同的,只是在建立公式时,选择的光波的波长个数和数量不同,因此为了实现单物质和多物质的大数据分析需要,需要建立既能够满足分析的基础,又能够实现后期分析时的组合需要,由不能太过于复杂的数据映射集合,故采用一对多的映射方式,然后再进行全波长数据的映射。
2、为实现物体检测的映射数据库,以及为数据模型建立中的公式设定,需要进行纳米级波长的吸光度记录。这种记录为后期公司计算起到了选择波长更加方便,公式设计所需的基础数据又不繁杂,提高公式设计的效率和效果。
具体实施方式
实施例1马铃薯块茎的数据模型
利用光谱范围为800-1800nm的光谱仪直接对准未破损的马铃薯进行光谱收集,同时将光谱吸光度的值输出。
将物体的光谱数据输入光谱数据库,光谱数据格式如下表1,定义为光谱表。
表1:数据库中的光谱数据格式
品种 样品号 波长 吸光度
马铃薯 1# …… ……
马铃薯 1# 1200nm 0.17
马铃薯 1# 1201nm 0,172
马铃薯 1# 1203nm 0.172
马铃薯 1# …… ……
对马铃薯进行化学检测,各成分的检测方法采用国标方法进行,获得马铃薯淀粉、蛋白质、脂肪的含量数据,即为马铃薯化学检测数据,将此数据输入化学数据库,化学检测数据的格式如下表2,定义为化学表。
表2:数据库中的化学检测数据格式
品种 样品号 成分 含量
马铃薯 1# 淀粉 17.5%
马铃薯 1# 蛋白质 1.8%
马铃薯 1# 脂肪 0.93%
将光谱表中的一条光谱数据条对应化学表中的所有成分数据条,形成映射数据组,对应原则是一条光谱数据条分别对应各成分数据条,形成单光谱和多成分对应的映射数据组,对应后的数据格式如下表3的映射数据组:
表3:映射数据组中的数据条格式
品种 样品号 波长 吸光度 成分 含量
马铃薯 1# …… ……
马铃薯 1# 1200nm 0.17 淀粉 17.5%
马铃薯 1# 1200nm 0.17 蛋白质 1.8%
马铃薯 1# 1200nm 0.17 脂肪 0.93%
马铃薯 1# 1201nm 0,172 淀粉 17.5%
马铃薯 1# 1201nm 0,172 蛋白质 1.8%
马铃薯 1# 1201nm 0,172 脂肪 0.93%
马铃薯 1# 1203nm 0.172 淀粉 17.5%
马铃薯 1# 1203nm 0.172 蛋白质 1.8%
马铃薯 1# 1203nm 0.172 脂肪 0.93%
马铃薯 1# …… ……
按照上述方法,对马铃薯再进行100次检测,再次获得100个映射数据组,最后将101个数据映射组合并形成映射数据集合,将映射数据集合统一输入一个单独的数据库中,则形成马铃薯映射数据库。
该映射数据库能够为马铃薯的淀粉、蛋白质和脂肪的任意一种、任意两种或三种的检测提供基础,能够很好地实现建立马铃薯模型所需要的基础数据。

Claims (7)

1.一种将光谱数据和化学检测数据进行映射的方法,该方法包括将物体的光谱数据输入光谱数据库,将相同物体的化学检测数据输入化学数据库,然后将光谱数据库中的光谱数据和化学数据库中的化学检测数据进行映射,形成该物体的映射数据库,其特征在于:光谱数据按照纳米级光谱波长分别作为单一光谱数据条,化学检测数据按照成分分别作为单一成分数据条,通过单一光谱数据条与所有成分数据条对应形成映射数据组,将所有光谱数据条分别与所有成分数据条对应形成映射数据集,n次检测形成的光谱数据和化学检测数据映射形成的n个映射数据集,将该映射数据集统一输入数据库中形成该物体的映射数据库,n≥30。
2.一种将光谱数据和化学检测数据映射的方法,该方法包括将物体的光谱数据输入光谱数据库,将相同物体的化学检测数据输入化学数据库,然后将光谱数据库中的光谱数据和化学数据库中的化学检测数据进行映射,形成该物体的映射数据库,具体步骤如下:
光谱数据输入光谱数据库中,按照纳米级建立数据条,每个纳米级波长定义为一个数据条,将每个纳米级波长数据和波长吸光度数据录入数据库中,形成光谱数据库中的光谱数据条,光谱范围中的纳米波长数量k对应形成相应数量的光谱数据条k;
化学检测数据输入化学数据库中,将化学检测数据按所检测成分的数量建立数据条,照成分建立数据条,每个成分定义为一条数据条,将每个成分名称及成分含量录入数据库中,形成化学数据库中的成分数据条,成分的数量r对应形成相应数量的成分数据条r;
将光谱表中的一条光谱数据条对应化学数据表中的所有成分数据条,形成映射数据组,对应原则是一条光谱数据条分别对应各成分数据条,形成单光谱和多成分对应的映射数据组;
按照上述建立映射数据组的方法,将光谱表中的所有光谱数据条与化学数据表中所有成分数据条进行分别对应,形成所有映射数据组的集合,即为映射数据集合;
对该物体的不同样品进行n次检测,则形成n个映射数据集合,将n个映射数据集合统一输入一个单独的数据库中,则形成该物体映射数据库。
3.根据权利要求2所述的方法,其中n大于30,优选大于50,尤其优选大于100。
4.根据权利要求1-3任一项所述的方法,其中物体为食物、农产品、土壤、植物的植株或其部分等。
5.根据权利要求1-3任一项所述的方法,其中光谱的波长范围为700-2500nm。优选的, 光谱的波长范围为800-1800nm,或光谱的波长范围为1500-2500,或者是700-2500nm内任意范围的波长范围。
6.根据权利要求1-5任一项所述的方法,其中成分包括所有的有机成分。
7.根据权利要求6所述的方法,其中营养成分为蛋白质、淀粉、维生素、纤维素、糖类、、有机农药化学物质、有机医药化学物质和有害的有机物质等。
CN201510753747.9A 2015-11-06 2015-11-06 一种将光谱数据和化学检测数据进行映射的方法 Pending CN106680236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510753747.9A CN106680236A (zh) 2015-11-06 2015-11-06 一种将光谱数据和化学检测数据进行映射的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510753747.9A CN106680236A (zh) 2015-11-06 2015-11-06 一种将光谱数据和化学检测数据进行映射的方法

Publications (1)

Publication Number Publication Date
CN106680236A true CN106680236A (zh) 2017-05-17

Family

ID=58863052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510753747.9A Pending CN106680236A (zh) 2015-11-06 2015-11-06 一种将光谱数据和化学检测数据进行映射的方法

Country Status (1)

Country Link
CN (1) CN106680236A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1430723A (zh) * 2000-03-13 2003-07-16 奥特莱有限公司 用可见光/近红外光谱测量和相关水果特性的方法和装置
CN1603794A (zh) * 2004-11-02 2005-04-06 江苏大学 近红外技术快速检测牛肉嫩度的方法和装置
CN1620263A (zh) * 2001-01-26 2005-05-25 三西斯医学股份有限公司 通过组织的光学特性的葡萄糖非侵入性测量
CN104897607A (zh) * 2015-06-18 2015-09-09 北京工商大学 便携式近红外光谱食品建模与快速检测一体化方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1430723A (zh) * 2000-03-13 2003-07-16 奥特莱有限公司 用可见光/近红外光谱测量和相关水果特性的方法和装置
CN1620263A (zh) * 2001-01-26 2005-05-25 三西斯医学股份有限公司 通过组织的光学特性的葡萄糖非侵入性测量
CN1603794A (zh) * 2004-11-02 2005-04-06 江苏大学 近红外技术快速检测牛肉嫩度的方法和装置
CN104897607A (zh) * 2015-06-18 2015-09-09 北京工商大学 便携式近红外光谱食品建模与快速检测一体化方法和系统

Similar Documents

Publication Publication Date Title
Li et al. Advances in non-destructive early assessment of fruit ripeness towards defining optimal time of harvest and yield prediction—A review
Wang et al. Fruit quality evaluation using spectroscopy technology: a review
Senthilkumar et al. Detection of fungal infection and Ochratoxin A contamination in stored barley using near-infrared hyperspectral imaging
Tan et al. Applications of photonics in agriculture sector: A review
Raymond Hunt Jr et al. Chlorophyll meter calibrations for chlorophyll content using measured and simulated leaf transmittances
CN107515203A (zh) 近红外技术定量分析水稻单籽粒直链淀粉含量的研究
Xu et al. Discrimination of trichosanthis fructus from different geographical origins using near infrared spectroscopy coupled with chemometric techniques
Amanah et al. Near-infrared hyperspectral imaging (NIR-HSI) for nondestructive prediction of anthocyanins content in black rice seeds
Cozzolino et al. An overview on the use of infrared sensors for in field, proximal and at harvest monitoring of cereal crops
Brambilla et al. Application of a low-cost RGB sensor to detect basil (Ocimum basilicum L.) nutritional status at pilot scale level
Reddy et al. Near-infrared hyperspectral imaging pipelines for pasture seed quality evaluation: An overview
Lu et al. Fluorescence hyperspectral image technique coupled with HSI method to predict solanine content of potatoes
Chien et al. Fast honey classification using infrared spectrum and machine learning
Huang et al. Measurement of early disease blueberries based on vis/nir hyperspectral imaging system
Wang et al. Non-destructive identification of naturally aged alfalfa seeds via multispectral imaging analysis
Ndisya et al. Vis-NIR hyperspectral imaging for online quality evaluation during food processing: A case study of hot air drying of purple-speckled cocoyam (Colocasia esculenta (L.) schott)
Ye et al. Application of near-infrared spectroscopy and hyperspectral imaging combined with machine learning algorithms for quality inspection of grape: A Review
Grassi et al. Near infrared spectroscopy as a green technology for the quality prediction of intact olives
Okere et al. Pomegranate quality evaluation using non-destructive approaches: A review
Memete et al. Bioactive compounds and antioxidant capacity of several blackberry (Rubus spp.) fruits cultivars grown in Romania
Ferrara et al. Ripeness prediction in table grape cultivars by using a portable NIR device
Jarén et al. Potential of NIRS technology for the determination of cannabinoid content in industrial hemp (Cannabis sativa L.)
Yang et al. Assessment of grain harvest moisture content using machine learning on smartphone images for optimal harvest timing
Chen et al. Application of multispectral camera in monitoring the quality parameters of fresh tea leaves
Gullifa et al. Portable NIR spectroscopy: The route to green analytical chemistry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170517

RJ01 Rejection of invention patent application after publication