CN114280000B - 一种原油产地的溯源方法和系统 - Google Patents
一种原油产地的溯源方法和系统 Download PDFInfo
- Publication number
- CN114280000B CN114280000B CN202111599729.1A CN202111599729A CN114280000B CN 114280000 B CN114280000 B CN 114280000B CN 202111599729 A CN202111599729 A CN 202111599729A CN 114280000 B CN114280000 B CN 114280000B
- Authority
- CN
- China
- Prior art keywords
- terahertz
- crude oil
- sample
- spectrum
- spectrogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010779 crude oil Substances 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000004519 manufacturing process Methods 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 238000001228 spectrum Methods 0.000 claims description 153
- 230000008569 process Effects 0.000 claims description 19
- 238000010521 absorption reaction Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 16
- 230000008901 benefit Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 4
- 239000012535 impurity Substances 0.000 description 4
- 239000003921 oil Substances 0.000 description 4
- 238000004611 spectroscopical analysis Methods 0.000 description 4
- 238000001328 terahertz time-domain spectroscopy Methods 0.000 description 4
- 239000002253 acid Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000013049 sediment Substances 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical group [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 2
- 210000000077 angora Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012567 pattern recognition method Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 150000004945 aromatic hydrocarbons Chemical class 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229920002521 macromolecule Polymers 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- GPPXJZIENCGNKB-UHFFFAOYSA-N vanadium Chemical compound [V]#[V] GPPXJZIENCGNKB-UHFFFAOYSA-N 0.000 description 1
- 229910052720 vanadium Inorganic materials 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开一种原油产地溯源方法和系统，所提供的方法包括采集不同国家的原油样品，获得原油样品的样品太赫兹谱图；使用连续小波算法将样品太赫兹谱图变换成小波空间，通过聚类分析和深度学习方法对小波空间进行特征提取，并依据加权最小二乘法，构建不同国家的原油样品的标准图谱库，根据标准图谱库对原油样品进行原产地溯源识别；系统包括数据采集模块，第一数据处理模块，第二数据处理模块，数据存储模块，显示模块；装置包括太赫兹时域光谱仪，数据处理与分析装置，显示装置；本发明的优点在于，本发明方法简单，结构和逻辑性强，溯源准确率高，为原油溯源提供新的技术思路。
Description
技术领域
本发明涉及图像处理与人工智能领域，具体涉及一种原油产地的溯源方法和系统。
背景技术
进口原油存在出口国政策、欺诈、环境、工艺、运输等风险，长期进口数据的监控可以判定进口原油的风险等级，例如：水分、密度、沉淀物、机械杂质、硫、酸值、残炭、204℃前馏分中有机氯、盐含量、镍、钒等。沉淀物、机械杂质基本都不超过0.02％，如果超过可以考虑是否掺杂废油。非法添加物主要包括废化工品、被污染的油，这部分很难鉴别。残炭、盐含量、酸值及酸化合物和原油本身性质有关且不同产区含量差别较大，同时原油产地不同，品质差异较大，因此生产国是制约原油供应的重要因素，准确判定进口原油产地是保障进口原油质量及监管的先决条件，避免贸易欺诈及环境受损等风险。
太赫兹是指0.1～10THz的电磁波，光子能量低，对原油具有很高透过性，另外，很多有机大分子的转动和振动能级都在太赫兹波段。太赫兹由于具有透视性、安全性和波谱分辨能力的特点，近年来得到了较快的发展和应用，成为无损检测的新技术，并被应用于国防、工业、半导体、通信、生物医学、制药、农产品及食品等多个领域，目前，未见利用太赫兹时域光谱技术宽波带、高信噪比的特点开展世界范围内原油的光谱分析。
急需一种溯源方法，利用太赫兹时域光谱技术对0.2～2.5THz范围内不同国家原油样品进行检验、分析，利用数据统计模型建立不同国家原油的产地特征，以实现不同国家原油的产地溯源，保障进口原油质量环境安全及贸易秩序。
发明内容
为了解决现有技术问题，本发明提供了一种基于太赫兹光谱的原油产地溯源方法，包括以下步骤，
采集不同国家的原油样品，获得原油样品的太赫兹谱图；
使用连续小波算法将样品太赫兹谱图变换成小波空间，通过聚类分析和深度学习方法对小波空间进行特征提取，并依据加权最小二乘法，构建不同国家原油样品的标准图谱库，根据标准图谱库对原油样品进行原产地溯源识别。
优选地，在获得原油样品太赫兹谱图的过程中，采集原油样品太赫兹光谱数据，通过python编程进行数据结构化处理，获得样品太赫兹谱图的基线和参考太赫兹响应，通过剔除异常光谱，构建样品太赫兹谱图。
优选地，在构建样品太赫兹谱图的过程中，将基线和参考太赫兹响应进行偏最大化归一化处理后，通过剔除异常光谱，构建样品太赫兹谱图。
优选地，在构建样品太赫兹谱图的过程中，样品太赫兹谱图的区域定位选择主时域第500频点和975频点之间以及频域在1到第70个频点之间。
优选地，区域定位选择即时域的第450频点和975频点之间以及频域在1到第80个频点之间的区域。
优选地，在使用连续小波算法将样品太赫兹谱图变换成小波空间的过程中，连续小波算法为coif小波变换。
优选地，通过样品太赫兹谱图，采集原油样品的吸收系数、介电系数和折射率数据，构建样品太赫兹谱图的特征图谱；
将吸收系数、介电系数和折射率数据进行标准化处理后，进行矩阵转换后，通过深度学习方法构建特征识别模型，特征识别模型用于识别吸收系数差异、介电系数差异和折射率谱差异。
优选地，根据吸收系数差异、介电系数差异和折射率谱差异，通过采集特征图谱之间的欧氏距离对特征图谱进行近似度衡量，将特征图谱聚类为标准图谱，构建标准图谱库。
一种基于太赫兹光谱的原油产地溯源系统，包括，
数据采集模块，用于采集原油样品的太赫兹数据；
第一数据处理模块，用于对太赫兹数据进行数据处理，获得样品太赫兹谱图；
第二数据处理模块，用于对样品太赫兹谱图进行图像处理与识别，通过将识别结果与标准图谱库进行对比，对原油样品进行溯源；
数据存储模块，用于存储原油产地溯源系统产生的数据；
显示模块，用于显示溯源结果、样品太赫兹谱图以及标准图谱库的标准谱图。
一种基于太赫兹光谱的原油产地溯源装置，包括，
太赫兹时域光谱仪，用于采集不同国家的原油样品的样品太赫兹谱图；
数据处理与分析装置，用于对样品太赫兹谱图进行分析处理，构建标准图谱库，并根据标准图谱库对原油样品进行溯源；
显示装置，用于显示溯源结果。
本发明公开了以下技术效果：
本发明的优点在于，方法简单，结构和逻辑性强，溯源准确率高，为原油溯源提供新的技术思路。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。
图1为本发明实施例所述的太赫兹光谱处理后格式；
图2为本发明实施例所述的太赫兹光谱时域谱图；
图3为本发明实施例所述的太赫兹光谱频域谱图；
图4为本发明实施例所述的太赫兹光谱时域谱二维图；
图5为本发明实施例所述的太赫兹光谱频域谱二维图；
图6为本发明实施例所述的修正后太赫兹光谱时域谱二维图；
图7为本发明实施例所述的修正后太赫兹光谱频域谱二维图；
图8为本发明实施例所述的选定区域太赫兹光谱时域谱图；
图9为本发明实施例所述的选定区域太赫兹光谱频域谱图；
图10为本发明实施例所述的归一化处理后太赫兹光谱时域谱图；
图11为本发明实施例所述的归一化处理后太赫兹光谱频域谱图；
图12为本发明实施例所述的偏最大值归一化处理后太赫兹光谱时域谱；
图13为本发明实施例所述的偏最大值归一化处理后太赫兹光谱频域谱；
图14为本发明实施例所述的基线太赫兹光谱时域谱图；
图15为本发明实施例所述的基线太赫兹光谱频域谱图；
图16为本发明实施例所述的空气太赫兹光谱时域谱图；
图17为本发明实施例所述的空气太赫兹光谱频域谱图；
图18为本发明实施例所述的最大化归一处理后基线太赫兹光谱时域谱图；
图19为本发明实施例所述的最大化归一处理后基线太赫兹光谱频域谱；
图20为本发明实施例所述的最大化归一处理后空气太赫兹光谱时域谱；
图21为本发明实施例所述的最大化归一处理后空气太赫兹光谱频域谱；
图22为本发明实施例所述的学习模型构造图；
图23为本发明实施例所述的学习模型关系示意图；
图24为本发明实施例所述的样品图谱库。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-24所示，本发明提供了一种基于太赫兹光谱的原油产地溯源方法，包括以下步骤，
采集不同国家的原油样品，获得原油样品的太赫兹谱图；
使用连续小波算法将样品太赫兹谱图变换成小波空间，通过聚类分析和深度学习方法对小波空间进行特征提取，并依据加权最小二乘法，构建不同国家原油样品的标准图谱库，根据标准图谱库对原油样品进行原产地溯源识别。
在获得原油样品太赫兹谱图的过程中，采集原油样品的太赫兹光谱数据，通过python编程进行数据结构化处理，获得样品太赫兹谱图的基线和参考太赫兹响应，通过剔除异常光谱，构建样品太赫兹谱图。
在构建样品太赫兹谱图的过程中，将基线和参考太赫兹响应进行偏最大化归一化处理后，通过剔除异常光谱，构建样品太赫兹谱图。
在构建样品太赫兹谱图的过程中，样品太赫兹谱图的区域定位选择主时域第500频点和975频点之间以及频域在1到第70个频点之间；区域定位选择即时域的第450频点和975频点之间以及频域在1到第80个频点之间的区域。
在使用连续小波算法将样品太赫兹谱图变换成小波空间的过程中，连续小波算法为coif小波变换。
通过样品太赫兹谱图，采集原油样品的吸收系数、介电系数和折射率数据，构建样品太赫兹谱图的特征图谱；将吸收系数、介电系数和折射率数据进行标准化处理后，进行矩阵转换后，通过深度学习方法构建特征识别模型，特征识别模型用于识别吸收系数差异、介电系数差异和折射率谱差异。
根据吸收系数差异、介电系数差异和折射率谱差异，通过采集特征图谱之间的欧氏距离对特征图谱进行近似度衡量，将特征图谱聚类为标准图谱，构建标准图谱库。
一种基于太赫兹光谱的原油产地溯源系统，包括，
数据采集模块，用于采集原油样品的太赫兹数据；
第一数据处理模块，用于对太赫兹数据进行数据处理，获得样品太赫兹谱图；
第二数据处理模块，用于对样品太赫兹谱图进行图像处理与识别，通过将识别结果与标准图谱库进行对比，对原油样品进行溯源；
数据存储模块，用于存储原油产地溯源系统产生的数据
显示模块，用于显示溯源结果、样品太赫兹谱图以及标准图谱库的标准谱图。
一种基于太赫兹光谱的原油产地溯源装置，包括，
太赫兹时域光谱仪，用于采集不同国家原油样品的太赫兹谱图；
数据处理与分析装置，用于对样品太赫兹谱图进行分析处理，构建标准图谱库，并根据标准图谱库对原油样品进行溯源；
显示装置，用于显示溯源结果。
实施例1：利用太赫兹时域光谱仪(测量范围：0.2～2.5THz)对世界范围内主要产原油国家(俄罗斯、巴西、安哥拉、科威特、刚果(布)、澳大利亚、赤道几内亚、沙特阿拉伯、利比亚、伊朗、埃及、委内瑞拉、伊拉克、哥伦比亚、英国、阿曼、越南、马来西亚、韩国、挪威、尼日利亚、阿联酋、美国)油田的原油样品进行透射测量，获得样品太赫兹时域光谱图谱。
使用Python软件编程将提取出来的数据信息进行处理。
基于连续小波算法，将太赫兹时域光谱变换到小波空间，通过聚类分析和神经网络技术从小波空间的尺度分量中提取不同国家原油的产地特征，基于加权最小二乘法建立模式识别方法，以实现基于太赫兹时域光谱的不同国家原油的产地溯源识别。
实施例2：采集不同产地原油样品的太赫兹时域光谱图谱，通过对所述样品太赫兹时域光谱图谱基线、参考(空气)图谱的分析，基线和参考太赫兹响应经过偏最大化归一化后，非常稳定，数据处理没有将太赫兹响应转换成吸光度或者折射率，而是使用直接响应形式。具体数据处理如下所示：
1、太赫兹光谱数据分析
1.1、光谱的预处理及分析
1.1.1、原油的原始太赫兹光谱
(1)试验样品及太赫兹光谱情况
原油样品采用来自于23个国家/地区的200多个样品，每个样品平行测量三遍，样品和太赫兹谱图情况如表1所示。
表1
(2)太赫兹光谱数据格式
数据格式如图1所示(采用UltraEdit阅览编辑)；
(3)采用python编程，对数据进行结构化处理，格式如图2所示：
第1列数据为时间，单位皮秒(ps)，第2列为基线时域响应，第3列为参考(空气)时域响应，第4列为样品时域响应，第5列为基线频域计算结果，第6列为参考(空气)频域计算结果，第7列为样品频域计算结果。
1.1.2、原油太赫兹光谱区域的选择
剔除异常光谱，修正后太赫兹谱图如图3、4所示，原油太赫兹谱的有效信息比较集中，时域谱和频域谱的区域有所差别，出于减少数据量，让光谱更集中的体现该不同区域来源原油的光谱信息，对太赫兹光谱进行区域选择。以及让精简后的数据尽可能多的保持不同区域原油太赫兹的有用信息。
选择检测的信号进行观察，发现不同来源原油太赫兹光谱峰形状不同，峰范围也不同，但都相对集中在某一段，主时域的第500频点和975频点之间，频域在1到第70个频点之间。考虑到噪音等因素的影响将区域定位在即时域的第450频点和975频点之间，即139.23ps至150.23ps之间；频域在1到第80个频点之间的区域。
1.1.3、原油太赫兹光谱的预处理
太赫兹时域部分的基线偏移较大，采用偏最大值归一化结果较好，计算方法如下：
太赫兹光谱数学模型如下：
X＝(x1,x2,...xn)
x1,x2,x3为各个频点的太赫兹光谱强度，
则归一化的计算为：
Xs＝x/max(abs(max(x),abs(min(x)))
min(x)为太赫兹光谱强度最小值，max(x)为太赫兹光谱强度最大值(太赫兹光谱强度有负值)，Xs为标准化后的太赫兹光谱。结果如图5、6所示。
1.2原油太赫兹光谱的初步分析
1.2.1稳定性分析
采用精密度对光谱的稳定性进行分析，采用相对标准偏差(RSD)来衡量数据的离散度。计算来自于同一国家/地区的样品的太赫兹光谱的差异。
在时域/频域，原始数据/归一化结果如表2所示：
表2
分析相对标准偏差的结果可知：除去样品量少的几个国家，大部分国家的的相对标准偏差小于10％，离散度度较低，同地区太赫兹光谱较为稳定，说明实验获得的光谱在具有很好的收敛性。结果显示：同一国家/地区的原油太赫兹光谱归一化后，离散度更小；归一化后的频域信号比时域信号的离散度更小。
1.2.2差异性分析
采用组间组内分析方法对不同国家/地区间的太赫兹光谱差异进行分析，将所有光谱的总方差分解为组内(同一国家/地区)的方差和组间(不同国家/地区)的方差。通过比较组间方差和组内方差以确定不同国家/地区原油太赫兹光谱是否存在实质性的差异。分别计算了在时域/频域，原始数据/归一化的不同国家/地区间的组间组内分析结果。
从各国家地区光谱的方差分析结果可知：频域信号在组内的稳定性更好，但是在组间的差异性也更小，归一化后的时域信号，虽然在组内的稳定性较频域差，但是在组间的差异性更大。综合考虑组内稳定性和组间差异性，采用偏最大化归一处理后的时域信号进行后续处理。通过对比不同国家/地区间的偏最大化归一处理后的时域信号，发现除阿联酋和阿曼、伊拉克和阿曼、马拉西亚和安哥拉外，其他国家/地区间的F值在6.55到632.63之间变化。通过对比F值发现阿联酋和伊拉克之间、伊拉克和巴西之间、巴西和阿曼之间在时域信号的相似度较大。说明对于绝大多数的国家/地区间的太赫兹光谱存在明显差异，通过采用合适的技术手段，可以在国家/地区水平上进行识别。综合稳定和差异性分析结果，采用偏最大化归一处理后的时域信号进行后续处理。
2、太赫兹光谱特征提取
对经过coif小族波基分解后得到的各个特征分量进行正定性检验，发现各特征分量都满足正定性，可以使用Bayes判别分析对最优小波基的最优特征分量进行选择。采用coif5小波分解原油太赫兹光谱。观察经coif5基函数分解的1～5层的尺度分量和小波分量的组内稳定性发现，尺度分量上，第1～2层的稳定性更好，其中第1层虽然整体稳定更好，但是部分国家地区的差异性接近整体差异性，故选择第二层尺度分量作为后续处理的参数。
采用组间组内分析方法对不同国家/地区间的太赫兹光谱差异进行分析发现，coif5小波基函数的第二层尺度分量更好的体现组间差异。
3、模式识别方法
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。
而深度学习又是机器学习研究中的一个新的领域，其动机在于建立可以模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如，图像、声音和文本。深度学习是无监督学习的一种。
深度学习之所以被称为“深度”，是因为之前的机器学习方法都是浅层学习。深度学习可以简单理解为传统神经网络(Neural Network)的发展。大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。深度学习与传统的神经网络之间有相同的地方。二者的相同之处在于，深度学习采用了与神经网络相似的分层结构：系统是一个包括输入层、隐层(可单层、可多层)、输出层的多层网络，只有相邻层节点(单元)之间有连接，而同一层以及跨层节点之间相互无连接。这种分层结构，比较接近人类大脑的结构。
由机器学习加上CNN处理后可以提取物体本身相应的特征，然后由机器学习的经验以及对单视图的分析根据所提取的特征(关键点)可以重新构造出物体的三维模型。
机器学习可应用到全自动无人驾驶汽车等交通工具上以及医疗器械中。以提高精准度和物品的利用率并减少事故的发生率。总的来说这一切的研究就是为了实现产品的智能化和全自动化，减少事故的发生，并实现技术的革新。
学习模型的建立：
太赫兹光谱信息取决于目标物的特性，可以用如下公式进行表示：
F＝ΣjWi，jxj+bi
x-组分
i-第i个组分
j-组分的第j个性质
Wi,j-组分的第j个性质的权重
bi-组分的第i类的特征值
对各类特征求exp函数，并标准化，将各元素进行相乘编程矩阵乘法：
学习模型参数：
模型的参数；
层数：3；
隐藏层节点数：1024；
隐藏层激活函数：relu；
输出层机函数：softmax；
优化器：Adam；
步长：0.001；
损失函数：sparse_categorical_crossentropy。
4、标准图谱库的建立
不同国家/地区原油的太赫兹光谱的识别仪器、环境的影响不同，为更准确的表达原油的太赫兹光谱特征，并获得该地区/国家原油太赫兹光谱具有特征代表性的标准谱，研究将采用系统聚类法对每个地区/国家在所有尺度分量识别特征谱或小波分量识别特征谱进行聚类分析。以欧氏距离作为特征谱相似程度的衡量，将特征谱聚为不同的类别，然后取每一类中所有特征谱的平均作为该类的代表，即为该地区/国家的一条标准谱；由此确定每个地区/国家标准谱及其数目。由于用于聚类的每种情况下的特征谱均不小于一条，所以，当此特征谱因取样测量等产生差异时，尚有同等或相近的特征谱作为弥补，这样就不至于造成一类特征信息的丢失。在聚类过程中，为了进一步消除不同特征谱间的强度差异，对每条谱进行了最大值归一化处理。采用最能体现不同水平差异性coif2小波的第3层尺度分量作为特征谱，考虑到产生的异常谱，应予以去除。
本发明利用太赫兹时域光谱技术测量了231瓶不同国家的原油样品，获得了0.2～2.5THz原油的太赫兹波谱，通过分析原油样品信息和太赫兹波谱，由于原油太赫兹谱是原油所包含的主要成分芳香烃类化合物和多种杂质混合产生的吸收谱，不同国家的原油的时域谱和频谱差别较小，难以形成特征谱，难以区分，但折射率、吸收系数、介电常数有明显差异。
(1)不同国家原油样品的太赫兹波谱有差异，其中时域谱和频域谱差异较小，折射率谱、吸收系数谱、介电常数谱差异较大。可通过折射率谱、吸收系数谱、介电常数谱实现对不同的国家和油田的原油样品的区分。
(2)实验测量了0.2～2.5THz范围内原油样品的太赫兹波谱，其中0.2～1.5THz范围内信噪比较高，折射率较稳定，1.6～2.5THz范围内信噪比较低，折射率有小范围起伏变化。这是因为在0.2～1.5THz范围内原油的太赫兹波谱信噪比较强，而1.5～2.5THz范围内原油的太赫兹波谱信噪比较弱。
(3)不同国家原油样品的吸收系数不同，其中吸收峰的位置和数量也不同，这可能是由于不同的原油种类和相同组分的不同含量导致的。从所测原油的吸收谱可以看出，随着频率的增加，吸收系数也呈现逐渐增大的趋势。
(4)coif系列小波对原油太赫兹光谱特征的提取能力不同，在对实验室选择的23个国家原油的总体评价中，以coif2小波基的提取能力最强。
(5)应用本发明基于coif2小波建立的原油太赫兹光谱识别技术，对实验选择的23个国家原油的识别正确率为为92.0％。
(6)在加入10％，20％的白噪音后，基于coif2小波的识别技术对原油的识别正确率没有显著的变化，说明本发明建立的识别技术对白噪音具有很好的抗造能力。
(7)对实验室实际混合样品的识别正确率为86.1％，对通过拟合得到混合光谱的识别正确率为83.8％。
(8)通过不同小波基函数识别技术的互补性，尺度分量和小波分量的互补性，可以得到更好的结果。
Claims (9)
1.一种基于太赫兹光谱的原油产地溯源方法，其特征在于，包括以下步骤，
采集不同国家的原油样品，获得所述原油样品的太赫兹谱图；
使用连续小波算法将所述样品太赫兹谱图变换成小波空间，通过聚类分析和深度学习方法对所述小波空间进行特征提取，并依据加权最小二乘法，构建所述不同国家原油样品的标准图谱库，根据所述标准图谱库对所述原油样品进行原产地溯源识别；
在使用所述连续小波算法将所述样品太赫兹谱图变换成所述小波空间的过程中，所述连续小波算法为coif2小波变换；
在进行聚类分析的过程中，以欧氏距离作为特征谱相似程度的衡量，将特征谱聚为不同的类别，然后取每一类中所有特征谱的平均作为该类的代表；在聚类过程中，为了消除不同特征谱间的强度差异，对每条谱进行了最大值归一化处理，采用coif2小波的第3层尺度分量作为特征谱；
通过深度学习方法进行小波空间的特征识别的过程中，
学习模型的建立：
太赫兹光谱信息取决于目标物的特性，可以用如下公式进行表示：
F＝∑jWi，jxj+bi；
式中，x表示组分，i表示第i个组分，j表示组分的第j个性质，Wi,j表示组分的第j个性质的权重，bi表示组分的第i类的特征值；
对各类特征求exp函数，并标准化，将各元素进行相乘编程矩阵乘法：
学习模型参数：
模型的参数；
层数：3；
隐藏层节点数：1024；
隐藏层激活函数：relu；
输出层机函数：softmax；
优化器：Adam；
步长：0.001；
损失函数：sparse_categorical_crossentropy。
2.根据权利要求1所述的一种基于太赫兹光谱的原油产地溯源方法，其特征在于，
在获得所述原油样品太赫兹谱图的过程中，采集所述原油样品的太赫兹光谱数据，通过python编程进行数据结构化处理，获得所述样品太赫兹谱图的基线和参考太赫兹响应，通过剔除异常光谱，构建所述样品太赫兹谱图。
3.根据权利要求2所述的一种基于太赫兹光谱的原油产地溯源方法，其特征在于，
在构建所述样品太赫兹谱图的过程中，将基线和参考太赫兹响应进行偏最大化归一化处理后，通过剔除所述异常光谱，构建所述样品太赫兹谱图。
4.根据权利要求3所述的一种基于太赫兹光谱的原油产地溯源方法，其特征在于，
在构建所述样品太赫兹谱图的过程中，所述样品太赫兹谱图的区域定位选择主时域第500频点和975频点之间以及频域在1到第70个频点之间。
5.根据权利要求4所述的一种基于太赫兹光谱的原油产地溯源方法，其特征在于，
所述区域定位选择即时域的第450频点和975频点之间以及所述频域在1到第80个频点之间的区域。
6.根据权利要求5所述的一种基于太赫兹光谱的原油产地溯源方法，其特征在于，
通过所述样品太赫兹谱图，采集所述原油样品的吸收系数、介电系数和折射率数据，构建所述样品太赫兹特征图谱；
将所述吸收系数、所述介电系数和所述折射率数据进行标准化处理后，进行矩阵转换后，通过所述深度学习方法构建特征识别模型，所述特征识别模型用于识别吸收系数差异、介电系数差异和折射率谱差异。
7.根据权利要求6所述的一种基于太赫兹光谱的原油产地溯源方法，其特征在于，
根据所述吸收系数差异、所述介电系数差异和所述折射率谱差异，通过采集所述特征图谱之间的欧氏距离对所述特征图谱进行近似度衡量，将所述特征图谱聚类为标准图谱，构建所述标准图谱库。
8.一种基于太赫兹光谱的原油产地溯源系统，其特征在于，用于实现如权利要求1-7任意一个权利要求所述的基于太赫兹光谱的原油产地溯源方法，包括，
数据采集模块，用于采集原油样品的太赫兹数据；
第一数据处理模块，用于对所述太赫兹数据进行数据处理，获得样品太赫兹谱图；
第二数据处理模块，用于对所述样品太赫兹谱图进行图像处理与识别，通过将识别结果与标准图谱库进行对比，对所述原油样品进行溯源；
数据存储模块，用于存储所述原油产地溯源系统产生的数据；
显示模块，用于显示溯源结果、所述样品太赫兹谱图以及所述样品太赫兹谱图对应的所述标准图谱库的标准谱图。
9.一种基于太赫兹光谱的原油产地溯源装置，其特征在于，包括，
太赫兹时域光谱仪，用于采集不同国家的原油样品的样品太赫兹谱图；
数据处理与分析装置，用于对所述样品太赫兹谱图进行分析处理，构建标准图谱库，并根据所述标准图谱库对所述原油样品进行溯源，其中，通过如权利要求1-7任意一个权利要求所述的基于太赫兹光谱的原油产地溯源方法进行溯源；
显示装置，用于显示溯源结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599729.1A CN114280000B (zh) | 2021-12-24 | 2021-12-24 | 一种原油产地的溯源方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599729.1A CN114280000B (zh) | 2021-12-24 | 2021-12-24 | 一种原油产地的溯源方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114280000A CN114280000A (zh) | 2022-04-05 |
| CN114280000B true CN114280000B (zh) | 2024-01-12 |
Family
ID=80875014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111599729.1A Active CN114280000B (zh) | 2021-12-24 | 2021-12-24 | 一种原油产地的溯源方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114280000B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116976915B (zh) * | 2023-05-24 | 2024-04-05 | 南京审计大学 | 地理信息支持的种植类地理标志产品溯源方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101210873A (zh) * | 2006-12-31 | 2008-07-02 | 清华大学 | 一种利用太赫兹时域光谱快速检测植物油纯度的方法及设备 |
| WO2009080049A1 (en) * | 2007-12-21 | 2009-07-02 | Dma Sorption Aps | Monitoring oil condition and/or quality, on-line or at-line, based on chemometric data analysis of flourescence and/or near infrared spectra |
| KR20140078162A (ko) * | 2012-12-17 | 2014-06-25 | 송준화 | 도파로 센서를 이용한 휴대용 유사 석유 감별기 |
| CN106248610A (zh) * | 2016-10-20 | 2016-12-21 | 中国石油大学(北京) | 基于太赫兹时域光谱的动态、多点草品种鉴定与认证方法 |
| CN106525759A (zh) * | 2016-10-11 | 2017-03-22 | 中国农业大学 | 一种基于衰减全反射太赫兹介电谱鉴别蜂蜜品种的方法 |
| CN108195964A (zh) * | 2018-01-08 | 2018-06-22 | 新疆大学 | 一种基于挥发性成分结合pca和hca模型判别啤酒花品种的方法 |
| CN109187417A (zh) * | 2018-09-18 | 2019-01-11 | 深圳市奥谱太赫兹技术研究院 | 一种无人机载的太赫兹波及高光谱遥感农作物监测系统 |
| CN113295646A (zh) * | 2021-06-21 | 2021-08-24 | 上海理工大学 | 用于太赫兹时域光谱系统的原油样品盛放盒及利用太赫兹检测芯片检测原油产地的方法 |
-
2021
- 2021-12-24 CN CN202111599729.1A patent/CN114280000B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101210873A (zh) * | 2006-12-31 | 2008-07-02 | 清华大学 | 一种利用太赫兹时域光谱快速检测植物油纯度的方法及设备 |
| WO2009080049A1 (en) * | 2007-12-21 | 2009-07-02 | Dma Sorption Aps | Monitoring oil condition and/or quality, on-line or at-line, based on chemometric data analysis of flourescence and/or near infrared spectra |
| KR20140078162A (ko) * | 2012-12-17 | 2014-06-25 | 송준화 | 도파로 센서를 이용한 휴대용 유사 석유 감별기 |
| CN106525759A (zh) * | 2016-10-11 | 2017-03-22 | 中国农业大学 | 一种基于衰减全反射太赫兹介电谱鉴别蜂蜜品种的方法 |
| CN106248610A (zh) * | 2016-10-20 | 2016-12-21 | 中国石油大学(北京) | 基于太赫兹时域光谱的动态、多点草品种鉴定与认证方法 |
| CN108195964A (zh) * | 2018-01-08 | 2018-06-22 | 新疆大学 | 一种基于挥发性成分结合pca和hca模型判别啤酒花品种的方法 |
| CN109187417A (zh) * | 2018-09-18 | 2019-01-11 | 深圳市奥谱太赫兹技术研究院 | 一种无人机载的太赫兹波及高光谱遥感农作物监测系统 |
| CN113295646A (zh) * | 2021-06-21 | 2021-08-24 | 上海理工大学 | 用于太赫兹时域光谱系统的原油样品盛放盒及利用太赫兹检测芯片检测原油产地的方法 |
Non-Patent Citations (4)
| Title |
|---|
| Chi H.Lee.微波光子学 第2版.国防工业出版社,2017,第387-388页. * |
| Rapid determination of aflatoxin B 1 concentration in soybean oil using terahertz spectroscopy with chemometric methods;Wei Liu et al.;《Food Chemistry》;全文 * |
| 基于太赫兹时域光谱技术的塑料检测;陈思宏;韩旭;李丽娟;任姣姣;侯春鹤;;长春理工大学学报(自然科学版)(第05期);全文 * |
| 太赫兹技术在石油领域的应用进展;田璐;赵昆;;现代科学仪器(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114280000A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Recent advances of chemometric calibration methods in modern spectroscopy: Algorithms, strategy, and related issues | |
| Padarian et al. | Using deep learning to predict soil properties from regional spectral data | |
| Blackburn et al. | Retrieval of chlorophyll concentration from leaf reflectance spectra using wavelet analysis | |
| Zhao et al. | Hyperspectral remote sensing of plant biochemistry using Bayesian model averaging with variable and band selection | |
| Huang | Chemometric methods in analytical spectroscopy technology | |
| CN104020135B (zh) | 基于近红外光谱的校正模型建模方法 | |
| Zhao et al. | Deep learning assisted continuous wavelet transform-based spectrogram for the detection of chlorophyll content in potato leaves | |
| CN112098358B (zh) | 基于四元数卷积神经网络的近红外光谱并行融合定量检测方法 | |
| He et al. | Nondestructive discrimination of ship deck paint using attenuated total reflection–Fourier transform infrared (ATR-FTIR) spectroscopy with chemometric analysis | |
| CN114280000B (zh) | 一种原油产地的溯源方法和系统 | |
| CN112766227A (zh) | 一种高光谱遥感影像分类方法、装置、设备及存储介质 | |
| CN104809471A (zh) | 一种基于空间光谱信息的高光谱图像残差融合分类方法 | |
| Xia et al. | Non-destructive analysis the dating of paper based on convolutional neural network | |
| Gao et al. | Diagnosis of maize chlorophyll content based on hybrid preprocessing and wavelengths optimization | |
| Wang et al. | End‐to‐end analysis modeling of vibrational spectroscopy based on deep learning approach | |
| CN110031406B (zh) | 一种大气-海洋耦合系统光学浅水遥感信号敏感性分析方法 | |
| Wei et al. | A fast and non-destructive approach to identify the heavy mineral oil trace evidence based on spectral fusion treatment and chemometrics | |
| CN111523587A (zh) | 一种基于机器学习的木本植物物种光谱识别方法 | |
| Dai et al. | Nondestructive identification of rice varieties by the data fusion of Raman and near-infrared (NIR) spectroscopies | |
| Wan et al. | MAE-NIR: A masked autoencoder that enhances near-infrared spectral data to predict soil properties | |
| Wongravee et al. | Chemometrics as a green analytical tool | |
| CN105806803A (zh) | 一种多指标协同分析波长组合及其选择方法 | |
| Li et al. | Hyperspectral characterization and chlorophyll content inversion of reclaimed vegetation in rare earth mines | |
| CN111881738B (zh) | 一种核模糊正交鉴别分析的茶叶近红外光谱分类方法 | |
| Bai et al. | Improving the estimation accuracy of soil organic matter based on the fusion of near-infrared and Raman spectroscopy using the outer-product analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |