CN109324014A - 一种自适应的原油性质近红外快速预测方法 - Google Patents
一种自适应的原油性质近红外快速预测方法 Download PDFInfo
- Publication number
- CN109324014A CN109324014A CN201811168280.1A CN201811168280A CN109324014A CN 109324014 A CN109324014 A CN 109324014A CN 201811168280 A CN201811168280 A CN 201811168280A CN 109324014 A CN109324014 A CN 109324014A
- Authority
- CN
- China
- Prior art keywords
- sample
- variable
- principal component
- crude oil
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 11
- 238000003333 near-infrared imaging Methods 0.000 title abstract description 4
- 239000010779 crude oil Substances 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 35
- 238000000513 principal component analysis Methods 0.000 claims abstract description 22
- 239000003921 oil Substances 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 239000012141 concentrate Substances 0.000 claims abstract description 5
- 238000001228 spectrum Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 9
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 6
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 claims description 6
- 239000002253 acid Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 5
- 229910052717 sulfur Inorganic materials 0.000 claims description 5
- 239000011593 sulfur Substances 0.000 claims description 5
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical group [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 229910052757 nitrogen Inorganic materials 0.000 claims description 3
- 239000010426 asphalt Substances 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 239000005864 Sulphur Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000002203 pretreatment Methods 0.000 claims 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 241000772415 Neovison vison Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- UFWIBTONFRDIAS-UHFFFAOYSA-N Naphthalene Chemical compound C1=CC=CC2=CC=CC=C21 UFWIBTONFRDIAS-UHFFFAOYSA-N 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Abstract
本发明公开了一种自适应的原油性质近红外快速预测方法。构建用于原油性质预测的模型的方法包括：(1)测定原油样本的性质数据；(2)测定所述原油样本的近红外光谱图；(3)对步骤(2)获得的近红外光谱图进行预处理，建立初始训练集；(4)采用主成分分析(PCA)结合Hotelling T2统计的方法剔除初始训练集中异常的样本点，得到最终训练集；(5)对步骤(4)获得的样本进行主成分分析，保存特征值贡献率大于95％的载荷向量记为Ppca；(6)利用Ppca对待测样本的近红外光谱进行降维后，通过相似性指标(SI)选择局部训练集；(7)根据局部训练集确定一个或多个波数段，利用偏最小二乘法(PLS)建立原油性质的局部模型。
Description
技术领域
本发明涉及一种自适应的原油性质近红外快速预测方法。
背景技术
随着现代工业的迅速发展，石油作为国家物资在国民经济中发挥着至关重要 的作用。原油作为炼化企业的最主要原料，原油的需求量剧增、进口量扩大、价格 居高不下且波动频繁。根据《BP世界能源统计年鉴2016》报道，2015年，中国石 油净进口量增长77万桶/日，中国再次成为全球最大的石油进口国，进口原油的种 类非常多，其中有不少是所谓的“机会油”，它们或者比重很大，或者含酸很高， 或者杂质很多。这些给炼化企业带来了巨大的压力。及时获得当前原油的性质评价 数据——即原油快速评价，将为原油贸易、原油输送、原油调合、原油加工、全厂 生产计划、生产调度等生产过程优化提供支撑。
此外，随着世界范围原油的不断重质化，我国炼厂加工的重质油甚至超重质 油的比例越来越高，对重油加工的要求也越来越精细和高效。因此采用传统的评价 方法已不能满足实际应用的需求。目前不断发展的计算机技术，使在极短时间内分 析大量数据得以实现，促进了现代分析仪器技术的飞速发展，这些都为原油快速评 价奠定了坚实的基础。近红外分析技术是目前最有前景且应用最广泛的快速分析方 法之一。近几年来光纤在近红外光谱技术领域的应用使近红外光谱技术从实验室走 向现场，光纤化学和热稳定性、对电磁干扰不敏感、传输信号能量集中、灵敏度 高、价格低廉等优点，使得近红外光谱仪可以在恶劣、危险的环境中进行远距离快 速在线分析。原油组分复杂，属于黏稠深色液体。原油的待测性质多，并且其近红 外光谱吸收带较宽且重叠严重。且由于近红外分析仪是二次测量仪表，即近红外分 析仪并不能直接测量物质属性，而必须先建立待测物质的属性与近红外光谱之间的 数学模型然后根据模型来测量物质属性。因此，建立精度高、鲁棒性好的近红外模 型是近红外技术能否有效应用的关键。
原始的建模方法一般都属于静态模型的范畴，光谱的预处理、变量选择、模型 建立以及模型更新和维护等关键步骤都需要离线进行，并在应用过程保持不变。对 于流程工业，生产的连续性往往需要模型能够对现场工况进行实时跟踪；并且在模 型与当前工况发生较大的偏差、预测精度无法满足在线检测的需求时，模型能够进 行及时有效地更新。
发明内容
鉴于上述问题，本发明提出了一种基于近红外光谱检测的自适应的原油性质快速预测方法。该方法利用离线/在线近红外分析仪采集原油近红外光谱图的基础上， 采用减去一条直线的方法对采集到的原油样本近红外光谱进行预处理，以消除干扰； 对预处理后的光谱数据进行训练集样本的选择，剔除异常样本点；对于每一个新得 到的待测光谱根据相似性指标SI从样本库中选择n个样本建立局部训练集，并根 据该训练集确定建模用波数范围，并利用PLS建立局部模型，用于预测待测样品 的相关性质。
本发明提供的自适应的基于近红外光谱的原油属性建模方法包括以下步骤：
步骤一：构建原油样本库，测定训练集中原油样本的性质数据；
步骤二：测量样本库中所有样本的近红外光谱图；
步骤三：对步骤二获得的原油近红外光谱进行预处理，获得样本库；
步骤四：对预处理后的光谱数据进行训练集样本的选择，剔除异常样本点；
步骤五：对样本库中的所有样本进行PCA主成分分析，并选取特征值贡献率 大于95％的载荷向量记为Ppca；
步骤六：当获得新的待测光谱xp时，利用Ppca对待测光谱xp进行降维，并根 据相似性指标SI从样本库中选择n个样本建立局部训练集S；
步骤七：根据局部训练集S确定波数范围；
步骤八：根据确定的波数范围，利用PLS在局部训练集上建立局部模型，并 预测待测光谱xp的属性值。
在一个或多个实施方案中，步骤一中用于构建训练集的原油20℃的密度在 0.7-1.1g/cm3的范围内，硫含量在0.03％-5.50％的范围内，酸值在0.01-12.00mg KOH/g的范围内；和/或
所述原油性质包括密度、残炭、酸值、硫含量、氮含量、蜡含量、胶质含量、 沥青质含量和实沸点数据中的一个或多个。
在一个或多个实施方案中，所述步骤二包括，将训练集样品放置于低于35℃ 温度下的某一温度，待原油样品温度达到稳定状态后，测定该原油样品的近红外光 谱数据；
在一个或多个实施方案中，步骤二中，扫描范围为4000-12500cm-1，扫描次数 为10-100次。
在一个或多个实施方案中，所述步骤三中，所述近红外光谱预处理方法为利用 减去一条直线对对步骤二获得的波数范围为12500-4000cm-1区域的原油样本近红 外光谱图进行预处理，用以消除背景干扰与基线漂移；
在一个或多个实施方案中，所述步骤四包括，采用主成分分析结合Hotelling T2统计的方法，计算初始训练集中的每个样本的T2统计量，根据预设的T2统计量 阈值，剔除初始训练集中异常的样本点，构成最终的训练集；
优选地，采用主成分分析结合Hotelling T2统计的方法剔除异常样本点的过程为：首先对样本光谱进行主成分分析，然后利用主成分得分作为特征变量，计算每 个样本的T2统计量，根据预设的T2统计量阈值，剔除初始训练集中异常的样本 点，构成最终的训练集。
在一个或多个实施方案中，对剔除异常样本采用T2统计来检测异常值，并将 T2统计量较大的样本从中剔除；
优选地，T2统计的描述公式如下：
式中，t为原始光谱矩阵X经过PCA降维后的变量，σ为t的标准差，Iter为 提取的主成分个数；由于异常样本的T2值会远远大于正常样本，所以计算所有样 本库中的光谱样本的T2值，并以99％的置信区间为阈值上限，按照下式，并查F 分布表，计算得到阈值，
将样本库中所有样本的T2值与阈值进行比较，剔除大于阈值的样本，建立最 终训练集。
步骤五中对光谱矩阵X进行PCA分析等效于对矩阵X的协方差矩阵XTX 进行特征向量分解，载荷向量就是协方差矩阵XTX的特征向量。若令λ表示XTX 的特征值，那么前k个主成分的累积贡献率可按下式计算：
m为光谱的波长点个数。
在一个或多个实施方案中，所述步骤六中的相似性指标SI的计算步骤如下所 示：
(a)通过Ppca对样本库中所有光谱和待测光谱xp降维后得到新的样本库K’ 和xp’；
(b)根据下式计算xp’与样本库K’中所有样本之间的欧式距离dip
式中，dip：第i个样本与待测样本xp’之间的欧式距离；
m：为主成分个数；
xi：为第i个样本的主成分得分；
k：为主成分数；
(c)根据下式计算xp’与样本库K’中所有样本之间的夹角余弦值cos(θi)
式中，cos(θip)：第i个样本与待测样本xp’之间的夹角余弦值；
N：为主成分个数；
xik：为第i个样本的第k个主成分得分；
k：为主成分数。
为待测样本的第k个主成分得分；
(d)将(b)、(c)中计算得到的欧式距离dip和夹角余弦值cos(θip)直接带入 下式，计算相似度指标SIip
SIip＝ρexp(-dip)+(1-ρ)cos(θip),0≤ρ≤1
(e)对SI从大到小进行排序，选择前n个样本加入训练集，建立局部训练集 S。
在一个或多个实施方案中，所述步骤六中选择的加入训练集的样本数占样本总数的50％-90％；需根据具体情况进行调整。
在一个或多个实施方案中，所述步骤七中的波数范围确定步骤如下所示，
(i)首先对每个变量设定初始权值m为总变量数；
取迭代次数t＝1，…，g，重复以下步骤：
(ii)计算每一个变量的采样概率并且根据采样概率从所有波 数点中抽取k个变量；
(iii)根据选择的k个变量，利用PLS方法建立子模型ht；
(iv)利用PLS得到的得分矩阵和载荷矩阵重构光谱矩阵D’，并计算每个变 量的误差ex；
式中，exj：第j个变量的平均误差；
k：总样本数；
Dij：为第i个样本的第j个变量的原始数；
D′ij：为第i个样本的第j个变量的重构数；
(v)计算误差ey；
式中，ey：均方根误差ey；
k：总样本数；
yi：为第i个样本的真实值；
为第i个样本的预测值；
(vi)将ex与ey带入下式中计算误差
errt＝exj+βey
式中，第t次迭代的误差；
(vii)计算变量的新权值：
权值更新后，进入下一次迭代；
(viii)迭代停止后，对每个变量的权值从大到小进行排序，选取前z个变量 作为最后建模时使用的变量。
在一个或多个实施方案中，所述步骤八的数学关联模型使用PLS方法来建立。
在一个或多个实施方案中，所述步骤八中的模型是指自适应模型，即对于每一 个新得到的待测谱图都会根据待测谱图的特征建立PLS模型，该方法会根据待测 谱图自适应的改变训练集和建模用的波数范围，以得到更好的建模效果。
附图说明
图1：在线近红外光谱分析仪检测原油样品近红外光谱实验示意图。
图2：自适应的基于近红外光谱原有性质建模方法的总流程图。
图3：原始的原油近红外光谱图。
图4：预处理后的原油近红外谱图。
图5：PCA分析主成分。
图6：异常点样本的Hotelling T2图。
图7：近红外原油API回归模型预测效果。
具体实施方式
图1显示本发明在线近红外光谱分析仪检测样品近红外光谱数据实验过程。图 2为本发明方法的总流程图，具体包括以下步骤：
(1)构建原油样本库，测定训练集中原油样本的属性值；
(2)测量样本库中所有样本的近红外光谱图；
(3)对步骤二获得的原油近红外光谱进行预处理，获得样本库；
(4)对预处理后的光谱数据进行训练集样本的选择，剔除异常样本点；
(5)对样本库中的所有样本进行PCA主成分分析，并选取特征值贡献率大于 95％的载荷向量记为Ppca；
(6)当获得新的待测光谱xp时，利用Ppca对待测光谱xp进行降维，并根据相 似性指标SI从样本库中选择n个样本建立局部训练集S；
(7)根据局部训练集S确定波数范围；
(8)根据确定的波数范围，利用PLS在局部训练集上建立局部模型，并预测 待测光谱xp的属性值。
下文将对这些步骤进行详细描述。应理解，在本发明范围内中，本发明的上述 各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合， 从而构成优选的技术方案。
一、构建原油校正集，测定校正集中原油的性质
可收集不同种类的原油样本，通常覆盖石蜡基原油、中间基原油和环烷基原油等。通常，所收集的原油样本数量不少于200个。优选地，对于每一种原油多次测 定其近红外光谱图和属性值，以消除偶然误差。
较好的是，所收集的原油样本的密度(20℃)、硫含量和酸值指标分别控制在0.7-1.1g/cm3、0.03％-5.50％和0.01-12.00mg KOH/g的范围之内。然后利用传统的 标准方法测得所收集原油的多个性质属性，如密度、残炭、氮含量、硫含量、酸值、 盐含量、蜡含量、胶质含量、沥青质含量和实沸点蒸馏数据等，并记录数据。
二、采集原油近红外光谱
可选取合适型号的离线或在线近红外光谱仪，进行近红外光谱扫描，采用将光 纤探头直接插入温度维持在35℃以下的某个恒定温度的原油样品的测量方式，测 量过程中保持原油均匀，进而获得每份样本的近红外光谱图。例如，可将原油样品 放置于35℃温度下，并维持温度恒定，待原油样品温度达到稳定状态后，测定该 原油样品的近红外光谱数据。
通常，每张光谱图扫描时间为10-100次，取平均值。光谱扫描范围为 4000-12500cm-1，分辨率16-32cm-1。示例性的原油预处理光谱见图3。
三、利用减去一条直线对步骤二获得的原油近红外光谱进行预处理
该预处理包括对校正集每份样品的12500-4000cm-1的谱区进行减去一条直线 预处理，消除基线漂移和背景干扰，提高分辨率和灵敏度。预处理后，可建立初始 训练集。示例性的预处理后的原油近红外谱图见图4。
四、利用主成分分析结合Hotelling T2统计的方法剔除异常样本点
可采用主成分分析结合Hotelling T2统计的方法剔除异常样本点。其基本过程为，首先对样本光谱进行主成分(PCA)分析，然后利用主成分得分作为特征变量， 计算每个样本的T2统计量，根据预设的T2统计量阈值，剔除初始训练集中异常 的样本点，构成最终的训练集。
五、对样本库中的所有样本进行PCA主成分分析，并选取特征值贡献率大 于95％的载荷向量记为Ppca。
本步骤对样本库中的光谱样本进行PCA主成分分析，并选取特征值贡献率大 于95％的载荷向量保存，这样既可以减少样本库的存储空间，又可在之后的步骤 中计算相似度指标时减少计算量，减少计算时间。
对光谱矩阵X进行PCA分析等效于对矩阵X的协方差矩阵XTX进行特征 向量分解，载荷向量就是协方差矩阵XTX的特征向量。若令λ表示XTX的特征 值，那么前k个主成分的累积贡献率可按下式计算：
m为光谱的波长点个数。
六、根据相似度指标SI从样本库中选择合适的局部训练集
当获得新的待测光谱xp时，利用上一步计算得到的投影矩阵对待测光谱xp进 行降维，并计算待测样本与样本库中每一个样本之间的相似性指标SI，并对其从 大到小进行排序，选择前n个样本建立局部训练集S，似性指标SI的计算公式如 下所示：
SIip＝ρexp(-dip)+(1-ρ)cos(θip),0≤ρ≤1
式中，dip：第i个样本与待测样本xp’之间的欧式距离；
m：为主成分个数；
cos(θip)：第i个样本与待测样本xp’之间的夹角余弦值；
xik：为第i个样本的第k个主成分得分；
k：为主成分数；
为待测样本的第k个主成分得分。
七、根据局部训练集S确定波数范围
本步骤对训练集中的光谱样本进行波数选择。随着对偏最小二乘等方法的深入研究，发现通过筛选特征波数或区间有可能得到更好地定量模型。通过波数选择可 以简化模型，并且通过波数选择可以剔除不相关的变量，得到预测能力更强，稳健 性更好的模型。
步骤七中的波数范围确定步骤如下所示，
(i)首先对每个变量设定初始权值m为总变量数；
取迭代次数t＝1，…，g，重复以下步骤：
(ii)计算每一个变量的采样概率并且根据采样概率从所有波 数点中抽取k个变量；
(iii)根据选择的k个变量，利用PLS方法建立子模型ht；
(iv)利用PLS得到的得分矩阵和载荷矩阵重构光谱矩阵D’，并局算每个变 量的误差ex；
式中，exj：第j个变量的平均误差；
k：总样本数；
Dij：为第i个样本的第j个变量的原始数；
D′ij：为第i个样本的第j个变量的重构数；
(v)计算误差ey；
式中，ey：均方根误差ey；
k：总样本数；
yi：为第i个样本的真实值；
为第i个样本的预测值；
(vi)将ex与ey带入下式中计算误差
errt＝exj+βey
式中，第t次迭代的误差；
(vii)计算变量的新权值：
权值更新后，进入下一次迭代；
(viii)迭代停止后，对每个变量的权值从大到小进行排序，选取前z个变量 作为最后建模时使用的变量。
八、根据确定的波数范围，利用PLS在局部训练集上建立局部模型，并预测 待测光谱xp的属性值。
偏最小二乘回归与主成分回归相比，不仅仅考虑了光谱矩阵，同时也考虑了浓 度矩阵的影响。此步骤中对于每一个新得到的待测谱图都会根据待测谱图的特征建 立PLS模型，该方法会根据待测谱图自适应的改变训练集和建模用的波数范围， 以得到更好的建模效果。
本发明在预测待测原油样本的性质时，首先采用本发明步骤二中所述的方法测定待测原油样本的近红外光谱图，然后采用步骤三所述的方法对待测原油样本的近 红外光谱图进行预处理，之后根据步骤五所确定的投影矩阵对待测光谱进行降维， 并且利用步骤六中提到的方法确定局部训练集，在此训练集上利用步骤七选择的建 模用的波数范围，并建立局部PLS模型来预测待测样本。
本发明的有益效果如下：
本发明方法测试方式简单、快速、实用，利用近红外光谱仪快速测定原油性质。 与传统的测量方法相比，大大缩短了检测时间、减少了人力、物力。测试过程中无 需使用任何试剂对原油样品处理，不损坏样品；同时本方法可以根据待测样本的变 化适当的改变模型，以实现对工况的实时跟踪，得到更好地预测精度，降低了模型 维护的成本。
下面通过实施例对本发明进行具体描述。有必要在此指出的是，以下实施例只 用于对本发明作进一步说明，不能理解为对本发明保护范围的限制，该领域的专业 技术人员根据本发明的内容作出的一些非本质的改进和调整，仍属于本发明的保护 范围。
实施例1
以下以API预测的实施例来说明本发明具体步骤包括：
步骤一：采集不同种类的原油样本200个，组成原油样本库。
步骤二：样品温度控制在30℃，选用BRUKER布鲁克近红外光谱仪，进行试 验测定。通过将探头直接插入各原油样本的方式，测定原油样本的近红外光谱，光 谱范围扫描范围为4000-12500cm-1，分辨率16cm-1，累计扫描次数32次。并且按 照传统标准方法测量原油样本的API。图3为原始的原油近红外光谱图。可以看到， 原始光谱的基线漂移严重，谱峰重叠严重。
步骤三：选取4000-12500cm-1谱区范围的吸光度，对其进行减去一条直线预处 理，建立原油样本近红外光谱矩阵。图4为预处理之后的谱图。
步骤四：对预处理后的原油样本采用剔除的方式进行训练样本的选择，首先对 预处理后的原油样本光谱进行主成分分析后，利用首先对样本光谱进行主成分 (PCA)分析后，利用主成分得分(图5)作为特征变量，计算每个样本的T2统 计量，根据预设的T2统计量阈值3.911，剔除初始训练集中异常的样本点，剔除 T2统计量大于阈值的样本，本例中剔除样本93,95,96,175从而剔除冗余样本，剩 余的样本作为训练样本。最终，选中196个训练样本构成原油光谱训练样本集(图 6)。
步骤五：对样本库中的所有样本进行PCA主成分分析，并选取特征值贡献率 大于95％的载荷向量记为Ppca。
步骤六：对新获得的待测光谱，利用Ppca对其进行降维，并计算待测光谱与样 本库中每一个样本之间的相似性指标SI，对SI从大到小进行排序，选取前150个 样本建立局部训练集S。
步骤七：根据局部训练集S确定波数范围(约在4431cm-1-4603cm-1、 6099cm-1-7500cm-1的波数范围内)，并且利用PLS建立局部模型，并用于预测待测 光谱的属性值。
所建的API回归模型预测结果如图7。决定系数达0.9933，均方根误差为0.883。 预测值与实际值的比较结果如下表1所示，预测过程快速、简单，预测结果准确。
表1：原油API预测值与实际值结果对比(对API预测的相对误差小于5％， 在本领域中可以认为模型准确度高)
对于其他原油性质的预测，建模方法相同，并选取相应的局部训练集、波数范 围以及建模参数便能得到结果。
Claims (10)
1.一种构建用于原油性质预测的模型的方法，其特征在于，所述方法包括：
(1)测定原油样本的性质数据；
(2)测定所述原油样本的近红外光谱图；
(3)对步骤(2)获得的近红外光谱图进行预处理，建立初始训练集；
(4)采用主成分分析(PCA)结合Hotelling T2统计的方法剔除初始训练集中异常的样本点，得到最终训练集；
(5)对步骤(4)获得的样本进行主成分分析，保存特征值贡献率大于95％的载荷向量记为Ppca；
(6)利用Ppca对待测样本的近红外光谱进行降维后，通过相似性指标(SI)选择局部训练集；
(7)根据局部训练集确定一个或多个波数段，利用偏最小二乘法(PLS)建立原油性质的局部模型。
2.如权利要求1所述的方法，其特征在于，所述原油性质选自：密度、残炭、酸值、硫含量、氮含量、蜡含量、胶质含量、沥青质含量和实沸点数据中的一个或多个；
优选地，步骤(1)中的原油20℃的密度在0.7-1.1g/cm3的范围内，硫含量在0.03％-5.50％的范围内，酸值在0.01-12.00mg KOH/g的范围内；
更优选地，步骤(1)中原油样本的数量不少于200份。
3.如权利要求1或2所述的方法，其特征在于，步骤(2)中采用离线或在线近红外分析仪采集原油样本的近红外光谱数据；
优选地，光谱扫描范围为4000-12500cm-1，分辨率为16-32cm-1，重复扫描10-100次，取平均近红外光谱值；
更优选地，测定低于35℃的原油样本的近红外光谱数据。
4.如权利要求1-3中任一项所述的方法，其特征在于，步骤(3)所述近红外光谱预处理方法为利用减去一条直线对全谱图进行预处理，以消除背景干扰与基线漂移。
5.如权利要求1-4中任一项所述的方法，其特征在于，步骤(4)包括，采用主成分分析结合Hotelling T2统计的方法，计算初始样本库中的每个样本的T2统计量，根据预设的T2统计量阈值，剔除初始样本库中异常的样本点；
优选地，采用主成分分析结合Hotelling T2统计的方法剔除异常样本点的过程为：首先对样本光谱进行主成分分析，然后利用主成分得分作为特征变量，计算每个样本的T2统计量，根据预设的T2统计量阈值，剔除样本库中异常的样本点。
6.如权利要求5所述的方法，其特征在于，对剔除异常样本采用T2统计来检测异常值，并将T2统计量较大的样本从中剔除；
优选地，T2统计的描述公式如下：
式中，t为原始光谱矩阵X经过PCA降维后的变量，σ为t的标准差，Iter为提取的主成分个数；由于异常样本的T2值会远远大于正常样本，所以计算所有样本库中的光谱样本的T2值，并以99％的置信区间为阈值上限，按照下式，并查F分布表，计算得到阈值，
将样本库中所有样本的T2值与阈值进行比较，剔除大于阈值的样本，建立最终训练集。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述步骤(6)中的相似性指标SI的计算步骤如下所示：
(a)通过Ppca对样本库中所有光谱和待测光谱xp降维后得到新的样本库K’和xp’；
(b)根据下式计算xp’与样本库K’中所有样本之间的欧式距离dip
式中，dip：第i个样本与待测样本xp’之间的欧式距离；
m：为主成分个数；
xi：为第i个样本的主成分得分；
k：为主成分数；
(c)根据下式计算xp’与样本库K’中所有样本之间的夹角余弦值cos(θi)
式中，cos(θip)：第i个样本与待测样本xp’之间的夹角余弦值；
N：为主成分个数；
xik：为第i个样本的第k个主成分得分；
k：为主成分数；
为待测样本的第k个主成分得分；
(d)将(b)、(c)中计算得到的欧式距离dip和夹角余弦值cos(θip)直接带入下式，计算相似度指标SIip
SIip＝ρexp(-dip)+(1-ρ)cos(θip),0≤ρ≤1
(e)对SI从大到小进行排序，选择前n个样本加入训练集，建立局部训练集；
优选地，选择的加入训练集的样本数占样本总数的50％-90％。
8.如权利要求1-7中任一项所述的方法，其特征在于，所述步骤(7)中的波数范围确定包括：
(i)对每个变量设定初始权值m为总变量数；
取迭代次数t＝1，…，g，重复以下步骤：
(ii)计算每一个变量的采样概率并且根据采样概率从所有波数点中抽取k个变量；
(iii)根据选择的k个变量，利用PLS方法建立子模型ht；
(iv)利用偏最小二乘法(PLS)得到的得分矩阵和载荷矩阵重构光谱矩阵D’，并计算每个变量的误差ex；
式中，exj：第j个变量的平均误差；
k：总样本数；
Dij：为第i个样本的第j个变量的原始数；
D′ij：为第i个样本的第j个变量的重构数；
(v)计算误差ey；
式中，ey：均方根误差ey；
k：总样本数；
yi：为第i个样本的真实值；
为第i个样本的预测值；
(vi)将ex与ey带入下式中计算误差
errt＝exj+βey
式中，第t次迭代的误差；
(vii)计算变量的新权值：
权值更新后，进入下一次迭代；
(viii)迭代停止后，对每个变量的权值从大到小进行排序，选取前z个变量作为建立局部模型时使用的变量。
9.如权利要求1-8中任一项所述的方法，其特征在于，步骤(7)中的局部模型是指自适应模型，即对于每一个新得到的待测谱图都会根据待测谱图的特征建立PLS模型。
10.一种基于近红外光谱检测的原油性质预测方法，其特征在于，所述方法包括：
(i)测定待检测原油的近红外光谱图；
(ii)利用权利要求1-9中任一项所述的方法构建得到的用于原油性质预测的局部模型对所述原油性质进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811168280.1A CN109324014B (zh) | 2018-10-08 | 2018-10-08 | 一种自适应的原油性质近红外快速预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811168280.1A CN109324014B (zh) | 2018-10-08 | 2018-10-08 | 一种自适应的原油性质近红外快速预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109324014A true CN109324014A (zh) | 2019-02-12 |
| CN109324014B CN109324014B (zh) | 2021-09-24 |
Family
ID=65261574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811168280.1A Active CN109324014B (zh) | 2018-10-08 | 2018-10-08 | 一种自适应的原油性质近红外快速预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109324014B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109916850A (zh) * | 2019-04-04 | 2019-06-21 | 新疆大学 | 基于近红外光谱显著性分析检测样品理化性质的方法 |
| CN110687072A (zh) * | 2019-10-17 | 2020-01-14 | 山东大学 | 一种基于光谱相似度的校正集和验证集选择及建模方法 |
| CN113094892A (zh) * | 2021-04-02 | 2021-07-09 | 辽宁石油化工大学 | 一种基于数据剔除与局部偏最小二乘的石油浓度预测方法 |
| CN113569951A (zh) * | 2021-07-29 | 2021-10-29 | 山东科技大学 | 一种基于生成对抗网络的近红外定量分析模型构建方法 |
| CN113848260A (zh) * | 2021-08-17 | 2021-12-28 | 广西科技大学 | 一种基于空间角检测大米中石蜡的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676717A (zh) * | 2008-09-19 | 2010-03-24 | 天津天士力制药股份有限公司 | 一种中药制品的质量评价方法 |
| CN107169621A (zh) * | 2017-04-01 | 2017-09-15 | 中国农业大学 | 一种水体溶解氧预测方法及装置 |
| CN107703097A (zh) * | 2017-10-20 | 2018-02-16 | 华东理工大学 | 利用衰减全反射探头与近红外光谱仪构建快速预测原油性质的模型的方法及其应用 |
| CN108362662A (zh) * | 2018-02-12 | 2018-08-03 | 山东大学 | 近红外光谱相似度计算方法、装置和物质定性分析系统 |
-
2018
- 2018-10-08 CN CN201811168280.1A patent/CN109324014B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676717A (zh) * | 2008-09-19 | 2010-03-24 | 天津天士力制药股份有限公司 | 一种中药制品的质量评价方法 |
| CN107169621A (zh) * | 2017-04-01 | 2017-09-15 | 中国农业大学 | 一种水体溶解氧预测方法及装置 |
| CN107703097A (zh) * | 2017-10-20 | 2018-02-16 | 华东理工大学 | 利用衰减全反射探头与近红外光谱仪构建快速预测原油性质的模型的方法及其应用 |
| CN108362662A (zh) * | 2018-02-12 | 2018-08-03 | 山东大学 | 近红外光谱相似度计算方法、装置和物质定性分析系统 |
Non-Patent Citations (3)
| Title |
|---|
| 包鑫等: "基于局部最小二乘支持向量机的光谱定量分析", 《分析化学》 * |
| 宦娟等: "基于K-means聚类和ELM神经网络的养殖水质溶解氧预测", 《农业工程学报》 * |
| 李淑娟: "基于光谱信息的复杂样品集成建模方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109916850A (zh) * | 2019-04-04 | 2019-06-21 | 新疆大学 | 基于近红外光谱显著性分析检测样品理化性质的方法 |
| CN110687072A (zh) * | 2019-10-17 | 2020-01-14 | 山东大学 | 一种基于光谱相似度的校正集和验证集选择及建模方法 |
| WO2021073541A1 (zh) * | 2019-10-17 | 2021-04-22 | 山东大学 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
| CN113094892A (zh) * | 2021-04-02 | 2021-07-09 | 辽宁石油化工大学 | 一种基于数据剔除与局部偏最小二乘的石油浓度预测方法 |
| CN113569951A (zh) * | 2021-07-29 | 2021-10-29 | 山东科技大学 | 一种基于生成对抗网络的近红外定量分析模型构建方法 |
| CN113569951B (zh) * | 2021-07-29 | 2023-11-07 | 山东科技大学 | 一种基于生成对抗网络的近红外定量分析模型构建方法 |
| CN113848260A (zh) * | 2021-08-17 | 2021-12-28 | 广西科技大学 | 一种基于空间角检测大米中石蜡的方法 |
| CN113848260B (zh) * | 2021-08-17 | 2023-08-15 | 广西科技大学 | 一种基于空间角检测大米中石蜡的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109324014B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109324014A (zh) | 一种自适应的原油性质近红外快速预测方法 | |
| CN109324013A (zh) | 一种利用高斯过程回归模型构建原油性质近红外快速分析的方法 | |
| CN105300923B (zh) | 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法 | |
| CN107748146A (zh) | 一种基于近红外光谱检测的原油属性快速预测方法 | |
| CN101995389B (zh) | 一种由近红外光谱快速识别原油种类的方法 | |
| CN107817223A (zh) | 快速无损实时预测原油性质模型的构建方法及其应用 | |
| CN105466884B (zh) | 一种通过近红外光谱识别原油种类及其性质的方法 | |
| Huang et al. | Improved generalization of spectral models associated with Vis-NIR spectroscopy for determining the moisture content of different tea leaves | |
| CN105424641B (zh) | 一种原油种类的近红外光谱识别方法 | |
| CN107703097B (zh) | 利用近红外光谱仪构建快速预测原油性质的模型的方法 | |
| CN108875118B (zh) | 一种高炉铁水硅含量预测模型准确度评价方法和设备 | |
| CN102841069B (zh) | 一种由中红外光谱识别原油种类的方法 | |
| CN108760789A (zh) | 一种原油快评方法 | |
| CN101339150B (zh) | 基于介电谱技术测定汽油辛烷值的方法 | |
| CN105334185A (zh) | 基于光谱投影判别的近红外模型维护方法 | |
| CN105987886B (zh) | 近红外光谱测定加氢裂化尾油性质的方法 | |
| CN107860743A (zh) | 利用反射式近红外光纤探头构建快速预测原油性质的模型的方法及其应用 | |
| Wang et al. | Modeling of oil near-infrared spectroscopy based on similarity and transfer learning algorithm | |
| CN109060771A (zh) | 一种基于光谱不同特征集的共识模型构建方法 | |
| CN108663334B (zh) | 基于多分类器融合寻找土壤养分光谱特征波长的方法 | |
| CN112651173B (zh) | 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统 | |
| CN105954228A (zh) | 基于近红外光谱的油砂中金属钠含量的测量方法 | |
| CN108693139A (zh) | 电子烟油理化指标的近红外光谱预测模型建立方法及应用 | |
| CN105466885A (zh) | 基于无测点温度补偿机制的近红外在线测量方法 | |
| CN107356556A (zh) | 一种近红外光谱定量分析的双集成建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |