CN113657028B - 一种基于多源信息的气溶胶光学厚度在线预测方法 - Google Patents
一种基于多源信息的气溶胶光学厚度在线预测方法 Download PDFInfo
- Publication number
- CN113657028B CN113657028B CN202110898847.6A CN202110898847A CN113657028B CN 113657028 B CN113657028 B CN 113657028B CN 202110898847 A CN202110898847 A CN 202110898847A CN 113657028 B CN113657028 B CN 113657028B
- Authority
- CN
- China
- Prior art keywords
- wind speed
- output
- data
- humidity
- optical thickness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 74
- 239000000443 aerosol Substances 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 47
- 239000012634 fragment Substances 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000000513 principal component analysis Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 67
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000003993 interaction Effects 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000009825 accumulation Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000008054 signal transmission Effects 0.000 abstract description 2
- 241000257303 Hymenoptera Species 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000008033 biological extinction Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于多源信息的气溶胶光学厚度在线预测方法,属于大气信道光信号传输技术领域。包括建立多源数据采集系统,对大气环境参数进行特征提取,构建基于动态极限学习机的非线性映射模型,通过主成分分析进行特征提取,实现了风速、温度、湿度、天空背景亮度等特征的融合,模型的输出参数为气溶胶光学厚度。优点是利用人工蜂群算法进行参数估计,实现权重和偏置的最优选择;根据实时到达的数据片段,更新非线性映射模型,实现气溶胶光学厚度在线预测功能,形成基于动态极限学习机的单隐层神经网络,突破了物理模型驱动方式造成的精度不足和计算困难的瓶颈,为构建多种条件的光学参数在线估计提供了解决方案。
Description
技术领域
本发明属于大气信道光信号传输技术领域,具体涉及一种基于多源信息的气溶胶光学厚度在线预测方法。
背景技术
光学参数估计是光信息传输的关键要素,在大气信道中,由于受到湍流的影响,往往造成光斑偏移、到达角起伏现象,给光学参数估计带来困难。气溶胶光学厚度是判断光学参数的重要支撑,对于确定光学参数数值和变化规律具有重要意义。通过物理方法进行模型建立和反演计算,会造成难以建模或无法求解的瓶颈,影响光学参数估计精度,如何通过数据驱动的方式进行气溶胶光学厚度(Aerosol Optical Depth,AOD)在线预测,对于准确估计光学参数,设计光学通信系统有重要意义。
中国专利《基于气溶胶地基数据的AOD垂直订正效果评价方法及系统》公开号106446307A,提出了一种气溶胶数据计算方法,包括估算近地面气溶胶消光系数和基于能见度仪观测数据反演气溶胶消光系数,利用模拟方法对AOD进行垂直修正,但是并没有考虑不同天气对于气溶胶厚度的影响,无法对AOD的变化趋势进行预测。
中国专利《基于逆方差加权平均的卫星AOD数据的融合方法及系统》公开号106407634A,提供基于逆方差加权平均的卫星AOD数据的融合方法及系统。通过该发明能够提高卫星气溶胶厚度数据覆盖率和融合精度要求。中国专利《一种融合多源特征地理参数的卫星AOD产品校正方法》公开号109213964A,公开了一种气溶胶校正方法,通过随机森林和校正阈值,修正卫星测量的参数,为研究大气PM2.5有效浓度提供参考。但是这两个方法难以满足在线变化的条件,对于阈值的选取有很强的依赖性。
中国专利《基于PM2.5和PM10的气溶胶光学厚度估计方法》公开号106096246A,提供了一种气溶胶估算方法,通过万有引力神经网络模型进行估算,解决反演精度不高,难以实时获取的问题,然而该方法并没有考虑测量数据变化和模型更新的关系,无法满足模型自动调整。中国专利《一种气溶胶光学厚度反演方法》公开号110186823A,通过历史数据建立双向反射率分布函数参数数据库,通过查表法,得到对应的气溶胶光学厚度值,但是这种方法无法计算模型的泛化性能,计算结果只在特定的假设条件下有效。
针对不同需求,极限学习机建模方式被广泛应用,例如中国专利《一种基于ELM-CHMM的电源故障预测方法》公开号109615003A,中国专利《一种融合KPCA和ELM的无线传感器网络入侵检测系统及方法》公开号109818798A,由于极限学习机由于收敛速度快和解析表达明确的特点,有效支撑了复杂系统的软件功能模块。
研究一种基于多源信息的气溶胶光学厚度在线预测方法,不仅能够有效估计光学参数,也能促进大气光通信系统的设计,具有实际应用价值。
发明内容
本发明提供一种基于多源信息的气溶胶光学厚度在线预测方法,充分考虑了多源数据信息和数据的变化趋势,为多种条件下的光学参数在线估计提供了解决方案。
本发明采取的技术方案是,包括下列步骤:
(1)建立多源信息采集系统,用于实现大气环境参数和光学参数的采集及存储;
(2)对大气环境参数进行特征提取,得到风速特征WSD、温度特征TED、湿度特征HUD、天空背景亮度特征LUD,组成输入参数x,气溶胶光学厚度为输出参数y;
(3)采用数据驱动思想,建立基于动态极限学习机(ELM)的非线性映射模型,确定了输入参数和输出参数的关系,利用人工蜂群算法进行优化,确定了非线性映射模型输入权重和偏置的最优解;
(4)对非线性映射模型进行在线更新,计算实时到达数据片段的真实值和预测值的误差,根据误差定量更新非线性映射模型,解析计算非线性映射模型的输出权重,得到下一个数据片段气溶胶光学厚度预测值,实现气溶胶光学厚度在线预测,通过特征提取、非线性模型、模型更新策略,将多源特征进行融合,实现了气溶胶光学厚度在线预测。
本发明所述步骤(1)中多源信息采集系统包括数据采集设备、信息交互终端、数据库,数据采集设备包括激光雷达、地面气象站、背景辐射计,以及对应的数据接口,数据库采用SQL Server存储数据,信息交互终端与数据采集设备进行信息交互,并将采集到的数据信息保存到数据库中;其中地面气象站、背景辐射计和激光雷达用于实现大气环境参数和光学参数的采集,大气环境参数包括地面气象站提供的大气数据风速WS、温度TE、湿度HU,以及背景辐射计采集的天空背景亮度LU,光学参数为气溶胶光学厚度,由激光雷达采集。
本发明所述步骤(2)中大气环境参数特征提取方法如下:
对数据采集系统中存储的大气数据进行主成分分析,包括风速WS、温度TE、湿度HU、天空背景亮度LU,考虑M天的累积效果,第K天风速样本片段WSK写成如下的矩阵形式:
其中,wsKM表示第K个样本片段中第M天的风速值,对风速样本矩阵片段WSK中的每一个风速值进行标准化处理:
其中,ws′km表示第k个样本片段中第m天的风速标准化值,μm、σm分别表示第m天风速样本片段的均值和方差,处理后得到风速标准化矩阵WS′K,并计算风速特征值λWS,1,λWS,2,…λWS,M对应的风速特征向量ηWS,1,ηWS,2,…ηWS,M,将风速特征值从大到小进行排序,计算风速特征值的贡献度,当所选定风速特征值贡献度大于阈值θ1时,确定主成分个数Num1;
对应的风速特征向量集合即为风速特征
考虑M天的累积效果,对第K天温度样本片段TEK进行标准化处理,得到温度标准化矩阵TE′K,计算温度特征值λTE,1,λTE,2,…λTE,M对应的温度特征向量ηTE,1,ηTE,2,…ηTE,M,将温度特征值从大到小进行排序,计算温度特征值的贡献度,当所选定温度特征值贡献度大于阈值θ2时,确定主成分个数Num2;
对应的温度特征向量集合即为温度特征
考虑M天的累积效果,对第K天湿度样本片段HUK进行标准化处理,得到湿度标准化矩阵HU′K,计算湿度特征值λHU,1,λHU,2,…λHU,M对应的湿度特征向量ηHU,1,ηHU,2,…ηHU,M,将湿度特征值从大到小进行排序,计算湿度特征值的贡献度,当所选定湿度特征值贡献度大于阈值θ3时,确定主成分个数Num3
对应的湿度特征向量集合即为湿度特征
考虑M天的累积效果,对第K天天空背景亮度样本片段LUK进行标准化处理,得到天空背景亮度标准化矩阵LU′K,计算天空背景亮度特征值λLU,1,λLU,2,…λLU,M对应的天空背景亮度特征向量ηLU,1,ηLU,2,…ηLU,M,将天空背景亮度特征值从大到小进行排序,计算天空背景亮度特征值的贡献度,当所选定天空背景亮度特征值贡献度大于阈值θ4时,确定主成分个数Num4;
对应的天空背景亮度特征向量集合即为天空背景亮度特征
输入参数x即为风速特征TED、温度特征TED、湿度特征HUD、天空背景亮度特征LUD的集合,即x=(WSD,TED,HUD,LUD)。
本发明所述步骤(3)中非线性映射模型的构建包含输入层、隐层、输出层的3层神经网络结构,考虑新到达的样本数据,数据采样长度为N,初始阶段,输入层为N个节点,隐层为L个节点,输出层为1个节点,对输入参数x和输出参数y进行采样与合并,得到样本数据xi代表x的第i个输入参数,yi代表y的第i个输出参数,非线性映射模型输入输出关系如下:
其中,a和b分别为输入权重和偏置,β为输出层权重,L为神经网络隐层节点数目,为激活函数,从整体上考虑节点间的映射关系,根据极限学习机理论,输入层节点和隐层之间的权重和偏置随机选取,输出权重β是整个网络中唯一需要求解的变量,通过Moore-Penrose广义逆计算,公式(7)可以表示成如下的矩阵形式:
y=Hβ······························(8)
其中,y=[y1,y2,...,yN]T代表了当前片段的气溶胶光学厚度,引入非线性模型中隐层矩阵H进行计算,H为N行L列的随机矩阵,具体表达式为:
其中,为激活函数,实现非线性映射,保证了函数在区间内存在导数,为了进一步计算输出权重β,计算H的Moore-Penrose广义逆/>
H+=(HTH)-1HT·················(10)
采用求解Moore-Penrose广义逆的形式,得到输出权重β的最优解β*:
β*=H+y····························(11)
进一步优化输入权重和偏置,对权重和偏置进行字符串编码,得到候选解向量集合E=(a,b),具体形式如下:
候选向量集合的边界为最大值和最小值的解向量,在这里,表示为Emax={max(e)|e∈E}和Emin={min(e)|e∈E},其中,e表示每个元素都满足边界条件的一组集合,根据人工蜂群算法进行优化,在初始条件下,输入权重、偏置的解向量表示为:
Eh,j=Emin,j+ω×(Emax,j-Emin,j)···················(13)
Emin,j和Emax,j分别表示第j个输入解向量的最大值和最小值,ω均匀分布于区间[-1,1],进行最优解向量搜索,得到如下的更新策略:
其中,Eh,j表示当前的解向量,表示新的可行的解向量,h、j和r均为指示标识,uh,j在区间[-1,1]范围内随机变化,计算适应度,选择最优的解向量:
其中,num表示迭代次数,完成迭代后,最优的解向量将被更新,得到最优的输入权重a*、偏置b*,于是,非线性模型的表达式最优解为:
本发明所述步骤(4)中非线性映射模型更新方法是:
在初始阶段,得到输出权重新的样本片段/>到达后,计算实时到达数据片段的真实值和预测值的误差,表示为:
其中,N0和N1分别表示当前样本片段的起始位置和截止位置,H1和y1分别表示新到达片段的隐层输出和标签集合,β1表示当前非线性模型输出权重,在当前输出权重的基础上,得到β1表达式为:
将上面的表达式分为两部分考虑,引入中间变量根据矩阵乘法结合律,前一部分矩阵的表达式为:
在当前的片段状态下,H1和K0均为已知条件,进一步代入到整体的输出层权重表达式中,可以得到模型更新阶段的输出权重β1的表达式:
进一步进行迭代计算,就得到了第(k+1)片段对应的中间变量Kk+1表达式
进一步进行迭代计算,就得到了第(k+1)片段对应的非线性映射模型输出权重βk+1的最优解:
在线更新后的模型表达式为:
将输入参数x代入到更新后的模型,就可以计算得到气溶胶光学厚度y,实现气溶胶光学厚度的在线预测。
本发明建立了多源数据采集系统,通过信息交互终端,实现了数据采集设备到数据库的信息交互。数据采集设备实现了风速、温度、湿度、天空背景亮度等数据的采集,并通过数据接口传递到信息交互终端,通过数据处理操作,实现数据存储。在多源数据采集系统基础上,构建了非线性映射模型,设计神经网络结构,并实现神经网络权重和偏置的优化,得到气溶胶光学厚度的映射模型。通过实时采集的数据进行非线性模型更新,实现对气溶胶光学厚度的在线预测方法。
本发明优点是:
(1)本发明考虑了多源数据采集系统,存储了环境参数和光学参数,通过数据驱动的思想建立了非线性映射模型,实现了气溶胶光学参数在线预测,突破了物理模型驱动方式造成的精度不足和难以计算的瓶颈。
(2)通过主成分分析进行特征提取,利用动态极限学习机构建神经网络,优化了权重和偏置,得到了可适应在线环境的输入、输出关系。
(3)依托于多源信息处理方案,根据当前数据片段定量调整模型,避免了模型的重新学习,实现整个预测过程的自动化,为复杂系统智能化处理提供解决方案,对工程实践有一定的普适性。
附图说明
图1是本发明多源数据采集系统;
图2是本发明非线性映射模型;
图3是本发明的流程图。
具体实施方式
包括下列步骤:
(1)建立多源信息采集系统,用于实现大气环境参数和光学参数的采集及存储;
(2)对大气环境参数进行特征提取,得到风速特征WSD、温度特征TED、湿度特征HUD、天空背景亮度特征LUD,组成输入参数x,气溶胶光学厚度为输出参数y;
(3)采用数据驱动思想,建立基于动态极限学习机(ELM)的非线性映射模型,确定了输入参数和输出参数的关系,利用人工蜂群算法进行优化,确定了非线性映射模型输入权重和偏置的最优解;
(4)对非线性映射模型进行在线更新,计算实时到达数据片段的真实值和预测值的误差,根据误差定量更新非线性映射模型,解析计算非线性映射模型的输出权重,得到下一个数据片段气溶胶光学厚度预测值,实现气溶胶光学厚度在线预测,通过特征提取、非线性模型、模型更新策略,将多源特征进行融合,实现了气溶胶光学厚度在线预测。
本发明所述步骤(1)中多源信息采集系统包括数据采集设备、信息交互终端、数据库,数据采集设备包括激光雷达、地面气象站、背景辐射计,以及对应的数据接口,数据库采用SQL Server存储数据,信息交互终端与数据采集设备进行信息交互,并将采集到的数据信息保存到数据库中;其中地面气象站、背景辐射计和激光雷达用于实现大气环境参数和光学参数的采集,大气环境参数包括地面气象站提供的大气数据风速WS、温度TE、湿度HU,以及背景辐射计采集的天空背景亮度LU,光学参数为气溶胶光学厚度,由激光雷达采集;
本发明所述步骤(2)中大气环境参数特征提取方法如下:
对数据采集系统中存储的大气数据进行主成分分析,包括风速WS、温度TE、湿度HU、天空背景亮度LU,考虑M天的累积效果,第K天风速样本片段WSK写成如下的矩阵形式:
其中,wsKM表示第K个样本片段中第M天的风速值,对风速样本矩阵片段WSK中的每一个风速值进行标准化处理:
其中,ws′km表示第k个样本片段中第m天的风速标准化值,μm、σm分别表示第m天风速样本片段的均值和方差,处理后得到风速标准化矩阵WS′K,并计算风速特征值λWS,1,λWS,2,…λWS,M对应的风速特征向量ηWS,1,ηWS,2,…ηWS,M,将风速特征值从大到小进行排序,计算风速特征值的贡献度,当所选定风速特征值贡献度大于阈值θ1时,确定主成分个数Num1;
对应的风速特征向量集合即为风速特征
考虑M天的累积效果,对第K天温度样本片段TEK进行标准化处理,得到温度标准化矩阵TE′K,计算温度特征值λTE,1,λTE,2,…λTE,M对应的温度特征向量ηTE,1,ηTE,2,…ηTE,M,将温度特征值从大到小进行排序,计算温度特征值的贡献度,当所选定温度特征值贡献度大于阈值θ2时,确定主成分个数Num2;
对应的温度特征向量集合即为温度特征
考虑M天的累积效果,对第K天湿度样本片段HUK进行标准化处理,得到湿度标准化矩阵HU′K,计算湿度特征值λHU,1,λHU,2,…λHU,M对应的湿度特征向量ηHU,1,ηHU,2,…ηHU,M,将湿度特征值从大到小进行排序,计算湿度特征值的贡献度,当所选定湿度特征值贡献度大于阈值θ3时,确定主成分个数Num3
对应的湿度特征向量集合即为湿度特征
考虑M天的累积效果,对第K天天空背景亮度样本片段LUK进行标准化处理,得到天空背景亮度标准化矩阵LU′K,计算天空背景亮度特征值λLU,1,λLU,2,…λLU,M对应的天空背景亮度特征向量ηLU,1,ηLU,2,…ηLU,M,将天空背景亮度特征值从大到小进行排序,计算天空背景亮度特征值的贡献度,当所选定天空背景亮度特征值贡献度大于阈值θ4时,确定主成分个数Num4;
对应的天空背景亮度特征向量集合即为天空背景亮度特征
输入参数x即为风速特征TED、温度特征TED、湿度特征HUD、天空背景亮度特征LUD的集合,即x=(WSD,TED,HUD,LUD);
本发明所述步骤(3)中非线性映射模型的构建包含输入层、隐层、输出层的3层神经网络结构,考虑新到达的样本数据,数据采样长度为N,初始阶段,输入层为N个节点,隐层为L个节点,输出层为1个节点,对输入参数x和输出参数y进行采样与合并,得到样本数据xi代表x的第i个输入参数,yi代表y的第i个输出参数,非线性映射模型输入输出关系如下:
其中,a和b分别为输入权重和偏置,β为输出层权重,L为神经网络隐层节点数目,为激活函数,从整体上考虑节点间的映射关系,根据极限学习机理论,输入层节点和隐层之间的权重和偏置随机选取,输出权重β是整个网络中唯一需要求解的变量,通过Moore-Penrose广义逆计算,公式(7)可以表示成如下的矩阵形式:
y=Hβ·····························(8)
其中,y=[y1,y2,...,yN]T代表了当前片段的气溶胶光学厚度,引入非线性模型中隐层矩阵H进行计算,H为N行L列的随机矩阵,具体表达式为:
其中,为激活函数,实现非线性映射,保证了函数在区间内存在导数,为了进一步计算输出权重β,计算H的Moore-Penrose广义逆/>
H+=(HTH)-1HT·················(10)
采用求解Moore-Penrose广义逆的形式,得到输出权重β的最优解β*:
β*=H+y····························(11)
进一步优化输入权重和偏置,对权重和偏置进行字符串编码,得到候选解向量集合E=(a,b),具体形式如下:
候选向量集合的边界为最大值和最小值的解向量,在这里,表示为Emax={max(e)|e∈E}和Emin={min(e)|e∈E},其中,e表示每个元素都满足边界条件的一组集合,根据人工蜂群算法进行优化,在初始条件下,输入权重、偏置的解向量表示为:
Eh,j=Emin,j+ω×(Emax,j-Emin,j)···················(13)
Emin,j和Emax,j分别表示第j个输入解向量的最大值和最小值,ω均匀分布于区间[-1,1],进行最优解向量搜索,得到如下的更新策略:
其中,Eh,j表示当前的解向量,表示新的可行的解向量,h、j和r均为指示标识。uh,j在区间[-1,1]范围内随机变化。计算适应度,选择最优的解向量:
其中,num表示迭代次数,完成迭代后,最优的解向量将被更新,得到最优的输入权重a*、偏置b*,于是,非线性模型的表达式最优解为:
本发明所述步骤(4)中非线性映射模型更新方法是:
在初始阶段,得到输出权重新的样本片段/>到达后,计算实时到达数据片段的真实值和预测值的误差,表示为:
其中,N0和N1分别表示当前样本片段的起始位置和截止位置,H1和y1分别表示新到达片段的隐层输出和标签集合,β1表示当前非线性模型输出权重,在当前输出权重的基础上,得到β1表达式为:
将上面的表达式分为两部分考虑,引入中间变量根据矩阵乘法结合律,前一部分矩阵的表达式为:
在当前的片段状态下,H1和K0均为已知条件,进一步代入到整体的输出层权重表达式中,可以得到模型更新阶段的输出权重β1的表达式:
进一步进行迭代计算,就得到了第(k+1)片段对应的中间变量Kk+1表达式
进一步进行迭代计算,就得到了第(k+1)片段对应的非线性映射模型输出权重βk+1的最优解:
在线更新后的模型表达式为:
将输入参数x代入到更新后的模型,就可以计算得到气溶胶光学厚度y,实现气溶胶光学厚度的在线预测。在整个求解过程中,非线性模型不需要重新学习,根据到达的数据就能对模型权重进行更新,实现气溶胶光学厚度在线预测功能。
下面结合附图对本发明进行具体说明。
(1)、搭建多源数据采集系统,具体形式如图1所示,激光雷达采集气溶胶光学厚度信息,地面气象站采集风速、温度、湿度信息,背景辐射计采集天空背景亮度信息,信息交互终端为普通计算机,可以与数据采集设备实现信息交互。数据库中加载了SQLServer软件,通过维护数据表实现数据存储功能;
激光雷达通过RJ45网络接口与信息交互终端相连,背景辐射计和地面气象站采用RS232接口与信息交互终端进行串口通信,在信息采集的过程中,信息交互终端向数据采集设备发送采集命令,数据采集设备通过数据接口将数据信息传递到信息交互终端,实现信息交互,
(2)、实现特征提取。将采集到的数据进行整理,通过主成分分析分别考虑风速、温度、湿度、天空背景亮度的累积效果,以1天为数据采集周期,每间隔半小时为1个采样点,每天为48个样本向量,考虑当前时间节点前7天的数据,形成48行7列的样本片段矩阵;
对数据采集系统中存储的大气数据进行主成分分析,包括风速WS、温度TE、湿度HU、天空背景亮度LU,考虑M天的累积效果,第K天风速样本片段WSK可以写成如下的矩阵形式:
其中,wsKM表示第K个样本片段中第M天的风速值,对风速样本矩阵片段WSK中的每一个风速值进行标准化处理:
其中,ws′km表示第k个样本片段中第m天的风速标准化值,μm、σm分别表示第m天风速样本片段的均值和方差,处理后得到风速标准化矩阵WS′K,并计算风速特征值λWS,1,λWS,2,…λWS,M对应的风速特征向量ηWS,1,ηWS,2,…ηWS,M,将风速特征值从大到小进行排序,计算风速特征值的贡献度,当所选定风速特征值贡献度大于阈值θ1=0.90时,确定主成分个数Num1;
对应的风速特征向量集合即为风速特征
考虑M天的累积效果,对第K天温度样本片段TEK进行标准化处理,得到温度标准化矩阵TE′K,计算温度特征值λTE,1,λTE,2,…λTE,M对应的温度特征向量ηTE,1,ηTE,2,…ηTE,M,将温度特征值从大到小进行排序,计算温度特征值的贡献度,当所选定温度特征值贡献度大于阈值θ2=0.85时,确定主成分个数Num2
对应的温度特征向量集合即为温度特征
考虑M天的累积效果,对第K天湿度样本片段HUK进行标准化处理,得到湿度标准化矩阵HU′K,计算湿度特征值λHU,1,λHU,2,…λHU,M对应的湿度特征向量ηHU,1,ηHU,2,…ηHU,M,将湿度特征值从大到小进行排序,计算湿度特征值的贡献度,当所选定湿度特征值贡献度大于阈值θ3=0.85时,确定主成分个数Num3
对应的湿度特征向量集合即为湿度特征
考虑M天的累积效果,对第K天天空背景亮度样本片段LUK进行标准化处理,得到天空背景亮度标准化矩阵LU′K,计算天空背景亮度特征值λLU,1,λLU,2,…λLU,M对应的天空背景亮度特征向量ηLU,1,ηLU,2,…ηLU,M,将天空背景亮度特征值从大到小进行排序,计算天空背景亮度特征值的贡献度,当所选定天空背景亮度特征值贡献度大于阈值θ4=0.80时,确定主成分个数Num4;
对应的天空背景亮度特征向量集合即为天空背景亮度特征
输入参数x即为风速特征TED、温度特征TED、湿度特征HUD、天空背景亮度特征LUD的集合,即x=(WSD,TED,HUD,LUD);
(3)采用数据驱动思想,建立基于动态极限学习机(ELM)的非线性映射模型,确定了输入参数和输出参数的关系,利用人工蜂群算法进行优化,确定了非线性映射模型输入权重和偏置的最优解;其中:
非线性映射模型的构建包含输入层、隐层、输出层的3层神经网络结构,考虑新到达的样本数据,数据采样长度为48,初始阶段,输入层为48个节点,隐层为50个节点,输出层为1个节点,其中,输入层节点和隐层之间为全相关连接,隐层和输出层之间为全相关连接,输入层权重为48行50列的矩阵,偏置为1行50列的矩阵,对输入参数x和输出参数y进行采样与合并,得到样本数据xi代表x的第i个输入参数,yi代表y的第i个输出参数,非线性映射模型输入输出关系如下:
其中,a和b分别为输入权重和偏置,β为输出层权重,L为神经网络隐层节点数目,为激活函数,从整体上考虑节点间的映射关系,根据极限学习机理论,输入层节点和隐层之间的权重和偏置随机选取,输出权重β是整个网络中唯一需要求解的变量,通过Moore-Penrose广义逆计算,公式(7)可以表示成如下的矩阵形式:
y=Hβ·····················(8)
其中,y=[y1,y2,...,yN]T代表了当前片段的气溶胶光学厚度,引入非线性模型中隐层矩阵H进行计算,H为48行50列的随机矩阵,具体表达式为:
其中,非线性模型的输入参数可以表示为x=[x1,x2,...,xN]T,融合了多个特征;
计算输出权重。输入层节点和隐层之间的权重和偏置随机选取,隐层和输出层之间的权重通过M-P广义逆计算。通过M-P广义逆得到输出权重,隐层矩阵H的广义逆
H+=(HTH)-1HT·········(10)
满足误差最小的条件,β是整个网络中唯一需要求解的变量,y=[y1,y2,...,yN]T代表了当前片段的气溶胶光学厚度值。通过M-P广义逆,得到输出权重的表达式;
β*=H+y····························(11)
进一步对权重和偏置进行优化,将权重和偏置进行字符串编码,得到候选向量集合,具体形式如下:
/>
候选向量集合的边界为最大值和最小值的解向量,e表示每个元素都满足边界条件的一组集合,Emax={max(e)|e∈E}和Emin={min(e)|e∈E}。根据人工蜂群算法进行优化,人工蜂群算法类比蜜蜂进行食物查找,实现多参数优化,主要考虑三种形式,包括通过雇佣蜂、跟随蜂和侦查蜂,三种蜜蜂写作完成信息搜索任务。在进行最优的权重和偏置求解的过程中,雇佣蜂首先进行信息的查找,并将查找的结果进行反馈,跟随蜂接收到反馈回来的信息,然后继续在最优向量周围搜索,如果发现更优解,则进行更新;否则,放弃当前解,侦查蜂继续寻找。最终雇佣蜂实现最优解附近局部搜索,侦查蜂完成全局搜索,整个算法收敛,通过优化得到非线性映射模型权重和偏置的最优解向量;
在得到第j个输入解向量的最大值和最小值Emin,j和Emax,j的基础上,计算初始条件下的边界组合,权重解向量表示为:
Eh,j=Emin,j+ω×(Emax,j-Emin,j)··················(13)
确定更新参数,此时得到在区间[-1,1]范围内随机变化的uh,j,然后通过最优向量搜索,得到候选向量更新策略:
通过随机变量uh,j的迭代,实现不同权重和偏置条件下适应度的计算:
在这里,迭代次数num为50,完成迭代后,最优的解向量将被更新,得到最优的输入权重a*、偏置b*,综合神经网络各层的权重和偏置,得到输入参数和输出参数的关系模型:
初始阶段神经网络输入层为48个节点,隐层为50个节点,输出层为1个节点。确定非线性映射模型的所有参数,就得到了输入参数和输出参数关系,即风速、温度、湿度、天空背景亮度与气溶胶光学厚度的解析关系,初始阶段得到的输出权重表示为:
(4)、进行模型更新,新的样本片段到达后,根据采集到的数据片段计算样本的近似误差,目标函数表示为:
N0和N1分别表示当前样本片段的起始位置和截止位置,H1和Y1分别表示新到达片段的隐层输出和标签集合,β1表表示当前非线性模型权重。在当前输出权重的基础上,得到输出层权重表达式为:
分别考虑表达式的前后两部分,引入中间变量通过矩阵乘法结合律,计算前一部分矩阵的表达式为:/>
考虑β1表达式的后一部分,利用矩阵乘法原理进行展开,得到:
在当前输出权重的基础上,将新的输入参数代入到非线性模型中,通过矩阵变换得到输出权重的表达式,在当前时刻,H1和K0均为已知条件,计算模型更新阶段的输出权重为:
在计算过程中,引入中间变量随机矩阵K,实现当前片段输入参数和输出参数的映射表达,进一步得到了每一次迭代之后,第(k+1)片段的表达式:
计算气溶胶光学厚度,将新片段的输入参数信息代入到非线性模型中,通过神经网络计算,得到输出参数数值;
最后通过反归一化,就得到了最终气溶胶光学厚度的预测结果。
Claims (2)
1.一种基于多源信息的气溶胶光学厚度在线预测方法,其特征在于,包括下列步骤:
(1)建立多源信息采集系统,用于实现大气环境参数和光学参数的采集及存储;
(2)对大气环境参数进行特征提取,得到风速特征WSD、温度特征TED、湿度特征HUD、天空背景亮度特征LUD,组成输入参数x,气溶胶光学厚度为输出参数y;
所述大气环境参数特征提取方法如下:
对数据采集系统中存储的大气数据进行主成分分析,包括风速WS、温度TE、湿度HU、天空背景亮度LU,考虑M天的累积效果,第K天风速样本片段WSK写成如下的矩阵形式:
其中,wsKM表示第K个样本片段中第M天的风速值,对风速样本矩阵片段WSK中的每一个风速值进行标准化处理:
其中,ws′km表示第k个样本片段中第m天的风速标准化值,μm、σm分别表示第m天风速样本片段的均值和方差,处理后得到风速标准化矩阵WS′K,并计算风速特征值λWS,1,λWS,2,...λWS,M对应的风速特征向量ηWS,1,ηWS,2,...ηWS,M,将风速特征值从大到小进行排序,计算风速特征值的贡献度,当所选定风速特征值贡献度大于阈值θ1时,确定主成分个数Num1;
对应的风速特征向量集合即为风速特征
考虑M天的累积效果,对第K天温度样本片段TEK进行标准化处理,得到温度标准化矩阵TE′K,计算温度特征值λTE,1,λTE,2,...λTE,M对应的温度特征向量ηTE,1,ηTE,2,...ηTE,M,将温度特征值从大到小进行排序,计算温度特征值的贡献度,当所选定温度特征值贡献度大于阈值θ2时,确定主成分个数Num2;
对应的温度特征向量集合即为温度特征
考虑M天的累积效果,对第K天湿度样本片段HUK进行标准化处理,得到湿度标准化矩阵HU′K,计算湿度特征值λHU,1,λHU,2,...λHU,M对应的湿度特征向量ηHU,1,ηHU,2,...ηHU,M,将湿度特征值从大到小进行排序,计算湿度特征值的贡献度,当所选定湿度特征值贡献度大于阈值θ3时,确定主成分个数Num3
对应的湿度特征向量集合即为湿度特征
考虑M天的累积效果,对第K天天空背景亮度样本片段LUK进行标准化处理,得到天空背景亮度标准化矩阵LU′K,计算天空背景亮度特征值λLU,1,λLU,2,...λLU,M对应的天空背景亮度特征向量ηLU,1,ηLU,2,...ηLU,M,将天空背景亮度特征值从大到小进行排序,计算天空背景亮度特征值的贡献度,当所选定天空背景亮度特征值贡献度大于阈值θ4时,确定主成分个数Num4;
对应的天空背景亮度特征向量集合即为天空背景亮度特征
输入参数x即为风速特征TED、温度特征TED、湿度特征HUD、天空背景亮度特征LUD的集合,即x=(WSD,TED,HUD,LUD);
(3)采用数据驱动思想,建立基于动态极限学习机(ELM)的非线性映射模型,确定了输入参数和输出参数的关系,利用人工蜂群算法进行优化,确定了非线性映射模型输入权重和偏置的最优解;
所述非线性映射模型的构建包含输入层、隐层、输出层的3层神经网络结构,考虑新到达的样本数据,数据采样长度为N,初始阶段,输入层为N个节点,隐层为L个节点,输出层为1个节点,对输入参数x和输出参数y进行采样与合并,得到样本数据xi代表x的第i个输入参数,yi代表y的第i个输出参数,非线性映射模型输入输出关系如下:
其中,a和b分别为输入权重和偏置,β为输出层权重,L为神经网络隐层节点数目,为激活函数,从整体上考虑节点间的映射关系,根据极限学习机理论,输入层节点和隐层之间的权重和偏置随机选取,输出权重β是整个网络中唯一需要求解的变量,通过Moore-Penrose广义逆计算,公式(7)可以表示成如下的矩阵形式:
y=Hβ································ (8)
其中,y=[y1,y2,...,yN]T代表了当前片段的气溶胶光学厚度,引入非线性模型中隐层矩阵H进行计算,H为N行L列的随机矩阵,具体表达式为:
其中,为激活函数,实现非线性映射,保证了函数在区间内存在导数,为了进一步计算输出权重β,计算H的Moore-Penrose广义逆/>
H+=(HTH)-1HT···························(10)
采用求解Moore-Penrose广义逆的形式,得到输出权重β的最优解β*:
β*=H+y···························(11)
进一步优化输入权重和偏置,对权重和偏置进行字符串编码,得到候选解向量集合E=(a,b),具体形式如下:
候选向量集合的边界为最大值和最小值的解向量,在这里,表示为Emax={max(e)|e∈E}和Emin={min(e)|e∈E},其中,e表示每个元素都满足边界条件的一组集合,根据人工蜂群算法进行优化,在初始条件下,输入权重、偏置的解向量表示为:
Eh,j=Emin,j+ω×(Emax,j-Emin,j)····················(13)
Emin,j和Emax,j分别表示第j个输入解向量的最大值和最小值,ω均匀分布于区间[-1,1],进行最优解向量搜索,得到如下的更新策略:
其中,Eh,j表示当前的解向量,表示新的可行的解向量,h、j和r均为指示标识,uh,j在区间[-1,1]范围内随机变化,计算适应度,选择最优的解向量:
其中,num表示迭代次数,完成迭代后,最优的解向量将被更新,得到最优的输入权重a*、偏置b*,于是,非线性模型的表达式最优解为:
(4)对非线性映射模型进行在线更新,计算实时到达数据片段的真实值和预测值的误差,根据误差定量更新非线性映射模型,解析计算非线性映射模型的输出权重,得到下一个数据片段气溶胶光学厚度预测值,实现气溶胶光学厚度在线预测,通过特征提取、非线性模型、模型更新策略,将多源特征进行融合,实现了气溶胶光学厚度在线预测;
所述非线性映射模型更新方法是:
在初始阶段,得到输出权重:新的样本片段/>到达后,计算实时到达数据片段的真实值和预测值的误差,表示为:
其中,N0和N1分别表示当前样本片段的起始位置和截止位置,H1和y1分别表示新到达片段的隐层输出和标签集合,β1表示当前非线性模型输出权重,在当前输出权重的基础上,得到β1表达式为:
将上面的表达式分为两部分考虑,引入中间变量根据矩阵乘法结合律,前一部分矩阵的表达式为:
在当前的片段状态下,H1和K0均为已知条件,进一步代入到整体的输出层权重表达式中,可以得到模型更新阶段的输出权重β1的表达式:
进一步进行迭代计算,就得到了第(k+1)片段对应的中间变量Kk+1表达式
进一步进行迭代计算,就得到了第(k+1)片段对应的非线性映射模型输出权重βk+1的最优解:
在线更新后的模型表达式为:
将输入参数x代入到更新后的模型,计算得到气溶胶光学厚度y,实现气溶胶光学厚度的在线预测。
2.根据权利要求1所述的一种基于多源信息的气溶胶光学厚度在线预测方法,其特征在于,所述步骤(1)中多源信息采集系统包括数据采集设备、信息交互终端、数据库,数据采集设备包括激光雷达、地面气象站、背景辐射计,以及对应的数据接口,数据库采用SQLServer存储数据,信息交互终端与数据采集设备进行信息交互,并将采集到的数据信息保存到数据库中;其中地面气象站、背景辐射计和激光雷达用于实现大气环境参数和光学参数的采集,大气环境参数包括地面气象站提供的大气数据风速WS、温度TE、湿度HU,以及背景辐射计采集的天空背景亮度LU,光学参数为气溶胶光学厚度,由激光雷达采集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110898847.6A CN113657028B (zh) | 2021-08-05 | 2021-08-05 | 一种基于多源信息的气溶胶光学厚度在线预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110898847.6A CN113657028B (zh) | 2021-08-05 | 2021-08-05 | 一种基于多源信息的气溶胶光学厚度在线预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113657028A CN113657028A (zh) | 2021-11-16 |
CN113657028B true CN113657028B (zh) | 2023-10-20 |
Family
ID=78490420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110898847.6A Active CN113657028B (zh) | 2021-08-05 | 2021-08-05 | 一种基于多源信息的气溶胶光学厚度在线预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113657028B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114279915A (zh) * | 2021-12-24 | 2022-04-05 | 青岛镭测创芯科技有限公司 | 一种大气颗粒物浓度反演方法及相关组件 |
CN115081557A (zh) * | 2022-08-22 | 2022-09-20 | 北华航天工业学院 | 基于地面监测数据的夜间气溶胶光学厚度估算方法和系统 |
CN116843456B (zh) * | 2023-08-29 | 2023-11-07 | 北京燕知信科技服务有限公司 | 基于人工智能的金融大数据处理方法及系统 |
CN117350440A (zh) * | 2023-12-04 | 2024-01-05 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种区域气溶胶光学厚度的时空预测模型及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106933585A (zh) * | 2017-03-07 | 2017-07-07 | 吉林大学 | 一种分布式云环境下的自适应多通道界面选择方法 |
CN111859800A (zh) * | 2020-07-15 | 2020-10-30 | 河海大学 | 用于pm2.5浓度分布的时空估算和预测的方法 |
CN111861784A (zh) * | 2020-06-01 | 2020-10-30 | 大唐东北电力试验研究院有限公司 | 基于人工蜂群优化神经网络的光伏发电功率短期预测方法 |
-
2021
- 2021-08-05 CN CN202110898847.6A patent/CN113657028B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106933585A (zh) * | 2017-03-07 | 2017-07-07 | 吉林大学 | 一种分布式云环境下的自适应多通道界面选择方法 |
CN111861784A (zh) * | 2020-06-01 | 2020-10-30 | 大唐东北电力试验研究院有限公司 | 基于人工蜂群优化神经网络的光伏发电功率短期预测方法 |
CN111859800A (zh) * | 2020-07-15 | 2020-10-30 | 河海大学 | 用于pm2.5浓度分布的时空估算和预测的方法 |
Non-Patent Citations (2)
Title |
---|
Application of an improved artificial bee colony algorithm to inverse problem of aerosol optical constants from spectral measurement data;Zhenzong He et al.,;Optik;316-329 * |
无线光通信中的大气影响机理及抑制技术研究;陈纯毅;中国博士学位论文全文数据库 信息科技辑;I136-42 * |
Also Published As
Publication number | Publication date |
---|---|
CN113657028A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113657028B (zh) | 一种基于多源信息的气溶胶光学厚度在线预测方法 | |
CN109214592B (zh) | 一种多模型融合的深度学习的空气质量预测方法 | |
CN109523013B (zh) | 基于浅层卷积神经网络的空气颗粒物污染程度估计方法 | |
CN111815033A (zh) | 一种基于rcnn和气象时序特征的海上风电功率预测方法 | |
CN111461413B (zh) | 一种公路路面使用性能检测系统 | |
CN111310965A (zh) | 一种基于lstm网络的飞行器航迹预测方法 | |
CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
CN115347571B (zh) | 基于迁移学习的光伏发电功率短期预测方法及装置 | |
CN114444378A (zh) | 一种区域风电集群的短期功率预测方法 | |
CN107703554A (zh) | 多通道毫米波辐射计温湿廓线反演系统及其反演方法 | |
CN109214591B (zh) | 一种木本植物地上生物量预测方法及系统 | |
CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
CN116957838A (zh) | 一种基于知识图表示学习的农作物生长环境监测方法 | |
CN112818608A (zh) | 一种基于改进的粒子群优化算法与支持向量机的中长期径流预报方法 | |
CN114399073A (zh) | 一种基于深度学习的海洋表面温度场预测方法 | |
CN114154401A (zh) | 基于机器学习和观测数据的土壤侵蚀模数计算方法及系统 | |
CN115204032A (zh) | 一种基于多通道智能模型的enso预测方法及装置 | |
CN116992779A (zh) | 基于数字孪生模型的光伏储能系统仿真方法及系统 | |
CN112070272A (zh) | 一种输电线路的覆冰厚度预测方法及装置 | |
Lu et al. | Forecasting multi-step ahead monthly reference evapotranspiration using hybrid extreme gradient boosting with grey wolf optimization algorithm | |
CN113095547B (zh) | 一种基于gra-lstm-ice模型的短期风功率预测方法 | |
CN114925947B (zh) | 一种物候自适应的作物生理指标深度学习估测方法及系统 | |
CN116189794A (zh) | 一种夯土水盐含量测量方法 | |
CN115907204A (zh) | 麻雀搜索算法优化bp神经网络的林木蒸腾耗水预测方法 | |
CN115630566A (zh) | 一种基于深度学习和动力约束的资料同化方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |