CN110108672A - 一种基于深度信念网络的气溶胶消光系数反演方法 - Google Patents

一种基于深度信念网络的气溶胶消光系数反演方法 Download PDF

Info

Publication number
CN110108672A
CN110108672A CN201910293077.5A CN201910293077A CN110108672A CN 110108672 A CN110108672 A CN 110108672A CN 201910293077 A CN201910293077 A CN 201910293077A CN 110108672 A CN110108672 A CN 110108672A
Authority
CN
China
Prior art keywords
layer
network
belief network
deepness belief
rbm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910293077.5A
Other languages
English (en)
Other versions
CN110108672B (zh
Inventor
常建华
李红旭
张露瑶
毛仁祥
张树益
豆晓雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201910293077.5A priority Critical patent/CN110108672B/zh
Publication of CN110108672A publication Critical patent/CN110108672A/zh
Application granted granted Critical
Publication of CN110108672B publication Critical patent/CN110108672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于深度信念网络的气溶胶消光系数反演方法,包括如下步骤:S1:获取米散射激光雷达的回波功率信号和拉曼激光雷达反演得到的气溶胶消光系数,形成训练和测试样本集;S2:获得归一化后的训练样本集;S3:根据归一化后的训练样本集构建深度信念网络,调整网络参数,训练网络;S4:将测试样本集的回波功率信号输入优化后的网络,获得网络输出;将网络输出结果与测试样本集的气溶胶消光系数进行比对,判断是否满足预期;S5:如果比对结果满足预期,则网络优化结束;如果不满足,则返回S3继续训练深度信念网络,直到比对结果满足预期。本发明提高了米散射激光雷达的探测精度,实现了气溶胶消光系数的快速、准确反演。

Description

一种基于深度信念网络的气溶胶消光系数反演方法
技术领域
本发明属于气溶胶测量技术领域,尤其涉及一种基于深度信念网络的气溶胶消光系数反演方法。
背景技术
大气气溶胶在大气成分中仅仅占据很小的比例,然而却对气候变化具有重要的影响,例如通过对太阳辐射和长波辐射的散射和吸收作用,影响大气辐射、大气化学以及降水过程。相较于卫星等探测手段,激光雷达因其具有高时空分辨率,高测量精度等优点,已作为一种主动遥感探测工具广泛应用于气溶胶测量。米散射激光雷达早在1961年就已经问世,在此基础上又相继发展了多波长多通道激光雷达、高光谱分辨率激光雷达等。然而,米散射激光雷达结构简单、技术成熟、价格便宜,在众多科研院所和高校都进行了装备,因此研究提高米散射激光雷达的探测精度并扩展米散射激光雷达的应用具有重要的实用价值。传统的米散射激光雷达反演方法,如Fernald法和Klett法,需要设定气溶胶消光系数边界值或激光雷达比,然而天气条件的改变会导致设定的参数值不准确,往往会引发较大的反演误差。此外,拉曼散射激光雷达反演气溶胶消光系数廓线,其反演过程不需要任何边界值,也不需要假设激光雷达比,可大幅减小误差。因此,如何利用高精度的拉曼散射激光雷达提高米散射激光雷达的探测精度是一个待解决的问题。
发明内容
发明目的:针对以上问题,本发明提出一种基于深度信念网络的气溶胶消光系数反演方法。通过米散射激光雷达测量得到的回波功率信号和拉曼散射激光雷达反演获得的气溶胶消光系数对深度信念网络(Deep Belief Network,DBN)的参数进行训练,从而获得稳定网络模型,实现气溶胶的高精度探测。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于深度信念网络的气溶胶消光系数反演方法,结合米散射激光雷达的回波功率信号和拉曼散射激光雷达反演获得的气溶胶消光系数,利用深度信念网络反演气溶胶消光系数。所述深度信念网络的输入变量为米散射激光雷达测量得到的回波功率信号,输出变量为拉曼散射激光雷达反演获得的气溶胶消光系数。
本发明的一种基于深度信念网络的气溶胶消光系数反演方法,包括如下步骤:
步骤1:获取米散射激光雷达的回波功率信号和拉曼激光雷达反演得到的气溶胶消光系数,形成数据样本集;将数据样本集分为训练样本集和测试样本集;将样本集中的米散射激光雷达测量得到的回波功率信号作为深度信念网络的输入,拉曼散射激光雷达反演获得的气溶胶消光系数作为深度信念网络的输出;
步骤2:根据训练样本的特征进行归一化,实现对训练样本集数据的预处理,获得归一化后的训练样本集;
步骤3:根据归一化后的训练样本集构建深度信念网络,调整网络参数,对深度信念网络进行训练,获得训练后的深度信念网络;所述深度信念网络训练过程包括预训练和参数调整;
步骤4:将测试样本集的回波功率信号输入步骤3所述优化后的深度信念网络,获得网络输出的气溶胶消光系数;将网络输出的气溶胶消光系数与测试样本集的气溶胶消光系数进行比对,判断是否满足预期结果;
步骤5:如果步骤4中的比对结果满足预期结果,则深度信念网络优化结束,优化结束后的网络即可用于气溶胶消光系数的反演;如果不满足,则返回步骤3继续训练深度信念网络,直到比对结果满足预期。
进一步,在步骤2中,根据训练样本的特征进行归一化,实现对训练样本集数据的预处理,获得归一化后的训练样本集,所述归一化预处理公式如下:
式中,datamin为回波功率信号或气溶胶消光系数中的最小值,datamax为回波功率信号或气溶胶消光系数中的最大值,data为回波功率信号或气溶胶消光系数的原始值,data'为归一化后的数据。
进一步,在步骤3中,根据归一化后的训练样本集构建深度信念网络,对深度信念网络进行预训练和参数调整,方法如下:
步骤3.1:归一化后的米散射激光雷达的回波功率信号,作为深度信念网络的输入变量Au=(a1 u,a2 u,a3 u,…,an u),u=1,2,…,sam,表示有sam个训练样本,a1,a2,…,an表示激光雷达回波功率,n表示有n个输入变量;
步骤3.2:拉曼散射激光雷达通过拉曼法反演出的气溶胶消光系数,归一化完成后的数据,作为期望输出Yu=(y1 u,y2 u,y3 u,…,yn u),y1,y2,…,yn表示不同高度处的消光系数,n表示有n个输出变量;
步骤3.3:根据归一化后训练样本集构建深度信念网络的第一层受限玻尔兹曼机(RBM),所述深度信念网络的RBM共有M层;
步骤3.4:采用对比散度算法训练第m层RBM,将第m层RBM训练完后隐含层的神经元状态作为第m+1层RBM的输入数据,并同样使用对比散度算法训练第m+1层RBM,m=1,2,…M-1;
步骤3.5:重复步骤3.4,直到M层RBM训练结束,完成深度信念网络的预训练;
步骤3.6:针对步骤3.5预训练完成的深度信念网络,进行误差反向传递,采用梯度下降法调整网络参数值;所述误差为样本期望输出和深度信念网络输出之间的均方误差;所述网络参数包括权重、可见层节点的偏置、隐含层节点的偏置;
步骤3.7:如果网络参数调整后,误差减小到预期范围,则调整终止,获得最终训练好的深度信念网络模型;否则,继续执行步骤3.6。
进一步,在步骤3.2中,所述拉曼法反演气溶胶消光系数的公式为:
其中,为利用拉曼法在激光波长λ0时获得的气溶胶消光系数,λ0为激光脉冲传输波长,λR为拉曼波长,NR(r)为氮气分子在距离r处的数密度,为距离r处拉曼波长为λR的接收功率,Pn为背景噪声,是激光波长为λ0时的大气分子消光系数,是激光波长为λR时的大气分子消光系数,k为气溶胶的Angstrom指数,可以设k=1;表达式如下:
其中,Amol(r)为距离r处的大气分子数密度。
进一步,在步骤3.4和3.5中,所述对比散度算法训练RBM,方法如下:
将输入数据赋值给第一层RBM可见层的神经元,通过式(5)计算第一层RBM隐含层中每一个神经元被激活的概率,公式如下:
式中,p(*)为每一个神经元被激活的概率,v表示可见层神经元,h表示隐含层神经元,表示第一层RBM的第j个隐含层神经元节点,v(1)表示第一层RBM的可见层神经元,σ(*)是激活函数,定义为σ(x)=1/(1+exp(-x)),vi (1)表示第一层RBM的第i个可见层神经元节点,ωij为可见层节点vi与隐含层节点hj之间的连接权重,cj是隐含层节点hj的偏置;
从式(5)计算得到的概率分布中,采用Gibbs抽样采样获得然后将第一层RBM隐含层的神经元状态作为第二层RBM可见层神经元的输入数据,计算第二层RBM可见层中每一个神经元被激活的概率,公式如下:
式中,表示第二层RBM的第i个可见层神经元节点,h(1)表示第一层RBM的隐含层神经元,bi是可见层节点vi的偏置;
同样地,从式(6)计算得到的概率分布中,采用Gibbs抽样采样获得通过再次计算第二层RBM隐含层中每个神经元被激活的概率,公式如下:
式中,表示第二层RBM的第j个隐含层神经元节点,v(2)表示第二层RBM的可见层神经元;
同样地,从式(7)计算得到的概率分布中,采用Gibbs抽样采样获得以此类推,直到所有的RBM训练结束,完成深度信念网络的预训练。
进一步,在步骤3.6中,针对步骤3.5预训练完成的深度信念网络,进行误差反向传递,采用梯度下降法调整网络参数值;方法如下:
(1)所述误差为样本期望输出和深度信念网络输出之间的均方误差;所述网络参数包括权重、可见层节点的偏置、隐含层节点的偏置;
(2)将预训练好的深度信念网络作为网络的初始状态,预训练得到的网络参数作为深度信念网络的初始参数;
(3)采用输出层到输入层逐层修正的方法进行误差反向传递,运用梯度下降法反向对网络模型的参数进行有监督地学习,通过误差修正实现网络参数的调整;
所述均方误差计算公式为:
式中,E表示均方误差,Yu表示样本期望输出,Du表示深度信念网络的输出,n表示n个输出,dh表示深度信念网络输出的第h个消光系数,yh表示样本期望输出的第h个消光系数;
所述权重、可见层节点的偏置、隐含层节点的偏置的更新方法如下:
ωij←ωij+Δωij
Δbi=η[v(1)-v(2)] (10)
bi←bi+Δbi
cj←cj+Δcj
其中,v是可见层神经元,h是隐含层神经元,Δωij、Δbi、Δcj分别是权重ωij、可见层节点的偏置bi、隐含层节点的偏置cj的变化量,η是学习速率,设置为0.1。
有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:
(1)本发明通过米散射激光雷达和拉曼散射激光雷达的数据结果训练的深度信念网络,可以用于纯米散射激光雷达的气溶胶探测。米散射激光雷达相较于高分辨率激光雷达、多通道激光雷达具有结构简单、技术成熟、价格便宜的优点。利用米散射激光雷达获得回波功率信号,基于训练好的深度信念网络,可以获得高精度的气溶胶消光系数,提高了米散射激光雷达的探测精度,使其能够获得准确的拉曼激光雷达的测量结果,扩展了其应用范围。
(2)本发明利用具有自学习功能的神经网络模型来反演气溶胶消光系数。通过样本模式的学习将信息之间的内在机制存储在网络中,有效避免了诸多假设带来不确定性,使得反演结果的可信度大大增加,实现了气溶胶消光系数的快速、准确反演。
附图说明
图1是基于深度信念网络的气溶胶消光系数反演方法结构原理图;
图2是米散射激光雷达的回波功率信号和拉曼激光雷达反演气溶胶消光系数示意图;
图3是深度信念网络的结构示意图;
图4是本发明方法的反演结果图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于深度信念网络的气溶胶消光系数反演方法,结合米散射激光雷达的测量结果和拉曼散射激光雷达的反演结果,基于深度信念网络提出了一种气溶胶消光系数反演方法。反演方法结构原理如图1所示。
本发明所述一种基于深度信念网络的气溶胶消光系数反演方法,包括如下步骤:
步骤1:获取米散射激光雷达的回波功率信号和拉曼激光雷达反演得到的气溶胶消光系数,形成数据样本集;将数据样本集分为训练样本集和测试样本集;将样本集中的米散射激光雷达测量得到的回波功率信号作为深度信念网络的输入,拉曼散射激光雷达反演获得的气溶胶消光系数作为深度信念网络的输出;米散射激光雷达的回波功率信号和拉曼激光雷达反演气溶胶消光系数关系如图2所示;
步骤2:根据训练样本的特征进行归一化,实现对训练样本集数据的预处理,获得归一化后的训练样本集;
步骤3:根据归一化后的训练样本集构建深度信念网络,调整网络参数,对深度信念网络进行训练,获得训练后的深度信念网络;所述深度信念网络训练过程包括预训练和参数调整;
步骤4:将测试样本集的回波功率信号输入步骤3所述优化后的深度信念网络,获得网络输出的气溶胶消光系数;将网络输出的气溶胶消光系数与测试样本集的气溶胶消光系数进行比对,判断是否满足预期结果;
步骤5:如果步骤4中的比对结果满足预期结果,则深度信念网络优化结束,优化结束后的网络即可用于气溶胶消光系数的反演;如果不满足,则返回步骤3继续训练深度信念网络,直到比对结果满足预期。
在步骤2中,根据训练样本的特征进行归一化,实现对训练样本集数据的预处理,获得归一化后的训练样本集,所述归一化预处理公式如下:
式中,datamin为回波功率信号或气溶胶消光系数中的最小值,datamax为回波功率信号或气溶胶消光系数中的最大值,data为回波功率信号或气溶胶消光系数的原始值,data'为归一化后的数据。
在步骤3中,根据归一化后的训练样本集构建深度信念网络,对深度信念网络进行预训练和参数调整,方法如下:
步骤3.1:归一化后的米散射激光雷达的回波功率信号,作为深度信念网络的输入变量Au=(a1 u,a2 u,a3 u,…,an u),u=1,2,…,sam,表示有sam个训练样本,a1,a2,…,an表示激光雷达回波功率,n表示有n个输入变量;
步骤3.2:拉曼散射激光雷达通过拉曼法反演出的气溶胶消光系数,归一化完成后的数据,作为期望输出Yu=(y1 u,y2 u,y3 u,…,yn u),y1,y2,…,yn表示不同高度处的消光系数,n表示有n个输出变量;
步骤3.3:根据归一化后训练样本集构建深度信念网络的第一层受限玻尔兹曼机(RBM),所述深度信念网络的RBM共有4层;本实施例构建的深度信念网络模型,如图3所示;
步骤3.4:采用对比散度算法训练第m层RBM,将第m层RBM训练完后隐含层的神经元状态作为第m+1层RBM的输入数据,并同样使用对比散度算法训练第m+1层RBM,m=1,2,3;
步骤3.5:重复步骤3.4,直到4层RBM训练结束,完成深度信念网络的预训练;
步骤3.6:针对步骤3.5预训练完成的深度信念网络,进行误差反向传递,采用梯度下降法调整网络参数值;所述误差为样本期望输出和深度信念网络输出之间的均方误差;所述网络参数包括权重、可见层节点的偏置、隐含层节点的偏置;
步骤3.7:如果网络参数调整后,误差减小到预期范围,则调整终止,获得最终训练好的深度信念网络模型;否则,继续执行步骤3.6。
在步骤3.2中,所述拉曼法反演气溶胶消光系数的公式为:
其中,为利用拉曼法在激光波长λ0时获得的气溶胶消光系数,λ0为激光脉冲传输波长,λR为拉曼波长,NR(r)为氮气分子在距离r处的数密度,为距离r处拉曼波长为λR的接收功率,Pn为背景噪声,是激光波长为λ0时的大气分子消光系数,是激光波长为λR时的大气分子消光系数,k为气溶胶的Angstrom指数,可以设k=1;表达式如下:
其中,Amol(r)为距离r处的大气分子数密度。
在步骤3.4和3.5中,所述对比散度算法训练RBM,方法如下:
将输入数据赋值给第一层RBM可见层的神经元,通过式(5)计算第一层RBM隐含层中每一个神经元被激活的概率,公式如下:
式中,p(*)为每一个神经元被激活的概率,v表示可见层神经元,h表示隐含层神经元,表示第一层RBM的第j个隐含层神经元节点,v(1)表示第一层RBM的可见层神经元,σ(*)是激活函数,定义为σ(x)=1/(1+exp(-x)),表示第一层RBM的第i个可见层神经元节点,ωij为可见层节点vi与隐含层节点hj之间的连接权重,cj是隐含层节点hj的偏置;
从式(5)计算得到的概率分布中,采用Gibbs抽样采样获得然后将第一层RBM隐含层的神经元状态作为第二层RBM可见层神经元的输入数据,计算第二层RBM可见层中每一个神经元被激活的概率,公式如下:
式中,表示第二层RBM的第i个可见层神经元节点,h(1)表示第一层RBM的隐含层神经元,bi是可见层节点vi的偏置;
同样地,从式(6)计算得到的概率分布中,采用Gibbs抽样采样获得通过再次计算第二层RBM隐含层中每个神经元被激活的概率,公式如下:
式中,表示第二层RBM的第j个隐含层神经元节点,v(2)表示第二层RBM的可见层神经元;
同样地,从式(7)计算得到的概率分布中,采用Gibbs抽样采样获得以此类推,直到所有的RBM训练结束,完成深度信念网络的预训练。本实施例深度信念网络选用五层结构,各层神经元个数依次分别为230,100,100,100,230。
在步骤3.6中,针对步骤3.5预训练完成的深度信念网络,进行误差反向传递,采用梯度下降法调整网络参数值;方法如下:
(1)所述误差为样本期望输出和深度信念网络输出之间的均方误差;所述网络参数包括权重、可见层节点的偏置、隐含层节点的偏置;
(2)将预训练好的深度信念网络作为网络的初始状态,预训练得到的网络参数作为深度信念网络的初始参数;
(3)采用输出层到输入层逐层修正的方法进行误差反向传递,运用梯度下降法反向对网络模型的参数进行有监督地学习,通过误差修正实现网络参数的调整;
所述均方误差计算公式为:
式中,E表示均方误差,Yu表示样本期望输出,Du表示深度信念网络的输出,n表示n个输出,dh表示深度信念网络输出的第h个消光系数,yh表示样本期望输出的第h个消光系数;
所述权重、可见层节点的偏置、隐含层节点的偏置的更新方法如下:
ωij←ωij+Δωij
Δbi=η[v(1)-v(2)] (10)
bi←bi+Δbi
cj←cj+Δcj
其中,v是可见层神经元,h是隐含层神经元,Δωij、Δbi、Δcj分别是权重ωij、可见层节点的偏置bi、隐含层节点的偏置cj的变化量,η是学习速率,设置为0.1;
通过训练好的网络,输入的回波功率信号数据和输出的气溶胶消光系数反演结果如图4所示。

Claims (6)

1.一种基于深度信念网络的气溶胶消光系数反演方法,其特征在于:该反演方法包括如下步骤:
步骤1:获取米散射激光雷达的回波功率信号和拉曼激光雷达反演得到的气溶胶消光系数,形成数据样本集;将数据样本集分为训练样本集和测试样本集;将样本集中的米散射激光雷达测量得到的回波功率信号作为深度信念网络的输入,拉曼散射激光雷达反演获得的气溶胶消光系数作为深度信念网络的输出;
步骤2:根据训练样本的特征进行归一化,实现对训练样本集数据的预处理,获得归一化后的训练样本集;
步骤3:根据归一化后的训练样本集构建深度信念网络,调整网络参数,对深度信念网络进行训练,获得训练后的深度信念网络;
步骤4:将测试样本集的回波功率信号输入步骤3所述优化后的深度信念网络,获得网络输出的气溶胶消光系数;将网络输出的气溶胶消光系数与测试样本集的气溶胶消光系数进行比对,判断是否满足预期结果;
步骤5:如果步骤4中的比对结果满足预期结果,则深度信念网络优化结束,优化结束后的网络即可用于气溶胶消光系数的反演;如果不满足,则返回步骤3继续训练深度信念网络,直到比对结果满足预期。
2.根据权利要求1所述的一种基于深度信念网络的气溶胶消光系数反演方法,其特征在于:在步骤2中,根据训练样本的特征进行归一化,实现对训练样本集数据的预处理,获得归一化后的训练样本集,所述归一化预处理公式如下:
式中,datamin为回波功率信号或气溶胶消光系数中的最小值,datamax为回波功率信号或气溶胶消光系数中的最大值,data为回波功率信号或气溶胶消光系数的原始值,data'为归一化后的数据。
3.根据权利要求1所述的一种基于深度信念网络的气溶胶消光系数反演方法,其特征在于:在步骤3中,根据归一化后的训练样本集构建深度信念网络,对深度信念网络进行预训练和参数调整,方法如下:
步骤3.1:归一化后的米散射激光雷达的回波功率信号,作为深度信念网络的输入变量Au=(a1 u,a2 u,a3 u,…,an u),u=1,2,…,sam,表示有sam个训练样本,a1,a2,…,an表示激光雷达回波功率,n表示有n个输入变量;
步骤3.2:拉曼散射激光雷达通过拉曼法反演出的气溶胶消光系数,归一化完成后的数据,作为期望输出Yu=(y1 u,y2 u,y3 u,…,yn u),y1,y2,…,yn表示不同高度处的消光系数,n表示有n个输出变量;
步骤3.3:根据归一化后训练样本集构建深度信念网络的第一层受限玻尔兹曼机(RBM),所述深度信念网络的RBM共有M层;
步骤3.4:采用对比散度算法训练第m层RBM,将第m层RBM训练完后隐含层的神经元状态作为第m+1层RBM的输入数据,并同样使用对比散度算法训练第m+1层RBM,m=1,2,…M-1;
步骤3.5:重复步骤3.4,直到M层RBM训练结束,完成深度信念网络的预训练;
步骤3.6:针对步骤3.5预训练完成的深度信念网络,进行误差反向传递,采用梯度下降法调整网络参数值;所述误差为样本期望输出和深度信念网络输出之间的均方误差;所述网络参数包括权重、可见层节点的偏置、隐含层节点的偏置;
步骤3.7:如果网络参数调整后,误差减小到预期范围,则调整终止,获得最终训练好的深度信念网络模型;否则,继续执行步骤3.6。
4.根据权利要求3所述的一种基于深度信念网络的气溶胶消光系数反演方法,其特征在于:在步骤3.2中,所述拉曼法反演气溶胶消光系数的公式为:
其中,为利用拉曼法在激光波长λ0时获得的气溶胶消光系数,λ0为激光脉冲传输波长,λR为拉曼波长,NR(r)为氮气分子在距离r处的数密度,为距离r处拉曼波长为λR的接收功率,Pn为背景噪声,是激光波长为λ0时的大气分子消光系数,是激光波长为λR时的大气分子消光系数,k为气溶胶的Angstrom指数;表达式如下:
其中,Amol(r)为距离r处的大气分子数密度。
5.根据权利要求3或4所述的一种基于深度信念网络的气溶胶消光系数反演方法,其特征在于:在步骤3.4和3.5中,所述对比散度算法训练RBM,方法如下:
将输入数据赋值给第一层RBM可见层的神经元,通过式(5)计算第一层RBM隐含层中每一个神经元被激活的概率,公式如下:
式中,p(*)为每一个神经元被激活的概率,v表示可见层神经元,h表示隐含层神经元,表示第一层RBM的第j个隐含层神经元节点,v(1)表示第一层RBM的可见层神经元,σ(*)是激活函数,定义为σ(x)=1/(1+exp(-x)),vi (1)表示第一层RBM的第i个可见层神经元节点,ωij为可见层节点vi与隐含层节点hj之间的连接权重,cj是隐含层节点hj的偏置;
从式(5)计算得到的概率分布中,采用Gibbs抽样采样获得然后将第一层RBM隐含层的神经元状态作为第二层RBM可见层神经元的输入数据,计算第二层RBM可见层中每一个神经元被激活的概率,公式如下:
式中,表示第二层RBM的第i个可见层神经元节点,h(1)表示第一层RBM的隐含层神经元,bi是可见层节点vi的偏置;
同样地,从式(6)计算得到的概率分布中,采用Gibbs抽样采样获得通过再次计算第二层RBM隐含层中每个神经元被激活的概率,公式如下:
式中,表示第二层RBM的第j个隐含层神经元节点,v(2)表示第二层RBM的可见层神经元;
同样地,从式(7)计算得到的概率分布中,采用Gibbs抽样采样获得以此类推,直到所有的RBM训练结束,完成深度信念网络的预训练。
6.根据权利要求5所述的一种基于深度信念网络的气溶胶消光系数反演方法,其特征在于:在步骤3.6中,针对步骤3.5预训练完成的深度信念网络,进行误差反向传递,采用梯度下降法调整网络参数值;方法如下:
(1)所述误差为样本期望输出和深度信念网络输出之间的均方误差;所述网络参数包括权重、可见层节点的偏置、隐含层节点的偏置;
(2)将预训练好的深度信念网络作为网络的初始状态,预训练得到的网络参数作为深度信念网络的初始参数;
(3)采用输出层到输入层逐层修正的方法进行误差反向传递,运用梯度下降法反向对网络模型的参数进行有监督地学习,通过误差修正实现网络参数的调整;
所述均方误差计算公式为:
式中,E表示均方误差,Yu表示样本期望输出,Du表示深度信念网络的输出,n表示n个输出,dh表示深度信念网络输出的第h个消光系数,yh表示样本期望输出的第h个消光系数;
所述权重、可见层节点的偏置、隐含层节点的偏置的更新方法如下:
cj←cj+Δcj
其中,v是可见层神经元,h是隐含层神经元,Δωij、Δbi、Δcj分别是权重ωij、可见层节点的偏置bi、隐含层节点的偏置cj的变化量,η是学习速率。
CN201910293077.5A 2019-04-12 2019-04-12 一种基于深度信念网络的气溶胶消光系数反演方法 Active CN110108672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910293077.5A CN110108672B (zh) 2019-04-12 2019-04-12 一种基于深度信念网络的气溶胶消光系数反演方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910293077.5A CN110108672B (zh) 2019-04-12 2019-04-12 一种基于深度信念网络的气溶胶消光系数反演方法

Publications (2)

Publication Number Publication Date
CN110108672A true CN110108672A (zh) 2019-08-09
CN110108672B CN110108672B (zh) 2021-07-06

Family

ID=67484183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910293077.5A Active CN110108672B (zh) 2019-04-12 2019-04-12 一种基于深度信念网络的气溶胶消光系数反演方法

Country Status (1)

Country Link
CN (1) CN110108672B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461799A (zh) * 2020-11-25 2021-03-09 北京心中有数科技有限公司 一种获取高速公路团雾能见度的方法及装置
CN112835011A (zh) * 2020-12-31 2021-05-25 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种基于机器学习参数补偿的激光雷达反演算法
CN116466368A (zh) * 2023-06-16 2023-07-21 成都远望科技有限责任公司 基于激光雷达和卫星资料的沙尘消光系数廓线估算方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656526B1 (en) * 2006-07-21 2010-02-02 University Corporation For Atmospheric Research Lidar system for remote determination of calibrated, absolute aerosol backscatter coefficients
CN102628946A (zh) * 2012-04-11 2012-08-08 南京信息工程大学 大气二氧化硫和臭氧廓线拉曼-瑞利/米多功能激光雷达测量装置及探测方法
CN107167789A (zh) * 2017-05-12 2017-09-15 北京怡孚和融科技有限公司 一种激光雷达的校准系统和方法
US20180011017A1 (en) * 2009-09-23 2018-01-11 Syracuse University Noninvasive, continuous in vitro simultaneous measurement of turbidity and concentration
CN108896456A (zh) * 2018-04-28 2018-11-27 南京信息工程大学 基于反馈型rbf神经网络的气溶胶消光系数反演方法
CN109146007A (zh) * 2018-07-13 2019-01-04 江南大学 一种基于动态深度置信网络的固体废弃物智能处理方法
CN109596594A (zh) * 2018-11-27 2019-04-09 南京信息工程大学 基于拉曼-米散射激光雷达的气溶胶消光系数反演方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656526B1 (en) * 2006-07-21 2010-02-02 University Corporation For Atmospheric Research Lidar system for remote determination of calibrated, absolute aerosol backscatter coefficients
US20180011017A1 (en) * 2009-09-23 2018-01-11 Syracuse University Noninvasive, continuous in vitro simultaneous measurement of turbidity and concentration
CN102628946A (zh) * 2012-04-11 2012-08-08 南京信息工程大学 大气二氧化硫和臭氧廓线拉曼-瑞利/米多功能激光雷达测量装置及探测方法
CN107167789A (zh) * 2017-05-12 2017-09-15 北京怡孚和融科技有限公司 一种激光雷达的校准系统和方法
CN108896456A (zh) * 2018-04-28 2018-11-27 南京信息工程大学 基于反馈型rbf神经网络的气溶胶消光系数反演方法
CN109146007A (zh) * 2018-07-13 2019-01-04 江南大学 一种基于动态深度置信网络的固体废弃物智能处理方法
CN109596594A (zh) * 2018-11-27 2019-04-09 南京信息工程大学 基于拉曼-米散射激光雷达的气溶胶消光系数反演方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋跃辉 等: "《Raman-Mie激光雷达探测西安地区夏季气溶胶光学特性》", 《西安理工大学学报》 *
韩道文 等: "《基于Madaline 网络的气溶胶消光系数反演算法》", 《光学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461799A (zh) * 2020-11-25 2021-03-09 北京心中有数科技有限公司 一种获取高速公路团雾能见度的方法及装置
CN112461799B (zh) * 2020-11-25 2023-08-18 北京心中有数科技有限公司 一种获取高速公路团雾能见度的方法及装置
CN112835011A (zh) * 2020-12-31 2021-05-25 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种基于机器学习参数补偿的激光雷达反演算法
CN116466368A (zh) * 2023-06-16 2023-07-21 成都远望科技有限责任公司 基于激光雷达和卫星资料的沙尘消光系数廓线估算方法
CN116466368B (zh) * 2023-06-16 2023-08-22 成都远望科技有限责任公司 基于激光雷达和卫星资料的沙尘消光系数廓线估算方法

Also Published As

Publication number Publication date
CN110108672B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN110108672A (zh) 一种基于深度信念网络的气溶胶消光系数反演方法
CN109001736B (zh) 一种基于深度时空预测神经网络的雷达回波外推方法
CN107833208B (zh) 一种基于动态权重深度自编码的高光谱异常检测方法
CN107703554A (zh) 多通道毫米波辐射计温湿廓线反演系统及其反演方法
CN109387487A (zh) 卷云条件下短波红外高光谱数据大气甲烷快速反演方法
CN110991721A (zh) 基于改进经验模态分解和支持向量机的短期风速预测方法
CN109541616A (zh) Bp神经网络雨、雪、雾天气脉冲激光测距方法
CN112634608B (zh) 一种区域交通流量预测方法及系统
CN106920014A (zh) 一种短时负荷预测方法及装置
CN110879874A (zh) 一种天文大数据光变曲线异常检测方法
CN110297218A (zh) 基于生成对抗网络的雷达信号未知调制方式检测方法
CN104915982A (zh) 树冠层光照分布预测模型构建方法及光照分布检测方法
CN112468230A (zh) 一种基于深度学习的无线紫外光散射信道估计方法
Wu et al. Fast data assimilation (FDA): Data assimilation by machine learning for faster optimize model state
CN113887517A (zh) 基于并行注意力机制的农作物遥感图像语义分割方法
Aliberti et al. Forecasting Short-term Solar Radiation for Photovoltaic Energy Predictions.
CN111058840A (zh) 一种基于高阶神经网络的有机碳含量(toc)评价方法
CN114154401A (zh) 基于机器学习和观测数据的土壤侵蚀模数计算方法及系统
CN111859241B (zh) 一种基于声传递函数学习的非监督声源定向方法
CN112363140A (zh) 一种基于循环神经网络的热力约束外推客观订正方法
CN112348656A (zh) 一种基于ba-wnn的个人贷款信用评分方法
CN111581879A (zh) 一种空间人造目标混合像元非线性丰度确定方法及系统
CN113657149A (zh) 一种基于深度学习的电能质量分析与识别方法
CN111369046A (zh) 一种基于灰色神经网络的风光互补功率预测方法
Jiang et al. Denoising method of pulsar photon signal based on recurrent neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant