CN109214513A - 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法 - Google Patents

一种基于自适应深度置信网络的固液废弃物智能耦合处理方法 Download PDF

Info

Publication number
CN109214513A
CN109214513A CN201811234832.4A CN201811234832A CN109214513A CN 109214513 A CN109214513 A CN 109214513A CN 201811234832 A CN201811234832 A CN 201811234832A CN 109214513 A CN109214513 A CN 109214513A
Authority
CN
China
Prior art keywords
liquid
adbn
waste
neuron
solid waste
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811234832.4A
Other languages
English (en)
Other versions
CN109214513B (zh
Inventor
宋威
张士昱
郑珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201811234832.4A priority Critical patent/CN109214513B/zh
Publication of CN109214513A publication Critical patent/CN109214513A/zh
Application granted granted Critical
Publication of CN109214513B publication Critical patent/CN109214513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于自适应深度置信网络的固液废弃物智能耦合处理方法,属于深度学习、固液废弃物智能耦合处理领域。本方法利用ADBN对固废以及液废随机、离散、非线性的特征向量进行有效的状态描述,并确保不丢失原始数据的主要信息。同时根据提取的固废的状态描述和液废处理过程中产生的可燃气体,利用ADBN预测适合其状态的燃烧行为和处理过程中产生的余热,极大减少盲目焚烧对资源的浪费,并使用该余热为液废处理系统提供热量;并且根据提取到的液废的状态描述和固废处理过程中产生的余热,利用ADBN预测适合其状态的处理行为和产生的可燃气体,将这些气体作为固废焚烧的助燃剂,减少其他燃料的供给,实现对固液废弃物高效的智能耦合处理。

Description

一种基于自适应深度置信网络的固液废弃物智能耦合处理 方法
技术领域
本发明属于深度学习、固液废弃物智能耦合处理领域,提出一种使用自适应增减枝算法的自适应深度置信网络(Adaptive Deep Belief Network,ADBN)模型,可以有效的优化深度置信网络的网络结构,以此来解决轻工行业固液废弃物智能耦合处理问题。
背景技术
随着国民经济的发展,轻工行业目前面临极大的环保压力和艰巨的污染减排处理任务要求。尽管轻工行业近年来单位产品的污染排放强度明显降低,但由于产能增加,行业固液废弃物排放总量仍在增大。为实现行业节能减排的有关目标,需要研究固液废弃物处理的新方法,比如,充分利用液废处理过程中产生的可燃气体与固废处理过程中的剩余热量,实现固废、液废的智能耦合处理。通过该方法的应用可以提高生产企业的污染控制和治理水平,支撑行业的污染减排行动。
近年来,深度学习迅速发展,Hinton等人于2006年提出了深度置信网络(DeepBelief Network,DBN)以及无监督贪婪逐层训练算法,这种学习体系具有多层网络结构的优点,可以避免所谓的维数灾难或降低其危害;而且可以有效的提取原始数据的主要特征,这些数据比原始数据更具鉴别性,方便对数据做进一步的应用研究。
利用DBN有效提取原始数据主要特征的优势,可对固液废弃物随机、离散、非线性的特征向量进行有效的状态描述,并确保不丢失原始数据的主要信息。根据提取到的固体废弃物的状态描述和液废处理过程中产生的可燃气体,利用DBN预测适合其状态的燃烧行为和处理过程中产生的余热,大大地减少盲目焚烧对资源的浪费,并使用余热为液废处理系统提供热量;同时,根据提取到的液体废弃物的状态描述和固废处理过程中产生的余热,利用DBN预测适合其状态的处理行为和产生的可燃气体,将这些气体作为固废焚烧的助燃剂,减少其他燃料的供给,从而实现对固液废弃物高效的智能耦合处理。
但是,如果DBN要解决一个高复杂度的问题,例如上述问题,那么DBN就需要适当地增加隐藏层神经元和隐藏层来拟合数据。但是,隐藏层神经元和隐藏层的数量目前仍需要通过人工经验法或反复试验法来选择,并且在训练过程中网络结构是固定不变的。通过这种方法确定结构是耗时且不合理的,会导致DBN运行时间长,准确度差。因此,需要提出一种新的DBN结构确定方法,使DBN在训练过程中可以根据当前训练情况自适应增枝和减枝,优化网络结构,使其更好的解决固液废弃物智能耦合处理问题。
发明内容
为了解决现有技术存在的问题,本发明提出一种基于自适应深度置信网络(Adaptive Deep Belief Network,ADBN)的固液废弃物智能耦合处理方法。
本发明的技术方案:
一种基于自适应深度置信网络的固液废弃物智能耦合处理方法,步骤如下:
步骤1、对固体废弃物和液体废弃物进行测量,分别得到固废数据集和液废数据集,对两个数据集进行预处理,并分别划分得到固废训练数据集、固废测试数据集、液废训练数据集和液废测试数据集。
所述的预处理为:把固废数据集和液废数据集归一化到[0,1]之间,归一化公式为:
其中,为数据集的特征值,ymax和ymin分别为同种数据集中所有特征的最大值和最小值,y是经过归一化后的数据集。
步骤2、将步骤1得到的固废训练数据集输入到ADBN模型中,同时加入可燃气体作为ADBN模型的一项输入,用来模拟处理液废后产生的可燃气体。使用对比散度算法(Contrastive Divergence,CD)无监督地自底向上单独训练每一层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM),并且在训练过程中,通过自适应增减枝算法,优化当前RBM的网络结构,通过迭代训练,得到每个RBM的网络结构、权重和偏置。具体操作如下:
步骤2.1,构建ADBN模型,设置ADBN模型的各参数值:可视层神经元、初始隐藏层神经元和隐藏层层数、学习率、迭代次数和微调次数。其中,可视层神经元个数为训练数据集的特征维数。
步骤2.2,将预处理后得到的固废训练数据集输入到第一层RBM中,使用CD算法对RBM进行预训练,并且在训练过程中,通过自适应增减枝算法,优化当前RBM的网络结构。
(1)RBM的能量函数F(u,g;θ)以及可视层和隐藏层神经元的联合概率分布Q(u,g;θ)为:
其中,ui(1≤i≤I)和gj(1≤j≤J)分别表示可视层神经元和隐藏层神经元,i表示第i个可视层神经元,I是可视层神经元的个数,j表示第j个隐藏层神经元,J是隐藏神经元的个数,w是可视层和隐藏层之间的权重矩阵,a和d分别是可视层神经元和隐藏层神经元的偏置,θ表示模型中的参数,即θ={w,a,d};Z是对所有可能的可视层和隐藏层神经元对求和。
RBM使用对比散度算法经过一步吉布斯采样得到训练样本的近似重构Q(u;θ),利用贝叶斯公式的原理,根据公式(3)求出可视层神经元u的边缘概率分布Q(u;θ);然后根据重构误差更新网络参数θ={w,a,d}。其中:
在吉布斯采样过程中,可视层神经元u和隐藏层神经元g的条件概率分布为:
(2)在训练过程中,根据当前训练情况,通过自适应增减枝算法,优化RBM的网络结构。
(2.1)利用WL(Weight Length,权重长度)方法来监测权重w的变化情况:
WLj(m)=||wj(m),wj(m-1)|| (7)
其中,wj(m)是隐藏层神经元j在经过m次迭代后的权重向量。WL的值反映了两次迭代中隐藏层神经元j的权重向量的变化。
(2.2)从局部和全局两个方面来描述增枝条件,局部条件和全局条件分别用于找出各个隐藏层神经元对应于某个训练样本的最大的WL值,以及使各个隐藏层神经元的WL值增大的样本占所有训练样本的比例。
局部条件定义为:
其中,是在第m次迭代中,第j个隐藏神经元对第n个输入样本的WL值,max()是最大值函数。
全局条件定义为:
其中,N是固废训练数据集中样本的个数,N'是与上一次迭代相比使第j个隐藏层神经元的WL值增多的样本个数,即
将这局部条件和全局条件相乘即得到增枝条件:
MAX_WLj(m)*rj(m)>q(m) (10)
其中,q(m)是一条曲线,用来作为可变阈值,其定义为:
其中,m是当前迭代次数,epoches为最大迭代次数,h表示曲线的曲率,qmax和qmin分别是曲线的最大值和最小值。当第j个隐藏层神经元满足公式(10)时,则该神经元将被分成两个神经元,并且新神经元的各参数都为0。
(2.3)当RBM训练完成后,开始减枝。
将隐藏层神经元对所有样本激活概率的标准差α(j)作为减枝条件:
α(j)<θA (12)
其中,θA是一个阈值。当第j个神经元满足公式(12)时,则移除该神经元及其所有参数。同时,作一条关于减枝率与预测准确率之间的权衡曲线,根据此曲线选择θA的值,使移除更多的冗余神经元的同时保留原始准确率。标准差α(j)为:
其中,n=1,2,3,…,N,N是输入固废训练数据集中样本的个数,AP(n,j)表示第j个隐藏层神经元对第n个输入样本的激活概率,μj表示第j个隐藏层神经元对所有输入样本的平均激活概率。
(2.4)在减枝后,重新训练RBM,使剩余的神经元能够补偿被移除的神经元,减枝后再重训练为一次迭代。每次减枝都要更新阈值θA
θA←θA+δ(iter) (14)
其中,δ(iter)为使θA满足当前减枝所需的减枝率,通过δ(iter)来更新每次减枝中的阈值以移除更多的神经元。每次减枝都是一次贪心搜索,根据每次减枝中的权衡曲线,在不损失准确率的情况下找到最佳减枝率。
步骤2.3,当前RBM确定网络结构后,使用能量函数作为增加新RBM的条件:
其中,Fl是第l层RBM的总能量,由公式(2)求得,l=1,2…L,L是ADBN当前的层数,n表示第n个训练样本,θL是阈值。当整体网络的平均能量满足公式(15)时,则增加一层新的RBM,并且新RBM各参数的初始化与初始结构相同。之后把当前RBM的输出作为新增加的RBM的输入。
步骤2.4,按照步骤2.2和2.3循环训练网络,得到ADBN的网络结构。
步骤3、将步骤2得到的ADBN网络结构和参数值作为微调阶段的初始值,使用自顶向下的反向传播算法微调整个ADBN网络,得到最终的用于处理固废的ADBN网络模型。具体操作如下:
步骤3.1,将步骤2中训练好的的ADBN网络结构和参数值θ作为微调阶段的初始值,并在最后一层RBM后增加一层输出层,用来预测适合该固废训练样本的燃烧行为,包括温度、压强和燃气流量,并且预测固废处理过程中产生的余热。输入固废训练数据集开始微调整个ADBN网络。
步骤3.2,利用前向传播算法计算每个隐藏层神经元的激活概率。
步骤3.3,计算出训练样本前向传播得到的预测结果,与实际结果作对比得到损失函数:
其中,t是当前微调次数,outn和out′n分别为第n个训练样本的实际结果和预测结果。将实际结果和预测结果的误差反向传播,使用梯度下降法按照公式(17)、(18)对权重w和偏置d进行更新:
其中,η是学习率。
迭代使用梯度下降法,自顶向下的微调整个ADBN网络,来减小E(t)的值,直至达到最大微调次数,获得最终的用于处理固废的ADBN网络模型。
步骤4、将步骤1预处理后得到的液废训练数据集输入到另一个新的ADBN模型中,同时加入热量作为ADBN模型的一项输入,用来模拟处理固废后产生的余热。按步骤2所述方法训练网络,得到ADBN的网络模型。然后在最后一层RBM后增加一层输出层,用来预测适合该液废训练数据集的处理行为,包括温度和溶解氧DO含量,并且预测液废处理过程中产生的可燃气体。输入液废训练数据集,按步骤3所述方法微调整个ADBN网络,得到最终的用于处理液废的ADBN网络模型。
步骤5、分别将固废测试数据集、液废测试数据集输入到步骤3、步骤4所得最终的用于处理固废和液废的ADBN网络模型中,最后输出预测结果。具体操作如下:
步骤5.1,将步骤1得到的固废测试数据集输入到步骤3所得最终的用于处理固废的ADBN网络模型中,通过RBM提取固体废弃物的主要特征。
步骤5.2,将固废测试样本的主要特征输入到最后一层输出层中,预测出适合该固废样本的燃烧行为,包括温度、压强和燃气流量,并且预测燃烧后产生的余热。
步骤5.3,将步骤1得到的液废测试数据集以及步骤5.2得到的余热输入到步骤4所得最终的用于处理液废的ADBN网络模型中,使用余热为液废处理系统提供热量。通过RBM提取液体废弃物的主要特征。
步骤5.4,将液废测试样本的主要特征输入到最后一层输出层中,预测出适合该液废样本的处理行为,包括温度和溶解氧DO含量,并且预测处理后产生的可燃气体。将这些可燃气体输入到用于处理固废的ADBN网络模型中,作为固废焚烧的助燃剂,减少其他燃料的供给。
步骤5.5,循环进行步骤5.1至步骤5.4的操作,直到所有固废、液废测试样本处理完成。
本发明的有益效果:为了增加网络的特征提取能力和预测能力,提出一种使用自适应增减枝算法的ADBN模型,可以有效的优化DBN的网络结构。该模型能够根据不同的问题以及自身的训练情况更改网络结构,包括增加隐藏层神经元和隐藏层、移除冗余神经元,取代了人工经验法和反复试验法,克服了网络结构设计的困难。然后,利用ADBN可以有效的提取原始数据主要特征的优势,使用ADBN对固体废弃物以及液体废弃物随机、离散、非线性的特征向量进行有效的状态描述,并确保不丢失原始数据的主要信息。同时,根据提取到的固体废弃物的状态描述和液废处理过程中产生的可燃气体,利用ADBN预测适合其状态的燃烧行为和处理过程中产生的余热,大大地减少盲目焚烧对资源的浪费,并使用该余热为液废处理系统提供热量;并且,根据提取到的液体废弃物的状态描述和固废处理过程中产生的余热,利用ADBN预测适合其状态的处理行为和产生的可燃气体,将这些气体作为固废焚烧的助燃剂,减少其他燃料的供给,从而实现对固液废弃物高效的智能耦合处理。
附图说明
图1为本发明中增加隐藏层神经元操作示意图。
图2为本发明中移除冗余神经元操作示意图。
图3为本发明中增加隐藏层操作示意图。
图4为本发明中ADBN模型的训练过程流程图。
图5为本发明中固液废弃物耦合处理过程流程图。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
如图4所示,一种基于自适应深度置信网络的固液废弃物智能耦合处理方法,具体步骤如下:
步骤1、对固体废弃物的GDP、危险物、固体废弃物量、冶炼废渣、炉煤灰、炉渣、尾渣等数据进行测量,得到固废数据集;对液体废弃物的液体废弃物量、液体浓度等数据进行测量,得到液废数据集。对两个数据集进行数据预处理,并分别划分得到固废训练数据集、固废测试数据集、液废训练数据集和液废测试数据集。
由于固废和液废的各个数据往往不在同一个数量级,因此需要把两个数据集归一化到[0,1]之间,这样有利于提高网络的训练速度。归一化公式为:
其中,为数据集的特征值,ymax和ymin分别为同种数据集所有特征的最大值和最小值,y是经过归一化后的数据集。
步骤2、将预处理后得到的固废训练数据集输入到ADBN模型中,并且人为加入一些可燃气体当作ADBN模型的一项输入,用来模拟处理液废后产生的可燃气体。利用对比散度算法(Contrastive Divergence,CD)无监督地自底向上单独训练每一层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)。并且在训练过程中,通过自适应增减枝算法,优化当前RBM的网络结构,包括增加新的隐藏层神经元和移除冗余神经元。当前RBM训练结束后,若ADBN满足层数生成条件,则增加一层新的RBM,并把当前RBM的输出作为新增加的RBM的输入,并且新RBM各参数的初始化与初始结构相同。通过迭代训练,得到每个RBM的网络结构、权重和偏置。具体操作如下:
步骤2.1,构建ADBN模型,设置ADBN模型的各参数值:可视层神经元个数为训练数据集的特征维数,初始隐藏层神经元和隐藏层层数分别设置为10和1,学习率设置为0.1,预训练迭代次数为100,微调次数为100。
步骤2.2,将预处理后得到的固废训练数据集作为第一层RBM的输入,使用CD算法对RBM进行预训练,并且在训练过程中,通过自适应增减枝算法,优化当前RBM的网络结构,包括增加新的隐藏层神经元和移除冗余神经元。
(1)RBM是一种基于能量模型的随机网络。给定参数集θ={w,a,d},则能量函数F(u,g;θ)以及可视层和隐藏层神经元的联合概率分布Q(u,g;θ)为:
其中,ui(1≤i≤I)和gj(1≤j≤J)分别表示可视层神经元和隐藏层神经元,i表示第i个可视层神经元,I是可视层神经元的个数,j表示第j个隐藏层神经元,J是隐藏神经元的个数w是可视层和隐藏层之间的权重矩阵,a和d分别是可视层神经元和隐藏层神经元的偏置,θ表示模型中的参数,即θ={w,a,d},Z是对所有可能的可视层和隐藏层神经元对求和。
利用贝叶斯公式的原理,根据公式(3)可以求出可视层神经元u的边缘概率分布:
RBM网络训练的目标就是求解θ={w,a,d},使得在该参数下RBM能够极大地拟合输入样本,使得Q(u;θ)最大,即求解输入样本的极大似然估计。然而,为了获得最大似然估计,需要计算所有可能情况,计算量是指数增长的,因此RBM使用对比散度算法经过一步吉布斯采样得到训练样本的近似重构Q(u;θ),然后根据重构误差更新网络参数θ={w,a,d}。在吉布斯采样过程中,可视层神经元u和隐藏层神经元g的条件概率分布为:
(2)在训练过程中,根据当前训练情况,通过自适应增减枝算法,优化RBM的网络结构。自适应增减枝算法从局部和全局,即从网络对单个训练样本和所有训练样本的角度考虑网络结构的调整,可以避免网络结构陷入局部最优。
(2.1)在DBN中,权重w在网络训练中起着决定性的作用。因此,本发明提出了一种称为WL(Weight Distance,权重长度)的方法来监测权重w的变化情况:
WLj(m)=||wj(m),wj(m-1)|| (7)
其中,wj(m)是隐藏层神经元j在经过m次迭代后的权重向量。WL的值反映了两次迭代中隐藏层神经元j的权重向量的变化。一般而言,神经元j的权重向量在训练一段时间后会收敛,即WL的值会越来越小。如果某些神经元的权重向量波动幅度较大,即WL的值较大,应该考虑到这是缺少隐藏层神经元映射输入样本导致的。在这种情况下,需要增加神经元的数量来提高网络的局部描述能力。
(2.2)本发明从局部和全局两个方面来描述增枝条件。局部条件定义为:
其中,是在第m次迭代中,第j个隐藏神经元对第n个输入样本的WL值,j=1,2,3,..,J,J是隐藏神经元的个数,max()是最大值函数。全局条件定义为:
其中,N是训练样本的个数,N'是与上一次迭代相比使第j个隐藏层神经元的WL值增大的样本个数,即
局部条件和全局条件分别是找出各个隐藏层神经元对应于某个训练样本的最大的WL值和使各个神经元的WL值增大的样本占所有训练样本的比例。然后将这两个条件相乘即得到增枝条件:
MAX_WLj(m)*rj(m)>q(m) (10)
其中,q(m)是一条曲线,用来作为可变阈值,其定义为:
其中,m是当前迭代次数,epoches为最大迭代次数,h表示曲线的曲率,qmax和qmin分别是曲线的最大值和最小值。在训练过程中,如果网络向好的方向发展,则MAX_WL和r的值会越来越小,所以使用一条曲线q(m)来拟合神经元的综合权重变化趋势,并且当h>1时,q(m)是一条单调递减的凹曲线。如果第j个神经元满足公式(10),则该神经元将被分成两个神经元,并且新神经元的各参数都为0。
(2.3)RBM训练完成后,开始减枝。RBM的目的是提取输入样本的主要特征,即隐藏层神经元的激活概率。这些特征都是有鉴别性的,方便对数据做进一步的应用研究。如果某个神经元的激活概率对所有样本都接近平均值,则说明该神经元提取的特征不具有鉴别性,即冗余神经元。为了减少网络的冗余并获得一个紧凑的结构,需要移除这些冗余神经元。本发明使用标准差测量同一隐藏层神经元对所有样本激活概率的离散程度,标准差公式为:
其中,n=1,2,3,…,N,N是输入样本的个数,j表示第j个隐藏层神经元,AP(n,j)表示第j个隐藏层神经元对第n个输入样本的激活概率,μj表示第j个隐藏层神经元对所有输入样本的平均激活概率。一个较小的标准差意味着这些值接近平均值,即这个神经元提取的特征不具有鉴别性,因此需要移除这个冗余神经元。减枝条件为:
α(j)<θA (12)
其中,θA是一个阈值。关于阈值的取值,本发明做了一条关于减枝率与预测准确率之间的权衡曲线,根据此曲线选择θA的值,使移除更多的冗余神经元的同时保留原始准确率。如果第j个神经元满足公式(13),则移除该神经元及其所有参数。
(2.4)在减枝后,重新训练当前的RBM使剩余的神经元能够补偿被移除的神经元。这一步至关重要,减枝后再重训练为一次迭代。每次减枝都移除较少的神经元,并且进行重训练以进行补偿。经过多次这样的迭代,可以找到一个更高的减枝率并且不损失准确率。每次减枝都更新阈值θA
θA←θA+δ(iter) (14)
通过δ(iter)来更新每次减枝中的阈值以移除更多的神经元。每次减枝都是一次贪心搜索,即在上一次减枝最优结果的基础上进行下一次减枝。根据每次减枝中的权衡曲线,可以在不损失准确率的情况下找到最佳减枝率,因此δ(iter)被设置为使θA满足此次减枝所需的减枝率。
步骤2.3,当前RBM确定网络结构后,开始考虑隐藏层的增长。根据公式(4)可以发现Q(u;θ)与F(u,g;θ)成反比。所以如果想最大化Q(u;θ),那么能量函数F(u,g;θ)应该尽可能的小。同时,为了消除训练数据集规模不同对网络的能量计算产生的影响,使用整体网络与所有训练样本相对应的平均能量作为增加新RBM的条件:
其中,Fl是第l层RBM的总能量,由公式(2)求得,l=1,2…L,L是ADBN当前的层数,n表示第n个训练样本,θL是阈值。如果能量函数满足公式(15),则增加一层新的RBM,并且新RBM各参数的初始化与初始结构相同,之后把当前RBM的输出作为新增加的RBM的输入。
步骤2.4,按照步骤2.2和2.3循环训练网络,可以学习到一个深层次的ADBN网络结构。
步骤3、使用微调进一步优化ADBN。将预训练阶段得到的网络结构和参数值作为微调阶段的初始值,对整个ADBN网络进行微调。本发明使用自顶向下的反向传播算法微调整个网络,得到最终的用于处理固废的ADBN网络模型。具体操作如下:
步骤3.1,将预训练阶段训练好的的网络结构和参数值θ作为微调阶段的初始值,并在最后一层RBM后增加一层输出层。该输出层有4个神经元,前3个输出分别代表温度、压强和燃气流量,用来预测适合该固废训练样本的燃烧行为;最后1个输出代表热量,用来预测固废处理过程中产生的余热。输入固废训练数据集开始微调整个ADBN网络。
步骤3.2,利用前向传播算法计算每个隐藏层神经元的激活概率。
步骤3.3,计算出训练样本前向传播得到的预测结果,与实际结果作对比得到损失函数:
其中,t是当前微调次数,N是训练样本的个数,outn和out′n分别为第n个训练样本的实际结果和预测结果。将实际结果和预测结果的误差反向传播,使用梯度下降法按照公式(17)、(18)对权重w和偏置d进行更新:
其中,η是学习率。迭代使用梯度下降法,自顶向下的微调整个ADBN网络,来减小E(t)的值,直到达到最大微调次数获得最终的用于处理固废的ADBN网络模型。
步骤4、将预处理后得到的液废训练数据集输入到另一个新的ADBN模型中,并且人为加入一定的热量当作ADBN模型的一项输入,用来模拟处理固废后产生的余热。按照步骤2所述方法训练网络,得到ADBN的网络模型。然后在最后一层RBM后增加一层输出层。该输出层有3个神经元,前2个输出分别代表温度和溶解氧DO含量,用来预测适合该液废训练样本的处理行为;最后1个输出代表可燃气体,用来预测液废处理过程中产生的可燃气体。输入液废训练数据集到微调阶段的网络中,按照步骤3所述方法微调整个ADBN网络,得到最终的用于处理液废的ADBN网络模型。
步骤5、首先将经过预处理的固废测试样本输入到用于处理固废的ADBN网络模型中,通过RBM提取固体废弃物的主要特征,将这些主要特征输入到最后一层输出层中,预测出适合该固废样本的燃烧行为,包括温度、压强和燃气流量,并且预测燃烧后产生的余热。然后将经过预处理的液废测试样本以及固废燃烧后产生的余热输入到用于处理液废的ADBN网络模型中,使用余热为液废处理系统提供热量,通过ADBN预测出适合该液废样本的处理行为,包括温度和溶解氧DO含量,并且预测处理后产生的可燃气体。将这些可燃气体作为固废焚烧的助燃剂,减少其他燃料的供给。循环进行步骤5的操作,直到所有固废、液废测试样本处理完成。
下面通过本发明提供的方法对采集到的固废和液废数据集进行检测。固废和液废数据集均包括1000个样本,其中训练样本800个,测试样本200个。每个固废样本有7个特征,所以可视层神经元个数设置为7;每个固废样本有4个输出,即温度、压强、燃气流量和产生的余热。每个液废样本有2个特征,所以可视层神经元个数设置为2;每个液废样本有3个输出,即温度、溶解氧DO含量和产生的可燃气体。
检测结果表明基于自适应深度置信网络的固液废弃物智能耦合处理方法比传统的人工控制方法节约了30%的处理时间,同时因为加入了耦合操作,所以降低了20%的资源消耗,并且处理效果也达到了国家规定的固液废弃物处理指标。因此,本发明提出的方法可以有效的处理固液废弃物,并且节约时间和成本,实现高效的智能化耦合处理。

Claims (8)

1.一种基于自适应深度置信网络的固液废弃物智能耦合处理方法,其特征在于,步骤如下:
步骤1、对固体废弃物和液体废弃物进行测量,分别得到固废数据集和液废数据集,对两个数据集进行预处理,并分别划分得到固废训练数据集、固废测试数据集、液废训练数据集和液废测试数据集;
步骤2、将步骤1得到的固废训练数据集输入到ADBN模型中,同时加入可燃气体作为ADBN模型的一项输入,用来模拟处理液废后产生的可燃气体;使用对比散度算法CD无监督地自底向上单独训练每一层受限玻尔兹曼机RBM,并且在训练过程中,通过自适应增减枝算法,优化当前RBM的网络结构,通过迭代训练,得到每个RBM的网络结构、权重和偏置;
步骤3、将步骤2得到的ADBN网络结构和参数值作为微调阶段的初始值,使用自顶向下的反向传播算法微调整个ADBN网络,得到最终的用于处理固废的ADBN网络模型;
步骤4、将步骤1预处理后得到的液废训练数据集输入到另一个新的ADBN模型中,同时加入热量作为ADBN模型的一项输入,用来模拟处理固废后产生的余热;按步骤2所述方法训练网络,得到ADBN的网络模型;然后在最后一层RBM后增加一层输出层,用来预测适合该液废训练数据集的处理行为,包括温度和溶解氧DO含量,并且预测液废处理过程中产生的可燃气体;输入液废训练数据集,按步骤3所述方法微调整个ADBN网络,得到最终的用于处理液废的ADBN网络模型;
步骤5、分别将固废测试数据集、液废测试数据集输入到步骤3、步骤4所得最终的用于处理固废和液废的ADBN网络模型中,最后输出预测结果。
2.根据权利要求1所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤1中的预处理为:把固废数据集和液废数据集归一化到[0,1]之间,归一化公式为:
其中,为数据集的特征值,ymax和ymin分别为同种数据集中所有特征的最大值和最小值,y是经过归一化后的数据集。
3.根据权利要求1或2所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤2的具体操作如下:
步骤2.1,构建ADBN模型,设置ADBN模型的各参数值:可视层神经元、初始隐藏层神经元和隐藏层层数、学习率、迭代次数和微调次数;其中,可视层神经元个数为训练数据集的特征维数;
步骤2.2,将预处理后得到的固废训练数据集输入到第一层RBM中,使用CD算法对RBM进行预训练,并且在训练过程中,通过自适应增减枝算法,优化当前RBM的网络结构;
(1)RBM的能量函数F(u,g;θ)以及可视层和隐藏层神经元的联合概率分布Q(u,g;θ)为:
其中,ui(1≤i≤I)和gj(1≤j≤J)分别表示可视层神经元和隐藏层神经元,i表示第i个可视层神经元,I是可视层神经元的个数,j表示第j个隐藏层神经元,J是隐藏神经元的个数,w是可视层和隐藏层之间的权重矩阵,a和d分别是可视层神经元和隐藏层神经元的偏置,θ表示模型中的参数,即θ={w,a,d};Z是对所有可能的可视层和隐藏层神经元对求和;
RBM使用对比散度算法经过一步吉布斯采样得到训练样本的近似重构Q(u;θ),利用贝叶斯公式的原理,根据公式(3)求出可视层神经元u的边缘概率分布Q(u;θ);然后根据重构误差更新网络参数θ={w,a,d};其中:
在吉布斯采样过程中,可视层神经元u和隐藏层神经元g的条件概率分布为:
(2)在训练过程中,根据当前训练情况,通过自适应增减枝算法,优化RBM的网络结构;
(2.1)利用WL(Weight Length,权重长度)方法来监测权重w的变化情况:
WLj(m)=||wj(m),wj(m-1)|| (7)
其中,wj(m)是隐藏层神经元j在经过m次迭代后的权重向量;WL的值反映了两次迭代中隐藏层神经元j的权重向量的变化;
(2.2)从局部和全局两个方面来描述增枝条件,局部条件和全局条件分别用于找出各个隐藏层神经元对应于某个训练样本的最大的WL值,以及使各个隐藏层神经元的WL值增大的样本占所有训练样本的比例;
局部条件定义为:
其中,是在第m次迭代中,第j个隐藏神经元对第n个输入样本的WL值,max()是最大值函数;
全局条件定义为:
其中,N是固废训练数据集中样本的个数,N'是与上一次迭代相比使第j个隐藏层神经元的WL值增多的样本个数,即
将这局部条件和全局条件相乘即得到增枝条件:
MAX_WLj(m)*rj(m)>q(m) (10)
其中,q(m)是一条曲线,用来作为可变阈值,其定义为:
其中,m是当前迭代次数,epoches为最大迭代次数,h表示曲线的曲率,qmax和qmin分别是曲线的最大值和最小值;当第j个隐藏层神经元满足公式(10)时,则该神经元将被分成两个神经元,并且新神经元的各参数都为0;
(2.3)当RBM训练完成后,开始减枝;
将隐藏层神经元对所有样本激活概率的标准差α(j)作为减枝条件:
α(j)<θA (12)
其中,θA是一个阈值;当第j个神经元满足公式(12)时,则移除该神经元及其所有参数;同时,作一条关于减枝率与预测准确率之间的权衡曲线,根据此曲线选择θA的值,使移除更多的冗余神经元的同时保留原始准确率;标准差α(j)为:
其中,n=1,2,3,…,N,N是输入固废训练数据集中样本的个数,AP(n,j)表示第j个隐藏层神经元对第n个输入样本的激活概率,μj表示第j个隐藏层神经元对所有输入样本的平均激活概率;
(2.4)在减枝后,重新训练RBM,使剩余的神经元能够补偿被移除的神经元,减枝后再重训练为一次迭代;每次减枝都要更新阈值θA
θA←θA+δ(iter) (14)
其中,δ(iter)为使θA满足当前减枝所需的减枝率,通过δ(iter)来更新每次减枝中的阈值以移除更多的神经元;每次减枝都是一次贪心搜索,根据每次减枝中的权衡曲线,在不损失准确率的情况下找到最佳减枝率;
步骤2.3,当前RBM确定网络结构后,使用能量函数作为增加新RBM的条件:
其中,Fl是第l层RBM的总能量,由公式(2)求得,l=1,2…L,L是ADBN当前的层数,n表示第n个训练样本,θL是阈值;当整体网络的平均能量满足公式(15)时,则增加一层新的RBM,并且新RBM各参数的初始化与初始结构相同;之后把当前RBM的输出作为新增加的RBM的输入;
步骤2.4,按照步骤2.2和2.3循环训练网络,得到ADBN的网络结构。
4.根据权利要求1或2所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤3的具体操作如下:
步骤3.1,将步骤2中训练好的的ADBN网络结构和参数值θ作为微调阶段的初始值,并在最后一层RBM后增加一层输出层,用来预测适合该固废训练样本的燃烧行为,包括温度、压强和燃气流量,并且预测固废处理过程中产生的余热;输入固废训练数据集开始微调整个ADBN网络;
步骤3.2,利用前向传播算法计算每个隐藏层神经元的激活概率;
步骤3.3,计算出训练样本前向传播得到的预测结果,与实际结果作对比得到损失函数:
其中,t是当前微调次数,outn和out′n分别为第n个训练样本的实际结果和预测结果;将实际结果和预测结果的误差反向传播,使用梯度下降法按照公式(17)、(18)对权重w和偏置d进行更新:
其中,η是学习率;
迭代使用梯度下降法,自顶向下的微调整个ADBN网络,来减小E(t)的值,直至达到最大微调次数,获得最终的用于处理固废的ADBN网络模型。
5.根据权利要求3所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤3的具体操作如下:
步骤3.1,将步骤2中训练好的的ADBN网络结构和参数值θ作为微调阶段的初始值,并在最后一层RBM后增加一层输出层,用来预测适合该固废训练样本的燃烧行为,包括温度、压强和燃气流量,并且预测固废处理过程中产生的余热;输入固废训练数据集开始微调整个ADBN网络;
步骤3.2,利用前向传播算法计算每个隐藏层神经元的激活概率;
步骤3.3,计算出训练样本前向传播得到的预测结果,与实际结果作对比得到损失函数:
其中,t是当前微调次数,outn和out′n分别为第n个训练样本的实际结果和预测结果;将实际结果和预测结果的误差反向传播,使用梯度下降法按照公式(17)、(18)对权重w和偏置d进行更新:
其中,η是学习率;
迭代使用梯度下降法,自顶向下的微调整个ADBN网络,来减小E(t)的值,直至达到最大微调次数,获得最终的用于处理固废的ADBN网络模型。
6.根据权利要求1、2或5所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤5的具体操作如下:
步骤5.1,将步骤1得到的固废测试数据集输入到步骤3所得最终的用于处理固废的ADBN网络模型中,通过RBM提取固体废弃物的主要特征;
步骤5.2,将固废测试样本的主要特征输入到最后一层输出层中,预测出适合该固废样本的燃烧行为,包括温度、压强和燃气流量,并且预测燃烧后产生的余热;
步骤5.3,将步骤1得到的液废测试数据集以及步骤5.2得到的余热输入到步骤4所得最终的用于处理液废的ADBN网络模型中,使用余热为液废处理系统提供热量;通过RBM提取液体废弃物的主要特征;
步骤5.4,将液废测试样本的主要特征输入到最后一层输出层中,预测出适合该液废样本的处理行为,包括温度和溶解氧DO含量,并且预测处理后产生的可燃气体;将这些可燃气体输入到用于处理固废的ADBN网络模型中,作为固废焚烧的助燃剂,减少其他燃料的供给;
步骤5.5,循环进行步骤5.1至步骤5.4的操作,直到所有固废、液废测试样本处理完成。
7.根据权利要求3所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤5的具体操作如下:
步骤5.1,将步骤1得到的固废测试数据集输入到步骤3所得最终的用于处理固废的ADBN网络模型中,通过RBM提取固体废弃物的主要特征;
步骤5.2,将固废测试样本的主要特征输入到最后一层输出层中,预测出适合该固废样本的燃烧行为,包括温度、压强和燃气流量,并且预测燃烧后产生的余热;
步骤5.3,将步骤1得到的液废测试数据集以及步骤5.2得到的余热输入到步骤4所得最终的用于处理液废的ADBN网络模型中,使用余热为液废处理系统提供热量;通过RBM提取液体废弃物的主要特征;
步骤5.4,将液废测试样本的主要特征输入到最后一层输出层中,预测出适合该液废样本的处理行为,包括温度和溶解氧DO含量,并且预测处理后产生的可燃气体;将这些可燃气体输入到用于处理固废的ADBN网络模型中,作为固废焚烧的助燃剂,减少其他燃料的供给;
步骤5.5,循环进行步骤5.1至步骤5.4的操作,直到所有固废、液废测试样本处理完成。
8.根据权利要求4所述的固液废弃物智能耦合处理方法,其特征在于,所述步骤5的具体操作如下:
步骤5.1,将步骤1得到的固废测试数据集输入到步骤3所得最终的用于处理固废的ADBN网络模型中,通过RBM提取固体废弃物的主要特征;
步骤5.2,将固废测试样本的主要特征输入到最后一层输出层中,预测出适合该固废样本的燃烧行为,包括温度、压强和燃气流量,并且预测燃烧后产生的余热;
步骤5.3,将步骤1得到的液废测试数据集以及步骤5.2得到的余热输入到步骤4所得最终的用于处理液废的ADBN网络模型中,使用余热为液废处理系统提供热量;通过RBM提取液体废弃物的主要特征;
步骤5.4,将液废测试样本的主要特征输入到最后一层输出层中,预测出适合该液废样本的处理行为,包括温度和溶解氧DO含量,并且预测处理后产生的可燃气体;将这些可燃气体输入到用于处理固废的ADBN网络模型中,作为固废焚烧的助燃剂,减少其他燃料的供给;
步骤5.5,循环进行步骤5.1至步骤5.4的操作,直到所有固废、液废测试样本处理完成。
CN201811234832.4A 2018-10-23 2018-10-23 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法 Active CN109214513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811234832.4A CN109214513B (zh) 2018-10-23 2018-10-23 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811234832.4A CN109214513B (zh) 2018-10-23 2018-10-23 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法

Publications (2)

Publication Number Publication Date
CN109214513A true CN109214513A (zh) 2019-01-15
CN109214513B CN109214513B (zh) 2021-08-13

Family

ID=64981317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811234832.4A Active CN109214513B (zh) 2018-10-23 2018-10-23 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法

Country Status (1)

Country Link
CN (1) CN109214513B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949843A (zh) * 2021-02-08 2021-06-11 南京大学 基于多侧栅突触器件的人工感觉神经元结构及其制备方法
CN114818803A (zh) * 2022-04-25 2022-07-29 上海韶脑传感技术有限公司 基于神经元优化的单侧肢体患者运动想象脑电建模方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3961078A (en) * 1973-01-24 1976-06-01 Stitt Paul A Soluble waste conversion process and pasteurized proteinaceous products
CN1154949A (zh) * 1995-11-28 1997-07-23 株式会社荏原制作所 处理污水的方法
US20100228694A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Data Processing Using Restricted Boltzmann Machines
CN102500604A (zh) * 2011-11-28 2012-06-20 辽宁科技大学 固体生活垃圾能源化利用及可再生生物碳循环技术
CN103466886A (zh) * 2013-09-13 2013-12-25 烟台大学 农村城镇化小区生活污水与生物质垃圾处理系统及方法
CN103809557A (zh) * 2013-12-30 2014-05-21 北京工业大学 一种基于神经网络的污水处理过程优化控制方法
CN107247260A (zh) * 2017-07-06 2017-10-13 合肥工业大学 一种基于自适应深度置信网络的rfid定位方法
CN107402586A (zh) * 2017-08-29 2017-11-28 北京易沃特科技有限公司 基于深度神经网络的溶解氧浓度控制方法及系统
CN108549792A (zh) * 2018-06-27 2018-09-18 北京工业大学 一种基于潜结构映射算法的固废焚烧过程二噁英排放浓度软测量方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3961078A (en) * 1973-01-24 1976-06-01 Stitt Paul A Soluble waste conversion process and pasteurized proteinaceous products
CN1154949A (zh) * 1995-11-28 1997-07-23 株式会社荏原制作所 处理污水的方法
US20100228694A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Data Processing Using Restricted Boltzmann Machines
CN102500604A (zh) * 2011-11-28 2012-06-20 辽宁科技大学 固体生活垃圾能源化利用及可再生生物碳循环技术
CN103466886A (zh) * 2013-09-13 2013-12-25 烟台大学 农村城镇化小区生活污水与生物质垃圾处理系统及方法
CN103809557A (zh) * 2013-12-30 2014-05-21 北京工业大学 一种基于神经网络的污水处理过程优化控制方法
CN107247260A (zh) * 2017-07-06 2017-10-13 合肥工业大学 一种基于自适应深度置信网络的rfid定位方法
CN107402586A (zh) * 2017-08-29 2017-11-28 北京易沃特科技有限公司 基于深度神经网络的溶解氧浓度控制方法及系统
CN108549792A (zh) * 2018-06-27 2018-09-18 北京工业大学 一种基于潜结构映射算法的固废焚烧过程二噁英排放浓度软测量方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAYA SHANKAR PANDEY等: "Artificial neural network based modelling approach for municipal solid waste gasification in a fluidized bed reactor", 《WASTE MANAGEMENT》 *
张士昱等: "使用动态增减枝算法优化网络结构的DBN模型", 《计算机科学与探索》 *
李爱民等: "固体废弃物热解产物的神经网络预测模型", 《沈阳航空工业学院学报》 *
薄迎春等: "神经网络动态规划在溶解氧控制中的应用", 《中国石油大学学报(自然科学版)》 *
谢承利等: "基于焚烧运行参数的垃圾热值软测量模型", 《燃料科学与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949843A (zh) * 2021-02-08 2021-06-11 南京大学 基于多侧栅突触器件的人工感觉神经元结构及其制备方法
CN114818803A (zh) * 2022-04-25 2022-07-29 上海韶脑传感技术有限公司 基于神经元优化的单侧肢体患者运动想象脑电建模方法

Also Published As

Publication number Publication date
CN109214513B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108363753B (zh) 评论文本情感分类模型训练与情感分类方法、装置及设备
CN111626063B (zh) 一种基于投影梯度下降和标签平滑的文本意图识别方法及系统
CN108304927A (zh) 基于深度学习的轴承故障模式诊断方法及系统
CN109376913A (zh) 降水量的预测方法及装置
CN109165735A (zh) 基于生成对抗网络与自适应比例生成新样本的方法
Sayed et al. E-Learning optimization using supervised artificial neural-network
CN101963983A (zh) 一种粗集优化神经网络的数据挖掘方法
CN106682089A (zh) 一种基于RNNs的短信自动安全审核的方法
CN109214513A (zh) 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法
CN111831895A (zh) 一种基于lstm模型的网络舆情预警方法
CN116341621A (zh) 面向焊缝缺陷超声检测的低成本自学习神经网络设计方法
CN109146007A (zh) 一种基于动态深度置信网络的固体废弃物智能处理方法
Wang et al. Training with scaled logits to alleviate class-level over-fitting in few-shot learning
US20230401390A1 (en) Automatic concrete dam defect image description generation method based on graph attention network
Zubir et al. Analysis of algorithms variation in Multilayer Perceptron Neural Network for agarwood oil qualities classification
Yang et al. Prediction of mianyang carbon emission trend based on adaptive gru neural network
CN116822593A (zh) 一种基于硬件感知的大规模预训练语言模型压缩方法
CN113204641B (zh) 一种基于用户特征的退火注意力谣言鉴别方法及装置
Simanungkalit et al. Prediction of students’ academic performance using ANN with mini-batch gradient descent and Levenberg-Marquardt optimization algorithms
CN112016240B (zh) 一种相似证据非完全降解设备剩余稳定使用寿命预测方法
Zhang et al. Feature-induced label distribution for learning with noisy labels
CN114003270A (zh) 基于深度学习的软件安全漏洞修复者推荐方法
Sun et al. Improved Differential Gray Wolf Algorithm Optimized Support Vector Regression Strip Thickness Prediction Method.
Gu et al. TCN-GAWO: Genetic Algorithm Enhanced Weight Optimization for Temporal Convolutional Network
CN110516974A (zh) 基于证据匹配的案件质量评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant