CN105911003A - 基于rbm回归的水质toc浓度分析方法 - Google Patents

Abstract

本发明公开了一种基于RBM回归的水质TOC浓度分析方法，多次采集光源发出的光通过不同已知浓度的TOC溶液时的光谱数据，得到每种浓度对应的吸收光谱数据；分别计算光谱数据的吸光度；将所有吸光度值作为训练样本输入限制波尔兹曼机中训练，得到不同迭代次数对应的训练后的受限波尔兹曼机和对应的重构后的训练样本；将重构后的训练样本组合成新的训练样本送入BP神经网络模型中进行训练，得到训练后的BP神经网络模型；将测试样本按训练样本方式处理，并将重构后的测试样本组合成新的测试样本送入BP神经网络模型中进行测试，即得待测溶液的TOC浓度。本方法可提高TOC浓度反演精度，改善浓度反演算法的重复性和可移植性，满足在线检测精度要求。

Description

基于RBM回归的水质TOC浓度分析方法

技术领域

本发明涉及水质TOC浓度检测，具体指一种基于RBM回归的水质TOC浓度分析方法，属于水质检测分析处理领域，适用于因浓度高、光程短，光谱吸收不充分等导致的信噪比低，即传统方法问题较大情况下的溶液TOC浓度反演。

背景技术

总有机碳TOC(Total Organic Carbon)是表征水体中有机物质总量的综合指标，它代表了水体中所含有机物质的总和，直接反映了水体被有机物质污染的程度。目前，TOC测量已经广泛地应用到江河、湖泊以及海洋监测等方面。对于地表水、饮用水、工业用水等方面的质量控制，TOC同样是重要的测量参数，实际上TOC测量已经成为世界上水体质量控制的主要检测手段。2003年国家四部委在新颁布的排污费用征收标准管理办法中，已经把TOC正式列入水污染物污染当量值表。

常规TOC测量是根据碳是构成有机体的基本元素这个原理而进行的，碳是整个生物圈物质和能量循环的主体。碳循环进入水体后主要以不同的化合物结构和不同的形态方式存在，它进入水体主要有两种途径，一方面是通过大气与水体之间的交换，水体与大气为了达到碳平衡，会吸收大量的气态碳直至饱和；另一方面是由于生活污染物的排放、石油开发、工业生产以及养殖的发展，使得水体中碳构成的有机物质成分增加。因此，总体来讲TOC比COD或BOD₅更能直接合理的表征水体受到有机物质污染的程度。

现在我国水环境污染日趋严重，江河、湖泊不断受到石油泄漏、生活污染物排放、倾废等行为的影响，特别是随着现代工业如有机化工，精细化工、高分子工业、电子工业的迅速发展，水体中的有机污染物呈现出多样化、复杂化的特点，特别是有些持久性有机污染物POPs(Persistent Organic Pollutants)，又称难降解有机污染物，它们是一类具有毒性、易于在生物体内富集、在环境中能够持久存在、对人体有着严重危害的有机物质，传统的测量分析方法已经不能或者很难准确测量其含量，但是TOC测量却是目前非常理想的测量手段，可以得到满意的检测结果。

常规的TOC测量方法是根据水体中的碳循环，即碳的各种存在形态而进行的，测量方法基本上是先将水中的有机物质氧化为CO₂，然后检测CO₂的含量来确定TOC的浓度。然而这些常规的测量方法在应用过程中是有缺陷的，例如测试方法复杂，需要使用化学试剂，容易造成二次污染，测量时间、速度不能满足实时性要求以及需要一定的维护工作等，因此，这些方法不适于大规模环保监测的发展需要。在这种现实条件下，一些新的测量方法和技术应运而生，如电阻法、电导法、臭氧氧化法、超声空化与声致发光法、紫外法等等，这些方法正在得到广泛的关注及应用。

1)电阻法：电阻法是近年来开始应用的技术，其原理是在温度补偿的前提下，测量样品在紫外线氧化前后电阻率的差值来实现的。当水进入仪器后，首先测量最初的温度和电阻率，然后使水会通过一个螺旋石英管，并且暴露在185nm的紫外线下，这时所有的低分子量的有机组分会立即转化成有机酸。生成的酸会使水的电阻率变低，这时我们再测量此时的水的电阻率，根据前后两次测量的电阻率差值和水中TOC的含量成正比这一关系，即可测得待测液体的TOC含量。但该方法对被测量的水体来源要求比较苛刻，只能用相对洁净的工业用水和纯水，应用方向单一。

2)电导法：电导法的主要应用是电导池，它由参比电极、测量电极、气液分离器、离子交换树脂、反应盘管、0.001mol/L NaOH电导液等组成。它的测量原理是：当反应气流通过电导池的反应盘管时，其中的CO₂与NaOH电导液会在反应盘管中充分接触，从而发生化学反应生成碳酸钠。因为NaOH的电导率与Na₂CO₃的电导率是不同的，这就导致测量电极检测到的信号发生变化，而它们的差值又与CO₂的浓度成正比，这样就可以实现对CO₂的测量。电导池的优点是价格低、易普及，但稳定性较差。

3)臭氧氧化法：臭氧氧化法的主要依据是臭氧的氧化能力在天然元素中仅次于氟，采用臭氧氧化方式来作为TOC检测技术，优点是反应速度快，无二次污染，具有较高的应用价值。测量原理是根据臭氧氧化化学发光探测原理，测量定量化学发光总量，根据大量试验数据验证，测量信号与TOC的线性相关性非常好。此方法的应用前景非常可观。

4)超声空化与声致发光法：声化学已成为一个蓬勃发展的研究领域，声致发光的研究已涉及到环境保护领域，我国的相关学者在基础研究和应用研究方面做了大量的工作，近年来，这一独特的方法已经得到专家的认可，目前在山东省科学院海洋仪器研究所，利用超声空化与声致发光法研制的样机正在进行初步的测试，大量的试验数据表明该方法具明显优势。

5)紫外法：基于紫外可见(UV-Vis)光谱的水体TOC分析由于具有快速、不接触测量、重复性好、维护量少等优点，在目前的发展比较迅速。UV吸收光谱用于TOC的检测分析最早可追溯到1972年，Dobbs等人对于254nm处紫外吸光度值(A)和城市污水处理二级出水及河水的TOC之间线性关系进行了研究，到2001年更多的技术人员分别验证了这一方法对于更广泛污水水样同样具有有效性，与传统的化学测量方法检测的TOC之间具有良好的线性相关性，因此，该方法的应用得到飞速发展。目前国外的一些仪器公司已经开发出基于紫外可见(UV-Vis)光谱的TOC分析仪，图1是现有紫外光谱法测量系统示意图。但是通过单点进行测量，得到的信息不充分，线性回归方程的拟合精度不高。目前很多科技人员正在应用多波段拟合的方法进行测量。

紫外光谱法反演TOC溶液的浓度所依据的原理就是朗伯比尔定律，朗伯比尔定律可表述为：

A＝lg(I₀/I_t)＝K·l·c

式中，A为吸光度，I₀为入射光的强度，I_t为透射光的强度，K为吸收系数或者摩尔吸收系数，l为吸收介质的厚度，c为吸光介质的浓度，单位可以是g/L或者mol/L。

常规的用于反演TOC溶液浓度的方法就是根据朗伯比尔定律来测定所有各种浓度TOC溶液的吸光度，然后根据各种浓度TOC溶液的平均吸光度拟合出一条直线，然后将未知溶液的吸光度带入该一次函数从而反演出未知溶液浓度。

然而在具体实验过程中，TOC溶液标定的线性并不理想。图2是表1所示10种标准浓度TOC溶液的光谱吸收曲线图；图3是表1所示10种标准浓度溶液吸光度曲线图。如果用30mg/L和70mg/L浓度的计算结果拟合直线，再利用该直线对其余结果进行浓度反演。反演结果和误差如表1所示(单位：mg/L)：

表1线性反演结果与误差(％)

单位：mg/L

图4是浓度计算结果线性度示意图。从图4中可以看出，当TOC浓度范围在0mg/L-100mg/L时，计算结果所呈图形虽然基本呈线性，但此时用直线进行反演的时候，个别浓度会出现很大的误差(见表1)，而且这些浓度的精度都不能达到要求。鉴于现有方法已不能满足TOC溶液浓度反演的精度要求，因此亟需一种新的高精度的方法来完成TOC溶液的在线检测。

发明内容

针对现有技术存在的上述不足，本发明的目的在于提供一种基于RBM回归的水质TOC浓度分析方法，本方法可以提高TOC浓度反演精度，改善浓度反演算法的重复性和可移植性，尤其能够提高短光程条件下TOC溶液的反演精度，满足在线检测的精度要求。

本发明的技术方案是这样实现的：

基于RBM回归的水质TOC浓度分析方法，步骤如下，

1)训练样本光谱数据采集：通过光谱仪分别采集光源发出的光通过不同已知浓度的TOC溶液时的光谱数据，得到每种浓度TOC溶液对应的吸收光谱数据；每种浓度TOC溶液的吸收光谱数据进行同样次数的多次采集，使每种浓度TOC溶液对应着一组包含着其浓度特征信息的高维数据；

2)吸收光谱数据预处理：将步骤1)采集的所有吸收光谱数据对应减去各自包含的暗光谱，得到预处理后的光谱数据；

3)特征波段选取：将预处理后的光谱数据选择特征比较明显的波段进行分析，得到特征波段；

4)吸光度的计算：根据朗伯比尔定律分别计算出所选特征波段光谱数据的吸光度；

5)RBM参数初始化：初始化限制波尔兹曼机RBM(Restricted Boltzmann Machine)的相关参数，得到初始限制波尔兹曼机RBM网络模型；

6)RBM模型构建：将步骤4)计算得到的所有吸光度值作为训练样本输入初始限制波尔兹曼机RBM网络模型中在某一迭代次数下进行训练，利用对比散度算法，得到该迭代次数对应的训练后的受限波尔兹曼机RBM，同时得到该迭代次数对应的降低了维度的重构后的训练样本；

7)改变迭代次数，重复步骤6)，得到不同迭代次数下对应的训练后的受限波尔兹曼机RBM和不同迭代次数对应的降低了维度的重构后的训练样本；

8)将所有迭代次数下对应的降低了维度的重构后的训练样本组合成新的训练样本送入BP神经网络模型中进行训练，得到训练后的BP神经网络模型；

9)测试样本光谱数据采集：通过光谱仪多次采集光源发出的光通过待测浓度TOC溶液时的吸收光谱数据，得到待测浓度TOC溶液对应着的一组包含着其TOC浓度特征信息的高维数据；

10)将测试样本光谱数据依次按步骤2)、步骤3)和步骤4)进行处理，得到每个测试样本光谱数据对应的吸光度值；

11)将步骤10)得到的所有吸光度值作为测试样本分别输入步骤7)得到的所有训练后的受限波尔兹曼机RBM中并分别按训练后的受限波尔兹曼机RBM对应的迭代次数进行训练，得到不同迭代次数对应的降低了维度的重构后的测试样本；

12)将所有迭代次数下对应的降低了维度的重构后的测试样本组合成新的测试样本，再将该新的测试样本送入训练后的BP神经网络模型中进行测试，即可得到待测溶液的TOC浓度值。

第6)步将训练样本输入初始限制波尔兹曼机RBM网络模型中在某一迭代次数下进行训练的具体步骤为，

6a)对于每次迭代，在每小批量数据上，调用CD-k算法，进行k次交替Gibbs采样，本方法只需1次交替Gibbs采样即可保证采集到的样本符合目标分布，具体为：

$P(h_j^{\left(0\right)}=1|v^{\left(0\right)})=\frac{1}{1+\exp (-b_j-\underset{i=1}{\overset{n_v}{\Σ}}{w}_{j,i}{v}_i^{\left(0\right)})}---\left(1\right)$

$P(v_i^{\left(1\right)}=1|h^{\left(0\right)})=\frac{1}{1+\exp (-a_i-\underset{j=1}{\overset{n_h}{\Σ}}{w}_{j,i}{h}_j^{\left(0\right)})}---\left(2\right)$

其中(1)式表示在已知可见层状态v⁽⁰⁾时采样出隐藏层的第j个单元的状态等于1的概率，v⁽⁰⁾表示可见层的输入状态，即训练样本原始特征向量归一化后的数据，表示可见层第i个单元的状态，表示隐藏层第j个单元的状态，b_j表示隐藏层第j个单元的偏置，w_j,i表示可见层第i个单元与隐藏层第j个单元的连接权重；

接着，产生[0，1]内的随机数r_j，对进行二值化，即若则否则，

其中(2)式表示在已知隐藏层状态时采样出可见层各个单元状态以此来代替目标分布，其中，a_i表示可见层第i个单元的偏置；

${\mathrm{\Δw}}_{i,j}\≈P(h_i^{\left(0\right)}=1|v^{\left(0\right)})v_j^{\left(0\right)}-P(h_i^{\left(1\right)}=1|v^{\left(1\right)})v_j^{\left(1\right)}---\left(3\right)$

${\mathrm{\Δa}}_i\≈v_i^{\left(0\right)}-v_i^{\left(1\right)}---\left(4\right)$

${\mathrm{\Δb}}_i\≈P(h_i^{\left(0\right)}=1|v^{\left(0\right)})-P(h_i^{\left(1\right)}=1|v^{\left(1\right)})---\left(5\right)$

利用(3)、(4)、(5)式分别计算每次迭代时目标函数在每小批量数据上关于连接权重W、可见层偏置a、隐藏层偏置b的偏导数；

${\mathrm{\Δw}}_{i,j}^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δw}}_{i,j}^{(iter-1)}+{\mathrm{\η}}_W*({\mathrm{\Δw}}_{i,j}^{\left(iter\right)}/n_{block}-\mathrm{\λ}*{\mathrm{\Δw}}_{i,j}^{(iter-1)})---\left(6\right)$

${\mathrm{\Δa}}_i^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δa}}_i^{(iter-1)}+{\mathrm{\η}}_{vb}*({\mathrm{\Δa}}_i^{\left(iter\right)}/n_{block})---\left(7\right)$

${\mathrm{\Δb}}_i^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δb}}_i^{(iter-1)}+{\mathrm{\η}}_{hb}*({\mathrm{\Δb}}_i^{\left(iter\right)}/n_{block})---\left(8\right)$

本方法采用(6)、(7)、(8)式更新当前迭代(iter≥1)每小批量数据上的平均偏导数，其中n_block为小批量数据的数目，ρ为动量学习率，本方法中，当每次迭代次数大于30次时，ρ＝ρ_final＝0.9，否则，ρ＝ρ_ini＝0.5；

6b)利用梯度上升法更新RBM参数θ＝(W,a,b)，具体为：

W^(iter)＝W^(iter-1)+ΔW^(iter) (9)

a^(iter)＝a^(iter-1)+Δa^(iter) (10)

b^(iter)＝b^(iter-1)+Δb^(iter) (11)

按上式更新当前迭代每小批量数据上的连接权重、可见层偏置和隐藏层偏置。

其中，步骤6)中对比散度算法的具体步骤如下：

第1步，将待训练样本输入到受限波尔兹曼机可见层的第一层，得到受限波尔兹曼机可见层的第一层输出；

第2步，按照下式，采样得到受限波尔兹曼机RBM隐藏层的第一层输出：

$h_{1n}~P(h_{1n}=1|v_1)=\frac{1}{1+e^{-({\Σ}_{n=1}^N{w}_{1n}\×v_1)+b_{1n}}}---\left(12\right)$

其中，h_1n表示受限波尔兹曼机RBM隐藏层的第一层中第n个节点的输出，n表示限波尔兹曼机RBM隐藏层的第一层中第n个节点，～表示采样操作，P(h_1n＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机RBM隐藏层的第一层中第n个节点输出为1的几率，v₁表示受限波尔兹曼机RBM可见层的第一层输出，e表示欧拉常数，∑表示求和操作，N表示受限波尔兹曼机RBM隐藏层的第一层的节点总数，w_1n表示连接受限波尔兹曼机RBM隐藏层的第一层中第n个节点与受限波尔兹曼机RBM可见层的第一层的权值，b_1n表示受限波尔兹曼机RBM隐藏层的第一层中第n个节点的偏置向量；

第3步，按照下式，采样得到受限波尔兹曼机RBM可见层的第二层输出：

$v_{2m}~P(v_{2m}=1|h_1)=\frac{1}{1+e^{-({\Σ}_{m=1}^M{w}_{2m}\×h_1)+a_{2m}}}---\left(13\right)$

其中，v_2m表示受限波尔兹曼机RBM可见层的第二层中第m个节点的输出，m表示受限波尔兹曼机RBM可见层的第二层中第m个节点，～表示采样操作，P(v_2m＝1|h₁)表示受限波尔兹曼机RBM隐藏层的第一层输出为h₁时受限波尔兹曼机RBM可见层的第二层中第m个节点输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，e表示欧拉常数，∑表示求和操作，M表示受限波尔兹曼机RBM可见层的第二层的节点总数，w_2m表示受限波尔兹曼机RBM连接可见层的第二层中第m个节点与受限波尔兹曼机RBM隐藏层的第一层的权值，a_2m表示受限波尔兹曼机RBM可见层的第二层中第m个节点的偏置向量；

第4步，按照下式，采样得到受限波尔兹曼机RBM隐藏层的第二层输出：

$h_{2n}~P(h_{2n}=1|v_2)=\frac{1}{1+e^{-({\Σ}_{n=1}^N{w}_{2n}\×v_2)+b_{2n}}}---\left(14\right)$

其中，h_2n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点的输出，n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点，～表示采样操作，P(h_2n＝1|v₂)表示受限波尔兹曼机RBM可见层的第二层输出为v₂时受限波尔兹曼机隐藏层的第二层中第n个节点输出为1的几率，v₂表示受限波尔兹曼机RBM可见层的第二层输出，e表示欧拉常数，∑表示求和操作，N表示受限波尔兹曼机RBM隐藏层的第二层的节点总数，w_2n表示连接受限波尔兹曼机RBM隐藏层的第二层中第n个节点与受限波尔兹曼机RBM可见层的第二层的权值，b_2n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点的偏置向量；

第5步，按照下式，更新受限波尔兹曼机RBM的权重：

w_t+1＝w_t+(P(h₁＝1|v₁)×v₁)-(P(h₂＝1|v₂)×v₂) (15)

其中，w_t+1表示第t+1次更新后受限波尔兹曼机RBM的权重，w_t表示第t次更新后受限波尔兹曼机RBM的权重，P(h₁＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机隐藏层的第一层输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，v₁表示受限波尔兹曼机RBM可见层的第一层输出，(×)表示内积操作，P(h₂＝1|v₂)表示受限波尔兹曼机RBM可见层的第二层输出为v₂时受限波尔兹曼机RBM隐藏层的第二层输出为1的几率，h₂表示受限波尔兹曼机RBM隐藏层的第二层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第6步，按照下式，更新受限波尔兹曼机RBM可见层的偏置向量：

a_t+1＝a_t+v₁-v₂ (16)

其中，a_t+1表示第t+1次更新后受限波尔兹曼机RBM可见层的偏置向量，a_t表示第t次更新后受限波尔兹曼机RBM可见层的偏置向量，v₁表示受限波尔兹曼机RBM可见层的第一层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第7步，按照下式，更新受限波尔兹曼机RBM隐藏层的偏置向量：

b_t+1＝b_t+P(h₁＝1|v₁)-P(h₂＝1|v₂) (17)

其中，b_t+1表示第t+1次更新后受限波尔兹曼机RBM隐藏层的偏置向量，b_t表示第t次更新后受限波尔兹曼机RBM隐藏层的偏置向量，P(h₁＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机隐藏层的第一层输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，v₁表示受限波尔兹曼机RBM可见层的第一层输出，P(h₂＝1|v₂)表示受限波尔兹曼机可见层的第二层输出为v₂时受限波尔兹曼机RBM隐藏层的第二层输出为1的几率，h₂表示受限波尔兹曼机RBM隐藏层的第二层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第8步，判断受限波尔兹曼机的训练周期是否达到300秒，若是，停止更新受限波尔兹曼机RBM的权值、可见层的偏置向量和隐藏层的偏置向量，得到训练完成的受限波尔兹曼机，否则，重复执行第2步-第7步，直到受限波尔兹曼机的训练周期达到300秒。

相比现有技术，本发明具有如下有益效果：

本发明采用基于RBM回归的TOC浓度反演方法，相对于直接采用线性拟合的技术，在算法复杂度基本不变的情况下，本方法大幅度提升了反演结果的精度。本方法可以改善浓度反演算法的重复性和可移植性，尤其是提高短光程条件下TOC溶液的反演精度，满足在线检测的精度要求。

附图说明

图1-紫外光谱法测量系统结构示意图。

图2-10种浓度光谱吸收曲线图。

图3-10种浓度的吸光度曲线图。

图4-浓度计算结果线性度示意图。

图5-RBM模型示意图。

图6-反演结果与标液浓度对比示意图。

图7-反演结果与标液浓度误差示意图。

图8-本发明实现流程示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

基于现有直接线性拟合方法的不足，本发明提出了一种基于RBM回归的水质TOC浓度反演方法。在所采集的TOC溶液吸收光谱数据中，不同波长点对应不同的光强，相应波段对应着大量的数据。为减小单次采集产生的随机误差，本发明对同一种浓度的光谱数据进行多次采集。这样同一种浓度就相当于对应着一组高维数据，而这组高维数据中就包含着其对应浓度的特征信息。由此可以利用特征提取的方法分别将每种浓度TOC溶液的特征信息提取出来，剔除不必要的信息，即受限玻尔兹曼机RBM法。再利用BP神经网络对训练样本进行建模，最后再将测试样本的特征提取出来，再利用该BP神经网络模型即可得出其对应的浓度。

本方法首先对光谱仪所采得的不同浓度TOC溶液的吸收光谱数据进行预处理，然后对预处理后的数据对应相应标准浓度进行建模，最后用所建模型对新采得的光谱数据进行回归分析，得到反演浓度。

本发明具体步骤如下，同时可以参见图5：

1、基于RBM回归的水质TOC浓度分析方法，其特征在于：步骤如下，

1)训练样本光谱数据采集：通过光谱仪分别采集光源发出的光通过不同已知浓度的TOC溶液时的光谱数据，得到每种浓度TOC溶液对应的吸收光谱数据；每种浓度TOC溶液的吸收光谱数据进行同样次数的多次采集，使每种浓度TOC溶液对应着一组包含着其浓度特征信息的高维数据；

2)吸收光谱数据预处理：将步骤1)采集的所有吸收光谱数据对应减去各自包含的暗光谱，得到预处理后的光谱数据；

3)特征波段选取：将预处理后的光谱数据选择特征比较明显的波段进行分析，得到特征波段；

4)吸光度的计算：根据朗伯比尔定律分别计算出所选特征波段光谱数据的吸光度；

5)RBM参数初始化：初始化限制波尔兹曼机RBM(Restricted Boltzmann Machine)的相关参数，得到初始限制波尔兹曼机RBM网络模型；

6)RBM模型构建：将步骤4)计算得到的所有吸光度值作为训练样本输入初始限制波尔兹曼机RBM网络模型中在某一迭代次数下进行训练，利用对比散度算法，得到该迭代次数对应的训练后的受限波尔兹曼机RBM，同时得到该迭代次数对应的降低了维度的重构后的训练样本；

7)改变迭代次数，重复步骤6)，得到不同迭代次数下对应的训练后的受限波尔兹曼机RBM和不同迭代次数对应的降低了维度的重构后的训练样本；

8)将所有迭代次数下对应的降低了维度的重构后的训练样本组合成新的训练样本送入BP神经网络模型中进行训练，得到训练后的BP神经网络模型；

9)测试样本光谱数据采集：通过光谱仪多次采集光源发出的光通过待测浓度TOC溶液时的吸收光谱数据，得到待测浓度TOC溶液对应着的一组包含着其TOC浓度特征信息的高维数据；

10)将测试样本光谱数据依次按步骤2)、步骤3)和步骤4)进行处理，得到每个测试样本光谱数据对应的吸光度值；

11)将步骤10)得到的所有吸光度值作为测试样本分别输入步骤7)得到的所有训练后的受限波尔兹曼机RBM中并分别按训练后的受限波尔兹曼机RBM对应的迭代次数进行训练，得到不同迭代次数对应的降低了维度的重构后的测试样本；

12)将所有迭代次数下对应的降低了维度的重构后的测试样本组合成新的测试样本，再将该新的测试样本送入训练后的BP神经网络模型中进行测试，即可得到待测溶液的TOC浓度值。

其中，第6)步将训练样本输入初始限制波尔兹曼机RBM网络模型中在某一迭代次数下进行训练的具体步骤为，

6a)对于每次迭代，在每小批量数据上，调用CD-k算法，进行k次交替Gibbs采样，本方法只需1次交替Gibbs采样即可保证采集到的样本符合目标分布，具体为：

$P(h_j^{\left(0\right)}=1|v^{\left(0\right)})=\frac{1}{1+\exp (-b_j-\underset{i=1}{\overset{n_v}{\Σ}}{w}_{j,i}{v}_i^{\left(0\right)})}---\left(1\right)$

$P(v_i^{\left(1\right)}=1|h^{\left(0\right)})=\frac{1}{1+\exp (-a_i-\underset{j=1}{\overset{n_h}{\Σ}}{w}_{j,i}{h}_j^{\left(0\right)})}---\left(2\right)$

其中(1)式表示在已知可见层状态v⁽⁰⁾时采样出隐藏层的第j个单元的状态等于1的概率，v⁽⁰⁾表示可见层的输入状态，即训练样本原始特征向量归一化后的数据，表示可见层第i个单元的状态，表示隐藏层第j个单元的状态，b_j表示隐藏层第j个单元的偏置，w_j,i表示可见层第i个单元与隐藏层第j个单元的连接权重；

接着，产生[0，1]内的随机数r_j，对进行二值化，即若则否则，

其中(2)式表示在已知隐藏层状态时采样出可见层各个单元状态以此来代替目标分布，其中，a_i表示可见层第i个单元的偏置；

${\mathrm{\Δw}}_{i,j}\≈P(h_i^{\left(0\right)}=1|v^{\left(0\right)})v_j^{\left(0\right)}-P(h_i^{\left(1\right)}=1|v^{\left(1\right)})v_j^{\left(1\right)}---\left(3\right)$

${\mathrm{\Δa}}_i\≈v_i^{\left(0\right)}-v_i^{\left(1\right)}---\left(4\right)$

${\mathrm{\Δb}}_i\≈P(h_i^{\left(0\right)}=1|v^{\left(0\right)})-P(h_i^{\left(1\right)}=1|v^{\left(1\right)})---\left(5\right)$

利用(3)、(4)、(5)式分别计算每次迭代时目标函数在每小批量数据上关于连接权重W、可见层偏置a、隐藏层偏置b的偏导数；

${\mathrm{\Δw}}_{i,j}^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δw}}_{i,j}^{(iter-1)}+{\mathrm{\η}}_W*({\mathrm{\Δw}}_{i,j}^{\left(iter\right)}/n_{block}-\mathrm{\λ}*{\mathrm{\Δw}}_{i,j}^{(iter-1)})---\left(6\right)$

${\mathrm{\Δa}}_i^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δa}}_i^{(iter-1)}+{\mathrm{\η}}_{vb}*({\mathrm{\Δa}}_i^{\left(iter\right)}/n_{block})---\left(7\right)$

${\mathrm{\Δb}}_i^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δb}}_i^{(iter-1)}+{\mathrm{\η}}_{hb}*({\mathrm{\Δb}}_i^{\left(iter\right)}/n_{block})---\left(8\right)$

本方法采用(6)、(7)、(8)式更新当前迭代(iter≥1)每小批量数据上的平均偏导数，其中n_block为小批量数据的数目，ρ为动量学习率，本方法中，当每次迭代次数大于30次时，ρ＝ρ_final＝0.9，否则，ρ＝ρ_ini＝0.5；

6b)利用梯度上升法更新RBM参数θ＝(W,a,b)，具体为：

W^(iter)＝W^(iter-1)+ΔW^(iter) (9)

a^(iter)＝a^(iter-1)+Δa^(iter) (10)

b^(iter)＝b^(iter-1)+Δb^(iter) (11)

按上式更新当前迭代每小批量数据上的连接权重、可见层偏置和隐藏层偏置。

步骤6)中对比散度算法的具体步骤如下：

第1步，将待训练样本输入到受限波尔兹曼机可见层的第一层，得到受限波尔兹曼机可见层的第一层输出；

第2步，按照下式，采样得到受限波尔兹曼机RBM隐藏层的第一层输出：

$h_{1n}~P(h_{1n}=1|v_1)=\frac{1}{1+e^{-({\Σ}_{n=1}^N{w}_{1n}\×v_1)+b_{1n}}}---\left(12\right)$

其中，h_1n表示受限波尔兹曼机RBM隐藏层的第一层中第n个节点的输出，n表示限波尔兹曼机RBM隐藏层的第一层中第n个节点，～表示采样操作，P(h_1n＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机RBM隐藏层的第一层中第n个节点输出为1的几率，v₁表示受限波尔兹曼机RBM可见层的第一层输出，e表示欧拉常数，∑表示求和操作，N表示受限波尔兹曼机RBM隐藏层的第一层的节点总数，w_1n表示连接受限波尔兹曼机RBM隐藏层的第一层中第n个节点与受限波尔兹曼机RBM可见层的第一层的权值，b_1n表示受限波尔兹曼机RBM隐藏层的第一层中第n个节点的偏置向量；

第3步，按照下式，采样得到受限波尔兹曼机RBM可见层的第二层输出：

$v_{2m}~P(v_{2m}=1|h_1)=\frac{1}{1+e^{-({\Σ}_{m=1}^M{w}_{2m}\×h_1)+a_{2m}}}---\left(13\right)$

其中，v_2m表示受限波尔兹曼机RBM可见层的第二层中第m个节点的输出，m表示受限波尔兹曼机RBM可见层的第二层中第m个节点，～表示采样操作，P(v_2m＝1|h₁)表示受限波尔兹曼机RBM隐藏层的第一层输出为h₁时受限波尔兹曼机RBM可见层的第二层中第m个节点输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，e表示欧拉常数，∑表示求和操作，M表示受限波尔兹曼机RBM可见层的第二层的节点总数，w_2m表示受限波尔兹曼机RBM连接可见层的第二层中第m个节点与受限波尔兹曼机RBM隐藏层的第一层的权值，a_2m表示受限波尔兹曼机RBM可见层的第二层中第m个节点的偏置向量；

第4步，按照下式，采样得到受限波尔兹曼机RBM隐藏层的第二层输出：

$h_{2n}~P(h_{2n}=1|v_2)=\frac{1}{1+e^{-({\Σ}_{n=1}^N{w}_{2n}\×v_2)+b_{2n}}}---\left(14\right)$

其中，h_2n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点的输出，n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点，～表示采样操作，P(h_2n＝1|v₂)表示受限波尔兹曼机RBM可见层的第二层输出为v₂时受限波尔兹曼机隐藏层的第二层中第n个节点输出为1的几率，v₂表示受限波尔兹曼机RBM可见层的第二层输出，e表示欧拉常数，∑表示求和操作，N表示受限波尔兹曼机RBM隐藏层的第二层的节点总数，w_2n表示连接受限波尔兹曼机RBM隐藏层的第二层中第n个节点与受限波尔兹曼机RBM可见层的第二层的权值，b_2n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点的偏置向量；

第5步，按照下式，更新受限波尔兹曼机RBM的权重：

w_t+1＝w_t+(P(h₁＝1|v₁)×v₁)-(P(h₂＝1|v₂)×v₂) (15)

其中，w_t+1表示第t+1次更新后受限波尔兹曼机RBM的权重，w_t表示第t次更新后受限波尔兹曼机RBM的权重，P(h₁＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机隐藏层的第一层输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，v₁表示受限波尔兹曼机RBM可见层的第一层输出，(×)表示内积操作，P(h₂＝1|v₂)表示受限波尔兹曼机RBM可见层的第二层输出为v₂时受限波尔兹曼机RBM隐藏层的第二层输出为1的几率，h₂表示受限波尔兹曼机RBM隐藏层的第二层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第6步，按照下式，更新受限波尔兹曼机RBM可见层的偏置向量：

a_t+1＝a_t+v₁-v₂ (16)

其中，a_t+1表示第t+1次更新后受限波尔兹曼机RBM可见层的偏置向量，a_t表示第t次更新后受限波尔兹曼机RBM可见层的偏置向量，v₁表示受限波尔兹曼机RBM可见层的第一层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第7步，按照下式，更新受限波尔兹曼机RBM隐藏层的偏置向量：

b_t+1＝b_t+P(h₁＝1|v₁)-P(h₂＝1|v₂) (17)

其中，b_t+1表示第t+1次更新后受限波尔兹曼机RBM隐藏层的偏置向量，b_t表示第t次更新后受限波尔兹曼机RBM隐藏层的偏置向量，P(h₁＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机隐藏层的第一层输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，v₁表示受限波尔兹曼机RBM可见层的第一层输出，P(h₂＝1|v₂)表示受限波尔兹曼机可见层的第二层输出为v₂时受限波尔兹曼机RBM隐藏层的第二层输出为1的几率，h₂表示受限波尔兹曼机RBM隐藏层的第二层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第8步，判断受限波尔兹曼机的训练周期是否达到300秒，若是，停止更新受限波尔兹曼机RBM的权值、可见层的偏置向量和隐藏层的偏置向量，得到训练完成的受限波尔兹曼机，否则，重复执行第2步-第7步，直到受限波尔兹曼机的训练周期达到300秒。

本发明针对数据本身所具有的本质特征进行分析，抛开现有直接线性拟合技术的弊端，直接对预处理后的数据进行受限玻尔兹曼机RBM特征提取，通过BP神经网络构建模型，进而利用待测TOC溶液采得的吸收光谱数据输入数学模型得到TOC溶液的浓度。通过几个实例进行的反演结果如图6所示，其中‘+’代表标液浓度，‘o’代表10种浓度每种浓度90组数据的反演结果(此时标液浓度已被反演出来的浓度覆盖)，二者吻合性越好，说明反演结果越好。

图6反演浓度的具体结果与误差百分比见表2所示：

单位：mg/L

与表1对比可知，该反演结果和标准TOC溶液浓度基本一致，且该模型较传统算法而言，在计算精度上有了大幅度地提升，尤其是高浓度TOC溶液结果精度非常高。图7是反演结果与标准TOC浓度误差示意图。

为了更好地说明本发明涉及的基于RBM回归的TOC溶液浓度反演方法，利用紫外光谱仪所采集的吸收光谱数据进行实验，以检测TOC溶液的浓度。本发明的实现流程如图8所示，具体实施方案按以下步骤进行：

1)训练样本数据读入：读入紫外光谱仪采集的不同浓度的吸收光谱数据和暗光谱数据，对吸收光谱数据进行预处理之后，根据朗伯比尔定律计算得出吸光度数据；

2)受限玻尔兹曼机RBM特征提取：利用受限玻尔兹曼机RBM对不同浓度的吸光度数据分别进行特征提取，提取主成分；

3)利用提取的主成分和对应的标准TOC溶液浓度，将数据送入BP神经网络中进行训练，构建反演模型；

4)将测试样本依次经过步骤1)和步骤2)处理后，再送入步骤3)构建的模型中，即可得到待测试TOC溶液浓度反演结果。

最后需要说明的是，本发明的上述实例仅仅是为说明本发明所作的举例，而并非是对本发明的实施方式的限定。尽管申请人参照较佳实施例对本发明进行了详细说明，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (3)

1.基于RBM回归的水质TOC浓度分析方法，其特征在于：步骤如下，

1)训练样本光谱数据采集：通过光谱仪分别采集光源发出的光通过不同已知浓度的TOC溶液时的光谱数据，得到每种浓度TOC溶液对应的吸收光谱数据；每种浓度TOC溶液的吸收光谱数据进行同样次数的多次采集，使每种浓度TOC溶液对应着一组包含着其浓度特征信息的高维数据；

2)吸收光谱数据预处理：将步骤1)采集的所有吸收光谱数据对应减去各自包含的暗光谱，得到预处理后的光谱数据；

3)特征波段选取：将预处理后的光谱数据选择特征比较明显的波段进行分析，得到特征波段；

4)吸光度的计算：根据朗伯比尔定律分别计算出所选特征波段光谱数据的吸光度；

5)RBM参数初始化：初始化限制波尔兹曼机RBM(Restricted Boltzmann Machine)的相关参数，得到初始限制波尔兹曼机RBM网络模型；

6)RBM模型构建：将步骤4)计算得到的所有吸光度值作为训练样本输入初始限制波尔兹曼机RBM网络模型中在某一迭代次数下进行训练，利用对比散度算法，得到该迭代次数对应的训练后的受限波尔兹曼机RBM，同时得到该迭代次数对应的降低了维度的重构后的训练样本；

7)改变迭代次数，重复步骤6)，得到不同迭代次数下对应的训练后的受限波尔兹曼机RBM和不同迭代次数对应的降低了维度的重构后的训练样本；

8)将所有迭代次数下对应的降低了维度的重构后的训练样本组合成新的训练样本送入BP神经网络模型中进行训练，得到训练后的BP神经网络模型；

9)测试样本光谱数据采集：通过光谱仪多次采集光源发出的光通过待测浓度TOC溶液时的吸收光谱数据，得到待测浓度TOC溶液对应着的一组包含着其TOC浓度特征信息的高维数据；

10)将测试样本光谱数据依次按步骤2)、步骤3)和步骤4)进行处理，得到每个测试样本光谱数据对应的吸光度值；

11)将步骤10)得到的所有吸光度值作为测试样本分别输入步骤7)得到的所有训练后的受限波尔兹曼机RBM中并分别按训练后的受限波尔兹曼机RBM对应的迭代次数进行训练，得到不同迭代次数对应的降低了维度的重构后的测试样本；

12)将所有迭代次数下对应的降低了维度的重构后的测试样本组合成新的测试样本，再将该新的测试样本送入训练后的BP神经网络模型中进行测试，即可得到待测溶液的TOC浓度值。

2.根据权利要求1所述的基于RBM回归的水质TOC浓度分析方法，其特征在于：第6)步将训练样本输入初始限制波尔兹曼机RBM网络模型中在某一迭代次数下进行训练的具体步骤为，

6a)对于每次迭代，在每小批量数据上，调用CD-k算法，进行k次交替Gibbs采样，本方法只需1次交替Gibbs采样即可保证采集到的样本符合目标分布，具体为：

$P(h_j^{\left(0\right)}=1|v^{\left(0\right)})=\frac{1}{1+\exp (-b_j-\underset{i=1}{\overset{n_v}{\Σ}}{w}_{j,i}{v}_i^{\left(0\right)})}---\left(1\right)$

$P(v_i^{\left(1\right)}=1|h^{\left(0\right)})=\frac{1}{1+\exp (-a_i-\underset{j=1}{\overset{n_h}{\Σ}}{w}_{j,i}{h}_j^{\left(0\right)})}---\left(2\right)$

其中(1)式表示在已知可见层状态v⁽⁰⁾时采样出隐藏层的第j个单元的状态等于1的概率，v⁽⁰⁾表示可见层的输入状态，即训练样本原始特征向量归一化后的数据，表示可见层第i个单元的状态，表示隐藏层第j个单元的状态，b_j表示隐藏层第j个单元的偏置，w_j,i表示可见层第i个单元与隐藏层第j个单元的连接权重；

接着，产生[0，1]内的随机数r_j，对进行二值化，即若则否则，

其中(2)式表示在已知隐藏层状态时采样出可见层各个单元状态以此来代替目标分布，其中，a_i表示可见层第i个单元的偏置；

${\mathrm{\Δw}}_{i,j}\≈P(h_i^{\left(0\right)}=1|v^{\left(0\right)})v_j^{\left(0\right)}-P(h_i^{\left(1\right)}=1|v^{\left(1\right)})v_j^{\left(1\right)}---\left(3\right)$

${\mathrm{\Δa}}_i\≈v_i^{\left(0\right)}-v_i^{\left(1\right)}---\left(4\right)$

${\mathrm{\Δb}}_i\≈P(h_i^{\left(0\right)}=1|v^{\left(0\right)})-P(h_i^{\left(1\right)}=1|v^{\left(1\right)})---\left(5\right)$

利用(3)、(4)、(5)式分别计算每次迭代时目标函数在每小批量数据上关于连接权重W、可见层偏置a、隐藏层偏置b的偏导数；

${\mathrm{\Δw}}_{i,j}^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δw}}_{i,j}^{(iter-1)}+{\mathrm{\η}}_W*({\mathrm{\Δw}}_{i,j}^{\left(iter\right)}/n_{block}-\mathrm{\λ}*{\mathrm{\Δw}}_{i,j}^{(iter-1)})---\left(6\right)$

${\mathrm{\Δa}}_i^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δa}}_i^{(iter-1)}+{\mathrm{\η}}_{vb}*({\mathrm{\Δa}}_i^{\left(iter\right)}/n_{block})---\left(7\right)$

${\mathrm{\Δb}}_i^{\left(iter\right)}=\mathrm{\ρ}*{\mathrm{\Δb}}_i^{(iter-1)}+{\mathrm{\η}}_{hb}*({\mathrm{\Δb}}_i^{\left(iter\right)}/n_{block})---\left(8\right)$

本方法采用(6)、(7)、(8)式更新当前迭代(iter≥1)每小批量数据上的平均偏导数，其中n_block为小批量数据的数目，ρ为动量学习率，本方法中，当每次迭代次数大于30次时，ρ＝ρ_final＝0.9，否则，ρ＝ρ_ini＝0.5；

6b)利用梯度上升法更新RBM参数θ＝(W,a,b)，具体为：

W^(iter)＝W^(iter-1)+ΔW^(iter) (9)

a^(iter)＝a^(iter-1)+Δa^(iter) (10)

b^(iter)＝b^(iter-1)+Δb^(iter) (11)

按上式更新当前迭代每小批量数据上的连接权重、可见层偏置和隐藏层偏置。

3.根据权利要求1所述的基于RBM回归的水质TOC浓度分析方法，其特征在于：步骤6)中对比散度算法的具体步骤如下：

第1步，将待训练样本输入到受限波尔兹曼机可见层的第一层，得到受限波尔兹曼机可见层的第一层输出；

第2步，按照下式，采样得到受限波尔兹曼机RBM隐藏层的第一层输出：

$h_{1n}~P(h_{1n}=1|v_1)=\frac{1}{1+e^{-({\mathrm{\Σ}}_{n=1}^N{w}_{1n}\×v_1)+b_{1n}}}---\left(12\right)$

其中，h_1n表示受限波尔兹曼机RBM隐藏层的第一层中第n个节点的输出，n表示限波尔兹曼机RBM隐藏层的第一层中第n个节点，～表示采样操作，P(h_1n＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机RBM隐藏层的第一层中第n个节点输出为1的几率，v₁表示受限波尔兹曼机RBM可见层的第一层输出，e表示欧拉常数，∑表示求和操作，N表示受限波尔兹曼机RBM隐藏层的第一层的节点总数，w_1n表示连接受限波尔兹曼机RBM隐藏层的第一层中第n个节点与受限波尔兹曼机RBM可见层的第一层的权值，b_1n表示受限波尔兹曼机RBM隐藏层的第一层中第n个节点的偏置向量；

第3步，按照下式，采样得到受限波尔兹曼机RBM可见层的第二层输出：

$v_{2m}~P(v_{2m}=1|h_1)=\frac{1}{1+e^{-({\mathrm{\Σ}}_{m=1}^M{w}_{2m}\×h_1)+a_{2m}}}---\left(13\right)$

其中，v_2m表示受限波尔兹曼机RBM可见层的第二层中第m个节点的输出，m表示受限波尔兹曼机RBM可见层的第二层中第m个节点，～表示采样操作，P(v_2m＝1|h₁)表示受限波尔兹曼机RBM隐藏层的第一层输出为h₁时受限波尔兹曼机RBM可见层的第二层中第m个节点输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，e表示欧拉常数，∑表示求和操作，M表示受限波尔兹曼机RBM可见层的第二层的节点总数，w_2m表示受限波尔兹曼机RBM连接可见层的第二层中第m个节点与受限波尔兹曼机RBM隐藏层的第一层的权值，a_2m表示受限波尔兹曼机RBM可见层的第二层中第m个节点的偏置向量；

第4步，按照下式，采样得到受限波尔兹曼机RBM隐藏层的第二层输出：

$h_{2n}~P(h_{2n}=1|v_2)=\frac{1}{1+e^{-({\mathrm{\Σ}}_{n=1}^N{w}_{2n}\×v_2)+b_{2n}}}---\left(14\right)$

其中，h_2n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点的输出，n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点，～表示采样操作，P(h_2n＝1|v₂)表示受限波尔兹曼机RBM可见层的第二层输出为v₂时受限波尔兹曼机隐藏层的第二层中第n个节点输出为1的几率，v₂表示受限波尔兹曼机RBM可见层的第二层输出，e表示欧拉常数，∑表示求和操作，N表示受限波尔兹曼机RBM隐藏层的第二层的节点总数，w_2n表示连接受限波尔兹曼机RBM隐藏层的第二层中第n个节点与受限波尔兹曼机RBM可见层的第二层的权值，b_2n表示受限波尔兹曼机RBM隐藏层的第二层中第n个节点的偏置向量；

第5步，按照下式，更新受限波尔兹曼机RBM的权重：

w_t+1＝w_t+(P(h₁＝1|v₁)×v₁)-(P(h₂＝1|v₂)×v₂) (15)

其中，w_t+1表示第t+1次更新后受限波尔兹曼机RBM的权重，w_t表示第t次更新后受限波尔兹曼机RBM的权重，P(h₁＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机隐藏层的第一层输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，v₁表示受限波尔兹曼机RBM可见层的第一层输出，(×)表示内积操作，P(h₂＝1|v₂)表示受限波尔兹曼机RBM可见层的第二层输出为v₂时受限波尔兹曼机RBM隐藏层的第二层输出为1的几率，h₂表示受限波尔兹曼机RBM隐藏层的第二层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第6步，按照下式，更新受限波尔兹曼机RBM可见层的偏置向量：

a_t+1＝a_t+v₁-v₂ (16)

其中，a_t+1表示第t+1次更新后受限波尔兹曼机RBM可见层的偏置向量，a_t表示第t次更新后受限波尔兹曼机RBM可见层的偏置向量，v₁表示受限波尔兹曼机RBM可见层的第一层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第7步，按照下式，更新受限波尔兹曼机RBM隐藏层的偏置向量：

b_t+1＝b_t+P(h₁＝1|v₁)-P(h₂＝1|v₂) (17)

其中，b_t+1表示第t+1次更新后受限波尔兹曼机RBM隐藏层的偏置向量，b_t表示第t次更新后受限波尔兹曼机RBM隐藏层的偏置向量，P(h₁＝1|v₁)表示受限波尔兹曼机RBM可见层的第一层输出为v₁时受限波尔兹曼机隐藏层的第一层输出为1的几率，h₁表示受限波尔兹曼机RBM隐藏层的第一层输出，v₁表示受限波尔兹曼机RBM可见层的第一层输出，P(h₂＝1|v₂)表示受限波尔兹曼机可见层的第二层输出为v₂时受限波尔兹曼机RBM隐藏层的第二层输出为1的几率，h₂表示受限波尔兹曼机RBM隐藏层的第二层输出，v₂表示受限波尔兹曼机RBM可见层的第二层输出；

第8步，判断受限波尔兹曼机的训练周期是否达到300秒，若是，停止更新受限波尔兹曼机RBM的权值、可见层的偏置向量和隐藏层的偏置向量，得到训练完成的受限波尔兹曼机，否则，重复执行第2步-第7步，直到受限波尔兹曼机的训练周期达到300秒。