CN104951836A - 基于神经网络技术的发帖预测系统 - Google Patents

Abstract

本发明提出基于神经网络技术的发帖预测系统，该系统采用相空间重构来实现非线性时间序列分析，系统采用基于J2EE平台的Browser/Server结构：该系统在结构上分为数据预处理模块、预测分析管理模块、预测建模仿真接口软件，有收敛快，训练误差小的特点，所建立的模型预测精度较好，但应用中需注意神经网络训练样本范围的选择，对于突发事件发帖的预测，可适当减少样本数，尽量不要用过早的样本。应用中还需注意异常值对模型的破坏，找出并调整异常值，才能保证模型的预测精度，所建立的模型采用定量分析，并取得一定精度，而且感观性能优。

Description

基于神经网络技术的发帖预测系统

技术领域

本发明涉及互联网论谈技术领域，尤其涉及基于神经网络技术的发贴预测系统。

背景技术

由于网络发帖是有一个时间序列的特征，网络发贴时间序列具有经下的特点：

趋势性：某个变量由于受到某些因素持续的影响，其时间序列表现为持续的上升或者下降的总体变化趋势，可能是线性的，也可能是非线性的。如最近几年我国的经济增长率，由于受到各种因素的影响，其表现为持续的增长。

季节性：考虑的时间序列以一定时间为周期，随着自然季节的变化而出现明显的季节性特征。如空调的销售，各种服装的销售等。

周期性：比季节性更一般。时间序列随着一个时间段的变化呈现周期性。这样的周期可以是年、月、日，甚至数十年。

不规则性：包括时间序列变化的突然性和随机性。突然性的变动一般由于目前难以预料的作用因素而引起的，其规律性或概率难以认识和推测。随机性变动则是可以利用概率统计的方法进行描述的变动。

传统的建模和预测方法已经广泛地应用，但并不适合非线性的时间序列。在鉴别出时间序列性质以后，如果判定序列以随机性为主，则采用AR、ARMA等模型来预测，如果判定以非线性为主，则应采用非线性确定性的方法进行预测。非线性时间序列的预测是经过相空间重构后，对相空间中的动力轨迹进行预报。在短时间内，这些动力轨迹有一定的规律，他们的预测性是可获得的，并比一般的基于统计方法的预测能力要好。因此，可利用相空间重构，进行短期预测。

综上所述，本发明提出基于神经网络技术的发贴预测系统，以更好的实现对神经网络发贴的预测。

发明内容

本发明的目的是提供基于神经网络技术的发帖预测系统，实现产品数据及信息的结构化、规范化，信息条理化、系统化，对数据和信息进行采集，并利用系统对信息和数据进行多层次的浏览、查询处理，同时提供数据的深度分析和数据挖掘。

本发明为解决其技术问题所采用的技术方案是，

基于神经网络技术的发帖预测系统，该系统采用相空间重构来实现非线性时间序列分析，系统采用基于J2EE平台的Browser/Server结构：该系统在结构上分为数据预处理模块、预测分析管理模块、预测建模仿真接口软件；

神经网络的基本处理单元是神经元，它一般是多输入单输出的非线性器件，其输入输出关系可表示为：

式中，xj(j=1，2，…，n)是神经元的输入信号；θi为阀值；wji表示神经元j到神经元i的连接权值；f为激活函数（又称传递函数），它必须连续可微，常用激活函数有线性函数，S型的非线性函数，或具有任意阶导数的非线性函数，本文在发帖预测时采用S型函数，S型函数中传递函数f(x)可表示为：

$f\left(x\right)=\frac{1}{1+e^{-x}}$ 或 $f\left(x\right)=\frac{e^x+e^{-x}}{e^x-e^{-x}}$

人工神经网络的学习也称为训练，指的是神经网络在受到外部环境刺激下调整神经网络的参数，使神经网络以一种新的方式对外部环境做出反映的一个过程，人工神经网络的学习方式可分为有导师学习、无导师学习和再励学习，本系统采用导师学习，也称监督学习；

本系统的具体原理和算法采用BP(Back Propagation)算法，BP是一种有导师的学习，BP算法在于利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其它各层的误差估计，人们特将此算法称为误差反向后传算法，简称BP算法，BP神经网络属于前向神经网络类型；

数据预处理模块负责选择和清洗的跟踪分析预测系统提供的原始数据，选择发帖预测过程中所需用到字段的数据，通过一些数据预处理的方法清洗数据，填补空缺值，检测调整异常值，合并字段值等，并将处理后的新数据保留到预测数据库；

预测分析管理模块是进行发帖预测的管理部分，负责维护预测分析的基础数据，如预测评价指标，样本数据范围等，并将样本数据传递给预测仿真子系统，同时调用来自预测仿真系统已经建好的预测模型，进行智能预测和分析，预测结果在此模块中通过信息发布方式显示；

预测建模仿真软件与预测分析管理模块通过J2EE标准编程接口连接，预测建模仿真软件是一个可视化的神经网络建模仿真工具，主要负责神经网络的创建、训练及仿真测试，经反复调整参数，对于经过训练并经测试符合要求的预测模型可以导出。

进一步，BP的标准算法如下:

为了算法描述的方便，先定义下面向量和变量：

输入向量x＝(x₁，x₂，…，x_n)，隐含层输入向量hi=(hi₁,hi₂,L,hi_p)，隐含层输出向量ho=(ho₁,ho₂,L,ho_p)，输出层输入向量yi=(yi₁,yi₂,L,yi_q)，输出层输出向量yo=(yo₁,yo₂,L,yo_q)，期望输出向量d=(d₁,d₂,L,d_q)，输入层与中间层的连接权值w_ih，隐含层与输出层的连接权值w_ho，隐含层各神经元的阈值b_h，输出层各神经元的阈值b_o，样本数据个数k=1,2,Lm；激活函数f(·)

(1)网络初始化给wik、who、bk和bo分别赋一个区间（-1，1）内的随机数，设定误差函数

$e=\frac{1}{2}\underset{o=1}{\overset{q}{\mathrm{\Σ}}}{(d_o\left(k\right)-y_o\left(k\right))}^2$

给定计算精度值ε和最大学习次数M；

(2)随机选取第k个输入样本x(k)=(x₁(k),x₂(k),L,x_n(k))及对应的期望输出

d(k)=(d₁(k),d₂(k),L,d_q(k))

(3)计算隐含层各神经元的输入hi_h(k)，然后用hi_h(k)和激活函数计算隐含层各神经元的输出ho_h(k)

${\mathrm{hi}}_h\left(k\right)=\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ih}}{x}_i\left(k\right)-b_h,h=\mathrm{1,2},L,p$

ho_h(k)=f(hi_h(k))  h=1,2,L,p

${\mathrm{yi}}_o\left(k\right)=\underset{h}{\overset{p}{\mathrm{\Σ}}}{w}_{\mathrm{ho}}{\mathrm{ho}}_h\left(k\right)-b_o,o=\mathrm{1,2},\mathrm{Lq}$

yo_o(k)=f(yi_o(k))  o=1,2,Lq

(4)利用网络期望输出向量d(k)=(d₁(k),d₂(k),L,d_q(k))，网络的实际输出yo_o(k)，计算误差函数对输出层的各神经元的偏导数δ_o(k)

δ_o(k)=(d_o(k)-yo_o(k))·yo_o(k)(1-yo_o(k))  o=1,2,Lq

(5)利用隐含层到输出层的连接权值w_ho(k)、输出层的δ_o(k)和隐含层的输出ho_h(k)计算误差函数对隐含层各神经元的偏导数δ_h(k)

${\mathrm{\δ}}_h\left(k\right)=\left[\underset{o=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\δ}}_o\left(k\right)w_{\mathrm{ho}}\right]{\mathrm{ho}}_h\left(k\right)(1-{\mathrm{ho}}_h\left(k\right))$

(6)利用输出层各神经元的δ_o(k)和隐含层各神经元的输出ho_h(k)来修正连接权值w_ho(k)和阈值b_o(k)

$w_{\mathrm{ho}}^{N+1}\left(k\right)=w_{\mathrm{ho}}^N\left(k\right)+\mathrm{\η}{\mathrm{\δ}}_o\left(k\right){\mathrm{ho}}_h\left(k\right)$

$b_o^{N+1}\left(k\right)=b_o^N\left(k\right)+\mathrm{\η}{\mathrm{\δ}}_o\left(k\right)$

式中，N表示调整前，N+1表示调整后，η为学习率，在（0，1）之间取值，学习率对于神经网络训练至关重要，太低会导致训练时间过长，太高可能会引起训练误差摆动，难以到达最优，选择正确的学习率意味着能得到好的训练结果；

(7)使用隐含层各神经元的δ_h(k)和输入层各神经元的输入x_i(k)修正连接权和阈值：

$w_{\mathrm{ih}}^{N+1}=w_{\mathrm{ih}}^N+{\mathrm{\η\δ}}_h\left(k\right)x_i\left(k\right)$

$b_h^{N+1}\left(k\right)=b_h^{N+1}\left(k\right)+{\mathrm{\η\δ}}_h\left(k\right)$

(8)计算全局误差E

$E=\frac{1}{2m}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\underset{o=1}{\overset{q}{\mathrm{\Σ}}}{(d_o\left(k\right)-y_o\left(k\right))}^2$

(9)判断网络误差是否满足要求当E<ε或学习次数大于设定的最大次数M，则结束算法，否则，随机选取下一个学习样本及对应的期望输出，返回到第3步，进入下一轮学习过程。

进一步，在BP神经网络中，误差函数是一个形状极其复杂的曲面，它有两个特点：

(1)存在一些较平坦的区域，在此区域内误差改变很小，收敛较慢，有些情况下，误差曲面会出现一些阶梯状；

(2)存在不少局部的最小点，标准BP算法实质上是最速梯度下降法，它学习速度慢，尤其在局部最优点附近收敛速度慢，易于陷入局部最小点，同时，由于误差函数只能按单方向减小，网络很难跳出局部最小点；

算法基本思想是使其每次迭代不再沿着单一的负梯度方向，而是允许误差沿着恶化的方向进行搜索，同时通过在最速梯度下降法和高斯－牛顿法之间自适应调整来优化网络权值，使网络能够有效收敛，提高了网络的收敛速度和泛化能力；

L-M优化算法，又称为阻尼最小二乘法，其权值调整公式为：

Δw=(J^TJ+μI)^-1J^Te

式中e误差向量；

    J误差对权值微分的雅可比矩阵；

    μ一个标量，当μ增加时，它接近于具有较小的学习速率的最速下降法，当μ下降到0时，该算法就变成了高斯－牛顿法了

因此，L-M算法是在最速梯度下降法和高斯－牛顿法之间的平滑调和；

L－M算法具体的迭代步骤为：

(1)将所有输入送到网络并计算出网络的输出，另用误差函数计算出训练集中所有目标的误差平方和：

(2)计算出误差对权值微分的雅可比矩阵J：

首先，定义Marquardt敏感度：

$S_i^m=\frac{\&PartialD;E}{{\&PartialD;n}_i^m}$

从上式可以看出，敏感度为误差函数E对m层输入的第i个元素变化的敏感性，其中n为每层网络的加权和；

敏感性的递推关系式为：

$S_q^m=\stackrel{\&CenterDot;}{E}\left(n_q^m\right){\left(w^{m+1}\right)}^T{S}_q^{m+1}$

可见敏感性可由最后一层通过网络被反向传播到第一层：

S^m→S^m-1→Λ→S²→S¹

然后，计算雅各比矩阵的元素：

${\left[J\right]}_{h,l}=\frac{{\&PartialD;e}_{k,q}}{{\&PartialD;w}_{i,j}^m}=\frac{{\&PartialD;e}_{k,q}}{{\&PartialD;n}_{i,q}^m}\frac{{\&PartialD;n}_{i,q}^m}{{\&PartialD;w}_{i,j}^m}=S_{i,h}^m\frac{{\&PartialD;n}_{i,q}^m}{{\&PartialD;w}_{i,j}^m}=S_{i,h}^m{a}_{j,q}^{m-1}$

(3)求出Δw；

(4)用w+Δw重复计算误差的平方和，如果新的和小于(1)中计算的和，则用μ除以θ（θ>1），并有w=w+Δw，转(1)；否则，用μ乘以θ，转(3)，当误差平方和减小到某一目标误差时，算法即被认为收敛。

进一步，BP神经网络用于单变量时间序列预测方法：

设一个单变量时间序列x1,x2，…，对它进行预测的前提是认为其未来值与其前面的m个值之间有着某种函数关系，可描述如下：

X_n+k=F(X_n,x_n-1,Λ,X_n-τ)

利用神经网络来拟合这种函数关系F(·)，并用它来推导未来的值，进行时间序列预测的神经网络结构可以分为两种，一种是单步预测网络，一种是多步网络预测，单步预测网络输出个数为1个，一次可计算一步的预测值，多步预测网络的输出个数不止一个而是多个(K个)，每一次可计算出K步的预测值，在预测过程中，可将得到的预测值作为下一步预测的输入来计算出进一步的预测值，进行迭代的多步预测；

运用非线性时间序列的相空间重构相关知识，若将时间序列进行相空间重构，则单变量时间序列的未来值与面前若干值之间的某种函数关系,描述如下式，其中τ为嵌入延迟：

x_n+τ=F(x_n，x_n-τ,Λ，x_n-(m-1)τ)。

进一步，BP神经网络用于多变量时间序列预测的方法：

对多变量时间序列(x11,x21,…,xp1),(X12,X22,…,Xp2)，…，它有p个时间变量，如同单变量时间序列一样，认为时间序列的未来值与其前面的m个值之间有某种函数关系：

$\begin{array}{c}({x1}_{n+k},{x2}_{n+k},{\mathrm{xp}}_{n+k})=F\left(({x1}_n,{x2}_n,{\mathrm{xp}}_n\right)\\ ,({x1}_{n-1},{x2}_{n-1},{\mathrm{xp}}_{n-1})\\ ,\left({x1}_{n-m+1},{x2}_{n-m+1},{\mathrm{xp}}_{\text{n-m+1}})\right)\end{array}$

利用神经网络拟合函数F(·)，并用它进行预测，进行多变量时间序列预测的神经网络结构同样分为两种，单步预测网络和多步预测网络，单步预测网络输出的个数是一个多变量时间，序列的变量个数为p，一次计算得到所有变量一步的预测值，多步预测网络的输出个数为K×P个，一次计算可得到所有P个变量的K步预测结果，这两种网络模型同样也可以进行迭代多步预测计算：

同理，运用非线性时间序列的相空间重构相关知识，若将时间序列进行相空间重构，则多变量时间序列的未来值与面前若干值之间的某种函数关系，可描述为：

$\begin{array}{c}({x1}_{n+\mathrm{\&tau;}},{x2}_{n+\mathrm{\&tau;}},{\mathrm{xp}}_{n+\mathrm{\&tau;}})=F\left(({x1}_n,{x2}_n,{\mathrm{xp}}_n\right)\\ ,({x1}_{n-1},{x2}_{n-\mathrm{\&tau;}},{\mathrm{xp}}_{n-\mathrm{\&tau;}})\\ ,({x1}_{n-(m-1)\mathrm{\&tau;}},{x2}_{n-(m-1)\mathrm{\&tau;}},{\mathrm{xp}}_{n-(m-1)\mathrm{\&tau;}}))\end{array}$

利用传统的预测方法进行多变量时间序列的建模与预测非常复杂，而利用神经网络进行多变量时间序列的预测方法如同单变量时间序列预测一样简单，这是传统的预测方法无法比拟的。

进一步，基于BP神经网络的多变量时间序列，该预测方法具体步骤如下：

(1)收集数据，按时间序列要求将数据进行整理，对时间序列数据分析并确定样本集及影响因素变量；

(2)确定延迟时间并计算嵌入维数m，对原时间序列相空间重构；

(3)建立网络，在相空间重构的基础上确定神经网络的输入，输出，及隐含层，学习率，L-M优化算法的动量常数，并将数据做归一化处理，其中隐含层的数量需通过多次实验得到最佳隐含层数；

(4)初始化网络，神经网络自动赋予初始化参数，包括输入层与隐含层之间的连接权重Wih，隐含层与输出层的连接权重Who，隐含层各神经元阀值bh，输出层各神经元阀值bo；

(5)学习阶段，从原始数据中选取部分数据输入，通过BP神经网络前向过程的得到一个输出结果，将该结果与目标模型比较，如果存在误差，立即进行反向传播过程，并修正网络权值，以减小误差，正向输出计算和反向权值修改交替进行，直到误差控制在允许范围内；

(6)测试阶段，根据(5)所得参数，从原始数据中选择测试样本，预测模型的有效性，若达到要求，进入(7)进行预测，若测试误差较大，返回(5)重新训练，或返回(3)重新设计网络结构及调整参数设置；

(7)预测阶段，选择预测时间点，应用前面建立的模型进行预测，做好反归一化处理。

本发明的优点在于：基于神经网络的多变量时间序列模型有收敛快，训练误差小的特点，所建立的模型预测精度较好，但应用中需注意神经网络训练样本范围的选择，对于突发事件发帖的预测，可适当减少样本数，尽量不要用过早的样本。应用中还需注意异常值对模型的破坏，找出并调整异常值，才能保证模型的预测精度，所建立的模型采用定量分析，并取得一定精度，而且感观性能优。

附图说明

下面结合附图和具体实施方式来详细说明本发明：

图1是本发明数据预处理模块过程图；

图2是本发明预测分析管理模块体系结构图；

图3是本发明预测建模仿真软件与预测分析管理模块图；

图4是本发明人工神经元结构图；

图5是本发明导师学习的架构示意图；

图6是本发明神经网络示意图；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。

本发明提出的基于神经网络技术的发帖预测系统，该系统采用相空间重构来实现非线性时间序列分析，相空间重构是非线性时间序列分析的重要步骤，最初提出相空间重构的目的在于在高维相空间中恢复混沌吸引子。混沌吸引子作为混沌系统的特征之一，体现着混沌系统的规律性，以为混沌系统最终会落入某一特定的轨迹之中。本文使用的是延迟矢量法，其定义是：

定义1：设(N，ρ)，(N1，ρ1)是两个度量空间，如果存在映射φ:N→N1，满足:①φ是满射；②ρ(x，y)=ρ1(φ(x)，(φ(y))，(νx，y∈N)，则称(N，ρ)，(N1，ρ1)是等距同构的。

定义2：如果(N1，ρ1)与另一度量空间(N2，ρ2)的子空间(N0，ρ0)是等距同构的，则称(N1，ρ1)可以嵌入(N2，ρ2)。

借鉴Takens定理:设M是μ维紧流形。对于变换对(x，y)，x是一个光滑的(c2)矢量场，y是M上的光滑函数，则Фx，y：→R2μ+1是一个嵌入。其中，Фx，而是x的一个流。

将Takens定理应用到单变量时间序列中，则

{x(t_j)},  j=1，2，Λn

其中：时间间隔为△t。选定一延迟时间τ=h*△t(h=1，2，…)，将原来的时间序列按如下方式重构相空间状态变量，也称为相点X(tj)有m个分量，

X(t_j)=[x(t_j) x(t_j+τ)ΛΛx(t_j+(m-1)τ)]^t

把原时间序列延拓成m维相空间的一个相型分布

x(t₀) x(t₁) Λ x(t_i) Λ x(t_N)

x(t₀+τ) x(t₁+τ) Λ x(t_i+τ) Λ x(t_N+τ)

x(t₀+2τ) x(t₁+2τ) Λx(t_i+2τ) Λ x(t_N+2τ)

Μ Μ Μ Μ

x(t₀+(m-1)τ)x(t₁+(m-1)τ)Λx(t_i+(m-1)τ)Λx(t_N+(m-1)τ)

其中m为嵌入相空间维数，τ为延迟时间。每一列构成m维相空间中一个相点。任一相点X(tj)有m个分量

x(t_j) x(t_j+τ) x(t_j+(m-1)τ)

从而建立了相空间RM到嵌入空间Rm的映射，Ф:RM→Rm

将单一变量的时间序列的相空间重构方法，推广到复杂的多变量的时间序列中，假设已知M个多变量的时间序列X1，X2，…XM，其中Xi=(xi，1，xi，2xi，m)，i=1，2，…M，重构相空间每一个相点，其中ki(i=1，2，…

M)为xi的嵌入维数。

$\mathrm{Vm}=(x_{1,n},x_{1,n+1},\mathrm{\&Lambda;}{x}_{1,n+(k_1-1)t},x_{2,n},x_{2,n+t},\mathrm{\&Lambda;},x_{2,n+(k_2-1)t},x_{3,n},x_{3,n+t},\mathrm{\&Lambda;},x_{3,n+(k_3-1)t})$

需要将可能影响发帖数量的主要因素，热度、是否有挖掘、关键词、发帖人、发帖人的影响度进行时间序列的相空间重构。

时间序列相空间重构有两个重要参数，延迟时间τ和嵌入维数m，要进行相空间重构，必须先确定τ和m。

关于延迟时间τ的确定，嵌入定理指出对于无噪声和长度为无限的时间序列，进行相空间重构时时间延迟的选取是任意的。然而在实际中，对时间序列的采样往往是有限的，而且由于在采集过程中的各种原因而导致的噪声是不可避免的，嵌入定理是理想化的。因此我们认为Takens定理并没有强调τ应该取多少，但实践上τ取不同值时伪相空间里重构的系统吸引子的欧几里得形状会有很大的不同，相应地计算出的系统关联维数会有一定的误差。取得最佳延迟时，误差会最小。本发明认为Takens定理并未指出重构相空间时只有延迟τ取最佳延迟时才能无歧义地再现系统的动力学行为，同时最佳延迟概念的提出是为了在欧几里得空间下能正确地计算系统的关联维数，假如所采用的预测模型不牵扯关联维数的计算（如神经网络模型），则最佳延迟对这种模型无意义。通过非线性时间序列Lorenz信号分量和Roessler信号分量用前馈神经网络进行预测建模，τ从1开始随机取值，结果证明了重构动力系统相空间时，τ是否取最佳延迟，可能对计算吸引子的关联维数有一定影响，但不会影响吸引子的拓扑结构，即不会影响吸引子无歧义地再现系统的动力学特性，实验结果及综合考虑认为τ取1最合理。

嵌入维m是指能够完全包含以状态转移构成的吸引子的最小相空间维数，吸引子在该相空间内没有任何交叠，或者说只有最小的自由度。嵌入维数m太小，不足以展示复杂行为的细致结构，m太大，则会使计算工作大大复杂化，同时随之而引起的噪声的影响将不可忽视。

为观察嵌入维的特性，由于维数大小的嵌入定理：

m≥2D+1

其中：m—重构相空间维数；D—原状态空间吸引子所处空间的关联维数。

由可知m嵌入维的取值依赖于所分析和研究的关联维数，数据序列的关联维数不同，所选取的重构相空间维数亦不同。由单变量的时间序列重构相空间时，为了保证该相空间能包含原状态空间吸引子的特征，关联维应该取得足够大。但是由于在一般情况下缺乏原动力系统的先验知识，选择m则具有随意性。系统特征量饱和法是使重构相空间维数由小到大变化来计算每一个重构相空间的系统特征量，如果特征量达到饱和，则饱和时的重构相空间维数就是所求的维数。一般情况下，确定性系统一般都会收敛到低维的相空间，关联维数将不再随嵌入维数的增加而发生明显的改变，因此可以取关联维数作为系统特征量，逐渐增大嵌入维数，观察关联维数是否达到饱和。在实际的分析中，需首先估计出所求关联维的取值范围，从而得出重构相空间维数m的粗略估计值。在m粗略估计值的范围内对m取不同的值，然后分别求取系统的关联维数，当关联维数达到饱和时的m取值，即为重构相空间的实际维数。

系统采用基于J2EE平台的Browser/Server结构：该系统在结构上分为数据预处理模块、预测分析管理模块、预测建模仿真接口软件；

如图1所示，数据预处理模块负责选择和清洗的跟踪分析预测系统提供的原始数据，选择发帖预测过程中所需用到字段的数据，通过一些数据预处理的方法清洗数据，填补空缺值，检测调整异常值，合并字段值等，并将处理后的新数据保留到预测数据库；

如图2所示，预测分析管理模块是进行发帖预测的管理部分，负责维护预测分析的基础数据，如预测评价指标，样本数据范围等，并将样本数据传递给预测仿真子系统，同时调用来自预测仿真系统已经建好的预测模型，进行智能预测和分析，预测结果在此模块中通过信息发布方式显示；

如图3所示，预测建模仿真软件与预测分析管理模块通过J2EE标准编程接口连接，预测建模仿真软件是一个可视化的神经网络建模仿真工具，主要负责神经网络的创建、训练及仿真测试，经反复调整参数，对于经过训练并经测试符合要求的预测模型可以导出。

人工神经网络（Artificial Neural Networks，ANN），也称为神经网络，是通过模拟人脑神经元网络的结构、功能及信息处理机制而建立起来的网络。它具有良好的非线性映像能力，并实现了非线性关系隐式表达，无需过多复杂计算、容错性强的优点，较适合对煤化工产品发帖预测建模。神经网络的基本特征表现在：

(1)并行分布式处理。神经网络具有高度的并行结构和并行实现能力，具有高速寻找最优解的能力，能够发挥计算机的高速运算能力，可很快地找到最优解。

(2)非线性处理。人脑的思维是非线性的，故神经网络模拟人的思维也应是非线性的，这一特征有助于处理非线性问题。

(3)具有自学习能力。通过对历史数据的学习，训练出一个具有归纳全部数据的特定的神经网络，这种自学习功能对于预测有特别重要的意义。

(4)处理复杂问题能力。人工神经网络可以处理一些环境信息十分复杂、知识背景不清楚和推理规则不明确的问题

如图4所示，神经网络的基本处理单元是神经元，它一般是多输入单输出的非线性器件，其输入输出关系可表示为：

式中，xj(j=1，2，…，n)是神经元的输入信号；θi为阀值；wji表示神经元j到神经元i的连接权值；f为激活函数（又称传递函数），它必须连续可微，常用激活函数有线性函数，S型的非线性函数，或具有任意阶导数的非线性函数，本文在发帖预测时采用S型函数，S型函数中传递函数f(x)可表示为：

$f\left(x\right)=\frac{1}{1+e^{-x}}$ 或 $f\left(x\right)=\frac{e^x+e^{-x}}{e^x-e^{-x}}$

人工神经网络的学习也称为训练，指的是神经网络在受到外部环境刺激下调整神经网络的参数，使神经网络以一种新的方式对外部环境做出反映的一个过程，人工神经网络的学习方式可分为有导师学习、无导师学习和再励学习，本系统采用导师学习，也称监督学习；如图5所示，它需组织一批正确的输入输出数据对。将输入数据加载到网络输入端后，把网络的实际输出与期望的输出相比较得到误差，然后根据误差的情况修改各连接权值，使网络能朝着正确响应的方向不断变化下去，直到实际的输出与期望输出之差在允许范围之内。

因为预测系统的训练样本都是由历史数据形成的，通过网络学习能够给出神经网络期望的输出值。

本系统的具体原理和算法采用BP(Back Propagation)算法，BP是一种有导师的学习，BP算法在于利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其它各层的误差估计，人们特将此算法称为误差反向后传算法，简称BP算法，BP神经网络属于前向神经网络类型；

要了解BP神经网络学习算法，先要大致了解模型结构。BP神经网络是一单向传播的多层前向神经网络，其结构图6所示，网络除输入输出节点外，有一层或多层的隐含层节点，同层节点间无任何联系。输入数据X1，X2，…，XN1从输入层节点，依次经过各隐含层节点，然后到达输出节点，从而得到输出数据Z1，Z2，…，ZN1。

BP网络是典型的多层网络，每一层连接权值都可通过学习来调节，其基本处理单元(除输入层外)为非线性输入输出关系，一般采用Sigmoid型传递函数，处理单元的输入、输出值可连续变化。BP模型实现了多层网络学习的设想。当给定网络的一个输入模式时，由输入层单元传到隐层单元，经隐单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，这是一个逐层状态更新过程，称为前向传播。如果输出响应与期望输出模式有误差，不满足要求，那么就转入误差后向传播，将误差值沿连接通路逐层传送并修正各层连接权值。对于给定的一组训练模式，不断用一个个训练模式训练网络，重复前向传播和误差后向传播过程，当各个训练模式都满足要求时，BP网络就学习好了。从网络学习的角度来看，网络状态前向更新及误差信号后向传播过程中，信息的传播是双向的，但是这并不意味着网络结构连接也是双向的，它是一种前向网络。

另外，BP的标准算法如下:

为了算法描述的方便，先定义下面向量和变量：

输入向量x＝(x₁，x₂，…，x_n)，隐含层输入向量hi=(hi₁,hi₂,L,hi_p)，隐含层输出向量ho=(ho₁,ho₂,L,ho_p)，输出层输入向量yi=(yi₁,yi₂,L,yi_q)，输出层输出向量yo=(yo₁,yo₂,L,yo_q)，期望输出向量d=(d₁,d₂,L,d_q)，输入层与中间层的连接权值w_ih，隐含层与输出层的连接权值w_ho，隐含层各神经元的阈值b_h，输出层各神经元的阈值b_o，样本数据个数k=1,2,Lm；激活函数f(·)

(1)网络初始化给wik、who、bk和bo分别赋一个区间（-1，1）内的随机数，设定误差函数

$e=\frac{1}{2}\underset{o=1}{\overset{q}{\mathrm{\&Sigma;}}}{(d_o\left(k\right)-y_o\left(k\right))}^2$

给定计算精度值ε和最大学习次数M；

(2)随机选取第k个输入样本x(k)=(x₁(k),x₂(k),L,x_n(k))及对应的期望输出

d(k)=(d₁(k),d₂(k),L,d_q(k))

(3)计算隐含层各神经元的输入hi_h(k)，然后用hi_h(k)和激活函数计算隐含层各神经元的输出ho_h(k)

${\mathrm{hi}}_h\left(k\right)=\underset{i}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ih}}{x}_i\left(k\right)-b_h,h=\mathrm{1,2},L,p$

ho_h(k)=f(hi_h(k))  h=1,2,L,p

${\mathrm{yi}}_o\left(k\right)=\underset{h}{\overset{p}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ho}}{\mathrm{ho}}_h\left(k\right)-b_o,o=\mathrm{1,2},\mathrm{Lq}$

yo_o(k)=f(yi_o(k))  o=1,2,Lq

(4)利用网络期望输出向量d(k)=(d₁(k),d₂(k),L,d_q(k))，网络的实际输出yo_o(k)，计算误差函数对输出层的各神经元的偏导数δ_o(k)

δ_o(k)=(d_o(k)-yo_o(k))·yo_o(k)(1-yo_o(k))  o=1,2,Lq

(5)利用隐含层到输出层的连接权值w_ho(k)、输出层的δ_o(k)和隐含层的输出ho_h(k)计算误差函数对隐含层各神经元的偏导数δ_h(k)

${\mathrm{\&delta;}}_h\left(k\right)=\left[\underset{o=1}{\overset{q}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_o\left(k\right)w_{\mathrm{ho}}\right]{\mathrm{ho}}_h\left(k\right)(1-{\mathrm{ho}}_h\left(k\right))$

(6)利用输出层各神经元的δ_o(k)和隐含层各神经元的输出ho_h(k)来修正连接权值w_ho(k)和阈值b_o(k)

$w_{\mathrm{ho}}^{N+1}\left(k\right)=w_{\mathrm{ho}}^N\left(k\right)+\mathrm{\&eta;}{\mathrm{\&delta;}}_o\left(k\right){\mathrm{ho}}_h\left(k\right)$

$b_o^{N+1}\left(k\right)=b_o^N\left(k\right)+\mathrm{\&eta;}{\mathrm{\&delta;}}_o\left(k\right)$

式中，N表示调整前，N+1表示调整后，η为学习率，在（0，1）之间取值，学习率对于神经网络训练至关重要，太低会导致训练时间过长，太高可能会引起训练误差摆动，难以到达最优，选择正确的学习率意味着能得到好的训练结果；

(7)使用隐含层各神经元的δ_h(k)和输入层各神经元的输入x_i(k)修正连接权和阈值：

$w_{\mathrm{ih}}^{N+1}=w_{\mathrm{ih}}^N+{\mathrm{\&eta;\&delta;}}_h\left(k\right)x_i\left(k\right)$

$b_h^{N+1}\left(k\right)=b_h^{N+1}\left(k\right)+{\mathrm{\&eta;\&delta;}}_h\left(k\right)$

(8)计算全局误差E

$E=\frac{1}{2m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{o=1}{\overset{q}{\mathrm{\&Sigma;}}}{(d_o\left(k\right)-y_o\left(k\right))}^2$

(9)判断网络误差是否满足要求当E<ε或学习次数大于设定的最大次数M，则结束算法，否则，随机选取下一个学习样本及对应的期望输出，返回到第3步，进入下一轮学习过程。

进一步，在BP神经网络中，误差函数是一个形状极其复杂的曲面，它有两个特点：

(1)存在一些较平坦的区域，在此区域内误差改变很小，收敛较慢，有些情况下，误差曲面会出现一些阶梯状；

(2)存在不少局部的最小点，标准BP算法实质上是最速梯度下降法，它学习速度慢，尤其在局部最优点附近收敛速度慢，易于陷入局部最小点，同时，由于误差函数只能按单方向减小，网络很难跳出局部最小点；

算法基本思想是使其每次迭代不再沿着单一的负梯度方向，而是允许误差沿着恶化的方向进行搜索，同时通过在最速梯度下降法和高斯－牛顿法之间自适应调整来优化网络权值，使网络能够有效收敛，提高了网络的收敛速度和泛化能力；

L-M优化算法，又称为阻尼最小二乘法，其权值调整公式为：

Δw=(J^TJ+μI)^-1J^Te

式中e误差向量；

    J误差对权值微分的雅可比矩阵；

    μ一个标量，当μ增加时，它接近于具有较小的学习速率的最速下降法，当μ下降到0时，该算法就变成了高斯－牛顿法了

因此，L-M算法是在最速梯度下降法和高斯－牛顿法之间的平滑调和；

L－M算法具体的迭代步骤为：

(1)将所有输入送到网络并计算出网络的输出，另用误差函数计算出训练集中所有目标的误差平方和：

(2)计算出误差对权值微分的雅可比矩阵J：

首先，定义Marquardt敏感度：

$S_i^m=\frac{\&PartialD;E}{{\&PartialD;n}_i^m}$

从上式可以看出，敏感度为误差函数E对m层输入的第i个元素变化的敏感性，其中n为每层网络的加权和；

敏感性的递推关系式为：

$S_q^m=\stackrel{\&CenterDot;}{E}\left(n_q^m\right){\left(w^{m+1}\right)}^T{S}_q^{m+1}$

可见敏感性可由最后一层通过网络被反向传播到第一层：

S^m→S^m-1→Λ→S²→S¹

然后，计算雅各比矩阵的元素：

${\left[J\right]}_{h,l}=\frac{{\&PartialD;e}_{k,q}}{{\&PartialD;w}_{i,j}^m}=\frac{{\&PartialD;e}_{k,q}}{{\&PartialD;n}_{i,q}^m}\frac{{\&PartialD;n}_{i,q}^m}{{\&PartialD;w}_{i,j}^m}=S_{i,h}^m\frac{{\&PartialD;n}_{i,q}^m}{{\&PartialD;w}_{i,j}^m}=S_{i,h}^m{a}_{j,q}^{m-1}$

(3)求出Δw；

(4)用w+Δw重复计算误差的平方和，如果新的和小于(1)中计算的和，则用μ除以θ（θ>1），并有w=w+Δw，转(1)；否则，用μ乘以θ，转(3)，当误差平方和减小到某一目标误差时，算法即被认为收敛。

进一步，BP神经网络用于单变量时间序列预测方法：

设一个单变量时间序列x1,x2，…，对它进行预测的前提是认为其未来值与其前面的m个值之间有着某种函数关系，可描述如下：

X_n+k=F(X_n,x_n-1,Λ,X_n-τ)

利用神经网络来拟合这种函数关系F(·)，并用它来推导未来的值，进行时间序列预测的神经网络结构可以分为两种，一种是单步预测网络，一种是多步网络预测，单步预测网络输出个数为1个，一次可计算一步的预测值，多步预测网络的输出个数不止一个而是多个(K个)，每一次可计算出K步的预测值，在预测过程中，可将得到的预测值作为下一步预测的输入来计算出进一步的预测值，进行迭代的多步预测；

运用非线性时间序列的相空间重构相关知识，若将时间序列进行相空间重构，则单变量时间序列的未来值与面前若干值之间的某种函数关系,描述如下式，其中τ为嵌入延迟：

x_n+τ=F(x_n，x_n-τ,Λ，x_n-(m-1)τ)。

进一步，BP神经网络用于多变量时间序列预测的方法：

对多变量时间序列(x11,x21,…,xp1),(X12,X22,…,Xp2)，…，它有p个时间变量，如同单变量时间序列一样，认为时间序列的未来值与其前面的m个值之间有某种函数关系：

$\begin{array}{c}({x1}_{n+k},{x2}_{n+k},{\mathrm{xp}}_{n+k})=F\left(({x1}_n,{x2}_n,{\mathrm{xp}}_n\right)\\ ,({x1}_{n-1},{x2}_{n-1},{\mathrm{xp}}_{n-1})\\ ,\left({x1}_{n-m+1},{x2}_{n-m+1},{\mathrm{xp}}_{\text{n-m+1}})\right)\end{array}$

利用神经网络拟合函数F(·)，并用它进行预测，进行多变量时间序列预测的神经网络结构同样分为两种，单步预测网络和多步预测网络，单步预测网络输出的个数是一个多变量时间，序列的变量个数为p，一次计算得到所有变量一步的预测值，多步预测网络的输出个数为K×P个，一次计算可得到所有P个变量的K步预测结果，这两种网络模型同样也可以进行迭代多步预测计算：

同理，运用非线性时间序列的相空间重构相关知识，若将时间序列进行相空间重构，则多变量时间序列的未来值与面前若干值之间的某种函数关系，可描述为：

$\begin{array}{c}({x1}_{n+\mathrm{\&tau;}},{x2}_{n+\mathrm{\&tau;}},{\mathrm{xp}}_{n+\mathrm{\&tau;}})=F\left(({x1}_n,{x2}_n,{\mathrm{xp}}_n\right)\\ ,({x1}_{n-1},{x2}_{n-\mathrm{\&tau;}},{\mathrm{xp}}_{n-\mathrm{\&tau;}})\\ ,({x1}_{n-(m-1)\mathrm{\&tau;}},{x2}_{n-(m-1)\mathrm{\&tau;}},{\mathrm{xp}}_{n-(m-1)\mathrm{\&tau;}}))\end{array}$

利用传统的预测方法进行多变量时间序列的建模与预测非常复杂，而利用神经网络进行多变量时间序列的预测方法如同单变量时间序列预测一样简单，这是传统的预测方法无法比拟的。

进一步，基于BP神经网络的多变量时间序列，该预测方法具体步骤如下：

(1)收集数据，按时间序列要求将数据进行整理，对时间序列数据分析并确定样本集及影响因素变量；

(2)确定延迟时间并计算嵌入维数m，对原时间序列相空间重构；

(3)建立网络，在相空间重构的基础上确定神经网络的输入，输出，及隐含层，学习率，L-M优化算法的动量常数，并将数据做归一化处理，其中隐含层的数量需通过多次实验得到最佳隐含层数；

(4)初始化网络，神经网络自动赋予初始化参数，包括输入层与隐含层之间的连接权重Wih，隐含层与输出层的连接权重Who，隐含层各神经元阀值bh，输出层各神经元阀值bo；

(5)学习阶段，从原始数据中选取部分数据输入，通过BP神经网络前向过程的得到一个输出结果，将该结果与目标模型比较，如果存在误差，立即进行反向传播过程，并修正网络权值，以减小误差，正向输出计算和反向权值修改交替进行，直到误差控制在允许范围内；

(6)测试阶段，根据(5)所得参数，从原始数据中选择测试样本，预测模型的有效性，若达到要求，进入(7)进行预测，若测试误差较大，返回(5)重新训练，或返回(3)重新设计网络结构及调整参数设置；

(7)预测阶段，选择预测时间点，应用前面建立的模型进行预测，做好反归一化处理。

本发明的训练样本的归一化处理：

归一化也称为标准化，是指通过变换处理将网络的输入、输出数据限制在[0，1]或[-1，1]区间内。进行归一化的主要原因有两点：

(1)由于样本集中个变量具有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位，归纳统一样本的统计分布性，为后面的数据处理提供方便。

(2)BP神经网络的隐含层一般采用Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，要求输入数据的值在[0，1]之间，因此要对数据做预处理，且对不同变量要分别进行预处理。本文的输出层结点也采用Sigmoid转换函数，输出变量也必须作相应的预处理。

因此，神经网络训练前，必须对输入输出样本进行归一化处理，使归一化后的输入值和输出值均匀落在[0，1]区间内，在实际应用中，一般有三种常用的归一化方法：

(1)线性函数归一化

(2)对数函数归一化

(3)反余切函数归一化学

线性函数归一化是使用最普遍的一种，根据本文样本数据的实际情况，选择线性函数归一化，计算公式如式：

y=(x-minvalue)/(maxvalue-minvalue)

x、y分别为转换前、后的值，maxvalue、minvalue分别为样本的最大和最小值。

神经网络训练完成后，进行仿真操作时，需对仿真结点进行反归一化处理，反归一化公式如式：

y=x×(maxvalue-minvalue)+minvalue

y为反归一化后的值，x为反归一化前的值，maxvalue、minvalue分别为样本的最大和最小值。

归一化是神经网络训练前的重要步骤，实际操作中，本文总结了以下两点：

1、预测对象变量的归一化

为使预测对象变量的输入输出值落在[0，1]区间内，归一化公式在设定最大、最小值时，不仅要考虑最大、最小值是否包含已有历史数据值，也必须考虑预测对象变量的预测输出值可能超出已有的历史数据值区间，因此可将预测对象变量的maxvalue、minvalue值设为略大于、略小于已有历史数据值的值，但不能太大、太小。

2、影响因素变量的归一化

如果训练前新采集到的月度样本统计数据中某影响因素变量的值超出了历史样本数据中此影响因素变量的最大、最小值，则需要对此变量重新进行归一化处理。

本发明涉及的发帖预测信息系统其作用是实现产品数据及信息的结构化、规范化，信息条理化、系统化，对数据和信息进行采集，并利用系统对信息和数据进行多层次的浏览、查询处理，同时提供数据的深度分析和数据挖掘。

其作用是：

(1)对现有资源有一个好的梳理，提高资源利用率，充分利用总系统收集的大量数据，开展数据挖掘工作，以后对于将来的细分市场分析基础工作的进一步深入

(2)预测特别主题的的发帖趋势，指出相关问题的发展趋势，为行业预测，领导决策提供科学的参考依据

(3)协助市场分析人员工作的作用，市场分析人员通过该系统的使用，可通过浏览直观图的方式从巨量数据中发现影响市场变化的各因素间的关系及对市场的不同程度影响，并通过浏览信息发布方式获悉短期内的市场可能的变动

系统的直接使用对象为情报所管理者，情报科技调研人员，市场分析人员，间接使用对象为公司生产部决策者，市场部决策者，各分公司决策者，社会上其他相关化工行业公司。

起步阶段，系统中所用的预测方法以人工神经网络模型、简单的指数平滑模型、自回归滑动平均模型为主，通过长期的预测方法研究，在系统中添加新模型新思想，不断完善预测方法，提高预测效果。

基于上述，本发明的优点为：

(1)与基于神经网络模型的单变量时间序列模型相比，基于神经网络的多变量时间序列模型有收敛快，训练误差小的特点。与基于统计学范畴的指数平滑法模型相比，基于神经网络的多变量时间序列模型有预测值不滞后于实际值的重要特点。这说明，通过在预测模型中考虑多个影响因素所反映的信息，可以有效提高预测模型的预测精度。

(2)基于神经网络的多变量时间序列模型较好的捕捉到了预测对象价格最高点及最低点的拐点。

(3)所建立的模型预测精度较好，但应用中需注意神经网络训练样本范围的选择，对于突发事件发帖的预测，可适当减少样本数，尽量不要用过早的样本。应用中还需注意异常值对模型的破坏，找出并调整异常值，才能保证模型的预测精度。

(4)所建立的模型预测精度较好，证明神经网络模型强大的非线性逼近能力。

(5)所建立的模型只能用来进行短期每月预测。由于依据的各影响因素建立的预测模型是根据各时间序列的短期月度特征建立的，各时间序列的长期发展趋势未知，因此无法进行长期预测。

(6)所建立的模型采用定量分析，并取得一定精度。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.基于神经网络技术的发帖预测系统，其特征在于，该系统采用相空间重构来实现非线性时间序列分析，系统采用基于J2EE平台的Browser/Server结构：该系统在结构上分为数据预处理模块、预测分析管理模块、预测建模仿真接口软件；

神经网络的基本处理单元是神经元，它一般是多输入单输出的非线性器件，其输入输出关系可表示为：

式中，xj(j=1，2，…，n)是神经元的输入信号；θi为阀值；wji表示神经元j到神经元i的连接权值；f为激活函数（又称传递函数），它必须连续可微，常用激活函数有线性函数，S型的非线性函数，或具有任意阶导数的非线性函数，本文在发帖预测时采用S型函数，S型函数中传递函数f(x)可表示为：

$f\left(x\right)=\frac{1}{1+e^{-x}}$ 或 $f\left(x\right)=\frac{e^x+e^{-x}}{e^x-e^{-x}}$

人工神经网络的学习也称为训练，指的是神经网络在受到外部环境刺激下调整神经网络的参数，使神经网络以一种新的方式对外部环境做出反映的一个过程，人工神经网络的学习方式可分为有导师学习、无导师学习和再励学习，本系统采用导师学习，也称监督学习；

本系统的具体原理和算法采用BP(Back Propagation)算法，BP是一种有导师的学习，BP算法在于利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其它各层的误差估计，人们特将此算法称为误差反向后传算法，简称BP算法，BP神经网络属于前向神经网络类型；

数据预处理模块负责选择和清洗的跟踪分析预测系统提供的原始数据，选择发帖预测过程中所需用到字段的数据，通过一些数据预处理的方法清洗数据，填补空缺值，检测调整异常值，合并字段值等，并将处理后的新数据保留到预测数据库；

预测分析管理模块是进行发帖预测的管理部分，负责维护预测分析的基础数据，如预测评价指标，样本数据范围等，并将样本数据传递给预测仿真子系统，同时调用来自预测仿真系统已经建好的预测模型，进行智能预测和分析，预测结果在此模块中通过信息发布方式显示；

预测建模仿真软件与预测分析管理模块通过J2EE标准编程接口连接，预测建模仿真软件是一个可视化的神经网络建模仿真工具，主要负责神经网络的创建、训练及仿真测试，经反复调整参数，对于经过训练并经测试符合要求的预测模型可以导出。

2.根据权利要求1所述的基于神经网络技术的发帖预测系统，其特征在于，所述的BP的标准算法如下:

为了算法描述的方便，先定义下面向量和变量：

输入向量x＝(x₁，x₂，…，x_n)，隐含层输入向量hi=(hi₁,hi₂,L,hi_p)，隐含层输出向量ho=(ho₁,ho₂,L,ho_p)，输出层输入向量yi=(yi₁,yi₂,L,yi_q)，输出层输出向量yo=(yo₁,yo₂,L,yo_q)，期望输出向量d=(d₁,d₂,L,d_q)，输入层与中间层的连接权值w_ih，隐含层与输出层的连接权值who，隐含层各神经元的阈值b_h，输出层各神经元的阈值b_o，样本数据个数k=1,2,Lm；激活函数f(·)

(1)网络初始化给wik、who、bk和bo分别赋一个区间（-1，1）内的随机数，设定误差函数

$e=\frac{1}{2}\underset{o=1}{\overset{q}{\mathrm{\&Sigma;}}}{(d_o\left(k\right)-y_o\left(k\right))}^2$

给定计算精度值ε和最大学习次数M；

(2)随机选取第k个输入样本x(k)=(x₁(k),x₂(k),L,x_n(k))及对应的期望输出

d(k)=(d₁(k),d₂(k),L,d_q(k))

(3)计算隐含层各神经元的输入hi_h(k)，然后用hi_h(k)和激活函数计算隐含层各神经元的输出ho_h(k)

${\mathrm{hi}}_h\left(k\right)=\underset{i}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ih}}{x}_i\left(k\right)-b_h,h=\mathrm{1,2},L,p$

ho_h(k)=f(hi_h(k)) h=1,2,L,p

${\mathrm{yi}}_o\left(k\right)=\underset{h}{\overset{p}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ho}}{\mathrm{ho}}_h\left(k\right)-b_o,o=\mathrm{1,2},\mathrm{Lq}$

yo_o(k)=f(yi_o(k))  o=1,2,Lq

(4)利用网络期望输出向量d(k)=(d₁(k),d₂(k),L,d_q(k))，网络的实际输出yo_o(k)，计算误差函数对输出层的各神经元的偏导数δ_o(k)

δ_o(k)=(d_o(k)-yo_o(k))·yo_o(k)(1-yo_o(k))  o=1,2,Lq

(5)利用隐含层到输出层的连接权值w_ho(k)、输出层的δ_o(k)和隐含层的输出ho_h(k)计算误差函数对隐含层各神经元的偏导数δ_h(k)

${\mathrm{\&delta;}}_h\left(k\right)=\left[\underset{o=1}{\overset{q}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_o\left(k\right)w_{\mathrm{ho}}\right]{\mathrm{ho}}_h\left(k\right)(1-{\mathrm{ho}}_h\left(k\right))$

(6)利用输出层各神经元的δ_o(k)和隐含层各神经元的输出ho_h(k)来修正连接权值w_ho(k)和阈值b_o(k)

$w_{\mathrm{ho}}^{N+1}\left(k\right)=w_{\mathrm{ho}}^N\left(k\right)+\mathrm{\&eta;}{\mathrm{\&delta;}}_o\left(k\right){\mathrm{ho}}_h\left(k\right)$

$b_o^{N+1}\left(k\right)=b_o^N\left(k\right)+\mathrm{\&eta;}{\mathrm{\&delta;}}_o\left(k\right)$

式中，N表示调整前，N+1表示调整后，η为学习率，在（0，1）之间取值，学习率对于神经网络训练至关重要，太低会导致训练时间过长，太高可能会引起训练误差摆动，难以到达最优，选择正确的学习率意味着能得到好的训练结果；

(7)使用隐含层各神经元的δ_h(k)和输入层各神经元的输入x_i(k)修正连接权和阈值：

$w_{\mathrm{ih}}^{N+1}=w_{\mathrm{ih}}^N+{\mathrm{\&eta;\&delta;}}_h\left(k\right)x_i\left(k\right)$

$b_h^{N+1}\left(k\right)=b_h^{N+1}\left(k\right)+{\mathrm{\&eta;\&delta;}}_h\left(k\right)$

(8)计算全局误差E

$E=\frac{1}{2m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{o=1}{\overset{q}{\mathrm{\&Sigma;}}}{(d_o\left(k\right)-y_o\left(k\right))}^2$

(9)判断网络误差是否满足要求当E<ε或学习次数大于设定的最大次数M，则结束算法，否则，随机选取下一个学习样本及对应的期望输出，返回到第3步，进入下一轮学习过程。

3.根据权利要求1所述的基于神经网络技术的发帖预测系统，其特征在于，在BP神经网络中，误差函数是一个形状极其复杂的曲面，它有两个特点：

(1)存在一些较平坦的区域，在此区域内误差改变很小，收敛较慢，有些情况下，误差曲面会出现一些阶梯状；

(2)存在不少局部的最小点，标准BP算法实质上是最速梯度下降法，它学习速度慢，尤其在局部最优点附近收敛速度慢，易于陷入局部最小点，同时，由于误差函数只能按单方向减小，网络很难跳出局部最小点；

算法基本思想是使其每次迭代不再沿着单一的负梯度方向，而是允许误差沿着恶化的方向进行搜索，同时通过在最速梯度下降法和高斯－牛顿法之间自适应调整来优化网络权值，使网络能够有效收敛，提高了网络的收敛速度和泛化能力；

L-M优化算法，又称为阻尼最小二乘法，其权值调整公式为：

Δw=(J^TJ+μI)^-1J^Te

式中e误差向量；

    J误差对权值微分的雅可比矩阵；

    μ一个标量，当μ增加时，它接近于具有较小的学习速率的最速下降法，当μ下降到0时，该算法就变成了高斯－牛顿法了

因此，L-M算法是在最速梯度下降法和高斯－牛顿法之间的平滑调和；

L－M算法具体的迭代步骤为：

(1)将所有输入送到网络并计算出网络的输出，另用误差函数计算出训练集中所有目标的误差平方和：

(2)计算出误差对权值微分的雅可比矩阵J：

首先，定义Marquardt敏感度：

$S_i^m=\frac{\&PartialD;E}{{\&PartialD;n}_i^m}$

从上式可以看出，敏感度为误差函数E对m层输入的第i个元素变化的敏感性，其中n为每层网络的加权和；

敏感性的递推关系式为：

$S_q^m=\stackrel{\&CenterDot;}{E}\left(n_q^m\right){\left(w^{m+1}\right)}^T{S}_q^{m+1}$

可见敏感性可由最后一层通过网络被反向传播到第一层：

S^m→S^m-1→Λ→S²→S¹

然后，计算雅各比矩阵的元素：

${\left[J\right]}_{h,l}=\frac{{\&PartialD;e}_{k,q}}{{\&PartialD;w}_{i,j}^m}=\frac{{\&PartialD;e}_{k,q}}{{\&PartialD;n}_{i,q}^m}\frac{{\&PartialD;n}_{i,q}^m}{{\&PartialD;w}_{i,j}^m}=S_{i,h}^m\frac{{\&PartialD;n}_{i,q}^m}{{\&PartialD;w}_{i,j}^m}=S_{i,h}^m{a}_{j,q}^{m-1}$

(3)求出Δw；

(4)用w+Δw重复计算误差的平方和，如果新的和小于(1)中计算的和，则用μ除以θ（θ>1），并有w=w+Δw，转(1)；否则，用μ乘以θ，转(3)，当误差平方和减小到某一目标误差时，算法即被认为收敛。

4.根据权利要求1所述的基于神经网络技术的发帖预测系统，其特征在于，BP神经网络用于单变量时间序列预测方法：

设一个单变量时间序列x1,x2，…，对它进行预测的前提是认为其未来值与其前面的m个值之间有着某种函数关系，可描述如下：

X_n+k=F(X_n,x_n-1,Λ,X_n-τ)

利用神经网络来拟合这种函数关系F(·)，并用它来推导未来的值，进行时间序列预测的神经网络结构可以分为两种，一种是单步预测网络，一种是多步网络预测，单步预测网络输出个数为1个，一次可计算一步的预测值，多步预测网络的输出个数不止一个而是多个(K个)，每一次可计算出K步的预测值，在预测过程中，可将得到的预测值作为下一步预测的输入来计算出进一步的预测值，进行迭代的多步预测；

运用非线性时间序列的相空间重构相关知识，若将时间序列进行相空间重构，则单变量时间序列的未来值与面前若干值之间的某种函数关系,描述如下式，其中τ为嵌入延迟：

x_n+τ=F(x_n，x_n-τ,Λ，x_n-(m-1)τ)。

5.根据权利要求1所述的基于神经网络技术的发帖预测系统，其特征在于，BP神经网络用于多变量时间序列预测的方法：

对多变量时间序列(x11,x21,…,xp1),(X12,X22,…,Xp2)，…，它有p个时间变量，如同单变量时间序列一样，认为时间序列的未来值与其前面的m个值之间有某种函数关系：

$\begin{array}{c}({x1}_{n+k},{x2}_{n+k},{\mathrm{xp}}_{n+k})=F\left(({x1}_n,{x2}_n,{\mathrm{xp}}_n\right)\\ ,({x1}_{n-1},{x2}_{n-1},{\mathrm{xp}}_{n-1})\\ ,\left({x1}_{n-m+1},{x2}_{n-m+1},{\mathrm{xp}}_{\text{n-m+1}})\right)\end{array}$

利用神经网络拟合函数F(·)，并用它进行预测，进行多变量时间序列预测的神经网络结构同样分为两种，单步预测网络和多步预测网络，单步预测网络输出的个数是一个多变量时间，序列的变量个数为p，一次计算得到所有变量一步的预测值，多步预测网络的输出个数为K×P个，一次计算可得到所有P个变量的K步预测结果，这两种网络模型同样也可以进行迭代多步预测计算：

同理，运用非线性时间序列的相空间重构相关知识，若将时间序列进行相空间重构，则多变量时间序列的未来值与面前若干值之间的某种函数关系，可描述为：

$\begin{array}{c}({x1}_{n+\mathrm{\&tau;}},{x2}_{n+\mathrm{\&tau;}},{\mathrm{xp}}_{n+\mathrm{\&tau;}})=F\left(({x1}_n,{x2}_n,{\mathrm{xp}}_n\right)\\ ,({x1}_{n-1},{x2}_{n-\mathrm{\&tau;}},{\mathrm{xp}}_{n-\mathrm{\&tau;}})\\ ,({x1}_{n-(m-1)\mathrm{\&tau;}},{x2}_{n-(m-1)\mathrm{\&tau;}},{\mathrm{xp}}_{n-(m-1)\mathrm{\&tau;}}))\end{array}$

利用传统的预测方法进行多变量时间序列的建模与预测非常复杂，而利用神经网络进行多变量时间序列的预测方法如同单变量时间序列预测一样简单，这是传统的预测方法无法比拟的。

6.根据权利要求1所述的基于神经网络技术的发帖预测系统，其特征在于，进一步，基于BP神经网络的多变量时间序列，该预测方法具体步骤如下：

(1)收集数据，按时间序列要求将数据进行整理，对时间序列数据分析并确定样本集及影响因素变量；

(2)确定延迟时间并计算嵌入维数m，对原时间序列相空间重构；

(3)建立网络，在相空间重构的基础上确定神经网络的输入，输出，及隐含层，学习率，L-M优化算法的动量常数，并将数据做归一化处理，其中隐含层的数量需通过多次实验得到最佳隐含层数；

(4)初始化网络，神经网络自动赋予初始化参数，包括输入层与隐含层之间的连接权重Wih，隐含层与输出层的连接权重Who，隐含层各神经元阀值bh，输出层各神经元阀值bo；

(5)学习阶段，从原始数据中选取部分数据输入，通过BP神经网络前向过程的得到一个输出结果，将该结果与目标模型比较，如果存在误差，立即进行反向传播过程，并修正网络权值，以减小误差，正向输出计算和反向权值修改交替进行，直到误差控制在允许范围内；

(6)测试阶段，根据(5)所得参数，从原始数据中选择测试样本，预测模型的有效性，若达到要求，进入(7)进行预测，若测试误差较大，返回(5)重新训练，或返回(3)重新设计网络结构及调整参数设置；

(7)预测阶段，选择预测时间点，应用前面建立的模型进行预测，做好反归一化处理。