CN103065192A - 一种基于确定学习理论的海量时态数据建模方法 - Google Patents

Abstract

本发明公开了一种基于确定学习理论的海量时态数据建模方法，该方法针对的是一类在科学研究与工程实践中普遍存在的、一般可以看作是由离散非线性系统产生的带有噪声的海量时态数据。建模过程包括：海量时态数据定义及滤波预处理；采用动态RBF神经网络构造神经网络辨识器，设计合理的RBF神经网络权值的调节律；对海量时态数据的神经网络建模。具有使海量时态数据的建模及其性能分析更为简洁和可进一步用于对海量时态数据的快速相似性判断等优点。

Description

一种基于确定学习理论的海量时态数据建模方法

技术领域

本发明属于海量时态数据建模与学习问题，具体涉及一种基于确定学习理论的海量时态数据的建模方法。

背景技术

随着信息科学技术、特别是信息采集技术与互联网的快速发展，在科学研究、工程制造以及社会经济等许多领域每天都在产生并储存大量的时变数据。这些数据大多都可看作由多维非线性动态系统产生，具有时间依赖性，因此可被称为海量时态数据、时态序列或者时间序列。随着时间的推移，海量时态数据的数据量会迅速增加并发展成海量数据（或大数据）。研究海量时态数据的建模方法对于挖掘其蕴涵的有价值信息具有重要意义。海量时态数据的建模是当前研究的一个热点，然而到目前为止，以高效的方式对海量时态数据进行建模仍是一个困难的问题。相关领域如系统辨识、人工神经网络等对这个问题进行了深入研究。其中，系统辨识研究如何根据动态系统的输入输出数据来建立动态系统的数学模型，一个重要结果是当持续激励(Persistence ofexcitation，PE)条件满足时，模型中的参数估计将收敛到真实参数，并且所建立的辨识模型收敛到真实系统。对于线性动态系统，在输入的时变数据包含足够丰富的信息或者在频域足够丰富时，PE条件可以被满足，建模可以实现；然而对于非线性动态系统产生的海量时态数据，一般来说无法建立起输入信号的频域特性与被估计参数之间的关系，PE条件很难得到满足。因此，非线性动态系统建模长期以来是一个极为困难的问题。另外，利用人工神经网络进行海量时态数据建模也受到广泛关注。径向基函数（RBF）神经网络由于其具有对任意连续非线性函数的通用逼近能力而被广泛采用，但在很多研究报导中RBF神经网络的权值难以保证收敛到其最优值，这使得采用RBF神经网络对非线性系统建模的准确性难以得到保证。RBF神经网络权值的准确收敛与持续激励条件的满足紧密相关。在对径向基函数（RBF）神经网络的持续激励特性研究的基础上，C.Wang等提出了确定学习理论。确定学习运用自适应控制和非线性动力学系统的概念和方法，通过选择局部RBF神经网络作为参数化的模型结构，证明了对于由非线性系统产生的周期轨迹或者更一般的回归轨迹，RBF神经网络中沿着回归轨迹的神经元的径向基函数构成的子向量可以满足部分PE条件。这个部分PE条件可以使得沿着回归轨迹的神经元权值收敛到其真值或最优值，因而在沿回归轨迹的局部区域实现对非线性系统动态的准确神经网络建模。这样，依靠非线性动态系统的状态信息，确定学习理论可以对非线性系统的未知动态进行局部准确建模。进一步，王聪等在《自动化学报》上发表《确定学习与基于数据的建模及控制》一文，运用离散自适应系统的稳定性分析，扩展了针对产生海量时态数据的离散动态系统的确定学习理论，提出了对海量时态数据内在的系统动态的局部准确神经网络建模方法。其不足之处在于，在设计动态RBF神经网络学习律的过程中需要对产生海量时态数据的离散系统构造状态预估器，使得算法非常复杂。

发明内容

本发明的目的是克服上述已有方法的不足，为海量时态数据提供一种更为简洁的基于确定学习的神经网络建模方法。

本发明的具体技术方案通过如下步骤实现：

一种基于确定学习理论的海量时态数据建模方法，该方法包含如下步骤：

步骤1、海量时态数据定义及滤波预处理：考虑多维时变数据{x₁(k),…,x_n(k),k=1,…,m}，简记为Φ，其中，k为时间，当m足够大时Φ为海量时变数据；假设海量时态数据是由离散非线性系统产生，带有一定外部扰动或噪声，具有周期或回归性质，利用滤波方法对原始的海量时态数据进行去噪声预处理，以提高建模精度；

步骤2、设计神经网络辨识器：采用动态RBF神经网络构造神经网络辨识器，设计合理的RBF神经网络权值的调节律，在所述神经网络辨识器和RBF神经网络权值的调节律设计中均不需构造状态预估器，即可使得沿着海量时态数据的空间回归轨迹的神经元权值收敛到最优值W^*；

步骤3、海量时态数据的RBF神经网络建模：对产生海量时态数据的内在的离散非线性动态系统的动态进行局部准确建模，所学习到的动态知识以常值神经网络权值进行存储。

上述方法中，步骤1所述海量时态数据可以看作由如下形式的离散非线性动态系统产生：

x_i(k+1)=F_i(x₁(k),…,x_n(k))+D_i(k)，i=1,…,n，k=1,…,m-1，

其中，X(k)=[x₁(k),…,x_n(k)]^T∈Rⁿ是可测的k时刻的海量时态数据，同时也是离散非线性动态系统的状态向量；

F_i(x₁(k),…,x_n(k))=[f₁(x₁(k),…,x_n(k)),…,f_n(x₁(k),…,x_n(k))]^T，i＝1,…n，是光滑且未知的离散非线性系统的动态向量，f_i(x₁(k),…,x_n(k))是其中第i维子系统的未知系统动态；D_i(k)=[d₁(k),…,d_n(k)]^T，i＝1,…n，是外部有界干扰或白噪声，即存在常数D₀，满足0<||D_i(k)||≤D₀,

上述方法中，步骤1所述离散非线性动态系统的表达包含采样系统。采样系统是对连续非线性动态系统进行周期采样之后获得的系统，一般可由步骤1所述离散非线性系统表述。

上述方法中，步骤1所述海量时态数据具有回归性质，在相空间构成回归轨迹。所述回归轨迹是指包括周期轨迹、类周期轨迹、以及混沌轨迹等一大类可以由非线性系统产生的轨迹，其主要特点是从回归轨迹上任一点出发，都可在一段有限时间内回归到该点的一个有限邻域之内。显然，步骤1中所述具有回归性质的海量时态数据在科学研究与工程实践中普遍存在。

上述方法中，步骤1所述海量时态数据存在较大干扰或噪声D_i(k)。滤波预处理用信噪分离方法滤除干扰或噪声，但滤波方法通常不能保证完全滤除干扰或噪声。因此，滤波后的海量时态数据可以看作由如下形式的离散非线性动态系统产生：

x_i(k+1)=F_i(x₁(k),…,x_n(k))+D_i′(k)，i=1,…,n，k=1,…,m-1，

其中，D_i′(k)为滤波后的微小有界干扰，满足||D_i′(k)||<<||D_i(k)||。为表述简洁,仍用Φ=X(k)=[x₁(k),…,x_n(k)]^T∈Rⁿ表示滤波后的海量时态数据。

上述方法中，步骤2所述神经网络辨识器形式如下：

${\hat{x}}_i(k+1)=a_i({\hat{x}}_i\left(k\right)-x_i\left(k\right))+{\hat{W}}_i^T(k+1)S\left(X\left(k\right)\right),$ i=1,…,n，

其中，a_i是设计的常数，满足0<|a_i|<1；

为神经网络辨识器的状态，

为状态误差；

是动态RBF神经网络，用来近似未知非线性动态f_i(x₁(k),…,x_n(k))；，S(X(k))=[s₁(||X(k)-ξ₁||),…,s_N(||X(k)-ξ_N||)]^T是高斯型径向基函数；N>1是神经网络结点数目；ξ_j(j=1,…,N)是神经元中心点；RBF神经网络权值的调节律如下：

${\hat{W}}_i(k+1)={\hat{W}}_i\left(k\right)-\frac{\mathrm{\&alpha;P}(e_i\left(k\right)-a_i{e}_i(k-1))S\left(X(k-1)\right)}{1+{\mathrm{\&lambda;}}_{\max }\left(P\right)S^T\left(X(k-1)\right)S\left(X(k-1)\right)},$ i=1，…,n，

其中，α是设计参数，满足0<α<2，P=P^T>0,λ_max(P)表示设计矩阵P的最大特征值，动态RBF神经网络的权值

的初始值

上述方法中，步骤2所述最优值W^*是指RBF神经网络准确逼近系统动态时的神经网络理想权值，神经元权值收敛到最优值W^*，可保证所采用的神经网络能准确逼近产生海量时态数据的内在的离散非线性动态系统的动态。最优值W^*的小邻域是指以W^*为中心的极小距离内的开区间，权值收敛到最优值W^*的小邻域内，可保证所采用的神经网络最大限度逼近产生海量时态数据的内在的离散非线性动态系统的动态。

上述方法中，步骤2所述RBF神经网络权值的调节律是根据李雅普洛夫稳定性定理和确定学习理论来设计，能够使状态误差与权值估计都有界并指数收敛，其中RBF神经网络的权值收敛有两种情况：沿海量时态数据回归轨迹的RBF神经网络的神经元满足持续激励条件，其权值收敛到最优值的小邻域内；远离海量时态数据回归轨迹的RBF神经网络的神经元不受激励而不被调节，其权值近似为零。所述持续激励条件的满足，是指确定学习理论中，通过对RBF神经网络的持续激励特性的研究，严格证明了沿任何周期或回归轨迹的、由径向基函数构成的子向量几乎总可以满足部分持续激励条件。

上述方法中，步骤2所述神经网络辨识器和RBF神经网络权值的调节律设计中均不需构造状态预估器，使对海量时态数据的建模及其性能分析更为简化。

上述方法中，步骤3所述神经网络建模是对产生海量时态数据的内在的离散非线性动态系统的动态进行局部准确建模，是指海量时态数据的内在系统动态f_i(x₁(k),…,x_n(k))由如下公式表示：

$f_i(x_1\left(k\right),\&CenterDot;\&CenterDot;\&CenterDot;,x_n\left(k\right))={\hat{W}}_i^{T}S\left(X\left(k\right)\right)+{\mathrm{\&epsiv;}}_{i1},$

其中，ε_i1是逼近误差，所述局部准确建模是指通过RBF神经网络对沿海量时态数据回归轨迹的内部动态的逼近，而远离轨迹的内部动态则不被逼近。

上述方法中，步骤3所述学习是知识获得的过程，也是对产生海量时态数据的内在的离散非线性动态系统的动态进行局部准确神经网络辨识的过程。

上述方法中，步骤3所述常值神经网络权值是指在一段时间内权值收敛至最优值，选取收敛的部分权值取数值平均，获取相应的神经网络常值权值

使f_i(x₁(k),…,x_n(k))由常值神经网络进行局部准确逼近：

$f_i(x_1\left(k\right),\&CenterDot;\&CenterDot;\&CenterDot;,x_n\left(k\right))={\stackrel{\&OverBar;}{W}}_i^{T}S\left(X\left(k\right)\right)+{\mathrm{\&epsiv;}}_{i2},$

其中，ε_i2是逼近误差。

上述方法中，步骤3所述以常值神经网络权值进行存储是指常值神经网络

是时不变的和空间分布的，即有效的信息只存贮在靠近海量时态数据的内在系统动态轨迹的神经元上，而远离轨迹的神经元没有存贮信息，常值神经网络

只逼近沿海量时态数据空间轨迹的内部动态，远离轨迹的内部动态没有被逼近。

本发明与现有技术相比，具有如下优点和有益效果：

1、状态的预先和置后估计在以往的自适应辨识方法中常被用到，本发明在设计神经网络辨识器的过程中不需要对产生海量时态数据的离散非线性动态系统构造状态预估器，在满足部分持续激励条件的情况下使对海量时态数据的建模及其性能分析更为简洁。

2、与传统系统辨识、神经网络建模方法相比，本发明对产生海量时态数据的内在的离散非线性动态系统的动态进行局部准确建模，所学到的动态知识以常值神经网络权值进行存储，并可进一步用于对海量时态数据的快速相似性判断。

3、本发明所提基于确定学习理论的海量时态数据建模方法，为海量时态数据的建模提供了一种新的思路，为进一步分析海量时态数据的特性提供了强有力的支撑。

附图说明

图1是实施例中Henon系统产生的海量时态数据。

图2是实施例中海量时态数据的相空间轨迹及神经元完全覆盖情况。

图3是实施例中Henon系统的子系统f₁的非线性系统动态。

图4是RBF神经网络对海量时态数据内部的系统动态进行训练的结构简图。

图5是实施例中采用的RBF神经网络的拓扑结构示意简图。

图6是实施例中RBF神经网络权值的收敛情况。

图7是实施例中海量时态数据的内在动态。

图8是实施例中RBF神经网络对海量时态数据的内在动态的局部准确逼近。

具体实施方式

下面结合实施例及附图，对本发明的具体实施方式作进一步地说明，但本发明的实施和保护范围不限于此。

实施例

海量时态数据涉及的时间表示和记录方式有多种形式,此处考虑一种由离散非线性动态系统Henon系统产生的海量时态数据。，

$x_1(k+1)=x_2\left(k\right)+1-1.4x_1^2\left(k\right)+d_1\left(k\right)$

x₂(k+1)=0.3x₁(k)

其中，假设x₁的子系统是未知的，d₁(k)是白噪声干扰，本实施例中一些主要参数：系统状态初始值是x₁(1)=0，x₂(1)=-0.2。

采用基于确定学习理论的海量时态数据建模方法的步骤如下：

步骤1、海量时态数据定义及滤波预处理：

X(k)=[x₁(k),x₂(k)]^T∈Rⁿ是可测的k时刻的海量时态数据，同时也是离散非线性动态系统的状态向量；

是光滑且未知的离散非线性系统的动态向量，也是建模过程中RBF神经网络逼近的对象；d₁(k)是外部有界干扰或者白噪声，即存在常数d₀，满足0<||d₁(k)||≤d₀,

经过滤波预处理后，海量时态数据可以看作由如下形式的离散非线性动态系统产生：，

$x_1(k+1)=x_2\left(k\right)+1-1.4x_1^2\left(k\right)+d_1^{\&prime;}\left(k\right)$

x₂(k+1)=0.3x₁(k)

其中，d₁′(k)为滤波后的微小有界干扰，满足||d₁′(k)||<<||d₁(k)||，本实施例中d₁′(k)取幅值为0.005的随机白噪声。

此系统产生的海量时态数据如图1所示，这些海量时态数据在相空间内的轨迹如图2所示。x₁的子系统

在三维空间内的非线性动态如图3所示。

步骤2、设计神经网络辨识器：

采用动态RBF神经网络构造神经网络辨识器，对产生海量时态数据的内在的离散非线性动态系统的动态进行学习训练的结构简图如图4所示。其中的x(k+1)是系统状态；

是神经网络辨识器的输出。神经网络辨识器形式如下：

${\hat{x}}_1(k+1)=a_1{e}_1\left(k\right)+{\hat{W}}_1^T(k+1)S\left(X\left(k\right)\right),$

其中，a₁＝0.5是设计的常数；为神经网络辨识器的状态，为状态误差；

是动态RBF神经网络，用来近似未知非线性动态f₁；S(X(k))=[s₁(||X(k)-ξ₁||),…,s_N(||X(k)-ξ_N||)]^T是高斯型径向基函数；ξ_j(j=1,…,N)是神经元中心点。本实施例中一些主要参数：神经网络结点数目N=1226，神经元均匀分布在区域[-2.5,2.5]×[-2.5,2.5]之内，且宽度取0.15。其拓扑结构示意简图如图5所示，其中x₁,x₂,…x_n是神经网络的输入，y是神经网络的输出。

RBF神经网络权值的调节律如下：

${\hat{W}}_1(k+1)={\hat{W}}_1\left(k\right)-\frac{\mathrm{\&alpha;P}(e_1\left(k\right)-a_1{e}_1(k-1))S\left(X(k-1)\right)}{1+{\mathrm{\&lambda;}}_{\max }\left(P\right)S_1^T\left(X(k-1)\right)S\left(X(k-1)\right)},$

本实施例中一些主要参数：设计参数α=1.2，设计矩阵P的最大特征值λ_max(P)=2，动态RBF神经网络的权值

的初始值

步骤3、海量时态数据的RBF神经网络建模：

对产生海量时态数据的内在的离散非线性动态系统的动态进行局部准确建模是指海量时态数据的内在动态f₁可由如下公式表示：

$f_1={\hat{W}}_1^{T}S\left(X\left(k\right)\right)+{\mathrm{\&epsiv;}}_{11},$

其中，ε₁₁是逼近误差。

在一段时间内权值收敛至最优值，其RBF神经网络权值的收敛情况如图6所示，靠近系统轨迹的神经元的权值满足部分持续激励条件，从而收敛到最优值；而远离系统轨迹的神经元受激励的程度很小而几乎不被调节，基本上保持在零的小邻域内。选取收敛的部分权值取数值平均，获取相应的神经网络常值权值

使f₁可以由常值神经网络

进行局部准确逼近：

$f_1={\stackrel{\&OverBar;}{W}}_1^{T}S\left(X\left(k\right)\right)+{\mathrm{\&epsiv;}}_{12}$

其中，ε₁₂是逼近误差。海量时态数据的内在动态如图7所示。RBF神经网络对内在动态的局部准确逼近如图8所示，步骤3所述局部准确建模是指通过RBF神经网络对沿海量时态数据回归轨迹的内在系统动态的逼近，而远离轨迹的内部动态则不被逼近。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于确定学习理论的海量时态数据建模方法，其特征在于，包含如下步骤：

步骤1、海量时态数据定义及滤波预处理：考虑多维时变数据：

{x₁(k),…,x_n(k),k=1,…,m}，简记为Φ，

其中，k为时间，当m足够大时Φ为海量时变数据；海量时态数据可以看作是由离散非线性动态系统产生，带有干扰或噪声，且具有周期或回归性质,利用滤波方法对原始的海量时态数据进行去噪声预处理；

步骤2、设计神经网络辨识器：采用动态RBF神经网络构造神经网络辨识器，设计RBF神经网络权值的调节律，在所述的RBF神经网络权值的调节律设计中，以使沿着海量时态数据的空间回归轨迹的神经元权值收敛到最优值；

步骤3、海量时态数据的RBF神经网络建模：对产生海量时态数据的内在的离散非线性动态系统的动态进行局部准确建模，所学习到的动态知识以常值神经网络权值进行存储。

2.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，把步骤1所述海量时态数据看作由如下形式的离散非线性动态系统产生：

x_i(k+1)=F_i(x₁(k),…,x_n(k))+D_i(k)，i=1,…,n，k=1,…,m-1，

其中，X(k)=[x₁(k),…,x_n(k)]^T∈Rⁿ是k时刻的海量时态数据；F_i(x₁(k),…,x_n(k))=[f₁(x₁(k),…,x_n(k)),…,f_n(x₁(k),…,x_n(k))]^T，i＝1,…n，是光滑且未知的离散非线性系统的动态向量，f_i(x₁(k),…,x_n(k))是其中第i维子系统的未知系统动态；D_i(k)=[d₁(k),…,d_n(k)]^T，i＝1,…n，是外部有界干扰或白噪声，存在常数D0_，满足

3.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤1所述离散非线性动态系统包含采样系统；采样系统是对连续非线性动态系统进行周期采样的系统，由所述离散非线性系统表述。

4.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤1所述海量时态数据在相空间构成回归轨迹；所述回归轨迹是指包括周期轨迹、类周期轨迹和混沌轨迹一大类由非线性系统产生的轨迹，所述回归轨迹从回归轨迹上任一点出发，都在一段有限时间内回归到该点的一个有限邻域之内。

5.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤1中的海量时态数据中存在干扰或噪声Di(k)；滤波预处理采用信噪分离方法滤除干扰或噪声，把滤除干扰或噪声后的海量时态数据看作由如下形式的离散非线性动态系统产生：

x_i(k+1)=F_i(x₁(k),…,x_n(k))+D_i′(k)，i=1,…,n，k=1,…,m-1

其中，D′_i(k)为滤波后的微小有界干扰，满足||D_i′(k)||<<||D_i(k)||；采用Φ=X(k)=[x₁(k),…,x_n(k)]^T∈Rⁿ表示滤波后的海量时态数据。

6.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤2中的神经网络辨识器的形式如下：

${\hat{x}}_i(k+1)=a_i({\hat{x}}_i\left(k\right)-x_i\left(k\right))+{\hat{W}}_i^T(k+1)S\left(X\left(k\right)\right),$ i=1,…,n，

其中，a_i是设计的常数，满足0<|a_i|<1；

为神经网络辨识器的状态，

为状态误差；

是动态RBF神经网络，用来近似未知非线性动态f_i(x₁(k),…,x_n(k))；S(X(k))=[s₁(||X(k)-ξ₁||),…,s_N(||X(k)-ξ_N)]^T是高斯型径向基函数；N>1是神经网络结点数目；ξ_j是神经元中心点；RBF神经网络权值的调节律如下：

${\hat{W}}_i(k+1)={\hat{W}}_i\left(k\right)-\frac{\mathrm{\&alpha;P}(e_i\left(k\right)-a_i{e}_i(k-1))S\left(X(k-1)\right)}{1+{\mathrm{\&lambda;}}_{\max }\left(P\right)S^T\left(X(k-1)\right)S\left(X(k-1)\right)},$ i=1,…,n，

其中，α是设计参数，满足0<α<2，P=P^T>0,λ_max(P)表示设计矩阵P的特征值的最大值，动态RBF神经网络的权值的初始值

7.根据权利要求6所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤2所述RBF神经网络权值的调节律是根据李雅普洛夫稳定性定理和确定学习理论来设计，使状态误差与权值估计都有界并指数收敛，其中RBF神经网络的权值收敛有两种情况：沿海量时态数据回归轨迹的RBF神经网络的神经元满足持续激励条件，其权值收敛到最优值的小邻域内；远离海量时态数据回归轨迹的RBF神经网络的神经元不受激励而不被调节，其权值近似为零。

8.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤3中对产生海量时态数据的内在的离散非线性动态系统的动态局部准确建模，是指海量时态数据的内在系统动态f_i(x₁(k),…,x_n(k))由如下公式表示：

$f_i(x_1\left(k\right),...,x_n\left(k\right))={\hat{W}}_i^{T}S\left(X\left(k\right)\right)+{\mathrm{\&epsiv;}}_{i1};$

其中，ε_i1是逼近误差，所述局部准确建模通过RBF神经网络对沿海量时态数据回归轨迹的内在系统动态的逼近，而远离轨迹的内部动态则不被逼近。

9.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤3所述常值神经网络权值是指在一段时间内权值收敛至常值，选取收敛的部分权值取数值平均，获取相应的神经网络常值权值使f_i(x₁(k),…,x_n(k))由常值神经网络

进行局部准确逼近：

$f_i(x_1\left(k\right),...,x_n\left(k\right))={\stackrel{\&OverBar;}{W}}_i^{T}S\left(X\left(k\right)\right)+{\mathrm{\&epsiv;}}_{i2},$

其中，ε_i2是逼近误差。

10.根据权利要求1所述的基于确定学习理论的海量时态数据建模方法，其特征在于，步骤3所述常值神经网络

是时不变的和空间分布的，常值神经网络

逼近沿海量时态数据空间轨迹的内部动态，远离轨迹的内部动态没有被逼近。

Images