CN102024178A - 时序预测神经网络装置 - Google Patents

Abstract

本发明提供一种时序数据预测神经网络装置，能够在解析级别间进行协作并能够进行高精度的预测值计算。在处理按时序表示预测对象的数值的时序数据，并计算出数值的预测值的时序数据预测神经网络装置中具备：输入单元，将对时序数据进行多重分辨率解析所得到的、表示多个解析级别的特征的值作为解析数据输入；运算处理单元，具有输入层处理部，该输入层处理部在计算预测值时，基于多个解析级别中最高解析级别的解析数据进行运算处理，将处理结果的数据与次高解析级别的解析数据一起进行运算处理，并从最高解析级别到最低解析级别对基于某解析级别的解析数据进行运算处理的结果的数据和位于某解析级别下位的解析级别的解析数据进行运算处理。

Description

时序预测神经网络装置

技术领域

本发明涉及例如进行根据输入的数值(数据)预测将来发生的数值的预测处理的时序数据预测神经网络装置。特别是涉及用于实现预测精度进一步提高的装置。

背景技术

为了对近来要发生的事情有所准备，或检测出异于正常的事件的发生，需要将随着时间流逝而持续地发生变化的股价、交通量、通信流量等表示为数值，并对按时序表示该数值的数据、即时序数据进行处理，对将来要发生的数值进行精确地预测。为了基于这样的时序数据预测将来的值(预测值)，而存在有制作ARMA模型这样的数学模型、神经网络这样的模型，并使用所制作的模型进行学习(模型校正)的模型学习器等。

众所周知通过使用这样的神经网络，能够进行难以在现有的诺依曼型计算机中进行的灵活的信息处理，目前为止提出有各种形式的使用了神经网络的装置。

例如提出有以下方法：向由输入层、中间层、输出层和承接层构成的神经网络输入过去及现在的时序图案，通过反向传播法进行学习，使用学习完毕的神经网络进行时序预测的方法(例如，参照专利文献1)。

而且，还存在以下装置，通过使用神经网络这样的模型学习器，还将时序数据作为学习数据分成多个解析级别(频率成分)，并基于各解析级别进行预测、合计这样的方法，预测将来值的装置(例如，参照专利文献2)。

专利文献1：日本特开平06-175998号公报(图1)

专利文献2：日本特开平11-212947号公报(图1)

上述专利文献1所记载的方法是仅使用时序数据进行学习来预测将来值的方法。因此，在针对具有时刻都在复杂变化的特性的时序数据的预测模型中，由于用于学习的特征量较少因此无法形成高精度的学习模型。其结果，降低了对伴随复杂变化的时序数据的预测精度。

另一方面，在专利文献2中，将时序数据分成几个频率成分，按各频率成分学习预测模型。因此，能够比专利文献1那样的仅单纯地使用时序数据进行学习时实现预测精度的提高。

但是，由于针对在时序数据中进行的所有的解析级别设置的各学习器，分别独立地进行预测因此无法在解析级别之间进行预测的学习。

发明内容

因此，希望实现能够使解析级别间的运算处理结果协作来进行高精度的预测值的计算的时序数据预测神经网络装置。

本发明涉及的时序数据预测神经网络装置，其处理按时序表示了预测对象的数值的时序数据，计算出数值的预测值，该时序数据预测神经网络装置具备：输入单元，其被输入对时序数据进行多重分辨率解析所得到的、表示多个解析级别的特征的值，作为解析数据；以及运算处理单元，其具有输入层处理部，该输入层处理部在计算预测值时，基于多个解析级别中最高解析级别的解析数据进行运算处理，将处理后的结果的数据与次高解析级别的解析数据一起进行运算处理，并从最高解析级别到最低解析级别，对基于上位解析级别中运算处理的结果的数据和下位解析级别中的解析数据进行运算处理。

根据本发明，针对多重分辨率解析预测对象的时序数据而得到的多个解析级别的解析数据，运算处理单元对上位的解析级别的运算结果和一个下位的解析级别的解析数据进行运算处理，由于按照从最高的解析级别到最低的解析级别的顺序进行处理，因此基于用于恢复时序数据涉及的原信号的数学式将上位解析级别的处理结果应用于下面的解析级别的运算处理来进行预测所涉及的处理，从而能够提高预测值的精度。

附图说明

图1是时序数据预测神经网络装置的构成图。

图2是用于表示延迟处理部126的处理的图。

图3是表示Haar函数涉及的缩放函数的图。

图4是表示用于分解处理的母小波的图。

图5是用于说明小波系数的计算顺序的图。

图6是表示神经元的示意图。

图7是表示预测值的比较结果的图。

图8是计算与实际观测值之间的均方误差的图。

附图符号说明：

100：时序数据预测神经网络装置；110：输入单元；120：运算处理单元；121：输入层处理部；122：频率解析输入层处理部；123：相关数据输入层处理部；124：中间层处理部；125：输出层处理部；126：延迟处理部；130：输出单元

具体实施方式

实施方式1

图1是表示本发明的实施方式1涉及的时序数据预测神经网络装置的构成的图。本实施方式的时序数据预测神经网络装置(以下简单地称为装置)100由输入单元110、运算处理单元120和输出单元130构成。

输入单元110配置为能够由运算处理单元120对从例如外部装置(未图示)发送来的信号中包含的数据进行处理。在此，在本实施方式中，基于多重分辨率解析(MRA)对预测对象的时序数据进行频率解析处理(分解处理)，并将生成的一个或多个解析级别中的解析数据等输入到输入单元110。多重分辨率解析是用于，例如用函数表示数值在时间上的变化，基于多个尺度阶段性地分解该函数(解析级别)，来抽出具有怎样的特征的解析。在本实施方式中，是输入使用了小波的频率解析结果、即小波系数的数据(以下称为小波系数)w^(L)i～w^(l)i作为解析数据。而且，输入与进行多重分辨率解析时使用的最高的解析级别涉及的缩放系数的数据(以下称为最高缩放系数)s^(L)i以及时序数据具有相关关系的相关数据n_t。

运算处理单元120基于输入单元110的处理的数据计算出预测值。本实施方式的运算处理单元120为基于神经网络的模型进行预测值计算的处理的模型学习器，该神经网络的模型是基于过去的时序数据通过学习处理等进行了校正的神经网络的模型。神经网络例如是将构成脑的神经细胞(神经元)模型化、网络化而构成的处理机构。因此，在本实施方式的运算处理单元120中，概念上是将多个神经元进行网络连接，基于从输入单元110输入的数据，在神经元间发送/接收运算结果，并且在输出单元130输出最终的运算结果。

另外，在本实施方式中，装置通过反向传播进行学习。在该学习时，计算运算处理单元120计算出的预测值和正确应答数据y表示的值的误差。然后，针对模型中表示的各个神经元计算所期待的神经元的输出值与实际输出值的差等，求得局部误差。进行调整在计算预测值的过程中神经元按照与经过的顺序相反的顺序进行运算处理时的输入量的处理，以使该局部误差变小。

为了实现以上那样的模型形成，本实施方式的运算处理单元120具有输入层处理部121、中间层处理部124、输出层处理部125以及多个延迟处理部126。

输入层处理部121还具有频率解析输入层处理部122和相关数据输入层处理部123。频率解析输入层处理部122基于各解析级别的小波系数和最高缩放系数进行运算处理。此时，将对解析级别高(频率低)的小波系数等进行运算处理的结果与位于一个下位的解析级别的较低(频率高)的小波系数一起进行运算处理。因此，如图1所示，在与解析级别相同数量的神经元中进行运算。而且，相关数据输入层处理部123基于频率解析输入层处理部122的运算处理的数据和来自输入单元110的相关数据n_t进行运算处理。关于输入层处理部121的运算处理的内容详见后述。

[20在]本实施方式中，中间层处理部124基于延迟处理部126存储保持的、输入层处理部121的运算处理涉及的规定数量的数据进行运算处理。而且，输出层处理部125基于中间层处理部124的运算处理涉及的数据进行运算，并进行向输出单元130输出的处理。

[21]图2是用于表示延迟处理部126的处理的图。延迟处理部126进行临时存储保持所输入的数据的处理。在此，延迟处理部126具有若输入新的数据时则溢出最旧的数据(从存储保持对象溢出)的先入先出(FIFO：First In First Out)的构造。因此，能够存储保持规定数量(过去的规定时间量)的数据。在本实施方式中，例如各延迟处理部126能够存储保持用于运算处理单元120计算时刻t+1的预测值而进行的各神经元的运算处理所必须的量的数据。

[22]关于上述那样的运算处理单元120的各处理部，能够由各自不同的专业设备(硬件)构成，但也可以由以CPU(Central Processing Unit)为中心的运算控制单元(计算机)构成硬件，将各部进行处理的处理顺序预先程序化，从而由软件、固件等构成。并且，也可通过执行程序进行的处理来实现上述各部进行的处理。这些程序涉及的数据例如预先存储于存储单元(未图示)。而且，虽未特别限定，但例如也可由一个运算处理装置(元件)构成神经元，通过通信线路等连接多个运算处理装置来构成运算处理单元120。在此在本实施方式中，以下对将各神经元作为进行运算处理的一个单位的装置(元件)的情况进行说明。

[23]而且，输出单元130在预测处理时，运算处理单元120将作为运算结果计算出的预测值作为信号向例如外部装置(未图示)输出。

[24]接下来，说明本实施方式的装置100的动作。首先，在装置100的前段中，基于进行了采样、量化等的时序数据，在多重分辨率解析中进行小波变换，计算出每个解析级别的小波系数、缩放系数。关于解析结果和源信号(函数)之间的关系，若将计算出的最高的解析级别设为L、将源信号设为f(t)，则可以用下式(1)来表示。

[25](数学式1)

$f\left(t\right)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{g}_j\left(t\right)+f_1\left(t\right)...\left(1\right)$

在此，g_i如下式(2)所示，是小波系数w_j、t和母小波ψ_j、k的合成函数。而且，(3)式的f_L(t)是解析级别L的缩放系数s_Lk和解析级别L的母小波ψ_Lk的合成函数。

(数学式2)

$g_j\left(t\right)=\underset{k}{\mathrm{\Σ}}{w}_{j,k}\·{\mathrm{\φ}}_{j,k}\left(t\right)...\left(2\right)$

$f_1\left(t\right)=\underset{k}{\mathrm{\Σ}}{s}_{l,k}\·{\mathrm{\φ}}_{l,k}\left(t\right)...\left(3\right)$

图3是表示Haar函数涉及的缩放函数的图。在本实施方式中在小波中使用Haar函数进行说明。关于缩放函数，0＜u＜1时将u设为1，其他情况设为u＝0。

图4是表示用于分解处理的母小波的图。图4示意地表示了Haar函数的母小波。小波系数是基于母小波和时序数据计算出内积，并用缩放系数除所计算出的。如图4所示，通过改变母小波的周期宽度生成不同的解析级别的母小波，并针对各解析级别计算出小波系数。

图5是用于说明小波系数的计算顺序的图。在图5中对解析级别1的小波系数的计算进行说明。例如将时刻t-7～t中的{1，3，5，11，12，13，0，1}这样8个值的数据作为时序数据。解析级别1的小波系数是计算出母小波(-1，1)的内积后用缩放系数除所计算出的。而且，沿时间方向滑动计算小波系数。例如时序数据(1，3)和母小波(1，-1)的内积是1×(-1)+3×1＝2。由于缩放系数是2^1/2，所以小波系数为2^1/2＝1.4142(图5中的w⁽¹⁾ _i-3)。以下，对于(5，11)、(12，13)、(0，1)同样分别计算出小波系数。如上所述，在解析级别1中，计算出{w⁽¹⁾ _i-3＝1.4142，w⁽¹⁾ _i-2＝4.2426，w⁽¹⁾ _i-1＝0.7071，w⁽¹⁾ _i＝0.7071}四个小波系数。在此，在本实施方式中，w⁽¹⁾ _i表示基于时刻t的小波系数。

而且，解析级别2的小波系数通过计算出2倍周期的母小波(-1，-1，1，1)与时序数据的4个数据的内积，用该解析级别的缩放系数2除所计算出的。

如上所述，包含前段装置计算出的各解析级别的小波系数和最高缩放系数的信号被输入到输入单元110。输入单元110处理信号后将数据发送到运算处理单元120。对相关数据n_t也进行同样的信号处理并发送。各延迟处理部126存储保持上述那样发送来的数据。在此，例如存储保持从时刻t开始基于过去的规定时间量的时序数据计算出的规定数量的小波系数或最高缩放系数。而且，也存储保持规定数量的相关数据。

输入层处理部121的频率解析输入层处理部122基于各延迟处理部126存储保持的规定数量的小波系数或最高缩放系数进行运算处理。此时，频率解析输入层处理部122如上所述进行基于解析级别和相同数量的神经元的运算处理。

图6是表示神经元的示意图。在此，对神经元中的运算处理进行说明。如图6所示，各神经元具有数据输入部、运算部、输出部。在图6的神经元中，例如计算对解析级别L的从时刻t开始经过规定时间量的小波系数w^(L) _i、w^(L) _i-1、w^(L) _i-2、w^(L) _i-3、w^(L) _i-4分别乘以权重系数h^(L) _i、h^(L) _i-1、h^(L) _i-2、h^(L) _i-3、h^(L) _i-4的总和z_i。然后，将总和z_i代入例如预先设定的S形函数那样的传递函数f中进行阈值的处理，从而计算出输出值o_i。若用数学式表示以上内容则由下式(4)来表示。在本实施方式中，输出值o_i为基于时刻t的神经元的输出值，由各神经元进行这样的运算处理。

(数学式3)

$o_i=f(\underset{j=i-4}{\overset{i}{\mathrm{\Σ}}}{h}_j\·w_j)...\left(4\right)$

并且，在频率解析输入层处理部122中，首先针对例如图1中位于最上层的神经元，基于最高解析级别(在此为解析级别L)的小波系数和最高缩放系数进行以上那样的运算。该神经元的输出值o^(L) _i为输入到位于其下位的解析级别L-1的运算处理的神经元中的数据。

在解析级别L-1的运算处理所涉及的神经元中，输入解析级别L-1的从时刻t开始经过规定时间量的小波系数w^(L-1) _i等，并进行与上述的运算相同的运算，输出值o^(L-1) _i被输入到下位的解析级别L-2的运算处理涉及的神经元中。以下，进行相同的处理，最低的解析级别1的运算处理涉及的神经元的输出值o⁽¹⁾ _i为频率解析输入层处理部122的最终的输出。

由此，能够将按照每个解析级别，基于多个时序数据对多重分辨率解析的解析数据进行运算的预测的处理结果，从上位的神经元传递到下位的神经元。并且，在下位的神经元中，在自身进行解析数据的运算处理时能够将上位的神经元运算处理的结果编入运算处理中。因此，能够使预测结果协作。

来自频率解析输入层处理部122的输出值o⁽¹⁾ _i作为数据被输入到相关数据输入层处理部123。而且，从延迟处理部126输入从时刻t开始经过规定时间量的相关数据。关于相关数据，例如在预测进行使用了RTP(Real-time Transport Protocol)的通信时的数据包量的情况下，可列举出在开始该通信时用于进行呼叫控制所发送的SIP(SessionsInitiation Protocol)的数据包数量、会话数量、当前时刻等。关于相关数据输入层处理部123中神经元的运算处理，与使用图6已说明的运算处理相同。在本实施方式中，将相关数据输入层处理部123运算处理的结果作为输入层处理部121的最终的运算处理结果输出。

由设置于输入层处理部121的输出侧(后段)、中间层处理部124的输入侧(前段)的各延迟处理部126来存储保持规定数量的输入层处理部121输出的数据。

中间层处理部124基于延迟处理部26存储保持的、输入层处理部121运算处理的规定数量的数据进行运算处理。而且，输出层处理部125基于中间层处理部124运算处理的数据进行运算，并作为最终时刻t+1的预测值的数据输出到输出单元130。输出单元130将包含预测值的数据的信号发送到外部装置(未图示)。

图7是表示现有装置计算出的预测值与本实施方式的装置100计算出的预测值的比较结果的图。图7表示了在电通信线路(网络)上流过的通信数据包数量的预测值和观测值。在图7中纵轴表示数据包数量、横轴表示合计的时刻。如图7所示，可知在现有的装置中，数据包数量的实际观测值与预测值具有很大的背离的部分。另一方面，本实施方式的装置100中则没有那么大的背离部分。

图8是计算与根据图7的结果求出的实际观测值之间的均方误差的图。如图8所示，可知本实施方式的装置100与现有装置相比明显提高了预测精度。

综上所述，根据本实施方式的时序数据预测神经网络装置100，频率解析输入层处理部122，向对预测对象的时序数据进行多重分辨率解析所得到的多个解析级别的解析数据中输入上一位解析级别的运算结果，并且按照从最高(最上位)解析级别到最低(最下位)解析级别的顺序进行运算处理，因此能够基于恢复表示时序数据的信号的数学式(2)那样的流程，将上位的解析级别的处理结果应用到下一位的解析级别的运算处理中进行处理，因此能够提高装置100计算出的预测值的精度。

而且，通过小波变换进行多重分辨率解析，计算出小波系数作为解析数据，因此特别是即使在计算出的级别数较多的情况下，也能够抑制处理时间并进行分解处理。此外，相关数据输入层处理部123基于频率解析输入层处理部122的处理结果和相关数据进行运算处理，因此能够进一步提高预测值的精度。

实施方式2

在上述实施方式1中，使用Haar函数的小波进行了频率解析(多重分辨率解析)，但并不限定于此。例如也可使用其他的小波进行频率解析。而且，也可进行其他的多重分辨率解析。

而且，在上述实施方式1中将解析级别L-1中的运算结果、即输出值o^(L-1) _i输入到下位的解析级别L-2的运算处理的神经元中，但下位的解析级别也可以是1或小于1。即、设置级别选择单元，用于选择预先向装置的输入单元110输入的多重分辨率解析的解析结果中、最高级别的小波系数和最高缩放系数，然后选择其他解析级别的小波系数，且仅选择输入到输入单元110的解析级别。舍弃未被选择的解析级别。例如，若将多重分辨率解析的解析结果中最高级别设为M，则级别选择单元选择级别M的小波系数和缩放系数、然后选择级别M-1、M-3、M-4。此时的装置进行如下的动作：将级别M的小波系数和缩放系数的神经元的处理的输出o^(M)输入到级别M-1的运算处理的神经元中，接着将级别M-1的运算处理的神经元的输出o^(M-1)，输入到级别M-3的运算处理的神经元中，最后将级别M-3的运算处理的神经元的输出o(M-3)，输入到级别M-4的运算处理的神经元中。

Claims (7)

1.一种时序数据预测神经网络装置，其处理按时序表示了预测对象的数值的时序数据，计算出所述数值的预测值，所述时序数据预测神经网络装置的特征在于，具备：

输入单元，其被输入对所述时序数据进行多重分辨率解析所得到的、表示多个解析级别的特征的值，作为解析数据；以及

运算处理单元，其具有输入层处理部，该输入层处理部在计算所述预测值时，基于所述多个解析级别中最高解析级别的解析数据进行运算处理，将处理后的结果的数据与次高解析级别的解析数据一起进行运算处理，并从最高解析级别到最低解析级别，对基于上位解析级别中运算处理的结果的数据和所述下位解析级别中的解析数据进行运算处理。

2.根据权利要求1所述的时序数据预测神经网络装置，其特征在于，

所述运算处理单元还具有一个或多个延迟处理部，用于存储保持过去的规定数量的、输入到所述输入单元的数据。

3.根据权利要求1或2所述的时序数据预测神经网络装置，其特征在于，所述运算处理单元还具有：

中间层处理部，其基于所述输入层处理部处理的结果的数据进行运算处理；以及

输出层处理部，其基于该中间层处理部处理的结果的数据进行运算处理，并输出所述预测值。

4.根据权利要求1至3中任一项所述的时序数据预测神经网络装置，其特征在于，

所述多重分辨率解析是使用了小波的频率解析，基于频率越低的小波的信号得到的所述解析数据，其解析级别越高。

5.根据权利要求4所述的时序数据预测神经网络装置，其特征在于，

作为所述解析数据具有小波系数。

6.根据权利要求5所述的时序数据预测神经网络装置，其特征在于，

在所述输入单元，还被输入有所述最高解析级别中缩放系数的数据，作为所述解析数据，

所述运算处理单元，基于所述最高解析级别的小波系数的数据和所述缩放系数的数据进行所述运算处理。

7.根据权利要求1至6中任一项所述的时序数据预测神经网络装置，其特征在于，

在所述输入单元，还被输入有与所述解析数据相关的相关数据，

所述输入层处理部还基于到所述最低解析级别所处理的结果的数据和所述相关数据，进行运算处理。

Images