CN105654174B

CN105654174B - 用于预测的系统和方法

Info

Publication number: CN105654174B
Application number: CN201410645410.1A
Authority: CN
Inventors: 张霓; 胡卫松
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2014-11-11
Filing date: 2014-11-11
Publication date: 2021-08-20
Anticipated expiration: 2034-11-11
Also published as: CN105654174A

Abstract

提供了一种用于预测的系统，包括：分类单元，被配置为采用深层神经网络对所有输入数据进行分类；预测单元，被配置为针对每一类输入数据，训练相应的一个子深层神经网络并进行预测；以及计算单元，被配置为对多个子深层神经网络的预测结果进行加权平均，作为最终的预测结果。还提供了一种用于预测的方法。本发明能够提高预测的精度，特别是针对缺乏相应的训练数据的情况。

Description

用于预测的系统和方法

技术领域

本申请涉及数据分析领域，具体涉及一种用于预测的系统和方法。

背景技术

目前，基于神经网络预测方法已经被用于数据预测。基于神经网络的预测方法首先需要采集一些真实数据做为样本，用于训练网络，然后用训练好的网络进行预测。

然而，这种方法的预测准确度非常依赖于训练网络时所用样本数据的数量和质量。当训练数据的数量不足，或者待预测数据与训练样本特征差异较大时，预测结果往往是不准确的。例如，极端天气状况较少发生，因而相应的数据比较缺乏。但是，准确预测这种极端天气是非常需要的。

发明内容

本发明提出一种分层的、组合使用多个深层神经网络的预测方案，能够提高预测精度，特别是针对缺乏相应的训练数据的情况。本发明的主要想法是：首先，利用自编码深层神经网络的特点，对每一个输入数据计算其重构误差，并基于重构误差对输入数据进行归类；然后，对每一类输入数据训练一个子深层神经网；最后，加权平均多个子深层神经网的预测结果作为最终预测结果，其中，权重的分配取决于多个子深层神经网的重构误差的大小。

根据本发明的第一方面，提供了一种用于预测的系统，包括：分类单元，被配置为采用深层神经网络对所有输入数据进行分类；预测单元，被配置为针对每一类输入数据，训练相应的一个子深层神经网络并进行预测；以及计算单元，被配置为对多个子深层神经网络的预测结果进行加权平均，作为最终的预测结果。

在一个实施例中，分类单元被配置为：使用所有输入数据来训练自编码深层神经网络；使用训练得到的自编码深层神经网络，计算每一个输入数据的重构误差；以及根据重构误差的大小，对每一个输入数据进行分类。

在一个实施例中，分类单元被配置为：以无监督的方式训练自编码深层神经网络，使得损失函数最小化。

在一个实施例中，分类单元被配置为采用以下分类方式对输入数据进行分类：直接利用重构误差的分类方式、通过加权的分类方式或可重叠的分类方式。

在一个实施例中，预测单元被配置为：针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，每个子深层神经网络输出预测结果和重构误差。

在一个实施例中，计算单元被配置为：对多个子深层神经网络的预测结果进行加权平均，权重的分配取决于多个子深层神经网络的重构误差的大小。

根据本发明的第二方面，提供了一种用于预测的方法，包括：采用深层神经网络对所有输入数据进行分类；针对每一类输入数据，训练相应的一个子深层神经网络并进行预测；以及对多个子深层神经网络的预测结果进行加权平均，作为最终的预测结果。

在一个实施例中，分类步骤包括：使用所有输入数据来训练自编码深层神经网络；使用训练得到的自编码深层神经网络，计算每一个输入数据的重构误差；以及根据重构误差的大小，对每一个输入数据进行分类。

在一个实施例中，以无监督的方式训练自编码深层神经网络，使得损失函数最小化。

在一个实施例中，采用以下分类方式对输入数据进行分类：直接利用重构误差的分类方式、通过加权的分类方式或可重叠的分类方式。

在一个实施例中，针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，每个子深层神经网络输出预测结果和重构误差。

在一个实施例中，对多个子深层神经网络的预测结果进行加权平均，权重的分配取决于多个子深层神经网络的重构误差的大小。

本发明使用多个深层神经网络，通过先分类再预测的方式，即使在缺乏相应的训练数据的情况下(例如极端天气状况较少发生，因而相应的数据比较缺乏)，也能够实现精确的预测。

附图说明

通过下文结合附图的详细描述，本发明的上述和其它特征将会变得更加明显，其中：

图1是示出了根据本发明一个实施例的用于预测的系统的框图。

图2是示出了根据本发明一个实施例的示例输入数据的示意图。

图3是示出了根据本发明一个实施例的训练自编码深层神经网络的示意图。

图4是示出了根据本发明一个实施例的计算输入数据的重构误差的示意图。

图5是示出了根据本发明一个实施例的根据重构误差的大小对输入数据进行分类的示意图。

图6是示出了根据本发明一个实施例的对多个子深层神经网络的预测结果进行加权平均的示意图。

图7是示出了根据本发明一个实施例的用于预测的方法的流程图。

具体实施方式

下面，通过结合附图对本发明的具体实施例的描述，本发明的原理和实现将会变得明显。应当注意的是，本发明不应局限于下文所述的具体实施例。另外，为了简便起见，省略了与本发明无关的公知技术的详细描述。

图1是示出了根据本发明的用于预测的系统的框图。如图1所示，系统10包括分类单元110、预测单元120和计算单元130。下面，详细描述用于预测的系统10中的各个单元的操作。

分类单元110采用深层神经网络对所有输入数据进行分类。在一个实施例中，分类单元110可以使用所有输入数据来训练自编码深层神经网络。然后，分类单元110使用训练得到的自编码深层神经网络，计算每一个输入数据的重构误差。最后，分类单元110根据重构误差的大小，对每一个输入数据进行分类。

具体地，自编码深层神经网络的每一层都是一个自动编码器，它由两部分组成：编码器和解码器。编码器将输入向量X转换为其隐藏表达h，如下式所示：

h＝f_θ(x)＝sigm(Wx+b)

而解码器则将隐藏表达h映射回重建的输入向量X’，如下式所示：

x′＝g_0′(h)＝sigm(W′h+h′)

优选地，分类单元110以无监督的方式训练自编码深层神经网络，使得损失函数最小化，其中损失函数表示如下：

L(x，g(f(x)))＝L(x，x′)＝|x-x′|

自编码深层神经网络可以在给出预测结果的同时对每一个输入数据X计算其重构误差re，并基于重构误差的大小判断该数据样本X对模型的符合度。其中，重构误差re计算如下：

re＝|x-x′|

分类单元110可以采用以下分类方式对输入数据进行分类：直接利用重构误差的分类方式、通过加权的分类方式或可重叠的分类方式。例如，对于直接利用重构误差这种分类方式，首先随机选择一个起始样本数据，然后选择与其重构误差最相似样本数据，直到该类的样本数量达到预设值为止。此外，每个输入数据可归到一个类或更多个类中。

在对输入数据进行分类之后，预测单元120针对每一类输入数据，训练相应的一个子深层神经网络并进行预测。优选地，预测单元120针对每一类输入数据，训练相应的一个子深层神经网络并进行预测。其中，每个子深层神经网络输出预测结果和重构误差。

此后，计算单元130对多个子深层神经网络的预测结果进行加权平均，作为最终的预测结果。优选地，计算单元130对多个子深层神经网络的预测结果进行加权平均，其中，权重的分配取决于多个子深层神经网络的重构误差的大小。重构误差越小，预测结果可靠性越大；而重构误差越大，预测结果可靠性越小。对每个子深层神经网计算重构误差：

re_i＝{re_i1，re_i2，...，re_ip}，

注意，re_i是一个与输入样本x同维度的向量，因此计算单元130需要将每一维的重构误差求和，以得到一个值来表达预测结果的可靠性：

然后，计算单元130利用m个子深层神经网可以分别计算每个子深层神经网的权重系数，再利用加权平均对m个子深层神经网的预测结果y_i进行平均得到最后预测值y_o。相应的公式表达如下：

这里，还可以用top-k的方法对m个子深层神经网的结果进行细化调优，即只用重构误差最小(w_i最大)的k的子深层神经网结果进行最后结果的平均。

下面，结合图2-6所示的场景，详细描述图1所示的根据本发明一个实施例的系统10在应用于空气质量预测时的操作。

图2是示出了根据本发明一个实施例的示例输入数据的示意图。如图2所示，在本示例中，输入数据X包括一氧化碳(CO)值、流量(Traffic)值以及PM2.5值，等等。示例输入数据x1-x5均为向量，而示例输出数据y1-y5是PM2.5值。此外，图2下部的5个图片直观地表示出与x1-x5相对应的空气质量状况。

图3是示出了根据本发明一个实施例的训练自编码深层神经网络的示意图。这里，分类单元110可以使用所有输入数据来训练自编码深层神经网络。从图3中可以看出，该训练是从下至上逐层进行的，并且以无监督的方式进行训练。图3中的最后一层用于回归分析，并且可以使用监督的样本进行精细调整。

图4是示出了根据本发明一个实施例的计算输入数据的重构误差的示意图。这里，分类单元110执行重构并计算每一个输入数据的重构误差，结果如图4所示。

图5是示出了根据本发明一个实施例的根据重构误差的大小对输入数据进行分类的示意图。如图5所示，分类单元110将输入数据分类到不同的子集(类)中。优选地，可以采用欧式距离计算，根据每一个输入数据的重构误差将每一个输入数据划分到不同的子集(类)中，如图5下部所示。此后，预测单元120可以针对每一类输入数据(即，每一个子集)，训练相应的一个子深层神经网络并进行预测，其中每个子深层神经网络输出预测结果和重构误差。

图6是示出了根据本发明一个实施例的对多个子深层神经网络的预测结果进行加权平均的示意图。在此，计算单元130对预测单元120获得的多个子深层神经网络的预测结果进行加权平均，其中权重的分配取决于多个子深层神经网络的重构误差的大小。最后，得到加权平均后的输出，如图6下部所示。

本实施例使用多个深层神经网络，先进行分类然后再进行预测。这样，即使在缺乏相应的训练数据的情况下(例如极端天气状况较少发生，因而相应的数据比较缺乏)，也能够实现精确的预测。

需要注意的是，尽管上述示例场景涉及空气质量的预测，然而本发明不限于此。本领域技术人员在阅读了说明书的教导后，可以将本发明的原理应用于其他领域的数据预测。

图7是示出了根据本发明一个实施例的用于预测的方法的流程图。如图7所示，方法70在步骤S710处开始。

在步骤S720，采用深层神经网络对所有输入数据进行分类。优选地，使用所有输入数据来训练自编码深层神经网络，使用训练得到的自编码深层神经网络，计算每一个输入数据的重构误差，以及根据重构误差的大小对每一个输入数据进行分类。更优选地，以无监督的方式训练自编码深层神经网络，使得损失函数最小化。可以采用以下分类方式对输入数据进行分类：直接利用重构误差的分类方式、通过加权的分类方式或可重叠的分类方式。

在步骤S730，针对每一类输入数据，训练相应的一个子深层神经网络并进行预测。优选地，针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，其中每个子深层神经网络输出预测结果和重构误差。

在步骤S740，对多个子深层神经网络的预测结果进行加权平均，作为最终的预测结果。优选地，权重的分配取决于多个子深层神经网络的重构误差的大小。

最后，方法70在步骤S750处结束。

应该理解，本发明的上述实施例可以通过软件、硬件或者软件和硬件两者的结合来实现。例如，上述实施例中的系统内的各种组件可以通过多种器件来实现，这些器件包括但不限于：模拟电路、数字电路、通用处理器、数字信号处理(DSP)电路、可编程处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(CPLD)，等等。

另外，本领域的技术人员可以理解，本发明实施例中描述的初始参数可以存储在本地数据库中，也可以存储在分布式数据库中或者可以存储在远程数据库中。

此外，这里所公开的本发明的实施例可以在计算机程序产品上实现。更具体地，该计算机程序产品是如下的一种产品：具有计算机可读介质，计算机可读介质上编码有计算机程序逻辑，当在计算设备上执行时，该计算机程序逻辑提供相关的操作以实现本发明的上述技术方案。当在计算系统的至少一个处理器上执行时，计算机程序逻辑使得处理器执行本发明实施例所述的操作(方法)。本发明的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本发明实施例所描述的技术方案。

尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims

1.一种用于预测空气质量的系统，包括：

分类单元，被配置为使用输入数据来训练深层神经网络并对输入数据进行分类，所述输入数据具有向量的形式且向量的每一个维度涉及与空气质量有关的一种数据，所述维度包括已知一氧化碳值、已知流量值以及已知PM2.5值；

预测单元，被配置为针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，以获得指示空气质量的数值预测结果，所述数值预测结果是所预测的未来的PM2.5值；以及

计算单元，被配置为对多个子深层神经网络的数值预测结果进行加权平均，作为最终的指示空气质量的预测结果，

其中，所述分类单元被配置为：

使用输入数据来训练自编码深层神经网络；

使用训练得到的自编码深层神经网络，计算每一个输入数据的重构误差；以及

根据重构误差的大小，对每一个输入数据进行分类。

2.根据权利要求1所述的系统，其中，所述分类单元被配置为：以无监督的方式训练自编码深层神经网络，使得损失函数最小化。

3.根据权利要求1所述的系统，其中，所述分类单元被配置为采用以下分类方式对输入数据进行分类：直接利用重构误差的分类方式、通过加权的分类方式或可重叠的分类方式。

4.根据权利要求1所述的系统，其中，所述预测单元被配置为：针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，每个子深层神经网络输出预测结果和重构误差。

5.根据权利要求4所述的系统，其中，所述计算单元被配置为：对多个子深层神经网络的预测结果进行加权平均，权重的分配取决于多个子深层神经网络的重构误差的大小。

6.一种在计算设备上执行的用于预测空气质量的方法，包括：

使用输入数据来训练深层神经网络并对输入数据进行分类，所述输入数据具有向量的形式且向量的每一个维度涉及与空气质量有关的一种数据，所述维度包括已知一氧化碳值、已知流量值以及已知PM2.5值；

针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，以获得指示空气质量的数值预测结果，所述数值预测结果是所预测的未来的PM2.5值；以及

对多个子深层神经网络的数值预测结果进行加权平均，作为最终的指示空气质量的预测结果，

其中，所述分类步骤包括：

使用输入数据来训练自编码深层神经网络；

根据重构误差的大小，对每一个输入数据进行分类。

7.根据权利要求6所述的方法，其中，以无监督的方式训练自编码深层神经网络，使得损失函数最小化。

8.根据权利要求6所述的方法，其中，采用以下分类方式对输入数据进行分类：直接利用重构误差的分类方式、通过加权的分类方式或可重叠的分类方式。

9.根据权利要求6所述的方法，其中，针对每一类输入数据，训练相应的一个子深层神经网络并进行预测，每个子深层神经网络输出预测结果和重构误差。

10.根据权利要求9所述的方法，其中，对多个子深层神经网络的预测结果进行加权平均，权重的分配取决于多个子深层神经网络的重构误差的大小。