CN101625734A - 学习设备、学习方法和程序 - Google Patents

Abstract

本发明涉及一种学习设备，包括：多个学习模块，所述多个学习模块中的各学习模块使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数；模型参数共享装置，用于使所述多个学习模块之中的两个或者更多学习模块共享模型参数；模块创建装置，用于在作为输入数据提供用对模式进行学习的新学习数据时创建与所述新学习数据对应的新学习模块；相似度评估装置，用于在对包括所述新学习模块的所有学习模块进行新学习之后，评估学习模块之间的相似度；以及模块合成装置，用于基于学习模块之间的相似度来确定是否合成学习模块，并且合成学习模块。此外，本发明还涉及一种学习方法以及实现该学习方法的程序。

Description

学习设备、学习方法和程序

技术领域

本发明涉及一种学习设备、学习方法和程序，并且具体而言涉及一种能够获得具有可扩展性和泛化能力的模式学习模型的学习设备、学习方法和程序。

背景技术

对模式进行学习的模式学习模型例如可以是RNN(递归神经网络)、RNNPB(具有参数偏离的递归神经网络)等。这些模式学习模型的学习方案被分类成“局部表示”方案和“分布表示”方案。

在“局部表示”方案中，在各自学习模式学习模型(更新模式学习模型的模型参数)的多个学习模块中的各学习模块中学习多个模式。因此，一个学习模块存储一个模式。

此外，在“分布表示”方案中，在一个学习模块中学习多个模式。因此，一个学习模块同时存储多个模式。

在“局部表示”方案中，一个学习模块存储一个模式，也就是说，一个模式学习模型学习一个模式。因此，在一个学习模块与另一学习模块之间的模式记忆中存在小的干涉，并且模式记忆稳定性高。于是“局部表示”方案可扩展性优良，即有可能通过添加学习模块而容易地学习新模式。

然而，在“局部表示”方案中，一个模式学习模型学习一个模式，也就是说，在多个学习模块中的各学习模块中独立地进行模式记忆。因此，难以通过构造(共用)多个学习模块的相应模式记忆之间的关系来获得泛化能力，也就是说，例如难以生成所谓中间模式，该中间模式与存储于一个学习模块中的模式不同并且也与存储于另一学习模块中的模式不同。

另一方面，在“分布表示”方案中，一个学习模块存储多个模式，也就是说，一个模式学习模型学习多个模式。因此，由于一个学习模块中多个模式的记忆之间的干涉而有可能通过共用多个模式的记忆来获得泛化能力。

然而，在“分布表示”方案中，模式记忆稳定性低，因而没有可扩展性。

这里，日本待审专利申请公开第2002-024795号描述了基于两个RNN的背景之间的误差来改变两个RNN的背景，其中一个RNN学习一个模式而另一RNN学习与该模式相关的另一模式以进行RNN的学习，并且所学习的两个RNN的背景之一用作另一RNN的背景，也就是说，使RNN之一的背景影响另一RNN的背景以生成输出数据(将输入数据输入到RNN的输入层，并且从RNN的输出层输出与输入数据对应的输出数据)。

此外，Yuuya Sugita、Jun Tani在Adaptive Behavior第13卷第1期第33-52页(2005年)的“Learning Semantic Combinatoriality from theInteraction between Linguistic and Behavioral Processes”描述了RNNPB通过基于两个RNNPB的PB之差改变两个RNNPB的PB来学习，其中一个RNNPB学习语言模式而另一RNNPB学习行为模式，并且使所学习的两个RNNPB的PB之一影响另一PB以生成输出数据。

发明内容

如上所述，在现有模式学习模型的学习中，有可能获得具有可扩展性的模式学习模型或者具有泛化能力的模式学习模型；然而难以同时获得既具有可扩展性又具有泛化能力的模式学习模型。

希望能够同时获得既具有可扩展性又具有泛化能力的模式学习模型。

根据本发明的一个实施例，一种学习设备包括：多个学习模块，各学习模块使用输入数据来进行更新学习以对模式学习模型的多个模型参数进行更新，该模式学习模型对模式进行学习；模型参数共享装置，用于使多个学习模块之中的两个或者更多学习模块共享模型参数；模块创建装置，用于在提供用于学习模式的新学习数据作为输入数据时创建与新学习数据对应的新学习模块；相似度评估装置，用于在对包括新学习模块的所有学习模块进行更新学习之后评估学习模块之间的相似度；以及模块合成装置，用于基于学习模块之间的相似度来确定是否合成学习模块并且合成学习模块。

根据本发明的另一实施例，一种学习方法包括以下步骤：在多个学习模块中的各学习模块中使用输入数据来进行更新学习，以更新对模式进行学习的模式学习模型的多个模型参数；使多个学习模块之中的两个或者更多学习模块共享模型参数；在提供用于学习模式的新学习数据作为输入数据时创建与新学习数据对应的新学习模块；在对包括新学习模块的所有学习模块进行更新学习之后，评估学习模块之间的相似度；并且基于学习模块之间的相似度来确定是否合成学习模块并且合成学习模块。

根据本发明的又一实施例，一种用于使计算机作为以下模块和装置来工作的程序：多个学习模块，各学习模块使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数；模型参数共享装置，用于使多个学习模块之中的两个或者更多学习模块共享模型参数；模块创建装置，用于在提供用于对模式进行学习的新学习数据作为输入数据时创建与新学习数据对应的新学习模块；相似度评估装置，用于在对包括新学习模块的所有学习模块进行更新学习之后评估学习模块之间的相似度；以及模块合成装置，用于基于学习模块之间的相似度来确定是否合成学习模块并且合成学习模块。

在本发明的实施例中，在多个学习模块中的各学习模块中使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数，并且在多个学习模块之中的两个或者更多学习模块之间共享模型参数。此外，当提供用于学习模式的新学习数据作为输入数据时，创建与新学习数据对应的新学习模块，并且对包括新学习模块的所有学习模块进行更新学习。此后，评估学习模块之间的相似度，并且基于学习模块之间的相似度来确定是否合成学习模块，然后合成学习模块。

附图说明

图1是示出了学习设备的一个实施例的配置例子的框图，该学习设备是应用本发明实施例的基本学习设备；

图2是图示了图1中所示学习设备的学习过程的流程图；

图3是示出了当利用RNNPB作为模式学习模型时图1中所示学习设备的配置例子的框图；

图4是图示了当利用RNNPB作为模式学习模型时图1中所示学习设备的学习过程的流程图；

图5是示出了仿真结果的视图；

图6是示出了仿真结果的视图；

图7是示出了仿真结果的视图；

图8是示出了仿真结果的视图；

图9A至9E是示出了仿真中所用时间序列数据的视图；

图10是示意性示出了共享各RNNPB的模型参数的视图；

图11是示意性示出了“局部表示”方案、“分布表示”方案和“中间表示”方案之间关系的视图；

图12是示出了应用本发明实施例的学习设备的一个实施例的配置例子的框图；

图13是图示了图12中所示学习设备的附加学习过程的流程图；

图14是图示了图13的合成过程的流程图；

图15是图示了当利用RNN作为模式学习模型时图13的合成过程的流程图；

图16是概念上示出了添加新学习模块的过程的视图；

图17是概念上示出了合成学习模块的过程的视图；

图18是示出了根据本发明一个实施例的计算机的配置例子的框图。

具体实施方式

图1是学习设备的一个实施例的配置例子，其是应用本发明实施例的学习设备的基础。

如图1中所示，学习设备由多个(N个)学习模块10₁到10_N和模型参数共享单元20组成。

各学习模块10_i(i＝1、2、...、N)由模式输入单元11_i、模型学习单元12_i和模型存储单元13_i组成，并且使用输入数据来进行更新学习以更新模式学习模型的多个模型参数(学习资源)。

也就是说，向各模式输入单元11_i提供模式(类别)的输入数据，输入数据是由存储于模型存储单元13_i中的模式学习模型作为用于学习模式学习模型的学习数据而获取(学习)的。

模式输入单元11_i将向其提供的学习数据转换成格式适于学习模式学习模型的数据，然后将数据提供给模型学习单元12_i。也就是说，例如当学习数据是时间序列数据时，模式输入单元11_i例如按固定长度分离时间序列数据，然后将分离的时间序列数据提供给模型学习单元12_i。

模型学习单元12_i使用从模式输入单元11_i提供的学习数据来进行更新学习，以更新模型存储单元13_i中存储的模式学习模型的多个模型参数。

模型存储单元13_i具有多个模型参数并且存储对模式进行学习的模式学习模型。也就是说，模型存储单元13_i存储模式学习模型的多个模型参数。

这里，模式学习模型例如可以利用一种对时间序列模式或者动态性进行学习(获取)(存储)的模型等，该时间序列模式是时间序列模式，该动态性代表随时间改变的动态系统。

对时间序列模式进行学习的模型例如是HMM(隐马可夫模型)等，而对动态性进行学习的模型是神经网络，比如RNN、FNN(前馈神经网络)和RNNPB或者SVR(支持向量回归)等。

例如，对HMM而言，表明状态在HMM中进行转移的概率的状态转移概率、以及表明从HMM输出观测值的概率的输出概率或者表明在状态进行转移时的概率密度的输出概率密度函数是HMM的模型参数。

此外，例如对神经网络而言，分配给从其他单元至与神经元对应的单元(节点)的输入的权重是神经网络的模型参数。

注意：HMM存在多于一个的状态转移概率、输出概率或者输出概率密度函数，神经网络存在多于一个的权重。

模型参数共享单元20进行共享过程以使N个学习模块10₁到10_N中的两个或者更多学习模块共享模型参数。由于模型参数共享单元20进行共享过程，所以N个学习模块10₁到10_N中的两个或者更多学习模块共享模型参数。

注意下文为了易于描述，模型参数共享单元20进行共享过程以使所有N个学习模块10₁到10_N共享模型参数。

接着将参照图2中所示流程图描述图1中所示学习设备对模式学习模型进行学习的学习过程。

在步骤S11中，各学习模块10_i的模型学习单元12_i例如通过随机数等来初始化模型存储单元13_i中存储的模型参数，然后该过程继续到步骤S12。

在步骤S12中，学习模块10_i等待直至提供将由学习模块10_i学习的学习数据，然后使用学习数据来进行更新学习以更新模型参数。

也就是说，在步骤S12中，在学习模块10_i中，模式输入单元11_i在必要时处理向学习模块10_i提供的学习数据，然后将学习数据提供给模型学习单元12_i。

另外，在步骤S12中，模型学习单元12_i使用从模式输入单元11_i提供的学习数据来进行更新学习，以更新模型存储单元13_i中存储的模式学习模型的多个模型参数，然后利用通过更新学习所获得的多个新模型参数更新(重写)模型存储单元13_i中存储的内容。

在此，在所有N个学习模块10₁到10_N中进行步骤S11和S12中的过程。

在步骤S12之后，该过程继续到步骤S13，然后模型参数共享单元20进行共享过程以使所有N个学习模块10₁到10_N共享模型参数。

也就是说，当例如关注学习模块10_i的多个模型参数之中的第m个模型参数时，模型参数共享单元20基于N个学习模块10₁到10_N的相应的第m个模型参数来校正学习模块10₁的第m个模型参数。

另外，模型参数共享单元20基于N个学习模块10₁到10_N的相应的第m个模型参数来校正学习模块10₂的第m个模型参数，随后类似地校正学习模块10₃到10_N的相应的第m个模型参数。

如上所述，模型参数共享单元20基于N个学习模块10₁到10_N的相应的第m个模型参数来校正学习模块10_i的第m个模型参数。因此，N个学习模块10₁到10_N的各相应的第m个模型参数受N个学习模块10₁到10_N的所有相应的第m个模型参数影响(N个学习模块10₁到10_N的所有第m个模型参数影响N个学习模块10₁到10_N的各第m个模型参数)。

以此方式，多个学习模块的所有模型参数影响多个学习模块中的各模型参数(多个学习模块的各模型参数受多个学习模型的所有模型参数影响)。这是为了在多个学习模块之间共享模型参数。

在步骤S13中，模型参数共享单元20对存储于学习模块10_i的模型存储单元13_i中的所有多个模型参数执行共享过程，然后使用通过共享过程获得的模型参数来更新模型存储单元13₁到13_N中存储的内容。

在步骤S13之后，该过程继续到步骤S14，然后图1中所示学习设备确定是否满足学习终止条件。

这里，步骤S14中的学习终止条件例如可以是当学习次数、即重复步骤S12和S13的次数达到预定次数时、当使用所有预备的学习数据来进行步骤S12中的更新学习时、或者当在已经获得针对输入数据而要输出的输出数据的真值的情况下针对输入数据从模式学习模型输出的输出数据相对于该真值的误差小于或者等于预定值时。

在步骤S14中，当确定没有满足学习终止条件时，该过程返回到步骤S12，随后重复相同过程。

此外，在步骤S14中，当确定满足学习终止条件时，该过程结束。

注意：可以逆序地进行步骤S12和步骤S13的过程。也就是说，可适用的是，在进行共享过程以使所有N个学习模块10₁到10_N共享模型参数之后进行更新学习以更新模型参数。

接着图3示出了当利用RNNPB作为模式学习模型时图1中所示学习设备的配置例子。

注意：在图3中没有示出各学习模块10_i的模式输入单元11_i和模型学习单元12_i。

各模型存储单元13_i存储RNNPB(限定RNNPB的模型参数)。此后，在适当时将模型存储单元13_i中存储的RNNPB称为RNNPB#i。

各RNNPB由输入层、隐藏层(中间层)和输出层组成。输入层、隐藏层和输出层分别由与神经元对应的所选数目的单元组成。

在各RNNPB中，将输入数据x_t如时间序列数据输入(提供)到输入单元，这些输入单元是输入层的部分单元。这里，输入数据x_t例如可以是图像或者音频的特征量、与机器人的手部或者足部对应的部分的运动轨迹等。

此外，PB(参数偏离)输入到PB单元，这些PB单元是输入层的、与输入数据x_t向其输入的输入单元不同的部分单元。利用PB，即使当将相同输入数据x_t输入到相同状态的RNNPB时，仍然可以通过改变PB来获得不同输出数据x^＊ _t+1。

将从输出层的部分单元输出的输出数据反馈到背景单元作为表明内部状态的背景，这些背景单元是输入层的、与输入数据x_t向其输入的输入单元不同的剩余的单元。

这里，当在时间t的输入数据x_t被输入到输入层的输入单元时向输入层的PB单元和背景单元输入的在时间t的PB和背景分别由PB_t和c_t表示。

隐藏层的单元使用向输入层输入的针对输入数据x_t、PB_t和背景c_t的预定权重来进行加权加法、计算使用加权加法的结果作为自变量的非线性函数，然后将计算的结果输出到输出层的单元。

如上所述，在下一时间t+1的背景c_t+1的输出数据从输出层的部分单元被输出并且被反馈到输入层。此外，例如从输出层的剩余的单元输出输入数据x_t在下一时间t+1的输入数据x_t+1的预测值x^＊ _t+1，作为与输入数据x_t对应的输出数据。

这里，在各RNNPB中，对于至各单元的输入进行加权加法，并且用于加权加法的权重是RNNPB的模型参数。使用五类权重作为RNNPB的模型参数。权重包括：从输入单元到隐藏层的单元的权重、从PB单元到隐藏层的单元的权重、从背景单元到隐藏层的单元的权重、从隐藏层的单元到输出层的单元的权重和从隐藏层的单元到背景单元的权重。

当利用上述RNNPB作为模式学习模型时，模型参数共享单元20包括权重矩阵共享单元21，该权重矩阵共享单元使学习模块10₁到10_N共享用作各RNNPB的模型参数的权重。

这里，多个权重作为各RNNPB的模型参数而存在，并且包括多个权重作为元素的矩阵称为权重矩阵。

权重矩阵共享单元21使学习模块10₁到10_N共享所有权重矩阵，这些权重矩阵是RNNPB#1到RNNPB#N的多个模型参数并且分别存储于模型存储单元13₁到13_N中。

也就是说，如果RNNPB#i的权重矩阵由w_i表示，则权重矩阵共享单元21基于相应N个学习模块10₁到10_N的所有权重矩阵w₁到w_N来校正权重矩阵w_i，由此进行共享过程以使所有权重矩阵w₁到w_N影响权重矩阵w_i。

具体而言，权重矩阵共享单元21例如根据以下方程(1)来校正RNNPB#i的权重矩阵w_i：

w_i＝w_i+Δw_i               ...(1)

这里，在方程(1)中，Δw_i是用来校正权重矩阵w_i的校正分量并且例如根据方程(2)来获得：

$\mathrm{\Δ}{w}_i={\mathrm{\α}}_i\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{ij}}(w_j-w_i)...\left(2\right)$

在方程(2)中，β_ij表示如下系数，该系数表明RNNPB#j(j＝1、2、...、N)的各权重矩阵w_j影响RNNPB#i的权重矩阵w_i的程度。

因此，方程(2)中右侧求和∑β_ij(w_j-w_i)表示在使用系数β_ij作为权重的情况下RNNPB#1到RNNPB#N的相应权重矩阵w₁到w_N相对于权重矩阵w_i的误差(差量)的加权平均值，而α_i表示如下系数，该系数表明加权平均值∑β_ij(w_j-w_i)影响权重矩阵w_i的程度。

系数α_i和β_ij例如可以大于0.0且小于1.0。

根据方程(2)，随着α_i系数减少，共享变得更弱(权重矩阵w_i受到的加权平均值∑β_ij(w_j-w_i)的影响减少)，而随着α_i系数增加，共享变得更强。

注意：校正权重矩阵w_i的方法不限于方程(1)并且例如可以根据方程(3)来进行：

$w_i={{\mathrm{\α}}^{\′}}_i\·w_i+(1-{{\mathrm{\α}}^{\′}}_i)\·\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{{\mathrm{\β}}^{\′}}_{\mathrm{ij}}\·w_j...\left(3\right)$

这里在方程(3)中，β’_ij表示如下系数，该系数表明RNNPB#j(j＝1，2，...，N)的各权重矩阵w_j影响RNNPB#i的权重矩阵w_i的程度。

因此，方程(3)中右侧第二项求和∑β_ij’w_j表示在使用系数β’_ij作为权重的情况下，RNNPB#1到RNNPB#N的相应权重矩阵w₁到w_N的加权平均值，而α’_i表示如下系数，该系数表明加权平均值∑β_ij’w_j影响权重矩阵w_i的程度。

系数α’_i和β’_ij例如可以大于0.0且小于1.0。

根据方程(3)，随着α’_i系数增加，共享变得更弱(权重矩阵w_i受到的加权平均值∑β_ij’w_j的影响减少)，而随着α’_i系数减少，共享变得更强。

接着将参照图4的流程图来描述当利用RNNPB作为模式学习模型时图1中所示学习设备的学习过程。

在步骤S21中，各学习模块10_i的模型学习单元12_i例如通过随机数等来初始化具有在模型存储单元13_i中存储的RNNPB#i的模型参数的权重矩阵w_i，然后该过程继续到步骤S22。

在步骤S22中，学习模块10_i等待直至输入将由学习模块10_i学习的学习数据x_t，然后使用学习数据x_t来进行更新学习以更新模型参数。

也就是说，在步骤S22中，在学习模块10_i中，模式输入单元11_i在必要时处理向学习模块10_i提供的学习数据x_t，然后将学习数据x_t提供给模型学习单元12_i。

另外，在步骤S22中，模型学习单元12_i使用从模式输入单元11_i提供的学习数据x_t借助例如BPTT(时间反向传播)方法进行更新学习以更新模型存储单元13_i中存储的RNNPB#i的权重矩阵w_i，然后利用具有通过更新学习获得的新模型参数的权重矩阵w_i来更新模型存储单元13_i中存储的内容。

这里，在所有N个学习模块10₁到10_N中进行步骤S21和S22中的过程。

此外，例如在日本待审专利申请公开第2002-236904号等中描述了BPTT方法。

在步骤S22之后，该过程继续到步骤S23，然后模型参数共享单元20的权重矩阵共享单元21进行共享过程以使所有N个学习模块10₁到10_N共享所有权重矩阵w₁到w_N。

也就是说，在步骤S23中，权重矩阵共享单元21例如使用模型存储单元13₁到13_N中分别存储的权重矩阵w₁到w_N，以根据方程(2)来计算校正分量Δw₁到Δw_N，然后根据方程(1)使用校正分量Δw₁到Δw_N来校正模型存储单元13₁到13_N中分别存储的权重矩阵w₁到w_N。

在步骤S23之后，该过程继续到步骤S24，然后图1中所示学习设备确定是否满足学习终止条件。

这里，步骤S24中的学习终止条件例如可以是：当学习次数、也就是说重复步骤S22和S23的次数达到预定次数时，或者当针对输入数据x_t从RNNPB#i输出的输出数据x^＊ _t+1(也就是说输入数据x_t+1的预测值x^＊ _t+1)相对于输入数据x_t+1的误差小于或者等于预定值时。

在步骤S24中，当确定没有满足学习终止条件时，该过程返回到步骤S22，随后重复相同过程，也就是交替地重复权重矩阵w_i的更新学习和共享过程。

此外，在步骤S24中，当确定满足学习终止条件时，该过程结束。

注意：在图4中也可以逆序地进行步骤S22和步骤S23的过程。

如上所述，在可扩展性优良的多个学习模块10₁到10_N中的各学习模块中，在进行更新学习以更新多个学习模块10₁到10_N中的各学习模块的模型参数之时共享模型参数。因此，通过在仅仅一个学习模块中的学习获得的泛化能力可以被所有多个学习模块10₁到10_N获得。结果，有可能同时获得具有可扩展性和泛化能力的模式学习模型。

也就是说，可以获取(存储)大量模式，并且可以获取多个模式的共性。另外，通过获取多个模式的共性，有可能基于共性来识别或者生成未学习的模式。

具体而言，例如当将N类音素的音频数据作为学习数据提供给N个学习模块10₁到10_N中的各学习模块，并且进行模式学习模型的学习时，模式学习模型能够识别或者生成没有用于学习的时间序列模式的音频数据。另外，例如在将用于驱动机器人臂部的N类驱动数据作为学习数据提供给N个学习模块10₁到10_N中的各学习模块，并且进行模式学习模型的学习时，模式学习模型能够生成没有用于学习的时间序列模式驱动数据，结果机器人能够进行未传授的臂部动作。

此外，所学习的模式学习模型能够基于模式学习模型的模型参数(资源)之间的距离来评估模式学习模型之间的相似度，并且将模式聚集为各自包括相似度高的模式学习模型的聚类。

接着将参照图5至图9E描述由发明人实施的对图1中所示学习设备进行的学习过程(下文在适当时称为共享学习过程)的仿真结果。

图5示出了与在共享学习过程中进行学习的模式学习模型有关的多条数据。

注意：在仿真中利用其中两个PB输入到输入层而三个背景反馈到输入层的九个RNNPB#1到RNNPB#9作为模式学习模型，并且使用作为学习数据通过在三个模式P#1、P#2和P#3的时间序列数据上叠加三个不同噪声N#1、N#2和N#3而获得的九条时间序列数据。

此外，通过在模式P#1的时间序列数据上叠加噪声N#1获得的时间序列数据作为学习数据提供给RNNPB#1，通过在模式P#1的时间序列数据上叠加噪声N#2获得的时间序列数据作为学习数据提供给RNNPB#2，而通过在模式P#1的时间序列数据上叠加噪声N#3获得的时间序列数据作为学习数据提供给RNNPB#3。

类似地，通过在模式P#2的时间序列数据上叠加噪声N#1获得的时间序列数据作为学习数据提供给RNNPB#4，通过在模式P#2的时间序列数据上叠加噪声N#2获得的时间序列数据作为学习数据提供给RNNPB#5，而通过在模式P#2的时间序列数据上叠加噪声N#3获得的时间序列数据作为学习数据提供给RNNPB#6。此外，通过在模式P#3的时间序列数据上叠加噪声N#1获得的时间序列数据作为学习数据供给RNNPB#7，通过在模式P#3的时间序列数据上叠加噪声N#2获得的时间序列数据作为学习数据提供给RNNPB#8，而通过在模式P#3的时间序列数据上叠加噪声N#3获得的时间序列数据作为学习数据提供给RNNPB#9。

注意：进行更新学习以便减少输入数据x_t+1(该输入数据是针对输入数据x_t从各RNNPB输出的输出数据)的预测值x^＊ _t+1相对于输入数据x_t+1的误差(预测误差)。

图5中所示最上一行示出了当在学习时提供的学习数据作为输入数据提供给所学习的RNNPB#1到RNNPB#9时从RNNPB#1到RNNPB#9分别输出的输出数据和输出数据的预测误差。

在图5中的最上一行中，预测误差几乎为零，因而RNNPB#1到RNNPB#9输出输入数据，也就是说与在学习时提供的学习数据基本上一致的输出数据。

图5中从上数的第二行示出了当所学习的RNNPB#1到RNNPB#9输出图5中最上一行中所示输出数据时三个背景随时间的变化。

此外，图5中从上数的第三行示出当学习的RNNPB#1到RNNPB#9输出图5中所示最上一行中所示输出数据时两个PB2(下文在适当时将两个PB2分别称为PB#1和PB#2)随时间的变化。

图6示出了例如从所学习的RNNPB#1到RNNPB#9之中的第五RNNPB#5向各值的PB#1和PB#2输出的输出数据。

注意：在图6中横坐标轴代表PB#1，而纵坐标轴代表PB#2。

根据图6，RNNPB#5在PB#1约为0.6时输出与在学习时提供的学习数据基本上一致的输出数据。因此，发现RNNPB#5具有在学习时提供的学习数据的模式P#2。

此外，RNNPB#5在PB#1小于0.6时输出与RNNPB#1到RNNPB#3所学习的模式P#1和与RNNPB#7到RNNPB#9所学习的模式PB#3相似的时间序列数据。因此，发现RNNPB#5受到RNNPB#1到RNNPB#3所获取的模式P#1的影响或者RNNPB#7到RNNPB#9所获取的模式P#3的影响，并且也具有如下中间模式，当在学习时提供给RNNPB#5的学习数据的模式P#2朝着RNNPB#1到RNNPB#3所获取的模式P#1或者RNNPB#7到RNNPB#9所获取的模式P#3变形(deform)时出现该中间模式。

另外，RNNPB#5在PB#1大于0.6时输出未被九个RNNPB#1到RNNPB#9中的任一个学习的模式的时间序列数据。因此，发现RNNPB#5受到RNNPB#1到RNNPB#3所获取的模式P#1的影响或者RNNPB#7到RNNPB#9所获取的模式P#3的影响，并且也具有如下模式：当在学习时提供给RNNPB#5的学习数据的模式P#2朝着与RNNPB#1到RNNPB#3所获取的模式P#1相反的一侧或者与RNNPB#7到RNNPB#9所获取的模式P#3相反的一侧变形时出现该模式。

接着，图7示出了如下矩形映射，这些矩形映射表明相应九个RNNPB#1到RNNPB#9的权重矩阵之间的相关度距离，也就是例如如下向量之间的距离，这些向量具有构成向量空间中的各权重矩阵的权重。

注意：随着权重矩阵之间的距离减少，这两个权重矩阵之间的相关度变得更高。

在图7的映射中，横坐标轴和纵坐标轴均代表相应九个RNNPB#1到RNNPB#9的权重矩阵。横坐标轴中的权重矩阵与纵坐标轴中的权重矩阵之间的距离由浅色和深色表示。更深色(黑色)部分表明距离更小(更浅色(白色)部分表明距离更大)。

在图7中，在水平五个而竖直三个的映射之中，左上方映射表明当学习次数是0时权重矩阵之间的距离，也就是说初始化的权重矩阵之间的距离，并且在映射中，只有在相同RNNPB#i的布置于对角线中的权重矩阵之间的距离是小的。

此后，图7示出了当学习随着它向右和向下进展时的映射，并且右下方映射表明当学习次数是1400时权重矩阵之间的距离。

根据图7发现随着学习进展，已经学习相同模式P#1的时间序列数据的RNNPB#1到RNNPB#3的权重矩阵之间的距离、已经学习相同模式P#2的时间序列数据的RNNPB#4到RNNPB#6的权重矩阵之间的距离和已经学习相同模式P#3的时间序列数据的RNNPB#7到RNNPB#9的权重矩阵之间的距离变小。

图8示出了与图7的映射相似的映射，这些映射表明RNNPB的权重矩阵之间的相关度距离，RNNPB已经学习了与图5至图7的情况下的时间序列数据不同的时间序列数据。

注意：在用于创建图8的映射的仿真中，预备了通过在图9中所示五类模式P#1、P#2、P#3、P#4和P#5的各条时间序列数据上叠加四个不同噪声N#1、N#2、N#3和N#4而获得的二十条时间序列数据，并且使一个RNNPB学习这些时间序列数据。因此，用于创建图8的映射的仿真中所用的RNNPB是20个RNNPB#1到RNNPB#20。

此外在学习时，模式P#1的时间序列数据提供给RNNPB#1到RNNPB#4，模式P#2的时间序列数据提供给RNNPB#5到RNNPB#8，模式P#3的时间序列数据提供给RNNPB#9到RNNPB#12，模式P#4的时间序列数据提供给RNNPB#13到RNNPB#16，模式P#5的时间序列数据提供给RNNPB#17到RNNPB#20。

图8中左侧5×3个映射示出了当共享为弱、也就是说所有20个权重矩阵w₁到w₂₀影响20个RNNPB#1到RNNPB#20的各权重矩阵w₁到w₂₀的程度小时，具体而言当方程(2)的系数α_i为小时(当α_i基本上为0时)的映射。

此外，图8中右侧5×3个映射示出了当共享为强、也就是说所有20个权重矩阵w₁到w₂₀对20个RNNPB#1到RNNPB#20的各权重矩阵w₁到w₂₀的影响程度大时、具体而言当方程(1)的系数α_i并不小时的映射。

当共享为弱时以及当共享为强时，仅仅在相同RNNPB#i的布置于对角线中的权重矩阵之间的距离在学习次数为零时在左上方映射中为小。

然后发现：当共享为弱时(如图8中的左侧所示)，即使当学习进展时，权重矩阵之间的距离仍然没有出现特定趋势，而当共享为强时(如图8中的右侧所示)，权重矩阵之间的距离在已经学习相同模式的时间序列数据的RNNPB之中为小。

因此发现：通过共享过程，在多个学习模块上形成分布表示，并且多个RNNPB具有泛化能力。

注意：模型学习单元12_i对模型参数的更新学习方法和模型参数共享单元20的共享过程方法不限于上述方法。

此外，在本实施例中，在模型参数共享单元20的共享过程中，所有N个学习模块10₁到10_N共享作为模型参数的权重矩阵；例如可替代地，N个学习模块10₁到10_N中的仅仅一部分可以共享作为模型参数的权重矩阵。

另外在本实施例中，在模型参数共享单元20的共享过程中，学习模块10_i共享作为多个模型参数、构成各权重矩阵的多个权重；替代地在共享过程中可以共享并非构成各权重矩阵的所有多个权重而是构成各权重矩阵的多个权重之中的仅仅一部分权重。

此外，N个学习模块10₁到10_N中的仅仅一部分可以共享构成各权重矩阵的多个权重之中的仅仅一部分权重。

注意：在图1中所示学习设备中，模型参数共享单元20使多个学习模块10₁到10_N共享模型参数。也就是说，就相应学习模块10₁到10_N中RNNPB#1到RNNPB#N的权重矩阵w₁到w_n对各学习模块10_i中的权重矩阵w_i(该权重矩阵具有作为模式学习模型的RNNPB#i的模型参数)的影响而言，图1中所示学习设备1类似于在日本待审专利申请公开第2002-024795号中描述的技术，在该技术中在学习RNN时，基于两个RNN的背景的误差来改变两个RNN的背景，也就是说，两个RNN的背景影响各RNN的背景。

然而，在图1中所示学习设备中影响具有模型参数的权重矩阵，这不同于在日本待审专利申请公开第2002-024795号中描述的技术，在该技术中没有影响模型参数而是影响作为内部状态的背景。

也就是说，当例如取得由函数表达的模式学习模型时，模式学习模型的模型参数是通过学习获得的并且对表达模式学习模型的函数进行限定的常数(例如当取得输入u、输出y、内部状态x以及由y＝Cx+Du和x′＝Ax+Bu(x′表示x的导数)分别表达的模型系统状态方程)时，A、B、C和D对应于常数)，并且常数不同于原先并不是恒定的内部状态(在状态方程的例子中为内部状态x)。

类似地，就相应学习模块10₁到10_N中RNNPB#1到RNNPB#N的权重矩阵w₁到w_n影响各学习模块10_i中的权重矩阵w_i(该权重矩阵具有作为模式学习模型的RNNPB#i的模型参数)而言，图1中所示学习设备1类似于在Yuuya Sugita、Jun Tani在Adaptive Behavior第13卷第1期第33-52页(2005年)的“Learning Semantic Combinatoriality from theInteraction between Linguistic and Behavioral Processes”中描述的技术，该技术在学习RNNPB时基于两个RNNPB的相应PB之差来改变两个RNNPB的各相应PB，也就是说，两个RNNPB的相应的PB影响RNNPB的各相应的PB。

然而，具有模型参数的权重矩阵受到影响的图1中所示学习设备不同于在Yuuya Sugita、Jun Tani在Adaptive Behavior第13卷第1期第33-52页(2005年)的“Learning Semantic Combinatoriality from the Interactionbetween Linguistic and Behavioral Processes”中描述的技术，在该技术中没有影响模型参数而是影响作为内部状态(或者与内部状态对应)的PB。

也就是说，如上所述，模式学习模型的模型参数是通过学习获得的并且对表达模式学习模型的函数进行限定的常数并且不同于并非常数的内部状态。

模型参数是通过学习获得的并且对表达模式学习模型的函数进行限定的常数。因此在学习时更新(改变)模型参数以便变成与待学习的模式对应的值；然而，当生成输出数据时(当将输入数据输入到作为模式学习模型的RNNPB的输入层，而从RNNPB的输出层输出与输入数据对应的输出数据时)没有改变模型参数。

另一方面，在日本待审专利申请公开第2002-024795号中描述的技术所关注的背景和Yuuya Sugita、Jun Tani在Adaptive Behavior第13卷第1期第33-52页(2005年)的“Learning Semantic Combinatoriality from theInteraction between Linguistic and Behavioral Processes”中描述的技术所关注的PB是与模型参数不同的内部状态，因而它们当然可以在学习时以及在生成输出数据时改变。

如上所述，图1中所示学习设备不同于在日本待审专利申请公开第2002-024795号中描述的技术和Yuuya Sugita、Jun Tani在AdaptiveBehavior第13卷第1期第33-52页(2005年)的“Learning SemanticCombinatoriality from the Interaction between Linguistic and BehavioralProcesses”中描述的技术中的任何技术。结果，有可能同时获得具有可扩展性和泛化能力的模式学习模型。

也就是说，在图1中所示学习设备中，例如如图10中所示，共享模式学习模型(如RNNPB)的相应模型参数。

结果，根据图1中所示学习设备，如图11中所示，进行所谓“中间表示”方案的学习，该方案具有可扩展性优良但是缺乏泛化能力的“局部表示”方案和具有泛化能力但是缺乏可扩展性的“分布表示”方案的优点。因此有可能同时获得具有可扩展性和泛化能力的模式学习模型。

附带提及一点，当学习设备由N个学习模块10₁到10_N组成时，存在难以确定是否可能有必要添加新学习模块的问题。

也就是说，当提供新学习数据(学习样本)时，所提供的学习数据类似于由现有模式学习模型已经学习的时间序列模式。因此，难以确定对现有N个学习模块10₁到10_N中的任一学习模块进行更新学习是否足够或者是否添加新学习模块进行学习，因为新学习数据并不类似于由N个学习模块10₁到10_N已经学习的任何时间序列模式。

可扩展性优良的并且在必要时添加学习模块进行学习的模块学习例如利用如下方法，在该方法中新学习模块相对于现有学习模块的新异性由数值表达，并且当新学习模块的由数值表达的新异性超过预定阈值时，添加该新学习模块。

然而在上述方法中难以设置用于确定是否添加学习模块的参照。如果设置错误，则有如下问题：本来应当由各单独学习模块学习的学习数据由单个学习模块学习，或者反言之，应当由单个学习模块学习的学习数据由各单独学习模块学习。

然后下文通过借助于利用相似模型参数通过用于模型参数的上述共享过程来减少其间距离这一特性将描述如下实施例，在该实施例中无需确定是否添加学习模块、有可能通过添加学习模块来进行学习(附加学习)并且也有可能抑制不必要的学习模块的数目增加。

图12是示出了应用了本发明一个实施例的学习设备的一个实施例的配置例子的框图。

在图12中，相似参考数字表示与图1中所示学习设备的部件对应的部件，并且省略其描述。

也就是说，图12中所示学习设备101由配置与图1中所示学习设备相似的模式学习单元111和用于管理学习模块的学习模块管理单元112组成。

模式学习单元111使用数目由学习模块管理单元112控制的N个学习模块10₁到10_N进行更新学习，以学习(更新)各模式学习模型的多个模型参数(学习资源)。

学习模块管理单元112由模块创建单元121、相似度评估单元122和模块合成单元123组成，并且控制模式学习单元111的学习模块10₁到10_N的数目(N)。

模块创建单元121在新学习数据被提供给学习设备101的模式学习单元111时无条件地创建(添加)与模式学习单元111中的新学习数据对应的新学习模块。

相似度评估单元122评估模式学习单元111的学习模块之间的相似度。学习模块之间的相似度的评估例如可以使用学习模块的模型参数之间的欧几里德距离(下文称为参数距离)。

具体而言，可以使用方程(4)来计算学习模块10₁与学习模块10₂之间的参数距离D_参数(1，2)。注意：方程(4)中的k是用于标识学习模块10₁和10₂的模型参数的变量，并且例如p_1，k表示学习模块10₁的第k(k≤Q)个模型参数。

如果模式学习模型具有低冗余度使得用于时间序列模式的模式学习模型的模型参数被唯一地确定，则有可能容易地想象将参数距离用来评估模式学习模型的相似度。然而，例如在冗余度高的模式学习模型如神经网(RNN)中，它具有这样的特性，即，使得参数距离由于上述共享学习过程而在学习相似时间序列模式的学习模块之间减少，以允许参数距离用于评估模式学习模型的相似度。

模块合成单元123基于相似度评估单元122获得的学习模块之间相似度来确定是否合成学习模块。然后，当确定有可以合成的学习模块时，模块合成单元123合成这些学习模块。

接着，将参照图13的流程图描述附加学习过程，该附加学习过程是借助图12中所示学习设备101与学习模块的添加相伴随的学习。

当新学习数据提供给模式学习单元111时，在步骤S41中，模块创建单元121为模式学习单元111中的新学习数据创建新学习模块。此后，学习模块在添加新学习模块之后的数目是N。

在步骤S42中，模式学习单元111对包括在步骤S41中的过程中所添加的新学习模块在内的学习模块执行学习过程。学习过程类似于参照图2描述的学习过程，因而省略其描述。

在步骤S43中，学习模块管理单元112进行合成过程以基于学习模块之间的相似度来合成学习模块。随后将参照图14描述合成过程的细节。

在步骤S44中确定是否有新学习数据，也就是说在向模式学习单元111提供的学习数据中是否有未被执行学习过程的学习数据。当确定有新学习数据时，该过程返回到步骤S41并且重复步骤S41到S44中的过程。另一方面，当确定没有新学习数据时，附加学习过程结束。

接着，将参照图14的流程图描述图13的步骤S43中的合成过程的细节。

在合成过程中，首先在步骤S61中，相似度评估单元122评估学习模块之间的相似度。也就是说，相似度评估单元122针对N个学习模块10₁到10_N的所有组合来获得学习模块之间的参数距离。

在步骤S62中，模块合成单元123基于由相似度评估单元122获得的学习模块之间的相似度(学习模块之间的参数距离)来确定是否有待合成的学习模块。具体而言，模块合成单元123当在步骤S61中获得的参数距离小于预定阈值D_阈值时识别出具有该参数距离的两个学习模块是待合成的学习模块，然后确定有待合成的学习模块。

在步骤S62中，当确定有待合成的学习模块时，该过程继续到步骤S63，并且模块合成单元123合成被确定为待合成的学习模块。具体而言，模块合成单元123计算进行合成的两个学习模块的模型参数的平均值，并且将所计算的平均值设置为在合成之后将留存的学习模块的模型参数，然后从模式学习单元111丢弃另一学习模块。

注意：由于合成尚未充分学习的学习模块是不恰当的，所以可能有必要在检验被确定为待合成的学习模块已经充分地学习之后来合成学习模块。为了确定进行合成的两个学习模块是否已经充分地学习，只需检验被确定为待合成的两个学习模块的学习得分是否大于或者等于表明充分学习状态的预定阈值，或者在检验学习模块的学习得分大于或者等于预定阈值之后确定学习模块之间的相似度。

另一方面，在步骤S62中，当确定没有待合成的学习模块时，跳过步骤S63中的过程，并且合成过程结束(返回到图13的附加学习过程)。

接着，将描述其中利用RNN被用作为模式学习模型的情况。RNN与RNNPB不同在于，输入层没有PB单元，并且除此之外可以与RNNPB一样进行更新学习等。

当利用RNN作为模式学习模型时，示出了图12中所示学习设备101的配置例子的框图为：如图3中所示地配置图12中所示模式学习单元111。然而，图3中的各RNNPB#i由没有PB单元的RNN#i取代。

此外，当利用RNN作为模式学习模型时附加学习过程的流程图是：由于在图13的步骤S41中创建的学习模块是RNN，所以步骤S42中的学习过程将是其中RNNPB由RNN#i取代的图4的学习过程，而在步骤S43中的合成过程将是图15中所示过程。

然后，将参照图15的流程图描述当利用RNN作为模式学习模型时图13的步骤S43中的合成过程。

在步骤S81中，相似度评估单元122评估学习模块之间的相似度。在RNN中，权重对应于模型参数，因而相似度评估单元122利用权重矩阵之间的欧几里德距离(下文称为权重距离)来评估RNN之间的相似度。

例如，当RNN#1的权重矩阵w₁的权重分别是w_1，k，l(1≤k≤Q，1≤l≤R)而RNN#2的权重矩阵w₂的权重分别是w_2，k，l时，RNN#1与RNN#2之间的权重距离D_权重(1，2)可以由方程(5)表达。

相似度评估单元122针对N个学习模块10₁到10_N(RNN#1到RNN#N)的所有组合来获得RNN之间的权重距离。

在步骤82中，模块合成单元123基于相似度评估单元122获得的RNN之间的相似度来确定是否有待合成的学习模块。也就是说，模块合成单元123当在步骤S81中获得的权重距离小于预定阈值D_阈值时识别具有该权重距离的两个学习模块是待合成的学习模块，然后确定有待合成的学习模块。

在步骤S82中，当确定有待合成的学习模块时，该过程继续到步骤S83，并且模块合成单元123合成被确定为待合成的学习模块(RNN)。具体而言，模块合成单元123计算合成的两个RNN的权重矩阵的平均值，并且将所计算的平均值设置为在合成之后将留存的RNN的权重矩阵，然后从模式学习单元111丢弃另一RNN。

同样地，当模式学习模型是RNN时，可能有必要检验合成的两个RNN是否已经充分地学习。在RNN中，例如通过确定学习误差是否小于预定阈值来检验RN已经充分地学习，然后合成两个合成的RNN。

另一方面，在步骤S82中，当确定没有待合成的学习模块时，跳过步骤S83中的过程，并且合成过程结束(返回到图13的附加学习过程)。

图16和图17是概念上示出了由学习设备101进行的附加学习过程的视图。

图16是概念上示出了如下过程的视图，在该过程中为一个附加学习过程提供一条新学习数据，并且每当进行图13的附加学习过程时模块创建单元121添加一个新学习模块。

当新学习数据DAT₁被提供给模式学习单元111时，执行第一附加学习过程，并且学习模块创建单元121为学习数据DAT₁创建新学习模块10₁。

接着，当新学习数据DAT₂被提供给模式学习单元111时，执行第二附加学习过程，并且学习模块创建单元121为学习数据DAT₂创建新学习模块10₂。另外，当新学习数据DAT₃被提供给模式学习单元111时，执行第三附加学习过程，并且学习模块创建单元121为学习数据DAT₃创建新学习模块10₃。接着类似地，当新学习数据DAT₅被提供给模式学习单元111时，执行第五附加学习过程，并且学习模块创建单元121为学习数据DAT₅创建新学习模块10₅。

在第一到第五附加学习过程中的各附加学习过程中，如参照图13所述得，对包括所添加的学习模块在内的学习模块执行学习过程(步骤S42中的过程)，随后执行合成过程(步骤S43中的过程)。

然后假设在第一到第四附加学习过程中的各附加学习过程中确定没有待合成的学习模块，然后在第五附加学习过程中确定有可能将学习模块10₁与学习模块10₅合成。

图17是概念上示出了当学习模块10₁与学习模块10₅合成时的过程的视图。

假设在第五附加学习过程中，当在完成学习过程之后模块合成单元123基于相似度评估单元122获得的学习模块之间的相似度来确定是否有待合成的学习模块时，确定结果表明有可能将学习模块10₁与学习模块10₅合成。也就是说，该结果表明学习模块10₁与学习模块10₅之间的参数距离D_参数(1，5)小于阈值D_阈值。

在此情况下，模块合成单元123计算学习模块10₁的模型参数P₁和学习模块10₅的模型参数P₅的平均值，并且将这些平均值设置为被合成的学习模块10₁的模型参数P₁，然后从模式学习单元111丢弃学习模块10₅。

注意：图17示出了其中将学习模块10₁和学习模块10₅合成为一个学习模块10₁的例子；然而合成的学习模块的数目不限于两个。例如，当确定三个学习模块相对于彼此具有小于阈值D_阈值的参数距离时，这三个学习模块可以合成为一个学习模块。在此情况下，合成的学习模块的模型参数可以使用进行合成的三个学习模块的模型参数的平均值。

图17中所示学习模块10_i的模型参数P_i代表方程(4)中的所有p_i，i到p_i，Q。模型参数P₁与模型参数P₅之间的平均值意味着p_1，1与p_5，1之间的平均值、p_1，2与p_5，2之间的平均值、p_1，3与p_5，3之间的平均值、p_1，4与p_5，4之间的平均值，...，以及p_1，Q与p_5，Q之间的平均值在合成之后分别设置为p_1，1，p_1，2，p_1，3，p_1，4，...和p_1，Q。注意：可以将除了平均值之外的计算结果设置为在合成之后留存的学习模块的模型参数。也就是说，有可能通过除了求取多个进行合成的学习模块的模型参数的平均值之外的计算来获得在合成之后留存的学习模块的模型参数。

如上所述，根据图12中所示学习设备101，有可能同时获得既具有可扩展性又具有泛化能力的模式学习模型，并且当提供新学习数据(学习样本)时，模块创建单元121针对新学习数据无条件地创建(添加)新学习模块，因而无需确定是否添加学习模块。此外，在学习(更新学习)过程之后合成相似度高的学习模块，因而有可能抑制学习模块数目的不必要的增加。

注意：当响应于向学习设备101提供的新学习数据来创建学习模块时，所创建学习模块的模型参数的初始值可以是通过随机数等确定的值或者可以是现有的所有学习模块的模型参数的平均值。例如，与如在通过随机数等分配初始值的情况下分配初始值而不考虑现有学习模块的模型参数相比，当分配现有的所有学习模块的模型参数的平均值作为附加学习模块的模型参数的初始值时，附加学习模块已经具有由现有学习模块所保持的模式的共性。因此，有可能快速地进行学习。

上述系列过程可以由硬件实施或者可以由软件实施。当该系列过程由软件执行时，将构成软件的程序安装到通用计算机等中。

然后，图18示出了其中安装有执行上述系列过程的程序的计算机的一个实施例的配置例子。

程序可以预先记录在计算机中提供的作为记录介质来工作的硬盘205或者ROM 203中。

可替选地，程序可以暂时地或者持久地存储(记录)在可移动的记录介质211中，比如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘和半导体存储器。可以提供上述可移动的记录介质211作为所谓的包装软件。

注意：程序不仅可以从上述可移动的记录介质211安装到计算机上，而且可以通过用于数字卫星广播的卫星从下载站点借助无线通信传送到计算机上或者通过网络如LAN(局域网)和因特网借助有线通信传送到计算机上，并且计算机可以接收由通信单元208以该方式传送的程序以将程序安装到内部硬盘205上。

计算机包括CPU(中央处理单元)202。输入/输出接口212经由总线201连接到CPU 202。当通过由用户借助于输入/输出接口210操作的由键盘、鼠标、麦克风等组成的输入单元207来输入命令时，CPU 202根据用户的操作来执行ROM(只读存储器)203中存储的程序。可替选地，CPU202将硬盘205中存储的程序(从卫星或者网络传送的由通信单元208接收的并且然后安装到硬盘205上的程序，或者从安装在驱动器209上的可移动记录介质211读取的并且然后安装到硬盘205上的程序)加载到RAM(随机存取存储器)204上，然后执行该程序。因此，CPU 202进行根据上述流程图的过程或者进行由上述框图中所示配置进行的过程。然后，CPU 202在必要时通过输入/输出接口210从由例如LCD(液晶显示器)、扬声器等组成的输出单元206输出处理结果，或者从通信单元208发送处理结果，然后在硬盘205中记录该处理结果。

这里，在说明书中对用于使计算机执行各种处理的程序进行描述的过程步骤没有必要以按照如流程图所描述的顺序的时间序列来处理，而是也包括并行或者单独执行的过程(例如并行过程或者使用对象的过程)。

此外，程序可以由单个计算机处理或者可以进行由多个计算机执行的分布式处理。另外，程序可以传送到远程计算机，然后加以执行。

此外，本发明的实施例不限于上述实施例，并且可以修改成各种形式而不脱离本发明的范围。

也就是说，本发明的实施例并非专用于某一具体空间模式以及时间序列序列和模式的方法。因此，本发明的实施例可以应用于基于对如下内容的学习和学习结果来对模式进行预测或分类：通过计算机用户接口的用户输入、机器人的传感器输入和电机输出的模式、与音乐数据有关的模式、与图像数据有关的模式以及在语言处理中的音素、词语、句子等的模式。

本申请包含于2008年7月9日向日本专利局提交的日本在先专利申请JP 2008-178806中公开的主题内容有关的主题内容，其全部内容通过引用将结合于此。

本领域技术人员应当理解的是，根据设计要求和其它因素可以出现各种修改、组合、二次组合和变更，只要它们在所附权利要求或者其等同物的范围内。

Claims (11)

1.一种学习设备，包括：

多个学习模块，所述多个学习模块中的各学习模块使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数；

模型参数共享装置，用于使所述多个学习模块之中的两个或者更多学习模块共享模型参数；

模块创建装置，用于在提供用于学习模式的新学习数据作为输入数据时创建与所述新学习数据对应的新学习模块；

相似度评估装置，用于在对包括所述新学习模块的所有学习模块进行更新学习之后，评估学习模块之间的相似度；以及

模块合成装置，用于基于学习模块之间的相似度来确定是否合成学习模块，并且合成学习模块。

2.根据权利要求1所述的学习设备，其中模块创建装置分配所有现有学习模块的模型参数的平均值作为新学习模块的多个模型参数的初始值。

3.根据权利要求1所述的学习设备，其中模块合成装置将多个进行合成的学习模块的模型参数的平均值设置为合成后的学习模块的模型参数。

4.根据权利要求1所述的学习设备，其中模式学习模型是对时间序列模式或者动态性进行学习的模型。

5.根据权利要求1所述的学习设备，其中模式学习模型是隐马可夫模型HMM、递归神经网络RNN、前馈神经网络FNN、支持向量回归SVR或者具有参数偏离的递归神经网络RNNPB。

6.根据权利要求1所述的学习设备，其中模型参数共享装置使所述多个学习模块中的全部或者部分学习模块共享模型参数。

7.根据权利要求1所述的学习设备，其中模型参数共享装置使所述多个学习模块之中的两个或者更多学习模块共享多个模型参数中的全部或者部分模型参数。

8.根据权利要求1所述的学习设备，其中模型参数共享装置使用由所述两个或者更多学习模块分别更新的模型参数的加权平均值来校正由所述两个或者更多学习模块中的各学习模块更新的模型参数，由此使所述两个或者更多学习模块共享由所述两个或者更多学习模块分别更新的所述模型参数。

9.一种学习方法，包括以下步骤：

在多个学习模块中的各学习模块中使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数；

使所述多个学习模块之中的两个或者更多学习模块共享模型参数；

在提供用于学习模式的新学习数据作为输入数据时创建与所述新学习数据对应的新学习模块；

在对包括所述新学习模块的所有学习模块进行更新学习之后评估学习模块之间的相似度；并且

基于学习模块之间的相似度来确定是否合成学习模块，并且合成学习模块。

10.一种用于使计算机作为以下模块和装置来工作的程序：

多个学习模块，所述多个学习模块中的各学习模块使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数；

模型参数共享装置，用于使所述多个学习模块之中的两个或者更多学习模块共享所述模型参数；

模块创建装置，用于在提供用于学习模式的新学习数据作为输入数据时创建与所述新学习数据对应的新学习模块；

相似度评估装置，用于在对包括所述新学习模块的所有学习模块进行更新学习之后评估学习模块之间的相似度；以及

模块合成装置，用于基于学习模块之间的相似度来确定是否合成学习模块，并且合成学习模块。

11.一种学习设备，包括：

多个学习模块，所述多个学习模块中的各学习模块使用输入数据来进行更新学习以更新对模式进行学习的模式学习模型的多个模型参数；

模型参数共享单元，用于使所述多个学习模块之中的两个或者更多学习模块共享所述模型参数；

模块创建单元，用于在提供用于学习模式的新学习数据作为输入数据时，创建与所述新学习数据对应的新学习模块；

相似度评估单元，用于在对包括所述新学习模块的所有学习模块进行更新学习之后评估学习模块之间的相似度；以及

模块合成单元，用于基于学习模块之间的相似度来确定是否合成学习模块，并且合成学习模块。

Images