CN102393921A - 信息处理设备、信息处理方法以及程序 - Google Patents

Abstract

本发明提供了一种信息处理设备、信息处理方法以及程序，其中该信息处理方法包括：输入特征量向量和与该特征量向量相对应的目的变量；生成用于通过对特征量向量进行映射来输出标量的基函数；使用基函数来对特征量向量进行映射并计算与该特征量向量相对应的标量；使用目的变量连同标量以及与该标量相对应的特征量向量，评估用来计算标量的基函数对于估计目的变量是否有用；使用被评估为有用的基函数、基于标量和与该标量相对应的目的变量，通过机器学习来生成用于从标量估计目的变量的估计函数；以及输出估计函数。

Description

信息处理设备、信息处理方法以及程序

技术领域

本公开涉及一种信息处理设备、信息处理方法以及程序。

背景技术

在现有技术中，诸如线性回归/判别、SVM/SVR、以及RVM的算法被称为用于执行回归或判别的学习算法。SVM代表“支持向量机”，SVR代表“支持向量回归”，以及RVM代表“相关向量机”。日本专利申请早期公开第2007-122186号公开了一种如下的方法：该方法使用诸如线性回归、非线性回归、或SVM的学习算法，自动生成用于从内容数据检测特征量的特征量检测算法。

发明内容

上述学习算法接收特征量向量x＝{x₁，…，x_m}，并通过机器学习生成估计函数f(x)＝∑w_mφ_m(x)+w₀，其中，用于输出标量的基函数φ_m(x)(m＝1到M)被线性地组合。具体地，当给定特征量向量x_j(j＝1到N)和目的变量t_j时，获得估计函数f(x)，其用于从特征量向量x估计目的变量t的估计值y。

在线形回归/判别的情况下，使用模型φ_m(x)＝x_m。因此，如果在所给定的特征量向量x_j和目的变量t_j之间存在非线性，则难以基于该模型通过估计函数f准确地拟合一组特征量向量x_j和目的变量t_j。即，降低了估计函数f的估计准确性。另一方面，在SVM/SVR和RVM的情况下，使用具有φ_m(x)作为非线性核函数的模型。因此，即使在所给定的特征量向量x_j和目的变量t_j之间存在非线性时，也可以基于该模型通过估计函数f准确地拟合该组特征量向量x_j和目的变量t_j。结果，获得能够从特征量向量x准确地估计估计值y的估计函数f。

然而，计算通过SVM/SVR或RVM获得的估计函数f(x)所需的计算量大于计算通过线性回归/判别获得的估计函数f(x)所需的计算量。另一方面，如果在特征量向量x_j和目的变量t_j之间存在非线性，则通过线性回归/判别获得的估计函数f的估计准确性小于通过SVM/SVR或RVM获得的估计函数f的估计准确性。

期望提供一种新颖且改进的信息处理设备、信息处理方法以及程序，其可以生成在保持估计准确性的同时进一步降低计算量的估计函数。

根据本公开的实施例，提供了一种信息处理设备，包括：输入单元，其用于输入特征量向量和与该特征量向量相对应的目的变量；基函数生成单元，其用于生成通过对特征量向量进行映射来输出标量的基函数；标量计算单元，其用于使用由基函数生成单元生成的基函数对特征量向量进行映射，并计算与该特征量向量相对应的标量；基函数评估单元，其用于使用由输入单元输入的目的变量连同由标量计算单元算出的标量以及与该标量相对应的特征量向量，评估用来计算标量的基函数对于估计目的变量是否有用；估计函数生成单元，其用于使用由基函数评估单元评估为有用的基函数、基于由标量计算单元算出的标量以及与该标量相对应的目的变量，通过机器学习生成用于从标量估计目的变量的估计函数；以及输出单元，其用于输出由估计函数生成单元生成的估计函数。

基函数生成单元可生成用于通过仅对特征量向量的部分进行映射来输出标量的基函数。

该信息处理设备还可包括世代更替单元，其用于基于基函数评估单元的评估结果，通过执行选择有用基函数、使用有用基函数通过突变和交叉生成新基函数、以及随机生成新基函数，生成下一代基函数。通过估计函数生成单元生成估计函数的处理、通过世代更替单元生成下一代基函数的处理、通过标量计算单元计算标量的处理、以及通过基函数评估单元评估基函数的处理可被迭代执行。

基函数评估单元可在根据信息量准则从由标量计算单元算出的标量中选择标量的同时，执行用于估计与标量相对应的目的变量的回归或判别学习，并可评估用来计算根据信息量准则所选择的标量的基函数是有用的。

估计函数生成单元可将由基函数评估单元评估为有用的基函数依次添加到估计函数。

根据本公开的另一实施例，提供了一种信息处理方法，包括：输入特征量向量和与该特征量向量相对应的目的变量；生成用于通过对特征量向量进行映射来输出标量的基函数；使用基函数对特征量向量进行映射，并计算与特征量向量相对应的标量；使用目的变量连同标量以及与该标量相对应的特征量向量，评估用来计算标量的基函数对于估计目的变量是否有用；使用被评估为有用的基函数、基于标量和与该标量相对应的目的变量，通过机器学习生成用于从标量估计目的变量的估计函数；以及输出估计函数。

根据本公开的另一实施例，提供了一种用于使得计算机执行以下功能的程序：输入功能，其输入特征量向量和与该特征量向量相对应的目的变量；基函数生成功能，其生成通过对特征量向量进行映射来输出标量的基函数；标量计算功能，其使用由基函数生成功能生成的基函数对特征量向量进行映射，并计算与该特征量向量相对应的标量；基函数评估功能，其使用由输入功能输入的目的变量连同由标量计算功能算出的标量以及与该标量相对应的特征量向量，评估用来计算标量的基函数对于估计目的变量是否有用；估计函数生成功能，其使用由基函数评估功能评估为有用的基函数、基于由标量计算功能算出的标量和与该标量相对应的目的变量，通过机器学习生成用于从标量估计目的变量的估计函数；以及输出功能，其输出由估计函数生成功能生成的估计函数。

根据本公开的另一个实施例，提供了一种记录程序的计算机可读记录介质。

根据上述本公开的实施例，可以生成在保持估计准确性的同时进一步降低计算量的估计函数。

附图说明

图1是示出根据本公开的第一实施例的信息处理设备(学习设备)的功能配置的说明图；

图2是示出根据同一实施例的学习数据的配置示例的说明图；

图3是示出根据同一实施例的基函数的计算示例的说明图；

图4是示出通过根据同一实施例的学习算法获得的估计函数的说明图；

图5是示出通过根据同一实施例的学习算法获得的估计函数的说明图；

图6是示出根据同一实施例的学习算法中的处理流程(全部)的说明图；

图7是示出根据同一实施例的学习算法中的处理流程(基函数的生成)的说明图；

图8是示出根据同一实施例的学习算法中的处理流程(基函数的随机生成)的说明图；

图9是示出根据同一实施例的学习算法中的处理流程(基函数的随机生成)的说明图；

图10是示出根据同一实施例的学习算法中的处理流程(基函数的进化生成)的说明图；

图11是示出根据同一实施例的学习算法中的处理流程(交叉)的说明图；

图12是示出根据同一实施例的学习算法中的处理流程(突变)的说明图；

图13是示出根据同一实施例的学习算法中的处理流程(基函数的计算)的说明图；

图14是示出根据同一实施例的学习算法中的处理流程(基函数评估/估计函数生成)的说明图；

图15是示出根据本公开的第二实施例的信息处理设备(学习设备)的功能配置的说明图；

图16是示出根据同一实施例的学习算法中的处理流程(全部)的说明图；

图17是示出根据同一实施例的学习算法中的处理流程(基函数的评估)的说明图；

图18是示出根据同一实施例的学习算法中的处理流程(估计函数的生成)的说明图；以及

图19是示出能够实现根据本公开的各个实施例的信息处理设备(学习设备)的功能的硬件配置的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明和附图中，具有基本相同的功能和结构的结构元件以相同的附图标记表示，并且省略对这些结构元件的重复说明。

[描述流程]

这里，将简要描述与以下所公开的本公开的实施例有关的描述流程。

首先，将介绍线性回归/判别、SVM/SVR以及RVM，并且将简要描述现有技术的这些技术的问题。然后，将参照图1描述根据本公开的第一实施例的信息处理设备100(学习设备)的功能配置。这里，将参照图2至图5描述在执行根据同一实施例的学习算法时使用的学习数据的配置、以及通过学习算法获得的基函数和估计函数的配置。然后，将参照图6至14描述与同一实施例的学习算法有关的处理流程。

接下来，将参照图15描述根据本公开的第二实施例的信息处理设备100(学习设备)的功能配置。然后，将参照图16至18描述与同一实施例的学习算法有关的处理流程。接下来，将参照图19描述能够实现根据本公开的第一和第二实施例的信息处理设备100的功能的硬件配置。最后，将总结同一实施例的技术思想，并且将简要描述从该技术思想获得的作用效果。

(描述项)

1.开始

1-1：线性回归/判别

1-2：SVM/SVR和RVM

2.第一实施例

2-1：信息处理设备100(学习设备)的功能配置

2-2：学习处理的流程

2-2-1：整体配置

2-2-2：基函数的生成(S102)

2-2-3：基函数的计算(S103)

2-2-4：基函数评估/估计函数生成(S104)

3.第二实施例

3-1：信息处理设备100(学习设备)的功能配置

3-2：学习处理的流程

3-2-1：整体配置

3-2-2：基函数的评估(S206)

3-2-3：估计函数的生成(S207)

4.硬件配置

5.总结

<1：开始>

在描述本公开的实施例之前，将简要描述线性回归/判别、SVM/SVR、以及RVM，并且将描述现有技术的技术问题。这些学习算法是接收特征量向量x并通过机器学习来生成估计函数f(x)＝∑w_mφ_m(x)+w₀(其中，用于输出标量的基函数φ_m(x)(m＝1到M)被线性地组合)的算法。具体地，当给定特征量向量x_j(j＝1到N)和目的变量t_j作为学习数据时，通过机器学习获得用于从特征量向量x估计目的变量t的估计值y的估计函数f(x)。

[1-1：线性回归/判别]

线性回归/判别是用于通过机器学习来生成由以下等式(1)表示的估计函数f(x)的学习算法。在这方面，权重向量w是向量w＝(w₁，…，w_M)，其具有与特征量向量x相同的维数。即，线性回归/判别对应于基函数φ_m是φ_m(x)＝x_m的情况(在下文中称为线性模型)。

f(x)＝w^Tx+w₀  …(1)

计算估计函数f(x)所需的计算量仅是计算w^Tx时要执行的M次乘积和运算以及与w₀的相加。因此，计算估计函数f(x)所需的计算负荷较低。然而，如果特征量向量x_j和目的变量t_j之间存在非线性，则难以使用线性模型来获得能够准确地拟合一组特征量向量x_j和目的变量t_j的估计函数f(x)。

[1-2：SVM/SVR和RVM]

另一方面，SVM/SVR和RVM使用如下模型(在下文中称为非线性模型)：非线性核函数k(x，x^(m))被应用于基函数φ_m。即，SVM/SVR和RVM是用于通过机器学习来生成由以下等式(2)表示的估计函数f(x)的学习算法。例如，由以下等式(3)表示的高斯核可以用作非线性核函数k(x，x^(m))。在这方面，向量x^(m)是具有与特征量向量x相同维数的参数。

$f\left(x\right)=\underset{m}{\mathrm{\&Sigma;}}{w}_{m}k(x,x^{\left(m\right)})+w_0...\left(2\right)$

$k(x,x^{\left(m\right)})=\exp \left(\frac{-{|x-x^{\left(m\right)}|}^2}{2{\mathrm{\&sigma;}}^2}\right)...\left(3\right)$

如果通过SVM获得的权重向量w的元素的数量很大，则它们中的大部分收敛到0。例如，权重向量w中没有收敛到0的剩余元素的维数被设置为M’(M’＜M)。在这种情况下，计算上述估计函数f(x)所需的计算量是与核函数有关的M’次计算、M’次乘积和运算以及与w₀的相加。因此，如果特征量向量x的维数被设置为d，则计算所需的乘积和运算的数量变为约d×M’。这里，描述了SVM，但在RVM的情况下，也需要相同程度(d×M’次乘积和运算)的计算量。在这方面，RVM情况下权重向量w的没有收敛到0的剩余元素数量M’小于SVM情况下的数量。因此，通过RVM获得的估计函数f(x)的计算量小于通过SVM获得的估计函数f(x)的计算量。

如上所述，SVM/SVR和RVM使用非线性核函数k作为基函数φ_m。因此，即使在特征量向量x_j和目的变量t_j之间存在非线性时，也可以获得能够准确地拟合一组特征量向量x_j和目的变量t_j的估计函数f(x)。然而，通过SVM/SVR或RVM获得的估计函数f(x)的计算量大于通过线性回归/判别获得的估计函数f(x)的计算量。

已经设计出选择性地仅使用特征量向量x的部分的技术。例如，通过该技术，仅使用d维特征量向量x中的d’(d’＜d)维元素来生成估计函数f(x)。如果应用该技术，则估计函数f(x)的计算量可以约为d’/d。然而，在诸如SVM/SVR或者RVM的非线性模型中，难以从特征量向量x中选择适当的元素。为此，需要新的学习算法，其中，拟合准确性与SVM/SVR和RVM一样高，并且估计函数f(x)的计算量较小。

<2.第一实施例>

在下文中，将描述本公开的第一实施例。该实施例涉及如下学习算法：该学习算法用于在给定M个特征量向量x^(m)(m＝1到M)和与各个特征量向量x^(m)相对应的目的变量t^(m)的情况下，生成用于从特征量向量x估计目的变量t的估计值y的估计函数f(x)。特别地，该实施例涉及如下学习算法：该学习算法用于准确地拟合一组特征量向量x^(m)和目的变量t^(m)，并且生成具有较小计算负荷的稀疏估计函数f(x)。

[2-1：信息处理设备100(学习设备)的功能配置]

首先，将参照图1描述能够实现根据该实施例的学习算法的信息处理设备100(学习设备)的功能配置。图1是示出能够实现根据该实施例的学习算法的信息处理设备100(学习设备)的功能配置的说明图。

如图1所示，信息处理设备100主要由数据输入单元101、基函数生成单元102、存储单元103、基函数计算单元104、估计函数生成单元105以及函数输出单元106构成。估计函数生成单元105包括机器学习单元1051和基函数评估单元1052。

首先，特征量向量x⁽ⁿ⁾(n＝1到N)和与各个特征量向量x⁽ⁿ⁾相对应的目的变量t⁽ⁿ⁾作为学习数据被输入到数据输入单元101。例如，如图2所示，N个特征量向量x⁽¹⁾到x^(N)和目的变量t⁽¹⁾到t^(N)作为学习数据Data 1到DataN被输入到数据输入单元101。在每个特征量向量x⁽ⁿ⁾中，维数是D。输入到数据输入单元101的特征量向量被输入到基函数生成单元102和基函数计算单元104。另一方面，输入到数据输入单元101的目的变量t被输入到估计函数生成单元105中所包括的机器学习单元1051。

如果输入了特征量向量，则基函数生成单元102从已经准备在存储单元103中的基函数的原型当中随机地选择预定数量的原型。作为基函数的原型，例如，可以使用以下等式(4)中示出的线性项、以下等式(5)中示出的高斯核、以下等式(6)中示出的sigmoid核、以及以下等式(7)和(8)中示出的三角函数。在这方面，x’是通过从向量x中提取n维元素获得的向量。x_a是向量x的第a维的元素。a、b、z’、σ以及x’的维数m是原型参数。

$\mathrm{\&phi;}\left(x\right)=x_a^b...\left(4\right)$

$\mathrm{\&phi;}\left(x\right)=\exp \left(\frac{-{|x^{\&prime;}-z^{\&prime;}|}^2}{2{\mathrm{\&sigma;}}^2}\right)...\left(5\right)$

φ(x)＝tanh(ax′^T z′+b)  …(6)

φ(x)＝sin(bx_a)  …(7)

φ(x)＝cos(bx_a)  …(8)

选择原型的基函数生成单元102通过随机地确定所选择的原型的参数来生成基函数。例如，如果选择了线性项，则基函数生成单元102通过随机地确定参数a和b(a＝1到D且b＝1到约3)来生成基函数φ(x)(例如，当a＝1且b＝2时φ(x)＝x₁ ²)。

如果选择了高斯核，则基函数生成单元102首先随机地确定其中通过参数σ和基函数φ(x)进行映射的向量x的维数E(E＝1到D)(例如，σ＝0.1且E＝2)。接下来，基函数生成单元102随机地确定要在向量x中使用的维度的索引d(d＝1到D)(例如，d＝{3，4})。接下来，基函数生成单元102随机地确定要在向量z’中使用的数据的索引i(i＝1到N)(例如，i＝5)。接下来，基函数生成单元102确定向量z’的各个元素z’_k＝x_dk ⁽ⁱ⁾(k＝1到E)(例如，z’＝{x₃ ⁽⁵⁾，x₄ ⁽⁵⁾})。

这里，已描述了选择了线性项的情况和选择了高斯核的情况，但在选择了其他原型时也生成基函数φ(x)。如上所述，基函数生成单元102通过迭代地执行原型选择和参数确定，生成预定数量的基函数。例如，基函数生成单元102生成M个基函数φ₁(x)，…，φ_M(x)。由基函数生成单元102生成的M个基函数φ₁(x)，…，φ_M(x)被输入到基函数计算单元104。

如果输入了M个基函数φ₁(x)，…，φ_M(x)，则基函数计算单元104使用M个基函数φ₁(x)，…，φ_M(x)来对作为学习数据被输入的特征量向量x⁽¹⁾到x^(N)进行映射。例如，分别与作为学习数据被输入的Data 1到Data N相对应的特征量向量x⁽¹⁾到x^(N)通过M个基函数φ₁(x)，…，φ_M(x)被映射，并且获得如图3所示的计算结果。即，由基函数计算单元104来计算计算值φ₁(x⁽¹⁾)，…，φ_M(x⁽¹⁾)，…，φ₁(x^(N))，…，φ_M(x^(N))。

在以下描述中，计算值φ_m(x⁽ⁱ⁾)被标记为q_mi。如上所述，由基函数计算单元104算出的计算值q_mi被输入到估计函数生成单元105。

如果输入计算值q_mi，则估计函数生成单元105通过机器学习单元1051的功能，生成用于从所输入的计算值q_mi估计目的变量t⁽ⁱ⁾的估计函数f。估计函数f(x)是f(x)＝∑w_mφ_m(x)+w₀。机器学习单元1051通过线性回归/判别获得向量w＝{w₀，…，w_M}，使得通过估计函数f来拟合一组计算值q_mi＝φ_m(x⁽ⁱ⁾)和目的变量t⁽ⁱ⁾(i＝1到N)。此时，估计函数生成单元105基于逐步法(stepwise method)而选择基函数φ_m(x)，该逐步法基于信息量准则(赤池信息量准则(AIC))。这里，与未被选择的基函数φ_m(x)相对应的w_m变为0。

如果由机器学习单元1051获得向量w，则估计函数生成单元105通过基函数评估单元1052的功能，设置基函数φ_m(x)的评估值v_m。例如，基函数评估单元1052将未被选择的基函数φ_m(x)的估计值v_m设置为0，并将所选择的基函数φ_m(x)的评估值v_m设置为1。例如，如果w_m’＝0，则基函数评估单元1052将与w_m’相对应的基函数φ_m’(x)的评估值v_m’设置为0。如果w_m’≠0，则基函数评估单元1052将与w_m’相对应的基函数φ_m’(x)的评估值v_m’设置为1。

通过上述处理，获得第一代基函数φ_m(x)和各个基函数φ_m(x)的评估值v_m。接下来，信息处理设备100将由基函数评估单元1052设置的评估值v＝{v₁，…，v_M}输入到基函数生成单元102，并基于评估值{v₁，…，v_M}而生成第二代基函数φ_m(x)。在下文中，第τ代基函数被标记为φ_m，τ(x)，并且第τ代基函数φ_m，τ(x)的评估值被标记为v_τ＝{v_1，τ，…，v_M，τ}。

如果输入评估值v₁＝{v_1，1，…，v_M，1}，则基函数生成单元102基于所输入的评估值v₁而选择评估值v_m，1≠0的基函数φ_m，1，并将基函数φ_m，1设置为第二代基函数φ_m，2。如果评估值v₁中的非零元素的数量是e，则由基函数生成单元102设置e个基函数φ_1，2，…，φ_e，2。基函数生成单元102设置第二代基函数的数量M₂(M₂≥e)。接下来，基函数生成单元102通过进化技术(突变、交叉、或随机生成)，生成(M₂-e)个基函数φ_e+1，2，…，φ_M2，2。

首先，基函数生成单元102从突变、交叉、以及随机生成当中随机地选择生成第二代基函数φ_e+1，2，…，φ_M2，2的方法。

(在选择了突变的情况下)

如果选择了突变作为生成第二代基函数φ_e+1，2，…，φ_M2，2的方法，则基函数生成单元102首先从基函数φ_1，2，…，φ_e，2当中随机地选择一个基函数φ_m，2。接下来，基函数生成单元102通过改变构成所选择的基函数φ_m，2的部分原型参数，生成新的基函数φ_m’，2(m’≥e+1)。例如，基函数生成单元102通过随机地改变所选择的基函数φ_m，2(x)＝x₅ ²(线性项)的参数，生成新的基函数φ_m’，2(x)＝x₁ ²。

如果所选择的基函数φ_m，2是高斯核，则基函数生成单元102通过随机地改变参数σ、E、d、z’等，生成新的基函数φ_m’，2(m’≥e+1)。例如，如果基函数φ_m，2的参数是σ＝0.2、d＝{2，3，4}、以及z’＝{0.1，0.4，0.5}，则基函数生成单元102如σ＝0.3、d＝{1，2，3，5}、以及z’＝{0.2，0.1，0.0，0.3}一样改变参数。在该示例中，第1维被添加到d，对应于第三维的z’的值从0.4改变为0.0，第四维改变为第五维，并且σ改变为0.3。与新添加的维度相对应的z’的值是随机地设置的。

这里，描述了线性项和高斯核，但对于其他原型也改变参数，并且生成新的基函数。

(在选择了交叉的情况下)

如果选择了交叉作为生成第二代基函数φ_e+1，2，…，φ_M2，2的方法，则基函数生成单元102首先从基函数φ_1，2，…，φ_e，2当中随机地选择具有相同原型的两个基函数φ_m1，2和φ_m2，2。接下来，基函数生成单元102将所选择的基函数φ_m1，2的部分参数和所选择的基函数φ_m2，2的部分参数互换。例如，如果选择了φ_m1，2(x)＝x₅ ²和φ_m2，2(x)＝x₂ ³，则基函数生成单元102对这两个基函数的部分参数进行组合并生成新的基函数φ_m’，2(x)＝x₅ ³(m’≥e+1)。

考虑选择了具有参数d＝{1，2}、z’＝{0.2，0.3}、和σ＝0.1的高斯核以及具有参数d＝{2，3，4}、z’＝{0.1，0.4，0.5}、和σ＝0.2的高斯核的情况作为另一示例。在这种情况下，基函数生成单元102对彼此相对应的部分参数进行组合，并且例如生成参数d＝{1，2，4}、z’＝{0.2，0.1，0.5}、和σ＝0.1。基函数生成单元102将具有这些参数的高斯核设置为新的基函数φ_m’，2。

(在选择了随机生成的情况下)

如果选择了随机生成作为生成第二代基函数φ_e+1，2，…，φ_M2，2的方法，则基函数生成单元102首先随机地选择原型。接下来，基函数生成单元102随机地确定随机选择的原型的参数，并且生成新的基函数φ_m’，2(x)(m’≥e+1)。通过随机生成来生成基函数φ_m’，2的方法基本上与生成第一代基函数φ_m，1的方法相同。

如上所述由基函数生成单元102生成的基函数φ_m，2(m＝1到M2)被输入到基函数计算单元104。

如果输入第二代基函数φ_1，2(x)，…，φ_M2，2(x)，则基函数计算单元104使用基函数φ_1，2(x)，…，φ_M2，2(x)对作为学习数据而输入的特征量向量x⁽¹⁾到x^(N)进行映射。即，由基函数计算单元104计算计算值φ_1，2(x⁽¹⁾)，…，φ_M2，2(x⁽¹⁾)，…，φ_1，2(x^(N))，…，φ_M2，2(x^(N))。计算值φ_m，2(x⁽ⁱ⁾)被标记为q_mi。如上所述，由基函数计算单元104算出的计算值q_mi被输入到估计函数生成单元105。

如果输入计算值q_mi，则估计函数生成单元105通过机器学习单元1051的功能，生成用于从所输入的计算值q_mi估计目的变量t⁽ⁱ⁾的估计函数f。估计函数f(x)是f(x)＝∑w_mφ_m，2(x)+w₀。机器学习单元1051通过线性回归/判别来获得向量w＝{w₀，…，w_M}，使得通过估计函数f来拟合一组计算值q_mi＝φ_m，2(x⁽ⁱ⁾)和目的变量t⁽ⁱ⁾(i＝1到N)。此时，估计函数生成单元105基于逐步法而选择基函数φ_m，2(x)，该逐步法基于信息量准则(AIC)。这里，与未被选择的基函数φ_m，2(x)相对应的w_m变为0。

如果由机器学习单元1051获得向量w，则估计函数生成单元105通过基函数评估单元1052的功能来设置基函数φ_m，2(x)的评估值v_m，2。例如，基函数评估单元1052将未被选择的基函数φ_m，2(x)的评估值v_m，2设置为0，并将所选择的基函数φ_m，2(x)的评估值v_m，2设置为1。例如，如果w_m’，2＝0，则基函数评估单元1052将与w_m’，2相对应的基函数φ_m’，2(x)的评估值v_m’，2设置为0。如果w_m’，2≠0，则基函数评估单元1052将与w_m’，2相对应的基函数φ_m’，2(x)的评估值v_m’，2设置为1。

通过上述处理，获得第二代基函数φ_m，2(x)和各个基函数φ_m，2(x)的评估值v_m，2。接下来，信息处理设备100将由基函数评估单元1052设置的评估值v₂＝{v_1，2，…，v_M2，2}输入到基函数生成单元102，并基于该评估值{v_1，2，…，v_M2，2}而生成第三代基函数φ_m，3(x)。生成第τ代基函数φ_m，τ(x)(τ≥3)的方法基本上与生成第二代基函数φ_m，2(x)的方法相同。计算基函数φ_m，τ(x)的评估值v_m，τ的方法基本上与计算基函数φ_m，2(x)的评估值v_m，2的方法相同。

信息处理设备100通过基函数生成单元102、基函数计算单元104以及估计函数生成单元105迭代执行上述处理，从而生成第τ代基函数φ_m，τ(x)并计算基函数φ_m，τ(x)的评估值v_m，τ。如上所述，基于进化技术而执行迭代处理，从而获得能够准确地从特征量向量x估计目的变量t的估计值y的估计函数f(x)。如果满足了预定终止条件，则终止上述迭代处理。预定终止条件包括例如用户执行了停止操作的情况、完成了预定次数的迭代处理的情况、AIC值未被更新预定次数的情况等。

如果满足了预定终止条件，则估计函数生成单元105基于具有最大AIC值的第τ代基函数φ_m，τ(m＝1到M_τ)和权重向量w，生成估计函数f(x)。此时，丢弃与权重向量w中的零元素相对应的基函数φ_m，τ。由估计函数生成单元105生成的估计函数f(x)被输入到函数输出单元106。如果输入了估计函数f(x)，则函数输出单元106输出所输入的估计函数f(x)。

这里，图4中示出了如下估计函数f(x)的输出结果的示例：该估计函数f(x)是在多组目的变量t＝1和特征量向量x＝(x₁，x₂)、以及多组目的变量t＝0和特征量向量x＝(x₁，x₂)被给定作为学习数据时获得的。在图4中，在与目的变量t＝1相对应的特征量向量x的位置绘制三角标记，而在与目的变量t＝0相对应的特征量向量x的位置绘制圆形标记。此外，在图4中，以实线表示基于学习数据算出的估计函数f(x)的判别平面。在图4的示例中，通过估计函数f(x)的判别平面清楚地划分三角标记和圆形标记。

如下所述的估计函数f(x)的算法是从图4中示出的学习数据获得的。在这方面，N0是估计函数f(x)的输出值，并且Data[0]和Data[1]对应于特征量向量x。

(估计函数f(x)的示例1)

N0＝(

exp(-(pow(Data[0]-0.50358683，2))/0.00069347367)*0.4796491139352305+

exp(-(pow(Data[0]-0.38617584，2)+pow(Data[1]-0.88589209，2))/0.021929562)*-0.9224064456400292+

exp(-(pow(Data[0]-0.78311056，2)+pow(Data[1]-0.20539419，2))/0.010023744)*-1.10236298660953+

exp(-(pow(Data[0]-0.78311056，2)+pow(Data[1]-0.20539419，2))/0.069347367)*-2.769727885298161+

exp(-(pow(Data[0]-0.14187251，2)+pow(Data[1]-0.71369296，2))/0.069347367)*-1.235677130784882+

exp(-(pow(Data[0]-0.78311056，2)+pow(Data[1]-0.20539419，2))/0.022963073)*2.6693428865776+

exp(-(pow(Data[0]-0.34576759，2)+pow(Data[1]-0.63278008，2))/0.010023744)*-0.5476941803120182+

exp(-(pow(Data[0]-0.70230204，2)+pow(Data[1]-0.49170125，2))/0.010023744)*-0.3368579612750615+

1.101241695541876)；

在图5中也示出了同样的计算结果。图5的示例是当学习数据被给定为比图4中更复杂的判别平面时的计算结果。在图5中，绘制了白色三角标记和白色圆形标记。白色三角标记和白色圆形标记表示被错误地判别的点。即，白色三角标记应该被判定为与目的变量t＝1相对应的点，但却由估计函数f(x)估计为与目的变量t＝0相对应的点。另外，白色圆形标记应该被判定为与目的变量t＝0相对应的点，但却由估计函数f(x)估计为与目的变量t＝1相对应的点。

以下估计函数f(x)的算法是从图5中示出的学习数据获得的。在这方面，N0是估计函数f(x)的输出值，并且Data[0]和Data[1]对应于特征量向量x。

(估计函数f(x)的示例2)

N0＝(

exp(-(pow(Data[0]-0.7211858，2)+pow(Data[1]-0.97717839，2))/0.022963073)*-1.049069329783562+

exp(-(pow(Data[0]-0.63127691，2)+pow(Data[1]-0.34439835，2))/0.0063245553)*2.8190797768422+

exp(-(pow(Data[0]-0.61364853，2)+pow(Data[1]-0.34439835，2))/0.0063245553)*-2.37930857487981+

exp(-(pow(Data[0]-0.61080819，2)+pow(Data[1]-0.035269711，2))/0.0024045287)*-0.5946782556601005+

exp(-(pow(Data[0]-0.87150288，2)+pow(Data[1]-0.035269711，2))/0.0036394019)*-0.6987029150714169+

exp(-(pow(Data[1]-0.85269707，2))/0.00063245557)*0.6775503392921813+

exp(-(pow(Data[0]-0.71162122，2)+pow(Data[1]-0.78423238，2))/0.0036394019)*0.3436486184353701+

exp(-(pow(Data[0]-0.81843805，2)+pow(Data[1]-0.43360996，2))/0.0072615612)*-0.914378338507427+

exp(-(pow(Data[0]-0.3543759，2)+pow(Data[1]-0.86514521，2))/0.0045817355)*0.3784731062546026+

exp(-(pow(Data[0]-0.16930713，2)+pow(Data[1]-0.85062242，2))/0.0045817355)*0.4832852944216888+

exp(-(pow(Data[0]-0.88084185，2)+pow(Data[1]-0.62655604，2))/0.0055084573)*0.4897684309617601+

exp(-(pow(Data[0]-0.88952655，2)+pow(Data[1]-0.25518674，2))/0.0036394019)*-0.5955577705301611+

exp(-(pow(Data[0]-0.52727592，2)+pow(Data[1]-0.34439835，2))/0.0063245553)*-0.07222350662639272+

exp(-(pow(Data[0]-0.80200863，2)+pow(Data[1]-0.86307055，2))/0.0036394019)*-1.011609011416502+

exp(-(pow(Data[0]-0.73402309，2)+pow(Data[1]-0.34439835，2))/0.0063245553)*-0.9673439001052475+

exp(-(pow(Data[0]-0.73601151，2)+pow(Data[1]-0.020746889，2))/0.0063245553)*-1.254876057599521+

exp(-(pow(Data[0]-0.73457676，2))/0.028908795)*1.030719900189407+

exp(-(pow(Data[1]-0.076763488，2))/0.00043755231)*0.2406449857609962+

exp(-(pow(Data[0]-1.0028695，2)+pow(Data[1]-0.076763488，2))/0.00087303162)*-0.9178888798735231+

exp(-(pow(Data[0]-0.61514372，2)+pow(Data[1]-0.67219919，2))/0.0041785925)*-0.7921385857754228+

exp(-(pow(Data[0]-0.45754567，2)+pow(Data[1]-0.88174272，2))/0.0036394019)*0.5846790563849728+

exp(-(pow(Data[0]-0.60011977，2)+pow(Data[1]-0.78423238，2))/0.0011508799)*2.191183069444879+

exp(-(pow(Data[0]-0.58536583，2)+pow(Data[1]-0.57468879，2))/0.0036394019)*-0.4392376886661116+

exp(-(pow(Data[0]-0.91248208，2)+pow(Data[1]-0.080912866，2))/0.0036394019)*0.4574517539308264+

Data[0]*-0.07407166574269664+

exp(-(pow(Data[0]-0.71162122，2)+pow(Data[1]-0.24273859，2))/0.0045817355)*0.1873713723186709+

exp(-(pow(Data[1]-0.0062240665，2))/0.0087303156)*1.094461608751266+

-0.01024187552521462)；

如果如上所述使用根据该实施例的学习算法，则可以准确地判别非线性数据。因为估计函数中包括许多仅使用部分维度的部分而没有使用特征量向量的全部维度，因此降低了与估计函数的计算有关的负荷。在SVM、RVM等情况下，在所有基函数中使用特征量向量的所有维度。因此，与现有技术的SVM或RVM等相比较，通过根据该实施例的学习算法生成的估计函数的计算负荷较小。因为根据该实施例的学习算法可以在估计函数中包括多种类型的基函数，因此可以获得包括像线性项一样具有较小计算负荷的基函数的估计函数。结果，与诸如SVM、RVM等的现有技术的技术的计算负荷相比，降低了估计函数的计算负荷。

以上描述了根据该实施例的信息处理设备100的功能配置。如上所述，如果应用根据该实施例的学习算法，则可以如在SVM、RVM等中一样准确地判别具有非线性的数据，并且自动地生成具有较小计算负荷的估计函数。

[2-2：学习处理的流程]

接下来，将描述根据该实施例的学习算法的处理的流程。

(2-2-1：整体配置)

首先，将参照图6描述根据该实施例的学习算法的整体处理流程。图6是示出与该实施例的学习算法有关的整体处理流程的说明图。由上述信息处理设备100执行与该实施例的学习算法有关的处理。

如图6所示，首先，将学习数据输入到信息处理设备100(S101)。输入如图2所示的一组特征量向量x和目的变量t作为学习数据。当输入了学习数据时，信息处理设备100通过基函数生成单元102的功能，生成基函数(S102)。接下来，信息处理设备100通过基函数计算单元104的功能，计算基函数(S103)。即，信息处理设备100通过将特征量向量x输入到在步骤S102中生成的基函数，计算基函数的计算值。接下来，信息处理设备100通过估计函数生成单元105的功能，执行基函数评估和估计函数生成(S104)。

接下来，信息处理设备100确定是否达到了预定终止条件(S105)。如果达到了预定终止条件，则信息处理设备100将处理移至步骤S106。另一方面，如果尚未达到预定终止条件，则信息处理设备100将处理返回到步骤S102，并迭代执行步骤S102到步骤S104的处理。如果处理已移至步骤S106，则信息处理设备100通过函数输出单元106的功能，输出估计函数(S106)。如上所述，迭代执行步骤S102到S104的处理。在以下描述中，在第τ次迭代处理的步骤S102中生成的基函数被称为第τ代基函数。

(2-2-2：基函数的生成(S102))

这里，将参照图7至图12进一步详细地描述步骤S102(基函数生成)的处理。

首先，将参照图7。如图7所示，信息处理设备100判定当前世代是否是第二代或更后面的世代(S111)。即，信息处理设备100判定当前要被执行的步骤S102的处理是否是第二次迭代处理或更后面的迭代处理。如果是第二代或更后面的世代，则信息处理设备100移至步骤S113。另一方面，如果不是第二代或更后面的世代(如果是第一代)，则信息处理设备100将处理移至步骤S112。如果处理移至步骤S112，则信息处理设备100随机地生成基函数(S112)。另一方面，如果处理移至步骤S113，则信息处理设备100进化地生成基函数(S113)。如果完成了步骤S112或步骤S113的处理，则信息处理设备100终止步骤S102的处理。

(S112：基函数的随机生成)

这里，将参照图8和图9进一步详细地描述步骤S112的处理。步骤S112的处理涉及生成第一代基函数的处理。

首先，将参照图8。如图8所示，信息处理设备100开始与基函数的索引m(m＝0到M-1)有关的处理循环(S121)。接下来，信息处理设备100随机地生成基函数φ_m(x)(S122)。接下来，信息处理设备100判定基函数的索引m是否达到了M-1。如果基函数的索引m尚未达到M-1，则信息处理设备100通过递增基函数的索引m，将处理返回到步骤S121(S124)。另一方面，如果基函数的索引m是m＝M-1，则信息处理设备100终止处理循环(S124)。如果在步骤S124中终止处理循环，则信息处理设备100完成步骤S112的处理。

(步骤S122的细节)

这里，将参照图9进一步详细地描述步骤S122的处理。

如果开始了步骤S122的处理，则如图9所示，信息处理设备100随机地确定基函数原型(S131)。用于通过指定向量而输入向量并输出标量的任何函数(诸如线性项、高斯核、sigmoid核、或者三角函数)可用作原型。接下来，信息处理设备100随机地确定所确定的原型的参数，并生成基函数(S132)。

(S113：基函数的进化生成)

接下来，将参照图10到12进一步详细地描述步骤S113的处理。步骤S113的处理涉及生成第τ(τ≥2)代基函数的处理。因此，当执行步骤S113时，获得第(τ-1)代基函数φ_m，τ-1(m＝1到M)和基函数φ_m，τ-1的评估值v_m，τ-1。

首先，将参照图10。如图10所示，信息处理设备100对基函数的数量M进行更新(S141)。即，信息处理设备100确定第τ代基函数的数量M_τ。接下来，信息处理设备100基于第τ-1代基函数φ_m，τ-1(m＝1到M)的评估值v_τ-1＝{v_1，τ-1，…，v_M，τ-1}而从第(τ-1)代基函数当中选择e个有用的基函数，并将所选择的基函数设置为第τ代基函数φ_1，τ，…，φ_e，τ(S142)。

接下来，信息处理设备100从交叉、突变以及随机生成当中随机地选择生成(M_τ-e)个剩余的基函数φ_e+1，τ，…，φ_Mτ，τ的方法(S143)。如果选择了交叉，则信息处理设备100将处理移至步骤S144。如果选择了突变，则信息处理设备100将处理移至步骤S145。如果选择了随机生成，则信息处理设备100将处理移至步骤S146。

如果处理移至步骤S144，则信息处理设备100通过对从在步骤S142中选择的基函数φ_1，τ，…，φ_e，τ当中选择的基函数进行交叉，生成新的基函数φ_m’，τ(m’≥e+1)(S144)。如果处理移至步骤S145，则信息处理设备100通过对从在步骤S142中选择的基函数φ_1，τ，…，φ_e，τ当中选择的基函数进行突变，生成新的基函数φ_m’，τ(m’≥e+1)(S145)。另一方面，如果处理移至步骤S146，则信息处理设备100随机地生成新的基函数φ_m’，τ(m’≥e+1)(S146)。

当步骤S144、S145以及S146中的任何一个的处理结束时，信息处理设备100将处理移至步骤S147。当处理移至步骤S147时，信息处理设备100判定第τ代基函数的数量是否达到了M(M＝M_τ)(S147)。如果第τ代基函数的数量尚未达到M，则信息处理设备100将处理返回到步骤S143。另一方面，如果第τ代基函数的数量达到了M，则信息处理设备100终止步骤S113的处理。

(S144的细节：交叉)

这里，将参照图11进一步详细地描述步骤S144的处理。

如果开始步骤S144的处理，则如图11所示，信息处理设备100从在步骤S142中选择的基函数φ_1，τ，…，φ_e，τ当中，随机地选择具有相同原型的两个基函数(S151)。接下来，信息处理设备100通过对所选择的两个基函数的参数进行交叉，生成新的基函数(S152)。

(S145的细节：突变)

接下来，将参照图12进一步详细地描述步骤S145的处理。

如果开始步骤S145的处理，则如图12所示，信息处理设备100从在步骤S142中选择的基函数φ_1，τ，…，φ_e，τ当中，随机地选择一个基函数(S161)。接下来，信息处理设备100通过随机地改变所选择的基函数的部分参数，生成新的基函数(S162)。

(S146的细节：随机生成)

接下来，将参照图9进一步详细地描述步骤S146的处理。

如果开始步骤S122的处理，则如图9所示，信息处理设备100随机地确定基函数的原型(S131)。可以使用例如线性项、高斯核、sigmoid核以及三角函数(它们都是具有向量输入和标量输出的函数)中的任何一个作为基函数的原型。接下来，信息处理设备100随机地确定所确定的原型的参数并生成基函数(S132)。

以上进一步详细地描述了步骤S102的处理(基函数生成)。

(2-2-3：基函数计算(S103))

接下来，将参照图13进一步详细地描述步骤S103的处理(基函数计算)。

如图13所示，信息处理设备100开始对于包括在学习数据中的特征量向量x⁽ⁱ⁾的索引i的处理循环(S171)。例如，如果输入一组N个特征量向量{x⁽¹⁾，…，x^(N)}作为学习数据，则执行对于i＝1到N的处理循环。接下来，信息处理设备100开始对于基函数φ_m的索引m的处理循环(S172)。例如，如果生成了M个基函数，则执行对于m＝1到M的处理循环。

接下来，信息处理设备100计算评估值q_mi＝φ_m(x⁽ⁱ⁾)(S173)。接下来，信息处理设备100将处理移至步骤S174，并继续对于基函数的索引m的处理循环。如果终止对于基函数的索引m的处理循环，则信息处理设备100将处理移至步骤S175，并继续对于特征量向量的索引i的处理循环。如果终止对于特征量向量的索引i的处理循环，则信息处理设备100终止步骤S103的处理。

以上进一步详细地描述了步骤S103的处理(基函数计算)。

(2-2-4：基函数评估/估计函数生成(S104))

接下来，将参照图14进一步详细地描述步骤S104的处理(基函数评估/估计函数生成)。

如图14所示，信息处理设备100通过基于AIC的逐步法的回归/判别学习，计算估计函数的参数w＝{w₀，…，w_m}(S181)。即，信息处理设备100通过回归/判别学习来获得向量w＝{w₀，…，w_m}，使得通过估计函数f来拟合一组计算值q_mi＝φ_m，τ(x⁽ⁱ⁾)和目的变量t⁽ⁱ⁾(i＝1到N)。在这方面，估计函数f(x)是f(x)＝∑w_mφ_m，τ(x)+w₀。接下来，信息处理设备100将其中参数w为0的基函数的评估值v设置为0，并将基函数的另一评估值v设置为1(S182)。即，评估值v的基函数是有用基函数。

以上进一步详细地描述了步骤S104的处理(基函数评估/估计函数生成)。

与该实施例的学习算法有关的处理的流程与上述相同。如上所述，迭代执行步骤S102到步骤S104的处理，并且通过进化技术依次更新基函数，使得获得具有高估计准确性的估计函数。特别地，因为没有限制基函数原型的类型，因此即使对非线性数据进行回归/判别时也获得较高拟合准确性。此外，因为仅选择性地使用特征量向量的有用的维度，因此可以降低施加于估计函数计算的负荷。

<3.第二实施例>

接下来，将描述本公开的第二实施例。在上述第一实施例中，基于使用信息量准则的回归/判别学习，选择有用基函数。然而，使用集成学习(ensemble learning)的方法也被认为是基函数评估方法或者目的变量估计方法。在该实施例中，将描述使用集成学习的基函数评估方法或者目的变量估计方法。作为集成学习的具体技术，例如，可以应用诸如AdaBoost的技术。

[3-1：信息处理设备100(学习设备)的功能配置]

首先，将参照图15描述根据该实施例的信息处理设备100(学习设备)的功能配置。图15是示出根据本公开的第二实施例的信息处理设备100(学习设备)的功能配置的说明图。与根据上述第一实施例的信息处理设备100的构成要素基本相同的构成要素以相同的附图标记来表示，并因此省略其详细描述。

如图15所示，信息处理设备100主要包括数据输入单元101、基函数生成单元102、存储单元103、基函数计算单元104、估计函数生成单元105以及函数输出单元106。估计函数生成单元105包括基函数评估单元1053和机器学习单元1054。与根据上述第一实施例的信息处理设备100的主要差别在于估计函数生成单元105的功能。在下文中，将进一步详细地描述估计函数生成单元105的功能。

如果输入基函数φ₁到φ_M，则估计函数生成单元105通过基函数评估单元1053的功能，对所输入的基函数φ₁到φ_M进行评估。基函数评估单元1053获得以下等式(9)中示出的err最小化的函数u_m(φ_m(x))。即，基函数评估单元1053获得err最小化的参数d和Th。在这方面，以下等式(9)表示通过g_n对不同于t_n的u_m(φ_m(x⁽ⁿ⁾))的值进行加权以及对加权值进行相加的计算。由以下等式(10)定义函数u_m(φ_m(x))。这里，d是0或1。权重系数g₁到g_N被预先初始化为1/N。

$\mathrm{err}=\underset{n}{\mathrm{\&Sigma;}}{g}_n(u_m\left({\mathrm{\&phi;}}_m\left(x^{\left(n\right)}\right)\right)\&NotEqual;t_n)...\left(9\right)$

$u_m\left({\mathrm{\&phi;}}_m\left(x^{\left(n\right)}\right)\right)=\left\{\begin{array}{cc}d& ({\mathrm{\&phi;}}_m\left(x^{\left(n\right)}\right)\&GreaterEqual;\mathrm{Th})\\ 1-d& ({\mathrm{\&phi;}}_m\left(x^{\left(n\right)}\right)<\mathrm{Th})\end{array}\right....\left(10\right)$

在获得函数u_m(φ_m(x))之后，基函数评估单元1053以err值的升序提取预定数量(例如，20％)的基函数φ_m(x)，并将所提取的基函数φ_m(x)的评估值v_m设置为1。基函数评估单元1053将除所提取的基函数φ_m(x)之外的基函数φ_m’(x)的评估值v_m’设置为0。

如上所述，由基函数评估单元1053设置的评估值v＝{v₁，…，v_M}被输入到基函数生成单元102。如果评估值v被输入到基函数生成单元102，则由基函数生成单元102生成下一代基函数，由基函数计算单元104计算基函数，并由基函数评估单元1053设置下一代基函数的评估值v。迭代执行通过基函数生成单元102、基函数计算单元104以及基函数评估单元1053进行的处理，直到满足预定终止条件为止。预定终止条件包括例如完成了预定次数的迭代处理的情况、err的最小值未被更新预定次数的情况等。

如果满足了预定终止条件，则估计函数生成单元105通过机器学习单元1054的功能，将误差最小化的基函数φ_m(x)添加到估计函数f(x)。在这方面，如下执行将基函数φ_m(x)添加到估计函数f(x)的处理。

首先，机器学习单元1054通过以下等式(11)确定权重系数更新量A。接下来，机器学习单元1054基于以下等式(12)对权重系数g_n(n＝1到N)进行更新。然后，机器学习单元1054对权重系数g₁到g_N进行归一化，使得权重系数的g₁到g_N的总和为1。接下来，机器学习单元1054将基于误差最小化的基函数φ_m(x)的函数u_m(φ_m(x))添加到估计函数f(x)。如果最终获得的估计函数是f(x)＝∑w_ku_k(φ_k(x))，则设置u_k(φ_k(x))＝err最小化的u_m(φ_m(x))和w_k＝A。

$A=\ln \left(\frac{1-\mathrm{err}}{\mathrm{err}}\right)...\left(11\right)$

${g_n}^{\&prime;}=\left\{\begin{array}{cc}{g}_n\exp \left(\frac{a}{2}\right)& ({\mathrm{\&phi;}}_m\left(x^{\left(n\right)}\right)\&NotEqual;t_n)\\ g_n\exp (-\frac{a}{2})& ({\mathrm{\&phi;}}_m\left(x^{\left(n\right)}\right)=t_n)\end{array}\right....\left(12\right)$

在更新之后，权重系数g₁到g_N被输入到基函数评估单元1053，并由基函数生成单元102、基函数计算单元104以及基函数评估单元1053再次执行迭代处理。如果满足了与迭代处理有关的预定终止条件，则由机器学习单元1054将err最小化的基函数φ_m(x)再次添加到估计函数f(x)。如上所述，err最小化的基函数φ_m(x)被依次计算并添加到估计函数f(x)。结果，最终获得估计函数f(x)＝∑w_ku_k(φ_k(x))。估计式变为以下等式(13)。该估计式表示：如果f(x)大于0.5则输出1，而如果f(x)等于或小于0.5则输出0。

$f\left(x\right)=\underset{k}{\mathrm{\&Sigma;}}{w}_k{u}_k\left({\mathrm{\&phi;}}_k\left(x\right)\right)>0.5...\left(13\right)$

以上描述了根据该实施例的信息处理设备100的功能配置。

[3-2：学习处理的流程]

接下来，将描述与该实施例的学习算法有关的处理流程。

(3-2-1：整体配置)

首先，将参照图16描述与该实施例的学习算法有关的整体处理流程。图16是示出该实施例的学习算法中的整体处理流程的说明图。由上述信息处理设备100执行与该实施例的学习算法有关的处理。

如图16所示，首先，将学习数据输入到信息处理设备100(S201)。输入如图2所示的一组特征量向量x和目的变量t作为学习数据。接下来，信息处理设备100对权重系数g₁到g_N进行初始化(S202)。然后，信息处理设备100通过基函数生成单元102的功能，生成基函数(S203)。步骤S203的处理与图6中示出的步骤S102的处理基本相同。

接下来，信息处理设备100通过基函数计算单元104的功能，计算基函数(S204)。即，信息处理设备100通过将特征量向量x输入到在步骤S102中生成的基函数，计算基函数的计算值。步骤S204的处理与图6中示出的步骤S103的处理基本相同。接下来，信息处理设备100通过估计函数生成单元105的功能，对基函数进行评估(S205)。接下来，信息处理设备100判定是否达到了与基函数评估有关的迭代处理的终止条件(S206)。

如果达到了迭代处理的终止条件，则信息处理设备100将处理移至步骤S207。另一方面，如果尚未达到迭代处理的终止条件，则信息处理设备100将处理返回到步骤S203，并再次执行步骤S203到步骤S205的处理。如果处理移至步骤S207，则信息处理设备100基于步骤S205中的评估结果，生成估计函数(S207)。接下来，信息处理设备100判定预定数量的基函数是否已被添加到估计函数(S208)。

如果预定数量的基函数已被添加到估计函数，则信息处理设备100将处理移至步骤S209。另一方面，如果预定数量的基函数尚未被添加到估计函数，则信息处理设备100将处理返回到步骤S203。如果处理移至步骤S209，则信息处理设备100输出添加了预定数量的基函数的估计函数(S209)，并终止一系列处理。

(3-2-2：基函数的评估(S206))

这里，将参照图17进一步详细地描述步骤S206的处理(基函数评估)。

如果开始步骤S206的处理，则如图17所示，信息处理设备100开始对于基函数索引m(m＝0到M-1)的处理循环(S211)。信息处理设备100计算参数d和Th，使得由上述等式(9)定义的err最小化(S212)。即，信息处理设备100计算err最小化的u_m(φ_m(x))。接下来，信息处理设备100在基函数索引m＝M-1的情况下将处理移至步骤S214，并且在m＜M-1的情况下通过使m递增来再次执行步骤S212的处理(S213)。

如果处理移至步骤S214，则信息处理设备100按从err最小化的基函数开始的顺序，将预定数量的基函数的评估值v设置为1，并将其它基函数的评估值v设置为0(S214)。如果全部设置了评估值v，则信息处理设备100终止步骤S206的处理。

(3-2-3：估计函数的生成(S207))

接下来，将参照图18进一步详细地描述步骤S207的处理(估计函数生成)。

如果开始步骤S207的处理，则如图18所示，信息处理设备100确定权重系数g₁到g_N的更新量A(S221)。接下来，信息处理设备100基于在步骤S221中确定的更新量A，对权重系数g₁到g_N进行更新(S222)。然后，信息处理设备100对权重系数g₁到g_N进行归一化，使得权重系数g₁到g_N的总和为1(S223)。接下来，信息处理设备100将基函数添加到估计函数(S224)。如果基函数被添加到估计函数，则信息处理设备100终止步骤S207的处理。

以上描述了与该实施例的学习算法有关的处理的流程。

<4.硬件配置>

可以通过使用例如图19中示出的硬件配置来实现上述信息处理设备100的各个结构元件的功能。即，可以通过使用计算机程序控制图19中示出的硬件来实现各个结构元件的功能。另外，该硬件的形式是任意的，并且可以是个人计算机、诸如移动电话、PHS或PDA的移动信息终端、游戏机、或各类信息家电。另外，PHS是个人手持电话系统的缩写。另外，PDA是个人数字助理的缩写。

如图19所示，该硬件主要包括CPU 902、ROM 904、RAM 906、主机总线908以及桥910。此外，该硬件包括外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924以及通信单元926。另外，CPU是中央处理单元的缩写。另外，ROM是只读存储器的缩写。此外，RAM是随机存取存储器的缩写。

CPU 902例如起算术处理单元或控制单元的作用，并且基于记录在ROM 904、RAM 906、存储单元920、或者可拆卸记录介质928上的各种程序而控制各个结构元件的整体操作或者部分操作。ROM 904是用于储存例如要加载到CPU 902上的程序或在算术运算中使用的数据等的装置。RAM 906暂时或永久地存储例如要加载到CPU 902上的程序或在执行程序中任意改变的各种参数等。

这些结构元件通过例如能够执行高速数据传输的主机总线908彼此连接。就其本身而言，例如，主机总线908通过桥910连接到数据传输速度相对较低的外部总线912。此外，输入单元916是例如鼠标、键盘、触摸板、按钮、开关或者操纵杆。另外，输入单元916可以是遥控装置，其可以通过使用红外线或者其它无线电波发射控制信号。

输出单元918是例如诸如CRT、LCD、PDP或ELD的显示设备、诸如扬声器或耳机的音频输出设备、打印机、移动电话或传真机，它们可以在视觉或听觉上向用户通知所获取的信息。此外，CRT是阴极射线管的缩写。LCD是液晶显示器的缩写。PDP是等离子显示板的缩写。另外，ELD是电致发光显示器的缩写。

存储单元920是用于存储各种数据的设备。存储单元920是例如诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备或磁光存储设备。HDD是硬盘驱动器的缩写。

驱动器922是读取记录在可拆卸记录介质928上的信息或将信息写入可拆卸记录介质928中的设备，可拆卸记录介质928诸如为磁盘、光盘、磁光盘或半导体存储器。可拆卸记录介质928是例如DVD(数字多功能盘)介质、蓝光介质、HD-DVD(硬盘-数字多功能盘)介质、各种类型的半导体存储器介质等。当然，可拆卸记录介质928可以是例如其上安装了非接触式IC芯片的IC卡或电子设备。IC是集成电路的缩写。

连接端口924是诸如USB端口、IEEE(电气和电子工程师协会)1394端口、SCSI、RS-232C端口的端口，或是用于连接诸如光音频端子的外部连接设备930的端口。外部连接设备930是例如打印机、移动音乐播放器、数码相机、数码摄像机或IC记录器。另外，USB是通用串行总线的缩写。另外，SCSI是小型计算机系统接口的缩写。

通信单元926是要连接到网络932的通信设备，并且是例如用于有线或无线LAN、蓝牙(注册商标)或WUSB的通信卡、光通信路由器、ADSL路由器、或各种通信调制解调器。连接到通信单元926的网络932由有线连接或无线连接的网络构成，并且是例如因特网、家用LAN、红外通信、可见光通信、广播或卫星通信。另外，LAN是局域网的缩写。另外，WUSB是无线USB的缩写。此外，ADSL是非对称数字用户线路的缩写。

<5：总结>

最后，将简要地总结根据本公开实施例的技术内容。这里，所描述的技术内容可以应用于各种信息处理设备，例如，诸如PC(个人计算机)、移动电话、移动游戏机、移动信息终端、信息家电以及汽车导航系统。

上述信息处理设备的功能配置可表示如下。该信息处理设备具有如下输入单元、基函数生成单元、标量计算单元、基函数评估单元，估计函数生成单元以及输出单元。上述输入单元是用于输入特征量向量和与该特征量向量相对应的目的变量的装置。上述基函数生成单元是用于生成通过对特征量向量进行映射来输出标量的基函数的装置。上述标量计算单元是用于使用由基函数生成单元生成的基函数来对特征量向量映射、并计算与该特征量向量相对应的标量的装置。

上述基函数评估单元是如下装置：其用于使用由输入单元输入的目的变量连同由标量计算单元算出的标量以及与该标量相对应的特征量向量，评估用来计算标量的基函数对于估计目的变量是否有用。此外，上述估计函数生成单元是如下装置：其用于使用由基函数评估单元评估为有用的基函数、基于由标量计算单元算出的标量以及与该标量相对应的目的变量，通过机器学习来生成用于从标量估计目的变量的估计函数。上述输出单元是用于输出由估计函数生成单元生成的估计函数的装置。

如上所述，使用通过对预定函数进行组合所生成的基函数当中的有用基函数来生成估计函数，使得可以在保持足够的估计准确性的同时获得稀疏估计函数。结果，使用上述估计函数，可以降低获得如下估计准确性所需的存储量和计算量：该估计准确性具有与通过现有技术的技术获得的估计函数的准确性相同的水平。

(应用示例)

根据该实施例的学习算法可用来自动构建如下估计算法：该估计算法用于接收从音乐提取的特征量，并估计音乐气氛(欢快、阴暗、平静、激昂等)和种类(摇滚、流行歌曲、爵士乐、古典等)、所使用的乐器类型(声乐(voice)、吉他、贝司、鼓、钢琴等)等。根据该实施例的学习算法可以用来自动构建如下识别算法：该识别算法用于接收从照片提取的特征量，并识别什么内容被映射到照片(物体识别)或者识别映射到照片的场景(街道、海、山等)。

另外，根据该实施例的学习算法可用来自动构建如下估计算法：该估计算法用于接收从由三轴加速度传感器、三轴陀螺仪传感器等获得的运动传感器信号提取的特征量，并自动地估计携带配备有运动传感器的设备的用户的行为。此外，根据该实施例的学习算法可用来自动构建如下识别算法：该识别算法用于接收从工厂中出货前的商品的图像或音频输入数据提取的特征量，并识别商品是否满足出货标准。

根据该实施例的学习算法可用来自动构建如下识别算法：该识别算法用于接收医学图像(x射线，CT图像等)，并识别病人的疾病。根据该实施例的学习算法可用来构建如下用户接口(脑机接口(BMI)等)：该用户接口用于接收从诸如肌电传感器、脑电图仪等的人体传感器获得的信号，并识别用户的疾病或者识别用户期望的操作。

(参考)

上述数据输入单元101是输入单元的示例。上述基函数计算单元104是标量计算单元的示例。上述函数输出单元106是输出单元的示例。上述特征量函数生成单元102是世代更替单元的示例。

本领域的技术人员应当理解，可以在所附权利要求或其等同方案的范围内根据设计需要和其它因素进行各种修改、组合、子组合和变更。

本公开包含与2010年7月14日向日本专利局提交的日本优先权专利申请JP 2010-159597中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

Claims (7)

1.一种信息处理设备，包括：

输入单元，其用于输入特征量向量和与所述特征量向量相对应的目的变量；

基函数生成单元，其用于生成通过对所述特征量向量进行映射来输出标量的基函数；

标量计算单元，其用于使用由所述基函数生成单元生成的基函数来对所述特征量向量进行映射，并计算与所述特征量向量相对应的所述标量；

基函数评估单元，其用于使用由所述输入单元输入的目的变量连同由所述标量计算单元算出的标量以及与所述标量相对应的特征量向量，评估用来计算所述标量的基函数对于估计所述目的变量是否有用；

估计函数生成单元，其用于使用由所述基函数评估单元评估为有用的基函数、基于由所述标量计算单元算出的标量和与所述标量相对应的目的变量，通过机器学习来生成用于从所述标量估计所述目的变量的估计函数；以及

输出单元，其用于输出由所述估计函数生成单元生成的估计函数。

2.根据权利要求1所述的信息处理设备，其中，所述基函数生成单元生成用于通过仅对所述特征量向量的部分进行映射来输出所述标量的基函数。

3.根据权利要求2所述的信息处理设备，还包括：

世代更替单元，其用于基于所述基函数评估单元的评估结果，通过执行选择有用基函数、使用所述有用基函数通过突变和交叉生成新基函数、以及随机生成所述新基函数，生成下一代基函数，

其中，通过所述估计函数生成单元生成所述估计函数的处理、通过所述世代更替单元生成所述下一代基函数的处理、通过所述标量计算单元计算所述标量的处理、以及通过所述基函数评估单元评估所述基函数的处理被迭代执行。

4.根据权利要求3所述的信息处理设备，其中，所述基函数评估单元在根据信息量准则从由所述标量计算单元算出的标量中选择标量的同时执行用于估计与所述标量相对应的目的变量的回归或判别学习，并评估用来计算根据所述信息量准则所选择的标量的基函数是有用的。

5.根据权利要求1所述的信息处理设备，其中，所述估计函数生成单元将由所述基函数评估单元评估为有用的基函数依次添加到所述估计函数。

6.一种信息处理方法，包括：

输入特征量向量和与所述特征量向量相对应的目的变量；

生成用于通过对所述特征量向量进行映射来输出标量的基函数；

使用所述基函数对所述特征量向量进行映射，并计算与所述特征量向量相对应的标量；

使用所述目的变量连同所述标量以及与所述标量相对应的特征量向量，评估用来计算所述标量的基函数对于估计所述目的变量是否有用；

使用被评估为有用的基函数、基于所述标量和与所述标量相对应的目的变量，通过机器学习来生成用于从所述标量估计所述目的变量的估计函数；以及

输出所述估计函数。

7.一种使得计算机执行以下功能的程序：

输入功能，其输入特征量向量和与所述特征量向量相对应的目的变量；

基函数生成功能，其生成通过对所述特征量向量进行映射来输出标量的基函数；

标量计算功能，其使用由所述基函数生成功能生成的基函数来对所述特征量向量进行映射，并计算与所述特征量向量相对应的所述标量；

基函数评估功能，其使用由所述输入功能输入的目的变量连同由所述标量计算功能算出的标量以及与所述标量相对应的特征量向量，评估用来计算所述标量的基函数对于估计所述目的变量是否有用；

估计函数生成功能，其使用由所述基函数评估功能评估为有用的基函数、基于由所述标量计算功能算出的标量和与所述标量相对应的目的变量，通过机器学习来生成用于从所述标量估计所述目的变量的估计函数；以及

输出功能，其输出由所述估计函数生成功能生成的估计函数。

Images