CN104598981A

CN104598981A - 生成装置、生成方法和程序

Info

Publication number: CN104598981A
Application number: CN201410583621.7A
Authority: CN
Inventors: 胜木孝行; 森村哲郎; 柳泽弘挥; 坪井祐太
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2013-10-31
Filing date: 2014-10-27
Publication date: 2015-05-06
Also published as: DE102014113988A1; JP2015087973A

Abstract

本发明的各实施例涉及生成装置、生成方法和程序。[问题]为了生成修改的模型，其中从根据训练数据生成的预测模型减少由训练数据特有的数据所产生的预测误差。[解决手段]提供了一种基于训练数据生成预测模型的生成装置、生成方法和程序。该生成装置包括：模型生成单元，该模型生成单元通过使用训练数据的训练来生成从输入特征值预测输出特征值的训练的模型；以及模型修改单元，该模型修改单元减少输入特征值中的一些输入特征值在生成的训练的模型中的影响的程度并且生成实际用于测试数据的修改的模型。

Description

生成装置、生成方法和程序

技术领域

本发明涉及一种生成装置、生成方法和程序。

背景技术

在有关技术的预测问题中，基于训练数据生成预测模型，并且将与训练数据不同的实际数据应用于生成的预测模型。然后，获得与实际数据对应的预测结果(例如，见专利文献1和2)

[引用列表]

[专利文献]

[专利文献1]日本待审专利申请公开号2005-253708

[专利文献2]日本待审专利申请公开号2013-140548

发明内容

[技术问题]

然而，当在预测问题中在这样的训练数据中包括与待预测的领域不对应的特有数据时，误差可能在由预测模型生成的预测结果中增加。例如，在例如从在第一区域中的酒店的以往预订信息生成用于酒店费率和需求的预测模型并且通过使用预测模型来预测用于在第二区域中的酒店的费率和需求的情况中，当在训练数据中包括第一区域特有(或者不是大多数酒店通用)的数据时，特有数据可能对用于在第二区域中的酒店的预测误差施加影响。因此，不可以获得正确预测结果。

[对问题的解决方案]

根据本发明的第一方面，提供了一种生成装置、生成方法和程序。该生成装置包括模型生成单元和模型修改单元。模型生成单元通过使用训练数据的训练来生成从输入特征值预测输出特征值的训练的模型。模型修改单元减少输入特征值中的一些输入特征值在生成的训练的模型中的影响的程度并且生成实际使用的修改的模型。

在本发明的以上描述的发明内容中，未列举本发明的所有特征。特征的子组合也可以构成发明。

附图说明

[图1]图1图示了根据本实施例的在预测问题中的训练数据和测试数据的示例性概况。

[图2]图2图示了根据本实施例的生成装置100的示例性配置。

[图3]图3图示了根据本实施例的生成装置100的操作流程的示例性配置。

[图4]图4图示了根据本实施例的生成装置100的示例性修改。

[图5]图5图示了根据本实施例的用作生成装置100的计算机1900的示例性硬件配置。

具体实施方式

以下将通过使用本发明的一个实施例来描述本发明。然而，在权利要求的范围中的本发明不限于以下描述的实施例。此外，在本发明中的解决方案未必需要在实施例中描述的所有特征组合。

图1图示了根据本实施例的在预测问题中的训练数据和测试数据的示例性概况。在预测问题中，通过使用在图1中所示的训练数据来生成预测模型。然后，向生成的预测模型输入与训练数据不同的测试数据，并且获得与测试数据对应的预测结果。

例如，在时序预测中，例如基于其结果已知的训练数据(比如以往数据)生成预测将来的预测模型，并且通过向预测模型输入其结果未知的数据(比如实际或者将来数据)来获得预测结果。例如，从关于在第一区域中的酒店的以往信息预测用于在第一区域(例如，“Izu”)中的酒店的将来费率和需求，或者从关于在第一区域中的酒店的以往信息预测用于在第二区域(例如，“Atami”)中的酒店的将来费率和需求。

然而，在这样的预测中使用的训练数据包括适合用于生成预测模型的高通用性的数据(即，具有将来或者实际数据公共的特征的数据)和与将来或者实际数据不同的训练数据特有的数据。此外，将来或者实际数据可以具有特有数据。然而，难以在预测之前预先获得充分数量的将来或者实际数据。

在本实施例中，将描述如下示例，在该示例中，从关于在区域A中的酒店的以往信息生成用于酒店费率和需求的预测模型并且预测用于在另一区域B中的酒店的费率和需求。在这一情况中，关于在区域A中的酒店的以往信息(训练数据)包括与关于在区域B中的酒店的信息接近的高通用性的数据(将来或者实际数据)和与关于在区域B中的酒店的信息不同并且是区域A特有的数据。

例如，区域A特有的数据指示依赖于区域A特有的情形(比如风景和活动)的酒店费率和需求。示例可以是如下情况，在该情况中，在特定日期在区域A中的特定酒店附近举行烟火展览。在通过使用区域A特有的这样的数据来生成预测模型时，误差在用于在区域B中的酒店的费率和需求的预测中出现。因此，希望在预测模型的生成中删除这样的数据。然而，在有关技术中，除非关于在区域B中的酒店的信息预先已知，否则难以仅删除特有数据。

即使假设数据是特有的，关于是否将删除数据的确定的标准也是模糊的并且依赖于用户的经验、感觉等。在多条特有数据存在时，即使有经验的用户也难以确定将从多条数据删除哪条数据。因此，根据本实施例的一种生成装置适当地减少由来自训练数据的特有数据所产生的影响，并且生成其中减少预测误差的预测模型。

图2图示了根据本实施例的生成装置100的示例性配置。生成装置100接收训练数据并且基于训练数据生成以减少预测误差这样的方式修改的预测模型。也就是说，生成装置100生成用于测试通过学习接收的训练数据而获得的训练的模型的测试数据，并且基于训练的模型的测试来修改训练的模型。生成装置100包括获取单元110、存储单元120、模型生成单元130和模型修改单元140。

获取单元110获得训练数据。训练数据例如是根据它的特征分类的数据，并且在以接收的输入特征值为元素的特征矢量中被表达。例如，特征矢量根据它的特征(比如在酒店的情况中为日期、客人数目、设施、计划和房间信息)被分类。在特征矢量中，每个特征被进一步划分成输入特征值，并且与输入特征值对应的具体值被用作元素。

例如，日期的特征以输入特征值(比如入住日期、入住月份和当周日子)为元素。客人数目的特征以输入特征值(比如成人数目、孩子数目和婴儿数目)为元素。

训练数据包括与特征矢量对应的输出特征值。输出特征值是与特征矢量的元素对应的特征值并且例如是酒店费率。

获取单元110可以响应于用户直接输入输入特征值来获得训练数据。备选地，可以读取和获得在预定格式中存储的输入特征值的数据。获取单元110可以连接到网络等，并且可以经由网络获得训练数据。获取单元110向存储单元120和模型生成单元130供应获得的训练数据。

连接到获取单元110的存储单元120存储从获取单元110接收的训练数据。存储单元120可以存储在其中生成装置100生成预测模型的过程中获得的预测模型。

连接到获取单元110的模型生成单元130通过使用从获取单元110接收的训练数据的训练来生成从多个输入特征值预测输出特征值的训练的模型。例如，模型生成单元130生成训练的模型，该训练的模型使用以用于酒店的以往预订信息数据(日期、客人数目、酒店属性、计划属性)的具体值为输入特征矢量的训练数据并且在输入新(将来)预订信息数据时基于训练数据和作为对应酒店入住费率的输出特征值的数据输出用于对应费率(输出特征值)的预测结果。

例如，输出特征值是与输入特征值对应的将来特征值(例如，将来费率)。也就是说，在这一情况中，模型生成单元130生成函数f，从而使得酒店费率＝f(日期，客人数目，酒店属性，计划属性)。

模型生成单元130通过使用多条接收的训练数据中的全部或者一些训练数据的训练来生成唯一地代表输入/输出关系的函数作为训练的模型。模型生成单元130向模型修改单元140供应生成的训练的模型。备选地，模型生成单元130可以连接到存储单元120。在这一情况中，在存储单元120中存储生成的训练的模型，并且模型修改单元140从存储单元120读出训练的模型。

模型修改单元140使用其至少部分与训练数据不同的测试数据以减少来自输入特征值中的一些输入特征值的在由模型生成单元130生成的训练的模型中的影响的程度，并且生成被实际使用的修改的模型。模型修改单元140生成修改的模型，从而使得在减少来自输入特征值中的一些输入特征值的影响的程度时减少由输入特征值中的一些输入特征值的改变所引起的预测结果的改变。

例如，通过在生成的训练的模型中将加权系数用于输入特征值来确定影响的程度。加权值例如范围在0与1之间。该值越小，通过使用该值被加权的输入特征值对生成的训练的模型施加的影响就越小。也就是说，在这一情况中，模型修改单元140减少与输入特征值中的一些输入特征值对应的加权值，从而使得加权值与零接近。因而，模型修改单元140减少由特征值中的一些特征值施加的对训练的模型的影响的程度，以便从训练的模型生成修改的模型。

例如，模型修改单元140将加权值改变成等于或者小于一半的值。模型修改单元140可以将加权值改变成等于或者小于加权值的四分之一或者八分之一的值。模型修改单元140可以将用来减少影响的程度的参数设置成预定值(例如，平均值、最小值或者指定的值)。

模型修改单元140可以在生成的训练的模型中删除输入特征值中的一些输入特征值，并且可以生成修改的模型。也就是说，模型修改单元140可以将用于输入特征值中的一些输入特征值的权值设置成零。模型修改单元140可以删除用于输入特征值中的一些输入特征值的输入项本身。因此，在生成的修改的模型用来产生预测时，模型修改单元140消除由特征值中的一些特征值的改变所引起的预测结果的改变。模型修改单元140包括测试单元142、选择单元144和确定单元146。

测试单元142使用其至少部分与训练数据不同的测试数据以测试训练的模型。例如，连接到存储单元120的测试单元142读出存储的训练数据以使用多条训练数据中的一些训练数据作为测试数据。例如，测试单元142使用在训练数据中包含的特征矢量中的一些特征矢量作为测试数据。测试单元142也使用与特征矢量中的一些特征矢量对应的输出特征值作为测试数据。

测试单元142向由模型生成单元130生成的训练的模型应用测试数据，并且测试训练的模型。测试单元142计算用于在减少输入的特征值在训练的模型中的影响的程度时产生的测试数据的预测结果。例如，测试单元142逐个减少在训练的模型中的用于输入特征值的权值，并且相应地计算对应预测结果。

连接到测试单元142的选择单元144基于训练的模型的测试结果选择其影响的程度将被减少的输入特征值。选择单元144使用测试数据以选择输入特征值，从而使得将在减少在训练的模型中的影响的程度时获得与目标输出特征值更接近的预测结果作为其影响的程度将被减少的输入特征值。

连接到选择单元144的确定单元146确定是否连续地执行以下操作：其中测试单元142执行测试的操作；以及其中选择单元144通过选择其影响的程度将被减少的输入特征值来修改训练的模型的操作。例如，在模型(在该模型中减少由选择单元144选择的输入特征值的影响的程度)的准确性落在用于训练的模型的准确性的预定范围中时，确定单元146停止对训练的模型的修改并且输出已经被修改的模型作为修改的模型。

根据以上描述的本实施例的生成装置100将与训练数据不同的测试数据应用于从训练数据生成的训练的模型，并且减少输入特征值在训练的模型中的影响，从而使得获得与测试数据的目标值更接近的预测值。也就是说，生成装置100确定训练数据特有的并且使预测值距测试数据的目标值更远的输入特征值是代表不适合用于预测的特有数据的输入特征值并且减少在训练的模型中的影响的程度。

图3图示了根据本实施例的生成装置100的操作流程的示例性配置。获取单元110获得训练数据(S210)。获取单元110可以通过用户输入来获得训练数据。在这一情况中，即使用户模糊地预先确定输入数据是否为特有数据，用户也优选地在这一阶段中输入所有获得的数据。

模型生成单元130根据获得的训练数据生成训练的模型(S220)。模型生成单元130对特征矢量执行线性回归/分类、非线性回归/分类等，并且生成训练的模型。模型生成单元130连接到存储单元120，并且可以在存储单元120中存储生成的训练的模型。

例如，模型生成单元130用待训练的权值中的对应权值对输入特征值中的每个输入特征值或者通过将第一预定函数应用于输入特征值中的每个输入特征值而获得的值进行加权，并且通过使用第二预定函数来转换它，由此生成为输出特征值计算预测值的训练的模型。模型生成单元130可以使用如下方法，该方法基于广义线性模型、用作广义线性模型的非线性扩展的内核回归/分类和具有用于广义线性模型的规则化的模型。在这一情况中，模型生成单元130可以使用根据使用的模型确定的第一函数和第二函数。

备选地，模型生成单元130可以生成计算预测值的训练的模型，该预测值根据输入特征值是否满足待训练的条件而不同。也就是说，模型生成单元130可以使用如下方法，比如回归树/判决树和随机森林，这些方法是用于回归树/判决树的总体学习方法。

例如，模型生成单元130使用由获取单元110获得的所有数据作为训练数据以生成训练的模型。备选地，模型生成单元130可以使用多条获得的数据中的一些获得的数据作为训练数据以生成训练的模型。模型生成单元130生成预测输出特征值的函数作为训练的模型。

训练数据包括与关于在区域B中的酒店的信息接近的高通用性的数据和与关于在区域B中的酒店的信息不同的、区域A特有的数据。训练的模型是通过学习这样的训练数据而生成的模型。因此，使用这样的训练的模型的关于在区域B中的酒店的信息的预测产生大量误差。

训练数据可以包括与关于在区域A中的酒店的将来信息接近的高通用性的数据，并且也可以包括与关于在区域中的酒店的将来信息不同的用于区域A的以往信息特有的数据。训练的模型是通过学习这样的训练数据而生成的模型。因此，使用训练的模型对用于区域A的将来信息等的预测产生大量误差。

除了训练数据之外，在预先获得信息(比如用于预测关于在区域B中的酒店的信息的测试数据和测试结果(即，与预测对应的目标值))时，有关技术的方法(比如转移学习)可以用来基于这样的信息适当地训练预测模型。然而，在获取单元110仅获得训练数据时，不能使用有关技术的这样的方法。

模型修改单元140假设由特有数据明显地影响的输入特征值，并且减少假设的输入特征值的影响以便生成修改的模型。也就是说，测试单元142使用由获取单元110获得的数据以测试训练的模型(S230)。

例如，测试单元142使用在训练数据中包含的特征矢量中的一些特征矢量作为测试数据。在模型生成单元130通过使用多条获得的数据中的一些获得的数据作为训练数据来生成训练的模型时，测试单元142可以使用包括其余数据的数据作为测试数据。在这一情况中，测试单元142可以使用互不重叠的训练数据和测试数据。也就是说，训练数据可以与测试数据不同。备选地，测试单元142可以使用相互重叠的训练数据和测试数据。

测试单元142将其至少部分与训练数据不同的测试数据应用于训练的模型，并且为与测试数据对应的输出特征值计算预测值。测试单元142比较测试数据的输出特征值(即，目标值)与预测结果。

在训练数据中，区域A特有的数据是与高通用性的数据比较的例外数据，比如用于其中仅在该区域中举行的活动使酒店费率增加的情况的数据、用于其中用于该区域特有的观光区域的旅游季节使酒店需求增加的情况的数据或者用于其中在该区域中意外地出现的灾难等使酒店未营业的情况的数据。也就是说，预计这样的例外数据在训练的模型中产生大预测误差。

因此，在训练数据和测试数据中的任一数据或者二者包括这样的例外数据时，通过使用训练的模型的预测为与测试数据对应的输出特征值而获得的预测结果相对于在测试数据中的输出特征值具有大误差。对照而言，在至少训练数据不包括这样的特有数据的情况中，即使在使用与训练数据不同的测试数据时，在来自训练的模型的预测结果与在测试数据中的输出特征值之间的误差在最坏情况中与在包括特有数据的情况比较也为小。

例如，当在训练数据中包括的特征矢量之中包括在其中反映酒店费率由于在特定入住日期举行的、该区域特有的特殊活动而增加这样的结果的特征矢量时，模型生成单元130生成输出如下预测结果的训练的模型，在该预测结果中反映这样的特有数据。在不包括这样的特有数据的测试数据被替换和应用于训练的模型时，误差在预测结果与在测试数据中的输出特征值之间出现。

也就是说，在预测结果与在测试数据中的输出特征值之间的误差是如下结果，在该结果中反映与测试数据不同的特有训练数据的影响。因此，测试单元142使用在测试数据中的输出特征值作为目标预测结果、计算在目标与来自训练的模型的预测结果之间的误差并且测试在与测试数据不同的数据中包括的特有数据的影响。

具体而言，测试单元142计算在逐个减少在训练的模型中的用于输入特征值的权值被获得的预测结果与目标预测结果之间的测试数据的误差。也就是说，例如，测试单元142计算在减少在训练的模型中的与“入住日期”的输入特征值对应的权值时获得的与测试数据对应的预测结果与目标预测结果之间的误差。然后，测试单元142计算在减少在训练的模型中的与“入住月份”的输入特征值对应的权值时获得的与测试数据对应的预测结果与目标预测结果之间的误差。

因此，测试单元142减少在训练的模型中的用于输入特征值中的每个输入特征值的权值，并且计算在对应预测结果与目标预测结果之间的误差。希望的是，测试单元142逐个减少与所有输入特征值对应的权值，并且计算在对应预测结果与目标预测结果之间的误差。在测试数据包括多个特征矢量时，测试单元142将特征矢量中的每个特征矢量应用于训练的模型、逐个减少与输入特征值对应的权值并且计算在对应预测结果与目标预测结果之间的误差。

选择单元144基于由测试单元142计算的误差选择其影响的程度将被减少的输入特征值(S240)。例如，对于测试数据，选择单元144选择在减少在训练的模型中的影响的程度时在预测结果与目标输出特征值之间产生更小误差的输入特征值作为其影响的程度将被减少的输入特征值。也就是说，选择单元144假设输入特征值(例如，入住日期)(该输入特征值的影响的程度的减少产生更小误差)代表在训练的模型的测试数据中不包括的特有训练数据，并且选择该输入特征值作为其影响的程度将被减少的输入特征值。

在测试数据包括多个特征矢量时，选择单元144选择输入特征值(该输入特征值的影响的程度的减少在由测试单元142为特征矢量计算的误差之中产生最小误差)作为其影响的程度将被减少的输入特征值。备选地，选择单元144可以获得用于多个特征矢量的误差的平均值，并且可以选择输入特征值(该输入特征值的影响的程度的减少在统计量(比如平均误差或者其它中值)的意义上产生更小误差)作为其影响的程度将被减少的输入特征值。

确定单元146根据是否提高预测模型(在该预测模型中减少与选择的输入特征值对应的权值)的预测结果的准确性来确定是否将连续地修改训练的模型(即，将指定其影响的程度将被减少或者删除的输入特征值)。例如，在预测模型的预测结果与目标输出特征值之间的误差未落在预定误差范围中时，确定单元146反复地执行其中测试训练的模型的步骤S230和其中选择输入特征值的步骤S240。也就是说，确定单元146使选择单元144进一步选择其影响的程度将被减少的输入特征值，直至获得如下修改的模型，在该修改的模型中提高训练的模型的准确性。

在这一情况中，选择单元144通过取训练的模型为初始预测模型来依次地减少影响的程度，由此选择输入特征值，从而使得预测结果与目标输出特征值更接近。每当选择输入特征值时，测试单元142相应地减少选择的输入特征值在预测模型的影响的程度以便生成修改的模型。也就是说，测试单元142在训练的模型中减少用于选择的输入特征值的权值的量值。

也就是说，选择单元144选择其影响的程度将在训练的模型中被减少的一个输入特征值(S240)。如果确定单元146确定将连续地修改训练的模型，则选择单元144向测试单元供应关于其影响的程度将被减少的输入特征值的信息。测试单元142修改预测模型作为新的训练的模型，从而使得减少用于选择的输入特征值的权值，并且测试修改的训练的模型(S230)。测试单元142可以修改在存储单元120中存储的训练的模型。备选地，可以存储与在存储单元中存储的训练的模型不同的修改的训练的模型。

测试单元142计算在逐个减少训练选择单元144在修改训练的模型之前尚未选择的输入特征值的影响的程度时获得的预测结果，并且也在修改的训练的模型中计算在目标与预测结果之间的误差。选择单元144选择其影响的程度将在修改的训练的模型中被减少的一个输入特征值(S240)。确定单元146反复地执行步骤S230和S240直至在预测模型(在该预测模型中减少选择的输入特征值在训练的模型中的影响的程度)的预测结果与目标输出特征值之间的误差落在预定误差范围中。

当在预测模型的预测结果与目标输出特征值之间的误差落在预定误差范围中时，确定单元146确定训练的模型的预测准确性被提高，并且输出预测模型作为修改的模型。通过执行以上描述的操作流程，根据本实施例的生成装置100获得修改的模型，在该修改的模型中减少在训练数据中的特有数据的影响的程度并且相对地增加高通用性的数据的影响的程度。因此，通过向修改的模型输入基于不同区域或者将来的数据，可以用高准确性获得用于不同区域或者将来的预测结果。

生成装置100可以从由获取单元110获得的数据生成训练数据和测试数据并且可以测试训练的模型。也就是说，生成装置100可以修改训练的模型而未使用训练数据以及比如测试数据和目标值的数据。

即使用户预先确定输入特征值是特有数据，也可优选的是生成装置100敢于使用输入特征值作为训练数据以执行测试。也就是说，在有可能实际使用被预先确定为特有的数据作为高通用性的数据时，通过使用这样的数据为特有这样的模糊确定(比如使用用户的经验和感觉的确定)来防止删除这样的数据。

描述了根据以上描述的本实施例的生成装置100，该生成装置100减少用于其影响的程度将被减少的输入特征值的权值。备选地，生成装置100可以将权值设置成零，或者可以删除和忽略用于输入特征值的项目。因此，生成装置100可以消除被假设为特有数据的输入特征值的影响，并且可以相对地增加高通用性的数据的影响。

在对根据以上描述的本实施例的生成装置100的描述中，给出了如下示例，在该示例中，选择单元144选择其影响的程度将被逐个减少的输入特征值。备选地，选择单元144可以按照降序对在减少权值时获得的预测结果与目标输出特征值之间的误差的改变进行排行，并且可以选择在从第一顺序到预定顺序的范围中的输入特征值作为其影响的程度将被减少的输入特征值。因此，在减少用于选择的输入特征值的权值之时，模型修改单元140修改训练的模，型从而实现减少直至提高预测准确性而需要的时间。

在根据以上描述的本实施例的生成装置100中，确定单元146基于在预测模型的预测结果与目标输出值之间的误差是否落在预定误差范围中来确定是否将连续地修改训练的模型。备选地，确定单元146可以响应于如下状态停止对训练的模型的修改，在该状态中，即使在连续地修改训练的模型时仍然不会减少在预测结果与目标输出特征值之间的误差。因此，确定单元146可以确定对训练的模型的修改是否收敛。

备选地，在确定单元146多次(次数是预定的)执行在步骤S230和S240中的操作之后，确定单元146可以停止对训练的模型的修改。确定单元146可以在未发现其影响的程度将被减少的输入特征值时停止对训练的模型的修改。

在对根据以上描述的本实施例的生成装置100的描述中，给出了其中模型生成单元130执行线性回归/分类以生成训练的模型的情况。备选地，模型生成单元130可以执行另一种一般方法(比如非线性回归/分类)以生成训练的模型。

在这一情况中，例如，在是否满足通过训练而获得的条件依赖于在训练的模型中的选择的输入特征值的情况中，在满足条件的频率在训练数据和测试数据中的至少任一数据中高于不满足条件的频率时，测试单元142假设无论选择的输入特征值如何都满足条件。测试单元142修改训练的模型从而使得在不满足条件的频率高于满足条件的频率时无论选择的输入特征值如何都不满足条件，并且生成修改的模型。

将描述在模型生成单元130中生成的基于树的回归模型的示例。例如，在条件g_C(x₁,x₂,x₃)等于1(g_C(x₁,x₂,x₃)＝＝1)时，其中x₁、x₂、x₃是输入特征值，模型生成单元130基于函数f_C(Y_train,x₁,x₂,x₃)输出y。

在这一情况中，在条件g₀(X₁,x₂,X₃)等于1(g₀(X₁,x₂,X₃)＝＝1)的频率高于条件g₀(X₁,x₂,X₃)等于0(g₀(X₁,x₂,X₃)＝＝0)并且输出y对于X1和X3为恒定时，测试单元142删除x₂(减少输入特征值x₂的影响的程度)，并且将修改的训练模型的条件设置成条件g'₀(X₁,X₃)＝＝1。在条件g₀(X₁,x₂,X₃)等于1的频率低于g₀(X₁,x₂,X₃)等于0时，测试单元142将修改的训练模型的条件设置成条件g'₀(X₁,X₃)＝＝0。

因此，对于通过执行方法(比如非线性回归/分类)而生成的训练的模型，模型修改单元140可以选择和修改输入特征值从而使得通过使用测试数据而产生的预测结果与输出特征值更接近，并且可以生成修改的模型。

在对根据以上描述的本实施例的生成装置100的描述中，给出了其中选择单元144选择其影响的程度将被减少的输入特征值的示例。备选地，生成装置100可以用这样的方式向用户显示相对于与输入特征值对应的目标值而出现的并且由测试单元142计算的误差的改变，该方式为这些改变与其影响的程度已经被减少的输入特征值关联。然后，用户可以选择其影响的程度将被减少的输入特征值。在这一情况中，用户可以选择多个输入特征值。

因此，用户可以校验在减少输入值的影响时出现的误差的改变，并且可以在校验之后选择其影响的程度将被减少的输入特征值。因此，根据本实施例的生成装置100可以使得用户基于目标指示符执行选择，并且可以减少依赖于用户的体验和感觉的工作。

图4图示了根据本实施例的生成装置100的示例性修改。在修改的实施例的生成装置100中，用相同标号标示而将不会描述具有与根据图2中所示的本实施例的生成装置100的操作基本上相同的操作的部件。修改的实施例的生成装置100还包括预测单元150。

预测单元150向修改的模型输入尚未被删除的并且在多个输入特征值之中的输入特征值，并且计算预测值。也就是说，连接到模型修改单元140的预测单元150通过使用从模型修改单元140接收的修改的模型来计算输出特征值。

例如，预测单元150输入数据(在该数据中，输入特征值中的一些输入特征值(比如日期、客人数目、设施和计划)与训练数据不同)，并且计算输出特征值。在这一情况中，即使在修改和输入其影响的程度被设置成零或者被模型修改单元140删除的输入特征值时，结果也不反映修改的输入特征值。因此，预测单元150改变尚未被删除的输入特征值，并且输入它。

预测单元150可以使用根据用户想要预测的将来新预备的数据以计算输出特征值。在这一情况中，预测单元150可以连接到获取单元110，并且可以接收由获取单元110获得的新用户数据。因此，生成装置100可以使用例如通过基于训练数据修改训练的模型而获得的修改的模型以计算用于在区域A中的酒店的将来的预测值和用于在区域B中的酒店的将来的预测值。

根据修改的实施例的生成装置100的模型修改单元140具有影响减少单元148而不是确定单元146。连接到选择单元144的影响减少单元148接收由选择单元144选择的输入特征值。

选择单元144从输入特征值选择具有高优先级的输入特征值，从而使得预测结果当在训练模型中减少影响的程度时与目标输出特征值更接近，并且使用它们作为其影响的程度将在预测模型中被减少的输入特征值。例如，选择单元144按照降序对各自在预测结果与目标输出特征值之间产生更小误差的输入特征值排行，并且选择在从第一顺序到预定顺序的范围中的输入特征值作为其影响的程度将被减少的输入特征值。

选择单元144可以根据误差的改变的量值改变选择的输入特征值的数目。例如，在其误差与其它输入特征值比较明显地为小的输入特征值存在时，选择单元144可以选择输入特征值作为在选择的输入特征值之中的一个值。备选地，选择单元144可以在误差中的每个误差的改变小于(大于)预定值时减少(增加)选择的值的数目。

影响减少单元148接收由选择单元144选择的输入特征值，并且生成其中输入特征值的影响的程度被减少的预测模型以输出它作为修改的模型。因此，模型修改单元140可以快速地生成修改的模型。

图5图示了根据本实施例的用作生成装置100的计算机1900的示例性硬件配置。根据本实施例的计算机1900包括：CPU外围部，该CPU外围部2000具有经由主机控制器2082相互连接的CPU2000、RAM2020、图形控制器2075和显示装置2080；输入/输出部，该输入/输出部具有经由输入/输出控制器2084连接到主机控制器2082的通信接口2030、硬盘驱动2040和DVD驱动2060；以及旧式输入/输出部，该旧式输入/输出部具有连接到输入/输出控制器2084的ROM2010、软盘驱动2050和输入/输出芯片2070。

主机控制器2082将RAM2020连接到用高传送速率访问RAM2020的CPU2000和图形控制器2075。CPU2000基于在ROM2010和RAM2020中存储的程序操作，并且控制这些单元。图形控制器2075在RAM2020中提供的帧缓冲器上获得由CPU2000等生成的图像数据，并且在显示装置2080上显示它。备选地，图形控制器2075可以包括帧缓冲器，该帧缓冲器存储由CPU2000等在图形控制器2075以内生成的图像数据。

输入/输出控制器2084将主机控制器2082连接到通信接口2030、硬盘驱动2040和DVD驱动2060，该通信接口2030、硬盘驱动1040和DVD驱动2060是相对高速输入/输出装置。通信接口2030经由网络与其它装置通信。硬盘驱动2040存储由在计算机1900中的CPU2000使用的程序和数据。DVD驱动2060从DVD-ROM2095读出程序或者数据，并且经由RAM2020提供用于硬盘驱动2040的程序或者数据。

输入/输出控制器2084连接到ROM2010和相对低速输入/输出装置，即，软盘驱动2050和输入/输出芯片2070。ROM2010存储在计算机1900启动时被执行的引导程序、依赖于计算机1900的硬件的程序等。软盘驱动2050从软盘2090读出程序或者数据，并且经由RAM2020提供用于硬盘驱动2040的程序或者数据。输入/输出芯片2070将软盘驱动2050连接到输入/输出控制器2084，并且经由并行端口、串行端口、键盘端口、鼠标端口等将各种输入/输出装置连接到输入/输出控制器2084。

经由RAM2020为硬盘驱动2040提供的程序存储于记录介质(比如软盘2090、DVD-ROM2095或者IC卡)中，并且是为用户而提供的。程序从记录介质被读出、经由RAM2020安装于在计算机1900中的硬盘驱动2040中，并且由CPU2000执行。

程序安装于计算机1900中，并且使计算机1900作为获取单元110、存储单元120、模型生成单元130、模型修改单元140和预测单元150工作。

通过向计算机1900读出程序，在程序中描述的信息处理作为其中软件和以上描述的各种硬件资源相互配合的具体装置(即，获取单元110、存储单元120、模型生成单元130、模型修改单元140和预测单元150)工作。具体装置根据对根据本实施例的计算机1900的使用来实现对信息的计算或者处理，由此构造根据该使用的具体生成装置100。

例如，在计算机1900与外部装置通信时，CPU2000执行在RAM2020上加载的通信程序，并且指令通信接口2030以基于在通信程序中描述的过程执行通信。在CPU2000的控制之下，通信接口2030读出在存储装置(比如RAM2020、硬盘驱动2040、软盘2090或者DVD-ROM2095)上提供的传输缓冲器等中存储的传输数据，以向网络发送它，或者在存储装置上提供的接收缓冲器等上写入从网络接收的数据。因此，通信接口2030可以通过使用直接存储器存取(DMA)来从/向存储装置传送接收/发送的数据。备选地，CPU2000可以从作为传送源的存储装置或者通信接口2030读出数据，并且可以在作为传送目的地的通信接口2030或者存储装置中写入数据，从而使得传送接收/发送的数据。

CPU2000使在外部存储装置(比如硬盘驱动2040、DVD驱动2060(DVD-ROM2095)或者软盘驱动2050(软盘2090))中存储的文件、数据库等的全部或者必需部分通过DMA传送等被写入到RAM2020，并且对在RAM2020上的数据执行各种过程。CPU2000通过DMA传送等向外部装置回写已经被处理的数据。在这样的过程中，RAM2020可以被视为暂时地保持来自外部装置的数据的存储装置。因而，在本实施例中，RAM2020、外部存储装置等被统称为存储器、存储单元、存储装置等。在本实施例中的各种类型的信息(比如各种程序、数据、表和数据库)被存储于这样的存储装置上，并且是信息处理的目标。CPU2000可以在高速缓存存储器上保持在RAM2020中的信息中的一些条信息，并且可以读取和写入在高速缓存存储器上的信息。在这样的配置中，高速缓存存储器作为RAM2020的一部分工作。因而，在本实施例中，除了被区分之外，也在RAM2020、存储器和/或存储装置中包括高速缓存存储器。

CPU2000对从RAM2020读出的数据执行各种过程并且向RAM2020回写数据，这些过程包括在本实施例中描述的各种计算、信息处理、条件确定和搜索/替换信息并且通过使用在程序中的指令序列被指定。例如，在执行条件确定时，CPU2000比较在本实施例中描述的各种变量与其它变量或者常数，并且确定是否满足条件，比如“大于”、“小于”、“等于或者大于”、“等于或者小于”或者“等于”。如果满足(或者不满足)条件，则该过程分叉到不同指令序列或者调用子例程。

CPU2000可以搜寻在存储装置中的文件、数据库等中存储的信息。例如，在多个条目(在这些条目中，第一属性的值和第二属性的值相互关联)存储于存储装置中的情况中，CPU2000在存储装置中存储的多个条目之中搜寻与指定第一属性的值的条件匹配的条目，并且读出在该条目中存储的第二属性的值。因而，可以获得与满足预定条件的第一属性对应的第二属性的值。

以上描述的程序或者模块可以存储于外部记录介质中。作为记录介质，可以使用软盘2090和DVD-ROM209以及光记录介质(比如DVD、Blue-ray^TM或者CD)、磁光记录介质(比如磁光(MO)盘、带介质、半导体存储器(比如IC卡)等。为连接到专用通信网络或者因特网的服务器系统而提供的存储装置(比如硬盘或者RAM)可以用作记录介质，并且可以经由网络为计算机1900提供程序。

如以上描述的那样，通过使用该实施例来描述本发明。然而，本发明的技术范围不限于在该实施例中描述的范围。本领域技术人员清楚的是可以对以上描述的实施例进行各种改变或者改进。从对权利要求范围的描述中清楚的是也在本发明的技术范围中包括对其进行这样的改变或者改进的实施例。

在过程(比如操作、程序、步骤、阶段等)在权利要求的范围、说明书和附图中描述的装置、系统、程序和方法中的执行顺序中，未特别地指示“在……前”、“在……之前”等。此外，只要在后续过程中不使用先前过程的输出，就应当注意可以按照任何顺序执行过程。即使在为了方便而通过使用“首先”、“接着”等来描述在权利要求的范围、说明书和附图中的操作流程时，也不意味着有必要按照这一顺序执行过程。

[标号列表]

100：生成装置

110：获取单元

120：存储单元

130：模型生成单元

140：模型修改单元

142：测试单元

144：选择单元

146：确定单元

148：影响减少单元

150：预测单元

1900：计算机

2000：CPU

2010：ROM

2020：RAM

2030：通信接口

2040：硬盘驱动

2050：软盘驱动

2060：DVD驱动

2070：输入/输出芯片

2075：图形控制器

2080：显示装置

2082：主机控制器

2084：输入/输出控制器

2090：软盘

2095：DVD-ROM

Claims

1.一种基于训练数据生成预测模型的生成装置，包括：

模型生成单元，所述模型生成单元通过使用所述训练数据的训练来生成从多个输入特征值预测输出特征值的训练的模型，所述训练数据是以往输出特征值和输入特征值的集合；以及

模型修改单元，所述模型修改单元减少所述多个输入特征值中的一些输入特征值在生成的所述训练的模型中的影响的程度并且生成在预测测试数据中实际使用的修改的模型。

2.根据权利要求1所述的生成装置，

其中所述模型修改单元在生成的所述训练的模型中删除所述多个输入特征值中的一些输入特征值并且生成所述修改的模型。

3.根据权利要求1或者2所述的生成装置，

其中所述模型修改单元包括：

测试单元，所述测试单元通过使用测试数据来测试所述训练的模型，所述测试数据的至少部分与所述训练数据不同；以及

选择单元，所述选择单元基于所述训练的模型的测试结果选择其影响的程度将被减少的输入特征值。

4.根据权利要求3所述的生成装置，

其中所述选择单元选择在所述测试数据中的输入特征值作为其影响的程度将被减少的输入特征值，选择的所述输入特征值是其在所述训练的模型中的影响的程度的减少使预测结果与目标输出特征值更接近的值。

5.根据权利要求4所述的生成装置，

其中所述选择单元使用所述训练的模型作为初始预测模型以逐个选择输入特征值，选择的所述输入特征值是其影响的程度的减少使预测结果与所述目标输出特征值更接近的值，以及

其中每当选择输入特征值时，所述测试单元通过减少选择的所述输入特征值在所述预测模型中的影响的程度来生成所述修改的模型。

6.根据权利要求3或者4所述的生成装置，

其中所述选择单元在所述多个输入特征值之中选择具有高优先级的输入特征值作为其影响的程度在所述预测模型中将被减少的输入特征值，选择的所述输入特征值是其在所述训练的模型中的影响的程度的减少使预测结果与目标输出特征值更接近的值。

7.根据权利要求3至6中的任一权利要求所述的生成装置，

其中所述模型生成单元生成所述训练的模型，所述训练的模型用待用待训练的多个权值中的对应权值对所述多个输入特征值中的每个输入特征值或者通过将所述多个输入特征值中的每个输入特征值应用于预定第一函数而获得的值进行加权，并且进一步通过使用预定第二函数转换加权的所述值来计算用于输出特征值的预测值，以及

其中所述测试单元在所述训练的模型中减少用于选择的所述输入特征值的权值的量值。

8.根据权利要求3至6中的任一权利要求所述的生成装置，

其中所述模型生成单元生成所述训练的模型，所述训练的模型根据所述多个输入特征值是否满足待训练的条件来计算不同预测值，

其中，在是否满足通过训练而获得的条件依赖于在所述训练的模型中的选择的输入特征值的情况中，在所述训练数据和所述测试数据中的至少任一数据中、满足所述条件的频率高于不满足所述条件的频率时，所述测试单元假设在无论选择的输入特征值如何都满足所述条件，并且在不满足所述条件的频率高于满足所述条件的频率时，所述测试单元以无论选择的所述输入特征值如何都不满足所述条件这样的方式修改所述训练的模型并且生成修改的模型。

9.根据权利要求1至8中的任一权利要求所述的生成装置，还包括：

预测单元，所述预测单元向所述修改的模型输入在所述多个输入特征值之中的尚未被删除的输入特征值并且计算预测值。

10.一种用于基于训练数据生成预测模型的生成方法，所述方法包括：

通过使用所述训练数据的训练来生成从多个输入特征值预测输出特征值的训练的模型，所述训练数据是以往输出特征值和输入特征值的集合；以及

减少所述输入特征值中的一些输入特征值在生成的所述训练的模型中的影响的程度并且生成在预测测试数据中实际使用的修改的模型。