CN111444935A - 学习方法、计算机可读记录介质和学习装置 - Google Patents

Abstract

提供了学习方法、计算机可读记录介质和学习装置。学习装置对学习模型的至少一个参数进行学习，使得每个中间特征量变得与参考特征量相似，每个中间特征量是作为将多个扩充训练数据集输入至学习模型中的第一神经网络的结果而计算的，多个扩充训练数据是通过基于相同的第一原始训练数据执行数据扩充而生成的。学习装置使用不同于第一原始训练数据的第二原始训练数据并且使用参考特征量来学习学习模型中的第二网络的至少一个参数。

Description

学习方法、计算机可读记录介质和学习装置

技术领域

本文讨论的实施方式涉及学习方法。

背景技术

在学习深度学习模型的情况下，训练数据(学习数据)的量是显著地有助于性能的因素，因此期望具有尽可能大的训练数据量。如果训练数据变得不足，并且如果将训练数据中不可用的类型的应用数据应用于使用训练数据所学习的深度学习模型，则很可能不能获取适当的输出结果，并且学习以失败结束。

在使用用户数据的业务状况下，鉴于存在泄露合同协议或信息的风险，难以永久保存特定的用户数据或将其在其他用户任务中共享。因此，存在训练数据变得不足的情况。

当训练数据变得不足时，惯常的做法是执行数据扩充。数据扩充包括诸如噪声添加、平行移动和数据缺失的处理；并且训练数据的范围可以被扩展到应用数据的范围。

已知以下常规技术，其中保存作为将原始训练数据输入至深度学习模型的结果而获取的中间特征量，从而在重新学习深度学习模型时可用的数据量增加，而不必保存原始的训练数据。

图18是用于说明常规技术的图。参照图18，深度学习模型10包括第一神经网络(NN)10a和第二神经网络(NN)10b。在将训练数据输入至第一NN 10a时，第一NN 10a计算中间特征量。在将中间特征量输入至第二NN 10b时，第二NN 10b计算输出标签。假设已经使用数据库10P中存储的用户P的多个训练数据集学习了第一NN 10a和第二NN 10b的参数。当学习结束时，将数据库10P中的信息返回给用户P(或销毁)。

例如，在将训练数据xP1输入至第一NN 10a时，计算中间特征量zP1。在将中间特征量zP1输入至第二NN 10b时，计算输出标签yP1'。在常规技术中，在返回数据库10P中的信息之前，根据训练数据xP1计算的中间特征量zP1被存储在数据库13中。此外，在常规技术中，根据存储在数据库10P中的其他训练数据集计算的中间特征量也被存储在数据库13中。

随后，在常规技术中，使用其中存储有用户Q的多个训练数据集的数据库11Q并使用数据库13来学习(顺次地学习)新的深度学习模型11。深度学习模型11包括第一NN 11a和第二NN 11b。在常规技术中，将第一NN 10a中已学习的参数设置为第一NN 11a的参数。类似地，将第二NN 10b中已学习的参数设置为第二NN 11b的参数。

例如，在将数据库11Q中的训练数据xQ1输入至第一NN 11a时，计算中间特征量zQ1。在将中间特征量zQ1输入至第二NN 11b时，计算输出标签yQ1'。在常规技术中，学习第二NN 11b的参数以确保输出标签yQ1'逼近正确标签(未示出)。

此外，在将中间特征量zP1从数据库13输入至第二NN 11b时，计算输出标签yP1'。在常规技术中，学习第二NN 11b的参数以确保输出标签yP1'逼近正确标签(未示出)。

如上所述，在常规技术中，在学习第二NN 11b的参数的情况下，使用根据数据库11Q中所存储的训练数据计算的中间特征量并且使用在数据库13中存储的中间特征量来执行所述学习。因此，即使数据库10P被返回给用户P(或被销毁)，也有可能在学习新的深度学习模型时增加可用的数据量。

[非专利文献1]Utako Yamamoto等人，“Deformation estimation of an elasticobject by partial observation using a neural network”。

在使用参照图18说明的常规技术来学习深度学习模型的情况下，如果存储有根据多个经数据扩充的训练数据集所计算的所有中间特征量，则存储的数据量较大。

图19和图20是用于说明常规技术中面临的问题的图。参照图19给出以下说明。在常规技术中，作为针对存储在数据库10P中的原始训练数据xP1执行数据扩充的结果，生成训练数据集xP1.1、xP1.2和xP1.3。在常规技术中，在将训练数据集xP1.1、xP1.2和xP1.3分别输入至第一NN 10a时，分别计算中间特征量zP1.1、zP1.2和zP1.3。然后，在常规技术中，在将中间特征量zP1.1、zP1.2和zP1.3分别输入至第二NN 10b时，分别计算输出标签yP1.1'、yP1.2'和yP1.3'。

在常规技术中，中间特征量zP1.1、zP1.2和zP1.3被存储在数据库13中。在本文中，如果针对存储在数据库10P中的每个原始训练数据集执行数据扩充，则每个经数据扩充的训练数据集的所有中间特征量都被存储在数据库13中，从而导致数据量增加。

通常，在学习深度学习模型的情况下，优选地具有尽可能大的训练数据量。然而，如果不将通过对特定原始训练数据进行数据扩充而获取的训练数据的中间特征量的分布与通过对另外的一些原始训练数据进行数据扩充而获取的训练数据的中间特征量的分布分离开，则即便使用了那些中间特征量，也无法适当地分离通过将中间特征量输入至第二NN 10b而获取的输出标签，从而可能导致学习准确性的下降。因此，并非总是执行数据扩充以在数据库13中存储尽可能大的训练数据量的情况。

参照图20给出以下说明。为了减小数据库13中存储的数据量，可以考虑仅减少中间特征量。在图20中示出的示例中，从中间特征量zP1.1、zP1.2和zP1.3之中省略了zP1.1和zP1.2。然而，如果根据此方法减少中间特征量，则实现了数据扩充的效果，而深度学习模型的学习准确性会下降。也就是说，即使训练数据xQ1经过数据扩充而生成经数据扩充的训练数据xQ1.1、xQ1.2和xQ1.3，也不能连续利用作为使用深度学习模型10对训练数据xP1进行数据扩充的结果而实现的效果。同时，在将扩充后的训练数据集Q1.1、xQ1.2和xQ1.3输入至第一NN 11a时，分别计算中间特征量zQ1.1、zQ1.2和zQ1.3。在将中间特征量zQ1.1、zQ1.2和zQ1.3输入至第二NN 11b时，分别计算输出标签yQ1.1'、yQ1.2'和yQ1.3'。

因此，本发明的实施方式的一个方面的目的是提供能够连续地使用经数据扩充的训练数据的特征量并且能够实现深度学习模型的学习准确性的提高的学习方法、学习程序和学习装置。

发明内容

根据实施方式的一方面，一种学习方法，包括：对学习模型的至少一个参数进行第一学习，使得每个中间特征量变得与参考特征量相似，每个中间特征量是作为将多个扩充训练数据集输入至学习模型中的第一神经网络的结果而计算的，并且多个扩充训练数据是通过基于相同的第一原始训练数据执行数据扩充而生成的；以及使用不同于第一原始训练数据的第二原始训练数据并且使用参考特征量对学习模型中的第二网络的至少一个参数进行第二学习。

附图说明

图1是用于说明在根据第一实施方式的学习装置中执行的操作的图(1)；

图2是用于说明在根据第一实施方式的学习装置中执行的操作的图(2)；

图3是用于说明在根据第一实施方式的学习装置中执行的操作的图(3)；

图4是用于说明在根据第一实施方式的学习装置中执行的操作的图(4)；

图5是示出根据第一实施方式的学习装置的配置的功能框图；

图6是示出根据第一实施方式的学习数据库的示例性数据结构的图；

图7是示出根据第一实施方式的扩充训练数据表的示例性数据结构的图；

图8是示出根据第一实施方式的参数表的示例性数据结构的图；

图9是示出根据第一实施方式的参考特征量数据库的示例性数据结构的图；

图10是示出根据第一实施方式的中间特征量数据库的示例性数据结构的图；

图11是用于说明数据扩充的示例的图；

图12是用于说明在根据第一实施方式的学习装置中执行的操作序列的流程图；

图13是用于说明在根据第一实施方式的学习装置中实现的效果的图；

图14是用于说明在学习装置中执行的另一操作(1)的示例的图(1)；

图15是用于说明在学习装置中执行的另一操作(1)的示例的图(2)；

图16是用于说明在学习装置中执行的另一操作(2)的图；

图17是示出实现与根据实施方式的学习装置相同的功能的计算机的示例性硬件配置的图；

图18是用于说明常规技术的图；

图19是用于说明常规技术中面临的问题的图(1)；以及

图20是用于说明常规技术中面临的问题的图(2)。

具体实施方式

将参照附图说明本发明的优选实施方式。然而，本发明不限于这些实施方式。

[a]第一实施方式

图1至图4是用于说明在根据第一实施方式的学习装置中执行的操作的图。参照图1给出以下说明。参照图1，深度学习模型50包括第一NN 50a和第二NN 50b。第一NN 50a是当向其输入训练数据集时计算中间特征量的神经网络。第二NN 50b是当向其输入中间特征量时计算输出标签的神经网络。数据库140P用于存储用户P的原始训练数据。例如，数据库140P用于存储训练数据集xP1和xP2。此外，数据库140P还可以用于存储其他训练数据。

学习装置分别针对训练数据集xP1和xP2执行数据扩充，并生成训练数据集xP1.1和xP2.1。然后，学习装置将训练数据xP1.1输入至第一NN 50a，并计算中间特征量zP1.1。类似地，学习装置将训练数据xP2.1输入至第一NN 50a，并计算中间特征量zP2.1。

随后，学习装置将中间特征量zP1.1输入至第二NN 50b，并计算输出标签yP1.1'。类似地，学习装置将中间特征量zP2.1输入至第二NN 50b，并计算输出标签yP2.1'。

然后，学习装置计算训练数据xP1的输出标签yP1.1'与正确标签(未示出)之间的误差。此外，学习装置计算训练数据xP2的输出标签yP2.1'与正确标签(未示出)之间的误差。随后，学习装置实施反向传播法，并学习第一NN 50a的参数和第二NN 50b的参数，以确保误差变得更小。

此外，学习装置计算训练数据xP1的中间特征量zP1.1与参考特征量zP1之间的相似度。类似地，学习装置计算训练数据xP2的中间特征量zP2.1与参考特征量zP2之间的相似度。然后，学习装置实施反向传播法，并学习第一NN 50a的参数以及参考特征量zP1和zP2，以确保相似度变得更高。

参照图2给出以下说明。学习装置分别针对训练数据集xP1和xP2执行数据扩充，并生成训练数据集xP1.2和xP2.2。然后，学习装置将训练数据xP1.2输入至第一NN 50a并计算中间特征量zP1.2。类似地，学习装置将训练数据xP2.2输入至第一NN 50a并计算中间特征量zP2.2。

随后，学习装置将中间特征量zP1.2输入至第二NN 50b并计算输出标签yP1.2'。类似地，学习装置将中间特征量zP2.2输入至第二NN 50b，并计算输出标签yP2.2'。

然后，学习装置计算训练数据xP1的输出标签yP1.2'与正确标签(未示出)之间的误差。类似地，学习装置计算训练数据xP2的输出标签yP2.2'与正确标签(未示出)之间的误差。随后，学习装置实施反向传播法，并学习第一NN 50a的参数和第二NN 50b的参数，以确保误差变得更小。

此外，学习装置计算训练数据xP1的中间特征量zP1.2与参考特征量zP1之间的相似度。类似地，学习装置计算训练数据xP2的中间特征量zP2.2与参考特征量zP2之间的相似度。然后，学习装置实施反向传播法，并学习第一NN 50a的参数以及参考特征量zP1和zP2，以确保相似度变得更高。

学习装置针对存储在数据库140P中的其他训练数据集以重复的方式执行上述操作，并且学习第一NN的参数、第二NN的参数以及与各个训练数据集对应的参考特征量。所学习的参考特征量(zP1、zP2以及其他原始数据集的参考特征量(未示出))被存储在参考特征量数据库144中。

参照图3给出以下说明。当深度学习模型50的学习结束时，将存储在数据库140P中的信息返回给用户P或将该信息销毁。学习装置使用在深度学习模型50中学习的第一NN50a的参数、在深度学习模型50中学习的第二NN 50b的参数、存储在参考特征量数据库144中的参考特征量以及用户Q的原始训练数据来顺次地学习深度学习模型51。用户Q的原始训练数据被存储在数据库140Q中。

深度学习模型51包括第一NN 51a和第二NN 51b。学习装置将第一NN 50a中已学习的参数设置为第一NN 51a的参数。类似地，学习装置将第二NN 50b中已学习的参数设置为第二NN 51b的参数。在深度学习模型51中，不学习第一NN 51a的参数。

然后，学习装置将存储在数据库140Q中的训练数据xQ1输入至第一NN 51a、计算中间特征量zQ1并将其存储在中间特征量数据库145Q中。类似地，学习装置将存储在数据库140Q中的训练数据xQ2输入至第一NN 51a、计算中间特征量zQ2并将其存储在中间特征量数据库145Q中。

此外，学习装置将存储在参考特征量数据库144中的参考特征量zP1输入至第二NN51b并计算输出标签yP1'。类似地，学习装置将存储在参考特征量数据库144中的参考特征量zP2输入至第二NN 51b，并计算输出标签yP2'。另外，学习装置将存储在中间特征量数据库145Q中的中间特征量zQ1输入至第二NN 51b并计算输出标签yQ1'。类似地，学习装置将存储在中间特征量数据库145Q中的中间特征量zQ2输入至第二NN 51b并计算输出标签yQ2'。

然后，学习装置计算输出标签yP1'与正确标签(未示出，以下相同)之间的误差。类似地，学习装置计算输出标签yP2'与正确标签之间的误差。此外，学习装置计算输出标签yQ1'与正确标签之间的误差。类似地，学习装置计算输出标签yQ2'与正确标签之间的误差。随后，学习装置实施反向传播法并学习第二NN 51b的参数，以确保误差变得更小。

学习装置还针对存储在数据库140Q中的其他训练数据集以重复的方式执行上述操作，并且学习第二NN 51b的参数。当深度学习模型51的学习结束时，学习装置将数据库140Q中的信息返回给用户Q，或者销毁该信息。

参照图4给出以下说明。学习装置使用用户R的原始训练数据并使用其他数据顺次地学习深度学习模型52。在本文中，原始训练数据集xR1和xR2被存储在数据库140R中。在数据库140R中，也可以存储用户R的其他训练数据。

其他数据包含利用深度学习模型50学习的第一NN 50a的参数、利用深度学习模型51学习的第二NN 51b的参数、参考特征量数据库144中的参考特征量以及中间特征量数据库145Q中的中间特征量。

深度学习模型52包括第一NN 52a和第二NN 52b。学习装置将第一NN 50a(或第一NN 51a)的已学习的参数设置为第一NN 52a的参数。类似地，学习装置将第二NN 51b的已学习的参数设置为第二NN 52b的参数。

然后，学习装置将存储在数据库140R中的训练数据xR1输入至第一NN 52a、计算中间特征量zR1并将其存储在中间特征量数据库145R中。类似地，学习装置将存储在数据库140R中的训练数据xR2输入至第一NN 52a、计算中间特征量zR2并将其存储在中间特征量数据库145R中。

随后，学习装置将存储在参考特征量数据库144中的参考特征量zP1输入至第二NN52b，并计算输出标签yP1'。类似地，学习装置将存储在参考特征量数据库144中的参考特征量zP2输入至第二NN 52b，并计算输出标签yP2'。此外，学习装置将存储在中间特征量数据库145Q中的中间特征量zQ1输入至第二NN 52b，并计算输出标签yQ1'。类似地，学习装置将存储在中间特征量数据库145Q中的中间特征量zQ2输入至第二NN 52b，并计算输出标签yQ2'。

然后，学习装置计算输出标签yP1'与正确标签(未示出，以下相同)之间的误差。类似地，学习装置计算输出标签yP2'与正确标签之间的误差。此外，学习装置计算输出标签yQ1'与正确标签之间的误差。类似地，学习装置计算输出标签yQ2'与正确标签之间的误差。另外，学习装置计算输出标签yR1'与正确标签之间的误差。类似地，学习装置计算输出标签yR2'与正确标签之间的误差。然后，学习装置实施反向传播法并学习第二NN52b的参数，以确保误差变得更小。

学习装置还针对存储在数据库140R中的其他训练数据以重复的方式执行上述操作，并且学习第二NN 52b的参数。当深度学习模型52的学习结束时，学习装置将数据库140R的信息返回给用户R，或者销毁该信息。

如上所述，在第一轮学习期间，根据第一实施方式的学习装置学习第一NN的参数并学习参考特征量，以确保通过将经数据扩充的训练数据输入至第一NN而获取的中间特征量逼近各自的参考特征量。在第二轮中执行的顺次学习期间，学习装置利用在第一轮学习期间学习的参考特征量，并使用新的训练数据来学习第二NN的参数。每个参考特征量可以被称为通过对原始训练数据进行数据扩充而获取的多个训练数据集的代表性中间特征量。在每个经数据扩充的训练数据集中有用的信息在对应的参考特征量中仍然可用。因此，如果使用参考特征量来执行对第二NN的顺次学习，则可以减少数据量并同时连续使用经数据扩充的训练数据的特征量，从而能够实现深度学习模型的学习准确性的提高。

下面给出根据第一实施方式的学习装置的示例性配置的说明。图5是示出根据第一实施方式的学习装置的配置的功能框图。如图5所示，学习装置100包括通信单元110、输入单元120、显示单元130、存储单元140以及控制单元150。

通信单元110是经由网络执行与外部装置(未示出)的数据通信的处理单元。通信单元110对应于通信装置。例如，通信单元110从每个用户的外部装置接收关于学习数据库141(稍后描述)的信息。此外，控制单元150(稍后描述)与外部装置进行数据通信。

输入单元120是用于将各种信息输入到学习装置100的输入装置。例如，输入单元120对应于键盘、鼠标或触敏面板。

显示单元130是对从控制单元150输出的各种信息进行显示的显示装置。例如，显示单元130对应于液晶显示器或触敏面板。

存储单元140包括学习数据库141、扩充训练数据表142、参数表143、参考特征量数据库144以及中间特征量数据库145。存储单元140对应于诸如随机存取存储器(RAM)、只读存储器(ROM)或闪存的半导体存储器装置，或者诸如硬盘驱动器(HDD)的存储装置。

学习数据库141用于存储由每个用户通知的数据库的信息。例如，由用户通知的数据库对应于数据库140P、140Q和140R。学习数据库141用于存储数据库140P、140Q和140R中的任何一个的信息，并使用所存储的数据库来学习深度学习模型。在学习结束之后，当接收到返回指令或销毁指令时，删除存储在学习数据库141中的目标信息。

图6是示出根据第一实施方式的学习数据库的示例性数据结构的图。如图6所示，在学习数据库141中，以对应的方式保存数据编号、训练数据和正确标签。数据编号是唯一分配给每个原始训练数据集的编号。例如，训练数据“xP1”具有与其关联的正确标签“yP1”，并且具有分配至其的数据编号“p001”。

扩充训练数据表142是用于保存已经基于原始训练数据进行了数据扩充的训练数据的表。图7是示出根据第一实施方式的扩充训练数据表的示例性数据结构的图。如图7所示，在扩充训练数据表142中，以相应的方式保存数据编号、经数据扩充的训练数据和正确标签。数据编号是使得能够唯一识别用作数据扩充的基础的每个原始训练数据集的编号。与经数据扩充的训练数据集对应的正确标签是与对应于数据编号的原始训练数据关联的正确标签。

参数表143是用于保存第一NN的参数和第二NN的参数的表。图8是示出根据第一实施方式的参数表的示例性数据结构的图。如图8所示，在参数表143中，以对应的方式保存识别信息和参数。识别信息使得能够识别每个神经网络。参数表示在每个神经网络中设置的参数。神经网络具有多个层，并且每个层包括由边缘链接的多个节点。每个层具有被称为激活函数的函数，并且具有偏差值。边缘具有分配至其的权重。在第一实施方式中，将在神经网络中设置的偏差值和权重统称为“参数”。

参考特征量数据库144是用于存储针对第一轮中的原始训练数据集而设置的参考特征量的数据库。图9是示出根据第一实施方式的参考特征量数据库的示例性数据结构的图。如图9所示，在参考特征量数据库144中，以对应的方式保存数据编号、参考特征量和正确标签。数据编号是唯一分配给原始训练数据集的编号。假定预先设置每个参考特征量的初始值。正确标签与对应于数据编号的原始训练数据集关联。

中间特征量数据库145是用于存储作为将训练数据输入至第一NN的结果而计算的中间特征量的数据库。图10是示出根据第一实施方式的中间特征量数据库的示例性数据结构的图。如图10所示，在中间特征量数据库145中，以对应的方式保存数据编号、中间特征量和正确标签。数据编号是使得能够唯一地识别在被输入至第一NN之前的训练数据集的编号。中间特征量是作为将训练数据集输入至第一NN的结果而计算的特征量。正确标签与对应于数据编号的原始训练数据集关联。

返回至参照图5的说明，控制单元150包括获取单元150a、扩充单元150b、第一学习单元150c和第二学习单元150d。使用中央处理单元(CPU)或微处理单元(MPU)来实现控制单元150。替选地，可以使用硬连线逻辑诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现控制单元150。

获取单元150a是从用户的外部装置获取关于学习数据库141的信息的处理单元。然后，获取单元150a将所获取的关于学习数据库141的信息存储在学习数据库141中。例如，当获取到关于用户P的数据库140P的信息时，获取单元150a将所获取的关于数据库140P的信息存储在学习数据库141中。类似地，当获取到关于用户Q的数据库140Q的信息时，获取单元150a将所获取的关于数据库140Q的信息存储在学习数据库141中。此外，当获取到关于用户R的数据库140R的信息时，获取单元150a将所获取的关于数据库140R的信息存储在学习数据库141中。

同时，当关于数据库140P的信息被存储在学习数据库141中并且如果接收到用于返回数据库140P的返回请求时，获取单元150a执行以下操作。获取单元150a将关于数据库140P的信息发送至用户P的外部装置，并且从学习数据库141中删除关于数据库140P的信息。此外，获取单元150a还可以将基于数据库140P学习的关于深度学习模型50的信息发送至用户P的外部装置。

当关于数据库140Q的信息被存储在学习数据库141中并且如果接收到用于返回数据库140Q的返回请求时，获取单元150a执行以下操作。获取单元150a将关于数据库140Q的信息发送至用户Q的外部装置，并且从学习数据库141中删除关于数据库140Q的信息。此外，获取单元150a还可以将基于数据库140Q学习的关于深度学习模型51的信息发送至用户Q的外部装置。

当关于数据库140R的信息被存储在学习数据库141中并且如果接收到用于返回数据库140R的返回请求时，获取单元150a执行以下操作。获取单元150a将关于数据库140R的信息发送至用户R的外部装置，并且从学习数据库141中删除关于数据库140R的信息。此外，获取单元150a还可以将基于数据库140R学习的关于深度学习模型52的信息发送至用户R的外部装置。

扩充单元150b是针对学习数据库141中存储的原始训练数据执行数据扩充，并生成多个训练数据集的处理单元。例如，由扩充单元150b执行的数据扩充对应于针对训练数据的诸如噪声添加、平行移动和数据缺失的处理。

图11是用于说明数据扩充的示例的图。在图11所示的示例中，训练数据组20A包括训练数据集21A-1至21A-3、训练数据集22A-1至22A-3以及训练数据集23A-1至23A-3。例如，训练数据组20A具有与其关联的正确标签“A”。

训练数据集21A-2和21A-3是作为针对原始训练数据21A-1执行数据扩充的结果而获取的。训练数据集22A-2和22A-3是作为针对原始训练数据22A-1执行数据扩充的结果而获取的。训练数据集23A-2和23A-3是作为针对原始训练数据23A-1执行数据扩充的结果而获取的。

训练数据组20B包括训练数据集21B-1至21B-3、训练数据集22B-1至22B-3以及训练数据集23B-1至23B-3。例如，训练数据组20B具有与其关联的正确标签“B”。

训练数据集21B-2和21B-3是作为针对原始训练数据21B-1执行数据扩充的结果而获取的。训练数据集22B-2和22B-3是作为针对原始训练数据22B-1执行数据扩充的结果而获取的。训练数据集23B-2和23B-3是作为针对原始训练数据23B-1执行数据扩充的结果而获取的。

参照图11，作为示例，扩充单元150b针对训练数据21A-1执行数据扩充并生成训练数据集21A-2和21A-3。

在扩充训练数据表142中，扩充单元150b以对应的方式存储以下信息：原始训练数据集的数据编号、经数据扩充的训练数据集以及与原始训练数据集对应的正确标签。扩充单元150b针对在第一轮中存储在学习数据库141中的信息(例如，关于数据库140P的信息)中所包括的每个训练数据集以重复的方式执行上述操作。

第一学习单元150c是基于存储在扩充训练数据表142中的训练数据(即，基于经数据扩充的训练数据)执行深度学习模型50的第一轮学习的处理单元。例如，第一学习单元150c执行生成中间特征量的操作、计算中间特征量之间的相似度的操作以及学习的操作。

关于由第一学习单元150c执行的“生成中间特征量的操作”给出以下说明。第一学习单元150c运行第一NN 50a，并且将存储在参数表143中的参数θ1设置为第一NN 50a的参数。然后，第一学习单元150c从扩充训练数据表142中获取基于相同训练数据进行数据扩充的多个训练数据集，并将所获取的训练数据集顺次地输入至第一NN 50a。随后，第一学习单元150c使用在第一NN 50a中设置的参数θ1来计算每个训练数据集的中间特征量。

然后，第一学习单元150c以与存储与训练数据集关联的正确标签相应的方式来存储与基于相同的训练数据进行数据扩充的训练数据集对应的中间特征量。

返回至参照图1的说明，第一学习单元150c将经数据扩充的训练数据xP1.1输入至第一NN 50a，并计算中间特征量zP1.1。因此，中间特征量zP1.1的正确标签是与训练数据xP1对应的正确标签。类似地，第一学习单元150c将经数据扩充的训练数据xP2.1输入至第一NN 50a，并计算中间特征量zP2.1。因此，中间特征量zP2.1的正确标签是与训练数据xP2对应的正确标签。

关于由第一学习单元150c执行的“计算中间特征量之间的相似度的操作”给出以下说明。例如，第一学习单元150c计算与数据编号对应的参考特征量和与该数据编号对应的中间特征量之间的平方误差作为相似度。在本文中，平方误差越小，参考特征量与中间特征量之间的相似度越高。

参照图1进行说明，中间特征量zP1.1与参考特征量zP1之间的相似度是它们之间的平方误差。类似地，中间特征量zP2.1与参考特征量zP2之间的相似度是它们之间的平方误差。

关于由第一学习单元150c执行的“学习操作”给出以下说明。第一学习单元150c运行第二NN 50b，并将存储在参数表143中的参数θ2设置为第二NN 50b的参数。

然后，第一学习单元150c将在“生成中间特征量的操作”中计算的中间特征量输入至第二NN 50b。随后，第一学习单元150c使用在第二NN 50b中设置的参数θ2来计算输出标签。

下面参照图1说明由第一学习单元150c执行的操作。第一学习单元150c将中间特征量zP1.1输入至第二NN 50b，并计算输出标签yP1.1'。此外，第一学习单元150c将中间特征量zP2.1输入至第二NN 50b，并计算输出标签yP2.1'。

然后，第一学习单元150c计算训练数据xP1的输出标签yP1.1'与正确标签yP1.1(未示出)之间的误差。类似地，第一学习单元150c计算训练数据xP2的输出标签yP2.1'与正确标签yP2.1(未示出)之间的误差。随后，第一学习单元150c实施反向传播法，并学习第一NN 50a的参数θ1和第二NN 50b的参数θ2，以确保误差变得更小。

此外，第一学习单元150c学习第一NN 50a的参数θ1和参考特征量zP1，以确保训练数据xP1的中间特征量zP1.1与参考特征量zP1之间的相似度增加。类似地，第一学习单元150c学习第一NN 50a的参数θ1和参考特征量zP2，以确保训练数据xP1的中间特征量zP2.1与参考特征量zP2之间的相似度增加。

第一学习单元150c针对存储在学习数据库141(数据库140P)中的用户P的每个训练数据集，以重复的方式执行上述操作；并从而学习第一NN 50a的参数θ1、第二NN 50b的参数θ2和参考特征量。在学习结束之后，第一学习单元150c用所学习的参数θ1和θ2来更新参数表143。此外，第一学习单元150c用所学习的参考特征量来更新参考特征量数据库144。

当使用存储在学习数据库141(数据库140P)中的用户P的每个训练数据集对深度学习模型50的学习结束时，从学习数据库141中删除关于数据库140P的信息。随后，获取单元150a将关于用户Q的数据库140Q的信息存储在学习数据库141中，并且(下面描述的)第二学习单元150d执行操作。

第二学习单元150d是基于存储在学习数据库141中的训练数据、参数表143和参考特征量数据库144来执行深度学习模型的顺次学习的处理单元。首先，假设在学习数据库141中存储有关于用户Q的数据库140Q的信息。第二学习单元150d执行例如生成中间特征量的操作(1)和学习的操作(1)。

关于“生成中间特征量的操作(1)”给出以下说明。第二学习单元150d运行第一NN51a，并将存储在参数表143中的参数θ1设置为第一NN 51a的参数。然后，第二学习单元150d将存储在学习数据库141中的训练数据集顺次输入至第一NN 51a。随后，第二学习单元150d使用在第一NN 51a中设置的参数θ1来计算多个训练数据集中的每一个训练数据集的中间特征量。

此外，第二学习单元150d以对应的方式将以下信息存储在中间特征量数据库145(145Q)中：训练数据集的数据编号、根据训练数据集而计算的中间特征量以及与训练数据集关联的正确标签。

返回参照图3的说明，第二学习单元150d将训练数据xQ1输入至第一NN 51a，并计算中间特征量zQ1。然后，第二学习单元150d以对应的方式将以下信息存储在中间特征量数据库145(145Q)中：训练数据xQ1的数据编号、中间特征量zQ1以及训练数据xQ1的正确标签。

类似地，第二学习单元150d将训练数据xQ2输入至第一NN 51a，并计算中间特征量zQ2。然后，第二学习单元150d以对应的方式将以下信息存储在中间特征量数据库145(145Q)中：训练数据xQ2的数据编号、中间特征量zQ2以及训练数据xQ2的正确标签。

关于第二学习单元150d执行的“学习的操作(1)”给出以下说明。第二学习单元150d运行第二NN 51b，并将存储在参数表143中的参数θ2设置为第二NN 51b的参数。

然后，第二学习单元150d将存储在参考特征量数据库144中的每个参考特征量输入至第二NN 51b，并使用参数θ2来计算输出标签。此外，第二学习单元150d将存储在中间特征量数据库145中的每个中间特征量输入至第二NN 51b，并使用参数θ2来计算输出标签。

下面参照图3说明由第二学习单元150d执行的操作。第二学习单元150d将存储在参考特征量数据库144中的参考特征量zP1输入至第二NN 51b，并计算输出标签yP1'。类似地，第二学习单元150d将存储在参考特征量数据库144中的参考特征量zP2输入至第二NN51b，并计算输出标签yP2'。

此外，第二学习单元150d将存储在中间特征量数据库145(145Q)中的中间特征量zQ1输入至第二NN 51b，并计算输出标签yQ1'。类似地，第二学习单元150d将存储在中间特征量数据库145(145Q)中的中间特征量zQ2输入至第二NN 51b，并计算输出标签yQ2'。

然后，第二学习单元150d计算参考特征量zP1的输出标签P1.1'与正确标签yP1.1(未示出)之间的误差。类似地，第二学习单元150d计算参考特征量zP2的输出标签P2.1'与正确标签yP2.1(未示出)之间的误差。

此外，第二学习单元150d计算中间特征量zQ1的输出标签yQ1'与正确标签yQ1(未示出)之间的误差。类似地，第二学习单元150d计算中间特征量zQ2的输出标签yQ2'与正确标签yQ2(未示出)之间的误差。

然后，第二学习单元150d实施反向传播法并学习第二NN 51b的参数θ2，以确保误差变得更小。

第二学习单元150d针对存储在学习数据库141(数据库140Q)中的用户Q的每个训练数据集，以重复的方式执行上述操作，并学习第二NN 51b的参数θ2。然后，第二学习单元150d用所学习的参数θ2来更新参数表143。随后，第二学习单元150d将在学习过程中生成的每个中间特征量存储在中间特征量数据库145中。

当使用存储在学习数据库141(数据库140Q)中的用户Q的每个训练数据集执行的深度学习模型51的学习结束时，从学习数据库141中删除关于数据库140Q的信息。随后，获取单元150a将关于用户R的数据库140R的信息存储在学习数据库141中，并且(稍后描述的)第二学习单元150d执行操作。

假设在学习数据库141中存储有关于用户R的数据库140R的信息。例如，第二学习单元150d以与使用数据库140Q执行的操作相同的方式，执行生成中间特征量的操作(2)和学习的操作(2)。

关于由第二学习单元150d执行的“生成中间特征量的操作(2)”给出以下说明。第二学习单元150d运行第一NN 52a，并将存储在参数表143中的参数θ1设置为第一NN 52a的参数。此外，第二学习单元150d将存储在学习数据库141中的训练数据集顺次输入至第一NN52a。然后，第二学习单元150d使用在第一NN 52a中设置的参数θ1来计算多个训练数据集中的每一个训练数据集的中间特征量。

随后，第二学习单元150d以对应的方式将以下信息存储在中间特征量数据库145(145R)中：训练数据集的数据编号、根据训练数据集而计算的中间特征量以及与训练数据集关联的正确标签。

返回至参照图4的说明，第二学习单元150d将训练数据xR1输入至第一NN 52a，并计算中间特征量zR1。然后，第二学习单元150d以对应的方式将以下信息存储在中间特征量数据库145(145R)中：训练数据xR1的数据编号、中间特征量zR1以及训练数据xR1的正确标签。

类似地，第二学习单元150d将训练数据xR2输入至第一NN 52a，并计算中间特征量zR2。然后，第二学习单元150d以对应的方式将以下信息存储在中间特征量数据库145(145R)中：训练数据xR2的数据编号、中间特征量zR2以及训练数据xR2的正确标签。

关于由第二学习单元150d执行的“学习的操作(2)”给出以下说明。第二学习单元150d运行第二NN 52b，并将存储在参数表143中的参数θ2设置为第二NN 52b的参数。

然后，第二学习单元150d将存储在参考特征量数据库144中的每个参考特征量输入至第二NN 52b，并使用参数θ2来计算输出标签。此外，第二学习单元150d将存储在中间特征量数据库145(145Q)中的每个中间特征量输入至第二NN 51b，并使用参数θ2来计算输出标签。

下面参照图4说明由第二学习单元150d执行的操作。第二学习单元150d将存储在参考特征量数据库144中的参考特征量zP1输入至第二NN 52b，并计算输出标签yP1'。类似地，第二学习单元150d将存储在参考特征量数据库144中的参考特征量zP2输入至第二NN52b，并计算输出标签yP2'。

此外，第二学习单元150d将存储在中间特征量数据库145(145Q)中的中间特征量zQ1输入至第二NN 52b，并计算输出标签yQ1'。类似地，第二学习单元150d将存储在中间特征量数据库145(145Q)中的中间特征量zQ2输入至第二NN 52b，并计算输出标签yQ2'。

另外，第二学习单元150d将存储在中间特征量数据库145(145Q)中的中间特征量zR1输入至第二NN 52b，并计算输出标签yR1'。类似地，第二学习单元150d将存储在中间特征量数据库145(145Q)中的中间特征量zR2输入至第二NN 52b，并计算输出标签yR2'。

然后，第二学习单元150d计算参考特征量zP1的输出标签yP1.1'与正确标签yP1.1(未示出)之间的误差。类似地，第二学习单元150d计算参考特征量zP2的输出标签yP2.1'与正确标签yP2.1(未示出)之间的误差。

此外，第二学习单元150d计算中间特征量zQ1的输出标签yQ1'与正确标签yQ1(未示出)之间的误差。类似地，第二学习单元150d计算中间特征量zQ2的输出标签yQ2'与正确标签yQ2(未示出)之间的误差。

另外，第二学习单元150d计算中间特征量zR1的输出标签yR1'与正确标签yR1(未示出)之间的误差。类似地，第二学习单元150d计算中间特征量zR2的输出标签yR2'与正确标签yR2(未示出)之间的误差。

然后，第二学习单元150d实施反向传播法并学习第二NN 52b的参数θ2，以确保误差变得更小。

第二学习单元150d针对存储在学习数据库141(数据库140R)中的用户R的每个训练数据集，以重复的方式执行上述操作，并学习第二NN 52b的参数θ2。然后，第二学习单元150d用所学习的参数θ2更新参数表143。此外，第二学习单元150d将在学习过程期间生成的每个中间特征量存储在中间特征量数据库145中。

作为执行上述操作的结果，第一学习单元150c和第二学习单元150d顺次地学习深度学习模型50、51和52的参数。第一学习单元150c和第二学习单元150d对深度学习模型50、51和52的参数进行区分，并将它们存储在参数表143中。

下面给出在根据第一实施方式的学习装置100中执行的示例性操作序列。图12是用于说明在根据第一实施方式的学习装置中执行的操作序列的流程图。参照图12，作为示例，给出关于在第二轮顺次学习期间执行的操作的说明。如图12所示，学习装置100的扩充单元150b从学习数据库141中获取第一轮中的原始训练数据(步骤S101)。

然后，扩充单元150b针对原始训练数据执行数据扩充，并生成多个训练数据集(步骤S102)。随后，学习装置100的第一学习单元150c将训练数据集输入至第一NN 50a并生成中间特征量(步骤S103)。

第一学习单元150c将中间特征量输入至第二NN 50b，并计算输出标签。然后，第一学习单元150c计算中间特征量与参考特征量之间的相似度(步骤S104)。

第一学习单元150c学习参数θ1和参数θ2以及参考特征量，以确保输出标签与正确标签之间的误差变得更小，并且确保中间特征量与参考特征之间的相似度变得更高(步骤S105)。同时，如果第一轮学习尚未结束(步骤S106为“否”)，则系统控制返回至步骤S101。另一方面，当第一轮学习结束时(步骤S106为“是”)，系统控制进行至步骤S107。

第一学习单元150c将第一轮期间的参考特征量存储在参考特征量数据库144中(步骤S107)。第二学习单元150d从学习数据库141中获取用于第二轮学习的原始训练数据(步骤S108)。

然后，第二学习单元150d将训练数据输入至第一NN 51a并生成中间特征量(步骤S109)。然后，第二学习单元150d将参考特征量和中间特征量输入至第二NN 51b，并计算输出标签(步骤S110)。

第二学习单元150d学习参数θ1，以确保输出标签与正确标签之间的误差变得更小(步骤S111)。如果第二轮的学习尚未结束(步骤S112为“否”)，则系统控制返回至步骤S108。另一方面，当第二轮学习结束时(步骤S112为“是”)，则表示操作结束。

在图12示出的操作中，尽管给出了关于针对第二轮学习中执行的操作的说明，但是也可以针对第三轮之后的学习执行相同的操作。例如，第二学习单元150d在每轮学习中执行从步骤S108至步骤S112的操作。

下面给出关于在根据第一实施方式的学习装置100中实现的效果的说明。在第一轮学习期间，学习装置100学习第一NN的参数θ1和参考特征量，以确保作为将经数据扩充的训练数据集输入至第一NN的结果而获取的每个中间特征量逼近对应的参考特征量。在第二轮顺次学习期间，学习装置100利用在第一轮学习期间学习的参考特征量，并使用新的训练数据来执行用于学习第二NN的参数的操作。每个参考特征量可以被称为通过对原始训练数据进行数据扩充而获取的多个训练数据集的代表性中间特征量。在每个经数据扩充的训练数据集中有用的信息在对应的参考特征量中仍然可用。因此，如果使用参考特征量来执行第二NN的顺次学习，则可以减少数据量并且同时连续地使用经数据扩充的训练数据的特征量，从而能够实现深度学习模型的学习准确性的提高。

图13是用于说明在根据第一实施方式的学习装置中实现的效果的图。如在第一实施方式中说明的，学习装置100针对用户P的训练数据xP1执行数据扩充，并生成训练数据集xP1.1、xP1.2和xP1.3。然后，学习装置100分别将训练数据集xP1.1、xP1.2和xP1.3输入至第一NN 50a，并计算中间特征量zP1.1、zP1.2和zP1.3。此外，学习装置100分别将中间特征量zP1.1、zP1.2和zP1.3输入至第二NN 50b并且计算输出标签yP1.1'、yP1.2'和yP1.3'。

然后，学习装置100学习第一NN 50a的参数和参考特征量zP1，以确保中间特征量zP1.1、zP1.2和zP1.3逼近训练数据xP1的参考特征量zP1；并将学习的参考特征量zP1存储在参考特征量数据库144中。在后续的第二轮的学习期间，使用在参考特征量数据库144中存储的已学习的参考特征量zP1。

由于学习了中间特征量zP1.1、zP1.2和zP1.3以确保他们逼近参考特征量zP1，因此，在中间特征量zP1.1、zP1.2和zP1.3之间仅存在小的差异。因此，通过将参考特征量zP1作为中间特征量zP1.1、zP1.2和zP1.3的代表性值存储在参考特征量数据库144中，即使在要存储的数据量减小时，也可以利用数据扩充的效果。

此外，在后续的第二轮的学习期间，学习装置100使用在第一轮学习期间生成的第一NN 50a的参数θ1，而不对其进行修改。作为在第一NN 51a中设置学习的参数θ1的结果，第一NN 51a配备有数据归一化功能。这导致网络规模的减小，从而使得能够降低学习成本。

[b]第二实施方式

在根据第一实施方式的学习装置100中执行的操作仅是示例性的，并且，替选地，学习装置100可以通过执行一些其他操作来学习深度学习模型的参数。在第二实施方式中，给出关于学习装置100可以执行的其他操作(1)和(2)的说明。

下面给出关于在学习装置100中执行的其他操作(1)的说明。针对每个原始训练数据集，学习装置100设置参考特征量，并学习参数和参考特征量作为平方误差的评估指标。然而，这不是唯一可能的情况。替选地，例如，学习装置100可以将中间特征量的平均值μ和离差σ设置为参考特征量，并且可以学习参数和参考特征量以确保通过针对相同的训练数据进行数据扩充而获取的多个训练数据集的中间特征量的平均值和离差逼近参考特征量。

图14和图15是用于说明在学习装置中执行的其他操作(1)的示例的图。首先，参照14给出说明，例如，学习装置100对与原始训练数据xP1对应的参考特征量(平均值μP1、离差σP1)进行设置。特征量生成单元250c顺次输入通过针对相同的训练数据xP1进行数据扩充而获取的训练数据集xP1.1至xP1.3，并分别计算中间特征量zP1.1至zP1.3(未示出)。然后，学习装置100计算中间特征量zP1.1至zP1.3的平均值μP1.1和离差σP1.1。此外，学习装置100基于KL(Kullback-Leibler)离差对参考特征量的概率分布(平均值μP1、离差σP1)与概率分布(平均值μP1.1、离差σP1.1)之间的距离进行评估。

学习装置100实施反向传播法，并学习第一NN 50a的参数和参考特征量(平均值μP1，离差σP1)，以确保概率分布之间的距离变得更短。此外，学习装置100实施反向传播法，并学习第一NN 50a的参数和第二NN 50b的参数，以确保作为将中间特征量zP1.1至zP1.3分别输入至第二NN 50b的结果而获取的输出标签yP1.1至yP1.3逼近正确标签yP1。

也就是说，学习装置100学习第一NN 50a的参数θ1、第二NN 50b的参数θ2和参考特征量(平均值μP1、离差σP1)，以确保中间特征量与参考特征量之间的相似度变得更高，同时降低输出标签和正确标签之间的误差。然后，学习装置100将学习的参考特征量(平均值μP1、离差σP1)存储在参考特征量数据库144中。此外，当寄存在参考特征量数据库144中时，学习装置100将参考特征量(平均值μP1、离差σP1)关联至正确标签yP1。关于每个其他的原始训练数据集，学习装置100也以相同的方式学习参考特征量，并将其寄存在参考特征量数据库144中。

参照图15给出以下说明，在执行后续第二轮的学习的情况下，学习装置100对存储在参考特征量数据库144中的平均值μP1和离差σP1的分布进行采样；将作为采样的结果而获取的中间特征量输入至第二NN 51b；并且计算输出标签yP1.1'至yP1.3'。然后，学习装置100学习第二NN 51b的参数θ2，以确保输出标签yP1.1'至yP1.3'逼近存储在参考特征量数据库144中的正确标签yP1(未示出)。同时，使用存储在数据库140Q中的训练数据xQ1来学习第二NN 51b的操作与第一实施方式相同。

如以上参照图14和图15的描述，通过学习作为分布的参考特征量，可以对期望数量的中间特征量进行采样，并且可以在后续的第二轮的学习期间使用这些中间特征量。

关于在学习装置100中执行的其他操作(2)给出以下说明。学习装置100仅在第一轮学习期间针对原始训练数据执行数据扩充，并且学习深度学习模型。但是，这不是唯一可能的情况。替选地，在后续的第二轮的学习中，学习装置100也可以通过针对原始训练数据执行数据扩充来进行学习。

图16是用于说明在学习装置中执行的其他操作(2)的图。如图16所示，学习装置100针对存储在数据库140Q中的用户Q的训练数据xQ1执行数据扩充，并生成训练数据集xQ1.1、xQ1.2和xQ1.3。然后，学习装置100分别将训练数据集xQ1.1、xQ1.2和xQ1.3输入至第一NN 51a，并计算中间特征量zQ1.1、zQ1.2和zQ1.3。

学习装置100分别将中间特征量zQ1.1、zQ1.2和zQ1.3输入至第二NN 51b，并计算输出标签yQ1.1'、yQ1.2'和yQ1.3'。然后，学习装置100学习第二NN 51b的参数θ2，以确保输出标签yQ1.1'、yQ1.2'和yQ1.3'逼近训练数据xQ1的正确标签yQ1(未示出)。此外，学习装置100将存储在参考特征量数据库144中的参考特征量zP1输入至第二NN 51b，并计算输出标签yP1'。然后，学习装置100学习第二NN 51b的参数θ2，以确保输出标签yP1'逼近正确标签yP1。

以这种方式，在后续的第二轮中执行的操作中，学习装置也可以执行数据扩充并增加数据量。

下面给出实现与根据实施方式的学习装置100相同的功能的计算机的示例性硬件配置的说明。图17是示出实现与根据实施方式的学习装置100相同的功能的计算机的示例性硬件配置的图。

如图17所示，计算机300包括执行各种算术处理的CPU 301、接收从用户输入的数据的输入装置302以及显示装置303。此外，计算机300包括从存储介质读取计算机程序的读取装置304，以及经由有线网络或无线网络执行与外部装置的数据通信的接口装置305。另外，计算机300包括用于临时存储各种信息的RAM306和硬盘驱动器307。同时，装置301至307被连接至总线308。

硬盘驱动器307具有存储在其中的获取程序307a、扩充程序307b、第一学习程序307c和第二学习程序307d。CPU 301读取获取程序307a、扩充程序307b、第一学习程序307c和第二学习程序307d，并将它们加载到RAM 306中。

获取程序307a用作获取处理306a。扩充程序307b用作扩充处理306b。第一学习程序307c用作第一学习处理306c。第二学习程序307d用作第二学习处理306d。

由获取处理306a执行的操作对应于由获取单元150a执行的操作。由扩充处理306b执行的操作对应于扩充单元150b执行的操作。由第一学习处理306c执行的操作对应于由第一学习单元150c执行的操作。由第二学习处理306d执行的操作对应于由第二学习单元150d执行的操作。

同时，计算机程序307a至307d不必从开始就一直被存储在硬盘驱动器307中。替选地，例如，将计算机程序307a至307d存储在诸如软盘(FD)、光盘只读存储器(CD-ROM)、数字通用盘(DVD)、磁光盘，或者插入计算机300的IC卡的“便携式物理介质”中。然后，计算机300可以读取计算机程序307a至307d并执行它们。

关于包括上述实施方式的说明性实施方式，进一步公开了以下注释。

可以连续使用经数据扩充的训练数据的特征量，并能够实现深度学习模型的学习准确性的提高。

Claims (12)

1.一种由计算机实现的学习方法，包括：

对学习模型的至少一个参数进行第一学习，使得每个中间特征量变得与参考特征量相似，所述每个中间特征量是作为将多个扩充训练数据集输入至所述学习模型的第一神经网络的结果而计算的，所述多个扩充训练数据是通过基于相同的第一原始训练数据执行数据扩充而生成的；以及

使用不同于所述第一原始训练数据的第二原始训练数据并且使用所述参考特征量对所述学习模型中的第二网络的至少一个参数进行第二学习。

2.根据权利要求1所述的学习方法，其中，所述第二学习包括：使用多个中间特征量并且使用所述参考特征量来更新所述第二网络的参数，所述多个中间特征量是作为将通过对所述第二原始训练数据进行扩充而生成的多个扩充训练数据集输入至所述第一网络的结果而计算的。

3.根据权利要求1所述的学习方法，其中，对所述学习模型的参数进行学习包括：学习所述学习模型的参数并且学习参考特征量，使得每个中间特征量的平均值和离差变得与所述参考特征量相似，其中，所述每个中间特征量的平均值和离差是根据作为从相同的第一原始训练数据的数据扩充的结果而获取的多个扩充训练数据集来计算的。

4.根据权利要求1至3中任一项所述的学习方法，还包括：以对应的方式将所述参考特征量和与所述第一原始训练数据对应的正确标签存储在存储装置中，其中，

所述第二学习包括：学习所述第二网络的参数，使得作为将所述参考特征量输入至所述第二网络的结果而计算的输出标签逼近所述正确标签。

5.一种存储有处理计算机程序的计算机可读记录介质，所述处理计算机程序使计算机执行包括下述步骤的处理：

对学习模型的至少一个参数进行第一学习，使得每个中间特征量变得与参考特征量相似，所述每个中间特征量是作为将多个扩充训练数据集输入至所述学习模型的第一神经网络的结果而计算的，所述多个扩充训练数据是通过基于相同的第一原始训练数据执行数据扩充而生成的；以及

使用不同于所述第一原始训练数据的第二原始训练数据并且使用所述参考特征量对所述学习模型中的第二网络的至少一个参数进行第二学习。

6.根据权利要求5所述的计算机可读记录介质，其中，所述第二学习包括：使用多个中间特征量并且使用所述参考特征量来更新所述第二网络的参数，所述多个中间特征量是作为将通过对所述第二原始训练数据进行扩充而生成的多个扩充训练数据集输入至所述第一网络的结果而计算的。

7.根据权利要求5所述的计算机可读记录介质，其中，所述第一学习包括：学习所述学习模型的参数并且学习参考特征量，使得每个中间特征量的平均值和离差变得与所述参考特征量相似，其中，所述每个中间特征量的平均值和离差是根据作为从相同的第一原始训练数据的数据扩充的结果而获取的多个扩充训练数据集来计算的。

8.根据权利要求5至7中任一项所述的计算机可读记录介质，还包括：以对应的方式将所述参考特征量和与所述第一原始训练数据对应的正确标签存储在存储装置中，其中，

所述第二学习包括：学习所述第二网络的参数，使得作为将所述参考特征量输入至所述第二网络的结果而计算的输出标签逼近所述正确标签。

9.一种运行在学习模型中包括的第一网络和第二网络的学习装置，所述学习装置包括：

第一学习单元(150c)，其学习学习模型的至少一个参数，使得每个中间特征量变得与参考特征量相似，所述每个中间特征量是作为将多个扩充训练数据集输入至所述学习模型中的第一神经网络的结果而计算的，所述多个扩充训练数据是通过基于相同的第一原始训练数据执行数据扩充而生成的；以及

第二学习单元(150d)，其使用不同于所述第一原始训练数据的第二原始训练数据并且使用所述参考特征量来学习所述学习模型中的第二网络的至少一个参数。

10.根据权利要求9所述的学习装置，其中，所述第二学习单元执行下述的学习，所述学习包括：使用多个中间特征量并且使用所述参考特征量来更新所述第二网络的参数，所述多个中间特征量是作为将通过对所述第二类原始训练数据进行扩充而生成的多个扩充训练数据集输入至所述第一网络的结果而计算的。

11.根据权利要求9所述的学习装置，其中，所述第一学习单元学习所述学习模型的参数和参考特征量，使得每个中间特征量的平均值和离差变得与所述参考特征量相似，其中，所述每个中间特征量的平均值和离差是根据作为从相同的第一原始训练数据的数据扩充的结果而获取的多个扩充训练数据集来计算的。

12.根据权利要求9至11中任一项所述的学习装置，其中，所述第二学习单元(150d)

还执行以对应的方式将所述参考特征量和与所述第一原始训练数据对应的正确标签存储在存储装置中的操作，以及

学习所述第二网络的参数，使得作为将所述参考特征量输入至所述第二网络的结果而计算的输出标签逼近所述正确标签。

Images