CN115427984A - 机器学习程序、机器学习方法以及机器学习装置 - Google Patents

Abstract

本发明提供机器学习程序、机器学习方法以及机器学习装置，通过使计算机执行如下处理能够避免过学习，即，对多个数据进行聚类；通过使用了通过聚类分类为第一组的数据的机器学习生成模型；以及使用通过聚类分类为第二组的数据，验证生成的模型的输出精度。

Description

机器学习程序、机器学习方法以及机器学习装置

技术领域

本发明涉及机器学习技术。

背景技术

作为机器学习的方法之一，已知有使用具备输入数据和输出数据的教师数据(带正确答案的数据)来学习输入输出关系的监督学习。

另外，一般而言，已知在监督式机器学习中，通过使用多个教师数据中的一部分作为模型创建用数据(训练数据)来创建模型(机器学习模型)，并通过使用多个教师数据中剩余的一部分作为模型验证用数据(评价数据)来进行过学习的判断。

这里，过学习(overfitting)是指模型仅对训练数据进行最佳化而陷入没有通用性的状态，虽然对于模型创建用数据，能够高精度地预测，但对于除此以外的数据，预测成为低精度。

在上述的使用教师数据的一部分作为模型验证用数据的过学习的判断方法中，在使用创建的模型预测模型创建用数据时的预测精度与预测模型验证用数据时的预测精度大幅度地不同的情况下判断为过学习的状态。

专利文献1：日本特开2019－66993号公报

然而，在教师数据获取时有偏差的情况下，在输入数据空间整体观察时，有存在异常的集群的可能性。

此外，这里所说的“偏差”是与输入有关的，是指在教师数据包含不可能偶然发生的输入相似的数据组(集群)的状况。由于能够获取的教师数据有限制等情况，而可能产生这样的偏差。

若创建连这样的异常的集群的数据都正确地预测的模型则容易变得过学习，但由于如上述那样模型创建/验证用数据均能够高精度地预测，所以有不能够检测到过学习的情况。

发明内容

在一个侧面，目的在于抑制过学习。

因此，该机器学习程序使计算机执行：对多个数据进行聚类；通过使用了通过上述聚类分类为第一组的数据的机器学习生成模型；以及使用通过上述聚类分类为第二组的数据，验证生成的上述模型的输出精度的处理。

根据一实施方式，能够抑制过学习。

附图说明

图1是例示作为实施方式的一个例子的计算机系统的硬件构成的图。

图2是例示作为实施方式的一个例子的计算机系统的功能构成的图。

图3是表示神经网络的概要的图。

图4是用于说明作为实施方式的一个例子的计算机系统的聚类处理部的聚类方法的图。

图5是用于说明作为实施方式的一个例子的计算机系统的数据创建部的处理的图。

图6是用于说明作为实施方式的一个例子的计算机系统的模型创建部的处理的图。

图7是用于说明作为实施方式的一个例子的计算机系统的预测处理部的处理的图。

图8是用于说明作为实施方式的一个例子的计算机系统的验证部的处理的图。

图9是用于说明作为实施方式的一个例子的计算机系统中的处理的流程图。

图10是用于说明通过作为实施方式的一个例子的计算机系统的学习处理部进行的二值分类的图。

图11是提取图10中的模型创建用集群并示出的图。

图12是提取图10中的模型验证用集群并示出的图。

图13是用于说明机器学习方法中的过学习的图。

具体实施方式

图13是用于说明机器学习方法中的过学习的图，例示在输入数据空间配置的教师数据。在该图13中，例示配置了许多的微小点的输入数据空间。各微小点表示教师数据，分别描绘在与输入数据对应的位置。

另外，在该输入数据空间中，通过局部地集中多个教师数据(微小点)形成多个小规模的集群(数据组)。在图13中，对基于教师数据的集合的集群标注附图标记a或者附图标记b。

这些附图标记a或者附图标记b表示教师数据的输出，构成标注了附图标记a的集群的教师数据的输出分别为a，构成标注了附图标记b的集群的教师数据的输出分别为b。即，在图13所示的例子中，示出预测a或者b的二值分类。

在该图13所示的例子中，粗虚线表示使用模型创建用数据创建能够全部正确解答的高精度的模型的情况下的预测的边界。在该模型中，将位于该粗虚线的左侧的教师数据的输出预测为b，并将位于该粗虚线的右侧的教师数据的输出预测为a。

这里，在该图13所例示的输入数据空间上的教师数据混有模型创建用的数据和模型验证用的数据，在构成各集群的教师数据也混有模型创建用的数据和模型验证用的数据。在该情况下，在将图13中的粗虚线作为边界进行预测的模型能够对模型创建用数据以及模型验证用数据的任何一个都高精度地进行预测。

然而，在教师数据获取时有偏差的情况下，在输入数据空间整体观察时，有存在异常的集群的可能性。

若创建连这样的异常的集群的数据都正确地预测的模型则容易变得过学习，但由于如上述那样模型创建/验证用数据均能够高精度地预测，所以有不能够检测到过学习的情况。例如，在图13中，在标注附图标记P1示出的由四边虚线包围的集群为异常的集群的情况下，在图13所示的输入空间中，将粗虚线作为边界进行预测的模型处于过学习的状态，优选在该图中将点划线作为边界进行预测的模型。在机器学习中，优选抑制这样的过学习。

以下，参照附图对本机器学习程序、机器学习方法以及机器学习装置所涉及的实施方式进行说明。但是，以下所示的实施方式仅为例示，并不排除在实施方式未明示的各种变形例、技术的应用。即，能够在不脱离其主旨的范围内对本实施方式进行各种变形(组合实施方式以及各变形例等)来实施。另外，各图并不是仅具备图中所示的构成要素的主旨，也能够包含其它的功能等。

图1是例示作为实施方式的一个例子的计算机系统1的硬件构成的图。计算机系统1是机器学习装置，例如实现神经网络。如图1所示，计算机系统1具备CPU(CentralProcessing Unit：中央处理器)10、存储器11以及加速器12。这些CPU10、存储器11以及加速器12经由通信总线13以相互能够通信的方式连接。通信总线13进行本计算机系统1内的数据通信。

存储器11是包含ROM(Read Only Memory：只读存储器)以及RAM(Random AccessMemory：随机存储器)的记忆存储器。在存储器11的ROM写入有通过后述的CPU10执行的程序、该程序用的数据类。存储器11上的软件程序适当地被CPU10读入并执行。另外，存储器11的RAM被用作一次记忆存储器或者工作存储器。在存储器11的RAM也储存有教师数据(模型创建用数据、模型验证用数据)、构成模型的信息以及使用模型的预测结果等。加速器12例如执行矩阵运算等神经网络的计算所需要的运算处理。

CPU10是进行各种控制、运算的处理装置(处理器)，基于安装的程序控制计算机系统1整体。而且，该CPU10通过执行储存于存储器11等的机器学习程序(图示省略)，来实现作为后述的学习处理部100(参照图2)的功能。计算机系统1通过执行机器学习程序来作为机器学习装置发挥作用。

此外，例如以记录于软盘、CD(CD－ROM、CD－R、CD－RW等)、DVD(DVD－ROM、DVD－RAM、DVD－R、DVD+R、DVD－RW、DVD+RW、HD、DVD等)、蓝光盘、磁盘、光盘、光磁盘等计算机能够读取的记录介质的方式提供用于实现作为学习处理部100的功能的程序(机器学习程序)。而且，计算机(计算机系统1)从该记录介质读取程序并传输并储存于内部存储装置或者外部存储装置进行使用。另外，也可以预先将该程序例如记录于磁盘、光盘、光磁盘等存储装置(记录介质)，并从该存储装置经由通信路径提供给计算机。

在实现作为学习处理部100的功能时，通过计算机的微处理器(在本实施方式中是CPU10)执行储存于内部存储装置(在本实施方式中，存储器11的RAM或者ROM)的程序。此时，也可以由计算机读取并执行记录介质所记录的程序。

图2是例示作为实施方式的一个例子的计算机系统1的功能构成的图。如图2所示，计算机系统1具备作为学习处理部100的功能。学习处理部100例如实施神经网络中的深度学习。

神经网络既可以是硬件电路，也可以是连接通过CPU10等在计算机程序上虚拟地构建的层间的基于软件的虚拟网络。

在图3示出神经网络的概要。图3所示的神经网络是在输入层与输出层之间包含多个隐藏层的深度神经网络。隐藏层例如是卷积层、池化层或者全连接层等。在图3中，各层所示的圆圈表示分别执行规定的计算的节点。

神经网络通过将输入数据输入到输入层，并在由卷积层、池化层等构成的隐藏层依次执行规定的计算，来执行将通过运算得到的信息从输入侧依次传递到输出侧的前向的处理(正向传播处理)。在前向的处理的执行后，为了减小根据从输出层输出的输出数据和正确答案数据得到的误差函数的值，而执行决定前向的处理所使用的参数的后向的处理(反向传播处理)。然后，执行基于反向传播处理的结果更新权重等变量的更新处理。

如图2所示，学习处理部100具备聚类处理部101、数据创建部102、模型创建部103、预测处理部104以及验证部105。

聚类处理部101通过对多个教师数据进行聚类以便能够识别偏差，来创建多个集群(数据组)。教师数据既可以预先储存于未图示的存储装置，也可以从本计算机系统1的外部输入。聚类处理部101对多个教师数据进行分层聚类。

图4是用于说明作为实施方式的一个例子的计算机系统1的聚类处理部101的聚类方法的图。在该图4中，例示分层聚类中的树状图(树形图)。

在分层聚类中，通过反复进行根据数据间的距离对多个输入数据进行结合(分组、合并)来实现聚类。

在本计算机系统1中，聚类处理部101通过最远邻法实现聚类。此外，最远邻法中的数据间的距离例如也可以使用欧氏距离，能够适当地变更来实施。

另外，在分层聚类中，例如系统管理者等能够设定用于成为同一集群的数据间的距离作为阈值。通过设定该阈值，聚类处理部101将数据间的距离小于阈值的数据彼此聚类为同一集群。阈值相当于集群的合并停止条件，例如也可以由系统管理者等任意地设定。在图4中，示出对由附图标记D0～D9表示的数据进行分层聚类的例子，设定阈值＝5。

通过从邻接的输入数据间的距离较近的数据开始依次进行结合(分组、合并)，例如数据D3、D4形成一个集群C1。相同地，数据D8、D5、D7形成集群C2，数据D2、D1、D6形成集群C5。数据D0、D9距离其它的数据的距离都较远，所以分别单独地形成独立的集群C3、C4。

这些集群C1～C5保证各集群内的数据间的距离小于阈值(在图4所示的例子中是5)，实现数据空间内的数据的偏差。

聚类处理部101使用这样的分层聚类方法实现在教师数据能够识别偏差的聚类。

另外，优选集群的合并停止条件(阈值)作为视为教师数据获取时的偏差所引起的输入数据间的距离。该阈值例如也可以由具有针对对象数据的域知识的人基于数据的特性任意地设定。

数据创建部102创建模型创建用数据(教师数据)以及模型验证用数据。模型创建用数据是后述的模型创建部103为了创建机器学习的模型所使用的教师数据。模型验证用数据是后述的验证部105为了进行创建的模型的验证所使用的教师数据。

以下，有将使用模型学习用数据进行模型创建的过程称为学习阶段(第一阶段)的情况，有将使用模型创建用数据进行模型的验证的过程称为验证阶段(第二阶段)的情况。图5是用于说明作为实施方式的一个例子的计算机系统1的数据创建部102的处理的图。

数据创建部102将通过聚类处理部101创建的多个集群分类为模型创建用集群和模型验证用集群。此外，模型创建用集群以及模型验证用集群的各数能够适当地变更来实施。例如，也可以通过将多个集群随机地分配至模型创建用集群或者模型验证用集群来进行分类，能够适当地变更来实施分类。此外，也可以由聚类处理部101进行多个集群的向模型创建用集群或者模型验证用集群的分类，能够适当地变更来实施。

在本计算机系统1中，使用不同的集群的数据执行机器学习和验证。即，使用多个集群中第一集群(第一组)的数据创建机器学习的模型，并使用第二集群(第二组)的数据进行模型的输出精度的验证。

模型创建用集群也可以是基于为了通过机器学习生成模型而使用的数据的第一组。另外，模型验证用集群也可以是基于为了验证生成的模型的输出精度而使用的数据的第二组。

数据创建部102从多个模型创建用集群均衡地对数据进行取样(提取)，创建模型创建用数据。从多个模型创建用集群均衡地对数据进行取样的理由是因为有在多个模型创建用集群间有数据数的偏差的担心。数据创建部102通过从多个模型创建用集群进行不同的取样，来创建多个模型创建用数据。

相同地，数据创建部102从多个模型验证用集群均衡地对数据进行取样(提取)，创建模型验证用数据。从多个模型验证用集群均衡地对数据进行取样的理由是因为有在多个模型验证用集群间也存在数据数的偏差的担心。数据创建部102通过从多个模型验证用集群进行不同的取样，创建多个模型验证用数据。

多个模型创建用集群、多个模型验证用集群、多个模型创建用数据以及多个模型验证用数据既可以分别储存于存储器11的规定的存储区域，另外，也可以储存于未图示的存储装置。

模型创建部103通过使用了模型创建用数据(教师数据)的机器学习创建模型(学习模型)。模型接受输入值，进行某些评价·判定并输出输出值。也可以将模型的输出称为预测结果。此外，能够使用已知的方法实现模型的创建，省略模型创建部103的模型创建方法的说明。另外，模型创建部103通过在机器学习中使用多个模型验证用数据，来创建与这些模型创建用数据对应的多个模型。模型验证用数据相当于通过聚类分类为第三组的数据。图6是用于说明作为实施方式的一个例子的计算机系统1的模型创建部103的处理的图。

在图6所示的例子中，示出两个模型创建用数据#1、#2。模型创建部103通过使用模型创建用数据#1进行监督学习(机器学习)来创建模型#1，通过使用模型创建用数据#2进行监督学习(机器学习)来创建模型#2。对创建的模型#1、#2输入模型创建用数据、模型验证用数据。模型创建用数据#1相当于分类为第一组的数据中的第一数据。模型创建用数据#2相当于分类为第一组的数据中的第二数据。

预测处理部104使用模型创建部103创建的多个模型，进行将预测对象数据输入到这些模型的情况下的输出的预测。预测处理部104将预测对象数据分别输入到模型创建部103创建的多个模型，并对各模型的输出(预测结果)进行集成(综合、汇总)。预测处理部104将该集成结果作为最终的输出(预测结果)。预测处理部104相当于综合(集成)多个模型的各输出来生成一个输出的集成处理部。

预测对象数据在第一阶段使用模型创建用数据，在第二阶段使用模型验证用数据。即，预测处理部104在第一阶段，将模型创建用数据分别输入到多个模型，并将集成了各模型的输出的结果作为最终的输出(预测结果)。

另外，预测处理部104在第二阶段将模型验证用数据，分别输入到多个模型，并将集成了各模型的输出的结果作为最终的输出(预测结果)。

图7是用于说明作为实施方式的一个例子的计算机系统1的预测处理部104的处理的图。在该图7所示的例子中，对两个模型#1、#2输入预测对象数据，即模型创建用数据或模型验证用数据。集成从各模型#1、#2分别输出的预测结果，输出预测结果(预测对象数据的预测结果)。

在该图7所示的例子中，预测对象数据相当于分类为第二组的数据所包含的第三数据。预测处理部104基于模型#1根据预测对象数据(第三数据)的向该模型#1的输入而输出的第一结果、和模型#2根据预测对象数据(第三数据)的向该模型#2的输入而输出的第二结果，计算第一输出精度。

此外，多个模型输出的集成能够使用平均值的运算等已知的方法实现，省略基于预测处理部104的模型输出的集成方法的说明。

验证部105使用由数据创建部102创建的模型验证用数据，进行模型创建部103创建的模型的验证。图8是用于说明作为实施方式的一个例子的计算机系统1的验证部105的处理的图。验证部105使用通过数据创建部102创建的模型验证用数据，进行模型创建部103创建的模型的验证。

验证部105分别使由数据创建部102创建的多个模型验证用数据输入到由模型创建部103创建的多个模型。验证部105例如使用预测处理部104的功能，将模型验证用数据(预测对象数据)分别输入到模型创建部103创建的多个模型，并集成(汇总)各模型的输出(预测结果)。预测处理部104将该集成结果作为最终的输出(预测结果)。

在图8所示的例子中，分别在模型#1、#2输入模型验证用数据#1，并集成分别从各模型#1、#2输出的预测结果，输出预测结果(模型验证用数据的预测结果)#1。另外，分别在模型#1、#2输入模型验证用数据#2，并集成分别从各模型#1、#2输出的预测结果，输出预测结果(模型验证用数据的预测结果)#2。

验证部105通过将预测结果#1与模型验证用数据#1的输出数据进行比较来计算正确率(精度)。另外，验证部105通过将预测结果#2与模型验证用数据#2的输出数据进行比较来计算正确率(精度)。验证部105通过计算这些精度(正确率)的平均，来决定模型验证用集群的精度。

即，验证部105计算对于各模型验证用数据的预测精度的平均，获取关于模型验证用集群的最终的(整体的)预测精度。

例如，验证部105也可以判断基于模型验证用数据输出的预测结果的精度与基于模型创建用数据输出的预测结果的精度之差是否在允许阈值内。即，验证部105也可以判断基于模型验证用数据输出的预测结果的精度与基于模型创建用数据输出的预测结果的精度是否为同等级的精度。另外，验证部105也可以判断基于模型验证用数据输出的预测结果的精度是否为规定的阈值以上。

在图8所示的例子中，模型验证用数据#1相当于被分类为第二组的数据所包含的第三数据。模型验证用数据#2相当于被分类为第二组的数据所包含的第四数据。

验证部105基于模型#1根据模型验证用数据(第三数据)#1的向该模型#1的输入而输出的第一结果、和模型#2根据模型验证用数据(第三数据)#1的向该模型#2的输入而输出的第二结果计算预测结果#1(第一输出精度)。

另外，验证部105基于模型#1根据模型验证用数据(第四数据)#2的向该模型#1的输入而输出的第三结果、和模型#2根据模型验证用数据(第四数据)#2的向该模型#2的输入而输出的第四结果计算预测结果#2(第二输出精度)。验证部105基于这些预测结果#1(第一输出精度)和预测结果#2(第二输出精度)进行预测精度的验证。

根据图9所示的流程图(步骤S1～S4)对作为如上述那样构成的实施方式的一个例子的计算机系统1中的处理进行说明。

在步骤S1中，聚类处理部101通过对预先准备的教师数据进行分层聚类，来创建能够识别偏差的多个集群。数据创建部102将聚类处理部101创建的多个集群分为模型创建用集群和模型验证用集群。

然后，数据创建部102从多个模型创建用集群均衡地对数据进行取样来创建模型创建用数据。此时，数据创建部102通过从多个模型创建用集群进行多个不同的取样，来创建多个模型创建用数据。

另外，数据创建部102从多个模型验证用集群均衡地对数据进行取样来创建模型验证用数据。此时，数据创建部102通过从多个模型验证用集群进行多个不同的取样，来创建多个模型验证用数据。

在步骤S2中，模型创建部103在机器学习中使用模型创建用数据(教师数据)创建模型。

在步骤S3中，预测处理部104使用模型创建部103创建的多个模型，进行将预测对象数据输入到这些模型的情况下的输出的预测。

在步骤S4中，验证部105使用通过数据创建部102创建的模型验证用数据，进行模型创建部103创建的模型的验证。

这样，根据作为实施方式的一个例子的计算机系统1，数据创建部102将聚类处理部101创建的一个集群分配为模型创建用数据或模型验证用数据的任意一种。由此，即使在输入数据空间整体观察时存在异常的集群，同一集群内的数据也仅包含于模型创建数据和模型验证用数据的任意一方。因此，模型创建数据的预测精度和模型验证用数据的预测精度不会同时提高。这样，由于同一集群内的数据不会分为模型创建数据和模型验证用数据，所以能够避免过学习。

图10是用于说明通过作为实施方式的一个例子的计算机系统1的学习处理部100进行的二值分类的图，例示配置到输入数据空间的教师数据。在该图10中，例示配置了许多的微小点的输入数据空间。微小点分别表示教师数据，分别描绘在与输入数据对应的位置。

另外，在该输入数据空间中，被虚线的圆圈包围的教师数据的集合表示模型创建用集群，被实线的圆圈包围的教师数据的集合表示模型验证用集群。

另外，在该图10中，对各集群标注附图标记a或者附图标记b。这些附图标记a或者附图标记b表示教师数据的输出，构成标注了附图标记a的集群的教师数据的输出分别为a，构成标注了附图标记b的集群的教师数据的输出分别为b。即，在图10所示的例子中，示出预测a或者b的二值分类。

在该图10所示的例子中，若利用从模型创建用集群取样的数据创建高精度的模型，则成为将标注了附图标记α的粗虚线作为边界进行预测的模型。

图11是提取图10中的模型创建用集群并示出的图。如该图11所示，对于模型创建用集群，在标注了附图标记α的粗虚线的左侧配置有全部的输出b，在其右侧配置有全部的输出a。即，可知对从模型创建用集群取样的数据的预测精度较高。

图12是提取图10中的模型验证用集群并示出的图。如该图12所示，可知对于模型验证用集群，在标注了附图标记α的粗虚线的左侧与输出b一起也配置输出a，而与图11所示的从模型创建用集群取样的数据相比预测精度较低。即，能够判断为过学习。在图10所示的例子中，将标注了附图标记β的点划线作为边界进行预测的模型成为没有过学习的合适的模型。

聚类处理部101通过进行分层聚类，能够以能够对多个教师数据识别偏差的方式进行聚类。

模型创建部103在机器学习中，使用分别从模型创建用集群所具备的多个集群数据组提取(取样)生成的数据(模型创建用数据)。通过使用通过从多个集群均衡地取样而获取的模型创建用数据，能够使模型的输出精度提高。

验证部105通过分别将多个模型验证用数据应用于模型，能够使多个集群的各数据反映于验证，能够使检测精度提高。

公开的技术并不限定于上述的实施方式，能够在不脱离本实施方式的主旨的范围内进行各种变形来实施。本实施方式的各构成以及各处理能够根据需要进行取舍选择，或者也可以适当地组合。

例如，在上述的实施方式中，在第一阶段，数据创建部102创建多个模型创建用数据，模型创建部103使用这些多个模型创建用数据创建多个模型，但并不限定于此。模型创建部103也可以使用全部的模型创建用集群的数据创建一个模型。

另外该情况下，优选在第二阶段，与上述的实施方式相同地，创建多个模型验证用数据，并分别将这些多个模型验证用数据应用于模型。而且，优选预测处理部104使用基于这些多个输入数据输出的多个预测结果求出精度。

在进行验证时，将多个集群的数据集中为一个的情况下，有优先数据数较多的集群的精度而检测精度降低的担心。因此，通过分别将多个模型验证用数据应用于模型，能够使多个集群的各数据反映于验证，能够使检测精度提高。

在上述的实施方式中，示出将机器学习应用于神经网络的例子，但并不限定于此，能够进行各种变形来实施。另外，通过上述的公开本领域技术人员能够实施·制造本实施方式。

附图标记说明

1…计算机系统，10…CPU，11…存储器，12…加速器，13…通信总线，100…学习处理部，101…聚类处理部，102…数据创建部，103…模型创建部，104…预测处理部，105…验证部。

Claims (18)

1.一种机器学习程序，其特征在于，使计算机执行如下处理：

对多个数据进行聚类；

通过使用了通过上述聚类分类为第一组的数据的机器学习生成模型；以及

使用通过上述聚类分类为第二组的数据，验证生成的上述模型的输出精度。

2.根据权利要求1所述的机器学习程序，其特征在于，

上述聚类为分层聚类。

3.根据权利要求1或者2所述的机器学习程序，其特征在于，

生成上述模型的处理包含使用了通过上述聚类分类为第三组的数据的机器学习，

使用通过上述聚类分类为第四组的数据执行上述验证的处理。

4.根据权利要求1～3中任意一项所述的机器学习程序，其特征在于，使上述计算机执行如下处理：

通过使用了被分类为上述第一组的数据中的第一数据的机器学习生成上述模型；以及

通过使用了被分类为上述第一组的数据中的第二数据的机器学习生成其它的模型。

5.根据权利要求4所述的机器学习程序，其特征在于，

上述验证的处理包含基于第一结果和第二结果计算第一输出精度的处理，上述第一结果是上述模型根据被分类为上述第二组的数据所包含的第三数据的向上述模型的输入而输出的结果，上述第二结果是上述其它的模型根据上述第三数据的向上述其它的模型的输入而输出的结果。

6.根据权利要求5所述的机器学习程序，其特征在于，

基于第二输出精度、和上述第一输出精度执行上述验证的处理，上述第二输出精度是基于第三结果和第四结果计算得到的，上述第三结果是上述模型根据被分类为上述第二组的数据所包含的第四数据的向上述模型的输入而输出的结果，上述第四结果是上述其它的模型根据上述第四数据的向上述其它的模型的输入而输出的结果。

7.一种机器学习方法，其特征在于，进行如下处理：

对多个数据进行聚类；

通过使用了通过上述聚类分类为第一组的数据的机器学习生成模型；以及

使用通过上述聚类分类为第二组的数据，验证生成的上述模型的输出精度。

8.根据权利要求7所述的机器学习方法，其特征在于，

上述聚类是分层聚类。

9.根据权利要求7或者8所述的机器学习方法，其特征在于，

生成上述模型的处理包含使用了通过上述聚类分类为第三组的数据的机器学习，

使用通过上述聚类分类为第四组的数据执行上述验证的处理。

10.根据权利要求7～9中任意一项所述的机器学习方法，其特征在于，

通过使用了被分类为上述第一组的数据中的第一数据的机器学习生成上述模型，

通过使用了被分类为上述第一组的数据中的第二数据的机器学习生成其它的模型。

11.根据权利要求10所述的机器学习方法，其特征在于，

上述验证的处理包含基于第一结果和第二结果计算第一输出精度的处理，上述第一结果是上述模型根据被分类为上述第二组的数据所包含的第三数据的向上述模型的输入而输出的结果，上述第二结果是上述其它的模型根据上述第三数据的向上述其它的模型的输入而输出的结果。

12.根据权利要求11所述的机器学习方法，其特征在于，

基于第二输出精度和上述第一输出精度执行上述验证的处理，上述第二输出精度是基于第三结果和第四结果计算得到的，上述第三结果是上述模型根据被分类为上述第二组的数据所包含的第四数据的向上述模型的输入而输出的结果，上述第四结果是上述其它的模型根据上述第四数据的向上述其它的模型的输入而输出的结果。

13.一种机器学习装置，其特征在于，

具有处理部，该处理部进行以下处理：

对多个数据进行聚类；

通过使用了通过上述聚类分类为第一组的数据的机器学习生成模型；以及

使用通过上述聚类分类为第二组的数据，验证生成的上述模型的输出精度。

14.根据权利要求13所述的机器学习装置，其特征在于，

上述聚类是分层聚类。

15.根据权利要求13或者14所述的机器学习装置，其特征在于，

生成上述模型的处理包含使用了通过上述聚类分类为第三组的数据的机器学习，

使用通过上述聚类分类为第四组的数据执行上述验证的处理。

16.根据权利要求13～15中任意一项所述的机器学习装置，其特征在于，

通过使用了被分类为上述第一组的数据中的第一数据的机器学习生成上述模型，

通过使用了被分类为上述第一组的数据中的第二数据的机器学习生成其它的模型。

17.根据权利要求16所述的机器学习装置，其特征在于，

上述验证的处理包含基于第一结果和第二结果计算第一输出精度的处理，上述第一结果是上述模型根据被分类为上述第二组的数据所包含的第三数据的向上述模型的输入而输出的结果，上述第二结果是上述其它的模型根据上述第三数据的向上述其它的模型的输入而输出的结果。

18.根据权利要求17所述的机器学习装置，其特征在于，

基于第二输出精度和上述第一输出精度执行上述验证的处理，上述第二输出精度是基于第三结果和第四结果计算得到的，上述第三结果是上述模型根据被分类为上述第二组的数据所包含的第四数据的向上述模型的输入而输出的结果，上述第四结果是上述其它的模型根据上述第四数据的向上述其它的模型的输入而输出的结果。

Images