CN112016694A - 机器学习用数据收集系统以及机器学习用数据收集方法 - Google Patents

Abstract

提供机器学习用数据收集系统以及机器学习用数据收集方法。能够防止被赋予了不恰当的标签的质量差的数据混入，并且能够大量高效地收集优质数据。机器学习用数据收集系统(3)具备：分类模型保存单元(22)，配置有在用户环境(2)中使用的多个学习完毕分类模型；模型发送单元(26)，向用户环境(2)发送分类模型；分类结果保存单元(23)，将从用户环境(2)发送的带标签数据作为输入而进行分类，保存分类结果，该分类结果包含每个输入数据的分类正确与否的结果和正确率；最佳模型推荐单元(21)，其根据每个分类模型的分类结果，提示适合于输入数据的分类模型；和教师数据记录单元(28)，其将输入数据记作分类模型的教师数据或测试数据。

Description

机器学习用数据收集系统以及机器学习用数据收集方法

技术领域

本发明涉及在机器学习中所需的教师或测试数据的收集系统以及收集方法。

背景技术

作为机器学习技术之一，作为受理被设为判别对象的数据的输入、并判定该数据的内容的类别(标签)并输出的方法，存在附加有教师的学习技术。在该技术中，预先准备相当数量的使数据与该数据的标签成对的数据作为教师数据，针对与数据对应的标签，以输出模型的方式进行学习。因此，在未正确地赋予与数据成对的标签的情况下，会学习到进行错误判定的模型，所得到的模型的判定性能较低。另一方面，虽然还存在不需要教师数据的无教师学习技术，但是为了在性能评价时判断是正确答案/不正确答案，希望存在赋予了正确的标签的评价用测试数据。

在机器学习中，为了模型学习需要大量数据。在对数据赋予标签时，理想情况下是希望在将判断基准统一的基础上，由熟练者仔细斟酌来判断所赋予的标签。然而，由于现实中资源有限，因此存在以模糊的状态赋予标签、或者由非熟练者来赋予标签等情况，从而无法完全防止贴错标签(混入不正确的标签)。由此，如何实现不正当的教师数据的混入的检查成为一个大课题。

此外，收集数据这一事项本身也要花费工夫，需要很多人来收集大量数据，因此，如何获得很多合作者也是一个课题。

如上所述，为了制作判定性能优异的学习模型，大量且优质的教师数据也是不可缺少的，双方的兼顾很重要。

作为减轻质量差的教师数据对学习模型产生的影响的技术，存在专利文献1。这里，公开了如下技术：针对作为教师数据的供给源的每个用户制作模型，此外，将各用户的特征的差异指标化，以降低具有与其他用户不同的特征的用户的贡献率的方式进行学习，从而降低质量差(被赋予了不适当的标签)的教师数据的影响。

同样，作为降低可靠性较低的标签的影响的技术，公开了专利文献2的技术。在本技术中，事先选择出可靠的教师数据并对除此以外的数据根据其与可靠的数据的差异以及标签的一致性来设定可靠度，由此防止了学习精度的恶化。

但是，通过机器学习制作的学习模型的内容多为黑盒，在提供了多个学习模型的情况下，作为模型利用者，有时难以判断自己应利用哪个模型。因此，在专利文献3中，公开了在系统中预先保存多个学习模型，根据基于各诊断模型的预测量和实际量的差来选择最佳的学习模型的技术。即，是一种对预测量与实际量的差进行评价以选择适当的模型的技术。

此外，在专利文献4中公开了一种警报预测技术，根据示出机械装置的故障等的来自用户的事件信息(数据)，由预测模型制作部制作预测模型，由预测模型评价部计算并评价该预测模型的预测遗漏率以及误预测率，使显示控制部显示评价的信息以向用户通知预测模型的精度。

专利文献1：日本特许第6231944号公报

专利文献2：日本特开2009-282686号公报

专利文献3：日本特许第4339769号公报

专利文献4：日本特许第6358401号公报

根据专利文献1的技术，虽然能够降低熟练度低的用户等贴错标签这样的相对而言较多的用户影响，但是标签赋予错误是偶发地产生的，无法防止熟练者偶尔发生的贴错的混入。

在专利文献2的技术中，虽然根据数据的倾向进行了教师数据的加权，但即使是乍一看类似的数据倾向，也存在标签赋予者根据自身的经验反而赋予了不同的标签的情况，在本技术的方法中，在那样的情况下，会进行与标签赋予者的意图不同的学习。

在专利文献3的技术的情况下，当对被比较的实际数据赋予了不适当的标签时，无法正确地评价模型性能。

在专利文献4的技术的情况下，虽然能够进行预测模型的评价，但从用户发送的数据被符号化而仅被用于事件列的提取，因此存在质量差的数据混入教师或测试数据中而使得用户无法选择适当的预测模型的担忧。

发明内容

因此，本发明的课题是提供机器学习数据收集系统以及收集方法，能够在机器学习中使用的教师或测试数据的收集中，防止被赋予了不适当的标签的质量差的数据的混入，并且能够大量高效地收集优质的数据。即，不仅会排除不良的数据，还通过构建容易收集优质的数据的环境来解决上述课题。

为了实现上述目的，第1方面的发明是一种机器学习用数据收集系统，其收集通过机器学习进行分类(class classification)的分类模型的教师数据或测试数据，其特征在于，所述机器学习用数据收集系统具备：分类模型保存单元，其配置有多个学习完毕分类模型，该多个学习完毕分类模型在用户环境中使用；模型发送单元，其向所述用户环境发送所述分类模型；分类结果保存单元，其针对所述分类模型保存单元中的各个所述分类模型，将从所述用户环境发送的带标签的数据作为各个所述分类模型的输入而进行分类，并保存分类结果，该分类结果包含每个输入数据的分类正确与否的结果和正确率中的至少一方；最佳模型推荐单元，其根据每个所述分类模型的分类结果，提供适合于所述输入数据的分类模型；以及教师数据记录单元，其将所述输入数据记作所述分类模型的教师数据或测试数据。

第2方面的发明的特征在于，在第1方面的结构的基础上，所述机器学习用数据收集系统具备推荐模型采用有无判定单元，该推荐模型采用有无判定单元检测所述最佳模型推荐单元所提示的所述分类模型是否已在所述用户环境中被采用，在所述推荐模型采用有无判定单元中判定为所述最佳模型推荐单元所提示的分类模型已被采用的情况下，将所述输入数据记录到所述教师数据记录单元中。

第3方面的发明的特征在于，在第1或第2方面的发明的结构的基础上，所述分类结果保存单元保存每个所述输入数据的分类正确与否的结果作为分类结果，另一方面，所述机器学习用数据收集系统具备：分类结果显示单元，其向用户提示所述分类是否正确；以及标签修正单元，其对所述输入数据的标签进行修正，所述机器学习用数据收集系统将反映了所述标签修正单元的修正结果的输入数据记录到所述教师数据记录单元中。

为了实现上述目的，第4方面的发明是一种机器学习用数据收集方法，收集通过机器学习进行分类的分类模型的教师数据或测试数据，其特征在于，执行如下步骤：数据分类步骤，针对所存储的多个学习完毕分类模型，将从用户环境发送的带标签的数据作为该多个学习完毕分类模型的输入数据而分别进行分类；最佳模型推荐步骤，根据每个所述分类模型的分类结果，提示适合于所述输入数据的分类模型；以及教师数据记录步骤，在该教师数据记录步骤中，将所述输入数据记作所述分类模型的教师数据或测试数据。

根据本发明，在机器学习中使用的教师数据或测试数据的收集中，能够防止被赋予了不适当的标签的质量差的数据的混入，并且能够大量且高效地收集优质的数据。由于对于通过机器学习制作出的学习模型，用户是难以判断应该利用哪个模型的，因此，为了恰当地选择出适合自身的用途的模型，用户具有利用推荐模型的系统的动机。为了使该系统反馈可靠的结果，需要恰当的输入数据，因此，在使用系统时，期待用户自己在事先斟酌了数据以及所赋予的标签的基础上上传数据。即，模型利用者为了得到最佳的模型这样的自己的利益，会选择被具有高准确度的被赋予了标签的数据，因此，通过将这些数据用作教师数据，能够降低以模糊的感觉被赋予了标签的数据混入教师数据中的风险，从而能够构建更好的分类模型。在无教师学习中，也能够将使用了被恰当地赋予了正确答案的测试数据的评价结果作为指标，同样能够构建并推荐适合于利用者的模型。

即，根据本发明，能够使用户自己选定并发送被优质的被赋予了标签的数据，从而能够更高效且容易地收集真正优质的数据。不会被数据的特征不当地影响而扭曲用户的判断(标签)，能够收集符合用户自身的感觉的优质的教师数据。并且，能够选择出适合于用户的分类模型会成为发送数据的动机，从而能够容易且持续地收集优质的数据。

特别是，根据第2方面的发明，除了上述效果之外，还能够进一步提高教师数据的可靠性。在利用系统的用户中，也存在以尝试性地利用系统的用户。通过判定系统推荐的模型是否实际被用户采用，能够判断用户的目的是尝试性目的还是实际选定目的，通过排除以尝试性目的输入的数据，能够更可靠地防止被赋予了不正确的标签的数据的混入。

特别是，根据第3方面的发明，在上述效果的基础上，通过显示系统所保持的分类模型的分类结果，用户能够确认在哪个输入数据中存在误诊，并能够再次确认误诊数据中是否存在标签赋予错误，如果存在错误，则进行修正，由此能够更正确地选择恰当的分类模型。其结果，作为教师数据而记录的输入数据的可靠性也会提高，能够得到质量更高的教师数据。

附图说明

图1是机床的框结构图。

标号说明

1：机床；2：用户环境；3：数据收集系统；11：加工数据取得单元；12：分类执行单元；13：加工数据保存单元；14、22：分类模型保存单元；15：数据发送单元；21：最佳模型推荐单元；23：分类结果保存单元；24：分类结果显示单元；25：标签修正单元；26：模型发送单元；27：推荐模型采用有无判定单元；28：教师数据记录单元。

具体实施方式

以下，根据附图对本发明的实施方式进行说明。

作为例子，使用对在机床1中对被切削材料进行加工时的异常的有无以及种类进行判断的机器学习用数据收集系统(以下简称为“数据收集系统”。)3来进行说明。

利用内置于机床1中或通过网络等连接的用户环境2来判定异常的有无等，将结果反馈给机床1以执行中断加工等适当的控制。由加工数据取得单元11收集在加工中从机床1得到的信号(负载或振动等)，由加工数据保存单元13适当记录，并且发送到分类执行单元12。分类执行单元12使用由分类模型保存单元14保存的学习完毕分类模型，判定机床1的加工是否正常，并将结果发送给机床1。

这里，能够以多大精度判定加工的异常取决于所使用的学习完毕分类模型的性能。为了更好地对正常或异常进行分类、或者是要区别出是怎样的异常，需要使用性能优异的分类模型。通过精度良好或灵敏度良好地对加工异常进行检测，能够事先防止工具的破损和被切削材料的不良，因此，用户需要更好的分类模型。

假定本发明中使用的分类模型为通过基于有教师学习的机器学习而制作出的模型。通过将赋予了要判定的标签(正常和异常、或异常的种类等)的数据提供给学习机并使其事先学习，能够得到对与未知的输入数据对应的标签进行估计的分类模型。虽然各个用户也可以自己制作这样的学习完毕分类模型，但是由于通常在机器学习中需要多种大量的学习数据，因此通常情况下难以以用户为单位收集到所需的量。因此，存在由机床制造商、第三方等采取广泛收集数据来构建学习完毕分类模型并向用户发送的情况。该情况下，由于模型的利用者是各自不同的，因此准备的模型的种类和特性也是各种各样。通常，用途范围和判定精度大多是彼此矛盾的，因此用户需要选择适合自身的用途以及要求等级的模型。因此，在本发明中，设想由模型供给侧推荐适合用户的模型的方式。

用户使用数据发送单元15发送自己欲诊断的事例或与其类似的事例的加工数据。所发送的数据例如可以从加工数据保存单元13所记录的数据等中适当选择。

在作为模型供给侧的数据收集系统3中，将制作完毕的各种分类模型存储在分类模型保存单元22中。将从用户侧的数据发送单元15发送的数据提供给在分类模型保存单元22中保存的学习完毕分类模型的一部分或全部，由分类执行单元12来进行分类(数据分类步骤)。各个分类处理本身使用与用户环境2中的分类处理相同的结构。

然后，分别对分类的正确与否和正确率进行计算并保存在分类结果保存单元23中，并在分类结果显示单元24进行显示，并且通过最佳模型推荐单元21向用户提示正确率较高的模型等被认为相对于发送数据的匹配性较高的模型(最佳模型推荐步骤)。这时，作为推荐基准，除了整体的正确率外，还可以适当使用正常数据和异常数据各自的正确率、以及针对对用户所重视的数据进行加权得到的该数据的正确率等。

用户能够基于最佳模型推荐单元21和分类结果显示单元24的结果来判断是否采用所提示的模型。在对模型的性能满意并打算使用的情况下，从模型发送单元26取得该模型，保存在分类模型保存单元14中，并且应用于分类执行单元12，由此能够将该模型用于分类。这时，在数据收集系统3侧，由推荐模型采用有无判定单元27基于是否从模型发送单元26进行了发送以及是否已应用于分类执行单元12等信息，来判定是否应用了推荐模型。

然后，在判定为对用户应用了推荐模型的情况下，将来自用户侧的数据发送单元15的发送数据记录并存储在教师数据记录单元28中(教师数据记录步骤)。

另外，在用户不满意由最佳模型推荐单元21提示的模型的性能的情况下，为了确认用于模型的性能计算的输入数据(由数据发送单元15发送的数据)是否有错误，可以使用由分类结果显示单元24显示的结果。在确认结果为输入数据有错误的情况下，用户能够使用标签修正单元25对该数据的标签进行修正。作为标签的修正方法，可以适当使用如下方法：在画面上显示数据的一览后选择修正的数据，然后再次输入正确的标签等方法。在对标签进行了修正的情况下，该修正结果被适当反映在数据中，在将该数据记录到教师数据记录单元28中时，能够以反映出修正的有无和内容等方式来进行记录。

这样，根据上述方式的数据收集系统3和数据收集方法，具备：分类模型保存单元22，其配置有多个学习完毕分类模型，该多个学习完毕分类模型在用户环境2中使用；模型发送单元26，其向用户环境2发送分类模型；分类结果保存单元23，其将从用户环境2发送的带标签的数据作为输入而进行分类，并保存分类结果，该分类结果包含每个输入数据的分类正确与否的结果和正确率；最佳模型推荐单元21，其根据每个分类模型的分类结果，提示适合于输入数据的分类模型；以及教师数据记录单元28，其将输入数据作为分类模型的教师或测试数据进行记录。由此，能够使得由用户自己选定并发送被优质的被赋予了标签的数据，能够更高效且容易地收集真正优质的数据。不会被数据的特征不当地影响而扭曲用户的判断(标签)，能够收集符合用户自身的感觉的优质的教师数据。进而，能够选择对用户来说适当的分类模型会成为发送数据的动机，从而能够容易且持续地收集优质的数据。

特别是，这里，具备推荐模型采用有无判定单元27，该推荐模型采用有无判定单元27检测最佳模型推荐单元21所提示的分类模型是否已在用户环境2中被采用，在推荐模型采用有无判定单元27中判定为最佳模型推荐单元21所提示的分类模型已被采用的情况下，将输入数据记录到教师数据记录单元28中，因此能够进一步提高教师数据的可靠性。在利用系统的用户中，也存在尝试性地利用系统的用户。通过判定系统推荐的模型是否实际被用户采用，能够判断用户是尝试性的目的、还是实际的选定目的，通过排除以尝试性的目的输入的数据，能够更可靠地防止被赋予了不正确的标签的数据的混入。

此外，具备：分类结果显示单元24，其向用户提示分类正确与否；和标签修正单元25，其对输入数据的标签进行修正，并将反映了标签修正单元25的修正结果的输入数据记录到教师数据记录单元28中，因此，用户能够确认在哪个输入数据中有误诊，并再次确认在误诊数据中是否有标签赋予错误，如果有错误，则进行修正，由此能够更准确地选择适当的分类模型。其结果，作为教师数据而记录的输入数据的可靠性也提高，能够得到质量更高的教师数据。

另外，数据收集系统3可以设置在云上，也可以在另行构建学习完毕模型的发布路径和教师数据的回收路径的基础上，作为主集群而设置。分类结果保存单元所保存的分类结果可以是分类正确与否的结果和正确率中的至少一方。

此外，最佳模型推荐单元、分类结果显示单元、标签修正单元是在用户环境中供用户进行确认或操作的单元，但不一定需要设置在用户环境中。

例如，如果是机床，则也可以将用户环境设为NC装置，将数据收集系统设为经由网络连接的服务器而设置如下单元，该单元能够基于从NC装置提取的数据在服务器侧进行处理，并将处理得到的信息在服务器侧显示并进行修正。也可以与之相反，将最佳模型推荐单元、分类结果显示单元、标签修正单元设置在NC装置侧，也可以设置成能够在经由服务器而连接的其他个人计算机(PC)等上进行显示并进行修正。

另一方面，用户环境也可以不是NC装置侧，数据收集系统也可以是用户侧和制造商侧中的任意一方。例如也可以将用户环境设为从NC装置接收信息的服务器(PC)，将数据收集系统设为制造商侧的服务器(包括PC、云)。

并且，在本实施例中，以有教师学习为例进行了说明，但在聚类等无教师学习的情况下，也可以将由数据发送单元发送的数据不作为教师数据，而是作为性能评价用的测试数据来使用。即，通过将本实施例的教师数据改称为测试数据，从而还可以将其用于基于无教师学习的分类模型。

Claims (4)

1.一种机器学习用数据收集系统，其收集通过机器学习进行分类的分类模型的教师数据或测试数据，其特征在于，

所述机器学习用数据收集系统具备：

分类模型保存单元，其配置有多个学习完毕分类模型，该多个学习完毕分类模型在用户环境中使用；

模型发送单元，其向所述用户环境发送所述分类模型；

分类结果保存单元，其针对所述分类模型保存单元中的各个所述分类模型，将从所述用户环境发送的带标签的数据作为输入而进行分类，并保存分类结果，该分类结果包含每个输入数据的分类正确与否和正确率中的至少一方；

最佳模型推荐单元，其根据每个所述分类模型的分类结果，提示适合于所述输入数据的分类模型；以及

教师数据记录单元，其将所述输入数据记录为所述分类模型的教师数据或测试数据。

2.根据权利要求1所述的机器学习用数据收集系统，其特征在于，

所述机器学习用数据收集系统具备推荐模型采用有无判定单元，该推荐模型采用有无判定单元检测所述最佳模型推荐单元所提示的所述分类模型是否已在所述用户环境中被采用，

在所述推荐模型采用有无判定单元中判定为所述最佳模型推荐单元所提示的分类模型已被采用的情况下，将所述输入数据记录到所述教师数据记录单元中。

3.根据权利要求1或2所述的机器学习用数据收集系统，其特征在于，

所述分类结果保存单元保存每个所述输入数据的分类正确与否作为分类结果，

并且，所述机器学习用数据收集系统具备：

分类结果显示单元，其向用户提示所述分类是否正确；以及

标签修正单元，其对所述输入数据的标签进行修正，

所述机器学习用数据收集系统将反映了所述标签修正单元的修正结果的输入数据记录到所述教师数据记录单元中。

4.一种机器学习用数据收集方法，收集通过机器学习进行分类的分类模型的教师数据或测试数据，其特征在于，执行如下步骤：

数据分类步骤，针对所存储的多个学习完毕分类模型，将从用户环境发送的带标签的数据作为输入数据而分别进行分类；

最佳模型推荐步骤，根据每个所述分类模型的分类结果，提示适合于所述输入数据的分类模型；以及

教师数据记录步骤，将所述输入数据记录为所述分类模型的教师数据或测试数据。

Images