CN116635876A - 处理系统、学习处理系统、处理方法和程序 - Google Patents

Abstract

本文中公开了一种用于试图减小识别错误标签所需的时间的技术。一种处理系统(1)包括第一获取器(11)、第二获取器(12)、第三获取器(13)、识别器(14)和提取器(15)。第一获取器(11)被配置为获取已经分配有标签的多条学习数据(D2)。第二获取器(12)被配置为获取基于多条学习数据(D2)而生成的学得模型(M1)。第三获取器(13)被配置为获取已经分配有标签的识别数据(D1)。识别器(14)被配置为基于学得模型(M1)来识别识别数据(D1)。提取器(15)被配置为基于应用于学得模型(M1)中并且与识别数据(D1)和多条学习数据(D2)中的每一条学习数据之间的相似度有关的指数，从多条学习数据(D2)中提取与识别数据(D1)类似的一条或多条学习数据(D2)。

Description

处理系统、学习处理系统、处理方法和程序

技术领域

本公开总体上涉及处理系统、学习处理系统、处理方法和程序。更具体地，本公开涉及与已经分配有标签的数据有关的处理系统、包括该处理系统的学习处理系统、处理方法和程序。

背景技术

专利文献1公开了一种数据分析器。该数据分析器将一系列处理重复预定次数，该一系列处理包括：将已标记的训练数据划分为模型构建数据和模型验证数据；通过使用模型构建数据来构建机器学习模型；以及将机器学习模型应用于模型验证数据，以识别样本。该数据分析器获得针对每个样本的非正确识别(作为数据分析器的识别结果的标签和初始分配给数据的标签彼此不一致)的次数，并且该数据分析器基于非正确识别的次数或非正确识别的概率来确定样本是否被误标记。这使得能够以高精度来检测包括在训练数据中且极有可能被误标记的样本。

专利文献1的数据分析器必须将一系列处理重复预定次数，因此可能花费很长时间来识别误标记(错误标签)。

引用列表

专利文献

专利文献1：JP 2018-155522A

发明内容

鉴于前述背景，本公开的目的是提供被配置为减小识别错误标签所需的时间的处理系统、学习处理系统、处理方法和程序。

本公开的一个方面的处理系统包括第一获取器、第二获取器、第三获取器、识别器和提取器。第一获取器被配置为获取已经分配有标签的多条学习数据。第二获取器被配置为获取基于多条学习数据而生成的学得模型。第三获取器被配置为获取已经分配有标签的识别数据。识别器被配置为基于学得模型来识别识别数据。提取器被配置为基于应用于学得模型中并且与识别数据和多条学习数据中的每一条学习数据之间的相似度有关的指数，从多条学习数据中提取与识别数据类似的一条或多条学习数据。

本公开的一个方面的学习处理系统包括处理系统和被配置为生成学得模型的学习系统。

本公开的一个方面的处理方法包括第一获取步骤、第二获取步骤、第三获取步骤、识别步骤和提取步骤。第一获取步骤包括获取已经分配有标签的多条学习数据。第二获取步骤包括获取基于多条学习数据而生成的学得模型。第三获取步骤包括获取已经分配有标签的识别数据。识别步骤包括基于学得模型来识别识别数据。提取步骤包括基于应用于学得模型中并且与识别数据和多条学习数据中的每一条学习数据之间的相似度有关的指数，从多条学习数据中提取与识别数据类似的一条或多条学习数据。

本公开的一个方面的程序是被配置为使一个或多个处理器执行该处理方法的程序。

附图说明

图1是根据实施例的包括处理系统的整个学习处理系统的示意性框图；

图2A和图2B是处理系统的第一操作示例和第二操作示例的示意图；

图3是示出了学习处理系统的操作的流程图；

图4是处理系统的第三操作示例的示意图；

图5是处理系统的第四操作示例的示意图；以及

图6是处理系统的第五操作示例的示意图。

具体实施方式

(1)概览

要在以下实施例的描述中参考的附图都是示意性表示。因此，附图上所示的各个组成元件的尺寸(包括厚度)的比例并不总是反映它们的实际尺寸比例。

如图1所示，根据本实施例的处理系统1包括第一获取器11、第二获取器12、第三获取器13、识别器14和提取器15。

第一获取器11获取已经分配有标签的多条学习数据D2。第二获取器12获取基于多条学习数据D2而生成的学得模型M1。

如本文中所使用的，学习数据D2是例如图像数据。学习数据D2是用例如图像捕获设备4(参见图1)捕获的图像数据。然而，图像数据可以是诸如计算机图形之类的已处理的数据。此外，假设图像数据是静止图像，但图像数据可以是运动图像或逐帧馈送的图像的帧的数据。学习数据D2是用于生成关于在图像数据中拍摄的对象5(参见图2A和图2B：对象)的学得模型M1的数据。也就是说，学习数据D2是用于通过机器学习来生成模型的学习数据。如在本公开中所使用的，“模型”是指被设计为响应于关于识别目标(对象5)的输入数据的输入来估计识别目标的条件、并输出估计结果(识别结果)的程序。此外，如本文中所使用的，“学得模型”是指完成了使用学习数据的机器学习的模型。此外，“学习数据(集合)”是指组合地包括要为模型输入的输入数据(图像数据)和分配给输入数据的标签的数据集合，即，所谓的“训练数据”。也就是说，在本实施例中，学得模型M1是已经通过监督学习进行了机器学习的模型。

注意，在本公开中，“在图像数据中拍摄的对象5”包括“在由图像数据表示的图像中捕获的对象5”的含义。

在本实施例中，学得模型M1是例如通过对多条学习数据D2进行深度学习而生成的模型。

在本实施例中，例如，作为识别目标的对象5是如图2A和图2B所示的电池。也就是说，学习数据D2是电池的图像(图像数据)。因此，学得模型M1估计电池的外观，并输出估计结果。具体地，学得模型M1输出电池的外观是良好的(OK)还是有缺陷的(NG)作为估计结果。换言之，学得模型M1用于进行电池的外观测试。在下文中，为了便于描述，假设要分配给多条学习数据D2中的每一条的标签的类型仅为两种，“OK”或“NG”。然而，如本公开所述的“标签”的类型不限于“OK”和“NG”两种类型。例如，对于“NG”，可以给出示出更详细的信息(例如，缺陷的类型)的标签。

当以其他词语来表示上述内容时，处理系统1基于学得模型M1来估计电池的外观，并输出估计结果。具体地，处理系统1使用学得模型M1，并输出电池的外观是良好的(OK)还是有缺陷的(NG)作为估计结果。

本实施例的第三获取器13获取已经分配有标签的识别数据D1。在本实施例中，与学习数据D2类似，识别数据D1是例如图像数据，并且在图像数据中拍摄的对象5是电池。识别数据D1是例如针对重新学习而新获得的训练数据，该重新学习用于更新完成了机器学习的学得模型M1。更具体地，识别数据D1是将作为以下的数据：除了当前可用学习数据之外要新添加的学习数据，或用于更新当前可用学习数据的学习数据。与多条学习数据D2类似，可以向识别数据D1分配“OK”或“NG”。

顺便提及，通过机器学习生成模型需要由人向训练数据(识别数据D1和学习数据D2)分配标签的工作(标记)。然而，当由人分配标签时，可能发生简单的工作错误，或者标记的标准可能取决于人而变得模糊。结果是，已标记的训练数据可能包括分配有不适当的标签(错误标签)的数据。错误标签可能存在于新获得的识别数据D1中、以及用于生成学得模型M1的学习数据D2中。

在本公开中，错误标签是指分配给数据且不适当的标签。错误标签的示例包括向应该分配OK标签的数据实际上分配的NG标签、以及向应该分配NG标签的数据实际上分配的OK标签。

在本实施例的处理系统1中，识别器14基于学得模型M1来识别识别数据D1。提取器15基于应用于学得模型M1中并且与识别数据D1和多条学习数据D2中的每一条学习数据之间的相似度有关的指数，从多条学习数据D2中提取与识别数据D1类似的一条或多条学习数据D2。如本文所使用的，“应用于学得模型M1中并且与相似度有关的指数”是例如深度学习中的紧接在输出层之前的完全连接层中的指数，并且在本实施例中是欧几里得距离。也就是说，从特征量(例如，从进行比较的两个图像获得的像素值)获得“距离”，并且估计两个图像的接近度。作为相似度的指数的“距离”与相似度成反比。除了欧几里得距离之外，作为相似度的指数的“距离”可以是马哈拉诺比斯(Mahalanobis)的广义距离、曼哈顿(Manhattan)距离、切比雪夫(Chebyshev)距离或闵可夫斯基(Minkowski)距离。此外，该指数不限于距离，而是可以是相似度、(相关)系数等，并且可以是例如n维向量的相似度、余弦相似度、皮尔逊(Pearson)相关系数、偏差模式相似度、杰卡德(Jaccard)指数、戴斯(Dice)系数或辛普森(Simpson)系数。

总之，基于在学得模型M1对输入数据(识别数据D1)进行分类时使用的相似度的指数来提取一条或多条类似的学习数据D2。提取器15提取与识别数据D1具有较高相似度的多条(例如，前三条)学习数据D2。

如上所述提取一条或多条类似的学习数据D2，因此，检查与识别数据D1类似的一条或多条学习数据D2至少一次使得能够识别存在或不存在错误标签。因此，可以减小识别错误标签所需的时间。

此外，如图1所示，根据本实施例的学习处理系统100包括处理系统1和被配置为生成学得模型M1的学习系统2。这可以提供被配置为减小识别错误标签所需的时间的学习处理系统100。

此外，根据本实施例的处理方法包括第一获取步骤、第二获取步骤、第三获取步骤、识别步骤和提取步骤。第一获取步骤包括获取已经分配有标签的多条学习数据D2。第二获取步骤包括获取基于多条学习数据D2而生成的学得模型M1。第三获取步骤包括获取已经分配有标签的识别数据D1。识别步骤基于学得模型M1来识别识别数据D1。提取步骤包括基于应用于学得模型M1中并且与识别数据D1和多条学习数据D2中的每一条学习数据之间的相似度有关的指数，从多条学习数据D2中提取与识别数据D1类似的一条或多条学习数据D2。该配置提供了被配置为减小识别错误标签所需的时间的处理方法。该处理方法在计算机系统(处理系统1)上使用。也就是说，该处理方法可以实现为程序。根据本实施例的程序是被配置为使一个或多个处理器执行根据本实施例的处理方法的程序。

(2)细节

以下将参考图1详细描述包括学习处理系统100和学习处理系统100的外围组件的整个系统，该学习处理系统100包括根据本实施例的处理系统1。注意，外围组件中的至少一些可以被包括在构成学习处理系统100的组件中。

(2.1)整体结构

如图1所示，学习处理系统100包括处理系统1和学习系统2。此外，学习处理系统100的外围组件包括估计系统3和一个或多个图像捕获设备4(在图1中仅示出一个图像捕获设备)。

假设处理系统1、学习系统2和估计系统3实现为例如服务器。假设如本文中所使用的“服务器”实现为单个服务器设备。也就是说，假设处理系统1、学习系统2和估计系统3的主要功能是针对单个服务器设备而提供的。

备选地，“服务器”也可以实现为多个服务器设备。具体地，可以分别针对三个不同的服务器设备提供处理系统1、学习系统2和估计系统3的功能。备选地，可以针对单个服务器设备提供这三个系统中的两个系统。可选地，这些服务器设备可以形成云计算系统。

此外，服务器设备可以安装在对电池进行外观测试的工厂内或工厂外(例如，在服务总部处)，无论哪个是适当的。如果处理系统1、学习系统2和估计系统3的各个功能是针对三个不同的服务器设备提供的，则这些服务器设备中的每一个优选地连接到其他服务器设备，以准备好与其他服务器设备通信。

学习系统2被配置为生成关于对象5的学得模型M1。学习系统2基于多条已标记的学习数据D2(图像数据)来生成学得模型M1。如本文中所使用的学得模型M1可以包括例如使用神经网络的模型或通过使用多层神经网络的深度学习而生成的模型。神经网络的示例可以包括卷积神经网络(CNN)和贝叶斯神经网络(BNN)。例如，可以通过将学得的神经网络安装到诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的集成电路中来实现学得模型M1。然而，学得模型M1不必是通过深度学习生成的模型。备选地，例如，学得模型M1也可以是由支持向量机或决策树生成的模型。

通过将指示“OK(良好产品)”或“NG(有缺陷产品)”的标签分配给图像数据中的相应一个来生成多条学习数据D2中的每一条。由用户经由诸如操作构件19之类的用户接口在学习处理系统100上执行分配标签的工作(标记)。学习系统2基于多条已标记的学习数据D2，通过对电池的良好产品和有缺陷产品的机器学习来生成学得模型M1。

可选地，学习系统2可以尝试通过使用新获取的已标记的学习数据作为识别数据D1进行重新学习来提高学得模型M1的性能。例如，如果在对象5中发现了新类型的缺陷，则可以使学习系统2进行关于新类型的缺陷的重新学习。

由学习系统2生成的学得模型M1存储(记录)在存储器中。存储学得模型M1的存储器包括诸如电可擦除可编程只读存储器(EEPROM)之类的可重写非易失性存储器。

处理系统1具有执行提取与识别数据D1类似的学习数据D2的提取处理的功能，以便于确定训练数据(识别数据D1和学习数据D2)中是否存在错误标签。在以下描述中，使用包括处理系统1在内的学习处理系统100的人在下文中将被简称为“用户”。例如，用户可以是在工厂中监控电池(对象5)的制造过程的操作员或首席管理员。

如图1所示，处理系统1包括处理器10、呈现设备17、通信接口18和操作构件19。处理系统1还包括存储器。

可选地，处理系统1的一些功能可以分布在具有与服务器通信的能力的电信设备中。如本文中所使用的“电信设备”的示例可以包括个人计算机(包括膝上型计算机和台式计算机)以及诸如智能电话和平板计算机之类的移动电信设备。在该实施例中，呈现设备17和操作构件19的功能针对要由用户使用的电信设备而提供。允许电信设备与服务器通信的专用软件程序预先安装在电信设备中。

处理器10可以实现为包括一个或多个处理器(微处理器)和一个或多个存储器的计算机系统。也就是说，一个或多个处理器可以通过执行存储在一个或多个存储器中的程序(应用)来执行处理器10的功能。在本实施例中，该程序被预先存储在处理器10的存储器中。备选地，也可以经由诸如因特网之类的电信网络来下载该程序，或者在已存储在诸如存储卡之类的非暂时性存储介质中之后分发该程序。

处理器10执行控制呈现设备17、通信接口18、操作构件19等的处理。假设由服务器来执行处理器10的功能。此外，处理器10具有执行识别处理、提取处理和决定处理的功能，并且如图1所示，处理器10包括第一获取器11、第二获取器12、第三获取器13、识别器14、提取器15和决定器16。将在下一节中描述第一获取器11、第二获取器12、第三获取器13、识别器14、提取器15和决定器16的细节。

呈现设备17可以实现为液晶显示器或有机电致发光(EL)显示器。呈现设备17是针对如上所述的电信设备提供的。可选地，呈现设备17也可以是触摸屏面板显示器。呈现设备17向外部设备呈现关于由决定器16(稍后将描述)做出的决定的信息(呈现信息D4)。此外，除了呈现信息D4之外，呈现设备17也可以显示各种类型的信息(例如，由估计系统3做出的估计结果)。

通信接口18是用于直接地或经由例如用户的电信设备或具有生产管理系统的功能的另一服务器间接地与一个或多个图像捕获设备4通信的通信接口。在该实施例中，假设通信接口18的功能以及处理器10的功能是针对单个服务器提供的。然而，这仅是示例，而不应被解释为限制。备选地，例如，通信接口18的功能也可以是针对电信设备提供的。通信接口18从图像捕获设备4或附加的服务器接收识别数据D1和学习数据D2。

识别数据D1和学习数据D2中的每一个是作为用图像捕获设备4捕获的图像数据并且分配有标签(这里，“OK”或“NG”)的数据，并且图像数据包括表示对象5的像素区域。此外，对象5是如上所述的电池，并且识别数据D1和学习数据D2中的每一个是包括表示电池的外观的像素区域的数据。图像捕获设备4包括例如线传感器相机。

可以用作训练数据(学习数据D2)的图像数据是根据例如用户的命令从用图像捕获设备4拍摄的关于对象5的大量图像数据中选择的。学习处理系统100设置有支持对图像数据进行分类和标记图像数据的工作的功能。学习处理系统100可以包括接受关于分类和标记的用户命令的用户界面(其可以是操作构件19)。

操作构件19的示例包括鼠标、键盘和指向设备。如上所述，操作构件19是针对要由用户使用的电信设备提供的。如果呈现设备17是电信设备的触摸屏面板显示器，则呈现设备17也可以具有操作构件19的功能。

估计系统3基于由学习系统2生成的学得模型M1，对要输入的目标图像数据D3进行估计(估计阶段)。估计系统3被配置为直接地或通过用户的电信设备、具有如生产管理系统的功能的另一服务器等间接地与一个或多个图像捕获设备4通信。估计系统3接收通过用一个或多个图像捕获设备4捕获实际上已经经历了生产过程的电池(成品或半成品)的图像而获得的目标图像数据D3。然后，估计系统3对电池执行外观测试。

估计系统3基于学得模型M1来确定在目标图像数据D3中拍摄的对象5是良好产品还是有缺陷产品。估计系统3将关于目标图像数据D3的识别结果(即，估计结果)输出到例如由用户使用的电信设备或生产管理系统。这允许用户通过电信设备检查估计结果。可选地，生产管理系统可以控制生产设施在基于由生产管理系统获取的估计结果而已被确定为有缺陷产品的电池被传送并经历下一处理步骤之前，丢弃该电池。

稍后将描述的处理系统1的识别器14的功能基本上等同于估计系统3的功能。

(2.2)错误标签检测

处理器10具有执行识别处理、提取处理和决定处理以检测错误标签的功能。具体地，如图1所示，处理器10包括第一获取器11、第二获取器12、第三获取器13、识别器14、提取器15和决定器16。

第一获取器11被配置为获取多条已标记的学习数据D2。第一获取器11响应于由用户经由操作构件19给出的操作输入，例如从存储多条已标记的学习数据D2的存储器中获取用于生成学得模型M1的多条已标记的学习数据D2中的所有学习数据。呈现设备17被配置为在屏幕上显示由第一获取器11获取的已标记的学习数据D2，使得用户可以查看已标记的学习数据D2。

第二获取器12被配置为获取由学习系统2基于多条学习数据D2生成的学得模型M1。第二获取器12响应于由用户经由操作构件19给出的操作输入，例如从存储学得模型M1的存储器中获取学得模型M1。

第三获取器13被配置为获取已标记的识别数据D1。第三获取器13响应于由用户经由操作构件19给出的操作输入，例如从存储新准备的已标记的识别数据D1的存储器中获取新准备的已标记的识别数据D1。呈现设备17被配置为在屏幕上显示由第三获取器13获取的已标记的识别数据D1，使得用户可以查看已标记的识别数据D1。

识别器14被配置为基于学得模型M1来识别识别数据D1(识别处理)。识别器14使得基于由第二获取器12获取的学得模型M1来识别在识别数据D1中拍摄的对象5(电池)是OK还是NG。也就是说，识别器14使学得模型M1对识别数据D1是OK还是NG进行分类(识别)，如估计系统3中的目标图像数据D3(输入数据)一样。如稍后描述的，将识别处理的结果与实际上赋予识别数据D1的标签进行比较。

提取器15被配置为基于应用于学得模型M1中并且与识别数据D1和多条学习数据D2中的每一条学习数据之间的相似度有关的指数，从多条学习数据D2中提取与识别数据D1类似的一条或多条学习数据D2(提取处理)。在以下描述中，由此提取的一条或多条学习数据D2中的每一条可以称为“类似数据D21”。这里，提取器15基于深度学习中的紧接在输出层之前的完全连接层上的信息来提取类似数据D21(学习数据D2)。提取器15获得与从识别数据D1的图像获得的像素值等有关的特征量和与从每一条学习数据D2的图像获得的像素值等有关的特征量之间的相似度的指数(例如，欧几里得距离)，从而估计图像之间的接近度。在以下描述中，相似度的指数可以简称为“距离”。提取器15获得该指数，以估计识别数据D1和每条学习数据D2之间的相似度。

从类似数据D21到识别数据D1的距离越短意味着类似数据D21是越接近识别数据D1的图像。换言之，学得模型M1在完全连接层中比较从输入数据获得的特征量和从每条学习数据D2获得的特征量之间的距离。也就是说，提取器15通过使用学得模型M1来在学得模型M1的完全连接层中比较从输入数据获得的特征量和从每条学习数据D2获得的特征量之间的距离。结果是，基于学习数据D2中的与输入数据具有短距离的一条学习数据D2的标签，通过学得模型M1将输入数据分类为如极有可能是良好产品(OK)的结果或如极有可能是有缺陷产品(NG)的结果，并且从学得模型M1的输出层输出分类结果。

因此，提取器15基于识别数据D1和每条学习数据D2之间的距离，从多条学习数据D2中提取与识别数据D1高度类似的类似数据D21。例如，提取器15提取具有短于或等于预定阈值的距离的学习数据D2作为类似数据D21。备选地，提取器15可以从多条学习数据D2中提取具有较高相似度(具有较短距离)的前N条学习数据D2作为类似数据D21(N是自然数)。预定阈值和/或N(条数)可以由用户任意设置。在本实施例中，处理系统1被配置为经由操作构件19从用户接收关于预定阈值和/或N(条数)的设置信息。设置信息存储在处理器10的存储器等中。在以下描述中，假设提取与识别数据D1具有较短距离的前三条类似数据D21。

决定器16被配置为基于识别数据D1和一条或多条学习数据D2来做出存在或不存在错误标签的决定(决定处理)。在本实施例中，当满足特定条件时，处理器10使决定器16执行决定处理。特定条件是识别处理的识别结果与识别数据D1的标签不一致。换言之，当识别器14对识别数据D1的识别结果与分配给识别数据D1的标签不一致时，决定器16做出存在或不存在错误标签的决定。因此，仅当满足特定条件时才执行决定处理，这减小了不必要地执行决定处理的可能性，从而有助于减小处理负载。因此，也可以减小指定误标记数据所需的时间。这里，当满足特定条件时，还执行上述提取处理，因此，进一步减小了处理负载。

总之，决定器16基于识别数据D1和一条或多条类似数据D21(学习数据D2)，针对分配给识别数据D1的标签和分别分配给一条或多条类似数据D21的一个或多个标签，做出存在或不存在错误标签的决定。注意，如在本公开中所使用的，“识别数据D1的标签”是指分配给识别数据D1的标签，并且“学习数据D2的标签”是指分配给学习数据D2的标签。

注意，当识别器14对识别数据D1的识别结果与分配给识别数据D1的标签一致时，决定器16放弃做出存在或不存在错误标签的决定。

此外，在本实施例中，决定器16基于以下中的至少一个来做出存在或不存在错误标签的决定：识别数据D1的标签和一条或多条类似数据D21(学习数据D2)各自的一个或多个标签；或者与一条或多条类似数据D21(学习数据D2)中的每一条对于识别数据D1的相似度有关的指数。在下一节“(2.3)操作”中，将在第一操作示例中描述基于“标签”来做出存在或不存在错误标签的决定的情况，并且将在第二操作示例中描述基于“标签”和“相似度的指数”两者来做出存在或不存在错误标签的决定的情况。第一操作示例和第二操作示例中的每一个是在识别数据D1中存在错误标签的示例。此外，在本实施例中，决定器16还具有识别学习数据D2具有错误标签的功能，这将在下一节“(2.3)操作”中的第三操作示例中进行描述。

总之，决定器16基于以下中的至少一个来做出存在或不存在错误标签的决定：分配给识别数据D1的标签和分别分配给一条或多条类似数据D21(学习数据D2)的一个或多个标签；或者与识别数据D1和一条或多条类似数据D21(学习数据D2)中的每一条类似数据之间的相似度有关的指数。

处理系统1的存储器存储各种类型的信息。更具体地，存储器存储由第一获取器11获取的多条学习数据D2、由第二获取器12获取的学得模型M1以及由第三获取器13获取的识别数据D1。存储器还存储由提取器15提取的一条或多条类似数据D21。存储器还存储由决定器16做出的决定。

(2.3)操作

以下将在第一操作示例至第五操作示例中描述与处理系统1有关的操作。每个操作示例中的操作过程仅是示例，而不应被解释为限制。

<第一操作示例：具有错误标签的识别数据>

下面将参考图2A、图2B和图3描述第一操作示例。

处理系统1的处理器10通过使用第一获取器11、第二获取器12和第三获取器13来分别获取多条已标记的学习数据D2、学得模型M1和已标记的识别数据D1(图3：S 1至S3，第一获取步骤至第三获取步骤)。这些数据的获取顺序不受特别限制。在本操作示例(第一操作示例)中，假设识别数据D1已经分配有标签“NG”(参见图2A)。

然后，处理器10通过使用识别器14基于学得模型M1来识别识别数据D1(图3：S4，识别步骤)。这里，假设识别结果是“OK”(参见图2A)。处理器10将识别数据D1的识别结果和标签相互比较，并且如果它们彼此不一致(图3：S5中的是)，则处理进行到提取处理和决定处理。另一方面，如果识别数据D1的识别结果和标签彼此一致(图3：S5中的否)，则处理器10既不进行到提取处理也不进行到决定处理，而是使呈现设备17呈现表示例如“没有错误”的消息，并且处理器10结束处理。在本操作示例中，识别结果为“OK”并且标签为“NG”，因此，处理进行到提取处理和决定处理。

处理器10通过使用提取器15从多条学习数据D2中提取类似数据D21(图3：S7，提取步骤)。在该示例中，提取具有较短距离的前三条类似数据D21(参见图2A和图2B)。此外，在该示例中，三条类似数据D21的距离(类似数据D21与识别数据D1的距离)从左起为0.79、0.81和0.83，并且学得模型M1将具有更接近于0(零)的距离的类似数据识别为更接近于识别数据D1的图像。此外，在该示例中，三条类似数据D21的标签都是“OK”。

然后，处理器10基于识别数据D1和三条类似数据D21，通过使用决定器16来做出存在或不存在错误标签的决定(图3：S8)。在本公开中，决定器16计算误标记度，并且如果误标记度高(例如，高于或等于90％)，则决定器16做出识别数据D1可能具有错误标签的决定。具体地，在本操作示例中，决定器16被配置为基于识别数据D1的标签和一条或多条类似数据D21(学习数据D2)各自的一个或多个标签中的每一个之间的不一致比率(误标记度)来做出存在或不存在错误标签的决定。在图2A所示的示例中，识别数据D1的标签是“NG”，而三条类似数据D21的所有标签都是“OK”。因此，不一致比率为100％。因此，在本操作示例中，决定器16做出训练数据具有错误标签的决定，并且特别地，做出识别数据D1可能具有错误标签的决定。注意，稍后将在第五操作示例中描述不一致比率低于90％的情况。

处理器10通过使用呈现设备17来呈现包括由决定器16做出的决定的呈现信息D4(图3：S9)。如图2B所示，在本操作示例中，已经针对其做出可能具有错误标签的决定的识别数据D1以这样的方式呈现：字符数据“错误标签”叠置在识别数据D1的图像上，并且该图像被框架围绕。也就是说，当由此做出的决定是存在错误标签时，呈现设备17呈现识别数据D1和一条或多条类似数据D21(学习数据D2)中的哪一个具有错误标签的信息。这里，在呈现设备17的相同屏幕上，作为与识别数据D1的图像的集合，还显示三条类似数据D21以供参考(参见图2B)。此外，还与该图像一起示出识别数据D1的关于标签和识别结果的信息以及每条类似数据D21的关于标签的信息和关于距离的信息。因此，用户可以通过检查由呈现设备17呈现的信息来容易地理解分配给识别数据D1的“NG”标签是非正确的，并且正确的标签应该是“OK”。

<第二操作示例：具有错误标签的识别数据>

下面将参考第一操作示例的图2B描述第二操作示例。可以省略与上述第一操作示例基本上共同的操作的详细描述。

在第一操作示例中，在图3的S8中的决定处理中，基于标签(即，基于作为误标记度的标签的不一致比率)来做出存在或不存在错误标签的决定。在本操作示例(第二操作示例)中，决定器16基于以下两者来做出存在或不存在错误标签的决定：识别数据D1的标签和一条或多条类似数据D21(学习数据D2)各自的一个或多个标签；以及与一条或多条类似数据D21(学习数据D2)中的每一条的相似度有关的指数。也就是说，本操作示例的决定方法不同于第一操作示例中描述的决定方法。

具体地，决定器16根据以下等式(1)来计算误标记度F，其中，F是误标记度。

[等式1]

在等式(1)中，N是类似数据D21的条数(这里，N＝3)。当类似数据i的标签和识别数据D1的标签彼此一致时，假设Pi为0(零)，或者当类似数据i的标签和识别数据D1的标签彼此不一致时，根据以下等式(2)来计算Pi。这里，K＝0.001。

[等式2]

Pi＝e^-K×Li···等式(2)

在等式(2)中，Pi是随着距离i(Li)的减小而接近1的值。等式(2)中的Pi是接近1的值意味着类似数据i和识别数据D1在它们的图像方面彼此高度类似，尽管它们的标签彼此不一致。因此，随着误标记度F×100(概率)接近100％，决定器16做出存在错误标签的决定，并且特别地做出识别数据D1可能具有错误标签的决定。

在图2B所示的示例中，三条类似数据D21的距离从左起为0.79、0.81和0.83，并且所有这些标签都与识别数据D1的标签不一致，因此，根据等式(2)来计算类似数据i的Pi。将每个距离实际上代入等式(2)中，从而获得F×100，并且在这种情况下，识别数据D1具有错误标签的概率为{(0.99921+0.99919+0.99917)/3}×100≈99.9％。

处理系统1可以被配置为根据由用户向操作构件19等给出的操作输入，选择基于第一操作示例的“标签的比率”的决定方法或基于本操作示例的“标签和相似度的指数两者”的决定方法。

与基于不一致比率来做出存在或不存在错误标签的决定的第一操作示例相比，如在本操作示例中所说明的基于标签和相似度的指数两者来做出存在或不存在错误标签的决定容易地提高了与关于错误标签的决定有关的可靠性。特别地，当距离在由此提取的类似数据D21之间显著地变化时，与第一操作示例中的不一致比率相比，可以进一步提高准确度。

<第三操作示例：具有错误标签的学习数据>

下面将参考图3和图4描述第三操作示例。可以省略与上述第一操作示例基本上共同的操作的详细描述。

结合第一操作示例和第二操作示例的描述所提及的图2B示出了识别数据D1具有错误标签的示例。在本操作示例(第三操作示例)中，将描述学习数据D2具有错误标签的示例。

处理系统1的处理器10获取多条已标记的学习数据D2、学得模型M1和已标记的识别数据D1(图3：S1至S3)。在本操作示例中，识别数据D1分配有标签“OK”(参见图4)。

然后，处理器10通过使用学得模型M1来识别识别数据D1(图3：S4)。这里，假设识别结果是“NG”(参见图4)。处理器10将识别结果与识别数据D1的标签进行比较(图3：S5)。在本操作示例中，识别结果为“NG”并且标签为“OK”，因此，处理进行到提取处理和决定处理。

处理器10从多条学习数据D2中提取多条类似数据D21(图3：S7)。在该示例中，三条类似数据D21的距离从左起为0(零)、1.82和1.95。此外，在该示例中，三条类似数据D21的标签从左起为“NG”、“OK”和“OK”。

然后，处理器10基于识别数据D1和三条类似数据D21，做出存在或不存在错误标签的决定(图3：S8)。

这里，如上所述，本实施例的决定器16还具有用于识别学习数据D2具有错误标签的功能。具体地，决定器16从一条或多条类似数据D21(学习数据D2)中识别特定学习数据D22，该特定学习数据与识别数据D1类似的程度使得与相似度有关的指数满足预定条件。当特定学习数据D22的标签与识别数据D1的标签不一致，并且一条或多条类似数据D21中的除了特定学习数据D22之外的学习数据D23的标签与识别数据D1的标签一致时，决定器16做出特定学习数据D22比识别数据D1更有可能具有错误标签的决定。

在本实施例中，与相似性有关的指数是“距离”，因此，决定器16识别满足预定条件“距离低于或等于预定距离(阈值)”的特定学习数据D22。这里，假设预定距离(阈值)为例如0.001，但不特别地限于该示例。当与相似度有关的指数是诸如n维向量的相似度或余弦相似度之类的“相似度”时，决定器16识别满足预定条件“相似度高于或等于规定的相似度(阈值)”的特定学习数据D22。预定距离(阈值)和/或规定的相似度(阈值)可以由用户任意设置。处理系统1被配置为经由操作构件19从用户接收关于预定距离(阈值)和/或规定的相似度(阈值)的设置信息。设置信息存储在处理器10的存储器等中。

在图4所示的示例中，在三条类似数据D21的左端处的类似数据D21的“距离”短于或等于预定距离(0.001)，因此，决定器16确定在左端处的类似数据D21对应于与识别数据D1非常类似的特定学习数据D22。特定学习数据D22的标签(NG)与识别数据D1的标签(OK)不一致，并且除了特定学习数据D22之外的两条学习数据D23的标签(OK)与识别数据D1的标签(OK)一致。决定器16由此做出特定学习数据D22比识别数据D1更有可能具有错误标签的决定。

这里，当特定学习数据D22的条数是除了特定学习数据D22之外的与识别数据D1的标签一致的学习数据D23的条数的1/2时，决定器16做出特定学习数据D22可能具有错误标签的决定。在图4所示的示例中，特定学习数据D22的条数是1(即，(两条)学习数据D23的条数的1/2)，因此，做出特定学习数据D22可能具有错误标签的决定。

处理器10通过使用呈现设备17来呈现包括由决定器16做出的决定的呈现信息D4(图3：S9)。如图4所示，在本操作示例中，已经针对其做出可能具有错误标签的决定的特定学习数据D22以这样的方式呈现：字符数据“错误标签”叠置在特定学习数据D22的图像上，并且该图像被框架围绕。此外，还与该图像一起示出识别数据D1的关于标签和识别结果的信息以及每条类似数据D21的关于标签的信息和关于距离的信息。因此，用户可以通过检查由呈现设备17呈现的信息来容易地理解分配给特定学习数据D22的“NG”标签是非正确的，并且正确的标签应该是“OK”。

特定学习数据D22的条数大于或等于学习数据D23的条数的1/2，决定器16做出不存在错误标签的决定。处理器10使呈现设备17将识别数据D1的图像和三条类似数据D21的图像与表示例如“请目视检查”的消息一起呈现。换言之，当由此做出的决定是不存在错误标签时，呈现设备17呈现识别数据D1和一条或多条类似数据D21(学习数据D2)两者。也就是说，当难以通过处理系统1自动地做出存在或不存在错误标签的决定时，处理系统1提示用户进行目视检查。

<第四操作示例：第三操作示例的变型>

下面将参考图5来描述第四操作示例。可以省略与上述第一操作示例基本上共同的操作的详细描述。

本操作示例(第四操作示例)是上述第三操作示例的变型。本操作示例与第三操作示例的类似之处在于，存在与识别数据D1非常类似的特定学习数据D22。然而，本操作示例与第三操作示例的不同之处在于，识别数据D1具有错误标签。

图5中的示例示出了对于识别数据D1，识别结果为“OK”，并且标签为“NG”。在图5中的示例中，如在图4所示的示例中，三条类似数据D21的距离从左起为0(零)、1.82和1.95。然而，在图5所示的示例中，与图4所示的那些标签不同，三条类似数据D21的所有标签都为“OK”。

此外在本变型中，决定器16从一条或多条类似数据D21(学习数据D2)中识别特定学习数据D22，该特定学习数据与识别数据D1类似的程度使得与相似度有关的指数满足预定条件(这里，距离短于或等于预定距离(阈值))。这里，当特定学习数据D22的标签与识别数据D1的标签不一致，并且一条或多条类似数据D21中的除了特定学习数据D22之外的学习数据D23的标签与特定学习数据D22的标签一致时，决定器16做出识别数据D1比特定学习数据D22更有可能具有错误标签的决定。

在图5所示的示例中，在三条类似数据D21的左端处的类似数据D21的“距离”短于或等于预定距离(0.001)，因此，决定器16确定在左端处的类似数据D21对应于与识别数据D1非常类似的特定学习数据D22。特定学习数据D22的标签(OK)与识别数据D1的标签(NG)不一致，并且除了特定学习数据D22之外的两条学习数据D23的标签(OK)与特定学习数据D22的标签(OK)一致。决定器16由此做出识别数据D1比特定学习数据D22更有可能具有错误标签的决定。

这里，当与特定学习数据D22的标签一致的学习数据D23的条数大于与特定学习数据D22的标签不一致的学习数据D23的条数时，决定器16做出识别数据D1可能具有错误标签的决定。在图5所示的示例中，与特定学习数据D22的标签一致的学习数据D23的条数为2，并且大于与特定学习数据D22的标签不一致的学习数据D23的条数(零)，因此，做出识别数据D1可能具有错误标签的决定。

如图5所示，在本操作示例中，已经针对其做出可能具有错误标签的决定的识别数据D1以这样的方式呈现：字符数据“错误标签”叠置在识别数据D1的图像上，并且该图像被框架围绕。此外，还与该图像一起示出识别数据D1的关于标签和识别结果的信息以及每条类似数据D21的关于标签的信息和关于距离的信息。因此，用户可以通过检查由呈现设备17呈现的信息来容易地理解分配给识别数据D1的“NG”标签是非正确的，并且正确的标签应该是“OK”。

当与特定学习数据D22的标签一致的学习数据D23的条数小于或等于与特定学习数据D22的标签不一致的学习数据D23的条数时，决定器16做出不存在错误标签的决定。处理器10使呈现设备17将识别数据D1的图像和三条类似数据D21的图像与表示例如“请目视检查”的消息一起呈现。换言之，当由此做出的决定是不存在错误标签时，呈现设备17呈现识别数据D1和一条或多条类似数据D21(学习数据D2)两者。也就是说，当难以通过处理系统1自动地做出存在或不存在错误标签的决定时，处理系统1提示用户进行目视检查。

<第五操作示例：存在具有“OK”标签的类似数据和具有“NG”标签的类似数据>

下面将参考图6描述第五操作示例。可以省略与上述第一操作示例基本上共同的操作的详细描述。

在连同第一操作示例和第二操作示例的描述所提及的图2B中，由此提取的三条类似数据D21的所有标签都是“OK”。将参考图6描述本操作示例(第五操作示例)，图6示出了如在连同第三操作示例的描述所提及的图4中，所提取的三条类似数据D21的标签包括“OK”标签和“NG”标签的示例。然而，与连同第三操作示例的描述所提及的图4不同，在图6中没有发现距离短于或等于预定距离(0.001)并且与识别数据D1非常类似的类似数据D21。

处理系统1的处理器10获取多条已标记的学习数据D2、学得模型M1和已标记的识别数据D1(图3：S1至S3)。在本操作示例中，识别数据D1分配有“NG”标签(参见图6)。

然后，处理器10通过使用学得模型M1来识别识别数据D1(图3：S4)。这里，假设识别结果是“OK”(参见图6)。处理器10将识别结果与识别数据D1的标签进行比较(图3：S5)。在本操作示例中，识别结果为“OK”并且标签为“NG”，因此，处理进行到提取处理和决定处理。

处理器10从多条学习数据D2中提取多条类似数据D21(图3：S7)。在该示例中，三条类似数据D21的距离从左起为1.86、1.93和2.01。此外，在该示例中，三条类似数据D21的标签从左起为“OK”、“OK”和“NG”。总之，图6所示的三条类似数据D21包括具有OK标签的类似数据和具有NG标签的类似数据两者，尽管三条类似数据到识别数据D1的距离基本上彼此相等。

然后，处理器10基于识别数据D1和三条类似数据D21，做出存在或不存在错误标签的决定(图3：S8)。

在本操作示例中，例如，决定器16被配置为以与第一操作示例类似的方式基于识别数据D1的标签和三条类似数据D21的标签中的每一个标签之间的不一致比率(误标记度)来做出存在或不存在错误标签的决定。在图6所示的示例中，三条类似数据D21中的两条类似数据的标签与识别数据D1的“NG”标签不一致。结果是，不一致比率(误标记度)为约67％。因此，在本操作示例中，误标记度低于阈值(例如，90％)，并且决定器16由此做出不存在错误标签的决定。

在这种情况下，处理器10使呈现设备17将识别数据D1的图像和三条类似数据D21的图像与表示例如“类似数据包括OK图像和NG图像。请目视检查”的消息一起呈现。换言之，当由此做出的决定是不存在错误标签时，呈现设备17呈现识别数据D1和一条或多条类似数据D21(学习数据D2)两者。也就是说，类似于第三操作示例，当难以通过处理系统1自动地做出存在或不存在错误标签的决定时，处理系统1提示用户进行目视检查。

<优点>

为了通过机器学习生成模型，训练数据(识别数据D1和学习数据D2)必须由人来标记。然而，当由人分配标签时，可能发生简单的工作错误，或者标记的标准可能取决于人而变得模糊。特别地，取决于对象5的类型，应该分配OK标签的图像和应该分配NG标签的图像对于不太熟练的人来说可能看起来是类似的图像。结果是，已标记的训练数据可能包括分配有错误标签的数据。例如，应该分配OK标签的图像可能被分配NG标签作为错误标签，或者应该分配NG标签的图像可能被分配OK标签作为错误标签。错误标签可能存在于新获得的识别数据D1以及用于生成学得模型M1的大量学习数据D2中。

如结合第一操作示例至第五操作示例所说明的，根据本实施例的处理系统1(自动地)提取与识别数据D1类似的一条或多条类似数据D21。用户通过经由呈现设备17目视检查识别数据D1和一条或多条类似数据D21至少一次，容易地识别存在或不存在错误标签。因此，处理系统1可以辅助用户进行与识别错误标签有关的工作。因此，可以减小识别错误标签所需的时间。此外，基于已经去除了错误标签的训练数据来执行学习，因此，还提高了基于学得模型M1的估计阶段的准确度。

处理系统1具有自动地检测错误标签的功能，也就是说，包括被配置为做出存在或不存在错误标签的决定的决定器16。然而，决定器16不是处理系统1的必不可少的配置元件。注意，如在本实施例中，提供决定器16使得能够进一步减小识别错误标签所需的时间。

此外，处理系统1包括被配置为向外部呈现关于由决定器16做出的决定的信息(呈现信息D4)的呈现设备17，由此便于由用户进行目视检查。

此外，当由决定器16做出的决定是存在错误标签时，呈现设备17呈现对识别数据D1和类似数据D21中的哪一个具有错误标签加以指示的信息。因此，用户可以容易地目视检查哪个数据具有错误标签。

特别地，当由此做出的决定是不存在错误标签时，呈现设备17呈现识别数据D1和类似数据D21两者。这便于由用户对识别数据D1和类似数据D21两者的目视检查，因此，如果错误标签实际上存在于识别数据D1或类似数据D21中，则用户可以容易地发现错误标签。此外，当包括除了错误标签之外的另一失败(例如，欠拟合或过拟合)时，另一失败也被容易地发现。

例如，用户检查呈现设备17，并且如果具有较高相似度(较短距离)的前若干条类似数据D21与识别数据D1不是非常类似，则用户可以做出学得模型M1为高可能性欠拟合的决定。

注意，处理系统1的处理器10可以基于由此提取的前若干条类似数据D21的距离，自动地做出关于学得模型M1的欠拟合的决定。在图3中，例如，在提取处理(S7)之后，检查由此提取的每条类似数据D21的距离，并且如果该距离大于或等于特定值，则做出学得模型M1为欠拟合的决定，并且该处理不进行到下一决定处理(S8)，而是呈现设备17呈现表示“欠拟合”的消息，并且该处理可以结束。

(3)变型

注意，上述实施例仅是本公开的各种实施例中的示例性实施例，而不应被解释为限制。相反，在不脱离本公开的范围的情况下，可以根据设计选择或任何其他因素以各种方式容易地修改示例性实施例。此外，根据上述示例性实施例的处理系统1的功能也可以实现为例如处理方法、计算机程序或存储计算机程序的非暂时性存储介质。

接下来，将逐一列举示例性实施例的变型。注意，以下要描述的变型可以适当地组合采用。在以下描述中，上述示例性实施例有时将在下文中称为“基本示例”。

根据本公开的处理系统1包括计算机系统。该计算机系统可以包括处理器和存储器作为主要硬件组件。可以通过使处理器执行存储在该计算机系统的存储器中的程序来执行根据本公开的处理系统1的功能。该程序可以预先存储在该计算机系统的存储器中。备选地，也可以通过电信线路来下载该程序，或者在已记录在一些非暂时性存储介质(例如，存储卡、光盘或硬盘驱动器)中之后分发该程序，该非暂时性存储介质中的任一个对于该计算机系统是可读的。该计算机系统的处理器可以由包括半导体集成电路(IC)或大规模集成电路(LSI)的单个或多个电子电路构成。如本文中所使用的，诸如IC或LSI之类的“集成电路”取决于其集成度而被称作不同的名称。集成电路的示例包括系统LSI、超大规模集成电路(VLSI)和甚大规模集成电路(ULSI)。可选地，也可以采用要在已制造LSI之后进行编程的现场可编程门阵列(FPGA)或允许重新配置LSI内部的连接或电路部分的可重新配置逻辑器件作为处理器。该电子电路可以一起集成在单个芯片上，或者可以分布在多个芯片上，无论哪个是适当的。该多个芯片可以一起聚合在单个设备中或分布在多个设备中而没有限制。如本文中所使用的，“计算机系统”包括具有一个或多个处理器和一个或多个存储器的微控制器。因此，该微控制器也可以实现为包括半导体集成电路或大规模集成电路的单个或多个电子电路。

此外，在上述实施例中，处理系统1的多个功能一起聚合在单个壳体中。然而，这不是必不可少的配置。备选地，处理系统1的组成元件可以分布在多个不同的壳体中。

相反地，处理系统1的多个功能可以一起聚合在单个壳体中。另外备选地，处理系统1的至少一些功能(例如，处理系统1的一些功能)也可以实现为云计算系统。

在基本示例中，识别数据D1是新获得的用于重新学习的训练数据。然而，识别数据D1可以是用于生成学得模型M1的学习数据D2。例如，在生成学得模型M1之后，学得模型M1的准确度可能不是100％。在这种情况下，为了检查和/或评估学得模型M1的准确度，可以将用于生成学得模型M1的学习数据D2中的一些或全部作为识别数据D1输入到处理系统1。

识别数据D1可以是针对模型的机器学习而准备的多条训练数据之一。也就是说，针对模型的学习而准备的多条训练数据被划分为多条学习数据D2和识别数据D1。在这种情况下，处理系统1可以划分多条训练数据以执行评估学得模型M1的交叉验证，并确定在分配给识别数据D1的标签和分配给多条学习数据D2中的每一条学习数据的标签中存在或不存在错误标签。

备选地，处理系统1可以多次将多条训练数据划分为学习数据D2和识别数据D1，执行k-折交叉验证，并且附加地确定在分配给识别数据D1的标签和分配给多条学习数据D2中的每一条学习数据的标签中存在或不存在错误标签。

此外，在基本示例中，当做出识别数据D1(或类似数据D21)具有错误标签的决定时，呈现设备17呈现识别数据D1和类似数据D21两者。然而，呈现设备17可以仅呈现已经针对其做出其具有错误标签的决定的数据。

图像捕获设备4不限于线传感器相机，而是可以是区域传感器相机。

在基本示例中，训练数据(识别数据D1和学习数据D2)是已经分配有标签的图像数据。然而，训练数据不限于图像数据，而是可以是已经分配有标签的文本数据或语音数据。也就是说，学得模型M1的应用不限于图像的识别(图像辨别)，而是学得模型M1可以应用于例如文本的识别(文本辨别)或语音的识别(语音辨别)。

在基本示例中，由学习系统2生成的学得模型M1是通过深度学习生成的模型。然而，学得模型M1不限于通过深度学习生成的模型。学得模型M1可以实现为任何类型的人工智能或系统。

在基本示例中，机器学习的算法是神经网络(包括深度学习)。然而，机器学习的算法不限于神经网络，而是可以是任何其他监督学习的算法。机器学习的算法可以是例如线性回归、逻辑回归、支持向量机(SVM)、决策树、随机森林、梯度增强、朴素贝叶斯分类器或k最近邻(k-NN)。

(4)概括

如上所述，第一方面的处理系统(1)包括第一获取器(11)、第二获取器(12)、第三获取器(13)、识别器(14)和提取器(15)。第一获取器(11)被配置为获取已经分配有标签的多条学习数据(D2)。第二获取器(12)被配置为获取基于多条学习数据(D2)而生成的学得模型(M1)。第三获取器(13)被配置为获取已经分配有标签的识别数据(D1)。识别器(14)被配置为基于学得模型(M1)来识别识别数据(D1)。提取器(15)被配置为基于与识别数据(D1)和多条学习数据(D2)中的每一条学习数据之间的相似度有关的指数，从多条学习数据(D2)中提取与识别数据(D1)类似的一条或多条学习数据(类似数据D21)。该指数是应用于学得模型(M1)中的指数。

通过该方面，提取了与识别数据(D1)类似的一条或多条学习数据(D2)。因此，可以通过简单地检查(例如，一次)识别数据(D1)和与识别数据(D1)类似的一条或多条学习数据(类似数据D21)来识别存在或不存在错误标签。因此，可以减小识别错误标签所需的时间。

参考第一方面的第二方面的处理系统(1)，还包括：决定器(16)，被配置为基于识别数据(D1)和一条或多条学习数据(类似数据D21)来做出存在或不存在错误标签的决定。

通过该方面，存在或不存在错误标签被自动地确定，这使得能够进一步减小识别错误标签所需的时间。

参考第二方面的第三方面的处理系统(1)还包括：呈现设备(17)，被配置为向外部呈现关于由决定器(16)做出的决定的信息。

通过该方面，用户容易地目视检查关于由决定器(16)做出的决定的信息。

在参考第三方面的第四方面的处理系统(1)中，呈现设备(17)被配置为：当决定为存在错误标签时，呈现对识别数据(D1)和一条或多条学习数据(类似数据D21)中的哪一个具有错误标签加以指示的信息。

通过该方面，可以容易地目视检查识别数据(D1)和一条或多条学习数据(类似数据D21)中的哪一个具有错误标签。

在参考第三方面或第四方面的第五方面的处理系统(1)中，呈现设备(17)被配置为：当决定为不存在错误标签时，呈现识别数据(D1)和一条或多条学习数据(类似数据D21)两者。

该方面便于用户对识别数据(D1)和一条或多条学习数据(类似数据D21)两者的目视检查，因此，如果错误标签实际上存在于识别数据(D1)或一条或多条学习数据中，则用户可以容易地发现错误标签。此外，当还包括除了错误标签之外的失败时，可以容易地发现失败。

参考第二方面至第五方面中的任一个的第六方面的处理系统(1)，决定器(16)被配置为：当识别器(14)对识别数据(D1)的识别结果与分配给识别数据(D1)的标签不一致时，作出存在或不存在错误标签的决定。

通过该方面，试图减小处理负载。这也使得能够进一步减小识别错误标签所需的时间。

在参考第二方面至第六方面中的任一个的第七方面的处理系统(1)中，决定器(16)被配置为基于以下中的至少一个来做出存在或不存在错误标签的决定：分配给识别数据(D1)的标签和分别分配给一条或多条学习数据(类似数据D21)的一个或多个标签；或者与识别数据(D1)和一条或多条学习数据(类似数据D21)中的每一条学习数据之间的相似度有关的指数。

通过该方面，提高了与错误标签的确定有关的可靠性。

在参考第七方面的第八方面的处理系统(1)中，决定器(16)被配置为基于分配给识别数据(D1)的标签和分别分配给一条或多条学习数据(类似数据D21)的一个或多个标签中的每一个之间的不一致比率来做出存在或不存在错误标签的决定。

通过该方面，容易地提高了与错误标签的确定有关的可靠性。

在参考第七方面的第九方面的处理系统(1)中，决定器(16)被配置为基于以下两者来做出存在或不存在错误标签的决定：分配给识别数据(D1)的标签和分别分配给一条或多条学习数据(类似数据D21)的一个或多个标签；以及与一条或多条学习数据(类似数据D21)中的每一条的相似度有关的指数。

通过该方面，进一步提高了与关于错误标签的决定有关的可靠性。

在参考第九方面的第十方面的处理系统(1)中，提取器(15)被配置为从多条学习数据(D2)中提取两条或更多条学习数据(类似数据D21)作为一条或多条学习数据(类似数据D21)。决定器(16)被配置为从两条或更多条学习数据(类似数据D21)中识别特定学习数据(D22)，该特定学习数据与识别数据(D1)类似的程度使得与相似度有关的指数满足预定条件。决定器(16)被配置为：当分配给特定学习数据(D22)的标签与分配给识别数据(D1)的标签不一致，并且分配给两条或更多条学习数据(类似数据D21)中的除了特定学习数据(D22)之外的学习数据(D23)的标签与分配给识别数据(D1)的标签一致时，做出特定学习数据(D22)比识别数据(D1)更有可能具有错误标签的决定。

通过该方面，进一步提高了与错误标签的确定有关的可靠性。

在参考第九方面的第十一方面的处理系统(1)中，提取器(15)被配置为从多条学习数据(D2)中提取两条或更多条学习数据(类似数据D21)作为一条或多条学习数据(类似数据D21)。决定器(16)被配置为从两条或更多条学习数据(类似数据D21)中识别特定学习数据(D22)，该特定学习数据与识别数据(D1)类似的程度使得与相似度有关的指数满足预定条件。决定器(16)被配置为：当分配给特定学习数据(D22)的标签与分配给识别数据(D1)的标签不一致，并且分配给两条或更多条学习数据(类似数据D21)中的除了特定学习数据(D22)之外的学习数据(D23)的标签与分配给特定学习数据(D22)的标签一致时，做出识别数据(D1)比特定学习数据(D22)更有可能具有错误标签的决定。

通过该方面，进一步提高了与关于错误标签的决定有关的可靠性。

在参考第一方面至第十一方面中的任一个的第十二方面的处理系统(1)中，学得模型(M1)是基于多条学习数据(D2)通过应用深度学习而生成的模型。

通过该方面，进一步提高了学得模型(M1)的可靠性和与关于错误标签的决定有关的可靠性。

第十三方面的学习处理系统(100)包括第一方面至第十二方面中的任一个的处理系统(1)和被配置为生成学得模型(M1)的学习系统(2)。

该方面提供了被配置为减小识别错误标签所需的时间的学习处理系统(100)。

第十四方面的处理方法包括第一获取步骤、第二获取步骤、第三获取步骤、识别步骤和提取步骤。第一获取步骤包括获取已经分配有标签的多条学习数据(D2)。第二获取步骤包括获取基于多条学习数据(D2)而生成的学得模型(M1)。第三获取步骤获取已经分配有标签的识别数据(D1)。识别步骤包括基于学得模型(M1)来识别识别数据(D1)。提取步骤包括基于应用于学得模型(M1)中并且与识别数据(D1)和多条学习数据(D2)中的每一条学习数据之间的相似度有关的指数，从多条学习数据(D2)中提取与识别数据(D1)类似的一条或多条学习数据(类似数据D21)。

该方面提供了被配置为减小识别错误标签所需的时间的处理方法。

第十五方面的程序是被配置为使一个或多个处理器执行第十四方面的处理方法的程序。

该方面提供了减小识别错误标签所需的时间的功能。

参考第一方面至第十二方面中的任一个的第十六方面的处理系统(1)，提取器(15)被配置为：当识别器(14)对识别数据(D1)的识别结果与分配给识别数据(D1)的标签不一致时，从多条学习数据(D2)中提取一条或多条学习数据(类似数据D21)。

注意，根据第二方面至第十二方面的组成元件对于处理系统(1)不是必不可少的组成元件，而是可以适当地省略。同样，根据第十六方面的组成元件对于处理系统(1)不是必不可少的组成元件，而是可以适当地省略。

附图标记列表

100 学习处理系统

1 处理系统

11 第一获取器

12 第二获取器

13 第三获取器

14识别器

15提取器

16决定器

17呈现设备

2学习系统

D1识别数据

D2学习数据

D21一条或多条类似数据(一条或多条学习数据)

D22特定学习数据

M1学得模型。

Claims (15)

1.一种处理系统，包括：

第一获取器，被配置为获取已经分配有标签的多条学习数据；

第二获取器，被配置为获取基于所述多条学习数据而生成的学得模型；

第三获取器，被配置为获取已经分配有标签的识别数据；

识别器，被配置为基于所述学得模型来识别所述识别数据；以及

提取器，被配置为基于应用于所述学得模型中并且与所述识别数据和所述多条学习数据中的每一条学习数据之间的相似度有关的指数，从所述多条学习数据中提取与所述识别数据类似的一条或多条学习数据。

2.根据权利要求1所述的处理系统，还包括：决定器，被配置为基于所述识别数据和所述一条或多条学习数据来做出存在或不存在错误标签的决定。

3.根据权利要求2所述的处理系统，还包括：呈现设备，被配置为向外部呈现关于由所述决定器做出的所述决定的信息。

4.根据权利要求3所述的处理系统，其中，

所述呈现设备被配置为：当所述决定为存在所述错误标签时，呈现对所述识别数据和所述一条或多条学习数据中的哪一个具有所述错误标签加以指示的信息。

5.根据权利要求3或4所述的处理系统，其中，

所述呈现设备被配置为：当所述决定为不存在所述错误标签时，呈现所述识别数据和所述一条或多条学习数据两者。

6.根据权利要求2至5中任一项所述的处理系统，其中，

所述决定器被配置为：当所述识别器对所述识别数据的识别结果与分配给所述识别数据的标签不一致时，做出存在或不存在所述错误标签的所述决定。

7.根据权利要求2至6中任一项所述的处理系统，其中，

所述决定器被配置为基于以下中的至少一个来做出存在或不存在所述错误标签的所述决定：

分配给所述识别数据的标签和分别分配给所述一条或多条学习数据的一个或多个标签；或者

与所述识别数据和所述一条或多条学习数据中的每一条学习数据之间的所述相似度有关的所述指数。

8.根据权利要求7所述的处理系统，其中，

所述决定器被配置为：基于分配给所述识别数据的标签与分别分配给所述一条或多条学习数据的一个或多个标签中的每一个标签之间的不一致比率，来做出存在或不存在所述错误标签的所述决定。

9.根据权利要求7所述的处理系统，其中，

所述决定器被配置为基于以下两者来做出存在或不存在所述错误标签的所述决定：

分配给所述识别数据的所述标签和分别分配给所述一条或多条学习数据的一个或多个标签；以及

与所述一条或多条学习数据中的每一条学习数据的所述相似度有关的所述指数。

10.根据权利要求9所述的处理系统，其中，

所述提取器被配置为从所述多条学习数据中提取两条或更多条学习数据作为所述一条或多条学习数据，

所述决定器被配置为从所述两条或更多条学习数据中识别特定学习数据，所述特定学习数据与所述识别数据类似的程度使得与所述相似度有关的所述指数满足预定条件，以及

所述决定器被配置为：当分配给所述特定学习数据的标签与分配给所述识别数据的标签不一致，并且分配给所述两条或更多条学习数据中的除了所述特定学习数据之外的学习数据的标签与分配给所述识别数据的标签一致时，做出所述特定学习数据比所述识别数据更有可能具有所述错误标签的决定。

11.根据权利要求9所述的处理系统，其中，

所述提取器被配置为从所述多条学习数据中提取两条或更多条学习数据作为所述一条或多条学习数据，

所述决定器被配置为从所述两条或更多条学习数据中识别特定学习数据，所述特定学习数据与所述识别数据类似的程度使得与所述相似度有关的所述指数满足预定条件，以及

所述决定器被配置为：当分配给所述特定学习数据的标签与分配给所述识别数据的标签不一致，并且分配给所述两条或更多条学习数据中的除了所述特定学习数据之外的学习数据的标签与分配给所述特定学习数据的标签一致时，做出所述识别数据比所述特定学习数据更有可能具有所述错误标签的决定。

12.根据权利要求1至11中任一项所述的处理系统，其中，

所述学得模型是基于所述多条学习数据通过应用深度学习而生成的模型。

13.一种学习处理系统，包括：

根据权利要求1至12中任一项所述的处理系统；以及

被配置为生成所述学得模型的学习系统。

14.一种处理方法，包括：

第一获取步骤，获取已经分配有标签的多条学习数据；

第二获取步骤，获取基于所述多条学习数据而生成的学得模型；

第三获取步骤，获取已经分配有标签的识别数据；

识别步骤，基于所述学得模型来识别所述识别数据；以及

提取步骤，基于应用于所述学得模型中并且与所述识别数据和所述多条学习数据中的每一条学习数据之间的相似度有关的指数，从所述多条学习数据中提取与所述识别数据类似的一条或多条学习数据。

15.一种程序，被配置为使一个或多个处理器执行根据权利要求14所述的处理方法。