CN114239843A - 训练数据创建辅助装置、系统及训练数据创建辅助方法 - Google Patents

Abstract

本发明在于提供一种能够在减轻使用者的负担的同时创建准确的训练数据的训练数据创建辅助装置、训练数据创建辅助系统以及训练数据创建辅助方法。由推定部使用预先准备的学习模型推定应该赋予给训练数据的标签作为第一标签。推定出的第一标签由提示部提示。由接受部接受应该赋予给训练数据的标签作为第二标签。或者，由判定部判定第一标签与第二标签是否不同。在判定为第一标签与第二标签不同的情况下，由通知部进行通知。响应于使用者的指示，将与第一标签不同的第二标签由赋予部赋予给训练数据。

Description

训练数据创建辅助装置、系统及训练数据创建辅助方法

技术领域

本发明涉及训练数据创建辅助装置、训练数据创建辅助系统以及训练数据创建辅助方法。

背景技术

在监督学习中使用的训练数据是通过对表示物体或文字等的图像数据赋予表示正解的标签而生成。在所赋予的标签不准确的情况下，监督学习的精度降低。因此，要求进行准确的标签的赋予(标记)。

例如，在日本特开2019-96319号公报中所记载的数据标记作业检查方法中，由多个作业者提出与一个图像数据有关的标记信息。比较由各个作业者提出的标记信息，在未判断出全部标记信息一致的情况下，请求再作业。

为了进行高精度的监督学习，需要创建大量的训练数据。然而，在对大量的训练数据进行标记的情况下，需要长时间的作业，因此作业者的判断有时会因集中力的降低或者疲劳等而产生模糊。因此，难以对大量的训练数据进行准确的标记。

发明内容

本发明的目的在于提供一种能够在减轻使用者的负担的同时创建准确的训练数据的训练数据创建辅助装置、训练数据创建辅助系统以及训练数据创建辅助方法。

(1)本发明的一个方面的训练数据创建辅助装置是辅助对训练数据赋予标签的训练数据创建辅助装置，其中，具有：推定部，使用预先准备的学习模型推定应该赋予给训练数据的标签作为第一标签；提示部，提示由推定部推定出的第一标签；以及接受部，接受应该赋予给训练数据的标签为第二标签。

在该训练数据创建辅助装置中，由提示部提示由推定部使用学习模型推定出的第一标签作为应该赋予给训练数据的标签。因此，使用者在将应该赋予给训练数据的第二标签指定给接受部时，能够参照由提示部提示的第一标签。另外，使用者即使因集中力降低或者疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。由此，能够在减轻使用者的负担的同时创建准确的训练数据。

(2)推定部可以评价推定出的第一标签的可靠度，提示部可以进一步提示由推定部评价的可靠度。在该情况下，使用者只要仅针对第一标签的可靠度较低的训练数据仔细地判断应该指定的第二标签即可。由此，能够进一步减轻使用者的负担。

(3)推定部也可以推定应该分别赋予给多个训练数据的多个第一标签，并且评价推定出的各第一标签的可靠度，提示部可以根据可靠度的顺序提示由推定部推定出的多个第一标签。在该情况下，使用者能够经过仔细地判断容易地识别应该指定第二标签的多个训练数据的组。由此，能够进一步减轻使用者的负担。

(4)训练数据可以包括表示图像的图像数据，提示部可以以与第一标签对应的方式进一步提示基于训练数据的图像。在该情况下，使用者能够容易地识别表示图像的训练数据与针对训练数据推定出的第一标签之间的对应关系。

(5)本发明的另一方面的训练数据创建辅助装置是辅助对训练数据赋予标签的训练数据创建辅助装置，其中，具有：推定部，使用预先准备的学习模型推定应该赋予给训练数据的标签作为第一标签；接受部，接受应该赋予给训练数据的标签作为第二标签；判定部，判定第一标签与第二标签是否不同；通知部，在由判定部判定为第一标签与第二标签不同的情况下进行通知；以及赋予部，响应于使用者的指示，将与第一标签不同的第二标签赋予给训练数据。

在该训练数据创建辅助装置中，在由判定部判定为被指定为应该赋予给训练数据的标签的第二标签与由推定部使用学习模型推定出的第一标签不同的情况下，由通知部进行通知。因此，使用者即使在因集中力降低或疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。另外，在判断为使用者没有指定错误的情况下，由赋予部对训练数据赋予与第一标签不同的第二标签。由此，能够在减轻使用者的负担的同时创建准确的训练数据。

(6)训练数据创建辅助装置还可以具有：提示部，在由判定部判定为第一标签与第二标签不同的情况下表示判定的依据。在该情况下，使用者能够考虑提示的依据，对应该赋予的第二标签进行再次的判断。由此，能够进一步减轻使用者的负担。

(7)训练数据可以包括表示图像的图像数据，提示部也可以通过以能够识别的方式表示基于训练数据的图像的部分来表示判定的依据。根据该结构，使用者在对应该赋予的第二标签进行再次的判断的情况下，能够容易地识别应该考虑的图像的部分。

(8)提示部可以提示基于训练数据的图像，接受部也可以针对由提示部提示的表示图像的训练数据接受第二标签。在该情况下，使用者能够容易地识别应该指定第二标签的训练数据。

(9)推定部可以推定第一标签作为第一得分，接受部也可以接受第二标签作为第二得分，在第一得分与第二得分之差为预先确定的阈值以上的情况下，判定部也可以判定为第一标签与第二标签不同。根据该结构，即使在学习模型通过学习回归问题而构建的情况下，也能够容易地判定第一标签与第二标签是否不同。

(10)训练数据创建辅助装置还可以具有：更新部，响应于使用者的指示，基于第二标签和与该第二标签对应的训练数据来更新学习模型。由此，能够更准确地推定应该赋予给训练数据的第一标签。

(11)本发明的又一方面的训练数据创建辅助系统具有：第一发明的训练数据创建辅助装置，以及显示装置，显示由训练数据创建辅助装置的提示部提示的第一标签。

在该训练数据创建辅助系统中，由显示装置显示由上述的训练数据创建辅助装置的提示部提示的第一标签。因此，使用者在指定应该赋予给训练数据的第二标签时，能够参照显示在显示装置上的第一标签。另外，使用者即使因集中力降低或者疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。由此，能够在减轻使用者的负担的同时创建准确的训练数据

(12)本发明的又一方面的训练数据创建辅助系统具有：第二发明的训练数据创建辅助装置，以及显示装置，显示由训练数据创建辅助装置的提示部提示的判定的依据。

在该训练数据创建辅助系统中，以能够识别的方式将基于由上述的训练数据创建辅助装置的提示部提示的训练数据的图像的部分作为判定的依据显示于显示装置。由此，能够在减轻使用者的负担的同时创建准确的训练数据。另外，使用者在对应该赋予的第二标签进行再次判断的情况下，能够容易地识别应该考虑的图像的部分。

(13)本发明的又一方面的训练数据创建辅助方法是辅助对训练数据赋予标签的训练数据创建辅助方法，其中，包括以下步骤：使用预先准备的学习模型推定应该赋予给训练数据的标签作为第一标签；提示推定出的第一标签；接受应该赋予给训练数据的标签作为第二标签。

根据该训练数据创建辅助方法，提示使用学习模型作为应该赋予给训练数据的标签而推定出的第一标签。因此，使用者在指定应该赋予给训练数据的第二标签时，能够参照提示的第一标签。另外，使用者即使因集中力降低或者疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。由此，能够在减轻使用者的负担的同时创建准确的训练数据。

(14)本发明的又一方面的训练数据创建辅助方法是辅助对训练数据赋予标签的训练数据创建辅助方法，其中，包括以下步骤：使用预先准备的学习模型推定应该赋予给训练数据的标签作为第一标签；接受应该赋予给训练数据的标签作为第二标签；判定第一标签与第二标签是否不同；在判定为第一标签与第二标签不同的情况下进行通知；响应于使用者的指示，向训练数据赋予与第一标签不同的第二标签。

根据该训练数据创建辅助方法，在判定为被指定为应该赋予给训练数据的标签的第二标签与使用学习模型推定出的第一标签不同的情况下，进行通知。因此，使用者即使因集中力降低或者疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。另外，在判断为使用者没有指定错误的情况下，向训练数据赋予与第一标签不同的第二标签。由此，能够在减轻使用者的负担的同时创建准确的训练数据。

附图说明

图1是表示本发明的第一实施方式的辅助系统的结构的图。

图2是表示图1的辅助装置的结构的图。

图3是表示显示于图2的显示装置的标签指定画面的一例的图。

图4是表示显示于图2的显示装置的标签指定画面的其他例子的图。

图5是表示由图2的辅助装置进行的辅助处理的流程图。

图6是表示本发明的第二实施方式的辅助装置的结构的图。

图7是表示显示于图6的显示装置的标签指定画面的一例的图。

图8是表示显示于图6的显示装置的通知画面的一例的图。

图9是表示由图6的辅助装置进行的辅助处理的流程图。

具体实施方式

以下，参照附图对本发明的实施方式的训练数据创建辅助装置、训练数据创建辅助系统以及训练数据创建辅助方法进行说明。在以下的说明中，将训练数据创建辅助装置简记为辅助装置，将训练数据创建辅助系统简记为辅助系统，将训练数据创建辅助方法简记为辅助方法。

[1]第一实施方式

(1)辅助系统的结构

图1是表示本发明的第一实施方式的辅助系统的结构的图。如图1所示，辅助系统100包括处理装置10以及检查装置20。处理装置10由CPU(中央运算处理装置)11、RAM(随机存取存储器)12、ROM(只读存储器)13、存储装置14、操作部15、显示装置16以及输入/输出I/F(接口)17构成。CPU11、RAM12、ROM13、存储装置14、操作部15、显示装置16以及输入/输出I/F17与总线18连接。

RAM12作为CPU11的作业区域而使用。在ROM13中存储有系统程序。存储装置14包括硬盘或半导体存储器等存储介质，来存储训练数据创建辅助程序(以下，简记为辅助程序。)。辅助程序也可以存储于ROM13或其他的外部存储装置。另外，存储装置14存储预先准备的学习模型。

由CPU11、RAM12以及ROM13构成用于执行训练数据创建辅助处理(以下，简记为辅助处理。)的辅助装置30。在辅助处理中，基于学习模型，辅助对训练数据赋予(标记)标签。将在后面详细描述辅助装置30以及辅助处理。

操作部15是键盘、鼠标或者触摸面板等输入设备。使用者通过操作操作部15，能够对辅助装置30进行后述的应该赋予给训练数据的标签的指定。显示装置16是液晶显示装置等显示设备，显示基于训练数据的图像等。输入/输出I/F17与检查装置20连接。

检查装置20例如是基板检查装置，通过依次拍摄检查对象的多个基板，生成分别表示多个基板的图像的多个图像数据。对所生成的各图像数据赋予固有的识别号码等。另外，检查装置20将生成的各图像数据作为训练数据提供给辅助装置30。此外，基板是指半导体基板、液晶显示装置或者有机EL(Electro Luminescence：发光的电子版)显示装置等FPD(Flat Panel Display：平板显示器)用基板、光盘用基板、磁盘用基板、光磁盘用基板、光掩模用基板、陶瓷基板或太阳能电池用基板等。

图2是表示图1的辅助装置30的结构的图。如图2所示，辅助装置30包括获取部31、推定部32、提示部33、接受部34以及赋予部35作为功能部。图1的CPU11通过执行存储在ROM13或存储装置14等中的辅助程序，实现辅助装置30的功能部。辅助装置30的功能部的一部分或者全部也可以通过电子电路等硬件来实现。

获取部31从检查装置20中依次获取分别表示多个基板的图像的多个训练数据。推定部32使用存储在存储装置14中的学习模型，推定应该分别赋予给由获取部31获取的多个训练数据的多个标签。在本例子中，标签包括分别表示训练数据所表示的图像中的基板正常或异常的“OK”或“NG”。另外，推定部32基于存储在存储装置14中的学习模型，对推定出的各标签的可靠度(概率)进行评价。

提示部33使由推定部32推定出的多个标签与基于训练数据的图像以对应的方式显示于显示装置16。另外，提示部33能够使由推定部32评价的各标签的可靠度以与该标签对应的方式显示于显示装置16。而且，提示部33能够基于来自操作部15的指示，使显示于显示装置16的多个标签的顺序按照可靠度升序或者降序。

接受部34从操作部15接受应该赋予给由获取部31获取的各训练数据的标签。使用者能够在显示于显示装置16的标签指定画面中，视觉确认基于学习模型的多个标签以及可靠度，并且通过操作操作部15将应该赋予给各训练数据的标签指定给接受部34。赋予部35针对各训练数据将由接受部34接受的标签赋予给该训练数据。

(2)显示装置的显示

图3是表示显示于图2的显示装置16的标签指定画面的一例的图。如图3所示，标签指定画面40包括：选择图像显示区域41、图像选择区域42、图像列表显示区域43、基本信息显示区域44以及标签信息显示区域45。在本例子中，选择图像显示区域41包括：整体图像显示部41a、放大图像显示部41b以及推定标签显示部41c。

在整体图像显示部41a中，基于选择中的训练数据，显示表示由图2的检查装置20拍摄的部分的整体的整体图像。使用者通过视觉确认显示于整体图像显示部41a的图像，能够容易地识别应该指定标签的选择中的训练数据。在放大图像显示部41b中，显示对整体图像的任意的部分进行放大后的放大图像。在本例子中，整体图像显示部41a中的由虚线的矩形包围的图像的部分被放大显示于放大图像显示部41b。

在推定标签显示部41c中，针对选择中的训练数据显示由图2的推定部32推定的标签。使用者通过视觉确认选择图像显示区域41，能够容易地识别表示图像的训练数据与针对训练数据推定出的标签之间的对应关系。在选择图像显示区域41中，还可以显示针对选择中的训练数据由推定部32评价的可靠度。

在图像选择区域42中，显示用于选择作业对象的训练数据的操作按钮42a、42b。使用者通过使用图2的操作部15来操作操作按钮42a或者操作按钮42b，能够选择期望的训练数据。将与选择的训练数据对应的图像显示于选择图像显示区域41。另外，在图像选择区域42中，还显示选择的训练数据的识别号码以及作业的进度。在图3的例子中，在2380个的训练数据中选择识别号码“1115”的训练数据，作业进度为47％。

在图像列表显示区域43中，以按照识别号码的顺序排列的方式显示分别基于由图2的获取部31获取的多个训练数据的多个缩略图图像。另外，与选择中的训练数据对应的缩略图图像通过光标43a或强调显示等可识别的方式显示。在图像列表显示区域43中，还可以以与缩略图图像对应的方式显示由推定部32针对每个训练数据评价的可靠度。使用者通过使用操作部15选择任意的缩略图图像，也能够选择作业对象的训练数据。

在基本信息显示区域44中显示表示选择中的训练数据的创建日期等基本信息。在标签信息显示区域45中显示分别与标签“OK”以及“NG”对应的复选框45a、45b。使用者能够通过使用操作部15对复选框45a、45b中的任一个进行操作，来指示应该赋予给选择中的训练数据的标签。此外，在标签信息显示区域45中也可以显示具有相同功能的下拉菜单等，来代替复选框45a、45b。

另外，在标签信息显示区域45中，显示表示由推定部32推定出的各标签的总数的表45c。在图3的例子中，推定为“OK”的标签的总数为1763，推定为“NG”的标签的总数为617。使用者在指示应该赋予给训练数据的标签时，能够参照显示于表45c的各标签的总数。

图4是表示显示于图2的显示装置16的标签指定画面40的其他例子的图。在图4的例子中，分别基于由获取部31获取的多个训练数据的多个缩略图图像按照由推定部32评价的可靠度的降序显示于图像列表显示区域43。多个缩略图图像也可以按照可靠度的升序显示于图像列表显示区域43。使用者通过使用操作部15进行规定的操作，能够将图像列表显示区域43的显示方式在图3的例子与图4的例子之间切换。

针对推定的标签的可靠度较高的训练数据，使用者能够容易地指定准确的标签。因此，使用者只要仅针对推定出的标签的可靠度较低的训练数据仔细地判断应该指定的标签即可。因此，在图3的例子中，使用者也能够通过视觉确认可靠度，能够经过仔细地判断容易地识别应该指定标签的训练数据。由此，能够减轻使用者的负担。

另外，在图4的例子中，分别与多个训练数据对应的多个缩略图图像以按照可靠度的顺序排列的方式显示于图像列表显示区域43。因此，使用者能够经过仔细地判断容易地识别应该指定标签的多个训练数据的组。因此，能够进一步地减轻使用者的负担。在图4的例子中，还可以在图像列表显示区域43中显示与各缩略图图像对应的识别号码。

(3)辅助处理

图5是表示由图2的辅助装置30进行的辅助处理的流程图。图5的辅助处理通过图1的CPU11在RAM12上执行存储于ROM13或者存储装置14等的辅助程序而进行。以下，使用图2的辅助装置30、图3或者图4的标签指定画面40、以及图5的流程图对辅助处理进行说明。

首先，获取部31从检查装置20中依次获取多个训练数据(步骤S1)。接下来，推定部32基于学习模型推定应该赋予给在步骤S1中获取的各训练数据的标签(步骤S2)。另外，推定部32基于学习模型评价在步骤S2中推定出的各标签的可靠度(步骤S3)。由此，在显示装置16上显示有标签指定画面40。

接下来，提示部33使分别与在步骤S1中获取的多个训练数据对应的多个缩略图图像显示于显示装置16中的标签指定画面40的图像列表显示区域43(步骤S4)。在本例的初始设定中，将多个缩略图图像以按照识别号码的顺序排列的方式显示。在图像列表显示区域43中，还可以以识别号码以及在步骤S3中评价的标签的可靠度与所对应的缩略图图像对应的方式来显示。

然后，提示部33判定是否指示了缩略图图像的配置的顺序的改变(步骤S5)。在未指示顺序的改变的情况下，提示部33进入到步骤S7。在指示了顺序的改变的情况下，提示部33改变缩略图图像的配置的顺序(步骤S6)，进入到步骤S7。每当执行步骤S6时，缩略图图像的配置的顺序在识别号码的顺序和在步骤S3中评价的可靠度的顺序之间切换。

在步骤S7中，提示部33判定是否选择了某一个训练数据(步骤S7)。在未选择训练数据的情况下，提示部33进入到步骤S11。在选择了训练数据的情况下，提示部33使基于选择的训练数据的图像以及针对该训练数据在步骤S2中推定出的标签显示于显示装置16中的标签指定画面40的选择图像显示区域41(步骤S8)。在选择图像显示区域41中，还可以显示针对选择的训练数据在步骤S3中评价的标签的可靠度。

接下来，接受部34针对在步骤S7中选择的训练数据，判定是否接受了标签的指定(步骤S9)。在未接受标签的指定的情况下，接受部34进入到步骤S11。在接受了标签的指定的情况下，赋予部35将接受的标签赋予给在步骤S7中选择的训练数据(步骤S10)，进入到步骤S11。

在步骤S11中，赋予部35判定是否指示结束(步骤S11)。使用者通过使用操作部15进行规定的操作能够指示结束或者继续进行。在未指示结束的情况下，赋予部35返回到步骤S5。因此，在剩余有未赋予标签的训练数据的情况下，或者在改变赋予了一次的标签的情况下，使用者指示继续进行。在指示结束的情况下，赋予部35结束辅助处理。

(4)效果

在本实施方式的辅助装置30中，由推定部32使用学习模型推定出的应该赋予给训练数据的标签由提示部33提示。因此，使用者在将应该赋予给训练数据的标签指定给接受部34时，能够参照由提示部33提示的标签。另外，使用者即使在因集中力降低或者疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。由此，能够在减轻使用者的负担的同时创建准确的训练数据。

[2]第二实施方式

(1)辅助系统的结构

对第二实施方式的辅助装置30与第一实施方式的辅助装置30不同的点进行说明。图6是表示本发明的第二实施方式的辅助装置30的结构的图。如图6所示，辅助装置30除了获取部31、推定部32、提示部33、接受部34以及赋予部35之外，还包括判定部36、通知部37以及更新部38作为功能部。通过图1的CPU11执行存储于ROM13或存储装置14等的辅助程序，来实现辅助装置30的功能部。辅助装置30的功能部的一部分或者全部也可以通过电子电路等硬件来实现。

判定部36判定由推定部32推定出的标签与由接受部34接受的标签是否不同。通知部37在通过判定部36判定出标签不同的情况下进行通知。在本例子中，通过将由接受部34接受的标签与由推定部32推定出的标签不同的要旨的句子显示在显示装置16上进行通知。使用者通过识别通知，能够得到再次判断所指定的标签是否准确的机会。

虽然使用显示装置16进行通知，但实施方式并不限定于此。例如，在辅助系统100包括语音输出装置的情况下，也可以通过表示由接受部34接受的标签与由推定部32推定出的标签不同的要旨的内容的语音，或者输出蜂鸣器等警告音来进行通知。或者，在辅助系统100包括灯等显示灯的情况下，也可以通过使显示灯点亮、熄灭或者闪烁来进行通知。

提示部33在由判定部36判定为标签不同的情况下，提示判定的依据。在该情况下，使用者能够考虑提示的依据，针对应该赋予的标签进行再次的判断。在本例子中，通过将基于训练数据的图像的部分以能够识别的方式显示于显示装置16，来提示由判定部36判定的依据。根据该结构，使用者在对应该赋予的标签进行再次的判断的情况下，能够容易地识别应该考虑的图像的部分。

在由通知部37进行了通知的情况下，使用者再次判断所指示的标签是否准确。其结果，使用者在判断为指示的标签是错误的情况下，能够向接受部34再次指示应该赋予给训练数据的标签。另一方面，使用者在判断为指定的标签是准确的情况下，能够通过操作操作部15，向赋予部35指示赋予指定的标签的情况。

即使在由接受部34接受的标签与由推定部32推定出的标签不同的情况下，赋予部35也响应于使用者的指示，将由接受部34接受的标签赋予给训练数据。更新部38响应于使用者的指示，基于由接受部34接受的标签和与该标签对应的训练数据，来更新存储于存储装置14的学习模型。由此，在以后的辅助处理中，推定部32能够针对训练数据推定出更准确的标签。

(2)显示装置的显示

图7是表示显示于图6的显示装置16的标签指定画面40的一例的图。图7的标签指定画面40与图3的标签指定画面40的不同之处在以下方面。在本实施方式中，由图6的推定部32推定出的标签以及评价的可靠度未显示在标签指定画面40上。因此，在选择图像显示区域41中未显示推定标签显示部41c。另外，在标签信息显示区域45中未显示表45c。

在标签指定画面40中，使用者依次选择各训练数据，针对选择的训练数据指定应该赋予的标签。其中，在判定为指定的标签与由推定部32推定出的标签不同的情况下，将提示该要旨的通知画面显示于显示装置16。

图8是表示显示于图6的显示装置16的通知画面的一例的图。如图8所示，通知画面50包括：文章显示区域51、图像显示区域52、再指定按钮53以及赋予按钮54。在文章显示区域51中，例如显示有表示指定了与推定出的标签不同的标签的文章、以及促使使用者再次判断的文章。

在图像显示区域52中显示有基于指定了与推定出的标签不同的标签的训练数据的图像。在图像中，以能够识别的方式示出了成为判定出指定的标签与推定出的标签不同的依据的部分。在本例子中，通过利用Grad-CAM(Gradient-weighted Class ActivationMapping：梯度加权类激活映射)等对图像的相应部分标注标记52a，从而能够以可识别的方式示出成为依据的部分。另外，在图像显示区域52中还显示训练数据的识别号码、推定出的标签以及可靠度、以及指定出的标签。

使用者在进行再次判断的结果后认为是自己的判断错误的情况下，通过使用图6的操作部15操作再指定按钮53来指示标签的再指定。在该情况下，在显示装置16中再次显示图7的标签指定画面40。由此，能够针对判断对象的训练数据，再次指定应该赋予的标签。

另一方面，使用者在进行再次判断的结果后认为自己的判断没有错误的情况下，通过使用操作部15操作赋予按钮54来指示标签的赋予。由此，即使指定的标签与推定出的标签不同的情况下，也将指定的标签赋予给训练数据。另外，基于指定的标签和训练数据，来更新存储于图6的存储装置14的学习模型。

(3)辅助处理

图9是表示由图6的辅助装置30进行辅助处理的流程图。图9的辅助处理通过图1的CPU11在RAM12上执行存储于ROM13或存储装置14等的辅助程序而进行。以下，使用图6的辅助装置30、图7的标签指定画面40、图8的通知画面50以及图9的流程图对辅助处理进行说明。

首先，获取部31从检查装置20中依次获取多个训练数据(步骤S31)。由此，在显示装置16上显示标签指定画面40。接下来，推定部32判定是否选择了某一个训练数据(步骤S32)。在未选择训练数据的情况下，推定部32进入到步骤S43。在选择了训练数据的情况下，推定部32基于学习模型来推定应该赋予给选择的训练数据的标签(步骤S33)。另外，推定部32基于学习模型来评价在步骤S33中推定出的标签的可靠度(步骤S34)。

接下来，接受部34针对在步骤S32中选择的训练数据，判定是否接受了标签的指定(步骤S35)。在未接受标签的指定的情况下，接受部34进入到步骤S43。在接受了标签的指定的情况下，判定部36判定在步骤S35接受的标签与在步骤S33中推定出的标签是否不同(步骤S36)。此外，步骤S33、S34也可以在步骤S35与步骤S36之间执行。

在标签相同的情况下，赋予部35将接受的标签赋予给在步骤S32中选择的训练数据(步骤S37)，进入到步骤S43。在标签不同的情况下，通知部37通过在显示装置16上显示通知画面50来进行通知(步骤S38)。在通知画面50中还可以显示在步骤S33中推定出的标签以及在步骤S34中评价的可靠度。

然后，接受部34判定是否指示了标签的再指定(步骤S39)。在指定了标签的再指定的情况下，接受部34返回到步骤S32。在该情况下，在显示装置16上再次显示标签指定画面40。由此，使用者能够选择任意的训练数据，并针对选择的训练数据进行标签的再指定。

在未指示标签的再指定的情况下，赋予部35判定是否指示了标签的赋予(步骤S40)。在未指示标签的赋予的情况下，赋予部35返回到步骤S39。重复步骤S39、S40的处理直到指示标签的再指定或者指示标签的赋予为止。

在指示了标签的赋予的情况下，即使在步骤S35中接受的标签与在步骤S33中推定出的标签不同的情况下，赋予部35也将在步骤S35中接受的标签赋予给训练数据(步骤S41)。另外，更新部38基于在步骤S41中赋予了标签的训练数据和该标签来更新学习模型(步骤S42)。

最后，赋予部35判定是否已指示结束(步骤S43)。使用者通过使用操作部15进行规定的操作来指示结束或者继续进行。在未指示结束的情况下，赋予部35返回到步骤S32。因此，在剩余有未赋予标签的训练数据的情况下，或者改变赋予了一次的标签的情况下，使用者指示继续进行。在指示了结束的情况下，赋予部35结束辅助处理。

(4)效果

在本实施方式的辅助装置30中，在由判定部36判定为由使用者指定的标签与由推定部32使用学习模型推定出的标签不同的情况下，由通知部37进行通知。因此，使用者即使在因集中力降低或疲劳等而进行了错误的指定的情况下，也能够容易地注意到错误。另外，在判断为使用者的指定没有错误的情况下，通过赋予部35对训练数据赋予与推定出的标签不同的标签。由此，能够减轻使用者的负担的同时创建准确的训练数据。

[3]其他实施方式

(1)在上述的实施方式中，辅助系统100包括用于检查基板的检查装置20，来用于辅助创建表示基板的图像的训练数据，但实施方式并不限定于此。辅助系统100也可以用于辅助其他训练数据的创建。另外，训练数据包括表示图像的图像数据，但实施方式并不限定于此。训练数据例如也可以是播放语音的语音数据。

(2)在上述的实施方式中，将训练数据分类为两种，对分类后的训练数据中的每一个分别赋予标签“OK”或者“NG”，但实施方式并不限定于此。也可以将训练数据分类为三种以上，对分类后的训练数据中的每一个分别赋予标签。

另外，在第二实施方式中，学习模型通过学习分类问题而构建，但实施方式并不限定于此。学习模型也可以通过学习回归问题而构建。在该情况下，推定部32推定第一标签作为第一得分，接受部34接受第二标签作为第二得分。另外，在第一得分与第二得分之差在预先确定的阈值以上的情况下，判定部36判定为第一标签与第二标签不同。

(3)在上述的实施方式中，推定部32评价推定出的标签的可靠度，但实施方式并不限定于此。推定部32也可以不评价推定出的标签的可靠度。在该情况下，在第一实施方式中，多个缩略图图像不是按照可靠度的顺序，而是按照例如识别号码的顺序显示于图像列表显示区域43。

(4)在第二实施方式中，提示部33在判定为标签不同的情况下，通过提示图像的部分来提示判定的依据，但实施方式并不限定于此。提示部33也可以通过文章或者语音等提示判定的依据。或者，提示部33也可以不提示判定的依据。

(5)在第二实施方式中，基于由使用者指定的标签和与被指定的标签对应的训练数据来更新学习模型，但实施方式并不限定于此。也可以不更新学习模型。在该情况下，辅助装置30不包括更新部38。

[4]权利要求的各构成要素与实施方式的各部分之间的对应关系

以下，对权利要求的各构成要素与实施方式的各要素的对应的例子进行说明，但本发明并不限定于下述的例子。作为权利要求的各构成要素，也能够使用具有权利要求所记载的结构或功能的其他各种要素。

在上述实施方式中，辅助装置30是训练数据创建辅助装置的例子，推定部32是推定部的例子，提示部33是提示部的例子，接受部34是接受部的例子，判定部36是判定部的例子。通知部37是通知部的例子，更新部38是更新部的例子，显示装置16是显示装置的例子，辅助系统100是训练数据创建辅助系统的例子。

Claims (14)

1.一种训练数据创建辅助装置，辅助对训练数据赋予标签，其中，具有：

推定部，使用预先准备的学习模型推定应该赋予给所述训练数据的标签作为第一标签；

提示部，提示由所述推定部推定出的所述第一标签；以及

接受部，接受应该赋予给所述训练数据的标签作为第二标签。

2.如权利要求1所述的训练数据创建辅助装置，其中，

所述推定部对推定出的所述第一标签的可靠度进行评价，

所述提示部还提示由所述推定部评价的所述可靠度。

3.如权利要求2所述的训练数据创建辅助装置，其中，

所述推定部推定分别应该赋予给多个所述训练数据的多个所述第一标签，并对推定出的各第一标签的所述可靠度进行评价，

所述提示部按照所述可靠度的顺序提示由所述推定部推定出的多个所述第一标签。

4.如权利要求1至3中任一项所述的训练数据创建辅助装置，其中，

所述训练数据包括表示图像的图像数据，

所述提示部还以与所述第一标签对应的方式提示基于所述训练数据的图像。

5.一种训练数据创建辅助装置，辅助对训练数据赋予标签，其中，具有：

推定部，使用预先准备的学习模型推定应该赋予给所述训练数据的标签作为第一标签；

接受部，接受应该赋予给所述训练数据的标签作为第二标签，

判定部，判定所述第一标签与所述第二标签是否不同；

通知部，在由所述判定部判定出所述第一标签与所述第二标签不同的情况下进行通知；以及

赋予部，响应于使用者的指示，将与所述第一标签不同的所述第二标签赋予给所述训练数据。

6.如权利要求5所述的训练数据创建辅助装置，其中，还具有：

提示部，在由所述判定部判定出所述第一标签与所述第二标签不同的情况下表示判定的依据。

7.如权利要求6所述的训练数据创建辅助装置，其中，

所述训练数据包括表示图像的图像数据，

所述提示部通过以可识别的方式表示基于所述训练数据的图像的部分来表示所述判定的依据。

8.如权利要求7所述的训练数据创建辅助装置，其中，

所述提示部提示基于所述训练数据的图像，

所述接受部对于表示由所述提示部提示的图像的所述训练数据，接受所述第二标签。

9.如权利要求5至7中任一项所述的训练数据创建辅助装置，其中，

所述推定部推定所述第一标签作为第一得分，

所述接受部接受所述第二标签作为第二得分，

在所述第一得分与所述第二得分之差在预先确定的阈值以上的情况下，所述判定部判定为所述第一标签与所述第二标签不同。

10.如权利要求1至9中任一项所述的训练数据创建辅助装置，其中，还具有：

更新部，响应于使用者的指示，基于所述第二标签和与该第二标签对应的所述训练数据来更新学习模型。

11.一种训练数据创建辅助系统，其中，具有：

权利要求1至4中任一项所述的训练数据创建辅助装置；以及

显示装置，显示由所述训练数据创建辅助装置的所述提示部提示的所述第一标签。

12.一种训练数据创建辅助系统，其中，具有：

权利要求6至8中任一项所述的训练数据创建辅助装置；以及

显示装置，显示由所述训练数据创建辅助装置的所述提示部提示的所述判定的依据。

13.一种训练数据创建辅助方法，辅助对训练数据赋予标签，其中，包括：

使用预先准备的学习模型推定应该赋予给所述训练数据的标签作为第一标签的步骤；

提示推定出的所述第一标签的步骤；

接受应该赋予给所述训练数据的标签作为第二标签的步骤。

14.一种训练数据创建辅助方法，辅助对训练数据赋予标签，其中，包括：

使用预先准备的学习模型推定应该赋予给所述训练数据的标签作为第一标签的步骤；

接受应该赋予给所述训练数据的标签作为第二标签的步骤；

判定所述第一标签与所述第二标签是否不同的步骤；

在判定为所述第一标签与所述第二标签不同的情况下进行通知的步骤；

响应于使用者的指示，将与所述第一标签不同的所述第二标签赋予给所述训练数据的步骤。

Images