CN116894808A - 教师数据生成方法以及生成装置 - Google Patents

Abstract

本发明提供一种教师数据的生成方法，能够基于少数的不合格品数据以低成本生成进行了高精度的注释的许多个教师数据。教师数据生成方法具有：使用在灰度的不合格品图像上重叠以彩色表示缺陷的范围的边界信息而成的学习图像作为训练数据，使生成模型学习生成包含新的灰度的缺陷的图像和彩色的边界信息的图像的生成缺陷图像的工序；使用学习完毕的生成模型对生成缺陷图像进行生成的工序；从生成的生成缺陷图像中抽出具有与彩色对应的像素值的像素来提取边界信息，并且取得不包含边界信息的图像的灰度缺陷图像的工序；计算所提取出的边界信息的坐标作为边界坐标的工序；将灰度缺陷图像与边界坐标建立关联而设为不合格品教师数据的工序。

Description

教师数据生成方法以及生成装置

技术领域

本发明涉及应用于具有使用神经网络的机器学习功能的检查装置等、用于判定检查对象物的良好与否的学习模型中的教师数据的生成方法以及生成装置。

背景技术

近年来，通过具有使用神经网络的机器学习功能的检查装置，针对各种工业产品、部件等检查对象物，判定是正常品(合格品)还是异常品(不合格品)的验货作业的自动化技术的开发正在推进。在这样的检查装置中，通过读入许多个被分类为合格品和不合格品的检查对象物的外观的图像数据作为教师数据来进行学习。并且，通过学习了分类基准的检查装置，能够将由摄像机拍摄到的新的检查对象物分类为合格品和不合格品。

如上所述，在检查装置的学习中，使用合格品以及不合格品的图像数据，为了提高检查精度，合格品以及不合格品均需要许多个图像数据。但是，在工业产品等的制造现场，由于一般以尽可能不产生不合格品的方式进行制造，因此虽然合格品的数量多，但不合格品的数量非常少。因此，与能够比较容易地收集的合格品的图像数据(以下称为“合格品数据”。)相比，不合格品的图像数据(以下称为“不合格品数据”。)的收集困难。

此外，在收集不合格品数据时，需要将图像中包含的缺陷的种类、缺陷存在的位置坐标等信息与各不合格品数据建立关联的被称为注释的作业。在为了分类模型的学习而准备许多个不合格品数据作为教师数据的情况下，由于需要事前进行庞大的量的注释作业，因此期望自动且高精度地进行这样的注释的方法。

对于这样的问题，已知有如下技术：使用利用不合格品数据进行学习后的生成模型和分类模型，生成许多个伪不合格品数据并且进行注释，将其作为教师数据来利用。例如在专利文献1中，预先使用学习用的缺陷图像来进行生成器和推定器的学习，针对由生成器生成的缺陷图像，推定器推定缺陷的种类和位置，由此生成许多个注释完毕的教师数据。

在先技术文献

专利文献

专利文献1：日本特开2020-60879号公报

发明内容

发明所要解决的课题

然而，在专利文献1的教师数据生成方法中，由于通过推定器的分类模型来实施对缺陷图像的注释、即缺陷图像与缺陷的种类以及缺陷的位置的关联，因此注释的精度会被分类模型的精度左右。因此，在分类模型的精度不充分的情况下，存在注释的精度也恶化这样的问题。此外，由于为了注释而需要构建分类模型，因此成本也变高。

本发明为了解决这样的课题而作，其目的在于提供一种教师数据的生成方法，能够基于少数的不合格品数据，以低成本生成进行了高精度的注释的许多个教师数据。

用于解决课题的手段

为了达成该目的，本发明的技术方案1所涉及的教师数据生成方法的特征在于，具有：事前学习工序(图3的步骤1)，使用在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而得到的学习图像作为训练数据，使生成模型学习生成包含新的灰度的缺陷的图像和表示该缺陷的范围的彩色的边界信息的图像的生成缺陷图像的处理；缺陷图像生成工序(图3的步骤2)，使用学习完毕的生成模型来生成生成缺陷图像；边界信息提取工序(图3的步骤3～5)，通过从所生成的生成缺陷图像中抽出具有与彩色对应的像素值的像素，由此提取与该生成缺陷图像对应的边界信息，并且取得不包含边界信息的图像的灰度缺陷图像；边界坐标计算工序(图3的步骤6)，计算所提取出的边界信息在生成缺陷图像中的坐标作为边界坐标；以及不合格品教师数据制作工序(图3的步骤7)，将灰度缺陷图像与所计算出的边界坐标建立关联而设为不合格品教师数据。

在该教师数据生成方法中，预先使用在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而合成的学习图像来进行生成模型的学习。由此，生成模型能够生成包含可能产生的新的缺陷的图像和配置为表示该缺陷的范围的彩色的边界信息的图像的生成缺陷图像。

而且，通过从这样的生成缺陷图像中抽出具有彩色的像素值的像素，由此提取表示该生成缺陷图像中的缺陷的位置的边界信息，并且取得去除了边界信息的图像的灰度缺陷图像。提取了边界信息后，计算该边界信息在生成缺陷图像中的坐标，将所计算出的坐标与取得完毕的灰度缺陷图像建立关联，由此能够制作注释完毕的不合格品教师数据。

像这样，在该教师数据生成方法中，将表示缺陷的范围的边界信息预先作为图像嵌入，基于嵌入有边界信息的图像来生成了生成缺陷图像后，基于图像的色彩来提取边界信息。由于以此方式得到的边界信息始终高精度地表示缺陷的范围，因此通过将其与灰度缺陷图像建立关联，能够通过简单的处理进行高精度的注释。此外，由于无需为了注释而构建分类模型，因此能够降低注释的成本。因此，通过反复执行该教师数据生成方法，能够基于少数的不合格品数据，以低成本生成进行了高精度的注释的许多个教师数据。

本发明的技术方案2所涉及的发明的特征在于，在技术方案1所述的教师数据生成方法中，边界信息为彩色的边界框，边界坐标计算工序计算边界框的各顶点的坐标作为边界坐标。

根据该结构，由于边界信息为彩色的边界框，因而通过计算从生成缺陷图像中提取出的矩形的边界框的各顶点的坐标，并将其与灰度缺陷图像建立关联这样的简单的处理，能够制作注释完毕的不合格品教师数据。因此，通过反复执行该教师数据生成方法，能够基于少数的不合格品数据，以更低成本生成进行了高精度的注释的许多个教师数据。

本发明的技术方案3所涉及的教师数据生成装置的特征在于，具备：事前学习单元(事前学习部12)，其使用在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而得到的学习图像作为训练数据，使生成模型学习生成包含新的灰度的缺陷的图像和表示该缺陷的范围的彩色的边界信息的图像的生成缺陷图像的处理；缺陷图像生成单元(缺陷图像生成部13)，其使用学习完毕的生成模型来生成生成缺陷图像；边界信息提取单元(边界信息提取部14)，其通过从所生成的生成缺陷图像中抽出具有与彩色对应的像素值的像素，由此提取与该生成缺陷图像对应的边界信息，并且取得不包含边界信息的图像的灰度缺陷图像；边界坐标计算单元(边界坐标计算部15)，其计算所提取出的边界信息在生成缺陷图像中的坐标作为边界坐标；以及不合格品教师数据制作单元(不合格品教师数据制作部16)，其将灰度缺陷图像与所计算出的边界坐标建立关联而设为不合格品教师数据。

在该教师数据生成装置中，预先通过事前学习单元，来进行使用了在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而合成的学习图像的生成模型的学习。由此，缺陷图像生成单元使用生成模型，能够生成包含可能产生的新的缺陷的图像、和配置为表示该缺陷的范围的彩色的边界信息的图像的生成缺陷图像。

而且，边界信息提取单元通过从生成缺陷图像中抽出具有彩色的像素值的像素，由此提取表示该生成缺陷图像中的缺陷的位置的边界信息，并且取得去除了边界信息的图像的灰度缺陷图像。之后，边界坐标计算单元计算边界信息在生成缺陷图像中的坐标，不合格品教师数据制作单元将所计算出的坐标与取得完毕的灰度缺陷图像建立关联，由此能够制作注释完毕的不合格品教师数据。因此，通过反复使用该教师数据生成装置，能够基于少数的不合格品数据，以低成本生成进行了高精度的注释的许多个教师数据。

附图说明

图1是用于说明在学习中利用由本发明的一个实施方式的教师数据生成装置生成的不合格品教师数据的检查系统的概要的图。

图2是表示本发明的一个实施方式的教师数据生成装置的框图。

图3是表示教师数据生成装置对不合格品教师数据的生成处理的流程图。

图4是用于说明教师数据生成装置对生成缺陷图像的生成的图。

图5是用于说明教师数据生成装置对不合格品教师数据的生成的图。

具体实施方式

以下，参照附图对本发明的优选实施方式详细进行说明。图1示出了具备使用由后述的教师数据生成装置11生成的许多个不合格品图像的数据(不合格品数据)、以及许多个合格品图像的数据(合格品数据)进行了学习的分类模型的检查系统。该检查系统1例如设置于车辆部件的制造工厂等，通过检查车辆部件的外观来自动地判别所制造的车辆部件(例如缸体)是正常品(合格品)还是异常品(不合格品)。以下，将要检查的车辆部件称为“检查对象物”。

如图1所示，检查系统1具备：输送机2，其沿给定方向以给定速度输送检查对象物G；以及检查装置3，其在检查对象物G到达给定的检查位置时，判定该检查对象物G的良好与否。另外，虽然省略图示，但由检查装置3判定为不合格品的检查对象物G从输送机2去除，或者被输送到不合格品专用的保存场所。

检查装置3主要由计算机所构成的信息处理装置构成，具备控制部4、图像取得部5、存储部6、学习部7、输入部8、输出部9以及摄像机10。

控制部4具备CPU，控制检查装置3的上述各部5～9以及摄像机10等。图像取得部5取得由摄像机10拍摄到的检查对象物G的外观图像作为数字数据。存储部6具有ROM以及RAM，存储有在检查装置3的控制中使用的各种程序，并且存储各种数据。学习部7具有学习了用于判别检查对象物G的良好与否的基准的学习模型。输入部8具有由作业者操作的键盘、鼠标，并且构成为能够从外部输入数据、信号。输出部9具有显示检查对象物G的判定结果的显示器等显示设备。

图2示出了本发明的一个实施方式的教师数据生成装置11。该教师数据生成装置11用于通过由进行检查对象物G的验货作业的作业者操作来生成不合格品教师数据。教师数据生成装置11与前述的检查装置3同样地，由计算机所构成的信息处理装置构成，具备事前学习部12(事前学习单元)、缺陷图像生成部13(缺陷图像生成单元)、边界信息提取部14(边界信息提取单元)、边界坐标计算部15(边界坐标计算单元)、不合格品教师数据制作部16(不合格品教师数据制作单元)。

事前学习部12使用在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而合成的学习图像，来进行后述的缺陷图像生成部13具有的生成模型的学习(事前学习工序)。学习图像是作为在生成模型的学习中使用的训练数据而预先准备的图像，例如对于在制造线中拍摄到的灰度的不合格品图像，由作业者手动进行注释作业，将赋予了表示缺陷的种类的类别信息C的标签和表示缺陷的范围的彩色的边界信息的图像设为一张图像数据。

作为生成模型，能够使用VAE(Variational Auto Encoder：变分自动编码器)、GAN(Generative Adversarial Network：对抗式生成网络)等。生成模型在将上述的学习图像、即以灰度表示的缺陷和表示其范围的彩色的边界信息图像化的图像作为输入时，以输出与其近似的图像的方式学习潜在变量z。

缺陷图像生成部13通过对学习完毕的生成模型提供表示任意的缺陷的种类的类别信息C和潜在变量z中的给定的参数值作为输入，从而生成包含可能产生的新的缺陷的图像和配置为表示该缺陷存在的范围的彩色的边界信息的图像的生成缺陷图像(缺陷图像生成工序)。

边界信息提取部14对构成所生成的生成缺陷图像的各像素进行扫描，抽出具有与学习图像中的边界信息的色彩接近的像素值的像素，由此将其提取为表示该生成缺陷图像中的缺陷的位置的边界信息(边界信息提取工序)。此外，将与边界信息对应的像素被抽出后的生成缺陷图像作为灰度缺陷图像而保存于未图示的存储部中。存储部可以作为教师数据生成装置11的一部分设置，也可以设置于教师数据生成装置11的外部。此外，在灰度缺陷图像中，对于在边界信息的提取时像素被抽出的部分，也可以进行复制并填补与该部分接近的像素的信息的处理。

边界坐标计算部15计算所提取出的边界信息在生成缺陷图像中的坐标(边界坐标计算工序)。

不合格品教师数据制作部16通过将所计算出的边界信息的坐标以及所输入的类别信息C与取得完毕的灰度缺陷图像建立关联的形式保存于未图示的存储部中，来制作被赋予了与缺陷的种类和位置相关的信息的注释完毕的不合格品教师数据。

图3示出了上述的教师数据生成装置11对不合格品教师数据的生成处理。在本处理中，首先在步骤1(图示为“S1”。以下相同)中，进行生成模型的事前学习。在事前学习中，使用上述的学习图像作为训练数据，进行使用了VAE或GAN等神经网络的生成模型的学习。另外，如上所述，所谓学习图像，是指将对灰度的不合格品图像赋予了类别信息C和边界信息的图像设为一张图像数据，在学习时，使用具有各种缺陷形状、类别信息C、边界信息的多个学习图像作为训练数据。生成模型在被提供学习图像作为输入时，以输出与其近似的生成图像的方式使神经网络最佳化，由此学习潜在变量z。

另外，在本实施方式中，作为边界信息而使用红色的边界框。因此，在学习图像中，以包围不合格品图像中的缺陷的位置的方式配置红色的矩形状的边界框的图像。

接着，使用学习完毕的生成模型，输出所生成的缺陷图像、即生成缺陷图像(步骤2)。图4表示本实施方式中的教师数据生成装置11对生成缺陷图像的生成的概要。如该图所示，通过对学习完毕的生成模型输入任意的类别信息C和潜在变量z中的给定的参数值，从而生成包含可能产生的各种缺陷的图像和配置为包围该缺陷存在的位置的红色的边界框的图像的生成缺陷图像。

接着，对构成所输出的生成缺陷图像的各像素进行扫描，检测与边界框所使用的色彩接近的像素值(步骤3)。由于本实施方式中的边界框为红色，因此例如能够设定为检测RGB的各值取255：0：0的附近的值的像素。由于图像中的缺陷以及背景以灰度表示，因此不会检测表示缺陷或背景的像素。由此，能够检测与边界框的图像对应的矩形状的像素。接着，将所检测到的像素抽出，将其提取为表示缺陷在该生成缺陷图像中的位置的边界框(步骤4)。

此外，取得与边界框对应的像素被抽出后的生成缺陷图像作为仅包含灰度的缺陷图像的灰度缺陷图像，并保存于未图示的存储部中(步骤5)。另外，也可以构成为，在灰度缺陷图像中，对于通过边界框的提取而被抽出像素的部分，进行复制并填补与该部分接近的像素的信息的处理。在该情况下，所复制的像素设想为表示缺陷的周围的不存在缺陷的背景的像素。

接着，计算所提取出的边界框在生成缺陷图像中的坐标(步骤6)。在本实施方式中，通过计算横轴(X轴)上的最小值(Xmin)以及最大值(Xmax)、和纵轴(Y轴)上的最小值(Ymin)以及最大值(Ymax)，能够计算矩形状的边界框的各顶点的坐标。

接着，将所计算出的边界框的坐标的信息和在生成缺陷图像的生成时输入的类别信息C以与取得完毕的灰度缺陷图像建立关联的形式保存于未图示的存储部中(步骤7)。由此，能得到被赋予了与缺陷的种类和缺陷的位置相关的信息的注释完毕的不合格品教师数据。

图5表示本实施方式中的教师数据生成装置11对不合格品教师数据的生成的概要。如上所述，在本实施方式中，生成缺陷和以将其包围的方式配置的边界框成为一体的图像作为生成缺陷图像，因此在生成缺陷图像中，边界框的图像的位置始终高精度地包含缺陷的图像存在的范围。而且，从这样的生成缺陷图像中，抽出与边界框的图像对应的像素，并将其作为表示该生成缺陷图像中的缺陷的范围的边界框本身来利用，因此能够通过简单的处理高精度地进行注释。此外，根据本实施方式，由此无需为了注释而构建分类模型，因此能够降低成本。

因此，通过反复使用本实施方式的教师数据生成装置11从各种不同的生成缺陷图像生成不合格品教师数据，能够基于少数的不合格品数据，以低成本生成进行了高精度的注释的许多个不合格品教师数据。

另外，本发明并不限定于所说明的上述实施方式，能够以各种方式实施。例如，在实施方式中构成为，作为用于生成学习图像的灰度不合格品图像而使用在制造线中拍摄到的实际的不合格品数据，但也可以构成为，使用基于实际的不合格品数据例如使用VAE或GAN而生成的伪不合格品数据。此外，在实施方式中示出的教师数据生成装置11的细微部分的结构等仅为例示，能够在本发明的主旨的范围内适当变更。

符号说明

1检查系统

2输送机

3检查装置

4控制部

5图像取得部

6存储部

7学习部

8输入部

9输出部

10摄像机

11教师数据生成装置

12事前学习部

13缺陷图像生成部

14边界信息提取部

15边界坐标计算部

16不合格品教师数据制作部

G检查对象物。

Claims (3)

1.一种教师数据生成方法，其特征在于，具有：

事前学习工序，使用在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而得到的学习图像作为训练数据，使生成模型学习生成包含新的灰度的缺陷的图像和表示该缺陷的范围的所述彩色的边界信息的图像的生成缺陷图像的处理；

缺陷图像生成工序，使用学习完毕的所述生成模型来生成所述生成缺陷图像；

边界信息提取工序，通过从所生成的所述生成缺陷图像中抽出具有与所述彩色对应的像素值的像素，由此提取与该生成缺陷图像对应的所述边界信息，并且取得不包含所述边界信息的图像的灰度缺陷图像；

边界坐标计算工序，计算所提取出的所述边界信息在所述生成缺陷图像中的坐标作为边界坐标；以及

不合格品教师数据制作工序，将所述灰度缺陷图像与所计算出的所述边界坐标建立关联而设为不合格品教师数据。

2.根据权利要求1所述的教师数据生成方法，其特征在于，

所述边界信息为彩色的边界框，

所述边界坐标计算工序计算所述边界框的各顶点的坐标作为边界坐标。

3.一种教师数据生成装置，其特征在于，具备：

事前学习单元，其使用在灰度的不合格品图像上重叠以彩色表示该不合格品图像中的缺陷的范围的边界信息而得到的学习图像作为训练数据，使生成模型学习生成包含新的灰度的缺陷的图像和表示该缺陷的范围的所述彩色的边界信息的图像的生成缺陷图像的处理；

缺陷图像生成单元，其使用学习完毕的所述生成模型来生成所述生成缺陷图像；

边界信息提取单元，其通过从所生成的所述生成缺陷图像中抽出具有与所述彩色对应的像素值的像素，由此提取与该生成缺陷图像对应的所述边界信息，并且取得不包含所述边界信息的图像的灰度缺陷图像；

FB225311JP-I

边界坐标计算单元，其计算所提取出的所述边界信息在所述生成缺陷图像中的坐标作为边界坐标；以及

不合格品教师数据制作单元，其将所述灰度缺陷图像与所计算出的所述边界坐标建立关联而设为不合格品教师数据。