CN110580700A - 信息处理方法、信息处理装置及程序 - Google Patents

Abstract

本发明提供一种信息处理方法、信息处理装置及程序。将从产品数据提取的规定数量的合格品数据作为教师数据进行机器学习而生成第一学习模型(第一生成步骤)。基于第一学习模型，对在该生成后成为对象的多个产品数据进行合格品与不合格品的判别(第一判别步骤)。将判别为不合格品的多个产品数据作为对象，以缺陷类别为分类项目进行分组(类别划分步骤)。对于分组后的每个缺陷类别的组，统一地与表示该类别的类别标签建立对应(标签赋予步骤)。以不合格品数据及合格品数据为教师数据进行机器学习而生成第二学习模型(第二生成步骤)，所述不合格品数据与类别标签建立了对应。

Description

信息处理方法、信息处理装置及程序

将在2018年5月22日提出的日本专利申请2018-098169的包括其说明书、附图及摘要的公开内容作为参照而全部援引于此。

技术领域

本发明涉及信息处理方法、信息处理装置及程序。

背景技术

在使用基于计算机的机器学习而进行判定或分类等的情况下，通常，为了机器学习而需要大量的数据。此外，这些数据需要各自的注释的教师标签。例如，计算机进行产品的外观检査的情况下，作为成为检査对象的产品的大量的产品数据(例如，外观图像数据)、教师标签，需要该产品的合格品标签及不合格品标签。如果将产品的外观检査以合格品和不合格品这两个分类进行判别，则例如只要以附有合格品的教师标签(合格品标签)的产品数据为对象而通过计算机进行机器学习，来生成学习模型即可。日本特开2017-102865号公报公开了计算机进行这样的信息处理的技术。

然而，在不合格品之中为了进一步进行缺陷类别的分类，需要将表示缺陷类别的类别标签作为教师数据而与大量的产品数据分别建立纽带，来进行机器学习。向大量的产品数据的全部附有辨识标签的作业需要巨大的工时，并不实际。当作业员进行这样的附有辨识标签的作业时，在处理特别大量的产品数据的情况下，存在由于作业员而类别的判别产生变动或产生判别错误的情况。以往，关于不合格品，难以生成能够进行其类别的判别的学习模型。

发明内容

本发明的目的之一在于，容易进行除了合格品与不合格品的判别之外，关于不合格品也能够进行其类别的判别的学习模型的生成。

本发明的一个方式的信息处理方法的结构上的特征在于，包括：第一生成步骤，将从产品数据提取的规定数量的合格品数据和不合格品数据中的至少一方作为教师数据进行机器学习而生成第一学习模型；第一判别步骤，基于所述第一学习模型，对在生成该第一学习模型后成为对象的多个产品数据进行合格品与不合格品的判别；类别划分步骤，将在所述第一判别步骤中判别为不合格品的多个所述产品数据作为对象，以缺陷类别为分类项目进行分组；标签赋予步骤，对于通过所述类别划分步骤分组后的每个缺陷类别的组，统一地与表示该类别的类别标签建立对应；及第二生成步骤，以不合格品数据及合格品数据为教师数据进行机器学习而生成第二学习模型，所述不合格品数据与所述类别标签建立了对应。

附图说明

前述及后述的本发明的特征及优点通过下面的具体实施方式的说明并参照附图而明确，其中，相同的标号表示相同的部件。

图1是表示信息处理装置的硬件结构的一例的概略结构图。

图2是信息处理装置进行的信息处理的示意图。

图3是表示信息处理装置的软件结构的图。

具体实施方式

图1是表示信息处理装置10的硬件结构的一例的概略结构图。本实施方式的信息处理装置10用于产品的生产线的检査工序。作为产品，除了例如滚动轴承的轨道圈那样的部件之外，还包括将多个部件组装而得到的组装品。作为组装品的例子，为例如转向装置(电动动力转向装置)及滚动轴承。

在产品为组装品的情况下，在检査工序中使产品动作(旋转)，通过与产品的一部分接触的传感器7来计测产品的振动(声音)。通过传感器7的计测而得到的数据作为产品数据向信息处理装置10输入。产品无论是部件还是组装品，都可以在检査工序中通过相机8拍摄产品，进行外观检査。在该情况下，相机8的拍摄图像的数据作为产品数据向信息处理装置10输入。这样，能够将产品数据作为振动数据或图像数据(外观图像数据)。或者，产品数据可以是对于传感器7的振动数据(原始数据)进行了加工后的加工时据、或者对于相机8的图像数据(原始数据)进行了加工后的加工时据。作为加工时据的例子，可列举对于通过传感器7取得的作为时序数据的振动数据进行分析(傅里叶分析)而生成的频率数据。或者，加工时据可以是对拍摄图像的数据进行图像分析而得到的图像分析数据。在使用振动数据的情况下，信息处理装置10能够进行产品的动作检査。在使用图像数据的情况下，信息处理装置10能够进行产品的外观检査。

信息处理装置10具有对于在生产线中生产的产品进行合格品和不合格品的判别、并且对于不合格品进行其缺陷类别(种类)的判别的功能。在此，对产品为转向装置，使用振动数据作为产品数据的情况进行说明。作为在该情况下的缺陷类别，可列举特定的齿轮部分的缺陷及特定的轴承部的缺陷作为例子。当使转向装置动作时，这些缺陷分别使具有不同的频率成分的振动产生。由于频率成分具有特征，因此基于该特征，信息处理装置10能够判别缺陷类别。此外，在使用图像数据作为产品数据的情况下，基于伤痕等的深浅被数据化，基于该数据而信息处理装置10能够判别缺陷类别。

说明信息处理装置10的结构。信息处理装置10具有中央处理装置(CPU)11、由ROM及RAM构成的存储器12、由硬盘驱动器构成的存储装置13、显示部14、输入部15及通信部16。中央处理装置11读取存储器12或存储装置13中存储的程序(计算机程序)而执行各种处理。存储装置13存储有从传感器7取得的数据、对该数据进行加工而得到的数据(产品数据)、后述的学习模型及程序等各种信息。后述说明的信息处理装置10具备的各种功能部(各功能部执行的处理)通过CPU11读取存储器12或存储装置13中保存的程序并执行该程序而实现。

通过信息处理装置10进行的信息处理来进行产品(转向装置)的检査。产品的检査(检査工序)包含于生产产品的生产线。图2是信息处理装置10进行的信息处理(检査)的示意图。信息处理装置10对于通过传感器7得到的振动数据(原始数据)D1进行频率分析。信息处理装置10将进行频率分析而得到的频谱图等加工时据D2作为“产品数据”来处理。从生产线的启动时起使用信息处理装置10。在生产线的启动初期，即，信息处理装置10进行的信息处理的开始初期，产品数据少。随着生产线的产品的生产的进展而产品数据增加。

图3是表示信息处理装置10的软件结构的图。信息处理装置10具备第一生成部21、第一判别部22、类别划分部23、第二生成部24及第二判别部25作为所述功能部。如上所述，这些各功能部通过执行所述程序而实现。即，该程序是用于使计算机作为所述第一生成部21、所述第一判别部22、所述类别划分部23、所述第二生成部24及所述第二判别部25发挥功能的程序。该程序保存于各种存储介质。

如上所述，在生产线的启动初期(信息处理的开始初期)，产品数据少。因此，从生产线的启动初期得到的少数的产品数据中提取规定数量的关于作为合格品的产品得到的产品数据(将其称为“合格品数据”)。关于提取的合格品数据，将“合格品标签”的信息作为教师标签建立对应(建立纽带)。所述提取及所述建立对应由作业员进行。此外，将对于作为不合格品的产品得到的产品数据称为“不合格品数据”。

第一生成部21进行将提取的所述合格品数据作为教师数据进行机器学习而生成第一学习模型M1的处理(图2的步骤S1)。作为在此使用的机器学习，可列举深度学习。在实际生产产品的生产线中，在生产线的启动初期(信息处理的开始初期)，不合格品数据难以聚齐。相对于此，合格品数据比不合格品数据容易聚齐。因此，在本实施方式中，第一生成部21进行的机器学习是使用合格品数据作为教师数据而进行的合格品学习。该合格品数据是在信息处理的开始初期得到的数据。第一生成部21取得用于进行合格品学习的合格品数据的处理在图2中由箭头F0表示。此外，在信息处理的开始初期，如果在不合格品较多地聚齐的情况下，也可以将不合格品数据作为教师数据进行机器学习。或者，可以将合格品数据和不合格品数据作为教师数据。这样，第一生成部21具有将从生产线的启动初期得到的少数的产品数据(由作业员)提取的规定数量的合格品数据(或者合格品数据和不合格品数据中的至少一方)作为教师数据进行机器学习而生成第一学习模型M1的功能。通过第一生成部21生成的第一学习模型M1成为用于对产品进行合格品与不合格品的判别的学习模型。

第一判别部22基于第一生成部21生成的第一学习模型M1，对多个产品数据进行判别合格品与不合格品的处理(图2的步骤S2)。作为该判别用的模型的例子，可列举Variational Auto encoder(VAE)。成为判别的对象的产品数据是在生成第一学习模型M1后得到的多个产品数据。即，是在信息处理的比开始初期靠后的中期得到的数据。在信息处理的中期，在生产线中产品的生产也进展，不合格品数据也比初期增加。因此，在推测为不合格品数据聚集规定数量的阶段，进行基于第一判别部22的判别处理。通过该判别处理，将与实际的产品相关的产品数据判别为合格品数据和不合格品数据。第一判别部22取得成为该判别的对象的产品数据的处理在图2中由箭头F1表示。根据第一判别部22，如图2中的第一块B1的右侧所示，分成被分类为“合格品”的产品(产品数据)与被分类为“不合格品”的产品(产品数据)。

在此，在本实施方式中，成为检査对象的产品为转向装置。当使转向装置动作时，产生根据缺陷类别而分别具有不同的频率成分的振动。缺陷的各类别的频率成分具有特征。因此，信息处理装置10能够基于该特征来判别缺陷类别而进行分组。类别划分部23进行该分组的处理。

即，类别划分部23将由第一判别部22判别为不合格品的多个产品数据(不合格品数据)作为对象，进行以缺陷类别为分类项目来分组的处理(图2的步骤S3)。在此进行的分组是不使用教师数据而进行的处理，通过聚类分析(聚类)进行。作为聚类的算法，可采用例如k平均法。由此，将判别作为不合格品的多个产品数据按照缺陷的各类别来分类。该分类的处理，即，分组的处理是计算机进行的处理。因此，无法辨别缺陷类别具体为何种缺陷。因此，如图2中的第二块B2的右侧所示，通过类别划分部23，将不合格品数据分成多个组。在图例中，不合格品数据被分成“异常A”“异常B”及“异常C”这三个组。此外，组的数量有时为三个以外，通常，分成三个以上的组。

在转向装置中，作为缺陷类别的例子，可列举齿轮A的伤痕等的缺陷(称为“齿轮A缺陷”)、齿轮B的伤痕等的缺陷(称为“齿轮B缺陷”)及轴承的压痕等的缺陷(称为“轴承缺陷”)等。因此，对分组后的“异常A”“异常B”“异常C”分别相当于“齿轮A缺陷”“齿轮B缺陷”“轴承缺陷”中的哪个缺陷建立对应，标注缺陷的辨识标签。在本实施方式中，“异常A”相当于“齿轮A缺陷”，“异常B”相当于“齿轮B缺陷”，“异常C”相当于“轴承缺陷”。因此，进行这样的建立对应(附加组名)，即，缺陷的辨识标签的建立对应(图2的步骤S4)。该建立对应(附加组名)由作业员进行。建立对应通过从分组后的产品数据的产品(或产品数据)之中提取若干的产品(或产品数据)作为样品来进行。例如，对提取的产品进行目视观察(或者对产品数据进行分析)来确认伤痕等缺陷的有无，认定该产品的缺陷类别，在包含该产品的组中对该缺陷类别统一地命名。即，对于包含该产品的组，统一地与缺陷的辨识标签建立对应。

这样，对于由类别划分部23分组后的每个缺陷类别的组，统一地与表示其类别的类别标签建立对应。即，不是对于类别划分后的每个不合格品数据标注缺陷类别标签，而是对于类别划分后的组包含的多个不合格品数据的全部统一地标注相同的类别标签。

第二生成部24具有生成第二学习模型M2(参照图2)的功能(图2的步骤S5)。如上所述以不合格品数据及合格品数据作为教师数据，通过进行机器学习而生成第二学习模型M2，所述不合格品数据与类别标签统一地建立了对应。作为在此使用的机器学习，可列举深度学习。机器学习使用的合格品数据是在步骤S1中进行合格品学习时使用的合格品数据和在步骤S2中由第一判别部22判别为合格品的产品数据(合格品数据)中的至少一方。在本实施方式中，使用双方的合格品数据(产品数据)。该机器学习使用的产品数据中，除了合格品数据之外，还包含与表示缺陷类别的辨识标签建立了对应的不合格品数据(产品数据)。即，进行标有合格品标签的合格品数据及标有表示缺陷类别的辨识标签的不合格品数据成为教师数据的机器学习。已经生成的第一学习模型M1是能够判别是合格品还是不合格品的学习模型。相对于此，第二学习模型M2成为除了判别是合格品还是不合格品之外，在不合格品的情况下，能够判别缺陷类别的学习模型。

当生成第二学习模型M2时，进行将信息处理装置10使用的学习模型从第一学习模型M1变更为第二学习模型M2的处理。

第二判别部25具有基于由第二生成部24生成的第二学习模型M2对多个产品数据进行合格品与不合格品的判别及缺陷类别的判别的功能(图2的步骤S6)。作为该判别用的设备的例子，可列举Variational Auto encoder(VAE，变分自动编码器)。成为判别的对象的产品数据是在生成第二学习模型M2后得到的产品的产品数据。即，是在信息处理的开始后的比中期更靠后的时期得到的多个产品数据。在信息处理的中期之后，在生产线中产品的生产进展，产品数据进一步增加。第二判别部25取得成为判别的对象的产品数据的处理在图2中由箭头F2表示。通过使用第二学习模型M2，即使产品数据增多，除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别。

通过图2，说明具备所述结构的信息处理装置10进行的信息处理方法。该信息处理方法包括生成第一学习模型M1的第一生成步骤S1、第一判别步骤S2、类别划分步骤S3、标签赋予步骤S4、第二生成步骤S5、第二判别步骤S6。第一生成步骤S1由所述第一生成部21(参照图3)执行。第一判别步骤S2由所述第一判别部22执行。类别划分步骤S3由所述类别划分部23执行。标签赋予步骤S4可以与其他的步骤同样地由计算机进行，但是在本实施方式中由作业员进行。第二生成步骤S5由所述第二生成部24执行。第二判别步骤S6由所述第二判别部25执行。

在第一生成步骤S1中，将从生产线的启动初期得到的少数的产品数据提取的规定数量的合格品数据作为教师数据进行机器学习而生成第一学习模型M1。在第一判别步骤S2中，基于第一学习模型M1，对在生成该第一学习模型M1后成为对象的多个产品数据进行合格品与不合格品的判别。在第一判别步骤S2中判别作为不合格品的产品数据(不合格品数据)聚齐一定程度的数目时，在类别划分步骤S3中，将这多个产品数据(不合格品数据)作为对象，以缺陷类别为分类项目进行分组。在此的分组的处理是以产品数据的特征相似的数据彼此来分类的处理，不使用教师数据而进行。在标签赋予步骤S4中，对于通过类别划分步骤S3分组后的每个缺陷类别的组，统一地与表示该类别的类别标签建立对应。在第二生成步骤S5中，以不合格品数据及合格品数据作为教师数据进行机器学习而生成第二学习模型M2，所述不合格品数据与所述类别标签建立了对应。在第二生成步骤S5之后，在第二判别步骤S6中，使用第二学习模型M2作为第一学习模型M1的替代，对在第二学习模型M2的生成之后成为对象的多个产品数据进行合格品与不合格品的判别及缺陷类别的判别。

根据所述那样的包括第一生成步骤S1、第一判别步骤S2、类别划分步骤S3、标签赋予步骤S4及第二生成步骤S5的信息处理方法，如下述说明那样，除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别的学习模型的生成变得容易。即，在第一生成步骤S1中如果产品数据为少数，则从该少数的产品数据中提取合格品数据，对于提取的合格品数据赋予教师标签(合格品标签)的作业并不那么困难。基于通过提取的合格品数据而生成的第一学习模型M1，在第一判别步骤S2中，(即使产品数据不为少数也)能够进行合格品与不合格品的判别。而且，在类别划分步骤S3中，判别作为不合格品的产品数据按照缺陷的各类别被分组时，在标签赋予步骤S4中，对于每个组统一地与类别标签建立对应。因此，即使产品数据(不合格品数据)多，其分标签的处理也容易。在第二生成步骤S5中，基于被赋予了类别标签的不合格品数据及合格品数据来生成第二学习模型M2。因此，该第二学习模型M2成为除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别的学习模型。通过以上所述，除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别的学习模型(第二学习模型M2)的生成变得容易。

在第二判别步骤S6中，使用第二学习模型M2作为第一学习模型M1的替代。因此，即使产品数据成为多数，除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别。

通过以上所述，根据本实施方式的信息处理方法，能够半自动地生成教师数据及学习模型(第二学习模型M2)。由于其生成容易，因此信息处理装置10进行的检査工序(自动检査工序)的启动变得容易。其结果是，能促进检査工序的自动化。作业员变得省力化，因此能够减少人事费，能够对产品成本的减少作出贡献。

在本实施方式中，在第一生成步骤S1中使用的产品数据是在信息处理的开始初期得到的数据。在第一判别步骤S2中成为判别的对象的产品数据是在信息处理的开始初期之后，例如，推定为不合格品数据聚集了规定数量的阶段即信息处理的比开始初期靠后的中期得到的数据。在第二判别步骤S6中成为判别的对象的产品数据是比信息处理的开始后的中期更靠后的时期得到的数据。在进行第一生成步骤S1的信息处理的开始初期，产品数据为少数。因此，从少数的产品数据提取规定数量的产品数据(合格品数据)，而且，对于该产品数据(合格品数据)赋予教师标签(合格品标签)的作业并不那么困难。在信息处理的中期即使产品数据增加，基于已经生成的第一学习模型M1在第一判别步骤S2中也能够进行合格品与不合格品的判别。在信息处理的中期之后(实际的运用)，即使产品数据增多，也可以使用第二学习模型M2取代第一学习模型。因此，除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别。这样，在信息处理的中期之后(实际的运用)，如果产品的生产继续，则使用了第二学习模型M2的判别(自动检査工序)继续。通过以上所述，产品的生产线(检査工序)的启动变得容易。

本次公开的实施方式在全部的点上为例示而不受限制。本发明的权利范围没有限定为上述的实施方式，包括与权利要求书的范围记载的结构等同的范围内的全部变更。成为对象的产品可以是转向装置及滚动轴承以外，各种组装品及机械部件成为对象。产品数据可以是振动数据及图像数据以外，可以是温度数据(温度变化数据)等。

说明了对于所述不合格品数据，将表示缺陷类别的类别标签建立对应的情况。然而，还可以关于表示成为该缺陷的发生的原因的检査工序前的工序的信息的工序标签也追加性地建立对应。在该情况下，在作为检査结果而判定为某类别的不合格品的情况下，能够容易地识别成为其缺陷的原因的工序。其结果是，能够解决该工序的缺陷情况，将不合格品的发生抑制成最小限度。

根据本发明，除了合格品与不合格品的判别之外，对不合格品也能够进行其类别的判别的学习模型(第二学习模型M2)的生成变得容易。

Claims (7)

1.一种信息处理方法，包括：

第一生成步骤，将从产品数据提取的规定数量的合格品数据和不合格品数据中的至少一方作为教师数据进行机器学习而生成第一学习模型；

第一判别步骤，基于所述第一学习模型，对在生成该第一学习模型后成为对象的多个产品数据进行合格品与不合格品的判别；

类别划分步骤，将在所述第一判别步骤中判别为不合格品的多个所述产品数据作为对象，以缺陷类别为分类项目进行分组；

标签赋予步骤，对于通过所述类别划分步骤分组后的每个缺陷类别的组，统一地与表示该类别的类别标签建立对应；及

第二生成步骤，以不合格品数据及合格品数据为教师数据进行机器学习而生成第二学习模型，所述不合格品数据与所述类别标签建立了对应。

2.根据权利要求1所述的信息处理方法，其中，

所述信息处理方法在所述第二生成步骤之后还包括第二判别步骤，在该第二判别步骤中，基于所述第二学习模型，对在生成该第二学习模型之后成为对象的多个产品数据进行合格品与不合格品的判别及缺陷类别的判别。

3.根据权利要求1所述的信息处理方法，其中，

在所述第一生成步骤中进行的所述机器学习是使用合格品数据作为教师数据而进行的合格品学习。

4.根据权利要求2所述的信息处理方法，其中，

在所述第一生成步骤中使用的所述产品数据是在信息处理的开始初期得到的数据，

在所述第一判别步骤中成为判别的对象的所述产品数据是在信息处理的比开始初期靠后的中期得到的数据，

在所述第二生成步骤中成为判别的对象的所述产品数据是在信息处理的开始后的比中期更靠后的时期得到的数据。

5.根据权利要求1～4中任一项所述的信息处理方法，其中，

在所述类别划分步骤中，不使用教师数据而通过聚类分析进行分组。

6.一种信息处理装置，包括：

第一生成部，将规定数量的合格品数据和不合格品数据中的至少一方作为教师数据进行机器学习而生成第一学习模型；

第一判别部，基于所述第一学习模型，对多个产品数据进行合格品与不合格品的判别；

类别划分部，将由所述第一判别部判别为不合格品的多个所述产品数据作为对象，以缺陷类别为分类项目进行分组；及

第二生成部，以不合格品数据及合格品数据为教师数据进行机器学习而生成第二学习模型，所述不合格品数据对于由所述类别划分部进行了分组的每个缺陷类别的组统一地与表示该类别的类别标签建立了对应。

7.一种程序，使计算机作为如下各部发挥功能：

第一生成部，将规定数量的合格品数据和不合格品数据中的至少一方作为教师数据进行机器学习而生成第一学习模型；

第一判别部，基于所述第一学习模型，对多个产品数据进行合格品与不合格品的判别；

类别划分部，将由所述第一判别部判别为不合格品的多个所述产品数据作为对象，以缺陷类别为分类项目进行分组；及

第二生成部，以不合格品数据及合格品数据为教师数据进行机器学习而生成第二学习模型，所述不合格品数据对于由所述类别划分部进行了分组的每个缺陷类别的组统一地与表示该类别的类别标签建立了对应。