CN109816624A - 外观检查装置 - Google Patents

外观检查装置 Download PDF

Info

Publication number
CN109816624A
CN109816624A CN201811378900.4A CN201811378900A CN109816624A CN 109816624 A CN109816624 A CN 109816624A CN 201811378900 A CN201811378900 A CN 201811378900A CN 109816624 A CN109816624 A CN 109816624A
Authority
CN
China
Prior art keywords
data
mentioned
image
learning
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811378900.4A
Other languages
English (en)
Other versions
CN109816624B (zh
Inventor
渡边桂佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109816624A publication Critical patent/CN109816624A/zh
Application granted granted Critical
Publication of CN109816624B publication Critical patent/CN109816624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种外观检查装置。外观检查装置根据基准数据集以及学习数据集，生成正常产品的图像即第一图像和成为比较对象的产品的图像即第二图像的组合；机器学习装置针对该组合学习与第二图像对应的产品是否正常的分类。机器学习装置观测第一图像以及第二图像的组合作为表示环境的当前状态的状态变量，另外，取得赋予第二图像的标签作为标签数据，并将这些状态变量与标签数据关联起来进行学习。

Description

外观检查装置
技术领域
本发明涉及一种外观检查装置。
背景技术
目前，进行以下的外观检查等(例如参照日本特开2015-021756号公报、日本特开2005-052926号公报、日本特开2013-140090号公报)，通过摄像单元拍摄在工厂中制造的产品的外观，并进行基于拍摄到的图像的产品的分类作业、正常产品与有划痕或缺陷等的缺陷产品的分类。在这样的作业和检查中，例如根据预先准备好的基准图像提取特征点，根据比较该提取出的特征点与从拍摄产品的图像中提取出的特征点后得到的结果来进行产品的分类和选择。
另一方面，在根据显示在图像中的特征来进行分类的现有技术中，有使用了深层学习网络的深层学习的技术。在这种技术中，为了对深层学习的神经网络进行学习，例如进行被称为注释(annotation)的作业，即像对显示有产品A的图像附加“产品A”、对显示有产品B的图像附加“产品B”那样，将显示在该图像中的对象物的信息(标签)附加给图像。使用这样生成出的图像和标签的数据集来执行学习，并使用所生成的神经网络对图像进行推定，由此对显示在该图像中的对象物进行分类。
通常，对于这样对显示在图像中的对象物进行分类的神经网络的学习，需要大量的图像和对这些图像进行注释的工时。进一步，理所当然地，例如在将产品C的图像输入给学习到的神经网络来对产品A和产品B进行分类的情况等，不能准确推定在学习时不存在的分类图像。因此，在想要将由深层学习进行的图像分类适用于制造现场的外观检查时，会面临各种问题。
例如，在工厂的制造工序中，以本来就不制造缺陷产品的方式进行调整，因此缺陷产品的样品数量较少。其结果，在收集到学习所需数量的图像之前，检查对象物的形状有可能由于机种变更等而改变。另外，缺陷中存在各种具有不同特征的缺陷模式，在产生前所未有的缺陷模式时，通过现存的神经网络有可能无法正确地进行检查。已知设想这样的情况来学习正常产品和缺陷产品的差异的技术，从而也考虑通过导入该技术并在发现了新的缺陷模式时进行再次学习来进行处理的情况。但是，从最初开始重新进行这样的学习会过于花费时间，因此在外观检查中现有的深层学习的学习方法并不适合。
发明内容
因此，本发明的目的为提供一种能够灵活地处理检查对象物的形状和新的缺陷模式的外观检查装置。
在进行本发明产品的外观检查的外观检查装置中，如图9所示，将使用机器学习装置作为前提，该机器学习装置分别同时输入2个已检查产品的图像并进行学习。在该机器学习装置的学习中，以以下方式进行学习，即在输入了2个(不同的)正常产品的图像特征量的情况下输出是正常产品，在输入了正常产品的图像的特征量和缺陷产品的图像的特征量的情况下输出是缺陷产品。
然后，在本发明的外观检查装置中，如图10所示，在最初开始学习的时间点准备图像，该图像是拍摄了尽可能准备的已检查产品的图像，并将其作为第一数据集，进行以第一数据集中包括的产品图像为组合的学习。然后，将在该阶段生成的学习模型作为第一已学习模型来在检查对象物的图像分类中使用。之后，在进行基于新数据集(不在第一已学习模型中的产品图像的数据集)的追加学习时，将第一数据集设为基准数据集，生成产品图像的组合，该产品图像的组合中至少包括一个在新数据集中包括的图像(基准数据集中包括的图像和新的数据集中包括的图像的组合、以及新的数据集中包括的图像的组合)，并对第一已学习模型进行使用了所生成的图像的组合的追加学习。另外，在之后进行追加学习时，以以下方式逐步地进行学习，即生成汇总了新的数据集和基准数据集(第一数据集)而得的第二数据集，并将该第二数据集作为基准数据集来进行追加学习。
新的数据集中包括针对以下图像变更了标签的图像：例如在使用了第一已学习模型的检查对象物的图像分类中推定出不正确的分类结果的检查对象物的图像、第一数据集中包括的一部分产品图像。当在新的数据集中包含与基准数据集重复的数据时，优选从新的数据集中去除该重复的数据。另外，在本发明的外观检查装置中，当在新的数据集中包括图像与基准数据集重复但标签不同的数据时，如果设为在追加学习中不使用基准数据集中包括的该图像数据(从基准数据集中去除这样的数据)，则能够消除图像的标签的矛盾。
本发明的一个方式的外观检查装置是针对能够进行外观性检查的数据进行检查的外观检查装置，其具备：基准数据集存储部，其能够存储过去用于学习且赋予了表示是正常还是异常的标签的数据集即基准数据集；学习数据集存储部，其能够存储用于追加学习且赋予了表示是正常还是异常的标签的数据集即学习数据集；数据组合生成部，其根据基准数据集以及学习数据集，生成正常的数据即第一数据和成为上述第一数据的比较对象的数据即第二数据的组合；以及机器学习装置，其针对由上述数据组合生成部生成的上述第一数据以及上述第二数据的组合，学习上述第二数据是正常还是异常的分类。然后，上述机器学习装置具备：状态观测部，其观测上述第一数据以及上述第二数据的组合作为表示环境的当前状态的状态变量；标签数据取得部，其取得赋予上述第二数据的标签作为标签数据；以及学习部，其将上述状态变量与上述标签数据关联起来进行学习。上述数据组合生成部以上述第一数据以及上述第二数据中的至少一个包括从上述学习数据集存储部选择出的数据的方式来生成各个组合。
本发明的其他方式的外观检查装置是进行成为检查对象的产品的外观检查的外观检查装置，其具备：基准数据集存储部，其能够存储过去用于学习且赋予了表示是正常产品还是异常产品的标签的产品图像的数据集即基准数据集；学习数据集存储部，其能够存储用于追加学习且赋予了表示是正常产品还是异常产品的标签的产品图像的数据集即学习数据集；数据组合生成部，其根据基准数据集以及学习数据集，生成正常产品的图像即第一图像和成为上述第一图像的比较对象的产品图像即第二图像的组合；以及机器学习装置，其针对由上述数据组合生成部生成的上述第一图像以及上述第二图像的组合，学习与上述第二图像对应的产品是正常还是有缺陷的分类。然后，上述机器学习装置具备：状态观测部，其观测上述第一图像以及上述第二图像的组合作为表示环境的当前状态的状态变量；标签数据取得部，其取得赋予上述第二图像的标签作为标签数据；以及学习部，其将上述状态变量与上述标签数据关联起来进行学习。上述数据组合生成部以上述第一图像以及上述第二图像中的至少一个包括从上述学习数据集存储部选择出的数据的方式来生成各个组合。
上述数据组合生成部可以从上述学习数据集中去除与上述基准数据集重复的数据。
上述数据组合生成部可以从上述基准数据集中去除具有与上述学习数据集重复的图像的数据。
上述学习数据集能够包括根据基于过去的学习结果的分类的推定结果而赋予了标签的图像。
上述学习数据集能够包括以下图像，即在基于过去的学习结果的分类推定中，对推定出不正确的分类的图像重新赋予了正确标签的图像。
上述外观检查装置可以构成为，比较针对过去的已学习模型和追加学习后的已学习模型的分类的推定结果，采用能够进行更接近人类感觉的外观检查的已学习模型。
本发明一个方式的外观检查方法是针对能够进行外观性检查的数据进行检查的外观检查方法，该外观检查方法包括以下步骤：根据过去用于学习且赋予了表示是正常还是异常的标签的数据集即基准数据集以及用于追加学习且赋予了表示是正常还是异常的标签的数据集即学习数据集，生成正常数据即第一数据和成为上述第一数据的比较对象的数据即第二数据的组合的步骤；观测上述第一数据以及上述第二数据的组合作为表示环境的当前状态的状态变量的步骤；取得赋予上述第二数据的标签作为标签数据的步骤；以及将上述状态变量与上述标签数据关联起来进行学习的步骤。然后，生成上述数据的组合的步骤以上述第一数据以及上述第二数据中的至少一个包括从上述学习数据集选择出的数据的方式来生成各个组合。
本发明其他方式的外观检查方法是进行成为检查对象物的产品的外观检查的外观检查方法，该外观检查方法包括以下步骤：根据过去用于学习且赋予了表示是正常产品还是异常产品的标签的上述产品的图像的数据集即基准数据集以及用于追加学习且赋予了表示是正常产品还是异常产品的标签的上述产品的图像的数据集即学习数据集，生成正常的上述产品的图像即第一图像和成为上述第一图像的比较对象的上述产品的图像即第二图像的组合的步骤；观测上述第一图像以及上述第二图像的组合作为表示环境的当前状态的状态变量的步骤；取得赋予上述第二图像的标签作为标签数据的步骤；以及将上述状态变量与上述标签数据关联起来进行学习的步骤。然后，生成上述图像的组合的步骤以上述第一图像以及上述第二图像中的至少一个包括从上述学习数据集选择出的数据的方式来生成各个组合。
本发明的外观检查装置在进行追加学习时，与使用全部的数据集从头开始学习相比，以短时间完成学习。更具体地说，将用于生成学习模型的数据集预先存储为基准数据集，在追加学习时使用该基准数据集和新的数据集的组合进行追加学习，因此能够大幅削减学习所需的循环次数。
附图说明
图1是第一实施方式的外观检查装置的示意性硬件结构图。
图2是第一实施方式的外观检查装置的示意性功能框图。
图3表示新的学习时的数据组合生成部的图像组合的生成例。
图4表示追加学习时的数据组合生成部的图像组合的生成例。
图5是表示外观检查装置的一个方式的示意性功能框图。
图6A说明神经元。
图6B说明神经网络。
图7是第二实施方式的外观检查装置的示意性功能框图。
图8是第三实施方式的外观检查装置的示意性功能框图。
图9是分别同时输入2个已检查产品的图像并进行学习的机器学习装置的图。
图10说明本发明的外观检查装置的学习方法。
具体实施方式
图1是表示第一实施方式的外观检查装置的主要部分的示意性硬件结构图。
作为本实施方式的外观检查装置，说明例如针对在工厂等中制造出的产品来推定正常产品和缺陷产品的分类的装置。本实施方式的外观检查装置1所具备的CPU11是整体控制外观检查装置1的处理器。CPU11经由总线20读出存储在ROM12中的系统程序，按照该系统程序来控制外观检查装置1整体。RAM13暂时存储临时的计算数据和显示数据。
非易失性存储器14构成为一种存储器，例如由未图示的电池进行备份等，即使外观检查装置1的电源被切断也能够保持存储状态。非易失性存储器14中存储经由接口18从键盘等输入装置70输入的数据、经由接口19从摄像装置80输入的产品的图像数据、经由未图示的外部存储器、网络等取得的各种数据(包括产品的图像数据)等。非易失性存储器14中存储的程序和各种数据在执行时/使用时可以被展开到RAM13中。另外，ROM12中被预先写入各种系统程序(包括用于控制与后述的机器学习装置100进行交换的系统程序)。
图形控制电路15将数值数据以及图形数据等数字信号变换为显示用的光栅信号，并发送给显示装置60，显示装置60显示这些数值以及图形。显示装置60主要使用液晶显示装置。
接口21是用于连接外观检查装置1和机器学习装置100的接口。机器学习装置100具备统一控制机器学习装置100整体的处理器101、存储了系统程序等的ROM102、用于进行机器学习的各个处理中的临时存储的RAM13以及用于存储学习模型等的非易失性存储器104。机器学习装置100能够经由接口21来观测由外观检查装置1能够取得的各个数据(外观检查对象物的数据等)。另外，外观检查装置1将从机器学习装置100输出的、外观检查装置1的检查结果显示在未图示的显示装置等中。
图2是第一实施方式的外观检查装置1和机器学习装置100的示意性功能框图。
通过由图1所示的外观检查装置1所具备的CPU11以及机器学习装置100的处理器101执行各个系统程序，并控制外观检查装置1以及机器学习装置100的各部分的动作来实现图2所示的各个功能块。
本实施方式的外观检查装置1具备从预先存储在非易失性存储器14中的产品图像的数据集来生成用于学习的图像的组合的数据组合生成部34。另外，本实施方式的外观检查装置1的非易失性存储器14中存储有基准数据集存储部142和学习数据集存储部144，其中基准数据集存储部142是用于存储在过去的学习中所使用的已检查产品的图像(处于已经赋予了正常产品/缺陷产品的标签的状态的图像)集即基准数据集的区域，学习数据集存储部144是用于存储为了重新学习而准备的已检查产品的图像(处于已经赋予了正常产品/缺陷产品的状态的图像)集即学习数据集的区域。
通过在完成学习的时间点将存储在学习数据集存储部144中的学习数据集添加至存储在基准数据集存储部142中的基准数据集来生成存储在基准数据集存储部142中的基准数据集。存储在学习数据集存储部144中的学习数据集例如根据通过摄像装置80拍摄到的产品的图像、从未图示的外部存储器读入的产品的图像、经由未图示的网络而取得的产品的图像等来生成。另外，对于在过去没有进行学习的状态下开始新的学习的情况，则是在没有存储基准数据集的状态下开始学习。
能够认为存储在学习数据集存储部144中的学习数据集是追加学习所使用的数据集。学习数据集可以包括对新拍摄的对象物的图像赋予了正常产品/缺陷产品的标签的图像，也可以包括根据基于过去的学习结果的分类的推定结果而赋予了标签的图像。另外，也可以包括在根据已有的学习结果进行了正常产品/缺陷产品的分类推定时针对输出了错误结果的图像赋予了正确标签的图像。
在过去没有进行学习的状态下开始新的学习时(即在基准数据集存储部142中没有存储图像时)，数据组合生成部34生成以下图像的组合，即存储在学习数据集存储部144中的图像中的带有正常产品的标签的图像与其它图像(成为比较对象的产品的图像)的组合。数据组合生成部34生成满足上述条件的所有的图像的组合。例如，如图3所示例那样，当在学习数据集存储部144中存储图像A、(标签：正常产品)、图像B(标签：缺陷产品)、图像C(标签：正常产品)、图像D(标签：缺陷产品)作为学习数据集时，数据组合生成部34生成6组图像的组合。
另一方面，当在过去进行过学习的状态下开始新的学习时(即在基准数据集存储部142中存储有图像时)，数据组合生成部3生成产品图像的组合，该产品图像的组合中至少包括一个存储在学习数据集存储部144中的图像(存储在基准数据集存储部142中的图像和存储在学习数据集存储部144中的图像的组合、存储在学习数据集存储部144中的图像的组合)，且该产品图像的组合中的至少一个图像是带有正常产品的标签的图像。数据组合生成部34生成满足上述条件的所有的图像的组合。例如如图4所示，在基准数据集存储部142中存储图像A、(标签：正常产品)、图像B(标签：缺陷产品)、图像C(标签：正常产品)、图像D(标签：缺陷产品)作为基准数据集，且在学习数据集存储部144中存储图像P(标签：正常产品)、图像Q(标签：缺陷产品)、图像R(标签：缺陷产品)作为学习数据集时，数据组合生成部34生成12组图像的组合。这样，将成为学习对象的图像组合限定为至少包括从学习数据集中选择出的图像的组合，由此与汇总所有的数据集并使用图像的组合来进行学习的情况相比，能够大幅地减少学习的次数。
本实施方式的机器学习装置100包括用于通过所谓机器学习来自主学习正常产品与正常产品或正常产品与缺陷产品之间的差异的软件(学习算法等)以及硬件(处理器101等)。外观检查装置1具备的机器学习装置100所学习到的内容相当于模型结构，该模型结构表示针对正常产品的图像与成为比较对象的产品(正常产品或缺陷产品)的图像之间的差异的分类。
如图2的功能块所示，外观检查装置1所具备的机器学习装置100具备：状态观测部106，其观测状态变量S，该状态变量S包括表示正常产品的图像的正常产品图像数据S1和表示成为与该正常产品的比较对象的产品的图像的比较图像数据S2；标签数据取得部108，其取得包括分类数据L1的标签数据L，其中分类数据L1表示作为比较对象的产品的图像的标签(正常产品或缺陷产品)；以及学习部110，其使用状态变量S和标签数据L，学习针对正常产品的图像与成为比较对象的产品(正常产品或缺陷产品)的图像之间的差异的分类。
在状态观测部106要观测的状态变量S中，正常产品图像数据S1使用由数据组合生成部34生成的图像组合内的正常产品的图像。另外，在状态变量S中，比较图像数据S2使用由数据组合生成部34生成的图像组合内的成为比较对象的产品的图像。
对包含在由标签数据取得部108取得的标签数据L中的分类数据L1使用带有由数据组合生成部34生成的图像组合内的成为比较对象的产品的图像的标签。由标签数据取得部108取得的标签数据L1是表示针对正常产品的图像与成为比较对象的产品(正常产品或缺陷产品)的图像之间的差异的分类的指标。
学习部110按照被总称为机器学习的任意学习算法，来学习针对正常产品的图像与成为比较对象的产品(正常产品或缺陷产品)的图像之间的差异的分类(标签数据L)的推定。学习部110能够反复执行基于包括上述状态变量S与标签数据L的数据集合的学习。
通过重复这样的学习循环，学习部110能够自动识别暗示以下分类的特征，即针对正常产品的图像(正常产品图像数据S1)以及成为比较对象的产品的图像(比较图像数据S2)的差异，应当将成为比较对象的产品判断为正常产品或者判断为缺陷产品的分类。在开始学习算法时，针对正常产品图像数据S1以及比较图像数据S2的组合的、成为比较对象的产品的分类实质上是未知的，但是学习部110随着学习的推进逐渐识别特征并解释分类的推定。如果可以以某种程度上能够信赖的水平来解释针对正常产品图像数据S1以及比较图像数据S2的成为比较对象的产品的分类的推定，则反复输出学习结果的学习部110成为能够针对所输入的正常产品的图像和检查对象物的图像以高精度进行检查对象物的分类的推定。
在具有上述结构的机器学习装置100中，没有特别限定学习部110所执行的学习算法，能够采用公知的学习算法作为机器学习。
图5是图2所示的外观检查装置1的另一方式，表示具备执行有监督学习的学习部110来作为学习算法的另一个例子的结构。有监督学习是以下方法：提供输入以及与该输入对应的输出的已有的数据集(称为训练数据)，并根据这些训练数据来识别暗示输入与输出之间的相关性的特征，由此来学习用于推定对于新的输入所需的输出的相关性模型。
在图5所示的外观检查装置1所具备的机器学习装置100中，学习部110具备：误差计算部112，其计算根据状态变量S推定检查对象物的分类的相关性模型M与根据预先准备的训练数据T识别出的相关性特征之间的误差E；以及模型更新部114，其以缩小误差E的方式更新相关性模型M。学习部110学习针对通过由模型更新部114重复相关性模型M的更新而输入的正常产品的图像与检查对象物的图像的检查对象物的分类的推定。
相关性模型M的初始值例如是简化(例如通过一次函数)地表达了状态变量S、所输入的正常产品图像与检查对象物图像之间的差异、标签数据L和所输入的检查对象物的分类之间的相关性的表达式，并在开始有监督学习之前提供给学习部110。训练数据T例如能够由经验值构成，该经验值是通过记录由针对过去的检查对象(的图像)的注释作业而被赋予的标签来累积的，该训练数据T在有监督学习开始前被提供给学习部110。误差计算部112从提供给学习部110的训练数据T中识别相关性特征，该相关性特征暗示正常产品图像和检查对象物图像的差异与检查对象物的分类之间的相关性，并求出该相关性特征与对应于当前状态下的状态变量S和标签数据L的相关性模型M之间的误差E。模型更新部114例如按照预先决定的更新规则，向误差E变小的方向更新相关性模型M。
在接下来的学习循环中，误差计算部112按照更新后的相关性模型M使用状态变量S来推定检查对象物的分类，并求出该推定结果与实际取得的标签数据L的误差E，模型更新部114再次更新相关性模型M。如此，未知环境的当前状态与对其分类之间的相关性逐渐变得明确。
在推进上述有监督学习时，能够使用神经网络。图6A示意地表示神经元的模型。图6B示意地表示组合图6A所示的神经元而构成的三层神经网络的模型。神经网络例如能够由对神经元的模型进行模拟的运算装置、存储装置等构成。
图6A所示的神经元输出针对多个输入x(这里作为一例为输入x1～输入x3)的结果y。各个输入x1～x3乘以与该输入x对应的权重w(w1～w3)。由此，神经元输出由以下数学式(1)表示的结果y。此外，在数学式(1)中，输入x、结果y以及权重w都是向量。另外，θ是偏置，fk是激活函数。
图6B所示的三层神经网络从左侧输入多个输入x(这里作为一例为输入x1、x2、x3)，并从右侧输出结果y(这里作为一例为结果y1、y2、y3)。在图6B所示的例子中，对输入x1、x2、x3分别乘以对应的权重(用w1统称表示)，各个输入x1、x2、x3都被输入至3个神经元N11、N12、N13。
用z1统称表示各个神经元N11～N13的输出。输出z1能够视为提取了输入向量的特征量后的特征向量。在图6B所示的例子中，对特征向量z1分别乘以对应的权重(用w2统称表示)，各个特征向量z1都被输入至2个神经元N21、N22。特征向量z1表示权重w1与权重w2之间的特征。
用z2统称表示各个神经元N21～N22的输出。输出z2能够视为提取了特征向量z1的特征量后的特征向量。在图6B所示的例子中，对特征向量z2分别乘以对应的权重(用w3统称表示)，各个特征向量z2都被输入至3个神经元N31、N32、N33。特征向量z2表示权重w2与权重w3之间的特征。最后，神经元N31～N33分别输出结果y1～y3。
此外，还能够使用所谓公知的深度学习的方法，该深度学习使用了成为三层以上的层次的神经网络，本实施方式的机器学习装置100所具备的学习部110尤其通过使用深层学习的方法可以得到优选的效果。在外观检查装置1所具备的机器学习装置100中，将状态变量S作为输入x，学习部110进行按照上述神经网络的多层构造的运算，由此能够输出如何针对正常产品的图像和检查对象物的图像来推定检测对象物的分类(结果y)。此外，在神经网络的动作模式中有学习模式和价值预测模式，例如在学习模式中能够使用学习数据集来学习权重w，并能够使用所学习的权重w在价值预测模式中进行行为的价值判断。此外，在价值预测模式中还能够进行检测、分类、推定等。
上述的外观检查装置1的结构能够记述为外观检查装置1的CPU11或机器学习装置100的处理器101执行的机器学习方法(或软件)。该机器学习方法是基于进行产品的外观检查的外观检查装置的机器学习方法，并具有以下步骤：处理器101观测正常产品图像数据S1、比较图像数据S2等的数据作为表示当前状态的状态变量S的步骤；取得表示检查对象物的分类的标签数据L的步骤；以及使用状态变量S和标签数据L将正常产品图像数据S1和比较图像数据S2与检查对象物的分类关联起来进行学习的步骤。
图7表示第二实施方式的外观检查装置2。
图1所示的外观检查装置所具备的CPU以及机器学习装置的处理器分别执行系统程序，并控制外观检查装置以及机器学习装置的各部分的动作，由此实现图7所示的各个功能块。
该实施方式的外观检查装置2具备机器学习装置120、生成预先存储在非易失性存储器14中的正常产品图像与从摄像装置80取得的检查对象物的图像的组合的状态数据取得部36、将从后述的推定结果输出部122输出的检查对象物的分类的推定结果显示给显示装置60的显示部38。状态数据取得部36将所生成的正常产品的图像与检查对象物的图像的组合作为状态数据输出给状态观测部106。
机器学习装置120所具备的推定结果输出部122使用学习部110学习到的结果来生成检查对象物的分类的推定结果，并输出所生成的推定结果的分类。
具有上述结构的外观检查装置2所具备的机器学习装置120实现与上述机器学习装置100相同的效果。
图8表示第三实施方式的外观检查装置3。
图1所示的外观检查装置所具备的CPU以及机器学习装置的处理器分别执行系统程序，并控制外观检查装置以及机器学习装置的各部分的动作，由此实现图8所示的各个功能块。
该实施方式的外观检查装置3与上述第二实施方式同样地，基于由状态数据取得部36根据预先存储在非易失性存储器14中的正常产品的图像与从摄像装置80取得的检查对象物的图像而生成的数据的组合，由推定结果输出部122使用学习部110学习到的结果来生成检查对象物的分类的推定结果，显示部38将所生成的推定结果的分类显示给显示装置60，并且将推定结果输出部122输出的推定结果和检查对象物的图像添加至学习数据集存储部144，来在预定的定时执行由学习部110进行的追加学习，该追加学习使用了存储在基准数据集存储部142中的基准数据集以及存储在学习数据集144中的学习数据集。
在本实施方式的外观检查装置3中，能够将基于已有的学习结果进行了正常产品/缺陷产品的分类的推定结果作为追加学习用的数据集来使用，因此成为例如在应对新的缺陷模式时能够进行使用了良好的数据集的良好的追加学习。
由机器学习装置130的学习部110进行学习而得到的已学习模型能够作为与机器学习有关的软件的一部分即程序模块来使用。能够在具备CPU或GPU等处理器以及存储器的计算机中使用本发明的已学习模型。更具体地说，该计算机的处理器按照来自存储器中存储的已学习模型的指令进行以下动作，即将正常产品的图像和检查对象物的图像作为输入来进行运算，并根据运算结果输出检查对象物的分类的推定结果。能够经由外部存储介质、网络等对其他计算机来复制使用本发明的已学习模型。
另外，在对其他计算机复制本发明的已学习模型并在新的环境下使用时，能够根据在该环境下得到的新的状态变量、判定数据对该已学习模型进行进一步的学习。在这种情况下，能够得到从该新的环境下的已学习模型派生出的已学习模型(以下称为派生模型)。本发明的派生模型与原本的已学习模型的相同之处在于，输出针对预定的正常产品的图像以及检查对象物的图像的检查对象物的分类的推定结果，但是不同之处在于，输出比原本的已学习模型更适合新环境(例如新的种类的外观检查对象物)的结果。该派生模型还能够经由外部存储介质、网络等对其他计算机来复制使用。
进一步，还能够使用针对向安装了本发明的已学习模型的机器学习装置进行输入而得到的输出，生成通过在其他机器学习装置中从头开始学习而获得的已学习模型(以下称为蒸馏模型)，并使用该模型(将这样的学习过程称为蒸馏)。在蒸馏中，将原本的已学习模型称为教师模型，将新生成的蒸馏模型称为学生模型。通常，蒸馏模型的尺寸比原本的已学习模型小，但可以提供与原本的已学习模型相同的精度，因此更适于经由外部存储介质、网络等向其他计算机进行发布。
以上，说明了本发明的实施方式，但是本发明不仅限于上述实施方式的例子，能够通过增加适当的变更以通过各种方式来实施。
例如，机器学习装置100所执行的学习算法和运算算法等不限于上述情况，而能够采用各种算法。
在上述实施方式中将外观检查装置1(或2)和机器学习装置100(或120)作为具有不同的CPU的装置进行了说明，但是也可以设为通过外观检查装置1(或2)所具备的CPU11和存储在ROM12中的系统程序来实现机器学习装置100(或120)。
另外，在上述实施方式中示出了机器学习装置100(或120)位于外观检查装置1(或2)上的例子，但是机器学习装置100(或120)也能够设为存在于在网络中准备的云服务器等上的结构。
在上述实施方式中，示出了数据组合生成部34使用学习数据集存储部144中存储的所有学习数据集来进行学习的例子，但是当存储于学习数据集存储部144中的学习数据集中包括的图像内包含与存储于基准数据集存储部142中的基准数据集内相同或类似的图像并赋予了相同的标签时，数据组合生成部34可以将该图像作为重复的图像从学习数据集中去除。
另外，当存储于学习数据集存储部144中的学习数据集中包括的图像内包含与存储于基准数据集存储部142中的基准数据集内相同或类似的图像并赋予了不同的标签时，数据组合生成部34将这种数据从基准数据集存储部142内删除，并不将其用于追加学习。
在上述实施方式中，示出了基于基准数据集的学习部110的学习结果(过去的已学习模型)被置换为基于学习数据集的追加学习后的已学习模型的例子，但是，也可以设为例如在学习部110中设置在进行追加学习之前在存储器等中暂时保管过去的已学习模型的功能，将分别基于过去的已学习模型和追加学习后的已学习模型的正常产品/缺陷产品的分类的推定结果进行比较，使用能够进行更正确的外观检查的已学习模型。这种情况下例如数据组合生成部34可以从基准数据集和学习数据集中包括的图像中选择作为样品的多个产品的图像数据来生成图像的组合，使用各个已学习模型来执行样品图像的分类的推定，并采用输出了更接近人类感觉的分类(例如使作业者看着样品的图像数据来进行输入)的已学习模型。在过去的已学习模型输出接近人类感觉的分类时，用于追加学习的学习数据集不适合作为用于学习的数据，所以可以在重新研究作为学习数据集使用的图像摄影条件等之后，重新进行追加学习。
在上述实施方式中，作为本发明的一个实施方式以针对在工厂等制造出的产品来推定正常产品和缺陷产品的分类的外观检查装置1为例进行了说明，但是能够将本发明的技术应用于以下检查，即像基于产品等的三维图像的检查、通过传感器等测量到的声音、光、电流等的波形检查、成分分布的检查等这种能够通过外观进行正常/异常的判断的检查。任何情况下都能够作为分别同时输入2个正常/异常的已检查数据并进行学习/推定的机器学习装置的追加学习的技术来使用。

Claims (9)

1.一种外观检查装置，针对能够进行外观性检查的数据进行检查，其特征在于，
该外观检查装置具备：
基准数据集存储部，其能够存储过去用于学习且赋予了表示是正常还是异常的标签的数据集即基准数据集；
学习数据集存储部，其能够存储用于追加学习且赋予了表示是正常还是异常的标签的数据集即学习数据集；
数据组合生成部，其根据基准数据集以及学习数据集，生成正常的数据即第一数据和成为上述第一数据的比较对象的数据即第二数据的组合；以及
机器学习装置，其针对由上述数据组合生成部生成的上述第一数据以及上述第二数据的组合，学习上述第二数据是正常还是有异常的分类，
上述机器学习装置具备：
状态观测部，其观测上述第一数据以及上述第二数据的组合作为表示环境的当前状态的状态变量；
标签数据取得部，其取得赋予上述第二数据的标签作为标签数据；以及
学习部，其将上述状态变量与上述标签数据关联起来进行学习，
上述数据组合生成部以上述第一数据以及上述第二数据中的至少一个包括从上述学习数据集存储部选择出的数据的方式来生成各个组合。
2.一种外观检查装置，进行成为检查对象的产品的外观检查，其特征在于，
该外观检查装置具备：
基准数据集存储部，其能够存储过去用于学习且赋予了表示是正常产品还是异常产品的标签的产品图像的数据集即基准数据集；
学习数据集存储部，其能够存储用于追加学习且赋予了表示是正常产品还是异常产品的标签的产品图像的数据集即学习数据集；
数据组合生成部，其根据基准数据集以及学习数据集，生成正常产品的图像即第一图像和成为上述第一图像的比较对象的产品图像即第二图像的组合；以及
机器学习装置，其针对由上述数据组合生成部生成的上述第一图像以及上述第二图像的组合，学习与上述第二图像对应的产品是正常还是有缺陷的分类，
上述机器学习装置具备：
状态观测部，其观测上述第一图像以及上述第二图像的组合作为表示环境的当前状态的状态变量；
标签数据取得部，其取得赋予上述第二图像的标签作为标签数据；以及
学习部，其将上述状态变量与上述标签数据关联起来进行学习，
上述数据组合生成部以上述第一图像以及上述第二图像中的至少一个包括从上述学习数据集存储部选择出的数据的方式来生成各个组合。
3.根据权利要求2所述的外观检查装置，其特征在于，
上述数据组合生成部从上述学习数据集中去除与上述基准数据集重复的数据。
4.根据权利要求2所述的外观检查装置，其特征在于，
上述数据组合生成部从上述基准数据集中去除具有与上述学习数据集重复的图像的数据。
5.根据权利要求2～4中的任意一项所述的外观检查装置，其特征在于，
上述学习数据集包括根据基于过去的学习结果的分类的推定结果而赋予了标签的图像。
6.根据权利要求2～5中的任意一项所述的外观检查装置，其特征在于，
上述学习数据集包括以下图像，即在基于过去的学习结果的分类推定中，对推定出不正确的分类的图像重新赋予了正确标签的图像。
7.根据权利要求2～6中的任意一项所述的外观检查装置，其特征在于，
比较针对过去的已学习模型和追加学习后的已学习模型的分类的推定结果，采用能够进行更接近人类感觉的外观检查的已学习模型。
8.一种外观检查方法，针对能够进行外观性检查的数据进行检查，其特征在于，
该外观检查方法包括以下步骤：
根据过去用于学习且赋予了表示是正常还是异常的标签的数据集即基准数据集以及用于追加学习且赋予了表示是正常还是异常的标签的数据集即学习数据集，生成正常数据即第一数据和成为上述第一数据的比较对象的数据即第二数据的组合的步骤；
观测上述第一数据以及上述第二数据的组合作为表示环境的当前状态的状态变量的步骤；
取得赋予上述第二数据的标签作为标签数据的步骤；以及
将上述状态变量与上述标签数据关联起来进行学习的步骤，
生成上述数据的组合的步骤以上述第一数据以及上述第二数据中的至少一个包括从上述学习数据集选择出的数据的方式来生成各个组合。
9.一种外观检查方法，进行成为检查对象物的产品的外观检查，其特征在于，
该外观检查方法包括以下步骤：
根据过去用于学习且赋予了表示是正常产品还是异常产品的标签的上述产品的图像的数据集即基准数据集以及用于追加学习且赋予了表示是正常产品还是异常产品的标签的上述产品的图像的数据集即学习数据集，生成正常的上述产品的图像即第一图像和成为上述第一图像的比较对象的上述产品的图像即第二图像的组合的步骤；
观测上述第一图像以及上述第二图像的组合作为表示环境的当前状态的状态变量的步骤；
取得赋予上述第二图像的标签作为标签数据的步骤；以及
将上述状态变量与上述标签数据关联起来进行学习的步骤，
生成上述图像的组合的步骤以上述第一图像以及上述第二图像中的至少一个包括从上述学习数据集选择出的数据的方式来生成各个组合。
CN201811378900.4A 2017-11-17 2018-11-19 外观检查装置 Active CN109816624B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017222176A JP6693938B2 (ja) 2017-11-17 2017-11-17 外観検査装置
JP2017-222176 2017-11-17

Publications (2)

Publication Number Publication Date
CN109816624A true CN109816624A (zh) 2019-05-28
CN109816624B CN109816624B (zh) 2021-07-09

Family

ID=66533111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811378900.4A Active CN109816624B (zh) 2017-11-17 2018-11-19 外观检查装置

Country Status (4)

Country Link
US (1) US10997711B2 (zh)
JP (1) JP6693938B2 (zh)
CN (1) CN109816624B (zh)
DE (1) DE102018128158A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
WO2020252574A1 (en) * 2019-06-17 2020-12-24 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure
DE102019117680A1 (de) * 2019-07-01 2021-01-07 Carl Zeiss Industrielle Messtechnik Gmbh Automatisiertes segmentierungsverfahren für die qualitätsprüfung
CN113924594A (zh) * 2019-08-19 2022-01-11 Lg电子株式会社 用于产品生产线上的视觉检查的基于ai的新学习模型生成系统
WO2021033792A1 (ko) * 2019-08-19 2021-02-25 엘지전자 주식회사 Ai 기반의 사전 훈련 모델 결정 시스템 및 이를 이용한 제품 생산 라인을 위한 ai 기반의 비전 검사 관리 시스템
JP2021032115A (ja) 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用学習制御システム、車両用制御装置、および車両用学習装置
JP2021032116A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用制御装置、車両用学習システム、および車両用学習装置
JP2021032114A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用学習制御システム、車両用制御装置、および車両用学習装置
WO2021100243A1 (ja) * 2019-11-18 2021-05-27 株式会社テクムズ Ａｉ外観検査方法、その装置及びそのコンピュータ用のプログラム
JP7323177B2 (ja) * 2019-12-17 2023-08-08 株式会社 システムスクエア 検査システム、検査装置、学習装置及びプログラム
JP2022052148A (ja) * 2020-09-23 2022-04-04 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2022096379A (ja) * 2020-12-17 2022-06-29 富士通株式会社 画像出力プログラム，画像出力方法および画像出力装置
JP7101752B2 (ja) * 2020-12-23 2022-07-15 楽天グループ株式会社 情報処理システム、情報処理方法および情報処理装置
CN117121052A (zh) * 2021-04-05 2023-11-24 松下知识产权经营株式会社 图像判定装置、图像判定方法以及程序
US20230011330A1 (en) * 2021-07-09 2023-01-12 At&T Intellectual Property I, L.P. Device condition determination
CN117132174B (zh) * 2023-10-26 2024-01-30 扬宇光电(深圳)有限公司 一种应用于工业流水线质量检测的模型训练方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036925A1 (en) * 2005-11-14 2015-02-05 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
CN104950866A (zh) * 2014-03-25 2015-09-30 株式会社日立高新技术 故障原因分类装置
CN106681389A (zh) * 2015-07-31 2017-05-17 发那科株式会社 机械学习装置及方法、电动机控制装置及电动机控制系统
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963662A (en) * 1996-08-07 1999-10-05 Georgia Tech Research Corporation Inspection system and method for bond detection and validation of surface mount devices
JP4227863B2 (ja) 2003-08-04 2009-02-18 株式会社デンソー 視覚検査装置の教示装置及び教示方法
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP5874398B2 (ja) 2012-01-05 2016-03-02 オムロン株式会社 画像検査装置の検査領域設定方法
JP6076751B2 (ja) * 2013-01-22 2017-02-08 株式会社日立製作所 異常診断方法およびその装置
JP2016173615A (ja) * 2013-06-24 2016-09-29 株式会社日立ハイテクノロジーズ 計測装置
JP6246513B2 (ja) 2013-07-16 2017-12-13 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6632193B2 (ja) * 2015-01-16 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20190095946A1 (en) * 2017-09-25 2019-03-28 Get Attached, Inc. Automatically analyzing media using a machine learning model trained on user engagement information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036925A1 (en) * 2005-11-14 2015-02-05 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
CN104950866A (zh) * 2014-03-25 2015-09-30 株式会社日立高新技术 故障原因分类装置
CN106681389A (zh) * 2015-07-31 2017-05-17 发那科株式会社 机械学习装置及方法、电动机控制装置及电动机控制系统
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation

Also Published As

Publication number Publication date
JP2019095217A (ja) 2019-06-20
DE102018128158A1 (de) 2019-06-13
US20190156474A1 (en) 2019-05-23
JP6693938B2 (ja) 2020-05-13
US10997711B2 (en) 2021-05-04
CN109816624B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN109816624A (zh) 外观检查装置
Maschler et al. Deep transfer learning for industrial automation: A review and discussion of new techniques for data-driven machine learning
CN109692821A (zh) 分拣系统
CN110187672A (zh) 故障诊断装置和机器学习装置
US20130177235A1 (en) Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations
CN106826812A (zh) 机械学习器及机械学习方法、层叠芯制造装置及系统
CN110009614A (zh) 用于输出信息的方法和装置
Veček et al. On the importance of the artificial bee colony control parameter ‘Limit’
Nassehi et al. Review of machine learning technologies and artificial intelligence in modern manufacturing systems
CN109740567A (zh) 关键点定位模型训练方法、定位方法、装置及设备
CN109614830A (zh) 识别代码读取装置以及机器学习装置
CN109787958A (zh) 网络流量实时检测方法及检测终端、计算机可读存储介质
Lilhore et al. Impact of deep learning and machine learning in industry 4.0: impact of deep learning
Terziyan et al. Causality-aware convolutional neural networks for advanced image classification and generation
Tzampazaki et al. Machine Vision—Moving from Industry 4.0 to Industry 5.0
CN110163084A (zh) 操作员动作监督方法、装置及电子设备
WO2021095509A1 (ja) 推定システム、推定装置および推定方法
JP7283105B2 (ja) 分析装置および分析方法
JP2022073627A (ja) 生産情報管理システムおよび生産情報管理方法
Behera et al. GAN-based multi-task learning approach for prognostics and health management of IIoT
CN113822412A (zh) 一种图节点标注方法、装置、设备及存储介质
JP7136329B2 (ja) 異常検知装置、制御方法、及びプログラム
JP2022186422A (ja) 分類装置、分類方法、及び、分類プログラム
Sabbella et al. Artificial intelligence in 3D CAD modelling
JPWO2021100191A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant