CN116894989A - 伪不合格品数据生成方法 - Google Patents

伪不合格品数据生成方法 Download PDF

Info

Publication number
CN116894989A
CN116894989A CN202310319355.6A CN202310319355A CN116894989A CN 116894989 A CN116894989 A CN 116894989A CN 202310319355 A CN202310319355 A CN 202310319355A CN 116894989 A CN116894989 A CN 116894989A
Authority
CN
China
Prior art keywords
data
reject
defective
real
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310319355.6A
Other languages
English (en)
Inventor
轻部俊和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN116894989A publication Critical patent/CN116894989A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种伪不合格品数据生成方法。准备真实不合格品数据以及合格品数据，通过使深度生成模型学习它们，生成混合有合格品数据以及真实不合格品数据的特征的潜在变量，通过使分类模型学习潜在变量，生成被分类为合格品潜在变量和不合格品潜在变量的分类完成合格品/不合格品潜在变量，通过从分类完成合格品/不合格品潜在变量中删除合格品潜在变量，输出包含灰色潜在变量的不合格品潜在变量，通过使距离学习模型学习该不合格品潜在变量以及合格品潜在变量，删除灰色潜在变量，通过使深度生成模型学习所得到的不合格品潜在变量，生成比真实不合格品数据的数量多的伪不合格品数据。

Description

伪不合格品数据生成方法
技术领域
本发明涉及为了用于具有使用了神经网络的机器学习功能的检查装置等的学习，大量地伪生成其检查对象物的不合格品数据的伪不合格品数据生成方法。
背景技术
近年来，通过具有使用了神经网络的机器学习功能的检查装置，针对各种工业产品、部件等检查对象物，判定是正常品(合格品)还是异常品(不合格品)的验货作业的自动化技术的开发正在推进。在上述这样的检查装置中，通过读入许多被分类为合格品和不合格品的检查对象物的外观的图像数据来进行学习。并且，通过学习了分类基准的检查装置，能够将由摄像机拍摄到的新的检查对象物分类为合格品和不合格品。
如上所述，在检查装置的学习中，使用合格品以及不合格品的图像数据，为了提高检查精度，合格品以及不合格品均需要许多的图像数据。但是，在工业产品等的制造现场，一般以尽可能不产生不合格品的方式进行制造，因此虽然合格品的数量多，但不合格品的数量非常少。因此，与能够比较容易地收集的合格品的图像数据(以下称为“合格品数据”)相比，不合格品的图像数据(以下称为“不合格品数据”)的收集困难。因此，考虑伪生成不合格品数据，作为该生成方法，例如已知有专利文献1所记载的方法。
在该伪不合格品数据的生成方法中，首先，提取合格品图像与不合格品图像的差分数据。接着，设定要生成伪不合格品数据的数量(生成数)。然后，在每一个伪不合格品数据的生成时，从随机数产生部取得随机数值，使用该随机数值来决定差分数据的写入位置，将合格品图像与差分数据合成。通过将这样的合成处理反复进行生成数相应的次数，来生成所设定的生成数的伪不合格品数据。
在先技术文献
专利文献
专利文献1：日本特开2005-156334号公报
发明内容
发明所要解决的课题
在上述的现有的伪不合格品数据的生成方法中，有时会生成相互类似的不合格品数据。因此，即使大量学习那样的不合格品数据，也有可能无法充分提高检查装置的判定精度。
本发明为了解决以上那样的课题而作，其目的在于提供一种伪不合格品数据生成方法，能够通过少数的不合格品数据来高效地生成能够有助于判定精度的提高的许多的伪不合格品数据。
用于解决课题的手段
为了达成上述目的，技术方案1所涉及的发明是用于伪生成许多的检查对象物G为异常品的、检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；合格品数据准备工序，准备比真实不合格品数据多的检查对象物为正常品的、检查对象物的外观图像即合格品数据；第一学习工序，通过使给定的深度生成模型学习合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的潜在变量；第二学习工序，通过使给定的分类模型学习所生成的潜在变量，生成被分类为与合格品数据对应的潜在变量即合格品潜在变量、和与真实不合格品数据对应的潜在变量即不合格品潜在变量的分类完成合格品/不合格品潜在变量；合格品潜在变量删除工序，通过从分类完成合格品/不合格品潜在变量中删除合格品潜在变量，输出包含与具有合格品数据以及真实不合格品数据的特征的灰色区域数据对应的潜在变量即灰色潜在变量的不合格品潜在变量；第三学习工序，通过使给定的距离学习模型学习包含灰色潜在变量的不合格品潜在变量以及合格品潜在变量，删除灰色潜在变量；以及第四学习工序，通过使深度生成模型学习通过该第三学习工序而得到的不合格品潜在变量，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。
根据该结构，首先，准备多个真实不合格品数据和比其多的合格品数据(真实不合格品数据准备工序以及合格品数据准备工序)。接着，通过使给定的深度生成模型学习所准备的合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的潜在变量(第一学习工序)。接着，通过使给定的分类模型学习所生成的潜在变量，生成被分类为合格品潜在变量和不合格品潜在变量的分类完成合格品/不合格品潜在变量(第二学习工序)。接着，通过从所生成的分类完成合格品/不合格品潜在变量中删除合格品潜在变量，输出包含与上述的灰色区域数据对应的灰色潜在变量的不合格品潜在变量(合格品潜在变量删除工序)。接着，通过使给定的距离学习模型学习所输出的包含灰色潜在变量的不合格品潜在变量以及合格品潜在变量，从上述的不合格品潜在变量中删除灰色潜在变量(第三学习工序)。然后，通过使深度生成模型学习通过该第三学习工序而得到的不合格品潜在变量，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据(第四学习工序)。
如以上这样生成的伪不合格品数据保持与真实不合格品数据的相关关系，并且能够生成比所准备的真实不合格数据多的量，因此通过将这些伪不合格品数据用于具有机器学习功能的检查装置的学习，能够提高用于判定检查对象物的良好与否的检查装置的判定精度。
技术方案2所涉及的发明是用于伪生成许多的检查对象物为异常品的、检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；合格品数据准备工序，准备比真实不合格品数据多的检查对象物为正常品的、检查对象物的外观图像即合格品数据；第五学习工序，通过使给定的深度生成模型学习合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的数据作为混合数据；第六学习工序，通过使给定的分类模型学习所生成的混合数据，生成被分类为与合格品数据对应的混合数据即合格品混合数据、和与真实不合格品数据对应的混合数据即不合格品混合数据的分类完成合格品/不合格品混合数据；合格品混合数据删除工序，通过从分类完成合格品/不合格品混合数据中删除合格品混合数据，而输出包含与具有合格品数据以及真实不合格品数据的特征的灰色区域数据对应的混合数据即灰色混合数据的不合格品混合数据；第七学习工序，通过使给定的距离学习模型学习包含灰色混合数据的不合格品混合数据以及合格品数据，从而删除灰色混合数据；以及第八学习工序，通过使深度生成模型学习通过该第七学习工序而得到的不合格品混合数据，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。
根据该结构，与上述技术方案1同样，准备多个真实不合格品数据和比其多的合格品数据(真实不合格品数据准备工序以及合格品数据准备工序)。接着，通过使给定的深度生成模型学习所准备的合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的数据作为混合数据(第五学习工序)。接着，通过使给定的分类模型学习所生成的混合数据，生成被分类为合格品混合数据和不合格品混合数据的分类完成合格品/不合格品混合数据(第六学习工序)。接着，通过从所生成的分类完成合格品/不合格品混合数据中删除合格品混合数据，输出包含与上述的灰色区域数据对应的灰色混合数据的不合格品混合数据(合格品混合数据删除工序)。接着，通过使给定的距离学习模型学习所输出的包含灰色混合数据的不合格品混合数据以及合格品数据，从上述的不合格品混合数据中删除灰色混合数据(第七学习工序)。然后，通过使深度生成模型学习通过该第七学习工序而得到的不合格品混合数据，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据(第八学习工序)。
如以上这样生成的伪不合格品数据与上述技术方案1同样，保持与真实不合格品数据的相关关系，并且能够生成比真实不合格数据多的量，因此能够得到与技术方案1同样的效果。
附图说明
图1是用于说明用于将通过本发明的一个实施方式的伪不合格品数据生成方法而生成的许多的不合格品数据用于学习的检查系统的概要的图。
图2是用于说明伪不合格品数据生成装置的结构及其输入输出数据的框图。
图3是用于说明第一实施方式的伪不合格品数据生成方法的流程图。
图4是关于第一实施方式的伪不合格品数据生成方法，以图形表示伪不合格品数据生成装置的各学习模型的处理的图。
图5是用于说明第二实施方式的伪不合格品数据生成方法的流程图。
图6是关于第二实施方式的伪不合格品数据生成方法，与图4同样的图。
具体实施方式
以下，参照附图，对本发明的优选实施方式详细进行说明。图1示出了具备使用通过本发明的一个实施方式的伪不合格品数据生成方法而生成的许多的伪不合格品数据、以及许多的合格品数据进行了学习的学习模型的检查系统。该检查系统1例如设置于车辆部件的制造工厂等，通过检查车辆部件的外观来自动地判别所制造的车辆部件(例如缸体)是正常品(合格品)还是异常品(不合格品)。以下，将要检查的车辆部件称为“检查对象物”。
如图1所示，检查系统1具备：输送机2，其沿给定方向以给定速度输送检查对象物G；以及检查装置3，其在检查对象物G到达给定的检查位置时，判定该检查对象物G的良好与否。另外，虽然省略图示，但由检查装置3判定为不合格品的检查对象物G从输送机2去除，或者被输送到不合格品专用的保存场所。
检查装置3主要由计算机所构成的信息处理装置构成，具备控制部4、图像取得部5、存储部6、学习部7、输入部8、输出部9以及摄像机10。
控制部4具备CPU，控制检查装置3的上述各部5～9以及摄像机10等。图像取得部5取得由摄像机10拍摄到的检查对象物G的外观图像作为数字数据。存储部6具有ROM以及RAM，存储有在检查装置3的控制中使用的各种程序，并且存储各种数据。学习部7具有学习了用于判别检查对象物G的良好与否的基准的学习模型。输入部8具有由作业者操作的键盘、鼠标，并且构成为能够从外部输入数据、信号。输出部9具有显示检查对象物G的判定结果的显示器等显示设备。
图2以框图示出了伪不合格品数据生成装置的结构及其输入输出数据。如该图所示，该伪不合格品数据生成装置11由计算机所构成的信息处理装置构成，具备由软件构成的深度生成模型12(12A、12B)、分类模型13以及距离学习模型14。通过向该伪不合格品数据生成装置11输入许多的合格品数据以及少数的真实不合格品数据，从而输出许多的伪不合格品数据。然后，通过将许多的合格品数据以及许多的伪不合格品数据输入到检查装置3，并使学习部7学习，从而能够得到检查对象物G的良好与否的判定精度高的学习模型。
另外，上述的“合格品数据”是检查对象物G为正常品(合格品)的外观的图像数据，“不合格品数据”是检查对象物G为异常品(不合格品)的外观的图像，“真实不合格品数据”是实际拍摄到的检查对象物G的不合格品数据，“伪不合格品数据”是伪生成的检查对象物G的不合格品数据。此外，在以下的说明中，在将合格品数据根据表示其是合格品的标签标注的有无来进行区别的情况下，将被标签标注的合格品数据称为“合格品教师数据”，将未被标签标注的合格品数据称为“合格品非教师数据”。
图3对于本发明的第一实施方式的伪不合格品数据生成方法，示出了其过程，图4以图形示出了伪不合格品数据生成装置11的各学习模型12～14的处理。另外，在图4中，将合格品数据以及与其对应的数据用“○”表示，将不合格品数据以及与其对应的数据用“□”表示，将具有合格品数据以及不合格品数据的特征的灰色区域数据以及与其对应的数据用“▲”表示。
如图3所示，在本实施方式的伪不合格品数据的生成方法中，首先，在步骤1(图示为“S1”。以下相同)中，准备许多的合格品数据和少数的真实不合格品数据(合格品数据准备工序、真实不合格品数据准备工序)。另外，这些合格品数据以及真实不合格品数据的各数据均是具有给定的像素数、许多特征量的高维的数据。此外，在上述的合格品数据中，均包含有合格品教师数据以及合格品非教师数据。
接着，执行深度生成模型12(12A)的学习(步骤2)。具体而言，作为该深度生成模型12A，例如使用变分自动编码器(VAE：Variational Autoencoder)等，使深度生成模型12A学习在步骤1中准备的许多的合格品数据以及少数的真实不合格品数据(第一学习工序)。由此，生成许多(例如2000个(给定数量)以上)混合有合格品数据以及不合格品数据这两者的特征的低维(例如二维)的潜在变量。
接着，执行分类模型13的学习(步骤3)。具体而言，作为该分类模型13，例如使用SVC(Support Vector Classifier：支持向量分类器)，将在步骤2中生成的许多的潜在变量分为与合格品数据对应的潜在变量(以下称为“合格品潜在变量”)、和与不合格品数据对应的潜在变量(以下称为“不合格品潜在变量”)这2类(第二学习工序)。此外，在该分类中，与具有合格品数据以及不合格品数据的特征的灰色区域数据对应的潜在变量(以下称为“灰色潜在变量”)被分类到不合格品潜在变量侧。另外，上述的SVC通过与合格品教师数据对应的潜在变量和与不合格品数据对应的潜在变量而预先进行了学习。
接着，在步骤4中，删除由上述的分类模型13分为2类的潜在变量中的合格品潜在变量(合格品潜在变量删除工序)。由此，输出包含灰色潜在变量的许多的不合格品潜在变量。
接着，执行距离学习模型14的学习(步骤5)。具体而言，将在步骤4中输出的、包含灰色潜在变量的许多的不合格品潜在变量、以及与合格品教师数据对应的潜在变量(以下称为“合格品教师潜在变量”)输入到距离学习模型14。在该情况下，使距离学习模型14仅学习合格品教师潜在变量，输入许多的不合格品潜在变量作为预测数据，测量与学习数据的马氏距离。
接着，从上述的许多的不合格品潜在变量中仅删除与灰色区域相当的近距离数据(步骤6)。由此，得到没有灰色潜在变量的许多的不合格品潜在变量。另外，上述的步骤5以及6相当于本发明的第三学习工序。
然后，执行深度生成模型12(12B)的学习(步骤7)。具体而言，向与上述步骤2同样的VEA的解码器输入在步骤6中得到的许多的不合格品潜在变量(第四学习工序)。由此，生成无灰色区域数据且高维的许多(例如1000个以上)的伪不合格品数据。
如以上这样生成的许多的伪不合格品数据保持与真实不合格品数据的相关关系，因此通过如前述的图2所示，将所生成的许多的伪不合格品数据和许多的合格品教师数据输入到检查装置3，并使学习部7学习，能够得到检查对象物G的良好与否的判定精度高的学习模型。其结果，在检查系统1中，能够高精度地判定检查对象物G的良好与否。
接下来参照图5以及图6，对本发明的第二实施方式的伪不合格品数据的生成方法进行说明。如图5所示，在本实施方式的伪不合格品数据的生成方法中，首先，在步骤11中，与上述第一实施方式的步骤1同样，准备许多的合格品数据、和少数的真实不合格品数据(合格品数据准备工序、真实不合格品数据准备工序)。
接着，执行深度生成模型12(12A)的学习(步骤12)。具体而言，作为该深度生成模型12A，与上述第一实施方式同样，使用VAE等，使深度生成模型12A学习在步骤11中准备的合格品数据中的许多的合格品非教师数据以及少数的真实不合格品数据(第五学习工序)。由此，生成许多(例如2000个(给定数量)以上)混合有合格品数据以及不合格品数据这两者的特征的混合数据。
接着，执行分类模型13的学习(步骤13)。具体而言，作为该分类模型13，例如使用无教师聚类模型，将在步骤12中生成的许多的混合数据一对一地聚类为与合格品数据对应的合格品混合数据、和与不合格品数据对应的不合格品混合数据(第六学习工序)。
接着，在步骤14中，从由上述的分类模型13分为2类的分类完成合格品/不合格品混合数据中，删除合格品混合数据(合格品混合数据删除工序)。由此，输出包含与灰色区域数据对应的混合数据即灰色混合数据的不合格品混合数据。
接着，执行距离学习模型14的学习(步骤15)。具体而言，将在步骤14中输出的、包含灰色混合数据的许多的不合格品混合数据、以及许多的合格品教师数据输入到距离学习模型14。在该情况下，使距离学习模型14仅学习合格品教师数据，输入许多的不合格品混合数据作为预测数据，测量与学习数据的马氏距离。
接着，从上述的许多的不合格品混合数据中仅删除与灰色区域相当的近距离数据(步骤16)。由此，得到没有灰色混合数据的许多的不合格品混合数据。另外，上述的步骤15以及16相当于本发明的第七学习工序。
然后，执行深度生成模型12(12B)的学习(步骤17)。具体而言，向与上述步骤12同样的VEA的解码器输入在步骤16中得到的许多的不合格品混合数据(第八学习工序)。由此，生成无灰色区域数据且高维的许多的伪不合格品数据。
如以上这样生成的许多的伪不合格品数据保持与真实不合格品数据的相关关系，因此能够得到与上述第一实施方式同样的效果，即，通过使检查装置3的学习部7学习所生成的许多的伪不合格品数据和许多的合格品教师数据，能够得到检查对象物G的良好与否的判定精度高的学习模型，其结果，在检查系统1中，能够高精度地判定检查对象物G的良好与否。
另外，本发明并不限定于所说明的上述实施方式，能够以各种方式实施。例如，在实施方式中，作为深度生成模型而使用VAE，作为分类模型而使用了SVC、无教师聚类模型，但作为这些深度生成模型、分类模型，也可以采用其他算法的模型。
此外，在实施方式中示出的检查系统1、伪不合格品数据生成装置11的细微部分的结构等仅为例示，在本发明的主旨的范围内能够适当变更。
符号说明
1检查系统
2输送机
3检查装置
4控制部
5图像取得部
6存储部
7学习部
8输入部
9输出部
10摄像机
11伪不合格品数据生成装置
12深度生成模型
13分类模型
14距离学习模型
G检查对象物。

Claims (2)

1.一种伪不合格品数据生成方法，是用于伪生成许多的检查对象物为异常品的、该检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：
真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；
合格品数据准备工序，准备比所述真实不合格品数据多的检查对象物为正常品的、该检查对象物的外观图像即合格品数据；
第一学习工序，通过使给定的深度生成模型学习所述合格品数据以及所述真实不合格品数据，生成给定数量以上的混合有所述合格品数据以及所述真实不合格品数据的特征的潜在变量；
第二学习工序，通过使给定的分类模型学习所生成的所述潜在变量，生成被分类为与所述合格品数据对应的潜在变量即合格品潜在变量、和与所述真实不合格品数据对应的潜在变量即不合格品潜在变量的分类完成合格品/不合格品潜在变量；
合格品潜在变量删除工序，通过从所述分类完成合格品/不合格品潜在变量中删除所述合格品潜在变量，输出包含与具有所述合格品数据以及所述真实不合格品数据的特征的灰色区域数据对应的潜在变量即灰色潜在变量的不合格品潜在变量；
第三学习工序，通过使给定的距离学习模型学习包含所述灰色潜在变量的不合格品潜在变量以及所述合格品潜在变量，删除所述灰色潜在变量；以及
第四学习工序，通过使所述深度生成模型学习通过该第三学习工序而得到的所述不合格品潜在变量，生成比所述真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。
2.一种伪不合格品数据生成方法，是用于伪生成许多的检查对象物为异常品的、该检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：
真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；
合格品数据准备工序，准备比所述真实不合格品数据多的检查对象物为正常品的、该检查对象物的外观图像即合格品数据；
第五学习工序，通过使给定的深度生成模型学习所述合格品数据以及所述真实不合格品数据，生成给定数量以上的混合有所述合格品数据以及所述真实不合格品数据的特征的数据作为混合数据；
第六学习工序，通过使给定的分类模型学习所生成的所述混合数据，生成被分类为与所述合格品数据对应的混合数据即合格品混合数据、和与所述真实不合格品数据对应的混合数据即不合格品混合数据的分类完成合格品/不合格品混合数据；
合格品混合数据删除工序，通过从所述分类完成合格品/不合格品混合数据中删除所述合格品混合数据，输出包含与具有所述合格品数据以及所述真实不合格品数据的特征的灰色区域数据对应的混合数据即灰色混合数据的不合格品混合数据；
第七学习工序，通过使给定的距离学习模型学习包含所述灰色混合数据的不合格品混合数据以及所述合格品数据，删除所述灰色混合数据；以及
第八学习工序，通过使所述深度生成模型学习通过该第七学习工序而得到的所述不合格品混合数据，生成比所述真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。
CN202310319355.6A 2022-03-30 2023-03-29 伪不合格品数据生成方法 Pending CN116894989A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022057222A JP7354338B1 (ja) 2022-03-30 2022-03-30 疑似不良品データ生成方法
JP2022-057222 2022-03-30

Publications (1)

Publication Number Publication Date
CN116894989A true CN116894989A (zh) 2023-10-17

Family

ID=88194088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310319355.6A Pending CN116894989A (zh) 2022-03-30 2023-03-29 伪不合格品数据生成方法

Country Status (3)

Country Link
US (1) US11966219B2 (zh)
JP (1) JP7354338B1 (zh)
CN (1) CN116894989A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP5218084B2 (ja) * 2009-01-19 2013-06-26 パナソニック株式会社 検査方法
CN109416328A (zh) * 2017-02-22 2019-03-01 株式会社悠心 包装体的图像检查系统
JP7074460B2 (ja) * 2017-11-10 2022-05-24 アズビル株式会社 画像検査装置および方法
CN114096989A (zh) 2019-08-19 2022-02-25 富士通株式会社 信息处理装置、信息处理程序和信息处理方法

Also Published As

Publication number Publication date
US11966219B2 (en) 2024-04-23
JP7354338B1 (ja) 2023-10-02
US20230315076A1 (en) 2023-10-05
JP2023148927A (ja) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
KR102422111B1 (ko) 반도체 시편의 검사에 사용가능한 훈련 세트의 생성
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
US7602962B2 (en) Method of classifying defects using multiple inspection machines
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP5624660B2 (ja) 検査レシピ作成システムおよびその方法
CN111512324A (zh) 半导体样品的基于深度学习的检查的方法及其系统
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
CN113066044A (zh) 基于机器学习的样本缺陷检测
US12007335B2 (en) Automatic optimization of an examination recipe
JP2004047939A (ja) 欠陥分類器の生成方法および欠陥自動分類方法
CN112088387A (zh) 检测成像物品缺陷的系统和方法
CN113763312A (zh) 使用弱标记检测半导体试样中的缺陷
JP7254921B2 (ja) 半導体試料の欠陥の分類
CN113870170B (zh) 生成可用于检查半导体样本的训练集
US20200257937A1 (en) Information processing system and information processing method
CN116894989A (zh) 伪不合格品数据生成方法
US20230316492A1 (en) Teacher data generating method and generating device
JP4155497B2 (ja) 欠陥分類方法、プログラムおよび欠陥分類装置
CN110400389B (zh) 获得同类型组件中重要特征的方法和对其组件分类的方法
CN117391184A (zh) 教师数据生成方法以及生成装置
CN116894956A (zh) 特征量选择方法以及装置
CN116894965A (zh) 教师数据收集方法以及收集装置
CN116894809A (zh) 伪不合格品数据生成装置
TWM631676U (zh) 具人工智慧模組進行檢測緊固件的設備

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination