CN114096989A - 信息处理装置、信息处理程序和信息处理方法 - Google Patents

信息处理装置、信息处理程序和信息处理方法 Download PDF

Info

Publication number
CN114096989A
CN114096989A CN201980098300.9A CN201980098300A CN114096989A CN 114096989 A CN114096989 A CN 114096989A CN 201980098300 A CN201980098300 A CN 201980098300A CN 114096989 A CN114096989 A CN 114096989A
Authority
CN
China
Prior art keywords
image
images
pair
pseudo
defective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980098300.9A
Other languages
English (en)
Inventor
布施贵史
富田顺二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN114096989A publication Critical patent/CN114096989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供一种信息处理装置，其能够取得第2检查程序，该第2检查程序能够判定让进行了机器学习以便能够判定合格/不合格图像的合格与否的第1检查程序来判定未知图像的合格与否是否适当。信息处理装置针对疑似成对图像，基于第1检查程序进行合格与否的判定的结果，针对每个图像对，根据第1检查程序的合格与否判定的正确与否对疑似成对图像赋予等级，其中所述疑似成对图像包含对包含由机器学习完毕的第1检查程序正确地判定了合格与否的合格及不合格图像的已判定成对图像进行疑似图像生成处理而得到的合格及不合格图像，使数学模型进行将已判定成对图像和规定数量以上的赋予了等级的疑似成对图像作为输入的第2机器学习，使数学模型学习为进行如下处理：当输入了未知成对图像的合格及不合格图像时，在未知成对图像为规定等级以上的情况下，判定为让第1检查程序判定该未知成对图像的合格与否是适当的，在小于规定等级的情况下，判定为是不适当的。

Description

信息处理装置、信息处理程序和信息处理方法
技术领域
本发明涉及信息处理装置、信息处理程序和信息处理方法。
背景技术
以往，存在一种学习装置，其具备：取得单元，其取得多个拍到同一对象的图像的图像对和拍到不同对象的图像的图像对；以及设定单元，其对由所述取得单元取得的所述图像对中的一个图像和另一个图像设定特征点。
所述学习装置还包括：选择单元，其选择多个对所述一个图像和所述另一个图像中的相同位置设置的规定的特征点，并且针对每个所述规定的特征点选择用于提取所述规定的特征点的特征的特征提取过滤器；以及提取单元，其使用由所述选择单元选择的多个所述特征提取过滤器来提取所述一个图像和所述另一个图像中的每一个的所述规定的特征点的特征。
还具备：计算单元，其求出由上述提取单元从上述一个图像提取出的特征与从上述另一个图像提取出的特征的相关性；以及学习单元，其学习同一对象识别器，所述同一对象识别器用于基于由上述计算单元求出的上述相关性、和表示在上述一个图像和上述另一个图像中拍到的对象是否为同一对象的标签信息，识别在两张图像中拍到的对象是否相同(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2012-083938号公报
发明内容
发明所要解决的课题
然而，以往的学习装置在存在进行机器学习以便能够判定批量产品中的合格品(检查中的合格品)的图像(合格图像)和不合格品(检查中的不合格品)的图像(不合格图像)的合格与否的检查程序(第1检查程序)的情况下，对与进行了学习的批量产品相同种类的检查对象判定合格与否，并不判定让第1检查程序来判定未知的图像的合格与否是否适当。
例如，为了进行机器学习以便对未知的图像能够判定合格图像和不合格图像的合格与否的得到基于第1检查程序的合格与否的判定结果，在花费时间的情况下、或者准备作业等花费工夫的情况下等，如果在使第1检查程序进行判定之前，能够判定让第1检查程序来判定尚未由第1检查程序判定过合格与否的未知的图像的合格与否是否适当，则能够有效地利用第1检查程序。
因此，本发明的目的在于提供一种信息处理装置、信息处理程序以及信息处理方法，能够得到第2检查程序，所述第2检查程序能够判定让进行了机器学习以便能够判定批量产品的合格图像和不合格图像的合格与否的第1检查程序来判定未知的图像的合格与否是否适当。
用于解决课题的手段
本发明的实施方式的信息处理装置包括：第1图像取得部，其取得多个已判定成对图像，所述多个已判定成对图像包含由第1机器学习完毕的第1检查程序正确地判定了合格与否的合格图像以及不合格图像；第1图像生成部，其生成第1疑似成对图像，所述第1疑似成对图像包含对所述已判定成对图像的合格图像以及不合格图像进行了第1疑似图像生成处理而得到的合格图像以及不合格图像；判定结果取得部，其取得判定结果，所述判定结果是所述第1检查程序针对所述第1疑似成对图像的合格图像以及不合格图像判定合格与否而得到的结果；等级赋予部，其根据所述判定结果，针对由所述第1检查程序判定了合格与否的第1疑似成对图像的每一对，按照所述判定的正确与否进行等级赋予；数学模型，所述数学模型由第2检查程序来表示，所述第2检查程序在输入了成对图像的合格图像以及不合格图像时，判定让所述第1检查程序来判定该成对图像的合格图像以及不合格图像的合格与否是否适当；以及学习处理部，其用于使所述数学模型执行第2机器学习，所述第2机器学习以所述已判定成对图像和被赋予等级的所述第1疑似成对图像作为输入，所述第1图像生成部进行所述第1疑似成对图像的生成，直到被赋予了所述等级的所述第1疑似成对图像的数量达到第1规定数量以上为止，所述学习处理部通过使所述数学模型进行以所述已判定成对图像和所述第1规定数量以上的被赋予等级的所述第1疑似成对图像作为输入的所述第2机器学习，从而使所述数学模型学习为按如下方式进行处理：当将未知的成对图像的合格图像及不合格图像输入至所述数学模型时，在该未知的成对图像的合格图像及不合格图像的等级为规定的等级以上的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是适当的，在该未知的成对图像的合格图像及不合格图像的等级小于所述规定的等级的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是不适当的。
发明效果
能够提供一种信息处理装置、信息处理程序以及信息处理方法，能够得到第2检查程序，所述第2检查程序能够判定让进行了机器学习以便能够判定批量产品的合格图像和不合格图像的合格与否的第1检查程序来判定未知的图像的合格与否是否适当。
附图说明
图1是表示包含实施方式的检查程序生成装置100的系统1的图。
图2是实现检查程序生成装置100的计算机系统20的立体图。
图3是说明计算机系统20的主体部21内的主要部分的结构的框图。
图4是表示检查程序生成装置100的结构的图。
图5是表示等级1-6的成对图像的一例的图。
图6是表示检查程序生成装置100处理的图像识别数据的图。
图7是表示与检查部11的图像的评价和DNN119的学习用以及评价用的图像相关的条件的图。
图8是表示检查部11的疑似成对图像1的合格图像和不合格图像的判定结果的分布的图。
图9是表示检查部11的疑似成对图像2的合格图像和不合格图像的判定结果的分布的图。
图10是表示检查程序生成装置100的控制装置110所实施的处理的流程图的图。
图11是表示检查程序生成装置100的控制装置110所实施的处理的流程图的图。
具体实施方式
以下，对应用了本发明的信息处理装置、信息处理程序以及信息处理方法的实施方式进行说明。
<实施方式>
图1是表示包含实施方式的检查程序生成装置100的系统1的图。系统1包括检查装置10和检查程序生成装置100。检查装置10与检查程序生成装置100通过网络50以能够进行数据通信的方式连接。网络50是LAN(局域网)、WLAN(无线LAN)、WAN(广域网)等。
检查装置10包括检查部11和存储器12。检查部11表示通过在检查装置10中安装检查程序而实现的功能，存储器12功能性地表示检查装置10的RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)和/或HDD(Hard Disk Drive：硬盘驱动器)等。
实现检查部11的检查程序是已进行第1机器学习的第1检查程序的一例，使实现检查装置10的计算机系统的一部分作为检查部11发挥功能。
作为一例，实现检查部11的检查程序是如下的机器学习完毕的程序：其使用表示针对同一种类的量产的产品(批量产品)的合格品(良品)的真实图像与不合格品(不良品)的真实图像的成对图像的教师数据，进行了机器学习以便能够准确地判定合格品与不合格品。
在此，能够正确地判定合格品和不合格品是指能够以规定的概率以上的概率来判定合格品和不合格品(能够判定合格与否)，规定的概率作为一例为95％。
另外，合格品是指人对规定的批量产品进行检查且检查合格的批量产品，不合格品是指人对规定的批量产品进行检查且检查不合格的批量产品。
另外，真实图像是通过向被摄体照射光并利用由被摄体反射的光而得到的图像，典型的是通过照相机等拍摄被摄体而得到的照片图像。即，合格品的真实图像是关于检查合格的合格品的真实图像，不合格品的真实图像是关于检查不合格的批量产品的真实图像。
另外，合格品的真实图像和不合格品的真实图像是已知是合格品以及不合格品中的哪一个的正确答案的合格品和不合格品的真实图像，因此是能够作为表示合格品的真实图像和不合格品的真实图像的成对图像的教师数据来利用的数据。
另外，检查程序生成装置100通过对合格品的真实图像和不合格品的真实图像进行疑似图像生成处理，生成疑似的合格品的图像和不合格品的图像。
所谓疑似，是指非常相似，在一眼看上去的程度下不容易判别。由批量产品的个体差异引起的形状的差异或位置的差异等落在疑似的范围。另外，疑似图像生成处理是生成与合格品的真实图像以及不合格品的真实图像非常相似的疑似的合格品的图像和不合格品的图像的处理。能够通过疑似图像生成处理中的参数等来调整疑似的合格品的图像以及不合格品的图像与合格品的真实图像以及不合格品的真实图像的相似度。
以下，对合格品的真实图像和不合格品的真实图像、疑似的合格品的图像和不合格品的图像进行1～6的等级赋予。
另外，以下，等级1的合格图像以及不合格图像分别是合格品的真实图像以及不合格品的真实图像。等级1是等级1～6中的最高级。
另外，对疑似的合格品的图像及不合格品的图像进行2～6的分级。等级2是从最高位起第2个等级，等级6是最低级。另外，关于等级的含义等在后面叙述。
检查部11使用表示关于如上述那样量产的同一种类的规定的批量产品的合格品的真实图像与不合格品的真实图像的成对图像的教师数据来进行机器学习，但在检查部11判定合格与否的检查中，伴随着初步准备等各种处理，因此需要比较多的时间。另外，作为规定的批量产品，从各种交易对象等带入各种完成度的产品，由检查部11进行合格与否的判定。
因此，在检查部11进行检查之前，检查程序生成装置100生成判定是否适合于检查部11进行的检查的事前检查程序，通过事前检查程序判定适当与否。
图2是实现检查程序生成装置100的计算机系统20的立体图。图2所示的计算机系统20包括主体部21、显示器22、键盘23、鼠标24以及通信模块25。
主体部21内置有CPU(Central Processing Unit：中央运算装置)、HDD(Hard DiskDrive：硬盘驱动器)以及盘驱动器等。显示器22根据来自主体部21的指示在画面22A上显示处理结果等。显示器22例如可以是液晶监视器。键盘23是用于向计算机系统20输入各种信息的输入部。鼠标24是指定显示器22的画面22A上的任意位置的输入部。通信模块25通过无线通信与检查装置10进行通信。
使计算机系统20具有作为检查程序生成装置100的功能的检查程序生成程序是信息处理程序的一例，存储在盘27等可移动型记录介质中，或者使用通信模块25等通信装置从其他计算机系统的记录介质26下载，输入到计算机系统20而被编译。
使计算机系统20具有作为检查程序生成装置100的功能的检查程序生成程序使计算机系统20作为检查程序生成装置100进行动作。该检查程序生成程序例如也可以保存在盘27等计算机可读取的记录介质中。计算机可读取的记录介质不限于盘27、IC卡存储器、软盘(注册商标)等磁盘、光磁盘、CD-ROM、USB(Universal Serial Bus：通用串行总线)存储器等可移动型记录介质。计算机可读取的记录介质包括经由通信模块25或LAN等通信装置连接的计算机系统可访问的各种记录介质。
图3是说明计算机系统20的主体部21内的主要部分的结构的框图。主体部21包括通过总线30连接的CPU31、包含RAM(Random Access Memory：随机存取存储器)或ROM(ReadOnly Memory：只读存储器)等的存储器部32、盘27用的盘驱动器33以及硬盘驱动器(HDD)34。
此外，计算机系统20并不限定于图2以及图3所示的结构，也可以附加各种公知的要素，或者也可以代替地使用。
图4是表示检查程序生成装置100的结构的图。检查程序生成装置100包括控制装置110和通信部130。
控制装置110具有主控制部111、图像取得部112、图像生成部113、图像取得部114、图像生成部115、判定结果取得部116、等级赋予部117、学习处理部118、DNN119(DeepNeural Network：深度神经网络)、判定结果取得部120以及存储器121。
主控制部111、图像取得部112、图像生成部113、图像取得部114、图像生成部115、判定结果取得部116、等级赋予部117、学习处理部118、DNN119、判定结果取得部120将控制装置110执行的程序的功能(function)表示为功能块。另外，存储器121功能性地表示检查程序生成装置100的存储器部32以及HDD34(参照图3)。
在此，作为前提条件，存在包含检查装置10(参照图1)的检查部11正确地判定了合格与否的合格图像以及不合格图像的多个已判定成对图像，并存储于检查装置10的存储器12中。已判定成对图像是等级1的成对图像，已判定成对图像的合格图像以及不合格图像是等级1的合格图像以及不合格图像。
主控制部111是对控制装置110的处理进行统一的处理部，执行图像取得部112、图像生成部113、图像取得部114、图像生成部115、判定结果取得部116、等级赋予部117、学习处理部118、DNN119、判定结果取得部120进行的处理以外的处理。
图像取得部112是第1图像取得部的一例，取得包含由检查装置10(参照图1)的检查部11正确地判定了合格与否的合格图像以及不合格图像的多个已判定成对图像。多个已判定成对图像的图像数(成对数)例如是40对(40个合格图像以及40个不合格图像)。
图像生成部113是第2图像生成部的一例，对多个已判定成对图像的合格图像以及不合格图像进行疑似图像生成处理，生成多个疑似成对图像1，所述多个疑似成对图像1包含进行了疑似图像生成处理的合格图像以及不合格图像。疑似成对图像1是第2疑似成对图像的一例。
图像生成部113进行的疑似图像生成处理是第2疑似图像生成处理的一例，例如进行利用了变分自动编码器(Variational Auto Encoder(VAE)法和GAN(GenerativeAdverial Network：生成对抗网络)的2阶段的处理。
图像生成部113对已判定成对图像的合格图像及不合格图像进行基于变分自动编码法的图像处理，使GAN学习通过该图像处理得到的合格图像及不合格图像并进行图像处理，由此生成疑似成对图像1。
关于图像生成部113进行的疑似图像生成处理，由于针对已判定成对图像的合格图像以及不合格图像的变更比较少，所以与已判定成对图像的合格图像以及不合格图像非常相似，但严格来讲不同。
这样，图像生成部113进行的疑似图像生成处理是生成相对于已判定成对图像的图像的变更程度比后述的图像生成部115进行的疑似图像生成处理的变更程度低的疑似图像的处理。因此，与由图像生成部115生成的疑似成对图像2相比，由图像生成部113生成的疑似成对图像1是更类似于已判定成对图像的图像。
图像生成部113生成的疑似成对图像1是等级2的成对图像，疑似成对图像1的合格图像以及不合格图像是等级2的合格图像以及不合格图像。
图像取得部114是第2图像取得部的一例，使检查装置10的检查部11对疑似成对图像1的合格图像以及不合格图像判定合格与否，取得正确地判定了合格与否的疑似成对图像1。此外，图像取得部114不取得未由检查装置10的检查部11正确地判定合格与否的疑似成对图像1的合格图像以及不合格图像而将其废弃。
图像生成部115是第1图像生成部的一例，生成疑似成对图像2，所述疑似成对图像2包含对多个已判定成对图像的合格图像以及不合格图像进行了第1疑似图像生成处理的合格图像以及不合格图像。疑似成对图像2是第1疑似成对图像的一例。
图像生成部115进行的疑似图像生成处理是第1疑似图像生成处理的一例，作为一例，与图像生成部113同样地进行利用了变分自动编码法和GAN的2阶段的处理。
图像生成部115对已判定成对图像的合格图像及不合格图像进行基于变分自动编码法的图像处理，使GAN学习通过该图像处理得到的合格图像及不合格图像并进行图像处理，由此生成疑似成对图像2。
这样，图像生成部115进行的疑似图像生成处理是生成相对于已判定成对图像的图像的变更程度比由图像生成部113进行的疑似图像生成处理的变更程度高的疑似图像的处理。因此，由图像生成部115生成的疑似成对图像2是与由图像生成部113生成的疑似成对图像1相比与已判定成对图像更不相似(变更程度高)的图像。这是因为，作为一个例子，变分自动编码法中的参数的值与图像生成部113进行的处理不同。
由图像生成部115生成的疑似成对图像2的合格图像及不合格图像由检查装置10的检查部11判定合格与否。
另外，包括由检查装置10的检查部11判定了合格与否的合格图像以及不合格图像的疑似成对图像2由等级赋予部117赋予等级，分类为等级3～6中的任一个。等级3～6的疑似成对图像2所包含的合格图像以及不合格图像分别是等级3～6的合格图像以及不合格图像。
判定结果取得部116是第1判定结果取得部的一例，对于由图像生成部115生成的疑似成对图像2的合格图像以及不合格图像，使检查装置10的检查部11判定合格与否，取得合格与否的判定结果。
等级赋予部117基于检查装置10的检查部11对由图像生成部115生成的疑似成对图像2的合格图像及不合格图像判定合格与否的判定结果，根据判定的正确与否来进行等级赋予。对被判定了合格与否的疑似成对图像2的每一对进行等级赋予。等级赋予部117根据判定的正确与否，将疑似成对图像2的合格图像以及不合格图像赋予等级为等级3～6中的任意一个。
另外，对于等级1、2的成对图像和合格图像以及不合格图像，不进行等级附加部117的等级附加，而作为等级1、2来处理。
当疑似成对图像2的合格图像和不合格图像双方被正确地判定时，等级赋予部117将图像分类为等级3(从上位起的第3等级)。
另外，在疑似成对图像2的合格图像被误判定为不合格图像、不合格图像被正确地判定为不合格图像的情况下，等级赋予部117将其分类为等级4(从上位起第4个等级)。
另外，在疑似成对图像2的合格图像被正确地判定为合格图像、不合格图像被误判定为合格图像的情况下，等级赋予部117将其分类为等级5(从上位起第5个等级)。
另外，在疑似成对图像2的合格图像被误判定为不合格图像、不合格图像被误判定为合格图像的情况下，等级赋予部117将其分类为等级6(最下位的等级)。等级6是疑似成对图像2的合格图像以及不合格图像双方被误判定的情况。
等级3～6中的等级4～6是由检查装置10的检查部11误判定了疑似成对图像2的合格图像或不合格图像的合格与否的情况下的等级。
学习处理部118通过使DNN119进行使用了等级1的已判定成对图像、等级2的疑似成对图像1、以及等级3～6的疑似成对图像2的机器学习，来进行DNN119的参数的最佳化，以提高DNN119的判定精度。学习处理部118使DNN119进行的机器学习是第2机器学习的一例。
学习处理部118在使DNN119进行机器学习时，每次使用规定数量的各等级的图像。规定数量也可以按每个等级而不同。等级2的疑似成对图像1的规定数量是第2规定数量的一例，并且等级3～6的每个等级的疑似成对图像2的规定数量是第1规定数量的一例。
此外，等级6的疑似成对图像2的规定数量是第3规定数量的一例，并且等级4或5的疑似成对图像2的规定数量是第4规定数量的一例。等级3的疑似成对图像2的规定数量是第5规定数量的一例。
DNN119是深层神经网络(Deep Neural Network：DNN)。DNN119实现了由事前检查程序表示的数学模型，当输入了成对图像的合格图像及不合格图像时，该事前检查程序判定让检查部11来判定成对图像的合格图像及不合格图像的合格与否是否适当。事前检查程序是第2检查程序的一例。事先检查程序是事先判定是否适合让检查部11来判定未知的成对图像的合格图像以及不合格图像的合格与否的程序。未知的成对图像是包含未由检查部11进行过合格与否的判定的合格图像以及不合格图像的图像对。
DNN119进行使用了由学习处理部118输入的等级1的已判定成对图像、等级2的疑似成对图像1、以及等级3～6的疑似成对图像2的机器学习。其结果，DNN119的参数被最佳化，DNN119成为能够通过事前检查程序以约90％的高精度判定是否适合于检查部11进行的检查的状态。
DNN119在结束机器学习而使事前检查程序最佳化的状态下，当读入了未知的成对图像的合格图像以及不合格图像(输入未知的成对图像的合格图像以及不合格图像)时，以大约90％的高精度判定是否为适合检查部11进行的检查的成对图像(是否为适当的成对图像)、或者是否为不适合检查部11进行的检查的成对图像(是否为不适当的成对图像)，并输出判定结果。
所谓适合于检查部11进行的检查的成对图像，表示是检查部11能够进行判定为合格或判定为不合格的成对图像。另外，不适合于检查部11进行的检查的成对图像表示检查部11难以进行判定为合格或判定为不合格的成对图像。
具体而言，当输入了未知的成对图像的合格图像以及不合格图像时，DNN119通过判定未知的成对图像的合格图像以及不合格图像相当于等级1～6中的哪一个，来判定是否是适合于检查部11进行的检查的成对图像。
在此，作为一例，DNN119在所输入的未知的成对图像的合格图像以及不合格图像相当于等级1～5时，判定为是适合于检查部11进行的检查的成对图像，在所输入的未知的成对图像的合格图像以及不合格图像相当于等级6时，判定为是不适合检查部11进行的检查的成对图像。
检查部11判定未知的成对图像的合格图像及不合格图像的合格与否时的精度有限，另外，检查部11从输入未知的成对图像到进行合格与否的判定为止，在初步准备等过程中花费时间。由于存在这样的情况，因此为了通过在DNN119中事先判定是否为适当的成对图像来实现检查装置10以及检查部11的运用的高效化，检查程序生成装置100进行DNN119的参数的最佳化。检查程序生成装置100通过进行DNN119的参数的最佳化，生成最佳化后的状态的事前检查程序。
判定结果取得部120是第2判定结果取得部的一例，取得DNN119输出的判定结果。更具体而言，判定结果取得部120通过生成了事先检查程序的DNN119，取得判定了使检查部11判定未知的成对图像的合格图像以及不合格图像的合格与否是否适当的判定结果。
存储器121存储控制装置110进行上述那样的处理所需的数据以及程序等。该程序包括使计算机系统20(参照图2)具有作为检查程序生成装置100的功能的检查程序生成程序。
通信部130经由网络50与检查装置10进行通信。通信部130对应于图2的通信模块25。
图5是表示等级1～6的成对图像的一例的图。各等级的成对图像中左侧为合格图像，右侧为不合格图像。各成对图像各包含1个合格图像及不合格图像。另外，为了区别合格图像和不合格图像，作为一例，对各图像设定标记即可。将合格图像的标记设定为“1”，将不合格图像的标记设定为“0”即可。
图5所示的等级1～6的成对图像是将实际的等级1～6的成对图像2值化而变形的图像。因此，在图5中，等级2的疑似成对图像1和等级3～6的各等级的疑似成对图像相对于等级1的成对图像(已判定成对图像)的相似程度变低。
作为一例而示出的等级1～6的成对图像是形成于布线基板的布线图案的图像。在各图像的下方，示出检查装置10的检查部11的合格与否的判定结果。在此，将检查装置10的检查部11的判定结果表示为针对各图像的判定为合格或判定为不合格。表示检查部11对各图像的合格与否的判定结果的数据与用于区别合格图像和不合格图像的标记一起，与各图像的ID(Identifier：标识符)建立关联。关于识别这样的图像的数据，使用图6在后面叙述。
如上所述，等级1的合格图像和不合格图像是合格品的真实图像和不合格品的真实图像，是已判定成对图像的合格图像和不合格图像。因此，如图5所示，等级1的合格图像表示清晰的布线图案，不合格图像表示缺少大约左半部分的布线图案。
检查装置10的检查部11对等级1的合格图像进行判定为合格，对等级1的不合格图像进行判定为不合格。即，检查装置10的检查部11对等级1的合格图像和不合格图像都正确地进行判定。
另外，图5所示的等级2的合格图像和不合格图像分别是对等级1的合格图像和不合格图像进行了利用了基于变分自动编码法和GAN的图像处理的疑似图像生成处理而得到的疑似成对图像1的合格图像和不合格图像。
为了生成等级2的合格图像和不合格图像，图像生成部113通过变分自动编码法，生成将等级1的合格图像和不合格图像以100％和0％的比率混合而得到的混合合格图像、和将等级1的合格图像和不合格图像以0％和100％的比率混合而得到的混合不合格图像。因此，这些混合合格图像和混合不合格图像分别是等级1的合格图像和不合格图像(已判定成对图像的合格图像和不合格图像)本身。
然后，图像生成部113使GAN学习以100％及0％的比率混合的混合合格图像和以0％及100％的比率混合的混合不合格图像来进行图像处理，从而生成疑似成对图像1的合格图像和不合格图像(等级2的合格图像和不合格图像)。
如果使用多个等级1的合格图像和不合格图像，则能够生成多个混合合格图像和混合不合格图像。至少能够得到与等级1的合格图像和不合格图像相同数量的混合合格图像以及混合不合格图像。
而且，通过使GAN学习多个混合合格图像以及混合不合格图像，能够生成更多的疑似成对图像1的合格图像和不合格图像(等级2的合格图像和不合格图像)。
这样生成的等级2的合格图像和不合格图像成为与等级1的合格图像和不合格图像非常相似的图像。
对于等级2的合格图像以及不合格图像，检查装置10的检查部11的判定结果分别是判定为合格以及判定为不合格。即，检查装置10的检查部11对等级2的合格图像和不合格图像都正确地进行判定。
另外，等级3～6的合格图像和不合格图像是对等级1的合格图像和不合格图像进行了利用了基于变分自动编码法和GAN的图像处理的疑似图像生成处理而得到的疑似成对图像1的合格图像和不合格图像。生成等级3～6的合格图像和不合格图像的处理与生成等级2的合格图像和不合格图像的处理相比，在变分自动编码法中的将等级1的合格图像和不合格图像混合的比率不同。混合的比率是变分自动编码法中的参数。
为了生成等级3～6的合格图像和不合格图像，图像生成部115通过变分自动编码法，生成将等级1的合格图像和不合格图像分别以80％和20％的比率混合而得到的混合合格图像、以及将等级1的合格图像和不合格图像分别以20％和80％的比率混合而得到的混合不合格图像。
然后，图像生成部115使GAN学习以80％及20％的比率混合的混合合格图像和以20％及80％的比率混合的混合不合格图像来进行图像处理，由此生成疑似成对图像2的合格图像及不合格图像(等级3～6中的任一个合格图像和不合格图像)。
如果使用多个等级1的合格图像和不合格图像，则能够生成多个混合合格图像和混合不合格图像。至少能够得到与等级1的合格图像和不合格图像相同数量的混合合格图像以及混合不合格图像。
然后，通过使GAN学习多个混合合格图像和混合不合格图像，能够生成更多的疑似成对图像2的合格图像和不合格图像(等级3～6中的任意等级的合格图像和不合格图像)。
由图像生成部115生成的疑似成对图像2被等级赋予部117分类为等级3～6中的任意等级。
检查装置10的检查部11针对图5所示的等级3的合格图像和不合格图像的判定结果分别是判定为合格和判定为不合格，均被正确地判定。等级3的合格图像和不合格图像与等级2的合格图像和不合格图像相比，与等级1的合格图像和不合格图像不相似，但合格图像的布线图案的轮廓比较清楚，检查部11的合格的判定正确。另外，不合格图像的布线图案有欠缺，检查部11的不合格的判定正确。
另外，检查装置10的检查部11的针对图5所示的等级4的合格图像及不合格图像的判定结果均为判定为不合格。即，检查部11将合格图像误判定为不合格图像，将不合格图像正确地判定为不合格图像。
等级4的合格图像和不合格图像与等级2的合格图像和不合格图像相比，与等级1的合格图像和不合格图像不相似，但由于合格图像的布线图案的轮廓比较清楚，因此检查部11的不合格的判定是错误的。另外，不合格图像的布线图案有欠缺，检查部11的不合格的判定正确。
这样，对合格图像判定为不合格是过度地判定为不合格的过度判定。若发生过度判定，则合格品被作为不合格品处理，成品率有可能降低，因此优选进行过度判定的概率低。
另外，检查装置10的检查部11的针对图5所示的等级5的合格图像及不合格图像的判定结果均为判定为合格。即，检查部11将合格图像正确地判定为合格图像，将不合格图像误判定为合格图像。
等级5的合格图像和不合格图像与等级2的合格图像和不合格图像相比，与等级1的合格图像和不合格图像不相似，但由于合格图像的布线图案的轮廓比较清楚，因此检查部11的合格的判定正确。另外，由于不合格图像的布线图案的右端比基准细，因此检查部11判定为合格是错误的。
这样，对不合格图像判定为合格是漏检不合格图像的漏检判定。若发生漏过判定，则有可能出厂不合格产品，因此优选漏检判定的概率低。
检查装置10的检查部11的针对图5所示的等级6的合格图像和不合格图像的判定结果分别是判定为不合格和判定为合格，都被误判定。与等级2的合格图像和不合格图像相比，等级6的合格图像和不合格图像与等级1的合格图像和不合格图像不相似，但由于合格图像的布线图案的轮廓比较清楚，因此判定为不合格是错误的。另外，不合格图像的布线图案的右端比基准细，检查部11判定为合格是错误的。对于等级6的合格图像和不合格图像，产生对合格图像进判定为不合格的过度判定和对不合格图像判定为合格的漏检判定这两者。
图6是表示检查程序生成装置100处理的图像识别数据的图。将图6所示的图像识别数据分配给合格图像以及不合格图像的每一个，对于已判定成对图像、疑似成对图像1、疑似成对图像2、未知成对图像的合格图像以及不合格图像是共同的。图像识别数据存储在存储器121中。
图像识别数据包含成对图像ID(Identifier)、图像ID、第1合格图像标记、第2合格图像标记、等级、判定结果的项目。
成对图像ID是作为成对图像的ID，并且被分配给已判定成对图像、疑似成对图像1、疑似成对图像2和未知成对图像。已判定成对图像、疑似成对图像1、疑似成对图像2和未知成对图像的成对图像ID能够彼此识别，能够通过成对图像ID来识别是已判定成对图像、疑似成对图像1、疑似成对图像2和未知成对图像中的哪一个。
图像ID是分配给各成对图像所包含的各个合格图像以及不合格图像的ID。因此，1个成对图像所包含的合格图像以及不合格图像分别具有图6所示的图像识别数据。
在图像是在由人进行的检查中合格的批量产品的合格图像的情况下将第1合格图像标记设定为“1”，在图像是在由人进行的检查中不合格的批量产品的不合格图像的情况下设定为“0”，在未进行由人进行的检查的情况下，不设定数据(成为“—”)。针对等级1的已判定成对图像所包含的合格图像以及不合格图像，将第1合格图像标记分别设定为“1”以及“0”，针对等级2的疑似成对图像1和等级3～6的疑似成对图像2所包含的合格图像以及不合格图像，不设定数据(成为“—”)。
在图像是在检查部11进行的检查中合格的批量产品的合格图像的情况下，将第2合格图像标记设定为“1”，在图像是在检查部11进行的检查中不合格的批量产品的不合格图像的情况下，将第2合格图像标记设定为“0”，在未进行检查部11的检查的情况下，不设定数据(成为”—”)，针对等级1～6的成对图像所包含的合格图像以及不合格图像，分别将第2合格图像标记设定为“1”或者“0”。
等级表示等级1～6。将已判定成对图像设定为等级1，将疑似成对图像1设定为等级2，并且将疑似成对图像2设定为由等级赋予部117分类的等级(等级3～6中的任一个)。
判定结果表示检查部11针对已判定成对图像、疑似成对图像1、疑似成对图像2的合格图像以及不合格图像的合格与否的判定结果，在判定为合格的情况下设定为“1”，在判定为不合格的情况下设定为“0”。
作为一个例子，图6所示的图像识别数据是关于已判定成对图像的合格图像的图像识别数据。另外，在未知的成对图像的情况下，仅具有成对图像ID和图像ID。
图7是表示与检查部11进行的图像的评价和DNN119的学习用以及评价用的图像相关的条件的图。图7中示出关于等级1～6的合格图像及不合格图像的图像类别、检查部11的评价用的图像数、检查部11的判定结果、DNN119的判定结果、DNN119的学习用的成对图像数、及DNN119的评价用的成对图像数。
图像类别表示是真实图像、疑似成对图像1和疑似成对图像2中的哪一个。检查部11的评价用的图像数表示将各等级的成对图像输入至检查部11来进行判定合格与否的评价时的合格图像及不合格图像的图像数。检查部11的判定结果表示检查部11进行的评价(合格与否判定)的结果。
DNN119的判定结果表示在向DNN119输入了未知的成对图像的合格图像以及不合格图像的情况下，DNN119输出的判定结果。如上所述，在此作为一例，DNN119被设定为在未知的成对图像的合格图像以及不合格图像相当于等级1～5的情况下判定为适当，在相当于等级6的情况下判定为不适当。另外，不限于这样的划分方法，也可以将等级5和等级6判定为不适当，也可以将等级4～等级6判定为不适当，也可以将等级4和等级6判定为不适当，还可以将等级3～等级6判定为不适当。
另外，在此，对DNN119的输出为2个级别(适当或不适当)的方式进行说明，但也可以是3个级别以上，也可以是6个级别。
DNN119的学习用的成对图像数表示使DNN119进行机器学习时的各等级的成对图像的数量。DNN119的评价用的成对图像数表示在DNN119的学习结束后评价事前检查程序时输入的各等级的成对图像的数量。
等级1的合格图像以及不合格图像的图像类别是真实图像，作为一例，检查部11进行基于合格与否判定的评价时的合格图像以及不合格图像的图像数分别为20个。另外，检查部11对等级1的合格图像和不合格图像的合格与否的判定结果分别是判定为合格和判定为不合格。DNN119的判定结果适当，DNN119的学习用和评价用的成对图像的数量分别为225对和25对。
等级2的合格图像及不合格图像的图像类别是疑似成对图像1，作为一例，检查部11进行基于合格与否判定的评价时的合格图像及不合格图像的图像数均为45个。另外，检查部11对等级2的合格图像和不合格图像的合格与否的判定结果分别是判定为合格和判定为不合格。
另外，DNN119的判定结果为适当，DNN119的学习用和评价用的成对图像的数量分别为400对和25对。
等级3的合格图像以及不合格图像的图像类别是疑似成对图像2，检查部11对等级3的合格图像以及不合格图像的合格与否的判定结果分别是判定为合格以及判定为不合格。另外，DNN119的判定结果为适当，DNN119的学习用和评价用的成对图像的数量分别为400对和25对。
另外，检查部11进行基于合格与否判定的评价时的等级3～6的疑似成对图像2的合格图像以及不合格图像的图像数均为500个。这意味着，在未进行等级3～6的分类的状态下，检查部11进行基于合格与否判定的评价的能够相当于等级3～6中的任意等级的疑似成对图像2的合格图像以及不合格图像的图像数均为500个。
500对疑似成对图像2是为了获得DNN119的学习用及评价用的等级3～6的疑似成对图像2而使用的疑似成对图像2。
等级4的合格图像以及不合格图像的图像类别是疑似成对图像2，检查部11对等级4的合格图像以及不合格图像的合格与否的判定结果都是判定为不合格。另外，DNN119的判定结果为适当，DNN119的学习用和评价用的成对图像的数量分别为400对和25对。
等级5的合格图像以及不合格图像的图像类别是疑似成对图像2，检查部11对等级5的合格图像以及不合格图像的合格与否的判定结果都是判定为合格。另外，DNN119的判定结果为适当，DNN119的学习用和评价用的成对图像的数量分别为400对和25对。
等级6的合格图像以及不合格图像的图像类别是疑似成对图像2，检查部11对等级6的合格图像以及不合格图像的合格与否的判定结果分别是判定为不合格以及判定为合格。另外，DNN119的判定结果为不适当，DNN119的学习用和评价用的成对图像的数量分别为1600对和25对。
这样，关于检查部11进行基于合格与否判定的评价时的合格图像及不合格图像的图像数，等级1的合格图像及不合格图像最少。这是因为等级1的合格图像以及不合格图像是真实图像，检查部11的合格与否判定被正确进行的可能性极高，因此为了得到DNN119的学习用以及评价用的等级1的合格图像以及不合格图像，只要各20个就足够了。
另外，检查部11进行基于合格与否判定的评价时的合格图像及不合格图像的图像数对于等级2的合格图像及不合格图像，各设定为45个。这是因为，等级2的合格图像和不合格图像与等级1的合格图像和不合格图像非常相似，检查部11的合格与否判定被正确进行的可能性高，因此为了得到DNN119的学习用和评价用的等级2的合格图像和不合格图像，只要等级1的2倍左右的图像数就足够了。
另外，关于检查部11进行基于合格与否判定的评价时的合格图像以及不合格图像的图像数，能够相当于等级3～6中的任意等级的疑似成对图像2的合格图像以及不合格图像的图像数最多。这是因为，在DNN119的学习和评价中，针对等级3～6分别使用规定数量以上的疑似成对图像2的合格图像和不合格图像，因此优选图像数量相应地多。因此，设定为500个。
另外，DNN119关于等级1的合格图像以及不合格图像的学习用的成对图像数设定为最少。这是因为等级1的合格图像以及不合格图像是真实图像，因此比较少的图像数就足够了。
另外，DNN119关于等级2～5的合格图像以及不合格图像的学习用的成对图像数设定为第2少。等级2～5的合格图像以及不合格图像包含针对等级1的合格图像以及不合格图像的变更量，因此为了确保DNN119学习等级2～5的合格图像以及不合格图像所需的足够的图像数，与等级1相比增加了学习用的图像数。
另外，DNN119关于等级6的合格图像以及不合格图像的学习用的成对图像数设定为最多。关于等级6，由于是对合格图像以及不合格图像双方进行误判定的情况，因此为了确保DNN119学习等级6的合格图像以及不合格图像所需的足够的图像数，与等级2～5相比增加了学习用的图像数。
另外，DNN119关于等级1～6的合格图像及不合格图像的评价用的成对图像数全部相同。这是为了用DNN119评价相同数量的等级1～6的合格图像和不合格图像。
图8是表示检查部11进行的疑似成对图像1的合格图像和不合格图像的判定结果的分布的图。图8所示的判定结果是检查部11实际进行了判定的结果。
在图8中，横轴是样本编号，用白圆圈(○)的标记表示合格图像的判定结果，用黑圆圈(●)的标记表示不合格图像的判定结果。样品编号为约40以下是不合格图像的判定结果，样品编号为约40以上是合格图像的判定结果。另外，纵轴是检查部11的判定值，阈值以上为合格，小于阈值为不合格。
如图8所示，检查部11将所有的合格图像判定为合格，将所有的不合格图像判定为不合格。以这种方式，通过检查部11进行的疑似成对图像1的合格图像和不合格图像的判定精度非常高。
图9是表示检查部11的疑似成对图像2的合格图像和不合格图像的判定结果的分布的图。横轴、纵轴以及标记的含义与图8相同，图9所示的判定结果是检查部11实际进行了判定的结果。在图9中示出与图8相比更多的样本的判定结果。
如图9所示，得到集合A～D。集合A是检查部11将合格图像正确地判定为合格的样本的集合。集合B是检查部11将合格图像误判定为不合格的过度判定的样本的集合。集合C是检查部11将不合格图像正确地判定为不合格的样本的集合。集合D是检查部11将不合格图像误判定为合格的漏检判定的样本的集合。
集合A和C是检查部11分别正确地判定了等级3～6的疑似成对图像2的合格图像和不合格图像的样本的集合，集合B和D是检查部11分别误判定了等级3～6的疑似成对图像2的合格图像和不合格图像的样本的集合。与集合A和C相比，进行了误判定的集合B和D的样本数少。
集合A～D中的集合B和D是在真实图像的合格图像和不合格图像中难以得到的过度判定和漏检判定的样本的集合。如果将这样的属于集合B和D的判定结果用于DNN119的机器学习，则能够减少误判定，能够提高DNN119的判定精度。
因此，检查程序生成装置100基于已判定成对图像(等级1)，生成等级3～6的疑似成对图像2，将等级3～6的疑似成对图像2作为教师数据输入到DNN119，使DNN119进行机器学习。
另外，检查程序生成装置100还将等级2的疑似成对图像2作为教师数据输入到DNN119，使DNN119进行机器学习。使用等级2的疑似成对图像2主要是为了增加样本数。
图10及图11是表示检查程序生成装置100的控制装置110所实施的处理的流程图的图。
处理的前提条件是将包括检查装置10(参照图1)的检查部11正确地判定了合格与否的合格图像以及不合格图像的多个已判定成对图像存储于存储器12。另外，在DNN119的机器学习结束的时刻，将用于判定是适当的成对图像还是不适当的成对图像的1个或多个未知成对图像保存在存储器121中。
图像取得部112从检查装置10取得已判定成对图像(步骤S1)。主控制部111经由通信部130从检查装置10经由网络50接收已判定成对图像，图像取得部112取得接收到的已判定成对图像。
主控制部111将图像取得部112取得的已判定成对图像以规定的分配比率分为学习用的已判定成对图像和评价用的已判定成对图像，生成成对图像并存储在存储器121中(步骤S2)。
例如，在从检查装置10取得20对已判定成对图像的情况下，作为一例，规定的分配比率为15对和5对。主控制部111根据15对的已判定成对图像中包含的各15个合格图像和不合格图像，生成225对(以15个×15个的组合得到的225对)的学习用的已判定成对图像，并且根据5对的已判定成对图像中包含的各5个合格图像和不合格图像，生成25对(以5个×5个的组合得到的25对)的评价用的已判定成对图像，存储在存储器121中。
图像生成部113对多个已判定成对图像的合格图像以及不合格图像进行疑似图像生成处理，生成包含进行了疑似图像生成处理的合格图像以及不合格图像的多个疑似成对图像1(步骤S3)。作为一个例子，多个已判定成对图像的对数为20对。
例如，图像生成部113通过对多个已判定成对图像进行疑似图像生成处理，生成包含各45个的进行了疑似图像生成处理而得到的合格图像以及不合格图像的45对疑似成对图像1。
图像取得部114使检查装置10的检查部11对45对疑似成对图像1的合格图像以及不合格图像判定合格与否(步骤S4)。
图像取得部114使主控制部111经由通信部130向检查装置10发送多个疑似成对图像1，使检查装置10的检查部11对疑似成对图像1的合格图像以及不合格图像判定合格与否。
图像取得部114取得由检查部11正确地判定了合格与否的疑似成对图像1(步骤S5)。更具体而言，图像取得部114使主控制部111接收包含由检查装置10判定了合格与否的合格图像以及不合格图像的多个疑似成对图像1、以及合格与否的判定结果。将合格与否的判定结果登记在图像识别数据(参照图6)中。
然后，图像取得部114取得接收到的多个疑似成对图像1中的、包含由检查装置10正确地判定了合格与否的合格图像以及不合格图像的疑似成对图像1。
由于能够通过图像识别数据的第2合格图像标记的值来判别疑似成对图像1所包含的2个图像中的哪一个是合格图像，所以与合格与否的判定结果进行对照，如果一致则是正确地进行了判定，如果不一致则是进行了误判定。
此外，疑似成对图像1与已判定成对图像的合格图像以及不合格图像非常相似，因此在此假定正确地判定了全部疑似成对图像1的合格图像以及不合格图像的合格与否。
这样，如果将疑似成对图像1所包含的合格图像以及不合格图像与合格与否的判定结果进行对照而取得一致的合格图像以及不合格图像的对，则图像取得部114能够取得由检查装置10的检查部11正确地判定了合格与否的疑似成对图像1。
主控制部111判定是否取得了规定的对数的疑似成对图像1(步骤S6)。规定的对数的疑似成对图像1包括与规定的对数相同数量的合格图像和不合格图像。在规定的对数的疑似成对图像1中包含的合格图像和不合格图像的数量是第2规定数量的一例。
主控制部111在步骤S6中判定为取得了规定的对数的疑似成对图像1(S6：是)时，将图像取得部114取得的疑似成对图像1以规定的分配比率分为学习用的疑似成对图像1和评价用的疑似成对图像1并存储在存储器121中(步骤S7)。
例如，在图像取得部114取得45对疑似成对图像1的情况下，作为一例，规定的分配比率是20对和25对。主控制部111根据20对的疑似成对图像1中包含的每20个合格图像以及不合格图像，生成400对(以20个×20个的组合得到的400对)的学习用的疑似成对图像1并存储在存储器121中。另外，主控制部111将25对疑似成对图像1作为25对评价用的疑似成对图像1存储在存储器121中。
此外，主控制部111在步骤S6中判定为未能取得规定的对数的疑似成对图像1(S6：否)时，使流程返回步骤S3。
图像生成部115生成包含对多个已判定成对图像的合格图像以及不合格图像进行了疑似图像生成处理而得到的合格图像以及不合格图像的疑似成对图像2(步骤S8)。在此，作为一例，生成包含各500个合格图像及不合格图像的500对疑似成对图像2。
判定结果取得部116使检查装置10的检查部11对在步骤S8中生成的疑似成对图像2的合格图像以及不合格图像判定合格与否，取得合格与否的判定结果(步骤S9)。将合格与否的判定结果登记在图像识别数据(参照图6)中。
等级赋予部117基于在步骤S9中取得的判定结果的正确错误，对在步骤S8中生成的疑似成对图像2进行等级赋予(步骤S10)。结果，将疑似成对图像2赋予为等级3～6中的任意等级。将等级登记在图像识别数据(参照图6)中。
主控制部111针对等级3～6的每一个，判定是否取得了规定的对数的疑似成对图像2(步骤S11)。等级3～5为45对，等级6为65对。
主控制部111在步骤S11中判定为针对各等级取得了规定的对数的疑似成对图像2(S11：是)时，在步骤S12中进行如下的处理(步骤S12)。
在步骤S12中，主控制单元111将由等级赋予部117分了等级的疑似成对图像2按照每个等级以规定的分配比率划分为学习用的疑似成对图像2和评价用的疑似成对图像2，并且对于学习用的疑似成对图像2，组合疑似成对图像2中包含的合格图像和不合格图像，将对数增加到规定数量，并且将其存储在存储器121中。将评价用的疑似成对图像2原样存储在存储器121中。
例如，对于等级3～5，将45对疑似成对图像2根据规定的分配比率分配为学习用的20对和评价用的25对。另外，根据学习用的20对的疑似成对图像2中所包含的各20个合格图像以及不合格图像，生成400对(以20个×20个的组合得到的400对)的学习用的疑似成对图像2并存储于存储器121。将评价用的25对疑似成对图像2原样存储在存储器121中。
另外，对于等级6，将65对疑似成对图像2按照规定的分配比率分配为学习用的40对和评价用的25对。另外，根据学习用的40对的疑似成对图像2中所包含的各40个合格图像以及不合格图像，生成1600对(以40个×40个的组合得到的1600对)的学习用的疑似成对图像2并存储于存储器121。将评价用的25对疑似成对图像2原样存储在存储器121中。
此外，主控制部111在步骤S11中判定为针对各等级未能取得规定的对数的疑似成对图像2(S11：否)时，使流程返回到步骤S8。结果，在步骤S8中生成新的500对疑似成对图像2。
在步骤S11中判定为无法取得规定的对数的疑似成对图像2的情况例如是等级3～6中的任意等级的疑似成对图像2小于规定的对数的情况。
接着，学习处理部118从存储器121读出等级1的学习用的已判定成对图像、等级2的学习用的疑似成对图像1、以及等级3～6的学习用的疑似成对图像2，输入到DNN119进行机器学习，由此进行DNN119的参数的最佳化(步骤S13)。通过该处理，事前检查程序的判定精度提高。
接着，学习处理部118从存储器121读出等级1的评价用的已判定成对图像、等级2的评价用的疑似成对图像1、以及等级3～6的评价用的疑似成对图像2，输入到DNN119而得到判定结果，评价DNN119(步骤S14)。若输入等级1～5的成对图像而判定为DNN119适当，则DNN119的判定结果为适当。另外，若输入等级6的成对图像而判定为DNN119不适当，则DNN119的判定结果为适当。在除此以外的情况下，DNN119的判定结果为并不适当。
学习处理部118判定DNN119的判定结果为适当的概率是否在规定的阈值以上(步骤S15)。作为一例，规定的阈值约为90％。
若学习处理部118判定为DNN119的判定结果为适当的概率不在规定的阈值以上(S15：否)，则主控制部111使流程返回到步骤S3。
另外，学习处理部118在判定为DNN119的判定结果为适当的概率在规定的阈值以上(S15：是)时，将规定的未知的成对图像的合格图像以及不合格图像输入到DNN119(步骤S16)。另外，此时，如果需要对输入到DNN119的图像的格式进行变换，则将规定的未知的成对图像的合格图像以及不合格图像的格式变换为DNN119用的格式后输入到DNN119即可。
判定结果取得部120取得DNN119的判定结果(步骤S17)。判定结果表示未知的成对图像是适合于检查部11的检查的成对图像还是不适合的成对图像。
主控制部111判定是否有其他的输入到DNN119的未知的成对图像(步骤S18)。
主控制部111在判定为存在其他的未知的成对图像(S18：是)时，使流程返回到步骤S16。
主控制部111在判定为不存在其他的未知的成对图像(S18：否)时，结束一系列的处理(结束)。
如上所述，检查程序生成装置100根据包括真实图像的合格图像和不合格图像的已判定成对图像(等级1)，生成等级2的疑似成对图像1和等级3～6的疑似成对图像2。等级2的疑似成对图像1和等级3～6的疑似成对图像2是通过对已判定成对图像进行疑似图像生成处理而生成的，与等级2的疑似成对图像1相比，等级3～6的疑似成对图像2相对于已判定成对图像的变更程度大。
能够通过疑似图像生成处理生成多个这样的等级2的疑似成对图像1和等级3～6的疑似成对图像2。另外，关于等级2的疑似成对图像1、以及等级3～6的疑似成对图像2的合格图像以及不合格图像，将表示通过检查部11怎样判定了合格与否的判定结果登记在图像识别数据(参照图6)中。
因此，等级2的疑似成对图像1以及等级3～6的疑似成对图像2能够用作教师数据，该教师数据用于在机器学习中使DNN119学习判定关于规定的批量产品的未知的合格图像以及不合格图像相当于等级1～6中的哪一个的方法。
而且，若向DNN119输入未知的合格图像以及不合格图像，则DNN119能够判定使检查部11判定未知的成对图像的合格图像以及不合格图像的合格与否是否适当。DNN119如果判定为未知的合格图像和不合格图像相当于等级1～5，则判定为适当，如果判定为相当于等级6，则判定为不适当。
因此，能够提供检查程序生成装置100(信息处理装置)、信息处理程序以及信息处理方法，它们能够得到能够判定使检查部11判定未知的成对图像的合格图像以及不合格图像的合格与否是否适当的DNN119(事先检查程序)。
另外，检查部11在检查中花费时间，因此通过在DNN119中预先判定未知的成对图像的合格图像以及不合格图像是否适合于检查部11的检查，能够实现检查部11的运用的高效化。
此外，以上使用包含布线图案的合格图像和不合格图像的成对图像进行了说明，但不限于布线图案，只要是包含量产的产品(批量产品)的合格图像和不合格图像的成对图像，则可以是任意的成对图像。
另外，以上，对使用等级2的疑似成对图像1进行机器学习的方式进行了说明，但也可以不使用等级2的疑似成对图像1。
另外，以上，对使用等级3～6的疑似成对图像2进行机器学习的方式进行了说明，但关于疑似成对图像2，也可以不使用等级3～6的全部。等级3～6中，重要度最高的是合格图像及不合格图像均被误判定的等级6。因此，对于疑似成对图像2，可以仅使用等级6。
另外，关于等级4(过度判定)和等级5(漏检判定)，也可以是其中任意一方。例如，在等级4和5中的某一个存在难以生成的倾向的情况下，也可以不使用表示难以生成的倾向的等级。另外，也可以根据产品的种类等选择任意一方。
另外，也可以不使用等级3，而例如使用等级4～6。因为等级4～6是合格图像以及不合格图像中的至少一方是误判定。
此外，以上描述了用于生成具有等级2的疑似成对图像1和具有等级3～6的疑似成对图像2的疑似图像生成处理包括基于变分自动编码器方法的处理和使用GAN的处理的模式。
然而，疑似图像生成处理不限于包括基于变分自动编码器法的处理和利用了GAN的处理的处理。例如，可以进行将合格图像和不合格图像以任意的比率混合的处理，也可以进行求出合格图像和不合格图像的平均图像的平均化处理，来代替基于变分自动编码器法的处理。在平均化处理的情况下，例如，如果取4张合格图像和1张不合格图像的平均，则能够生成合格图像和不合格图像为80：20的平均图像。
另外，也可以代替利用了GAN的处理，使用重叠噪声的图像处理、对图像进行平行移动、旋转、平滑化(smoothing)、放大或缩小等的处理，作为生成疑似图像的处理。
另外，在以上说明中，为了生成等级2的合格图像和不合格图像，对生成通过变分自动编码法将等级1的合格图像和不合格图像以100％和0％的比率混合而成的混合合格图像、以及将等级1的合格图像和不合格图像以0％和100％的比率混合而成的混合不合格图像的方式进行了说明。这相当于实质上不进行基于变分自动编码器法的处理。
但是，用于生成等级2的合格图像和不合格图像的合格图像和不合格图像的混合比率不限于100％和0％，也可以混合合格图像和不合格图像。
另外，以上，说明了为了生成等级3～6的合格图像和不合格图像，通过变分自动编码法生成将等级1的合格图像和不合格图像分别以80％和20％的比率混合的混合合格图像、和将等级1的合格图像和不合格图像分别以20％和80％的比率混合的混合不合格图像的方式。
但是，用于生成等级3～6的合格图像和不合格图像的混合比率不限于为80％：20％、20％：80％，也可以适当变更混合比。
以上，对本发明的例示性的实施方式的信息处理装置、信息处理程序以及信息处理方法进行了说明，但本发明并不限定于具体公开的实施方式，能够在不脱离权利要求书的范围内进行各种变形、变更。
标号说明
10检查装置
11检查部
100检查程序生成装置
110控制装置
111主控制部
112图像取得部
113图像生成部
114图像取得部
115图像生成部
116判定结果取得部
117等级赋予部
118学习处理部
119DNN
120判定结果取得部
121存储器
130通信部

Claims (14)

1.一种信息处理装置，其包括：
第1图像取得部，其取得多个已判定成对图像，所述多个已判定成对图像包含由第1机器学习完毕的第1检查程序正确地判定了合格与否的合格图像以及不合格图像；
第1图像生成部，其生成第1疑似成对图像，所述第1疑似成对图像包含对所述已判定成对图像的合格图像以及不合格图像进行了第1疑似图像生成处理而得到的合格图像以及不合格图像；
判定结果取得部，其取得判定结果，所述判定结果是所述第1检查程序针对所述第1疑似成对图像的合格图像以及不合格图像判定合格与否而得到的结果；
等级赋予部，其根据所述判定结果，针对由所述第1检查程序判定了合格与否的第1疑似成对图像的每一对，按照所述判定的正确与否赋予等级；
数学模型，所述数学模型由第2检查程序来表示，所述第2检查程序在输入了成对图像的合格图像以及不合格图像时，判定让所述第1检查程序来判定该成对图像的合格图像以及不合格图像的合格与否是否适当；以及
学习处理部，其用于使所述数学模型执行第2机器学习，所述第2机器学习以所述已判定成对图像和被赋予了所述等级的第1疑似成对图像作为输入，
所述第1图像生成部进行所述第1疑似成对图像的生成，直到被赋予了所述等级的第1疑似成对图像的数量达到第1规定数量以上为止，
所述学习处理部通过使所述数学模型进行以所述已判定成对图像和所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像作为输入的所述第2机器学习，从而使所述数学模型学习为按如下方式进行处理：当将未知的成对图像的合格图像及不合格图像输入至所述数学模型时，在该未知的成对图像的合格图像及不合格图像的等级为规定的等级以上的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是适当的，在该未知的成对图像的合格图像及不合格图像的等级小于所述规定的等级的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是不适当的。
2.根据权利要求1所述的信息处理装置，其中，所述信息处理装置还包括：
第2图像生成部，其生成第2疑似成对图像，所述第2疑似成对图像包含对所述已判定成对图像的合格图像以及不合格图像进行了第2疑似图像生成处理而得到的合格图像以及不合格图像，所述第2疑似图像生成处理对图像的变更程度比所述第1疑似图像生成处理低；以及
第2图像取得部，其取得由所述第1检查程序针对所述第2疑似成对图像的合格图像以及不合格图像正确地判定了合格与否后的第2疑似成对图像，
所述第2图像生成部进行所述第2疑似成对图像的生成，直到由所述第2图像取得部取得的第2疑似成对图像的数量达到第2规定数量以上为止，
作为所述第2机器学习，所述学习处理部使所述数学模型执行以所述已判定成对图像、所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像、以及由所述第2图像取得部取得的所述第2规定数量以上的第2疑似成对图像作为输入的第2机器学习。
3.根据权利要求1或2所述的信息处理装置，其中，与所述判定的正确与否对应的赋予等级是关于进行了所述第1疑似图像生成处理而得到的所述第1疑似成对图像的合格图像或不合格图像的合格与否被所述第1检查程序误判定的第1疑似成对图像的等级，
所述第1图像生成部进行所述第1疑似成对图像的生成，直到按照每个所述等级合格与否被误判定的第1疑似成对图像的数量达到每个所述等级的规定数量以上为止，
所述学习处理部用于所述第2机器学习的所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像是每个所述等级的规定数量以上的第1疑似成对图像。
4.根据权利要求3所述的信息处理装置，其中，作为每个所述等级的规定数量，与进行所述第1疑似图像生成处理而得到的合格图像以及不合格图像中的任一方的合格与否被误判定的第1疑似成对图像的规定数量相比，进行所述第1疑似图像生成处理而得到的合格图像以及不合格图像双方的合格与否被误判定的第1疑似成对图像的规定数量更多。
5.根据权利要求4所述的信息处理装置，其中，所述规定的等级是如下三种等级中的任意等级：关于进行所述第1疑似图像生成处理而得到的合格图像以及不合格图像双方的合格与否被误判定的第1疑似成对图像的等级；关于进行所述第1疑似图像生成处理而得到的合格图像以及不合格图像中的任意一方的合格与否被误判定的第1疑似成对图像的等级；以及关于进行所述第1疑似图像生成处理而得到的合格图像以及不合格图像中的任意另一方的合格与否被误判定的第1疑似成对图像的等级。
6.根据权利要求3或4所述的信息处理装置，其中，与所述判定的正确与否对应的赋予等级还包括关于进行所述第1疑似图像生成处理而得到的所述第1疑似成对图像的合格图像或不合格图像的合格与否被所述第1检查程序正确地判定的第1疑似成对图像的等级，
所述第1图像生成部进行所述第1疑似成对图像的生成，直到按照每个所述等级合格与否被误判定的第1疑似成对图像的数量达到每个所述等级的规定数量以上、并且所述合格与否被正确地判定的第1疑似成对图像的数量达到关于该第1疑似成对图像的规定数量以上为止，
所述学习处理部在所述第2机器学习中使用的所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像是每个所述等级的规定数量以上的第1疑似成对图像、和关于所述合格与否被正确地判定的第1疑似成对图像的规定数量以上的第1疑似成对图像。
7.根据权利要求1或2所述的信息处理装置，其中，所述第1图像生成部进行所述第1疑似成对图像的生成，直到被赋予了所述等级的第1疑似成对图像中的、所述第1疑似成对图像的合格图像和不合格图像双方的合格与否被误判定的第1疑似成对图像的数量达到第3规定数量以上为止，
所述学习处理部用于所述第2机器学习的所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像包含所述第3规定数量以上的所述双方的合格与否被误判定的第1疑似成对图像。
8.根据权利要求7所述的信息处理装置，其中，所述第1图像生成部还进行所述第1疑似成对图像的生成，直到被赋予了所述等级的第1疑似成对图像中的、所述第1疑似成对图像的合格图像和不合格图像中的任意一方的合格与否被所述第1检查程序误判定的第1疑似成对图像的数量达到第4规定数量以上为止，
所述学习处理部用于所述第2机器学习的所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像包括：所述第3规定数量以上的所述双方的合格与否被误判定的第1疑似成对图像；以及所述第4规定数量以上的所述任意一方的合格与否被误判定的第1疑似成对图像。
9.根据权利要求8所述的信息处理装置，其中，所述规定的等级是如下的三种等级中的任意等级：关于所述第1疑似成对图像的合格图像以及不合格图像双方的合格与否被误判定的第1疑似成对图像的等级；关于所述第1疑似成对图像的合格图像以及不合格图像中的任意一方的合格与否被所述第1检查程序误判定的第1疑似成对图像的等级；以及关于所述第1疑似成对图像的合格图像以及不合格图像中的任意另一方的合格与否被所述第1检查程序误判定的第1疑似成对图像的等级。
10.根据权利要求8或9所述的信息处理装置，其中，
所述第1图像生成部还进行所述第1疑似成对图像的生成，直到被赋予了所述等级的第1疑似成对图像中的、所述第1疑似成对图像的合格图像以及不合格图像双方的合格与否被所述第1检查程序正确地判定的第1疑似成对图像的数量达到第5规定数量以上为止，
所述学习处理部在所述第2机器学习中使用的所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像是所述第3规定数量以上的所述双方的合格与否被误判定的第1疑似成对图像、所述第4规定数量以上的所述任意一方的合格与否被误判定的第1疑似成对图像、以及所述第5规定数量以上的所述双方的合格与否被正确判定的第1疑似成对图像。
11.根据权利要求7所述的信息处理装置，其中，所述第1图像生成部还进行所述第1疑似成对图像的生成，直到被赋予了所述等级的第1疑似成对图像中的、所述第1疑似成对图像的合格图像以及不合格图像双方的合格与否被所述第1检查程序正确地判定的第1疑似成对图像的数量达到第5规定数量以上为止，
所述学习处理部用于所述第2机器学习的所述第1规定数量以上的被赋予所述等级的第1疑似成对图像包括：所述第3规定数量以上的所述双方的合格与否被误判定的第1疑似成对图像；以及所述第5规定数量以上的所述双方的合格与否被正确判定的第1疑似成对图像。
12.根据权利要求11所述的信息处理装置，其中，所述规定的等级是关于所述第1疑似成对图像的合格图像和不合格图像双方的合格与否被误判定的第1疑似成对图像的等级。
13.一种信息处理程序，使计算机执行处理，所述处理包括如下步骤：
取得多个已判定成对图像，所述多个已判定成对图像包含由第1机器学习完毕的第1检查程序正确地判定了合格与否的合格图像以及不合格图像；
生成第1疑似成对图像，所述第1疑似成对图像包含对所述已判定成对图像的合格图像以及不合格图像进行了第1疑似图像生成处理而得到的合格图像以及不合格图像；
取得判定结果，所述判定结果是所述第1检查程序针对所述第1疑似成对图像的合格图像以及不合格图像判定合格与否而得到的结果；
根据所述判定结果，针对由所述第1检查程序判定了合格与否的第1疑似成对图像的每一对，按照所述判定的正确与否赋予等级；以及
当输入了成对图像的合格图像和不合格图像时，使由第2检查程序表示的数学模型进行以所述已判定成对图像和被赋予了所述等级的第1疑似成对图像作为输入的第2机器学习，所述第2检查程序判定让所述第1检查程序来判定该成对图像的合格图像和不合格图像的合格与否是否适当，
生成所述第1疑似成对图像的步骤是生成所述第1疑似成对图像直到被赋予了所述等级的第1疑似成对图像的数量达到第1规定数量以上为止的步骤，
使所述数学模型进行所述第2机器学习的步骤是如下的步骤：通过使所述数学模型进行以所述已判定成对图像和所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像作为输入的所述第2机器学习，从而使所述数学模型学习为按如下方式进行处理：当将未知的成对图像的合格图像及不合格图像输入至所述数学模型时，在该未知的成对图像的合格图像及不合格图像的等级为规定的等级以上的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是适当的，在该未知的成对图像的合格图像及不合格图像的等级小于所述规定的等级的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是不适当的。
14.一种信息处理方法，包括如下步骤：
取得多个已判定成对图像，所述多个已判定成对图像包含由第1机器学习完毕的第1检查程序正确地判定了合格与否的合格图像以及不合格图像；
生成第1疑似成对图像，所述第1疑似成对图像包含对所述已判定成对图像的合格图像以及不合格图像进行了第1疑似图像生成处理而得到的合格图像以及不合格图像；
取得判定结果，所述判定结果是所述第1检查程序针对所述第1疑似成对图像的合格图像以及不合格图像判定合格与否而得到的结果；
根据所述判定结果，针对由所述第1检查程序判定了合格与否的第1疑似成对图像的每一对，按照所述判定的正确与否赋予等级；以及
当输入了成对图像的合格图像和不合格图像时，使由第2检查程序表示的数学模型进行以所述已判定成对图像和被赋予了所述等级的第1疑似成对图像作为输入的第2机器学习，所述第2检查程序判定让所述第1检查程序来判定该成对图像的合格图像和不合格图像的合格与否是否适当，
生成所述第1疑似成对图像的步骤是生成所述第1疑似成对图像直到被赋予了所述等级的第1疑似成对图像的数量达到第1规定数量以上为止的步骤，
使所述数学模型进行所述第2机器学习的步骤是如下的步骤：通过使所述数学模型进行以所述已判定成对图像和所述第1规定数量以上的被赋予了所述等级的第1疑似成对图像作为输入的所述第2机器学习，从而使所述数学模型学习为按如下方式进行处理：当将未知的成对图像的合格图像及不合格图像输入至所述数学模型时，在该未知的成对图像的合格图像及不合格图像的等级为规定的等级以上的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是适当的，在该未知的成对图像的合格图像及不合格图像的等级小于所述规定的等级的情况下，所述数学模型判定为让所述第1检查程序来判定该未知的成对图像的合格图像及不合格图像的合格与否是不适当的。
CN201980098300.9A 2019-08-19 2019-08-19 信息处理装置、信息处理程序和信息处理方法 Pending CN114096989A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032302 WO2021033239A1 (ja) 2019-08-19 2019-08-19 情報処理装置、情報処理プログラム、及び、情報処理方法

Publications (1)

Publication Number Publication Date
CN114096989A true CN114096989A (zh) 2022-02-25

Family

ID=74659882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098300.9A Pending CN114096989A (zh) 2019-08-19 2019-08-19 信息处理装置、信息处理程序和信息处理方法

Country Status (4)

Country Link
US (1) US20220108433A1 (zh)
JP (1) JP7197021B2 (zh)
CN (1) CN114096989A (zh)
WO (1) WO2021033239A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354338B1 (ja) 2022-03-30 2023-10-02 本田技研工業株式会社 疑似不良品データ生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817857B2 (en) * 2006-05-31 2010-10-19 Microsoft Corporation Combiner for improving handwriting recognition
GB2542118B (en) * 2015-09-04 2021-05-19 Toshiba Europe Ltd A method, apparatus, system, and computer readable medium for detecting change to a structure
JP6585995B2 (ja) * 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
JP6216024B1 (ja) * 2016-11-15 2017-10-18 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習済モデル生成方法及び信号データ判別装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354338B1 (ja) 2022-03-30 2023-10-02 本田技研工業株式会社 疑似不良品データ生成方法
JP2023148927A (ja) * 2022-03-30 2023-10-13 本田技研工業株式会社 疑似不良品データ生成方法

Also Published As

Publication number Publication date
JPWO2021033239A1 (zh) 2021-02-25
JP7197021B2 (ja) 2022-12-27
US20220108433A1 (en) 2022-04-07
WO2021033239A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
CN107609493B (zh) 优化人脸图片质量评价模型的方法及装置
US10354472B2 (en) Self-learning system and methods for automatic document recognition, authentication, and information extraction
CN111179251A (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
US20080281548A1 (en) Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
CN109060817B (zh) 人工智能复检系统及其方法
CN110853006B (zh) 一种使用扫描仪获取的数字病理图像质量评价的方法
JP2016133895A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5718781B2 (ja) 画像分類装置および画像分類方法
CN101915769A (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
CN106251333B (zh) 元件反件检测方法和系统
CN109726730A (zh) 自动光学检测图像分类方法、系统及计算机可读介质
CN114842273B (zh) Pcb缺陷检测模型的评估方法、评估装置及训练方法
JP2017054331A (ja) 画像分類方法、分類器の構成方法および画像分類装置
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
CN114494103A (zh) 缺陷检测方法及检测装置
CN115170501A (zh) 缺陷检测方法、系统、电子设备及存储介质
Schwebig et al. Compilation of training datasets for use of convolutional neural networks supporting automatic inspection processes in industry 4.0 based electronic manufacturing
CN118169547A (zh) 一种电动吻合器单次使用电路检测方法及系统
CN117798087A (zh) 基于外观缺陷检测的锂电池视觉分拣系统及终端
CN114096989A (zh) 信息处理装置、信息处理程序和信息处理方法
CN106528665A (zh) Aoi设备测试文件查找方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination