CN110036279A - 检查装置和检查方法 - Google Patents

检查装置和检查方法 Download PDF

Info

Publication number
CN110036279A
CN110036279A CN201680091308.9A CN201680091308A CN110036279A CN 110036279 A CN110036279 A CN 110036279A CN 201680091308 A CN201680091308 A CN 201680091308A CN 110036279 A CN110036279 A CN 110036279A
Authority
CN
China
Prior art keywords
data
checked
image data
output
check device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680091308.9A
Other languages
English (en)
Other versions
CN110036279B (zh
Inventor
宫泽一之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110036279A publication Critical patent/CN110036279A/zh
Application granted granted Critical
Publication of CN110036279B publication Critical patent/CN110036279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896—Circuits specially adapted for system specific signal conditioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在现有的检查装置中，按照每个像素进行运算并判定有无异常，需要在全部像素中高精度地进行位置对齐，因此，存在导致导入成本的增加和计算机的计算时间的增加这样的问题。设置有：解析部(12a)，其对不包含异常的对象物的数据进行减少数据的维度的维度压缩，由此计算表示不包含异常的对象物的数据的性质的参数，使用参数对要检查的对象物的数据进行维度压缩；复原部(14a)，其生成复原数据，该复原数据是对由解析部(12a)进行维度压缩后的要检查的对象物的数据进行复原而得到的；判定部(14a)，其根据要检查的对象物的数据与复原数据之间的差分的大小，输出表示要检查的对象物是否异常的判定结果；以及输出部(15)，其输出判定部(14a)输出的判定结果。

Description

检查装置和检查方法
技术领域
本发明涉及根据所取得的对象物的数据检查对象物有无缺损、误配置、缺陷等异常的检查装置和检查方法。
背景技术
例如，为了实现工业产品的制造过程中进行的目视检查或外观检查的自动化或省力化，利用照相机拍摄对象物、且机器根据所取得的图像数据自动检查对象物有无异常是重要的技术。
以往，关于对象物有无缺损、误配置、缺陷等异常的检查，例如，在专利文献1的检查装置中，存储多个拍摄对象物而取得的图像数据，根据该多个图像数据，按照具有相同坐标的每个像素计算判定为对象物没有异常的亮度值的范围，将其设定为对象物有无异常的检查的基准。检查装置按照具有相同坐标的每个像素，判定拍摄要检查的对象物而取得的图像数据的亮度值是否在所设定的判定为对象物没有异常的亮度值的范围内，由此检查对象物有无缺损、误配置、缺陷等异常。
现有技术文献
专利文献
专利文献1：日本特开2013-32995号公报
发明内容
发明要解决的课题
但是，在上述现有的检查装置中，按照每个像素计算判定为对象物没有异常的亮度值的范围，按照每个像素判定对象物有无缺损、误配置、缺陷等异常，进行检查。因此，拍摄时的对象物和照相机的位置关系始终恒定，需要针对全部像素高精度地进行位置对齐的处理。伴随检查装置的导入，还需要导入用于针对全部像素高精度地进行位置对齐的照相机和用于固定对象物的夹具、定位装置等。因此，存在导致导入成本的增加和计算机的计算时间的增加这样的问题。
本发明是为了解决上述这种问题而完成的，其目的在于，提供如下的检查装置和检查方法：与现有的检查装置相比，缓和了对象物与照相机的可靠固定以及按照拍摄对象物而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且检查对象物有无缺损、误配置、缺陷等异常。
用于解决课题的手段
本发明的检查装置具有：解析部，其对不包含异常的对象物的数据进行减少数据的维度的维度压缩，由此计算表示不包含异常的对象物的数据的性质的参数，使用参数对要检查的对象物的数据进行维度压缩；复原部，其生成复原数据，该复原数据是对由解析部进行维度压缩后的要检查的对象物的数据进行复原而得到的；判定部，其根据要检查的对象物的数据与复原数据之间的差分的大小，输出表示要检查的对象物是否异常的判定结果；以及输出部，其输出判定部输出的判定结果。
发明效果
根据本发明，对不包含异常的对象物的数据进行减少数据的维度的维度压缩，由此计算表示不包含异常的对象物的数据的性质的参数，使用参数对要检查的对象物的数据进行维度压缩，生成对维度压缩后的要检查的对象物的数据进行复原而得到的复原数据，根据要检查的对象物的数据与复原数据之间的差分的大小，输出表示要检查的对象物是否异常的判定结果，因此，与现有的检查装置相比，缓和了对象物与照相机的可靠固定以及按照拍摄对象物而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物有无缺损、误配置、缺陷等异常。
附图说明
图1是包含本发明的实施方式1的检查装置的检查系统的功能框图。
图2是本发明的实施方式1的检查装置的硬件结构图。
图3是示出本发明的实施方式1的检查装置的学习模式中的动作的流程图。
图4是主成分分析的概念图。
图5是示出本发明的实施方式1的检查装置的检查模式中的动作的流程图的一部分。
图6是示出本发明的实施方式1的检查装置的检查模式中的动作的流程图的一部分。
图7是设印刷基板为对象物并检查基板上是否没有异常的例子。
图8是作为要检查的对象物的基板的一部分存在缺损的情况的例子。
图9是阈值处理的结果。
图10是用于限定检查对象区域的二维掩模的例子。
图11是输入输出装置在其结构中包含显示器的情况下、输入输出部对输入输出装置进行指示的显示内容的例子。
图12是输入输出装置在其结构中包含显示器的情况下、输入输出部对输入输出装置进行指示的显示内容的另一例。
图13是输入输出装置在其结构中包含显示器的情况下、输入输出部对输入输出装置进行指示的显示内容的又一例。
图14是包含本发明的实施方式2的检查装置的检查系统的功能框图。
图15是示出本发明的实施方式2的检查装置的学习模式中的动作的流程图。
图16是将神经元模型化为多输入单输出的节点的图。
图17是沙漏型神经网络的例子。
图18是示出对自编码器的隐藏层的总数进行变更时的状况的一例。
图19是示出本发明的实施方式2的检查装置的检查模式中的动作的流程图的一部分。
图20是示出本发明的实施方式2的检查装置的检查模式中的动作的流程图的一部分。
图21是包含本发明的实施方式3的检查装置的检查系统的功能框图。
图22是示出本发明的实施方式3的检查装置的检查模式中的动作的流程图的一部分。
图23是示出本发明的实施方式3的检查装置的检查模式中的动作的流程图的一部分。
具体实施方式
实施方式1
图1是包含本发明的实施方式1的检查装置1的检查系统的功能框图。
检查系统具有检查对象物3的检查装置1、拍摄对象物3的照相机2、以及输入检查内容并输出检查结果的输入输出装置4。检查装置1接收由照相机2拍摄的对象物3的图像数据作为输入数据，进行解析，向输入输出装置4发送其结果。
检查装置1具有控制各部的控制部10、被输入图像数据的输入部11、对从输入部11输入的图像数据进行解析的解析部12a、记录解析后的结果的存储部13a、根据解析后的结果和所取得的图像数据输出表示对象物3是否异常的判定结果的判定部14a、以及输出判定部14a输出的判定结果的输入输出部15。
控制部10与输入部11、解析部12a、存储部13a、判定部14a、以及输入输出部15进行指示的发送接收，由此控制各部。
输入部11从照相机2接收对象物3的图像数据。图像数据是对象物3的数据的一例，不限于图像，也可以是表示波形、立体等的数据。另外，在实施方式1中，以所输入的图像数据是数字数据为前提，但是，也可以是模拟数据。
解析部12a根据从控制部10发送的指示，切换执行2个不同的动作模式。这里，2个动作模式是学习模式和检查模式。在学习模式中，使用1张以上的不包含异常的正常对象物3的图像数据，对不包含异常的正常对象物3的图像数据进行减少对象物3的图像数据的维度的维度压缩，从而计算表示不包含异常的正常对象物3的数据的性质的参数，由此，学习正常状态是什么样的状态。因此，在学习模式中，检查装置1不进行对象物3有无异常的检查。在学习模式完成后实施的检查模式中进行有无异常的检查。这里，即使不包含异常的正常对象物3的图像数据为多个，计算出的表示正常对象物3的数据的性质的参数也为1个。另外，在学习模式中，以对象物3处于不包含异常的正常状态为前提。但是，如果对象物3为相同种类的物体，则也可以从多个不同物体取得图像数据。下面，将拍摄不包含异常的对象物3而取得的图像数据记载为正常图像数据。
在检查模式中，对要检查的对象物3的图像数据进行维度压缩，该维度压缩与计算表示在学习模式中学习的正常对象物3的数据的性质的参数时进行的维度压缩相同。
存储部13a根据来自控制部10的指示存储学习结果并读出学习结果，将其发送到解析部12a。这里读出的学习结果是与学习模式中使用的维度压缩方法对应的学习结果。
判定部14a以与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原，根据复原后的图像数据即复原数据与要检查的对象物3的图像数据之间的差分的大小，将表示要检查的对象物3是否异常的判定结果输出到输入输出部15。另外，判定部14a是合并了复原部和判定部的部的一例。
输入输出部15根据来自控制部10的指示，从输入输出装置4向外部输出表示学习的进度状况等的信息。另外，这里，假设作业者在外部确认输入输出装置4，但是不需要必须这样，特别地，也可以向外部的控制装置等输出信号，而不介入作业者。此外，输入输出部15根据来自控制部10的指示，从输入输出装置4向外部输出从判定部14a接收到的判定结果。另外，这里，假设作业者在外部确认输入输出装置4，但是不需要必须这样，特别地，也可以向外部的控制装置等输出信号，而不介入作业者。另外，输入输出部15是输出部的一例，在实施方式1中，也可以在输出部中还具有输入部。
照相机2拍摄对象物3并保存为图像数据，由此取得对象物3的图像数据。照相机2向检查装置1发送对象物3的图像数据。照相机2是一例，只要能够取得对象物3的数据即可，不限于此。
输入输出装置4输出检查装置1的检查内容，输出检查装置1送出的检查结果。考虑输入输出装置4例如由显示器、扬声器、键盘、鼠标等构成。此外，显示器是显示部的一例。
图2是本发明的实施方式1的检查装置1的硬件结构图。使用图2对本发明的实施方式1的检查装置1的结构进行说明。
在实施方式1中，检查装置1由计算机构成。构成检查装置1的计算机具有总线104、发送接收数据的输入输出接口100、存储器102、存储程序和学习数据等的存储介质103、读入并执行载入到存储器102中的存储介质103的程序的处理器101这样的硬件。另外，下面，输入输出接口100记载为输入输出IF100。
总线104是使各装置之间电连接、进行数据的交换的信号路径。
输入输出IF100发送接收数据。例如，输入输出IF100接收来自输入输出装置4的检查装置1的起动信号和设定信号后，将其发送到控制部10。此外，例如，输入输出IF100从控制部10接收到针对解析部12a的指示信号后，向解析部12a发送指示信号。输入部11和输入输出部15通过输入输出IF100实现。
存储器102作为载入存储介质103中存储的程序的工作区发挥功能。存储器102例如是RAM(Random Access Memory)。
存储介质103存储实现学习模式的程序、检查模式的程序的功能的程序。此外，存储介质103存储学习数据等。存储介质103例如是ROM(Read Only Memory)、闪存或HDD(HardDisk Drive)。存储介质103还存储OS(Operating System)。存储部13a通过存储介质103实现。
处理器101经由总线104而与其他装置连接，对这些其他装置和各部进行控制。处理器101读入并执行载入存储器102中的存储介质103的程序。处理器101将存储介质103中存储的OS的至少一部分载入存储器102中，执行OS，并且执行程序。处理器101是进行处理的IC(Integrated Circuit)。处理器101例如是CPU(Central Processing Unit)。处理器101读入并执行载入存储器102中的存储介质103的程序，由此实现控制部10、解析部12a、判定部14a。
另外，表示各装置的结果的信息、数据、信号值、变量值等存储在存储器102、存储介质103或处理器101内的寄存器或高速缓冲存储器中。
此外，存储器102和存储介质103也可以是同一装置而不划分装置。
进而，也可以将程序存储在磁盘、软盘、光盘、高密度盘、DVD(Digital VersatileDisc)这样的移动记录介质中。
接着，对本发明的实施方式1的检查装置1的动作进行说明。
图3是示出本发明的实施方式1的检查装置1的学习模式中的动作的流程图。下面，使用图3对检查装置1的学习模式中的动作进行说明。
在步骤S10中，控制部10经由输入输出部15从输入输出装置4接收起动信号和设定信号。然后，根据该设定信号对输入部11发出指示。输入部11从照相机2接收对象物3的正常图像数据。此时，接收正常图像数据的定时例如可以预先决定为1秒30次，也可以根据来自控制部10的指示来决定。控制部10对解析部12a发出学习模式的处理开始的指示。解析部12a从存储器102读出载入存储器102中的存储介质103的与学习模式对应的程序并由处理器101来执行，由此切换为学习模式。解析部12a从输入部11接收照相机2拍摄的对象物3的正常图像数据。
在步骤S11中，解析部12a判定是进一步接收正常图像数据，还是结束接收正常图像数据。这里，正常图像数据接收的结束判定可以由解析部12a决定，也可以根据来自控制部10的指示来决定。在由解析部12a决定的情况下，例如考虑在接收到的正常图像数据的张数达到预先指定的张数的时刻结束正常图像数据的接收。预先指定的张数例如是100张、1000张等。在根据来自控制部10的指示来决定的情况下，例如考虑控制部10经由输入输出部15从输入输出装置4接收正常图像数据的接收结束指示，将其发送到解析部12a。
在步骤S12中，解析部12a根据步骤S11的判定结果，返回正常图像数据的接收或进入接下来的步骤。在正常图像数据接收结束判定的结果判断为需要进一步接收正常图像数据的情况下，步骤S12成为“否”，再次返回步骤S10。在判定为正常图像数据接收结束的情况下，步骤S12成为“是”，进入接下来的步骤。
在步骤S13中，解析部12a使用接收到的正常图像数据进行维度压缩。这里，维度压缩是指将图像数据、三维立体数据等高维度数据转换为低维度数据。解析部12a在学习模式中使用正常图像数据进行学习，获得最适合于正常图像数据的数据转换方法。
作为维度压缩方法，公知有主成分分析、线性判别分析、典型相关分析、离散余弦变换、随机投影、基于神经网络的自编码器等。其中，作为线性维度压缩方法，主成分分析是最常用的方法之一。下面，对使用主成分分析的情况进行说明。
主成分分析是如下方法：根据分散在多维度空间中的多个学习用的正常图像数据，求出表示分布特征的低维度空间。将该低维度空间称为部分空间。在将步骤S10中接收到的大量正常图像数据的像素值直接描绘在空间中时，集中分布在极低维度的部分空间中的情况较多。
图4是主成分分析的概念图。如图4所示，例如，分布在三维空间中的正常图像数据表示为封闭在面中的集合。在主成分分析中，求出表示该集合的特征的图4那样的二维平面。这里，维度不具有物理意义，是指数据中包含的要素。即，维度数是指数据中包含的要素的数量。这里，1像素＝1维，例如，当设为存在纵10像素、横10像素的图像数据时，该图像数据具有10×10即100个像素，因此，称为“100维度的数据”。即，这表示为100维度空间中的一个点。图4是以能够对主成分分析进行可视化的方式三维地图示的示意图。图4中的一个一个的椭圆对应于1张图像数据。在图4中，三维地进行表示，因此，图像数据是3像素的图像数据。在该例子中，示出实际上利用二维的部分空间表示分布在三维空间中的图像数据、即进行维度压缩的状况。
设步骤S10中接收到的正常图像数据的总数为N，设每1张正常图像数据的像素数的总数为K。例如，N的值为100、1000等，如果正常图像数据的尺寸为32像素×32像素，则K的值为1024，如果正常图像数据的尺寸为640像素×640像素，则K的值为409600等。此时，当设正常图像数据的张数为n时，正常图像数据xn能够作为矢量而由式(1)表示。其中，T是转置矢量。
【数学式1】
xn＝(xn1，xn2，…，xnK)T，n＝1，2，…，N…(1)
接着，利用式(2)、式(3)求出该平均矢量M和方差协方差矩阵S。
【数学式2】
【数学式3】
在主成分分析中，在正常图像数据的空间中的分布中，求出通过作为平均值的点、且扩展最大的方向的直线即第1主成分。接着，求出与该第1主成分正交且通过平均的扩展第2大的方向的第2主成分的直线。这样逐次求出主成分。通过平均的扩展较大的方向与求出方差协方差矩阵S的固有矢量的问题相同。
即，使用计算出的方差协方差矩阵S，求出满足式(4)的固有值λj和固有矢量uj。这里，j是维度的个数。
【数学式4】
Suj＝λjuj…(4)
从大的固有值λj起选择d个与其对应的固有矢量uj后，求出d维度的主成分(u1、u2、…、ud)。大的固有值λj表示主成分分析中的主要成分。通过取出主要成分，按照主成分分析的重要参数的顺序进行排序。其中，d≤K，一般而言，d远远小于K。将uj称为第j主成分。主成分相互正交，有时也称为基底。d维度的主成分(u1、u2、…、ud)的值是表示对象物3的数据的性质的参数的一例。
进行维度压缩之前的原来的正常图像数据能够利用该主成分的线性耦合来表示。通过采用到d维度为止、且舍弃除此以外的d+1维度以上的维度，能够将原来为K维度的正常图像数据压缩为d维度。
这里，d的值是左右实施方式1的检查装置1的性能的重要参数。通过适当设定d的值，能够仅取出步骤S10中接收到的正常图像数据中共通出现的重要成分。另一方面，能够将相同种类的对象物3之间的偏差、拍摄定时不同所引起的图像数据的偏差、照相机的噪声等这样的不需要的成分排除。
但是，当d的值过小时会将重要成分排除，此外，当d的值过大时会残留不需要的成分。
例如考虑根据来自控制部10的指示来决定d的值。该情况下，控制部10经由输入输出部15从输入输出装置4接收d的值，将其发送到解析部12a。
此外，解析部12a也可以读出并使用存储器102或存储介质103中存储的d的值。该情况下预先存储的d的值例如考虑设为图像数据的像素数的总数K的十分之一左右、五分之一左右等。
此外，还考虑由解析部12a根据学习用的正常图像数据的性质自适应地决定d的值。该情况下，使用由式(5)计算出的累积贡献率P是有效的。
【数学式5】
累积贡献率P是如下指标，该指标表示通过使用d维度为止的成分能够以何种程度表示进行维度压缩之前的原来的正常图像数据所具有的信息的特征，在解析部12a中求出P的值超过阈值的最小的d的值，由此能够进行与正常图像数据的性质对应的适当的维度压缩。
例如考虑根据来自控制部10的指示来决定针对累积贡献率P的阈值。该情况下，控制部10经由输入输出部15从输入输出装置4接收阈值，将其发送到解析部12a。
此外，解析部12a也可以读出并使用存储器102或存储介质103中存储的阈值。该情况下预先存储的阈值例如考虑设为80、100等。
返回图3，在步骤S14中，进行维度压缩后，解析部12a向存储部13a发送d维度的主成分(u1、u2、…、ud)，作为学习了正常图像数据的结果即表示对象物3的数据的性质的参数。存储部13a根据来自控制部10的指示，将从解析部12a输出的学习结果即表示对象物3的数据的性质的参数保存在存储介质103中。另外，存储部13a根据来自控制部10的指示，将从解析部12a输出的学习结果即表示对象物3的数据的性质的参数保存在存储介质103中，但是，保存场所也可以是存储器102。
在学习模式的情况下，控制部10在解析部12a的处理完成后，对输入输出部15发出处理开始的指示。输入输出部15根据来自控制部10的指示，从输入输出装置4向外部输出表示学习的进度状况等的信息。另外，这里，假设作业者在外部确认输入输出装置4，但是不需要必须这样，特别地，也可以向外部的控制装置输出信号，而不介入作业者。
图5是示出本发明的实施方式1的检查装置1的检查模式中的动作的流程图的一部分。下面，使用图5对检查装置1的检查模式中的动作进行说明。
在步骤S20中，控制部10经由输入输出部15从输入输出装置4接收起动信号和设定信号。然后，根据该设定信号对输入部11发出指示。输入部11从照相机2接收对象物3的要检查的图像数据。此时，接收图像数据的定时例如可以预先决定为1秒30次，也可以根据来自控制部10的指示来决定。控制部10对解析部12a发出检查模式的处理开始的指示。解析部12a从存储器102读出载入存储器102中的存储介质103的与检查模式对应的程序并由处理器101来执行，由此切换为检查模式。解析部12a从输入部11接收照相机2拍摄的对象物3的图像数据。另外，对象物3的要检查的图像数据是要检查的对象物的数据的一例。
在步骤S21中，解析部12a判定是进一步接收图像数据，还是结束接收图像数据。这里，图像数据接收的结束判定可以由解析部12a决定，也可以根据来自控制部10的指示来决定。在由解析部12a决定的情况下，例如考虑在接收到的图像数据的张数达到预先指定的张数的时刻结束图像数据的接收。预先指定的张数例如是1张、10张等。在根据来自控制部10的指示来决定的情况下，例如考虑控制部10经由输入输出部15从输入输出装置4接收图像数据的接收结束指示，将其发送到解析部12a。
在步骤S22中，解析部12a根据步骤S21的判定结果，返回图像数据的接收或进入接下来的步骤。在图像数据接收结束判定的结果判断为需要进一步接收图像数据的情况下，步骤S22成为“否”，再次返回S20。在判断为图像数据取得结束的情况下，步骤S22成为“是”，进入接下来的步骤。
在步骤S23中，解析部12a对控制部10发送读出请求，以读出学习模式中学习的结果。存储部13a根据来自控制部10的指示，从存储介质103读出必要的学习结果，将其输入到解析部12a。这里读出的学习结果是与学习模式中使用的维度压缩方法步骤S13对应的学习结果。即，在实施方式1中，作为例子而使用了主成分分析，因此，表示主成分的矢量即d维度的主成分(u1、u2、…、ud)的值成为读出的学习结果。
在步骤S24中，解析部12a根据读出的学习结果，进行接收到的要检查的图像数据的维度压缩。维度压缩的方法是与学习模式中使用的维度压缩方法步骤S13对应的维度压缩的方法。在学习模式中得到表示主成分的矢量即d维度的主成分(u1、u2、…、ud)的值，因此，将要检查的图像数据投影到d维度的矢量，由此进行维度压缩。解析部12a向判定部14a发送要检查的图像数据和作为对要检查的图像数据进行维度压缩的结果的矢量。这里，A是接下来的处理，在后面详细叙述。
图6是示出本发明的实施方式1的检查装置1的检查模式中的动作的流程图的一部分。下面，使用图6对检查装置1的检查模式中的动作的后续动作进行说明。
在步骤S30中，作为步骤S24之后的A的处理的后续处理，控制部10在解析部12a的处理完成后，对判定部14a发出处理开始的指示。判定部14a根据来自控制部10的指示，从存储器102读出载入到存储器102中的存储介质103的程序并由处理器101来执行。首先，判定部14a将从解析部12a接收到的作为对要检查的图像数据进行维度压缩的结果的矢量复原为图像数据。这里，关于复原图像数据的方法，进行与步骤S24的维度压缩中使用的方法相同的复原。即，在实施方式1中，使用主成分分析进行复原。
在维度压缩中使用主成分分析的情况下，接收到的作为对要检查的图像数据进行维度压缩的结果的矢量利用图4所示的低维度部分空间表示，因此，将其投影到与原来的图像数据相同维度的空间，由此进行图像数据的复原。
在步骤S31中，判定部14a计算复原后的图像数据与要检查的图像数据之间的差分。此时，关于差分，按照每个像素计算差分。另外，差分也可以设为绝对值差分。这里，下面，将复原后的图像数据记载为复原数据。
图7是设印刷基板为对象物3、检查基板上是否没有异常的例子。在图7中，左图是要检查的图像数据，中央图是复原数据，右图是表示要检查的图像数据与复原数据之间的差分的数据。在右图的表示要检查的图像数据与复原数据之间的差分的数据中，越黑则表示差分越小，越白则表示差分越大。当前，在作为要检查的对象物3的基板正常的情况下，即使进行维度压缩，也能够复原与要检查的图像数据大致相同的图像数据。这是因为，在学习模式中，学习了高效示出正常图像数据的特征的方法，在检查模式中，如果要检查的对象物3正常，则与学习中使用的正常图像数据极其相似的图像数据成为要检查的图像数据。
因此，如图7所示，即使计算复原数据与要检查的图像数据之间的差分，在图像数据整体范围内，差分值也大致为零。
另一方面，在要检查的对象物3存在异常的情况下，当使用利用正常图像数据学习的结果进行维度压缩时，无法正确复原与正常图像数据显著不同的部分。
图8是作为要检查的对象物3的基板的一部分存在缺损的情况的例子。在图8中，左图是要检查的图像数据，中央图是复原数据，右图是表示要检查的图像数据与复原数据之间的差分的数据。在右图的表示要检查的图像数据与复原数据之间的差分的数据中，越黑则表示差分越小，越白则表示差分越大。该情况下，关于正常部分，在复原数据中正确被复原，但是，关于缺损部分，由于是根据学习模式中使用的正常图像数据进行复原，因此无法正确复原。
因此，如图8所示，当计算复原数据与要检查的图像数据之间的差分时，仅作为异常部分的与正常图像数据不同的部位之间的差分较大。
返回图6，在步骤S32中，判定部14a根据复原数据与要检查的图像数据之间的差分，将表示要检查的图像数据是否存在异常的判定结果输出到输入输出部15。判定部14a对复原数据与要检查的图像数据之间的差分进行阈值处理，设差分值小于阈值的像素的值为0，设阈值以上的像素的值为1。这里，也可以颠倒0和1，还可以使用其他值。
例如考虑根据来自控制部10的指示来决定阈值。该情况下，控制部10经由输入输出部15从输入输出装置4接收阈值，将其发送到解析部12a。
此外，判定部14a也可以读出并使用存储器102或存储介质103中存储的阈值的值。该情况下预先存储的阈值的值例如为100、200等。
进而，判定部14a也可以根据差分值的分布自适应地决定阈值。在决定了某个阈值时，当设具有该阈值以上的像素值的像素的集合为类1、除此以外的像素的集合为类2时，根据类1和类2的像素值求出类间方差和类内方差，以使得根据这些值计算的分离度最大的方式决定阈值。
图9是阈值处理的结果。设为通过阈值处理得到图9这样的结果。其中，在图9中，黑色所示的区域是小于阈值的区域，白色所示的区域是阈值以上的区域。
如图9中虚线所示，判定部14a求出与白区域外接的矩形，向输入输出部15发送该位置存在异常。这里，下面，将与白区域外接的矩形记载为边界框。另外，作为要发送的信息，是边界框的左上坐标、纵宽、横宽等。另外，判定部14a也可以不向输入输出部15发送边界框，而向输入输出部15发送存在异常的像素的全部位置。
此外，判定部14a也可以向输入输出部15发送计算出的差分图像数据。
另外，也可以针对边界框的位置或大小设置条件，忽略不满足该条件的边界框。由此，能够防止图像数据中的对象区域外的误检测，能够防止噪声引起的误检测。
例如考虑根据来自控制部10的指示来决定针对边界框的条件。该情况下，控制部10经由输入输出部15从输入输出装置4接收条件，将其发送到解析部12a。
此外，判定部14a也可以读出并使用存储器102或存储介质103中存储的条件。关于该情况下预先存储的条件，例如举出边界框的纵宽为3像素以上、边界框的横宽为3像素以上、位于用于限定检查对象区域的二维掩模内等。
图10是用于限定检查对象区域的二维掩模的例子。在图10中，左图是要检查的图像数据，右图是二维掩模。判定部14a使右图的二维掩模自适应于左图的要检查的图像数据。在图10的右图的二维掩模中，白色所示的区域是检查对象区域，黑色所示的区域是边界框。因此，在使右图的二维掩模自适应于左图的要检查的图像数据的情况下，即使在与右图的二维掩模的黑色所示的边界框内对应的左图的区域内存在异常，也被忽略。
返回图6，在检查模式的情况下，控制部10在判定部14a的处理完成后，对输入输出部15发出处理开始的指示。输入输出部15根据来自控制部10的指示，从输入输出装置4向外部输出从判定部14a接收到的判定结果。另外，这里，假设作业者在外部确认输入输出装置4，但是不需要必须这样，特别地，也可以向外部的控制装置等输出信号，而不介入作业者。
图11是输入输出装置4在其结构中包含显示器的情况下、输入输出部15对输入输出装置4进行指示的显示内容的例子。
图11示出判定部14a中未检测到异常的情况。该情况下，仅直接显示要检查的图像数据，并且显示用于通知没有异常的消息。用于通知没有异常的消息例如举出图11的左上方所示的OK标记。另外，也可以不是OK标记，而是没有异常、正常、○标记等标记。
图12是输入输出装置4在其结构中包含显示器的情况下、输入输出部15对输入输出装置4进行指示的显示内容的另一例。
图12示出判定部14a中检测到2处异常的情况。该情况下，利用虚线针对要检查的图像数据重叠显示检测到的异常部位，并且显示用于通知检测到异常的消息。用于通知检测到异常的消息例如举出图12的左上方所示的NG标记。另外，也可以不是NG标记，而是异常、非正常、×标记等标记。此外，也可以在异常部位标注“检查！”标记作为消息。根据从判定部14a接收到的边界框确定异常部位。判定部14a或输入输出部15都可以根据边界框确定异常部位。另外，可以显示边界框，也可以不显示边界框。
图13是输入输出装置4在其结构中包含显示器的情况下、输入输出部15对输入输出装置4进行指示的显示内容的又一例。
图13与图12同样示出判定部14a中检测到2处异常的情况。但是，不是直接示出检测到的异常部位，而是在左侧显示要检查的图像数据，在右侧显示对要检查的图像数据合成了由判定部14a计算出的差分图像数据的差分合成图像数据。关于差分合成图像数据，越黑则表示差分越小，越白则表示差分越大。这样，图13的右侧的差分合成图像数据中明显白色的部分在要检查的图像数据中作为与正常状态之间的差分较大的部位而显著明显地看到，因此，进行异常检查的作业者能够容易地掌握应该关注的部位。与图12同样，判定部14a或输入输出部15都可以根据边界框确定异常部位。
另外，图11、图12、图13所示的输入输出装置4中的显示方法只不过是例子，实际上还考虑使用它们的组合或与它们不同的显示方法。此外，有时输入输出装置4不是显示器，而由扬声器构成，该情况下，还考虑通过语音、音乐等向外部输出信息。
到存在断开电源或进行结束操作等处理结束的触发为止，反复进行上述这种学习模式的处理和检查模式的处理，由此，缓和了对象物3与照相机2的可靠固定以及按照拍摄对象物3而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物3有无缺损、误配置、缺陷等异常。另外，设为反复进行学习模式的处理和检查模式的处理，但是，也可以仅进行1次学习模式的处理而不反复进行。同样，也可以仅进行1次检查模式的处理而不反复进行。
本实施方式1的检查系统中包含的检查装置1对不包含异常的对象物3的数据进行维度压缩，由此计算表示不包含异常的对象物3的数据的性质的参数，使用参数对要检查的对象物3的数据进行维度压缩，生成对维度压缩后的要检查的对象物3的数据进行了复原的复原数据，根据要检查的对象物3的数据与复原数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果，因此，与现有的检查装置相比，缓和了对象物3与照相机2的可靠固定以及按照拍摄对象物3而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物3有无缺损、误配置、缺陷等异常。
此外，本实施方式1的检查系统中包含的检查装置1通过使用主成分分析的维度压缩，能够得到有效的特征，该特征是仅取出正常图像数据中共通出现的表示对象物3的数据的性质的参数而得到的。在该过程中舍去相同种类的对象物3之间的偏差、拍摄定时不同所引起的图像数据的偏差、照相机的噪声等这样的不需要的信息，因此，数据尺寸减小，能够削减存储介质103所需要的存储容量。
进而，本实施方式1的检查系统中包含的检查装置1根据正常图像数据学习正常状态的对象物3的图像数据并进行检查，因此，利用者、开发者等不需要定义异常状态。因此，异常状态的定义不会存在遗漏，不会漏掉异常，任何异常都能够通用地应用。
另外，在上述本实施方式1的检查系统中，设检查装置1、照相机2和输入输出装置4为分离的结构，但是，也可以构成为将照相机2或输入输出装置4或照相机2和输入输出装置4双方包含在检查装置1中。这样构成的检查系统也能够得到上述实施方式1的效果。
在上述本实施方式1的检查系统中，判定部14a利用与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原，根据复原后的图像数据即复原数据与要检查的对象物3的图像数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果。而且，判定部14a是合并了复原部和判定部的部的一例。但是，利用与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原的复原部也可以独立地设置在检查装置1中，解析部12a也可以具有复原部的功能。这样构成的检查系统也能够得到上述实施方式1的效果。
在上述本实施方式1的检查系统中，解析部12a在对象物3的维度压缩中使用主成分分析，存储部13a存储主成分分析的结果，判定部14a使用主成分分析进行复原，但是，在对象物3存在多个种类的情况下，也可以按照对象物3的每个种类变更维度压缩方法。例如，也可以是，在第1种对象物3中，解析部12a在第1种对象物3的维度压缩中使用主成分分析，存储部13a存储主成分分析的结果，判定部14a使用主成分分析进行复原，在第2种对象物3中，解析部12a在第2种对象物3的维度压缩中使用线性判别分析，存储部13a存储线性判别分析的结果，判定部14a使用线性判别分析进行复原等。另外，对象物3的种类可以是任意的，对象物3的种类与维度压缩方法的组合是任意的。但是，在相同种类的对象物3的情况下，使用相同的维度压缩的方法。这样构成的检查系统也能够得到上述实施方式1的效果。
实施方式2
在实施方式1中，解析部12a在对象物3的维度压缩中使用主成分分析，存储部13a存储主成分分析的结果，判定部14a使用主成分分析进行复原。主成分分析是线性维度压缩方法的代表例。如图14～图20所示，实施方式2的解析部12b、存储部13b和判定部14b在维度压缩中使用利用神经网络的自编码器。利用神经网络的自编码器作为能够进行非线性维度压缩的方法是公知的。因此，与作为线性维度压缩方法的主成分分析相比，能够进行非线性维度压缩，因此，能够更加高效地获得特征。除此以外与实施方式1相同。
图14是包含本发明的实施方式2的检查装置200的检查系统的功能框图。在以下的说明中，对已经说明的结构和动作标注相同标号并省略重复说明。
在实施方式2中，代替实施方式1的图1的解析部12a、存储部13a和判定部14a而追加解析部12b、存储部13b和判定部14b作为功能框图的结构。
解析部12b代替实施方式1的解析部12a的维度压缩中使用的主成分分析而使用利用神经网络的自编码器进行维度压缩。除此以外与解析部12a相同。
代替存储实施方式1的存储部13a中存储的主成分分析的学习结果并读出主成分分析的学习结果并将其输入到解析部12a，由存储部13b存储利用神经网络的自编码器的学习结果并读出利用神经网络的自编码器的学习结果，将其输入到解析部12b。除此以外与存储部13a相同。
判定部14b代替实施方式1的判定部14b的复原中使用的主成分分析而使用利用神经网络的自编码器进行复原。除此以外与判定部14a相同。
本发明的实施方式2的检查装置200的硬件结构图与实施方式1的图2相同。解析部12b的硬件结构与解析部12a相同，存储部13b的硬件结构与存储部13a相同，判定部14b的硬件结构与判定部14a相同。
接着，对本发明的实施方式2的检查装置200的学习模式中的动作进行说明。
图15是示出本发明的实施方式2的检查装置200的学习模式中的动作的流程图。下面，使用图15对检查装置200的学习模式中的动作进行说明。
步骤S40、步骤S41、步骤S42与实施方式1的步骤S10、步骤S11、步骤S12相同。但是，代替解析部12a而由解析部12b进行处理。
在步骤S43中，解析部12b使用接收到的正常图像数据进行维度压缩。这里，与实施方式1同样，维度压缩是指将图像数据、三维立体数据等高维度数据转换为低维度数据。解析部12b在学习模式中使用正常图像数据进行学习，获得最适合于正常图像数据的数据转换方法。下面，作为维度压缩的方法，对使用基于神经网络的自编码器的情况进行说明。
神经网络是指利用计算机模拟通过突触呈网络状连接的神经元利用其中流过的电流的强弱进行学习、图案识别等这样的人脑的机理，最简单的模型被称为感知器。
图16是将神经元模型化为多输入单输出的节点的图。
如图16所示，感知器是将神经元模型化为多输入单输出的节点的图。与实施方式1同样，设步骤S40中接收到的每1张正常图像数据的像素数的总数为K，设维度的个数为j。例如，如果正常图像数据的尺寸为32像素×32像素，则K的值为1024，如果正常图像数据的尺寸为640像素×640像素，则K的值为409600等。感知器由利用权重wj对输入数据即正常图像数据的像素xj进行加权并减去偏置b而得到的线性加权和、以及根据该线性加权和的正负而输出1和0的阈值逻辑函数z(u)构成。另外，输入数据即正常图像数据的像素xj的集合成为正常图像数据的矢量x，权重wj的集合成为权重矢量w。当设y为输出数据时，感知器利用式(6)表示。另外，图16是针对1张图像数据的计算，在1000张图像数据的情况下，进行1000次同样的计算。
【数学式6】
其中，
式(6)成为根据输入数据即正常图像数据的像素xj的阈值逻辑函数z(u)属于类c1还是属于类c2而取1或0的值的2类识别函数。识别函数例如预先准备汇集了狗的图像数据的类c1和汇集了猫的图像数据的类c2，对各个图像数据贴上是狗的图像数据的标签、是猫的图像数据的标签。在将作为输入数据而未贴标签的狗的图像数据输入到识别函数中时，根据类c1的狗的图像数据和类c2的猫的图像数据，判定作为输入数据而未贴标签的图像数据是类c1的狗的图像数据还是类c2的猫的图像数据，判定为作为输入数据而未贴标签的狗的图像数据是狗的图像数据。另外，感知器中的阈值逻辑函数z(u)能够通过更加一般地被称为激活函数的其他各种函数进行置换。例如举出S形函数、ReLU等。
在式(6)中，预先准备多个属于类c1的数据和属于类c2的数据。这里，将预先准备的属于类c1的数据和属于类c2的数据记载为学习数据。学习权重矢量w，以使得针对学习数据能够识别属于类c1还是属于类c2，由此，在输入新的数据时，能够识别其类。权重矢量w的值是表示对象物3的数据的性质的参数的一例。
图17是沙漏型神经网络的例子。
如图17所示，自编码器是位于输入数据的输入层与输出数据的输出层的中间的隐藏层的节点数比输入层和输出层的节点数小的沙漏型神经网络。另外，图17所示的网络的左端是输入层，图17所示的网络的右端是输出层，图17所示的网络的中间是隐藏层。这里，与图16同样，设步骤S40中接收到的每1张正常图像数据的像素数的总数为K，设维度的个数为j。例如，如果正常图像数据的尺寸为32像素×32像素，则K的值为1024，如果正常图像数据的尺寸为640像素×640像素，则K的值为409600等。输入数据设为正常图像数据的像素xj的集合即正常图像数据的矢量x，设权重wj的集合为权重矢量w。此外，设隐藏层的矢量为aj。输出数据是与正常图像数据的像素xj的集合即正常图像数据的矢量x大致相同的像素yj的集合即图像数据的矢量y，权重vj的集合成为权重矢量v。当对输入数据即正常图像数据的像素xj的集合的正常图像数据的矢量x施加作为权重wj的集合的权重矢量w时，成为隐藏层的矢量aj，当对隐藏层的矢量aj施加作为权重vj的集合的权重矢量v时，成为与正常图像数据的像素xj的集合即正常图像数据的矢量x大致相同的像素yj的集合即图像数据的矢量y。隐藏层的矢量aj表示图像数据中主要成分，权重矢量w的值和权重矢量v的值是表示对象物3的数据的性质的参数的一例。另外，图17是针对1张图像数据的计算，在1000张图像数据的情况下，进行1000次同样的计算。
自编码器学习各节点的权重，以使得针对学习数据，输入数据和输出数据大致一致。由此，公知得到在隐藏层中尽可能保存输入数据的信息且低维度化的特征。
返回图15，在步骤S43中，设步骤S40中取得的正常图像数据为输入数据，学习输入数据和输出数据大致一致的自编码器，由此，能够在隐藏层中仅取出正常图像数据中共通出现的重要成分。即，学习如下的自编码器：作为输入数据而输入的正常图像数据和通过隐藏层而输出的对输入数据进行复原后的图像数据相对于正常图像数据中共通出现的重要成分一致。另一方面，能够将相同种类的物体之间的偏差、拍摄定时不同所引起的图像的偏差、照相机的噪声等这样的不需要的成分排除。
图18是示出对自编码器的隐藏层的总数进行了变更时的状况的一例。
图17所示的自编码器的隐藏层为1层，但是，其总数能够自由变更。总数的变更容易，如图18的(1)所示，首先，使图17所示的隐藏层为1层的自编码器进行学习。然后，如图18的(2)所示，去除自编码器的输出层，保留输入层和隐藏层，由此得到对输入数据的维度进行压缩的网络。接着，如图18的(3)所示，通过将该维度压缩后的数据为输入数据来新学习与图18的(1)不同的权重矢量的自编码器，由此能够进一步对维度进行压缩。
这里，自编码器的层数是左右实施方式2的检查装置200的性能的重要参数。通过适当设定层数，能够仅取出S40中取得的正常图像数据中共通出现的重要成分。另一方面，能够将相同种类的对象物3之间的偏差、拍摄定时不同所引起的图像数据的偏差、照相机的噪声等这样的不需要的成分排除。
但是，当层数过大时会将重要成分排除，此外，当层数过小时会残留不需要的成分。
例如考虑根据来自控制部10的指示来决定层数。该情况下，控制部10经由输入输出部15从输入输出装置4接收层数，将其发送到解析部12b。
此外，解析部12b也可以读出并使用存储器102或存储介质103中存储的层数的值。该情况下预先存储的层数的值例如考虑设为5左右、10左右等。
返回图15，在步骤S24中，进行维度压缩后，解析部12b向存储部13b发送各节点的权重矢量的值作为学习了正常图像数据的结果。另外，根据层数，要存储的权重矢量的值的数量也不同。存储部13b根据来自控制部10的指示将从解析部12b输出的学习结果保存在存储介质103中。另外，存储部13b根据来自控制部10的指示将从解析部12b输出的学习结果保存在存储介质103中，但是，保存场所也可以是存储器102。
在学习模式的情况下，控制部10在解析部12a的处理完成后，对输入输出部15发出处理开始的指示。输入输出部15根据来自控制部10的指示，从输入输出装置4向外部输出表示学习的进度状况等的信息。另外，这里，假设作业者在外部确认输入输出装置4，但是不需要必须这样，特别地，也可以向外部的控制装置输出信号，而不介入作业者。
图19是示出本发明的实施方式2的检查装置200的检查模式中的动作的流程图的一部分。下面，使用图19对检查装置200的检查模式中的动作进行说明。
步骤S50、步骤S51、步骤S52与实施方式1的步骤S20、步骤S21、步骤S22相同。但是，代替解析部12a而由解析部12b进行处理。
在步骤S53中，解析部12b对控制部10发送读出请求，以读出学习模式中学习的结果。存储部13b根据来自控制部10的指示，从存储介质103读出必要的学习结果，将其输入到解析部12b。这里读出的学习结果是与学习模式中使用的维度压缩方法步骤S43对应的学习结果。即，在实施方式2中，作为例子，使用利用神经网络的自编码器，因此，各节点的权重矢量的值成为读出的学习结果。
在步骤S54中，解析部12b根据读出的学习结果，进行接收到的要检查的图像数据的维度压缩。维度压缩的方法是与学习模式中使用的维度压缩方法步骤S43对应的维度压缩的方法。在学习模式中得到各节点的权重矢量的值，因此，通过对使用相同权重的神经网络输入要检查的图像数据，能够进行维度压缩。解析部12b向判定部14b发送要检查的图像数据和作为对要检查的图像数据进行维度压缩的结果的矢量。作为对要检查的图像数据进行维度压缩的结果的矢量成为输出层的值即输出数据。这里，B是接下来的处理，在后面详细叙述。
图20是示出本发明的实施方式2的检查装置200的检查模式中的动作的流程图的一部分。下面，使用图20对检查装置200的检查模式中的动作的后续动作进行说明。
在步骤S60中，作为步骤S54之后的B的处理的后续处理，控制部10在解析部12b的处理完成后，对判定部14b发出处理开始的指示。判定部14b根据来自控制部10的指示，从存储器102读出载入到存储器102中的存储介质103的程序并由处理器101来执行。首先，判定部14b将从解析部12b接收到的作为对要检查的图像数据进行维度压缩的结果的矢量复原为图像数据。这里，关于复原图像数据的方法，进行与步骤S54的维度压缩中使用的方法相同的复原。即，在实施方式2中，使用基于神经网络的自编码器进行复原。
在维度压缩中使用神经网络的情况下，神经网络的输出成为1维度矢量，因此，通过将其排列成二维的排列，进行图像数据的复原。另外，根据所使用的神经网络的种类，有时神经网络的输出成为二维的图像数据。该情况下，不需要进行图像数据的复原处理。
步骤S61、步骤S62与实施方式1的步骤S31、步骤S32相同。但是，代替解析部12a而由解析部12b进行处理，代替存储部13a而由存储部13b进行处理，代替判定部14a而由判定部14b进行处理。
反复进行上述这种学习模式的处理和检查模式的处理，直到存在断开电源或进行结束操作等处理的结束的触发为止，由此，缓和了对象物3与照相机2的可靠固定以及按照拍摄对象物3而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物3有无缺损、误配置、缺陷等异常。另外，设为反复进行学习模式的处理和检查模式的处理，但是，也可以仅进行1次学习模式的处理而不反复进行。同样，也可以仅进行1次检查模式的处理而不反复进行。
如上所述，本实施方式2的检查系统中包含的检查装置200对不包含异常的对象物3的数据进行维度压缩，由此计算表示不包含异常的对象物3的数据的性质的参数，使用参数对要检查的对象物3的数据进行维度压缩，生成对维度压缩后的要检查的对象物3的数据进行了复原的复原数据，根据要检查的对象物3的数据与复原数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果，因此，与现有的检查装置相比，缓和了对象物3与照相机2的可靠固定以及按照拍摄对象物3而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物3有无缺损、误配置、缺陷等异常。
此外，本实施方式2的检查系统中包含的检查装置200通过使用基于神经网络的自编码器的维度压缩，能够得到有效的特征，该特征是仅取出正常图像数据中共通出现的参数而得到的。在该过程中舍去相同种类的对象物3之间的偏差、拍摄定时不同所引起的图像数据的偏差、照相机的噪声等这样的不需要的信息，因此，数据尺寸减小，能够削减存储介质103所需要的存储容量。
进而，本实施方式2的检查系统中包含的检查装置200根据正常图像数据学习正常状态的对象物3的图像数据，进行检查，因此，利用者、开发者等不需要定义异常状态。因此，异常状态的定义不会存在遗漏，不会漏掉异常，任何异常都能够通用地应用。
在本实施方式2的检查系统中包含的检查装置200中，自编码器与作为线性维度压缩方法的主成分分析相比，能够进行非线性维度压缩，因此，能够更加高效地获得特征。
另外，在上述本实施方式2的检查系统中，设检查装置200、照相机2和输入输出装置4为分离的结构，但是，也可以构成为将照相机2或输入输出装置4或照相机2和输入输出装置4双方包含在检查装置200中。这样构成的检查系统也能够得到上述实施方式2的效果。
在上述本实施方式2的检查系统中，判定部14b利用与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原，根据复原后的图像数据即复原数据与要检查的对象物3的图像数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果。而且，判定部14b是合并了复原部和判定部的部的一例。但是，利用与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原的复原部也可以独立地设置在检查装置200中，解析部12b也可以具有复原部的功能。这样构成的检查系统也能够得到上述实施方式2的效果。
在上述本实施方式2的检查系统中，解析部12b在对象物3的维度压缩中使用基于神经网络的自编码器，存储部13b存储基于神经网络的自编码器的结果，判定部14b使用基于神经网络的自编码器进行复原，但是，在对象物3存在多个种类的情况下，也可以按照对象物3的每个种类变更维度压缩方法。例如，也可以是，在第1种对象物3中，解析部12b在第1种对象物3的维度压缩中使用基于神经网络的自编码器，存储部13b存储基于神经网络的自编码器的结果，判定部14b使用基于神经网络的自编码器进行复原，在第2种对象物3中，解析部12b在第2种对象物3的维度压缩中使用线性判别分析，存储部13b存储线性判别分析的结果，判定部14b使用线性判别分析进行复原等。另外，对象物3的种类可以是任意的，对象物3的种类与维度压缩方法的组合是任意的。但是，在相同种类的对象物3的情况下，使用相同的维度压缩的方法。这样构成的检查系统也能够得到上述实施方式2的效果。
在上述本实施方式2的检查系统中，解析部12b在对象物3的维度压缩中使用基于神经网络的自编码器，但是，自编码器是基于神经网络的维度压缩方法中最简单的方式，因此，也可以使用更加复杂的方式。这样构成的检查系统在上述实施方式2的效果的基础上，还能够得到能够进一步提高性能这样的效果。作为更加复杂的方式的例子，存在使用卷积神经网络(Convolutional Neural Network)、生成性对抗网络(Generative AdversarialNetwork)等的方法。在实施方式2的检查装置1中，可以使用这样各种维度压缩方法中的任意一方，根据使用的方法，将图15的步骤S43、步骤S44、图19的步骤S53、步骤S54、图20的步骤S60中的基于神经网络的自编码器的处理方法变更为卷积神经网络或GenerativeAdversarial Network等即可。
实施方式3
在实施方式1中，对不包含异常的对象物3的数据进行维度压缩，由此计算表示不包含异常的对象物3的数据的性质的参数，使用参数对要检查的对象物3的数据进行维度压缩，生成对维度压缩后的要检查的对象物3的数据进行复原的复原数据，根据要检查的对象物3的数据与复原数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果。在实施方式3中，如图21～图23所示，设计减小复原数据与要检查的图像数据之间的误差的滤波器，并且新追加使用该设计的滤波器对复原数据进行滤波的校正部16，代替判定部14a而具有判定部14c。因此，例如在由于学习模式中使用的学习用的正常图像数据的不足等而在复原数据与要检查的图像数据之间产生显著误差的情况下，通过在校正部16中减少两者的误差，也能够提高后续判定部14c中的判定精度。除此以外与实施方式1相同。
图21是包含本发明的实施方式3的检查装置300的检查系统的功能框图。在以下的说明中，对已经说明的结构和动作标注相同标号并省略重复说明。
在实施方式3中，代替实施方式1的图1的判定部14a而追加判定部14c，进而新追加校正部16作为功能框图的结构。
校正部16利用与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原，设计对复原数据与要检查的图像数据之间的误差进行校正的滤波器，并使用该设计的滤波器对复原数据进行滤波，生成校正数据。校正数据是使用滤波器对复原数据进行滤波而校正的复原数据，该滤波器对复原数据与要检查的对象物的数据之间的误差进行校正。另外，校正部16是合并了复原部和校正部的部的一例。
判定部14c根据由校正部16复原和校正后的图像数据即校正数据与要检查的对象物3的图像数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果。另外，判定部14c与具有复原部的14a不同，复原是由校正部16进行的，因此，判定部14c不进行复原。除此以外与判定部14a相同。
本发明的实施方式3的检查装置300的硬件结构图与实施方式1的图2相同。判定部14c的硬件结构与判定部14a相同。此外，处理器101读入并执行载入到存储器102中的存储介质103的程序，由此实现校正部16。
示出本发明的实施方式3的检查装置300的学习模式中的动作的流程图与实施方式1的图3相同。
示出本发明的实施方式3的检查装置300的检查模式中的动作的流程图的一部分与实施方式1的图5相同。
图22是示出本发明的实施方式3的检查装置300的检查模式中的动作的流程图的一部分。下面，使用图22对检查装置300的检查模式中的动作的后续动作进行说明。
在步骤S70中，作为步骤S24之后的A的处理的后续处理，控制部10在解析部12a的处理完成后，对校正部16发出处理开始的指示。校正部16根据来自控制部10的指示，从存储器102读出载入到存储器102中的存储介质103的程序并由处理器101来执行。首先，校正部16接收从解析部12a接收到的作为对要检查的图像数据进行维度压缩的结果的矢量以及要检查的图像数据，将接收到的作为对要检查的图像数据进行维度压缩的结果的矢量复原为图像数据。图像数据的复原的方法与实施方式1的图6的步骤S30中的判定部14a进行的方法相同。
在步骤S71中，校正部16设计减小复原后的复原数据与要检查的图像数据之间的误差的滤波器。由此，例如在由于学习模式中使用的学习用的正常图像数据的不足等而在复原数据与要检查的图像数据之间产生显著误差的情况下，通过在校正部16中减少两者的误差，也能够提高后续判定部14c中的判定精度。
在某个信号由于噪声而劣化的情况下，作为用于对其进行复原的滤波器，存在逆滤波器、维纳滤波器、自适应滤波器、噪声去除滤波器等。这里，在本发明的实施方式3中，劣化前的原信号即要检查的图像数据已知，因此，使用维纳滤波器是最有效的。下面，作为例子，叙述维纳滤波器的设计方法。
考虑用于根据劣化的信号g复原原信号f的空间滤波器k。此时，在频率区域内，劣化信号的傅里叶变换G用原信号的傅里叶变换F与点扩散函数的傅里叶变换H之积表示。因此，在点扩散函数已知的情况下，如式(7)所示，使用逆滤波器Kinv对劣化信号进行滤波，由此，能够如式(8)那样求出原信号的傅里叶变换F。
【数学式7】
【数学式8】
这里，考虑频率区域中的噪声的劣化过程如式(9)那样表示。其中，N表示噪声的傅里叶变换。
【数学式9】
G＝FH+N…(9)
此时，使复原数据f’与作为原信号的要检查的图像数据即元数据f之间的误差最小的滤波器Kw由式(10)给出。
【数学式10】
将由式(10)表示的滤波器Kw称为维纳滤波器。
返回图22，在步骤S72中，校正部16针对复原数据，使用滤波器Kw进行滤波来进行校正后，向判定部14c发送要检查的图像数据和校正数据。这里，C是接下来的处理，在后面详细叙述。
图23是示出本发明的实施方式3的检查装置300的检查模式中的动作的流程图的一部分。下面，使用图23对检查装置300的检查模式中的动作的后续动作进行说明。
在步骤S80中，作为步骤S72之后的C的处理的后续处理，控制部10对判定部14c发出处理开始的指示。判定部14c根据来自控制部10的指示，从存储器102读出载入到存储器102中的存储介质103的程序并由处理器101来执行。首先，判定部14c从校正部16接收要检查的图像数据和校正数据。判定部14c计算校正数据与要检查的图像数据之间的差分。除了上述以外，判定部14c进行与图6的步骤S31的判定部14a相同的处理。
步骤S81与实施方式1的步骤S32相同。但是，代替判定部a而由判定部14c进行处理。
反复进行上述这种学习模式的处理和检查模式的处理，直到存在断开电源或进行结束操作等处理结束的触发为止，由此，缓和了对象物3与照相机2的可靠固定以及按照拍摄对象物3而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物3有无缺损、误配置、缺陷等异常。另外，设为反复进行学习模式的处理和检查模式的处理，但是，也可以仅进行1次学习模式的处理而不反复进行。同样，也可以仅进行1次检查模式的处理而不反复进行。
如上所述，本实施方式3的检查系统中包含的检查装置300对不包含异常的对象物3的数据进行维度压缩，由此计算表示不包含异常的对象物3的数据的性质的参数，使用参数对要检查的对象物3的数据进行维度压缩，生成对维度压缩后的要检查的对象物3的数据进行了复原的复原数据，根据要检查的对象物3的数据与复原数据之间的差分的大小，向输入输出部15输出表示要检查的对象物3是否异常的判定结果，因此，与现有的检查装置相比，缓和了对象物3与照相机2的可靠固定以及按照拍摄对象物3而取得的图像数据的每个像素进行高精度的位置对齐这样的制约，并且能够检查对象物3有无缺损、误配置、缺陷等异常。
此外，本实施方式3的检查系统中包含的检查装置300通过使用主成分分析的维度压缩，能够得到有效的特征，该特征是仅取出正常图像数据中共通出现的表示对象物3的数据的性质的参数而得到的。在该过程中舍去相同种类的对象物3之间的偏差、拍摄定时不同所引起的图像数据的偏差、照相机的噪声等这样的不需要的信息，因此，数据尺寸减小，能够削减存储介质103所需要的存储容量。
进而，本实施方式3的检查系统中包含的检查装置300根据正常图像数据学习正常状态的对象物3的图像数据并进行检查，因此，利用者、开发者等不需要定义异常状态。因此，异常状态的定义不会存在遗漏，不会漏掉异常，任何异常都能够通用地应用。
本实施方式3的检查系统中包含的检查装置300新追加了校正部16，该校正部16设计减小根据维度压缩后的要检查的对象物3的图像数据而复原的复原数据与要检查的图像数据之间的误差的滤波器，使用该设计的滤波器对复原数据进行滤波，代替判定部14a而具有判定部14c。因此，例如在由于学习模式中使用的学习用的正常图像数据的不足等而在复原数据与要检查的图像数据之间产生显著误差的情况下，通过在校正部16中减少两者的误差，也能够提高后续判定部14c中的判定精度。
另外，在上述本实施方式3的检查系统中，设检查装置300、照相机2和输入输出装置4为分离的结构，但是，也可以构成为将照相机2或输入输出装置4或照相机2和输入输出装置4双方包含在检查装置300中。这样构成的检查系统也能够得到上述实施方式3的效果。
在上述本实施方式3的检查系统中，校正部16设计对复原数据与要检查的图像数据之间的误差进行校正的滤波器，并且使用该设计的滤波器对复原数据进行滤波。而且，校正部16是合并了复原部和校正部的部的一例。但是，利用与维度压缩中使用的方法相同的方法对维度压缩后的要检查的对象物3的图像数据进行复原的复原部也可以独立地设置在检查装置300中，解析部12a也可以具有复原部的功能。这样构成的检查系统也能够得到上述实施方式3的效果。
在上述本实施方式3的检查系统中，解析部12a在对象物3的维度压缩中使用主成分分析，存储部13a存储主成分分析的结果，校正部16使用主成分分析进行复原，但是，在对象物3存在多个种类的情况下，也可以按照对象物3的每个种类变更维度压缩方法。例如，也可以是，在第1种对象物3中，解析部12a在第1种对象物3的维度压缩中使用主成分分析，存储部13a存储主成分分析的结果，校正部16使用主成分分析进行复原，在第2种对象物3中，解析部12a在第2种对象物3的维度压缩中使用线性判别分析，存储部13a存储线性判别分析的结果，校正部16使用线性判别分析进行复原等。另外，对象物3的种类可以是任意的，对象物3的种类与维度压缩方法的组合是任意的。但是，在相同种类的对象物3的情况下，使用相同的维度压缩的方法。这样构成的检查系统也能够得到上述实施方式3的效果。
在上述本实施方式3的检查系统中，解析部12a在对象物3的维度压缩中使用主成分分析，但是，也可以使用基于神经网络的自编码器或卷积神经网络(ConvolutionalNeural Network)、生成性对抗网络(Generative Adversarial Network)等比基于神经网络的自编码器更加复杂的方式。这样构成的检查系统在上述实施方式3的效果的基础上，还能够得到能够进一步提高性能这样的效果。在实施方式3的检查装置300中，可以使用这样各种维度压缩方法中的任意一方。
但是，上述实施方式所示的具有检查装置的检查系统只不过是一例，能够适当组合来构成，不限于实施方式单独的结构。
标号说明
1、200、300：检查装置；2：照相机；3：对象物；4：输入输出装置；10：控制部；11：输入部；12a、12b：解析部；13a、13b：存储部；14a、14b、14c：判定部；15：输入输出部；16：校正部；100：输入输出IF；101：处理器；102：存储器；103：存储介质；104：总线。

Claims (15)

1.一种检查装置，其具有：
解析部，其对不包含异常的对象物的数据进行减少数据的维度的维度压缩，由此计算表示不包含所述异常的对象物的数据的性质的参数，使用所述参数对要检查的对象物的数据进行维度压缩；
复原部，其生成复原数据，该复原数据是对由所述解析部进行维度压缩后的所述要检查的对象物的数据进行复原而得到的；
判定部，其根据所述要检查的对象物的数据与所述复原数据之间的差分的大小，输出表示所述要检查的对象物是否异常的判定结果；以及
输出部，其输出所述判定部输出的所述判定结果。
2.根据权利要求1所述的检查装置，其中，
所述检查装置具有存储部，该存储部存储所述解析部计算出的所述参数，
所述解析部使用所述存储部中存储的所述参数对所述要检查的对象物的数据进行维度压缩。
3.根据权利要求1或2所述的检查装置，其中，
所述检查装置具有校正部，该校正部使用滤波器对所述复原部复原后的复原数据进行滤波而生成校正后的复原数据，其中，该滤波器对所述复原部复原后的复原数据与所述要检查的对象物的数据之间的误差进行校正，
所述判定部根据所述要检查的对象物的数据与校正后的所述复原数据之间的差分的大小，输出表示所述要检查的对象物是否异常的判定结果。
4.根据权利要求3所述的检查装置，其中，
所述滤波器是维纳滤波器。
5.根据权利要求1～4中的任意一项所述的检查装置，其中，
所述判定部在所述差分为阈值以上时，输出表示所述要检查的对象物异常的判定结果。
6.根据权利要求1～5中的任意一项所述的检查装置，其中，
所述不包含异常的对象物的数据是不包含异常的对象物的图像数据，
所述要检查的对象物的数据是要检查的对象物的图像数据。
7.根据权利要求1～6中的任意一项所述的检查装置，其中，
所述维度压缩使用主成分分析。
8.根据权利要求1～6中的任意一项所述的检查装置，其中，
所述维度压缩使用利用神经网络的自编码器。
9.根据权利要求8所述的检查装置，其中，
所述复原部使用所述参数生成所述复原数据。
10.根据权利要求5所述的检查装置，其中，
所述判定部计算边界框，该边界框是与输出了表示所述要检查的对象物异常的判定结果的所述差分为阈值以上的区域外接的矩形，
所述输出部输出由所述判定部计算出的所述边界框作为所述判定结果。
11.根据权利要求10所述的检查装置，其中，
所述输出部以利用虚线在所述要检查的对象物的图像数据上重叠显示根据所述边界框确定的所述要检查的对象物的图像数据的异常部位的方式进行输出。
12.根据权利要求10所述的检查装置，其中，
所述输出部输出差分合成图像数据，该差分合成图像数据是对所述要检查的对象物的图像数据合成了所述差分的图像数据而得到的。
13.根据权利要求1～12中的任意一项所述的检查装置，其中，
所述输出部在所述判定部输出表示所述要检查的对象物异常的判定结果的情况下，以显示用于通知检测到异常的消息的方式进行输出。
14.根据权利要求1～13中的任意一项所述的检查装置，其中，
所述检查装置具有显示部，该显示部显示所述输出部输出的所述判定结果。
15.一种检查方法，其具有以下步骤：
对不包含异常的对象物的数据进行减少数据的维度的维度压缩，由此计算表示不包含所述异常的对象物的数据的性质的参数，使用存储介质中存储的所述参数对要检查的对象物的数据进行维度压缩；
生成复原数据，该复原数据是对维度压缩后的所述要检查的对象物的数据进行复原而得到的；
根据所述要检查的对象物的数据与所述复原数据之间的差分的大小，输出表示所述要检查的对象物是否异常的判定结果；以及
输出所述判定结果。
CN201680091308.9A 2016-12-06 2016-12-06 检查装置和检查方法 Active CN110036279B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086138 WO2018105028A1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法

Publications (2)

Publication Number Publication Date
CN110036279A true CN110036279A (zh) 2019-07-19
CN110036279B CN110036279B (zh) 2022-03-15

Family

ID=60570330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091308.9A Active CN110036279B (zh) 2016-12-06 2016-12-06 检查装置和检查方法

Country Status (7)

Country Link
US (1) US11645744B2 (zh)
JP (1) JP6241576B1 (zh)
KR (1) KR102011628B1 (zh)
CN (1) CN110036279B (zh)
DE (1) DE112016007498B4 (zh)
TW (1) TWI638157B (zh)
WO (1) WO2018105028A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315368A (zh) * 2023-10-23 2023-12-29 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195119A (ja) * 2017-05-18 2018-12-06 住友電装株式会社 異変検出装置及び異変検出方法
KR102171491B1 (ko) * 2017-12-21 2020-10-29 동의대학교 산학협력단 딥러닝을 이용한 양품 선별 방법
JP2021042955A (ja) * 2017-12-27 2021-03-18 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
US20190205751A1 (en) * 2017-12-29 2019-07-04 University Of Southern California Method for prioritizing candidate objects
EP3748575A4 (en) 2018-01-29 2021-03-10 NEC Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND RECORDING MEDIUM
JP6693684B2 (ja) 2018-03-29 2020-05-13 三菱電機株式会社 異常検査装置および異常検査方法
JP2019178941A (ja) * 2018-03-30 2019-10-17 リコーエレメックス株式会社 検査システムおよび検査方法
JP6424309B1 (ja) * 2018-08-15 2018-11-14 裕樹 有光 採寸値に基づく３次元モデルを生成するプログラム及び装置
JP6760503B2 (ja) * 2018-08-31 2020-09-23 東芝三菱電機産業システム株式会社 製造プロセス監視装置
WO2020110224A1 (ja) * 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
JP2020139905A (ja) 2019-03-01 2020-09-03 セイコーエプソン株式会社 検査装置、検査方法、およびプログラム
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
WO2020202352A1 (ja) 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路及びペン状態検出方法
JP6683960B1 (ja) * 2019-05-20 2020-04-22 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP6737487B1 (ja) * 2019-05-20 2020-08-12 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020201800A (ja) * 2019-06-12 2020-12-17 株式会社日立製作所 自動点検システム及び無線子機
JP2021009441A (ja) * 2019-06-28 2021-01-28 ルネサスエレクトロニクス株式会社 異常検知システム及び異常検知プログラム
JP2021089219A (ja) * 2019-12-05 2021-06-10 東洋製罐グループホールディングス株式会社 画像検査システム、及び画像検査方法
DE112020006786T5 (de) * 2020-04-27 2023-01-12 Mitsubishi Electric Corporation Bilduntersuchungsvorrichtung und Bilduntersuchungsverfahren
JP7270842B2 (ja) * 2020-04-28 2023-05-10 三菱電機株式会社 外観検査装置および外観検査方法
JP6989860B2 (ja) * 2020-05-02 2022-01-12 Ａｒｉｔｈｍｅｒ株式会社 画像検査装置、画像検査方法及びプログラム
KR102437115B1 (ko) * 2020-06-04 2022-08-29 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
JPWO2022201968A1 (zh) 2021-03-26 2022-09-29
JP2022191966A (ja) * 2021-06-16 2022-12-28 株式会社日立製作所 異常判定用計算機及び異常判定方法
TWI803353B (zh) * 2022-04-19 2023-05-21 南亞科技股份有限公司 晶圓檢測方法
JP7386287B1 (ja) 2022-05-09 2023-11-24 Ｊｆｅテクノリサーチ株式会社 検査方法及び検査装置
CN114782445B (zh) * 2022-06-22 2022-10-11 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
TWI819698B (zh) * 2022-07-14 2023-10-21 友達光電股份有限公司 判斷瑕疵的方法及電子裝置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1209693A (en) * 1983-06-02 1986-08-12 Craig C. Todd Helical scan recording and playback systems
US5235680A (en) * 1987-07-31 1993-08-10 Moore Business Forms, Inc. Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
US5394473A (en) * 1990-04-12 1995-02-28 Dolby Laboratories Licensing Corporation Adaptive-block-length, adaptive-transforn, and adaptive-window transform coder, decoder, and encoder/decoder for high-quality audio
WO1996018951A1 (en) * 1994-12-13 1996-06-20 Alexander Atkinson Dunn Methods and apparatus for protection of executable programs, libraries and data
CA2595719A1 (en) * 1997-07-15 1999-01-28 Silverbrook Research Pty. Limited Image transformation means including user interface
JP2000346627A (ja) * 1999-06-07 2000-12-15 Toray Eng Co Ltd 検査装置
CN101796399A (zh) * 2007-09-05 2010-08-04 株式会社尼康 观察装置和观察方法以及检查装置和检查方法
CN102110285A (zh) * 2009-12-28 2011-06-29 佳能株式会社 数据校正设备、其控制方法以及图像判别设备
JP2013032995A (ja) * 2011-08-03 2013-02-14 Oobitto:Kk 検査プログラム、同プログラムを格納した記録媒体及び検査装置
CN104427853A (zh) * 2013-09-10 2015-03-18 Juki株式会社 检查方法、安装方法以及安装装置
CN104704806A (zh) * 2013-03-28 2015-06-10 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、程序以及记录介质
CN105426902A (zh) * 2015-09-16 2016-03-23 西安印钞有限公司 基于形变复原技术的钞券质量检测系统及方法
JP2016091359A (ja) * 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US20180198992A1 (en) * 2016-08-30 2018-07-12 Shenzhen University Infrared image reconstruction method based on block-sparse compressive sensing and system thereof

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60251771A (ja) * 1984-05-29 1985-12-12 Ricoh Co Ltd 画像デ−タ圧縮再生方法及び装置
JPH0695728B2 (ja) * 1984-05-29 1994-11-24 株式会社リコー 画像データ圧縮再生装置
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
KR100885940B1 (ko) * 2000-06-27 2009-02-26 가부시키가이샤 에바라 세이사꾸쇼 하전입자선에 의한 검사장치 및 그 검사장치를 사용한장치제조방법
KR100425447B1 (ko) 2001-05-10 2004-03-30 삼성전자주식회사 명도 보정 및 선택적 결함 검출 방법 및 이를 기록한 기록매체
JP3904419B2 (ja) * 2001-09-13 2007-04-11 株式会社日立製作所 検査装置および検査システム
CN100582753C (zh) * 2001-11-28 2010-01-20 应用材料有限公司 探测缺陷的方法
JP2005156516A (ja) 2003-11-05 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP4550559B2 (ja) 2004-11-24 2010-09-22 シャープ株式会社 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP4637642B2 (ja) * 2005-05-18 2011-02-23 株式会社日立ハイテクノロジーズ パターン間の欠陥検査装置および方法
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP2009032273A (ja) * 2008-08-29 2009-02-12 Olympus Corp 分類装置
JP5301955B2 (ja) * 2008-11-13 2013-09-25 オリンパス株式会社 欠陥修正装置
JP5247480B2 (ja) * 2009-01-13 2013-07-24 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5695924B2 (ja) * 2010-02-01 2015-04-08 株式会社ニューフレアテクノロジー 欠陥推定装置および欠陥推定方法並びに検査装置および検査方法
DE102012101242A1 (de) * 2012-02-16 2013-08-22 Hseb Dresden Gmbh Inspektionsverfahren
CN102881029A (zh) 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
JP5944850B2 (ja) * 2013-03-11 2016-07-05 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
US9710728B2 (en) * 2014-10-28 2017-07-18 Kla-Tencor Corporation Image based signal response metrology
JP2016139467A (ja) * 2015-01-26 2016-08-04 株式会社日立ハイテクノロジーズ 試料観察方法および試料観察装置
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
TWI571701B (zh) * 2015-04-30 2017-02-21 力晶科技股份有限公司 偵測微影熱點的方法
US10416087B2 (en) * 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US9915625B2 (en) * 2016-01-04 2018-03-13 Kla-Tencor Corp. Optical die to database inspection
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US10031997B1 (en) * 2016-11-29 2018-07-24 Taiwan Semiconductor Manufacturing Co., Ltd. Forecasting wafer defects using frequency domain analysis

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1209693A (en) * 1983-06-02 1986-08-12 Craig C. Todd Helical scan recording and playback systems
US5235680A (en) * 1987-07-31 1993-08-10 Moore Business Forms, Inc. Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
US5235680B1 (en) * 1987-07-31 1999-06-22 Moore Business Forms Inc Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
US5394473A (en) * 1990-04-12 1995-02-28 Dolby Laboratories Licensing Corporation Adaptive-block-length, adaptive-transforn, and adaptive-window transform coder, decoder, and encoder/decoder for high-quality audio
WO1996018951A1 (en) * 1994-12-13 1996-06-20 Alexander Atkinson Dunn Methods and apparatus for protection of executable programs, libraries and data
CA2595719A1 (en) * 1997-07-15 1999-01-28 Silverbrook Research Pty. Limited Image transformation means including user interface
JP2000346627A (ja) * 1999-06-07 2000-12-15 Toray Eng Co Ltd 検査装置
CN101796399A (zh) * 2007-09-05 2010-08-04 株式会社尼康 观察装置和观察方法以及检查装置和检查方法
CN102110285A (zh) * 2009-12-28 2011-06-29 佳能株式会社 数据校正设备、其控制方法以及图像判别设备
JP2011138388A (ja) * 2009-12-28 2011-07-14 Canon Inc データ補正装置及び方法
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
JP2013032995A (ja) * 2011-08-03 2013-02-14 Oobitto:Kk 検査プログラム、同プログラムを格納した記録媒体及び検査装置
CN104704806A (zh) * 2013-03-28 2015-06-10 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、程序以及记录介质
CN104427853A (zh) * 2013-09-10 2015-03-18 Juki株式会社 检查方法、安装方法以及安装装置
JP2016091359A (ja) * 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
CN105426902A (zh) * 2015-09-16 2016-03-23 西安印钞有限公司 基于形变复原技术的钞券质量检测系统及方法
US20180198992A1 (en) * 2016-08-30 2018-07-12 Shenzhen University Infrared image reconstruction method based on block-sparse compressive sensing and system thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
甘胜丰: "《机器视觉表面缺陷检测技术及其在钢铁工业中的应用》", 30 June 2017, 华中科技大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315368A (zh) * 2023-10-23 2023-12-29 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法
CN117315368B (zh) * 2023-10-23 2024-04-23 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Also Published As

Publication number Publication date
JPWO2018105028A1 (ja) 2018-12-06
KR20190065457A (ko) 2019-06-11
TW201821788A (zh) 2018-06-16
DE112016007498T5 (de) 2019-08-29
US20210295485A1 (en) 2021-09-23
DE112016007498B4 (de) 2020-11-26
KR102011628B1 (ko) 2019-08-16
TWI638157B (zh) 2018-10-11
US11645744B2 (en) 2023-05-09
JP6241576B1 (ja) 2017-12-06
WO2018105028A1 (ja) 2018-06-14
CN110036279B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN110036279A (zh) 检查装置和检查方法
CN108230318B (zh) 钢包缺陷检测分类方法、装置、设备及计算机可读介质
CN108230317A (zh) 钢板缺陷检测分类方法、装置、设备及计算机可读介质
CN110852983A (zh) 用于检测半导体装置中的缺陷的方法
CN110852162B (zh) 一种人体完整度数据标注方法、装置及终端设备
KR102246266B1 (ko) 레이블 정보에 대한 피드백을 제공하는 방법 및 시스템
CN110879982A (zh) 一种人群计数系统及方法
CN108932705A (zh) 一种基于矩阵变量变分自编码器的图像处理方法
US11710552B2 (en) Method and system for refining label information
EP3690658B1 (en) Method for detecting repair-necessary motherboards and device using the method
CN105190546B (zh) 成本计算装置、成本计算方法及计算机可读记录介质
US20210089005A1 (en) Control device, control system, control method, and computer-readable storage medium
CN108764100A (zh) 一种目标行为检测方法及服务器
CN110210530A (zh) 基于机器视觉的智能监控方法、装置、设备、系统和存储介质
US11144702B2 (en) Methods and systems for wafer image generation
CN108182444A (zh) 基于场景分类的视频质量诊断的方法及装置
KR20210018114A (ko) 교차 도메인 메트릭 학습 시스템 및 방법
CN111339920A (zh) 加钞行为检测方法、装置、系统、存储介质及电子终端
US20220222580A1 (en) Deterioration detection method, non-transitory computer-readable storage medium, and information processing device
US20220092448A1 (en) Method and system for providing annotation information for target data through hint-based machine learning model
KR102236802B1 (ko) 진단 모델용 데이터의 특징 추출 장치 및 방법
WO2021012894A1 (zh) 获取神经网络测试报告的方法、装置、设备和存储介质
CN112001044B (zh) 零件cad模型相似度估算方法与系统
JP2024014250A (ja) 電子制御装置、及び評価の十分性を評価するためのデータを出力する方法
US20220237895A1 (en) Class determination system, class determination method, and class determination program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant