CN111902712A - 异常检查装置及异常检查方法 - Google Patents

异常检查装置及异常检查方法 Download PDF

Info

Publication number
CN111902712A
CN111902712A CN201880091679.6A CN201880091679A CN111902712A CN 111902712 A CN111902712 A CN 111902712A CN 201880091679 A CN201880091679 A CN 201880091679A CN 111902712 A CN111902712 A CN 111902712A
Authority
CN
China
Prior art keywords
image
domain
abnormality
unit
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091679.6A
Other languages
English (en)
Other versions
CN111902712B (zh
Inventor
宫泽一之
杉本和夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111902712A publication Critical patent/CN111902712A/zh
Application granted granted Critical
Publication of CN111902712B publication Critical patent/CN111902712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

具有：图像取得部(11)，其取得拍摄到检查对象的对象物(3)的判定对象图像；学习结果取得部(123)，其取得将拍摄到正常状态的对象物(3)的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；判定对象图像解析部(122)，其针对判定对象图像，使用机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及判定部(14)，其将判定对象图像和域变换后图像进行比较，对在判定对象图像中所拍摄到的对象物(3)是否发生了异常进行判定。

Description

异常检查装置及异常检查方法
技术领域
本发明涉及对在物体中是否发生了异常进行检查的异常检查装置及异常检查方法。
背景技术
对通过照相机等拍摄物体而得到的图像进行解析，由此机械自动地检查在物体中是否发生了异常的技术，例如是为了使在工业产品的制造过程中进行的通过目视实施的外观检查实现自动化或者省力化的重要技术。
例如，在专利文献1中公开了下述检查装置，即，关于从同一规格的多个对象物中的规定数单独地取得的数字图像，针对具有同一坐标的每个像素而计算特性的统计量，创建设定良好像素范围，针对从所要检查的对象物取得的数字图像，针对每个像素对特性是否属于设定良好像素范围进行判定。
专利文献1：日本特开2013－32995号公报
发明内容
在以专利文献1所公开的技术为代表的现有技术中，拍摄对象物时的对象物和照相机的位置关系必须始终恒定。另外，全部图像必须高精度地对位。因此，在进行异常判定时，存在会受到由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响这一课题。
本发明就是为了解决上述这样的课题而提出的，其目的在于提供不受由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响，就能够检查对象物的异常的异常检查装置及异常检查方法。
本发明所涉及的异常检查装置具有：图像取得部，其取得拍摄到检查对象的对象物的判定对象图像；学习结果取得部，其取得将拍摄到正常状态的对象物的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；判定对象图像解析部，其针对由图像取得部取得的判定对象图像，使用由学习结果取得部取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及判定部，其将由图像取得部取得的判定对象图像和由判定对象图像解析部取得的域变换后图像进行比较，对在判定对象图像中拍摄到的对象物是否发生了异常进行判定。
发明的效果
根据本发明，不受由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响，就能够检查对象物的异常。
附图说明
图1是表示实施方式1所涉及的异常检查装置的结构例的图。
图2是用于说明图像的域变换的图。
图3是表示照片域和范围域以外的域的图像的例子的图。
图4是表示使用神经网络而进行图像的域变换的情形的图。
图5是在实施方式1中，用于说明由判定对象图像解析部针对判定对象图像进行的域变换的图。
图6是表示在实施方式1中，在判定对象图像中发生了异常的情况下的、判定对象图像和域变换后图像的一个例子的图。
图7是在实施方式1中，用于说明判定对象图像为正常图像的情况下的、判定对象图像和域变换后图像的差分绝对值的图。
图8是在实施方式1中，用于说明在判定对象图像中发生了异常的情况下的、判定对象图像和域变换后图像的差分绝对值的图。
图9是在实施方式1中，用于说明判定部针对差分图像进行阈值处理而得到的结果的一个例子的图。
图10是在实施方式1中，用于说明在存储部中作为边界条件而存储的2维掩模的一个例子的图，图10B示出了2维掩模的成像，图10A示出了将由图10B表示的2维掩模叠加于判定对象图像而得到的成像。
图11A、图11B是表示发明的实施方式1所涉及的异常检查装置的硬件结构的一个例子的图。
图12是在实施方式1中，用于说明“学习模式”中的异常检查装置的动作的流程图。
图13是在实施方式1中，对正常图像解析部通过图12的步骤ST1202实施的域变换学习处理的详细内容进行说明的流程图。
图14是在实施方式1中，用于说明“检查模式”中的异常检查装置的动作的流程图。
图15在实施方式1中，对判定对象图像解析部通过图14的步骤ST1402实施的域变换后图像取得处理的详细内容进行说明的流程图。
图16是在实施方式1中，对判定部通过图14的步骤ST1403实施的异常判定处理的详细内容进行说明的流程图。
图17是在实施方式1中，用于说明对输入输出装置从输入输出部发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的一个例子的图。
图18是在实施方式1中，用于说明对输入输出装置从输入输出部发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的另一个例子的图。
图19是在实施方式1中，用于说明对输入输出装置从输入输出部发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的另一个例子的图。
图20是表示实施方式2所涉及的异常检查装置的结构例的图。
图21是表示在实施方式2中，异常解析部将边界框和范围域的图像重叠后的图像的成像的一个例子的图。
图22是在实施方式2中，用于说明“检查模式”中的异常检查装置的动作的流程图。
图23是在实施方式2中，对异常解析部通过图22的步骤ST2204实施的异常解析处理的详细内容进行说明的流程图。
具体实施方式
下面，参照附图对本发明的实施方式详细地进行说明。
实施方式1.
在下面的说明中，将在成为由实施方式1所涉及的异常检查装置1判定异常的对象的判定对象图像(详细内容在后面记述。)中拍摄到的、检查对象的物体称为“对象物”。对象物例如包含电路基板或者配线等至少能够进行外观检查的所有的物体。
图1是表示实施方式1所涉及的异常检查装置1的结构例的图。
异常检查装置1例如经由网络而与照相机2及输入输出装置4连接。
异常检查装置1从照相机2取得拍摄到对象物3的图像，判定在对象物中是否发生了异常，将判定结果输出至输入输出装置4。下面，将拍摄到对象物3的图像称为“拍摄图像”。
输入输出装置4例如具有显示器、扬声器、键盘或者鼠标等。
此外，在实施方式1中，如图1所示，异常检查装置1构成为经由网络而与照相机2及输入输出装置4连接，但这只是一个例子，也可以构成为异常检查装置1具有照相机2及输入输出装置4。
异常检查装置1具有控制部10、图像取得部11、图像解析部12、存储部13、判定部14及输入输出部15。
图像解析部12具有正常图像解析部121、判定对象图像解析部122和学习结果取得部123。
控制部10对图像取得部11、图像解析部12、判定部14及输入输出部15的动作进行控制。
图像取得部11经由网络从照相机2取得拍摄图像。
图像取得部11从照相机2接收拍摄图像的定时，例如可以设为1秒钟30次等预先决定的定时，也可以基于来自控制部10的指示而决定。此外，在这里，以由图像取得部11取得的拍摄图像进行了数字化为前提，但并不一定限定于此。
图像取得部11将所取得的拍摄图像输出至图像解析部12。
图像解析部12进行与2个动作模式相对应的处理。
在实施方式1中，异常检查装置1实施2个动作模式。将由异常检查装置1实施的2个动作模式分别称为“学习模式”和“检查模式”。
异常检查装置1在“学习模式”中，基于拍摄到不包含异常的正常状态的对象物3的大于或等于1张拍摄图像，通过机械学习，对应该如何进行对象物3正常状态下的域变换进行学习。关于域变换在后面记述。
下面，将拍摄图像中的、拍摄到不包含异常的正常状态的对象物3的拍摄图像称为“正常图像”。
另外，异常检查装置1在“检查模式”中，基于拍摄到对象物3的拍摄图像，判定在该拍摄图像中所拍摄到的对象物3中是否发生了异常。下面，将拍摄图像中的、成为判定是否发生了异常的对象的拍摄图像称为“判定对象图像”。
在异常检查装置1中，“检查模式”是在“学习模式”的动作完成之后进行的。
另外，在“学习模式”中，是以对象物3为不包含异常的正常状态为前提的。因此，在“学习模式”中，由图像取得部11取得的拍摄图像全部是正常图像。
如果是相同种类的物体，则异常检查装置1将多个不同的物体作为对象物3，从照相机2取得不同的多个对象物3在正常状态下被拍摄到的正常图像，学习对象物3为正常的状态。
此外，在“学习模式”中，照相机2作为机械学习用途，在正常图像的基础上，取得与该正常图像相对应的其他域的图像。关于其他域的图像的详细内容在后面记述。
图像解析部12的正常图像解析部121进行与“学习模式”相对应的处理，图像解析部12的判定对象图像解析部122及学习结果取得部123进行与“检查模式”相对应的处理。
图像解析部12的正常图像解析部121在“学习模式”中，从图像取得部11取得指定出的张数(例如，1000张)的正常图像，基于所取得的正常图像而实施域变换学习处理。
域变换学习是指对应该如何进行对象物3正常状态下的域变换进行学习的机械学习。
在正常图像解析部121进行域变换学习时使用的正常图像的张数可以预先指定，也可以从控制部10指定。
具体地说，例如在设为预先指定了正常图像的张数这一张数的情况下，正常图像解析部121在从图像取得部11取得的正常图像的张数达到预先指定出的张数的情况下，结束正常图像的取得。
另外，例如在将正常图像的张数设为基于来自控制部10的指示的张数的情况下，正常图像解析部121直至从控制部10输出了图像取得结束指示为止，持续取得从图像取得部11输出的正常图像。正常图像解析部121如果从控制部10输出了图像取得结束指示，则结束正常图像的取得。控制部10从用户接收图像取得结束指示。具体地说，例如用户从输入输出装置4输入图像取得结束指示。控制部10接收输入的图像取得结束指示，对正常图像解析部121输出图像取得结束指示。
在这里，对图像的域变换进行说明。
图2是用于说明图像的域变换的图。
图像的域是指图像的类型，图像的域变换是指将某个域的图像变换为与该某个域不同的域的图像。
在图2中，作为域的例子，示出了将电路基板通过通常的照相机进行拍摄而得到的图像(照片域的图像。参照图2的201)和电路基板上的针对部件而分离出的范围域的图像(参照图2的202)。在实施方式1中，图像取得部11从照相机2取得的拍摄图像是照片域的图像。
在图2的范围域的图像的例子中，示出了电路基板上的基板区域(参照图2的2021)、配线区域(参照图2的2022)和IC区域(参照图2的2023)。
在域变换中，在将照片域的图像进行变换而取得范围域的图像后，还能够将该范围域的图像再次变换而取得照片域的图像。
如图2所示，例如，将从照片域的图像向范围域的图像的域变换称为“域正变换”，将从范围域的图像向照片域的图像的域变换称为“域逆变换”。
此外，在图2中，关于照片域的图像和范围域的图像进行了叙述，但作为图像的域可举出各种域。
图3示出了照片域和范围域以外的域的图像的例子。
图3所示的边缘域的图像(参照图3的301)是从照片域的图像仅提取出边缘的图像。另外，图3所示的CAD(Computer Aided Design)域的图像(参照图3的302)是通过CAD软件描绘的图像。
已知上述这样的图像的域变换能够通过使用神经网络的机械学习而高精度地执行(例如，非参照专利文献1)。
非参照专利文献1：Phillip Isola、Jun－Yan Zhu、Tinghui Zhou、and AlexeiA.Efros、“Image－to－Image Translation with Conditional Adversarial Nets、”Conference on Computer Vision and Pattern Recognition(2017).
在这里，图4是表示使用神经网络而进行图像的域变换的情形的图。
在图4中，作为一个例子，示出了使用神经网络而在照片域的图像和范围域的图像之间进行图像的域变换的情形。
另外，在图4中，示出了在神经网络中使用已知对图像处理发挥特别高的效果的卷积神经网络而进行图像的域变换的情形。
卷积神经网络是神经网络的一种，重复将许多滤波器卷积于输入图像，一边使空间方向的维数或者通道数变化，一边最终地得到期望的结果。
在图4中，作为一个例子，示出了将滤波器的横向的长度设为W、将高度设为H、将通道数设为C。
对于神经网络的结构想到各种结构。在图4所示的域变换中所使用的神经网络的例子中，首先，在一边重复卷积、一边削减空间方向的维度并使通道数增加后，削减通道数并使空间方向的维度增加。通过该变换，最终得到具有与输入图像的维数和通道数一致的维数和通道数的输出图像。
此外，图4所示的域变换的情形只是一个例子，域变换并不限定于使用神经网络而进行。
另外，在域变换使用神经网络的情况下，所使用的神经网络并不限定于卷积神经网络。作为在域变换中使用的神经网络，例如也能够使用全耦合神经网络，或者将卷积神经网络和全耦合神经网络组合后的神经网络等任意的网络。
正常图像解析部121关于在域变换学习中使用的大于或等于1正常图像的各个图像，取得对应的其他域的图像，使神经网络进行用于进行域正变换及域逆变换的学习。正常图像是照片域的图像，因此上述其他域的图像成为照片域以外的域的图像。在图4的例子中，其他域的图像是范围域的图像。
正常图像解析部121将正常图像和其他域的图像用作教师数据，使神经网络进行用于进行从照片域的图像即正常图像向范围域的图像的域正变换、及从范围域的图像向正常图像的域逆变换的学习。
在这里，神经网络的学习是指将网络的各边缘中的权重进行优化，以使得针对学习用数据而得到期望的结果，在卷积神经网络的情况下相当于对滤波器的系数进行优化。在域正变换中，进行学习以使得对被输入的正常图像进行变换后的结果接近对应的范围域的图像，在逆变换中，进行学习以使得对被输入的范围域的图像进行变换后的结果接近对应的正常图像。此外，用于正变换的神经网络和用于逆变换的神经网络可以是完全相同的结构，也可以是不同的结构。
此外，正常图像解析部121能够通过针对图像的滤波处理等而取得对应的其他域的图像。例如，如果将对应的其他域的图像设为边缘的图像，则通过针对变换源的图像即正常图像应用边缘检测滤波器，从而能够取得变换目标的图像即其他域的图像。除此以外，例如，也可以是用户预先生成对应的其他域的图像，正常图像解析部121取得预先生成的其他域的图像。例如，如果对应的其他域的图像是将正常图像针对每个区域进行分割后的图像，则用户通过针对正常图像使用图像编辑软件等进行区域分割，从而能够生成其他域的图像。
正常图像解析部121在域变换学习后，作为学习结果，使对进行域正变换及域逆变换的神经网络的结构进行规定的信息存储于存储部13。
图像解析部12使存储部13存储的、对神经网络的结构进行规定的信息，是指将学习时的神经网络的输入输出进行再现所需的充分的信息。在如上所述的信息中，具体地说，包含神经网络的隐藏层的数量或者各层中的单元的数量等与神经网络的构造相关的信息和通过学习而得到的权重的信息。
图像解析部12的判定对象图像解析部122在“检查模式”中，从图像取得部11得到指定出的张数(例如，1张)的拍摄图像，基于该拍摄图像各自的图像，实施域变换后图像取得处理。下面，将判定对象图像解析部122从图像取得部11取得的拍摄图像中的、在“检查模式”中为了对成为异常的判定对象的对象物3的异常进行判定所取得的图像称为“判定对象图像”。判定对象图像是用户拍摄成为检查对象的对象物3而得到的拍摄图像。在域变换后图像取得处理中，判定对象图像解析部122关于各判定对象图像，生成对在该判定对象图像中所拍摄到的对象物3中是否发生了异常进行判定时使用的域变换后图像。关于域变换后图像在后面记述。
具体地说，首先，判定对象图像解析部122从图像取得部11取得指定出的张数的判定对象图像。
判定对象图像解析部122为了域变换后图像取得处理而取得的判定对象图像的张数可以预先指定，也可以从控制部10指定。判定对象图像解析部122取得所指定的张数的判定对象图像的具体的方法，与正常图像解析部121在“学习模式”中，取得所指定的张数的正常图像的具体的方法相同。
接下来，判定对象图像解析部122使用在存储部13中存储的、对神经网络的结构进行规定的信息，进行针对判定对象图像的域变换。
具体地说，后面记述的学习结果取得部123取得在存储部13中存储的、对神经网络的结构进行规定的信息，将所取得的信息输出至判定对象图像解析部122。判定对象图像解析部122使用从学习结果取得部123输出的信息，进行针对判定对象图像的域变换。
学习结果取得部123从存储部13取得的、对神经网络的结构进行规定的信息是在“学习模式”中，正常图像解析部121作为学习结果所存储的信息。
在这里，图5是在实施方式1中，用于说明判定对象图像解析部122针对判定对象图像进行的域变换的图。
如图5所示，判定对象图像解析部122首先通过域正变换对判定对象图像进行变换，取得范围域的图像。下面，将由判定对象图像解析部122在“检查模式”中，针对判定对象图像进行域正变换而取得的范围域的图像称为“域正变换图像”。此外，如上所述，在实施方式1中，图像取得部11从照相机2取得的图像是照片域的图像，因此判定对象图像也是照片域的图像。
接下来，判定对象图像解析部122通过域逆变换对域正变换图像的图像再次进行变换，取得照片域的图像。
此外，在实施方式1中，判定对象图像解析部122如图5所示，设为进行将照片域的图像变换为范围域的图像的域变换。但是，这只是一个例子，判定对象图像解析部122能够进行将照片域的图像变换为任意的域的图像的域变换。
而且，判定对象图像解析部122将从图像取得部11取得的判定对象图像和针对该判定对象图像依次进行域正变换及域逆变换而取得的照片域的图像输出至判定部14。
下面，将由判定对象图像解析部122在“检查模式”中，针对判定对象图像依次进行域正变换及域逆变换而取得的照片域的图像称为“域变换后图像”。
此外，在实施方式1中，判定对象图像解析部122设为在域正变换及域逆变换这两者中使用神经网络，但这只是一个例子。判定对象图像解析部122无需一定在域正变换及域逆变换这两者中使用神经网络，也可以仅在域正变换及域逆变换的任一者使用神经网络。
图像解析部12的学习结果取得部123在“检查模式”中，取得在存储部13中存储的学习结果。在存储部13中存储的学习结果是指，在“学习模式”中，正常图像解析部121作为学习结果所存储的、对进行域正变换及域逆变换的神经网络的结构进行规定的信息等。
此外，图像解析部12基于来自控制部10的指示，对通过正常图像解析部121实施的“学习模式”下的动作和通过判定对象图像解析部122及学习结果取得部123实施的“检查模式”下的动作进行切换。
存储部13存储由正常图像解析部121通过“学习模式”进行了域变换学习的学习结果，即，存储规定进行域正变换及域逆变换的神经网络的结构的信息等。
此外，在实施方式1中，如图1所示，存储部13设置于异常检查装置1，但并不限定于此，存储部13也可以设置于异常检查装置1的外部的、异常检查装置1能够参照的场所。
判定部14在“检查模式”中，取得从判定对象图像解析部122输出的判定对象图像及域变换后图像，将所取得的判定对象图像和域变换后图像进行比较，进行对在判定对象图像中所拍摄到的对象物3中是否发生了异常进行判定的异常判定处理。
在这里，对使用域变换的异常检查的原理进行说明。
首先，在“学习模式”中，正常图像解析部121使用正常图像及与该正常图像相对应的其他域的图像而使神经网络进行学习。因此，在“检查模式”中，在判定对象图像为正常图像的情况下，基于该判定对象图像的域变换后图像与从图像取得部11取得的判定对象图像大致一致(参照图5)。
另一方面，在“检查模式”中，在判定对象图像中所拍摄到的对象物3发生了异常的情况下，该判定对象图像成为所拍摄到的对象物3的状态与正常图像解析部121使神经网络进行学习时所使用的正常图像不同的图像。因此，如果针对判定对象图像进行域正变换，则关于对象物3中的异常部分没有正确地进行域正变换。另外，最终得到的域变换后图像成为是否是正常图像而复原后的图像。即，在判定对象图像中所拍摄到的对象物3中的异常部位，在判定对象图像和域变换后图像产生了差异(参照图6)。
判定部14使用利用了上述这样的域变换的异常检查的原理，对在判定对象图像中所拍摄到的对象物3中是否发生了异常进行判定。
判定部14通过将判定对象图像和域变换后图像进行比较，从而能够进行在判定对象图像中所拍摄到的对象物3的有无异常及异常部位的检测。
关于判定部14对在判定对象图像中所拍摄到的对象物3中是否发生了异常进行判定的具体的方法进行说明。
首先，判定部14在从判定对象图像解析部122取得的判定对象图像和域变换后图像之间，对像素值的差分绝对值进行计算。
具体地说，判定部14对分别构成判定对象图像和域变换后图像的多个像素中的、处于彼此对应的位置的多个像素中的各像素的像素值间的差分绝对值进行计算。此外，在实施方式1中，像素值是指明亮度(亮度值)。
在判定对象图像为正常图像的情况下，在判定对象图像和域变换后图像之间几乎没有差异，因此判定对象图像和域变换后图像的差分绝对值在图像整体中大致成为零(参照图7)。
另一方面，在判定对象图像中所拍摄到的对象物3发生了异常的情况下，在判定对象图像和域变换后图像之间异常部位成为差异而显现，因此判定对象图像和域变换后图像的差分绝对值仅在异常部位变大(参照图8)。
判定部14基于计算出的、判定对象图像和域变换后图像之间的差分绝对值，生成将判定对象图像通过该差分绝对值表示的图像。
下面，将使判定对象图像的各像素通过该判定对象图像和域变换后图像之间的差分绝对值表示的图像称为“差分图像”。
判定部14基于生成的差分图像，如以下说明那样，针对在判定对象图像中所拍摄到的对象物3而进行是否发生了异常的判定。
判定部14针对差分图像进行阈值处理，将差分绝对值小于阈值的像素的值设为0，将差分绝对值大于或等于阈值的像素的值设为1。此外，这只是一个例子，判定部14也可以将差分绝对值小于阈值的像素的值设为1，将差分绝对值大于或等于阈值的像素的值设为0，也可以在差分绝对值小于阈值的像素的值和差分绝对值大于或等于阈值的像素的值分别使用除了1或者0以外的值。
判定部14只要将进行针对差分图像的阈值处理时的阈值通过适当的方法决定即可。例如，判定部14基于来控制部10的指示而决定阈值。具体地说，例如，用户从输入输出装置4输入阈值，控制部10接收所输入的阈值。判定部14将由控制部10接收到的阈值决定为在进行阈值处理时使用的阈值。
另外，也可以是用户等预先使阈值存储于存储部13，判定部14使用在存储部13中存储的阈值而进行阈值处理。
另外，判定部14也可以根据差分值的分布等而适当地决定阈值。此外，适当地决定阈值的方法例如在下面的非专利文献2中被公开。
Nobuyuki Otsu、“A Threshold Selection Method from Gray－LevelHistograms、”IEEE Trans.on Systems、Man、and Cybernetics、1979.
在非专利文献2所公开的方法中，如果在决定某个阈值时，将具有大于或等于该阈值的像素值的像素的集合设为类别1，将其以外的像素的集合设为类别2，则根据类别1和类别2的像素值而求出类别间分散和类别内分散，决定阈值以使得根据这些值而计算的分离度成为最大。
判定部14进行了阈值处理的结果为，将区域分为通过差分绝对值小于阈值的像素的集合而形成的区域、和通过差分绝对值大于或等于阈值的像素的集合而形成的区域，求出与大于或等于阈值的区域外接的矩形(以下称为“边界框”)。而且，判定部14将边界框所存在的部位判定为在判定对象图像中存在异常的区域。
此外，判定部14进行了阈值处理的结果为，在通过差分绝对值大于或等于阈值的像素的集合而形成的区域不存在的情况下，判定为在判定对象图像中所拍摄到的对象物3中没有发生异常。
如上所述，判定部14针对将从判定对象图像解析部122输出的判定对象图像和域变换后图像进行比较而生成的差分图像进行阈值处理，对在判定对象图像中所拍摄到的对象物3中是否发生了异常进行判定。
在这里，图9是在实施方式1中，用于说明判定部14针对差分图像进行阈值处理而得到的结果的一个例子的图。
图9的901所示的区域在差分图像中，示出了判定部14判定为小于阈值的区域，图9的902所示的区域在差分图像中，示出了判定部14判定为大于或等于阈值的区域。
图9的903所示的矩形是边界框。在判定对象图像中，边界框所存在的位置称为在拍摄到的对象物3发生了异常的位置。
判定部14如上所述对在判定对象图像中所拍摄到的对象物3中是否发生了异常进行了判定，将与判定结果相关的信息输出至输入输出部15。
在与判定结果相关的信息中，至少包含存在异常或者没有异常等对是否发生了异常进行确定的信息、及判定对象图像的信息。
另外，在判定为在判定对象图像中所拍摄到的对象物3发生了异常的情况下，判定部14将与边界框相关的信息包含于与判定结果相关的信息而输出至输入输出部15。
与边界框相关的信息例如在表示边界框的图像上，是指左上的点的坐标、边界框的纵宽或者边界框的横宽等信息。
判定部14可以将差分图像输出至输入输出部15。
此外，判定部14可以忽略相对于边界框的位置或者大小而不满足预定的条件(以下称为“边界框条件”)的边界框，不判定为是发生了异常的部位。在该情况下，判定部14在输出至输入输出部15的与判定结果相关的信息中设为包含没有异常这一主旨的信息，不包含与边界框相关的信息。通过设为上述方式，从而在差分图像中，能够防止应该设为判定是否发生了异常的对象的对象区域的范围外的异常的误检测、或者由噪声引起的异常的误检测。
判定部14只要将边界框条件通过适当的方法决定即可。
例如，判定部14能够基于来自控制部10的指示而决定边界框条件。具体地说，用户从输入输出装置4输入边界框条件，控制部10接收所输入的边界条件，指示给判定部14。
另外，例如可以是用户等预先使存储部13存储边界条件，判定部14基于在存储部13中存储的边界条件，如果存在异常则对边界框进行判定。
在存储部13中存储的边界条件，例如是以下这样的条件。
·边界框的纵宽大于或等于10像素
·边界框的横宽大于或等于10像素
·用于限定对象区域的2维掩模
在这里，图10是在实施方式1中，用于说明在存储部13中作为边界条件而存储的2维掩模的一个例子的图。图10B示出了2维掩模的成像，图10A示出了将图10B所示的2维掩模叠加于判定对象图像而得到的成像。
在图10B的2维掩模中，图10B的1001所示的区域示出了对象区域。判定部14在基于判定对象图像而生成的差分图像中，忽略在图10B的1002所示的对象区域外检测出的边界框。
返回至图1的说明。
输入输出部15将从判定部14输出的、与判定结果相关的信息发送至输入输出装置4。
在输入输出装置4中，对从输入输出部15发送出的信息进行接收，将接收到的信息例如在显示器进行显示。
用户对输入输出装置4的显示器进行确认，检测对象物3是否没有成为异常的状态。
在实施方式1中，作为一个例子，输入输出装置4例如设为是具有显示器的PC(Personal Computer)。
关于在输入输出装置4中使与判定结果相关的信息在显示器进行显示的情况下的画面例，在后面记述的动作说明中，使用附图进行说明。
此外，在实施方式1中，输入输出部15向输入输出装置4发送与判定结果相关的信息，但这只是一个例子，输入输出部15也可以将与判定结果相关的信息例如发送至外部的控制装置等。
图11A、图11B是表示实施方式1所涉及的异常检查装置1的硬件结构的一个例子的图。
在本发明的实施方式1中，控制部10、图像取得部11、图像解析部12和判定部14的功能是通过处理电路1101实现的。即，异常检查装置1具有处理电路1101，该处理电路1101用于基于所取得的图像，判定在该图像中所拍摄的对象物3中是否发生了异常，进行将判定结果进行输出的控制。
处理电路1101如图11A所示可以是专用的硬件，也可以如图11B所示是执行在存储器1106中储存的程序的CPU(Central Processing Unit)1105。
在处理电路1101为专用的硬件的情况下，处理电路1101例如相当于单一电路、复合电路、被程序化的处理器、被并行程序化的处理器、ASIC(Application SpecificIntegrated Circuit)、FPGA(Field－Programmable Gate Array)或者它们的组合。
在处理电路1101为CPU 1105的情况下，控制部10、图像取得部11、图像解析部12和判定部14的功能是通过软件、固件或者软件和固件的组合而实现的。即，控制部10、图像取得部11、图像解析部12和判定部14是通过执行在HDD(Hard Disk Drive)1102、存储器1106等中存储的程序的CPU 1105、系统LSI(Large－Scale Integration)等处理电路而实现的。另外，在HDD 1102、存储器1106等中存储的程序也可以说是使计算机执行控制部10、图像取得部11、图像解析部12和判定部14的顺序、方法的程序。在这里，存储器1106例如相当于RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable ProgrammableRead Only Memory)、EEPROM(Electrically Erasable Programmable Read－OnlyMemory)等非易失性或者易失性的半导体存储器、磁盘、软盘、光盘、压缩盘、迷你盘、DVD(Digital Versatile Disc)等。
此外，关于控制部10、图像取得部11、图像解析部12和判定部14的功能，也可以将一部分通过专用的硬件而实现，将一部分通过软件或者固件而实现。例如，关于控制部10，通过作为专用的硬件的处理电路1101而实现其功能，关于图像取得部11、图像解析部12和判定部14，能够通过处理电路读出并执行在存储器1106中储存的程序而实现其功能。
存储部13例如使用HDD 1102。此外，这只是一个例子，存储部13也可以是由DVD或者存储器1106等构成的结构。存储部13由各种记录介质构成。
另外，异常检查装置1具有与照相机2或者输入输出装置4等装置进行通信的输入接口装置1103及输出接口装置1104。
输入输出部15是由输入接口装置1103及输出接口装置1104构成的。
接下来，对实施方式1所涉及的异常检查装置1的动作进行说明。
在下面的动作说明中，分为“学习模式”中的异常检查装置1的动作和“检查模式”中的异常检查装置1的动作而分别进行说明。
首先，对“学习模式”中的异常检查装置1的动作进行说明。
图12是在实施方式1中，用于说明“学习模式”中的异常检查装置1的动作的流程图。
图像取得部11经由网络，从照相机2取得拍摄图像(步骤ST1201)。
如上所述，在“学习模式”中由图像取得部11取得的拍摄图像全部是“正常图像”。
此外，步骤ST1201的处理是控制部10从输入输出装置4接收启动信号及设定信号，对图像取得部11进行控制以使得取得拍摄图像而进行的。具体地说，例如用户在输入输出装置4中，使异常检查装置1启动而设定为“学习模式”。输入输出装置4基于来自用户的指示，向异常检查装置1发送异常检查装置1的启动信号、及将异常检查装置1设定为“学习模式”的设定信号。控制部10接收从用户输入的启动信号及设定信号。
图像取得部11将所取得的正常图像输出至图像解析部12的正常图像解析部121。
正常图像解析部121从图像取得部11取得所指定出的张数的正常图像，基于所取得的正常图像而实施域变换学习处理(步骤ST1202)。
步骤ST1202的处理是控制部10对图像解析部12指示“学习模式”下的动作而进行的。
在这里，图13是在实施方式1中，对正常图像解析部121通过图12的步骤ST1202实施的域变换学习处理的详细内容进行说明的流程图。
正常图像解析部121如果取得在图12的步骤ST1201中从图像取得部11输出的正常图像(步骤ST1301)，则进行图像取得结束判定(步骤ST1302)。
具体地说，正常图像解析部121判定是否取得了预先指定的张数的用于在进行域变换学习时使用的正常图像。
正常图像解析部121如果判定为没有取得预先指定的张数的正常图像(在步骤ST1303的“NO”的情况下)，则返回至步骤ST1301，继续取得从图像取得部11输出的正常图像。
正常图像解析部121如果判定为取得了预先指定的张数的正常图像(在步骤ST1303的“YES”的情况下)，则结束正常图像的取得，进入至步骤ST1304。
正常图像解析部121关于通过步骤ST1301从图像取得部11取得的正常图像的各个图像，取得对应的其他域的图像，使神经网络进行用于进行域正变换及域逆变换的学习(步骤ST1304)。
正常图像解析部121在步骤ST1304中使神经网络学习后，作为学习结果，使对进行域正变换及域逆变换的神经网络的结构进行规定的信息存储于存储部13(步骤ST1305)。
具体地说，正常图像解析部121经由控制部10，使对神经网络的结构进行规定的信息存储于存储部13。控制部10针对存储部13，赋予存储对神经网络的结构进行规定的信息的指示。
如上所述，在“学习模式”中，异常检查装置1基于从照相机2取得的正常图像，使在然后要实施的“检查模式”中使用的神经网络进行学习，存储对学习后的神经网络的结构进行规定的信息。
接下来，对“检查模式”中的异常检查装置1的动作进行说明。
图14是在实施方式1中，用于说明“检查模式”中的异常检查装置1的动作的流程图。
图像取得部11经由网络，从照相机2取得判定对象图像(步骤ST1401)。
此外，步骤ST1401的处理是控制部10从输入输出装置4接收启动信号及设定信号，对图像取得部11进行控制以使得取得拍摄图像而进行的。具体地说，例如用户在输入输出装置4中，使异常检查装置1启动而设定为“检查模式”。输入输出装置4基于来自用户的指示，向异常检查装置1发送异常检查装置1的启动信号、及将异常检查装置1设定为“设定模式”的设定信号。控制部10接收从用户输入的启动信号及设定信号。
图像取得部11将所取得的判定对象图像输出至图像解析部12的判定对象图像解析部122。
判定对象图像解析部122从图像取得部11取得指定出的张数的判定对象图像，基于所取得的判定对象图像，实施域变换后图像取得处理(步骤ST1402)。
步骤ST1402的处理是控制部10针对判定对象图像解析部122指示“检查模式”下的动作而进行的。
在这里，图15是在实施方式1中，对判定对象图像解析部122通过图14的步骤ST1402实施的域变换后图像取得处理的详细内容进行说明的流程图。
判定对象图像解析部122如果取得在步骤ST1401中从图像取得部11输出的判定对象图像(步骤ST1501)，则进行图像取得结束判定(步骤ST1502)。
具体地说，判定对象图像解析部122判定是否取得了所指定的张数的用于判定异常的判定对象图像。
判定对象图像解析部122如果判定为没有取得所指定的张数的判定对象图像(在步骤ST1503的“NO”的情况下)，则返回至步骤ST1501，继续取得从图像取得部11输出的判定对象图像。
判定对象图像解析部122如果判定为取得了所指定的张数的判定对象图像(在步骤ST1503的“YES”的情况下)，则结束判定对象图像的取得，进入至步骤ST1504。
学习结果取得部123取得在存储部13中存储的、对神经网络的结构进行规定的信息(步骤ST1504)。
学习结果取得部123将所取得的信息输出至判定对象图像解析部122。
判定对象图像解析部122使用在步骤ST1504中由学习结果取得部123取得的信息，进行判定对象图像的域变换(步骤ST1505)。
具体地说，判定对象图像解析部122针对判定对象图像依次进行域正变换及域逆变换，得到域变换后图像。
而且，判定对象图像解析部122将通过步骤ST1501从图像取得部11取得的判定对象图像和通过步骤ST1505得到的域变换后图像输出至判定部14。
返回至图14所示的流程图。
判定部14取得在步骤ST1402中从判定对象图像解析部122输出的判定对象图像及域变换后图像，将所取得的判定对象图像和域变换后图像进行比较，进行异常判定处理(步骤ST1403)。
在这里，图16是在实施方式1中，对判定部14通过图14的步骤ST1403实施的异常判定处理的详细内容进行说明的流程图。
判定部14在图14的步骤ST1402中从判定对象图像解析部122取得的判定对象图像和域变换后图像之间对差分绝对值进行计算，生成差分图像(步骤ST1601)。
判定部14针对将判定对象图像及域变换后图像比较而生成的差分图像进行阈值处理，对在判定对象图像中所拍摄到的对象物3是否发生了异常进行判定(步骤ST1602)。
判定部14将与对在判定对象图像中所拍摄到的对象物3是否发生了异常进行判定得到的判定结果相关的信息输出至输入输出部15。
返回至图14所示的流程图。
输入输出部15将在步骤ST1403中从判定部14输出的、与判定结果相关的信息发送至输入输出装置4(步骤ST1404)。
在“检查模式”的情况下，控制部10在通过判定部14实施的异常判定处理后，对输入输出部15赋予动作指示。
如果输入输出部15发送了与判定结果相关的信息，则输入输出装置4接收从输入输出部15发送出的信息，将接收到的信息例如在显示器进行显示。
在这里，图17～图19是在实施方式1中，用于说明对输入输出装置4从输入输出部15发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的一个例子的图。
图17示出了在判定部14判定为在判定对象图像中所拍摄到的对象物3没有发生异常的结果从输入输出部15发送出的情况下，输入输出装置4所显示的显示画面的成像的一个例子。
在该情况下，输入输出装置4只是使判定对象图像直接显示于显示器，并且使用于通知没有异常的消息(参照图17的1701)显示于显示器。
在图17中，作为用于通知没有异常的消息的一个例子，设为对“OK”这一文字进行显示。此外，这只是一个例子，输入输出装置4只要使能够对用户通知没有异常的适当的消息进行显示即可。
图18示出了在判定部14判定为在判定对象图像中所拍摄到的对象物3发生了1处异常的结果从输入输出部15发送出的情况下，输入输出装置4所显示的显示画面的成像的一个例子。
在该情况下，输入输出装置4相对于判定对象图像，使异常部位叠加显示(参照图18的1801)，并且使用于通知发生了异常的消息(参照图18的1802)显示于显示器。在图18中，作为一个例子，输入输出装置4可以作为用于通知发生了异常的消息而显示为“NG”。
另外，输入输出装置4相对于判定对象图像，使异常部位叠加显示，并且使用于提示注意异常部位的消息(参照图18的1803)显示于显示器。在图18中，作为一个例子，输入输出装置4作为用于提示注意异常部位的消息而显示为“CHECK！”。此外，输入输出装置4只要根据从输入输出部15发送出的与判定结果相关的信息所包含的、边界框的信息而确定异常部位即可。
另外，在图18中，作为用于通知发生了异常的消息的一个例子，设为显示“NG”这一文字，但这只是一个例子。输入输出装置4只要使能够对用户通知发生了异常的适当的消息进行显示即可。另外，在图18中，作为用于提示注意异常部位的消息的一个例子，设为显示“CHECK！”这一文字，但这只是一个例子。输入输出装置4只要使能够对用户提示注意异常部位的适当的消息进行显示即可。
图19示出了在判定部14判定为在判定对象图像中所拍摄到的对象物3发生了1处异常的结果从输入输出部15发送出的情况下，输入输出装置4所显示的显示画面的成像的另一个例子。
在判定为在判定对象图像中所拍摄到的对象物3发生了异常的情况下，输入输出装置4也可以不使异常部位如图18所示直接地进行显示，而是如图19所示，使相对于判定对象图像合成差分图像而得到的合成图像显示于显示器。
在图19中，输入输出装置4例如在左侧排列判定对象图像、在右侧排列上述的合成图像而进行显示。
在合成图像中，以在判定对象图像中相对于正常状态的差分变大的部位变得明显(参照图19的1901)的方式显示，因此用户在进行异常的检查时，使得能够容易地掌握应该关注的部位。
此外，合成图像的生成方法考虑各种方法，输入输出装置4只要通过适当的方法而生成合成图像即可。
例如，输入输出装置4可以生成使差分小的部分变暗、使差分大的部分明亮地显示的合成图像(参照图19)，也可以以将差分小的部分显示为蓝，随着差分变大而显示为红的方式进行彩色显示。
另外，图17～图19所示那样的显示画面的成像只是一个例子，输入输出装置4也可以使其他显示画面进行显示。例如，输入输出装置4可以将图17～图19所示那样的显示画面组合而显示。另外，在输入输出装置4不由显示器而是由扬声器等声音输出装置构成的情况下，输入输出装置4例如可以通过声音或者音乐等，将从输入输出部15发送出的与判定结果相关的信息进行输出。
如上所述，在“检查模式”中，异常检查装置1关于从照相机2取得的判定对象图像，使用预先学习到的对神经网络的结构进行规定的信息而进行域变换，由此取得域变换后图像。而且，异常检查装置1针对通过判定对象图像和域变换后图像的比较而生成的差分图像进行阈值处理，对在判定对象图像中是否发生了异常进行判定。
作为对在判定对象图像中所拍摄到的对象物3是否发生了异常进行判定的方法，例如还考虑下述方法，即，预先保存有过去拍摄到的正常图像，将所保存的正常图像和新取得的判定对象图像进行比较。但是，在该情况下，除了应该检测的异常以外，以下所示那样的各种要因也会成为图像间的差异而显现。
·照明条件的差异
·照相机2和对象物3的位置关系的差异
·正常范围内的对象物3的波动(不应该判定为异常的颜色的差异，或者不应该判定为异常的表面的伤痕等)
辨别由上述这样的要因引起的正常图像和判定对象图像的差异和由在对象物3发生了异常引起的正常图像和判定对象图像的差异是困难的。因此，仅将过去拍摄到的正常图像和判定对象图像单纯地比较，无法高精度地检测异常。
为了使正常图像和判定对象图像的差异的检测精度提高，例如还想到研究拍摄系统，使得将照明条件及照相机2和对象物3的位置关系确保为恒定。但是，这样做需要用于将照相机2或者对象物3的周围覆盖的遮光板，或者用于高精度地决定照相机2或者对象物3的位置的工具等，存在导致拍摄系统的高成本化这样的问题。
与此相对，在实施方式1所涉及的异常检查装置1中，图像解析部12使用预先学习到的神经网络，直接地利用判定对象图像而取得域变换后图像，判定部14通过判定对象图像和域变换后图像的比较，对在该判定对象图像是否发生了异常进行判定。
因此，能够不受上述这样的、由拍摄条件的差异或者正常范围内的波动引起的图像间的差异所造成的影响而实现高精度的异常判定。
另外，异常检查装置1无需对象物和照相机的可靠的固定、或者高精度的定位装置等，因此能够抑制导入成本的增加。
如以上所述，根据该实施方式1，异常检查装置1构成为具有：图像取得部11，其取得拍摄到检查对象的对象物3的判定对象图像；学习结果取得部123，其取得将拍摄到正常状态的对象物3的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；判定对象图像解析部122，其针对由图像取得部11取得的判定对象图像，使用由学习结果取得部123取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及判定部14，其将由图像取得部11取得的判定对象图像和由判定对象图像解析部122取得的域变换后图像进行比较，对在判定对象图像中所拍摄到的对象物3是否发生了异常进行判定。因此，能够不受由拍摄条件的差异或者正常范围内的波动引起的图像间的差异所造成的影响而检查对象物的异常。
另外，用户等例如无需在判定对象图像中，对异常是何种状态进行详细定义，能够通用地应用于任何的异常。
并且，在学习模式中，也能够使用对象物和照相机的位置关系不恒定的多个图像而进行机械学习。在进行了如上所述的机械学习的情况下，在检查模式中能够将任意的图像设为对象，具有无需对象物和照相机的可靠的固定或者高精度的定位这一效果。
实施方式2.
在实施方式1中，设为异常检查装置1预先基于正常图像而学习了神经网络的结构，使用学习结果，对在判定对象图像中所拍摄到的对象物3是否发生了异常进行判定。
在实施方式2中，对异常检查装置1a还进行在判定对象图像中所拍摄到的对象物3中发生的异常的解析的实施方式进行说明。
图20是表示实施方式2所涉及的异常检查装置1a的结构例的图。
图20所示的异常检查装置1a与在实施方式1中使用图1说明的异常检查装置1的不同点在于具有异常解析部16。异常检查装置1a的除了异常解析部16以外的结构与实施方式1的异常检查装置1相同，因此对相同的结构标注相同的标号而省略重复的说明。
在实施方式2所涉及的异常检查装置1a中，在“检查模式”中，图像解析部12的判定对象图像解析部122针对判定部14，在判定对象图像及域变换后图像的基础上，输出将判定对象图像进行域正变换而取得的域正变换图像(参照图5、图6)。
判定部14在“检查模式”中，取得从判定对象图像解析部122输出的判定对象图像、域正变换图像及域变换后图像。判定部14如果将判定对象图像和域变换后图像比较而进行异常判定处理，则将与判定结果相关的信息输出至异常解析部16。此时，判定部14将与判定结果相关的信息以及从判定对象图像解析部122取得的域正变换图像输出至异常解析部16。
此外，由判定部14进行的异常判定处理的具体的内容由于如在实施方式1中说明的那样，因此省略重复的说明。
异常解析部16在“检查模式”中，基于从判定部14输出的与判定结果相关的信息和域正变换图像而进行异常解析处理，将与异常解析结果相关的信息输出至输入输出部15。
具体地说，异常解析部16在从判定部14输出了与在判定对象图像中所拍摄到的对象物3发生了异常这一主旨的判定结果相关的信息的情况下，例如通过使边界框和域正变换图像重叠，从而对异常是在判定对象图像中的哪个区域发生的进行解析。
此外，与边界框相关的信息包含于从判定部14输出的与判定结果相关的信息。
例如，在实施方式2中，域正变换图像如果设为是将判定对象图像进行域正变换而取得的范围域的图像，则异常解析部16使边界框和范围域的图像重叠(参照图21)。
在图21中，图21的211示出了范围域的图像，图21的2101示出了基板区域，图21的2102示出了配线区域，图21的2103示出了IC区域，图21的2014示出了边界框。
在图21所示的例子中，在配线区域发生了异常。在该情况下，异常解析部16解析为在配线发生了异常，将表示在配线存在异常的信息作为与异常解析结果相关的信息而输出至输入输出部15。
此时，异常解析部16基于与异常解析结果相关的信息，将从判定部14取得的与判定结果相关的信息输出至输入输出部15。
此外，在从判定部14输出了与在判定对象图像中所拍摄到的对象物3中没有发生异常这一主旨的判定结果相关的信息的情况下，异常解析部16不进行异常解析，将与判定结果相关的信息直接输出至输入输出部15。
异常解析部16例如可以基于在配线区域发生了异常这一信息，将在存储部13中预先存储的任意的信息读出，将读出的信息作为与异常解析结果相关的信息而输出至输入输出部15。
异常解析部16从存储部13读出的任意的信息，例如是指与所发生的异常对应的错误码，或者面向所发生的异常的应对手册等。
接下来，对实施方式2所涉及的异常检查装置1a的动作进行说明。
在实施方式2所涉及的异常检查装置1a中，也与实施方式1所涉及的异常检查装置1相同地实施“学习模式”和“检查模式”。
异常检查装置1a中的“学习模式”下的具体的动作与在实施方式1中使用图12及图13说明的异常检查装置1中的“学习模式”下的具体的动作相同，因此省略重复的说明。
下面，对实施方式2所涉及的异常检查装置1a中的“检查模式”下的动作进行说明。
图22是在实施方式2中，用于说明“检查模式”中的异常检查装置1a的动作的流程图。
图像取得部11经由网络，从照相机2取得判定对象图像(步骤ST2201)。步骤ST2201中的图像取得部11的具体的动作与在实施方式1中说明的图14的步骤ST1401中的图像取得部11的具体的动作相同。
图像取得部11将所取得的判定对象图像输出至图像解析部12的判定对象图像解析部122。
判定对象图像解析部122从图像取得部11取得指定出的张数的判定对象图像，基于所取得的判定对象图像，实施域变换后图像取得处理(步骤ST2202)。
在步骤ST2202中，判定对象图像解析部122进行如在实施方式1中使用图15说明那样的动作。但是，在步骤ST2202中，判定对象图像解析部122针对判定部14，在判定对象图像及域变换后图像的基础上还输出域正变换图像。
判定部14取得在步骤ST2202中从判定对象图像解析部122输出的判定对象图像、域变换后图像及域正变换图像，将所取得的判定对象图像和域变换后图像进行比较而进行异常判定处理(步骤ST2203)。
在步骤ST2203中，判定部14进行如在实施方式1中使用图16而说明那样的异常判定处理。
判定部14将与判定结果相关的信息以及在步骤ST2202中从判定对象图像解析部122取得的域正变换图像输出至异常解析部16。
异常解析部16基于在步骤ST2203中从判定部14输出的、与判定结果相关的信息和域正变换图像而进行异常解析处理(步骤ST2204)。
在“检查模式”的情况下，控制部10在通过判定部14实施的异常判定处理后，针对异常解析部16而赋予动作指示。
在这里，图23是在实施方式2中，对异常解析部16通过图22的步骤ST2204实施的异常解析处理的详细内容进行说明的流程图。
异常解析部16在图22的步骤ST2203中，对是否从判定部14输出了与在判定对象图像中所拍摄到的对象物3中发生了异常这一主旨的判定结果相关的信息进行判定(步骤ST2301)。
在步骤ST2301中，异常解析部16在判定为从判定部14输出了与在判定对象图像中所拍摄到的对象物3没有发生异常这一主旨的判定结果相关的信息的情况下(在步骤ST2301的“NO”的情况下)，结束图23所示的处理，进入至图22的步骤ST2205。此外，此时，异常解析部16将从判定部14输出的、与判定结果相关的信息直接输出至输入输出部15。
在步骤ST2301中，在判定为从判定部14输出了与在判定对象图像中所拍摄到的对象物3发生了异常这一主旨的判定结果相关的信息的情况下(在步骤ST2301的“YES”的情况下)，异常解析部16使边界框和域正变换图像重叠，对异常是在判定对象图像中的哪个区域发生的进行解析(步骤ST2302)。而且，异常解析部16将从判定部14输出的、与判定结果相关的信息以及与异常解析结果相关的信息输出至输入输出部15。
返回至图22所示的流程图。
输入输出部15将在步骤ST2204中从异常解析部16输出的与判定结果相关的信息发送至输入输出装置4(步骤ST2205)。
输入输出部15在从异常解析部16输出了与异常解析结果相关的信息的情况下，将与异常解析结果相关的信息同与判定结果相关的信息一起发送至输入输出装置4。
输入输出装置4对从输入输出部15发送出的信息进行接收，将接收到的信息例如在显示器进行显示。
例如，在从输入输出部15输出了与异常解析结果相关的信息的情况下，输入输出装置4基于与该异常解析结果相关的信息，将对象物3中的发生了异常的部位、错误码或者与应对手册相关的信息等在显示器进行显示。
如以上所述，根据实施方式2，异常检查装置1a与实施方式1相同，不受由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响，就能够检查对象物的异常。
另外，根据实施方式2，异常检查装置1a构成为还具有异常解析部16，判定对象图像解析部122针对由图像取得部11取得的判定对象图像，使用将正常图像作为教师数据而进行的机械学习的结果而进行域正变换，将所取得的域正变换图像输出至判定部14，在判定部14判定为在由图像取得部11取得的判定对象图像中所拍摄到的对象物3发生了异常的情况下，该异常解析部16使用域正变换图像进行异常的解析。因此，在判定为在判定对象图像发生了异常的情况下，使用域正变换图像，对判定为发生了的异常进行解析，因此在判定为发生了异常的情况下，能够提供与该异常的分类或者处理方法相关的信息。
此外，在以上的实施方式1及实施方式2中，异常检查装置1、1a在“学习模式”中，正常图像解析部121进行使用正常图像的机械学习，存储该机械学习的结果，然后，在“检查模式”中，学习结果取得部123取得正常图像解析部121所存储的机械学习的结果，判定对象图像解析部122使用该机械学习的结果而取得域变换图像。
但是，并不限定于此，只要是通过异常检查装置1、1a进行的“检查模式”实施前，预先进行使用了正常图像的机械学习即可。例如，在预先进行了机械学习，存储有该机械学习的结果的状态的情况下，异常检查装置1、1a也能够构成为不具有正常图像解析部121，学习结果取得部123取得预先所存储的机械学习的结果。
另外，本发明在其发明的范围内，能够进行各实施方式的自由的组合，或者各实施方式的任意的结构要素的变形，或者各实施方式中的任意的结构要素的省略。
工业实用性
本发明所涉及的异常检查装置构成为不受由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响，就能够检查对象物的异常，因此能够应用于基于拍摄到检查对象的物体的图像，对在该物体中是否没有异常进行检查的异常检查装置。
标号的说明
1、1a异常检查装置，2照相机，3对象物，4输入输出装置，10控制部，11图像取得部，12图像解析部，13存储部，14判定部，15输入输出部，16异常解析部，121正常图像解析部，122判定对象图像解析部，123学习结果取得部，1101处理电路，1102HDD，1103输入接口装置，1104输出接口装置，1105CPU，1106存储器。

Claims (7)

1.一种异常检查装置，其具有：
图像取得部，其取得拍摄到检查对象的对象物的判定对象图像；
学习结果取得部，其取得将拍摄到正常状态的所述对象物的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；
判定对象图像解析部，其针对由所述图像取得部取得的所述判定对象图像，使用由所述学习结果取得部取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及
判定部，其将由所述图像取得部取得的所述判定对象图像和由所述判定对象图像解析部取得的所述域变换后图像进行比较，对在所述判定对象图像中拍摄到的对象物是否发生了异常进行判定。
2.根据权利要求1所述的异常检查装置，其特征在于，
所述图像取得部在所述判定对象图像的基础上，能够取得拍摄到正常状态的所述对象物的正常图像，
该异常检查装置还具有正常图像解析部，该正常图像解析部将由该图像取得部取得的正常图像作为教师数据而进行所述机械学习，
所述学习结果取得部取得由所述正常图像解析部进行的所述机械学习的结果。
3.根据权利要求1所述的异常检查装置，其特征在于，
所述判定部使用神经网络而进行所述域正变换或者所述域逆变换。
4.根据权利要求1所述的异常检查装置，其特征在于，
所述判定部生成将分别构成所述判定对象图像和所述域变换后图像的多个像素中的、处于彼此对应的位置处的多个像素中的各像素的像素值间的差分通过绝对值表示的差分图像，将通过该差分图像的多个像素中的所述绝对值大于或等于阈值的像素的集合而形成的区域，判定为在所述判定对象图像中拍摄到的所述对象物发生了异常的区域。
5.根据权利要求1所述的异常检查装置，其特征在于，
所述判定对象图像解析部针对由所述图像取得部取得的所述判定对象图像，使用将所述正常图像作为教师数据进行的机械学习的结果而进行域正变换，取得域正变换图像，
该异常检查装置还具有异常解析部，该异常解析部在所述判定部判定为在由所述图像取得部取得的所述判定对象图像中拍摄到的所述对象物发生了所述异常的情况下，使用所述域正变换图像而进行所述异常的解析。
6.根据权利要求1所述的异常检查装置，其特征在于，
具有输入输出部，该输入输出部将通过所述判定部得到的与在所述判定对象图像中拍摄到的所述对象物是否发生了异常的判定结果相关的信息输出至显示装置。
7.一种异常检查方法，其具有下述步骤：
图像取得部取得拍摄到检查对象的对象物的判定对象图像；
学习结果取得部取得将拍摄到正常状态的所述对象物的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；
判定对象图像解析部针对由所述图像取得部取得的所述判定对象图像，使用由所述学习结果取得部取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及
判定部将由所述图像取得部取得的所述判定对象图像和由所述判定对象图像解析部取得的所述域变换后图像进行比较，对在所述判定对象图像中拍摄到的所述对象物是否发生了异常进行判定。
CN201880091679.6A 2018-03-29 2018-03-29 异常检查装置及异常检查方法 Active CN111902712B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013305 WO2019186915A1 (ja) 2018-03-29 2018-03-29 異常検査装置および異常検査方法

Publications (2)

Publication Number Publication Date
CN111902712A true CN111902712A (zh) 2020-11-06
CN111902712B CN111902712B (zh) 2023-07-25

Family

ID=68059606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091679.6A Active CN111902712B (zh) 2018-03-29 2018-03-29 异常检查装置及异常检查方法

Country Status (7)

Country Link
US (1) US11386549B2 (zh)
JP (1) JP6693684B2 (zh)
KR (1) KR102206698B1 (zh)
CN (1) CN111902712B (zh)
DE (1) DE112018007171T5 (zh)
TW (1) TWI719357B (zh)
WO (1) WO2019186915A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114825636A (zh) * 2022-05-26 2022-07-29 深圳博浩远科技有限公司 一种光伏逆变器健康状态监控与告警系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220146666A (ko) * 2020-04-27 2022-11-01 미쓰비시덴키 가부시키가이샤 화상 검사 장치 및 화상 검사 방법
CN115461612A (zh) * 2020-04-28 2022-12-09 三菱电机株式会社 外观检查装置和外观检查方法
JP7505256B2 (ja) * 2020-05-15 2024-06-25 オムロン株式会社 画像検査装置、画像検査方法及び学習済みモデル生成装置
US11272097B2 (en) * 2020-07-30 2022-03-08 Steven Brian Demers Aesthetic learning methods and apparatus for automating image capture device controls
JP2022108855A (ja) * 2021-01-14 2022-07-27 オムロン株式会社 部品検査装置
TWI779836B (zh) * 2021-09-15 2022-10-01 英業達股份有限公司 基於影像處理的鍵盤檔案驗證方法
KR102656162B1 (ko) * 2021-12-16 2024-04-11 의료법인 성광의료재단 인공지능을 이용한 라디오믹스 기반의 골건강 상태 평가 장치 및 방법
JP2023141721A (ja) * 2022-03-24 2023-10-05 株式会社Ｓｃｒｅｅｎホールディングス 検査システム、教師データ生成装置、教師データ生成方法およびプログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
JP2001021328A (ja) * 1999-07-07 2001-01-26 Apic Yamada Corp リードフレーム検査装置
CN101233541A (zh) * 2006-04-26 2008-07-30 三菱电机株式会社 物体检测装置及电梯的物体检测装置
CN101271529A (zh) * 2007-03-23 2008-09-24 株式会社日立制作所 异常检测装置以及异常检测程序
JP2009250777A (ja) * 2008-04-07 2009-10-29 Fuji Electric Holdings Co Ltd 表面検査装置および表面検査方法
CN101828201A (zh) * 2008-08-26 2010-09-08 索尼公司 图像处理装置及方法、学习装置及方法以及程序
JP2012098181A (ja) * 2010-11-02 2012-05-24 Sumitomo Electric Ind Ltd 検出装置及び検出方法
CN104020175A (zh) * 2013-02-28 2014-09-03 发那科株式会社 包含线状图案的对象物的外观检查装置及外观检查方法
CN104458752A (zh) * 2013-09-18 2015-03-25 电装波动株式会社 外观检查系统以及外观检查方法
CN107123106A (zh) * 2016-02-25 2017-09-01 发那科株式会社 显示从输入图像检测到的对象物的图像处理装置
JP6241576B1 (ja) * 2016-12-06 2017-12-06 三菱電機株式会社 検査装置及び検査方法
CN107462580A (zh) * 2016-06-02 2017-12-12 住友化学株式会社 缺陷检查系统、膜制造装置以及缺陷检查方法
JP2017219529A (ja) * 2016-06-07 2017-12-14 株式会社豊田中央研究所 外観異常検査装置、方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295695B1 (en) * 2002-03-19 2007-11-13 Kla-Tencor Technologies Corporation Defect detection via multiscale wavelets-based algorithms
KR101057525B1 (ko) * 2009-07-09 2011-08-17 삼성에스디아이 주식회사 배터리 팩
JPWO2011004534A1 (ja) * 2009-07-09 2012-12-13 株式会社日立ハイテクノロジーズ 半導体欠陥分類方法，半導体欠陥分類装置，半導体欠陥分類プログラム
US8473223B2 (en) * 2009-10-07 2013-06-25 Iyun Leu Method for utilizing fabrication defect of an article
JP5804834B2 (ja) 2011-08-03 2015-11-04 株式会社オービット 検査プログラム、同プログラムを格納した記録媒体及び検査装置
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP6251647B2 (ja) * 2014-07-15 2017-12-20 株式会社ニューフレアテクノロジー マスク検査装置及びマスク検査方法
JP6281592B2 (ja) 2016-04-06 2018-02-21 大日本印刷株式会社 レプリカテンプレートの製造方法
JP2020053771A (ja) * 2018-09-25 2020-04-02 オリンパス株式会社 画像処理装置、撮像装置
CN109829904B (zh) * 2019-01-29 2022-01-14 京东方科技集团股份有限公司 检测屏幕上灰尘的方法、装置、电子设备、可读存储介质
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
JP2001021328A (ja) * 1999-07-07 2001-01-26 Apic Yamada Corp リードフレーム検査装置
CN101233541A (zh) * 2006-04-26 2008-07-30 三菱电机株式会社 物体检测装置及电梯的物体检测装置
CN101271529A (zh) * 2007-03-23 2008-09-24 株式会社日立制作所 异常检测装置以及异常检测程序
JP2009250777A (ja) * 2008-04-07 2009-10-29 Fuji Electric Holdings Co Ltd 表面検査装置および表面検査方法
CN101828201A (zh) * 2008-08-26 2010-09-08 索尼公司 图像处理装置及方法、学习装置及方法以及程序
JP2012098181A (ja) * 2010-11-02 2012-05-24 Sumitomo Electric Ind Ltd 検出装置及び検出方法
CN104020175A (zh) * 2013-02-28 2014-09-03 发那科株式会社 包含线状图案的对象物的外观检查装置及外观检查方法
CN104458752A (zh) * 2013-09-18 2015-03-25 电装波动株式会社 外观检查系统以及外观检查方法
CN107123106A (zh) * 2016-02-25 2017-09-01 发那科株式会社 显示从输入图像检测到的对象物的图像处理装置
CN107462580A (zh) * 2016-06-02 2017-12-12 住友化学株式会社 缺陷检查系统、膜制造装置以及缺陷检查方法
JP2017219529A (ja) * 2016-06-07 2017-12-14 株式会社豊田中央研究所 外観異常検査装置、方法、及びプログラム
JP6241576B1 (ja) * 2016-12-06 2017-12-06 三菱電機株式会社 検査装置及び検査方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114825636A (zh) * 2022-05-26 2022-07-29 深圳博浩远科技有限公司 一种光伏逆变器健康状态监控与告警系统及方法

Also Published As

Publication number Publication date
KR20200116532A (ko) 2020-10-12
WO2019186915A1 (ja) 2019-10-03
US20210012476A1 (en) 2021-01-14
CN111902712B (zh) 2023-07-25
DE112018007171T5 (de) 2021-01-28
TW201942567A (zh) 2019-11-01
TWI719357B (zh) 2021-02-21
JPWO2019186915A1 (ja) 2020-05-28
US11386549B2 (en) 2022-07-12
KR102206698B1 (ko) 2021-01-22
JP6693684B2 (ja) 2020-05-13

Similar Documents

Publication Publication Date Title
CN111902712B (zh) 异常检查装置及异常检查方法
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
JP4616120B2 (ja) 画像処理装置及び検査装置
US9332252B2 (en) Automatic test system for digital display systems
US8131059B2 (en) Defect inspection device and defect inspection method for inspecting whether a product has defects
US8204291B2 (en) Method and system for identifying defects in a radiographic image of a scanned object
KR20020089325A (ko) 인쇄회로기판상의 결함을 검출하기 위한 시스템 및 방법
JP2019191117A (ja) 画像処理装置、画像処理方法及びプログラム
Kıraç et al. VISOR: A fast image processing pipeline with scaling and translation invariance for test oracle automation of visual output systems
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
CN115461612A (zh) 外观检查装置和外观检查方法
KR101748768B1 (ko) 머신 비전 검사를 위한 가상 테스트 이미지 생성 방법 및 장치, 머신 비전 검사 시뮬레이션 방법 및 장치, 및 머신 비전 테스트 시스템
CN112543950B (zh) 图像处理装置、图像处理方法及计算机可读取的记录介质
JP2023145412A (ja) 欠陥検出方法及びシステム
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2008171142A (ja) シミ欠陥検出方法及び装置
JP2009139166A (ja) 画像欠陥検査方法および画像欠陥検査装置
KR20220111214A (ko) 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램
JP2022123217A (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置
JP2009150656A (ja) パターン検査方法およびパターン検査装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2010019561A (ja) 欠陥検査装置および欠陥検査方法
US20230005120A1 (en) Computer and Visual Inspection Method
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
JP2023008416A (ja) 異常検知システムおよび異常検知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant