CN112129768A - 外观检查管理系统、装置、方法以及存储介质 - Google Patents

外观检查管理系统、装置、方法以及存储介质 Download PDF

Info

Publication number
CN112129768A
CN112129768A CN202010371967.6A CN202010371967A CN112129768A CN 112129768 A CN112129768 A CN 112129768A CN 202010371967 A CN202010371967 A CN 202010371967A CN 112129768 A CN112129768 A CN 112129768A
Authority
CN
China
Prior art keywords
feature
defect
unit
appearance inspection
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010371967.6A
Other languages
English (en)
Other versions
CN112129768B (zh
Inventor
中田雅博
宫田佳昭
松井将彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112129768A publication Critical patent/CN112129768A/zh
Application granted granted Critical
Publication of CN112129768B publication Critical patent/CN112129768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8877—Proximity analysis, local statistics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G01N2021/8908—Strip illuminator, e.g. light tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8917—Paper, also ondulated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Textile Engineering (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种外观检查管理系统、装置、方法以及存储介质，支持用户进行在外观检查装置中用作缺陷判定指标的特征量的筛选、及每个特征量的阈值的设定。外观检查管理系统包括：外观检查部件，基于从拍摄被检查物所得的图像获取的特征量，来检查被检查物的缺陷；显示部件；存储部件，存储缺陷图像数据，缺陷图像数据至少包含从由外观检查部件判定为被检查物的缺陷的部位的图像获得的特征量的信息；特征量分布图制作部件，制作多个特征量分布图，特征量分布图是将特征量的信息映射到规定的坐标系中；以及特征量选择辅助部件，将特征量分布图制作部件所制作多个特征量分布图依据规定的规则配置而成的特征量俯瞰图，显示于显示部件。

Description

外观检查管理系统、装置、方法以及存储介质
技术领域
本发明涉及一种外观检查，其是基于对被检查物照射照明光而拍摄的被检查物的图像来进行所述被检查物的检查，具体而言，本发明涉及一种外观检查管理系统、外观检查管理装置、外观检查管理方法以及程序。
背景技术
以往，已知有一种外观检查装置，其基于对被检查物照射照明光而拍摄的被检查物的图像，来进行被检查物的检查。
例如，专利文献1中公开了一种检查装置，其对通过将可见光或紫外光照射向片材(sheet)并利用摄像机来拍摄其透射光或反射光而获得的图像进行分析，由此来检测片材中的异常(异物混入、污损、褶皱等，以下也称作缺陷)。
此种外观检查装置中，可认为，加入越多的作为检查指标的特征量来执行检查，检查结果中的噪声将变得越少，但相应地存在与检查相关的处理变得越重，检查速度越下降的问题。
与此相对，近年来提出了多种通过机器学习来生成用于缺陷的判定、分类的指标以提高检查精度的方案，例如在专利文献2中记载了一种分类器生成装置，其以缩减所使用的特征量的种类而加快处理速度为目的，通过机器学习而生成基于多种特征量来对图像进行分类的图像分类器。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2015-172519号公报
专利文献2：日本专利特开2016-109495号公报
发明内容
[发明所要解决的问题]
此外，尽管通过如上所述的机器学习而生成的分类器(所谓的人工智能(Artificial Intelligence，AI))能够得出精度佳的结果，但通过何种指标来进行判定处理尚不明(所谓的判断的黑箱(black box)化)。因此存在下述问题：无法直接将AI的判断结果有效利用于外观检查装置的检查基准的设定。而且，存在下述等问题，即：判断结果的根据原本就不明这一情况自身也使得产生问题时的分析变得困难。
本发明是有鉴于如上所述的实际情况而完成，其目的在于提供一种技术，支持用户进行在外观检查装置中用作缺陷判定指标的特征量的筛选及每个特征量的阈值设定。
[解决问题的技术手段]
为了达成所述目的，本发明采用以下结构。
本发明的第一外观检查管理系统包括：
外观检查部件，基于从拍摄被检查物所得的图像获取的特征量，来检查所述被检查物的缺陷；
显示部件；
存储部件，存储缺陷图像数据，所述缺陷图像数据至少包含从由所述外观检查部件判定为所述被检查物的缺陷的部位的图像获得的特征量的信息；
特征量分布图制作部件，制作多个特征量分布图，所述特征量分布图是将所述特征量的信息映射到规定的坐标系中；以及
特征量选择辅助部件，将所述特征量分布图制作部件所制作多个特征量分布图依据规定的规则配置而成的特征量俯瞰图，显示于所述显示部件。
另外，被用作特征量的指标考虑有各种指标，例如可适用图像的亮度(深浅)分布、亮度的峰值等级(peak level)、面积、宽度、长度、最长最短费雷特径(Feret's diameter)比、圆度等多个种类的指标。
而且，以下，将在所述外观检查部件中拍摄的被检查物的图像也称作被检查物图像。
根据此种结构的检查管理系统，用户能够一边参照所述特征量俯瞰图，一边进行用作检查装置的判定指标的特征量的筛选，即便是没有检查技术(know-how)的新人等，也能够选择对于检查精度的提高有效的特征量。
而且，所述缺陷图像数据也可包含从被判定为所述被检查物的缺陷的部位的图像获得的特征量的种类、值以及附注信息，所述附注信息至少表示被判定为所述缺陷的结果的真伪。而且，所述存储部件也可存储能够在所述外观检查部件的检查中设定为缺陷判定指标的多种特征量的项目与所述缺陷图像数据。而且，所述特征量分布图也可为从所述多种特征量的项目中提取两种项目，并使所述缺陷图像数据的特征量能够在视觉上识别地反映所述附注信息地映射到将所述两种项目设为横轴、纵轴的坐标系中。而且，所述特征量俯瞰图亦可为根据配置如下所述的所述特征量分布图的规则来将所述多个特征量分布图配置而成：所述特征量分布图是将所述多种特征量的项目分别并列排列于横轴与纵轴，进而在排列于横轴的特征量的项目与排列于纵轴的特征量的项目交叉的部位，将所述横轴的项目的特征量的值设为横轴，将所述纵轴的项目的特征量的值设为纵轴。而且，所述特征量分布图制作部件也可以所有种类的特征量的所有组合成立的方式，来制作多个所述特征量分布图。另外，此处所说的所有种类的特征量的所有组合成立是指也包含横轴与纵轴的项目的调换的模式(pattern)。
通过具有此种特征，用户能够根据多个特征量的组合，而在视觉上掌握缺陷判定的真伪的偏差是如何产生。由此，例如能够容易地选择真的缺陷图像数据的分布偏差少的特征量组合。
而且，所述检查管理系统也可还包括：判定指标设定部件，受理用户的输入，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标。另外，此处所说的阈值的“设定”也包含变更，以下，在本说明书中进行同样解释。若为此种结构，则用户能够一边参照所述特征量俯瞰图，一边设定判定指标，因此能够设定精度高的判定指标。
而且，所述特征量选择辅助部件也可将由所述判定指标设定部件所设定的特征量的种类及阈值显示为相对于所述特征量俯瞰图的视觉表现。作为视觉表现的示例，例如也能够采用：针对多个特征量分布图而横断(纵断)地划出阈值的线(line)来显示；同样地针对多个特征量分布图，高亮(high light)显示过滤器的实施范围等。
而且，所述特征量选择辅助部件也可使原缺陷数图表和新过滤器适用缺陷数图表与所述特征量俯瞰图能够同时或切换地显示于所述显示部件，所述原缺陷数图表表示所述缺陷图像数据的数量，所述新过滤器适用缺陷数图表相对于所述原缺陷数图表而反映出通过所述判定指标设定部件进行了设定的情形下所述外观检查部件的检查结果的变化。而且，所述原缺陷数图表也可以能够在视觉上识别所述附注信息的方式来表示所述缺陷图像数据的数量。
另外，此处所说的检查结果的“变化”，是在也包含不产生变化的含义下使用。若为此种结构，则能够容易地识别出经由判定指标设定部件而设定的判定指标会对检查结果造成何种影响，从而能够更有效率地进行特征量的种类及阈值的设定。
而且，在所述判定指标设定部件中，制作要使用的特征量的种类或阈值不同的多个判定指标时，所述特征量选择辅助部件每当进行与各个判定指标相关的特征量的种类或阈值的设定时，也可阶段性地显示反映出所述设定的所述新过滤器适用缺陷数图表。
通过采用此种结构，从而在使用多个判定指标的情况下，能够以对话方式来进行甚至包括判定指标的适用顺序在内的最佳的特征量筛选。
而且，所述附注信息中也可包含缺陷的种类。根据此种结构，也能够针对每种缺陷来制作所述特征量俯瞰图等，从而根据缺陷的种类来进行有效的特征量的筛选。
而且，本发明的第一外观检查装置是一种外观检查管理装置，其至少包括特征量分布图制作部件与特征量选择辅助部件。
而且，所述的外观检查系统也可包括：搬送部件，连续搬送片材状的被检查物；拍摄部件，连续拍摄搬送中的所述被检查物；外观检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像获得的特征量与规定的阈值，由此来进行判定，从而检测所述被检查物的缺陷部位；显示部件；存储部件，存储缺陷图像数据，所述缺陷图像数据至少包含从利用所述外观检查部件判定为所述被检查物的缺陷的部位的图像所获得的特征量的信息；特征量分布图制作部件，制作多个特征量分布图，所述特征量分布图是将所述特征量的信息映射到规定的坐标系中；以及特征量选择辅助部件，将所述特征量分布图制作部件所制作多个特征量分布图依据规定的规则配置而成的特征量俯瞰图，显示于所述显示部件。
而且，本发明的第二外观检查管理系统包括：
外观检查部件，基于从拍摄被检查物所得的图像获取的特征量，来至少检查所述被检查物的缺陷；
显示部件；
存储部件，至少存储多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够设定为所述外观检查部件中的缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类及值；
判定指标设定部件，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标；以及
指标设定辅助部件，在所述判定指标设定部件中，制作要使用的特征量的种类不同的多个判定指标时，使缺陷分离图显示于所述显示部件，所述缺陷分离图阶段性地表示重叠使用各个判定指标的情形下所述外观检查部件中的检查结果的变化。而且，所述指标设定辅助部件所示的缺陷分离图亦可为直方图(histogram)。
根据此种结构的检查管理系统，用户在设定多个判定指标时，能够逐步地以对话方式来确认以何种顺序来加入具有何种特征量的判定指标、与能进行怎样的缩减。因此，包括判定指标的适用顺序在内的最佳的特征量及其阈值的筛选成为可能。
而且，所述指标设定辅助部件也可使原缺陷数图表和新过滤器适用缺陷数图表与所述缺陷分离图能够同时或切换地显示于所述显示部件，所述原缺陷数图表表示所述缺陷图像数据的数量，所述新过滤器适用缺陷数图表相对于所述原缺陷数图表而反映出通过所述判定指标设定部件进行了设定的情形下所述外观检查部件的检查结果的变化。
若为此种结构，则能够容易地识别出经由判定指标设定部件而设定的判定指标会对检查结果造成何种影响，从而能够更有效率地进行特征量的种类及阈值的设定。
而且，所述缺陷图像数据也可包含缺陷种类的信息。若为此种结构，则能够反映出缺陷种类的不同而制作所述缺陷分离图。因此，能够根据缺陷的种类来选择有效的判定指标。
而且，本发明的第二外观检查管理装置至少包括判定指标设定部件以及指标设定辅助部件。
而且，所述的外观检查管理系统也可包括：搬送部件，连续搬送片材状的被检查物；拍摄部件，连续拍摄搬送中的所述被检查物；外观检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像获得的特征量与规定的阈值，由此来进行判定，从而检测所述被检查物的缺陷部位；显示部件；存储部件，至少存储多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够设定为所述外观检查部件中的缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类及值；判定指标设定部件，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标；以及指标设定辅助部件，在所述判定指标设定部件中，制作要使用的特征量的种类不同的多个判定指标时，使缺陷分离图显示于所述显示部件，所述缺陷分离图阶段性地表示重叠使用各个判定指标的情形下所述外观检查部件中的检查结果的变化。
而且，本发明的第一外观检查管理方法对被检查物的外观检查进行管理，所述外观检查管理方法包括：
数据获取步骤，获取多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够在所述外观检查中设定为缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类、值及附注信息，所述附注信息至少表示缺陷判定结果的真伪；
特征量分布图制作步骤，以所有种类的特征量的所有组合成立的方式，来制作多个特征量分布图，所述特征量分布图是从在所述数据获取步骤中获取的所述多种特征量的项目提取两种项目，并使所述获取的缺陷图像数据的特征量在视觉上反映所述附注信息地映射到将所述两种项目设为横轴、纵轴的坐标系中；以及
特征量选择辅助步骤，显示将如下所述的所述特征量分布图配置而成的特征量俯瞰图：所述特征量分布图是将所述多种特征量的项目分别并列排列于横轴与纵轴，进而在排列于横轴的特征量的项目与排列于纵轴的特征量的项目交叉的部位，将所述横轴的项目的特征量的值设为横轴，将所述纵轴的项目的特征量的值设为纵轴。
而且，本发明的第二检查管理方法对被检查物的外观检查进行管理，所述外观检查管理方法包括：
数据获取步骤，获取多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够在所述外观检查中设定为缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类及值；
判定指标制作步骤，通过设定特征量的种类及阈值，来制作所述外观检查中的缺陷的判定指标；以及
指标设定辅助步骤，在所述判定指标制作步骤中，每当进行与判定指标相关的特征量的种类及阈值的设定时，显示缺陷分离图，所述缺陷分离图阶段性地表示反映出所述设定的情形下所述外观检查的结果的变化。
而且，本发明也能够理解作为存储介质，其存储用于使信息处理装置执行所述各方法的程序，其为非暂时地记录有此种程序的计算机可读取的存储介质。
而且，各个所述结构及处理只要不会产生技术性的矛盾，便能够相互组合而构成本发明。
[发明的效果]
根据本发明，能够提供一种技术，支持用户进行在外观检查装置中用作缺陷判定指标的特征量的筛选、及每个特征量的阈值的设定。
附图说明
图1是表示本发明的适用例的外观检查管理系统的结构的示意图。
图2是表示适用例的特征量选择辅助部在显示部上显示的画面例的图。
图3是表示实施方式1的外观检查管理系统的结构的示意图。
图4是表示实施方式1的外观检查管理系统的处理流程的流程图。
图5是表示实施方式1的特征量选择辅助部在显示装置上显示的画面例的图。
图6是表示实施方式2的外观检查管理系统的结构的示意图。
图7的(A)是说明实施方式2的指标设定辅助部在显示装置上显示的画面例的第一图。图7的(B)是说明实施方式2的指标设定辅助部在显示装置上显示的画面例的第二图。图7的(C)是说明实施方式2的指标设定辅助部在显示装置上显示的画面例的第三图。
图8的(A)是说明实施方式2的指标设定辅助部在显示装置上显示的画面例的第四图。图8的(B)是说明实施方式2的指标设定辅助部在显示装置上显示的画面例的第五图。
图9是表示实施方式2的外观检查管理系统的处理的流程的流程图。
[符号的说明]
1、9、10：外观检查管理系统
2、91：外观检查装置
3、5、92：检查管理装置
23、913：控制终端
31、921：特征量分布图制作部
32、922：特征量选择辅助部
33、53：判定指标设定部
34、54：输入装置
35、55：显示装置
36、56、923：存储装置
51：指标设定辅助部
93：显示部
211、912：光源
221、911：摄像机
231、9131：图像获取部
232、9132：特征量计算部
233、9133：缺陷判定部
234：缺陷种类分类部
S101～S108、S201～S206：步骤
T：被检查物
具体实施方式
以下，参照附图来说明本发明的实施方式。
＜适用例＞
(适用例的结构)
本发明例如能够适用于图1所示的外观检查管理系统9。图1是表示本适用例的外观检查管理系统9的概略结构的概略示意图。外观检查管理系统9是包括外观检查装置91与检查管理装置92而构成。
外观检查装置91是拍摄检查对象物(未图示)的图像，并基于所述图像来对检查对象物的缺陷有无进行检查的装置，如图1所示，作为主要的结构，具有作为照明部件的光源911、作为拍摄部件的摄像机912、及作为检查部件的控制终端913。
光源911构成为，可对检查对象物及校准用标准板95照射照明光。摄像机912是对被照射有照明光的状态的检查对象物进行拍摄，并输出数字图像的拍摄部件。另外，以下，也将由拍摄部件所拍摄的检查对象物的图像称作被检查物图像。摄像机912例如是具有光学系统与影像传感器(image sensor)而构成。
控制终端913具有光源911及摄像机912的控制、对从摄像机912导入的图像的处理等功能，相当于本发明中的检查部件。控制终端913能够包含计算机(computer)，所述计算机包括中央处理器(Central Processing Unit，CPU)、随机存取存储器(Random AccessMemory，RAM)、非易失性的存储装置(例如硬盘驱动器(hard disk drive)、快闪存储器(flash memory)等)、输入装置(例如键盘(keyboard)、鼠标(mouse)、触控面板(touchpanel)等)。
当在具有如上所述的结构的外观检查装置91中进行检查对象物的外观检查时，通过摄像机912来拍摄从光源911照射有照明光的状态的检查对象物的图像，控制终端913对所拍摄的图像进行图像处理，通过所获得的特征量的值与预先设定的检查阈值的对比，将具有偏离阈值的特征量的部位判定为缺陷。
(控制终端)
继而，对控制终端913所具有的功能进行说明。控制终端913包含图像获取部9131、特征量计算部9132、缺陷判定部9133，以作为与外观检查相关的功能模块。
图像获取部9131是从摄像机912导入图像的功能，例如获取被照射有照明光的状态的检查对象物的被检查物图像。特征量计算部9132是基于被检查物图像来算出用于外观检查的特征量的功能。另外，特征量并不限于一个，例如也可算出图像的亮度(深浅)分布、亮度的峰值等级、面积、宽度、长度、最长最短费雷特径比、圆度等各种特征量。
缺陷判定部9133将特征量计算部9132所算出的特征量与预先设定的阈值进行对比，将具有偏离阈值的特征量的部位判定为缺陷。
检查管理装置92能够包含计算机，所述计算机包括CPU、RAM、存储装置923、输入装置、显示部93。在存储装置923中，至少存储从外观检查装置91发送的缺陷图像数据。此处，在缺陷图像数据中，包含从被判定为被检查物的缺陷的部位的图像获得的特征量的种类、值及附注信息，所述附注信息表示通过目测检查而判定的一次检查的真伪。
检查管理装置92具有特征量分布图制作部921、特征量选择辅助部922，以作为功能模块。特征量分布图制作部921是制作特征量分布图的功能，所述特征量分布图依据规定的特征量而映射有存储于存储装置923的缺陷图像数据。所谓特征量分布图，是指从预先设定有多个的特征量的项目中提取两种项目，使图像数据映射到将两种项目中的其中一个设为横轴、将另一个设为纵轴的坐标系中。若作进一步详细说明，则根据存储于存储部923的各缺陷图像数据所具有的特征量的值，来将各个图像映射到所述坐标系中。进而，对于缺陷图像数据中的表示真的缺陷的图像数据，例如进行颜色区分等而予以显示，以便能够在视觉上区分此数据。特征量分布图制作部921以所有种类的特征量的所有组合成立的方式，来制作多个此种特征量分布图。
特征量选择辅助部922是使将所述多个特征量分布图依据规定的规则而配置成格子状的特征量俯瞰图显示于所述显示部93的功能。特征量俯瞰图是将如下所述的所述特征量分布图配置而成者，所述特征量分布图是将所述设定有多个的特征量的项目分别并列排列于横轴与纵轴，针对所述排列的每个特征量的项目，在对应的轴取所述项目的特征量。若作进一步详细说明，则配置如下所述的所述特征量分布图，即，在排列于横轴的一个特征量的项目与排列于纵轴的一个特征量的项目交叉的位置，横轴取所述横轴项目的特征量的值，纵轴取纵轴项目的特征量的值。
图2表示特征量选择辅助部922在显示部93上显示的特征量俯瞰图的一例。图2中，横轴与纵轴取亮度峰值等级、圆度、最长最短费雷特径比这三种特征量的特征量分布图也包含同种特征量彼此的组合，且以所有组合成立的方式而配置成格子状(所谓的循环联赛表格式)。
在各特征量分布图中，以深色所示的点(dot)表示了目测检查的结果判定为真缺陷的缺陷图像数据的特征量的值。其他浅色的点是作出了误判定的缺陷图像数据的特征量的值。
根据此种本适用例的外观检查管理系统9，通过参照特征量俯瞰图，使用深色点(即真的缺陷)的偏差少的特征量的组合，能够设定误判定即噪声的混入得到极力抑制的阈值。由此，即便是经验少的人，也能够容易地进行对于外观检查的判定有效的特征量的筛选及阈值的设定。
＜实施方式1＞
接下来，对用于实施本发明的实施例的另一例即外观检查管理系统1进行说明。但是，本实施方式中记载的构成零件的尺寸、材质、形状、其相对配置等只要无特别记载，则并不意图将本发明的范围限定于这些。
(系统结构)
参照图3来说明本发明的实施方式的外观检查管理系统的整体结构。图3是表示外观检查管理系统1的系统结构的示意图。如图3所示，本实施方式的外观检查管理系统1具有外观检查装置2及检查管理装置3以作为主要结构。
(外观检查装置)
外观检查装置2是用于获取片材状物品的外观图像，并基于所述图像来进行缺陷检测的装置，作为主要结构，包括照明系统、测定系统、搬送机构(未图示)、控制终端23。
被检查物T通过未图示的搬送机构，沿水平方向(箭头方向)受到搬送，在所述搬送中，通过测定系统来连续获取被检查物T的外观图像，并基于此来实施检查。被检查物T形成为片材状，例如可例示纸、布、薄膜(film)等。而且，并不限于单一原材料，也可为像将薄膜与无纺布贴合而成的包装纸等那样，具有多个层的片材体。而且，亦可为干燥海苔等食品。
照明系统包括对被检查物T的表面照射可见光(例如白色光)的光源211。对于这些光源，例如也可使用发光二极管(Light Emitting Diode，LED)照明等。
测定系统包括摄像机221，所述摄像机221拍摄从光源211照射并由被检查物T的表面所反射的光(以下称作表面反射光)。所述摄像机相当于本发明中的拍摄部件。另外，摄像机分别包括可探测所拍摄的光的受光传感器、透镜及信号输出部，将经由透镜而由受光传感器所探测到的光作为电信号而输出。作为传感器，例如可使用电荷耦合器件(ChargeCoupled Device，CCD)或互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器。
通过摄像机221来拍摄从光源211照射有照明光的状态的检查对象物的图像，控制终端23对所拍摄的图像进行图像处理，通过所获得的特征量的值与预先设定的检查阈值的对比，将具有偏离阈值的特征量的部位判定为缺陷。
控制终端23具有图像获取部231、特征量计算部232、缺陷判定部233、缺陷种类分类部234的各功能模块，但对于控制终端23的图像获取部231、特征量计算部232、缺陷判定部233，与在适用例中说明的大致相同，因此省略详细说明。
缺陷种类分类部234在通过缺陷判定部233的判定而从被检查物检测到缺陷时，基于预定的阈值与表示所述缺陷的图像的特征量，来对所述缺陷的种类进行分类。所分类的缺陷种类可由用户任意设定，例如既可设置异物混入、污损、褶皱、孔等种类，也可进一步分类为细分种类(例如虫、木片、金属异物、油污、水污、大孔、小孔等)。
(检查管理装置)
所述外观检查装置2经由网络(局域网(Local Area Network，LAN))而连接于检查管理装置3，外观检查装置2与检查管理装置3进行信息的双向通信。检查管理装置3进行从外观检查装置2接收的信息的处理，并且将与检查相关的信息发送至外观检查装置2。检查管理装置3包含通用的计算机系统，所述通用的计算机系统包括CPU(未图示)、存储装置36、输入装置34、显示装置35等。而且，在存储装置36中，至少存储从外观检查装置2发送的缺陷图像数据。此处，在缺陷图像数据中，包含从被判定为被检查物的缺陷的部位的图像获得的特征量的种类、值及附注信息，所述附注信息表示通过目测检查而判定的一次检查的真伪、缺陷的种类等。
另外，检查管理装置3既可包含一台计算机，也可包含多台计算机。或者，也可在外观检查装置2的控制终端23中安装检查管理装置3的全部或一部分功能。或者，也可通过网络上的服务器(server)(云服务器(cloud server)等)来实现检查管理装置3的一部分功能。
本实施方式的检查管理装置3包括特征量分布图制作部31、特征量选择辅助部32及判定指标设定部33，以作为功能模块。
特征量分布图制作部31是制作特征量分布图的功能，所述特征量分布图依据规定的特征量而映射有存储于存储装置36的缺陷图像数据。所谓特征量分布图，是指从预先设定有多个的特征量的项目中提取两种项目，使图像数据映射到将两种项目中的其中一个设为横轴、将另一个设为纵轴的坐标系中。若作进一步详细说明，则根据存储于存储装置36的各缺陷图像数据所具有的特征量的值，来将各个图像映射到所述坐标系中。进而，对于缺陷图像数据中的表示真的缺陷的图像数据，例如进行颜色区分等而予以显示，以便能够在视觉上区分此数据。特征量分布图制作部31以所有种类的特征量的所有组合成立的方式，来制作多个此种特征量分布图。
特征量选择辅助部32是使将所述多个特征量分布图依据规定的规则而配置成格子状的特征量俯瞰图显示于所述显示装置35的功能。特征量俯瞰图是将如下所述的所述特征量分布图配置而成者，所述特征量分布图是将所述设定有多个的特征量的项目分别并列排列于横轴与纵轴，针对所述排列的每个特征量的项目，在对应的轴取所述项目的特征量。若作进一步详细说明，则配置如下所述的所述特征量分布图，即，在排列于横轴的一个特征量的项目与排列于纵轴的一个特征量的项目交叉的位置，横轴取所述横轴项目的特征量的值，纵轴取纵轴项目的特征量的值。而且，特征量选择辅助部32还具有下述功能，即，相对于特征量俯瞰图而在视觉上显示后述的判定指标设定部33对判定指标的设定。特征量选择辅助部32还具有下述功能，即，使原缺陷数图表和新过滤器适用缺陷数图表与所述特征量俯瞰图同时或能够切换地显示于显示装置35，所述原缺陷数图表表示缺陷图像数据的数量，所述新过滤器适用缺陷数图表相对于原缺陷数图表而反映出通过判定指标设定部件进行了判定指标的设定时的外观检查装置2的检查结果的变化。
判定指标设定部33是下述功能，即，经由输入装置34而受理来自用户的输入，对利用外观检查装置2进行外观检查时所用的特征量的种类及其阈值即判定指标进行设定。
(检查管理系统中的处理流程)
接下来，参照图4来说明本实施方式中外观检查管理系统1所进行的处理的一例的流程。图4是表示外观检查管理系统1所进行的一部分处理的流程的流程图。首先，在外观检查装置2中，拍摄被检查物T，控制终端23经由图像获取部231来获取被检查物图像(步骤S101)。接下来，由特征量计算部232根据被检查物图像来算出规定特征量的值(步骤S102)，由缺陷判定部233及缺陷种类分类部234通过所算出的特征量的值与预先设定的检查阈值的对比来执行一次检查(步骤S103)。在此阶段，作出关于缺陷有无及缺陷种类的一次判定，所述判定的信息与被检查物图像数据一同被发送至检查管理装置3。
接下来，在检查管理装置3中，将被检查物图像数据中的被判定为缺陷的缺陷图像数据存储至存储装置36中(步骤S104)。然后，基于所述缺陷图像数据，特征量分布图制作部31制作特征量分布图(步骤S105)，特征量选择辅助部32使特征量俯瞰图显示于显示装置35(步骤S106)。
继而，当用户参照显示于显示装置35的特征量俯瞰图，经由输入装置34来输入外观检查装置2中的判定指标时，判定指标设定部33受理所述输入，设定特征量的种类及阈值(S107)。接下来，特征量选择辅助部32针对显示于显示装置35的特征量俯瞰图，在视觉上显示在步骤S107中设定的判定指标(步骤S108)，一连串处理结束。
另外，图5是表示在步骤S108中特征量选择辅助部32所显示的阈值的线的图。图中的O、P、Q、R的线分别表示每个特征量项目的阈值的线，O表示峰值等级的下限阈值，P表示圆度的上限阈值，Q表示圆度的下限阈值，R表示最长最短费雷特径比的下限阈值。
根据如上所述的外观检查管理系统1，通过参照特征量俯瞰图，使用深色点(即真的缺陷)的偏差少的特征量的组合，能够设定误判定即噪声的混入得到极力抑制的阈值。而且，能够一边观察在特征量俯瞰图中以视觉方式显示的线，一边执行阈值的设定，因此能够容易地设定有效的阈值。
＜实施方式2＞
接下来说明本发明的另一实施方式。图6是表示本实施方式的外观检查管理系统10的系统结构的示意图。另外，外观检查管理系统10具有与实施方式1的外观检查管理系统1大致同样的硬件(hardware)结构，因此对于与外观检查管理系统1具有相同的结构、功能的部位，使用相同的符号并省略说明。
与外观检查管理系统1相比，外观检查管理系统10的不同之处在于检查管理装置5所具有的功能。作为硬件结构，检查管理装置5除了具有CPU(未图示)、输入装置54、显示装置55、存储装置56等以外，还具有指标设定辅助部51与判定指标设定部53的功能模块。硬件结构及判定指标设定部53的功能与外观检查管理系统1同样，因此省略说明。
指标设定辅助部51具有下述功能，即，当在判定指标设定部53中，制作要使用的特征量的种类不同的多个判定指标时，使缺陷分离图显示于显示装置55，所述缺陷分离图阶段性地表示重叠使用各个判定指标时的外观检查装置2中的检查结果的变化。而且，使原缺陷数图表和新过滤器适用缺陷数图表与所述缺陷分离图同时或能够切换地显示于所述显示部，所述原缺陷数图表表示缺陷图像数据的数量，所述新过滤器适用缺陷数图表相对于所述原缺陷数图表而反映出通过判定指标设定部53进行了设定时的外观检查装置2的检查结果的变化。
图7是表示缺陷分离图的图，图7的(A)是表示未设定任何判定指标的状态的图。图7的(B)是表示当设定了基于某特征量及阈值的判定指标时，缺陷判定如何变化的图。图7的(C)是表示进一步设定了基于另一特征量及阈值的判定指标时，缺陷判定进一步如何变化的图。
图8是表示原缺陷数图表与新过滤器适用缺陷数图表的图。图8的(A)显示判定指标适用前的原缺陷数图表，图8的(B)显示表示适用了判定指标时的缺陷数变化的新过滤器适用缺陷数图表。图中的涂黑的柱表示真的缺陷，影线的柱表示被误检测的缺陷。只要能够设定有效的判定指标，便能够像图8的(A)至图8的(B)那样，大幅减少被误检测的缺陷数。
而且，图7的缺陷分离图与图8的缺陷数图表也可切换或者同时显示，以供参照。即，当使用缺陷分离图来设定判定指标时，能够一边参照设定后的缺陷数的变化，一边研究判定指标。本实施方式中，例如假设图7的(A)的状态与图8的(A)的状态对应，图7的(C)的状态与图8的(B)的状态对应。
接下来，参照图9来说明本实施方式中外观检查管理系统10所进行的处理的一例。图9是表示外观检查管理系统10所进行的处理流程的一例的流程图。在外观检查装置2中，实施外观检查，进行缺陷判定(S201)。继而，缺陷图像数据被送往检查管理装置5，并被保存到存储装置56中(步骤S202)。接下来，由指标设定辅助部51在显示装置55上显示缺陷分离图(步骤S203)。继而，通过用户的输入，判定指标设定部53进行是否进行了判定指标的设定的判定(步骤S204)。
此处，若判断为进行了判定指标的设定，则指标设定辅助部51将缺陷分离图的显示变更为反映出所述设定的图而显示于显示装置55(步骤S205)。随后，返回步骤S204，重复以后的处理。另一方面，若在步骤S204中判定为尚未新设定判定指标，则指标设定辅助部51使反映出现状的判定指标的设定(也包括尚未设定的情况)的缺陷数图表显示于显示装置55，结束一连串处理。
根据如上所述的外观检查管理系统10，在对于用作判定指标的特征量的种类，尽管在一定程度上设立有目标但不知晓有效阈值的情况下，能够一边参照缺陷分离图与缺陷数图表，一边缩减阈值。由此，即使对于已在一定程度上熟悉了检查操作的人，也能够在用于观检查装置2的缺陷判定的判定指标的设定中提供有效率的作业。
＜其他＞
所述各实施方式不过是例示性地说明本发明，本发明并不限定于所述的具体实施例。本发明可在其技术思想的范围内进行各种变形。例如，也可将实施方式1与实施方式2加以组合，而构建在实施方式1的检查管理装置中设有指标设定辅助部的检查管理系统。而且，在实施方式1的检查管理装置中，也可采用显示图8所示的缺陷数图表的结构。
而且，所述实施方式中，对片材状的被检查物进行检查的装置为对象，但本发明并不限于此，能够广泛适用于进行图像处理的外观检查装置。
本发明的一技术方案是一种外观检查管理系统1，其特征在于包括：
外观检查部件2，基于从拍摄被检查物所得的图像获取的特征量，来检查所述被检查物的缺陷；
显示部件35；
存储部件36，存储缺陷图像数据，所述缺陷图像数据至少包含从由所述外观检查部件判定为所述被检查物的缺陷的部位的图像获得的特征量的信息；
特征量分布图制作部件31，制作多个特征量分布图，所述特征量分布图是将所述特征量的信息映射到规定的坐标系中；以及
特征量选择辅助部件32，使将所述特征量分布图制作部件所制作多个特征量分布图依据规定的规则配置而成的特征量俯瞰图显示于所述显示部件。
而且，本发明的另一技术方案是一种外观检查管理系统10，其特征在于包括：
外观检查部件2，基于从拍摄被检查物所得的图像获取的特征量，来至少检查所述被检查物的缺陷；
显示部件55；
存储部件56，存储多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够设定为所述外观检查部件中的缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像获得的特征量的种类及值；
判定指标设定部件53，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标；以及
指标设定辅助部件51，当在所述判定指标设定部件中，制作要使用的特征量的种类不同的多个判定指标时，使缺陷分离图显示于所述显示部件，所述缺陷分离图阶段性地表示重叠使用各个判定指标时的所述外观检查部件中的检查结果的变化。
而且，本发明的另一技术方案是一种外观检查管理方法，对被检查物的外观检查进行管理，所述外观检查管理方法包括：
数据获取步骤(S104)，获取多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够在所述外观检查中设定为缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像获得的特征量的种类、值及附注信息，所述附注信息至少表示缺陷判定结果的真伪；
特征量分布图制作步骤(S105)，以所有种类的特征量的所有组合成立的方式，来制作多个特征量分布图，所述特征量分布图是从在所述数据获取步骤中获取的所述多种特征量的项目提取两种项目，并使所述获取的缺陷图像数据的特征量在视觉上反映所述附注信息地映射到将所述两种项目设为横轴、纵轴的坐标系中；以及
特征量选择辅助步骤(S106)，显示将如下所述的所述特征量分布图配置而成的特征量俯瞰图，所述特征量分布图是将所述多种特征量的项目分别并列排列于横轴与纵轴，进而在排列于横轴的特征量的项目与排列于纵轴的特征量的项目交叉的部位，将所述横轴的项目的特征量的值设为横轴，将所述纵轴的项目的特征量的值设为纵轴。
而且，本发明的另一技术方案是一种外观检查管理方法，对被检查物的外观检查进行管理，所述外观检查管理方法包括：
数据获取步骤(S202)，获取多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够在所述外观检查中设定为缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像获得的特征量的种类及值；
判定指标制作步骤(S204)，通过设定特征量的种类及阈值，来制作所述外观检查中的缺陷的判定指标；以及
指标设定辅助步骤(S205)，在所述判定指标制作步骤中，每当进行与判定指标相关的特征量的种类及阈值的设定时，显示缺陷分离图，所述缺陷分离图阶段性地表示反映出所述设定时的所述外观检查的结果的变化。

Claims (22)

1.一种外观检查管理系统，其特征在于，包括：
外观检查部件，基于从拍摄被检查物所得的图像获取的特征量，来检查所述被检查物的缺陷；
显示部件；
存储部件，存储缺陷图像数据，所述缺陷图像数据至少包含从由所述外观检查部件判定为所述被检查物的缺陷的部位的图像获得的特征量的信息；
特征量分布图制作部件，制作多个特征量分布图，所述特征量分布图是将所述特征量的信息映射到规定的坐标系中；以及
特征量选择辅助部件，将所述特征量分布图制作部件所制作多个特征量分布图依据规定的规则配置而成的特征量俯瞰图，显示于所述显示部件。
2.根据权利要求1所述的外观检查管理系统，其特征在于，
所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像获得的特征量的种类、值以及附注信息，所述附注信息至少表示被判定为所述缺陷的结果的真伪。
3.根据权利要求2所述的外观检查管理系统，其特征在于，
所述附注信息包含缺陷的种类。
4.根据权利要求2或3所述的外观检查管理系统，其特征在于，
所述存储部件存储能够在所述外观检查部件的检查中设定为缺陷判定指标的多种特征量的项目与所述缺陷图像数据。
5.根据权利要求4所述的外观检查管理系统，其特征在于，
所述特征量分布图是从所述多种特征量的项目中提取两种项目，并使所述缺陷图像数据的特征量能够在视觉上识别地反映所述附注信息地映射到将所述两种项目设为横轴、纵轴的坐标系中。
6.根据权利要求5所述的外观检查管理系统，其特征在于，
所述特征量俯瞰图是根据配置如下所述的所述特征量分布图的规则来将所述多个特征量分布图配置而成：所述特征量分布图是将所述多种特征量的项目分别并列排列于横轴与纵轴，进而在排列于横轴的特征量的项目与排列于纵轴的特征量的项目交叉的部位，将所述横轴的项目的特征量的值设为横轴，将所述纵轴的项目的特征量的值设为纵轴。
7.根据权利要求6所述的外观检查管理系统，其特征在于，
所述特征量分布图制作部件以所有种类的特征量的所有组合成立的方式，来制作多个所述特征量分布图。
8.根据权利要求1所述的外观检查管理系统，其特征在于，还包括：
判定指标设定部件，受理用户的输入，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标。
9.根据权利要求8所述的外观检查管理系统，其特征在于，
所述特征量选择辅助部件将由所述判定指标设定部件所设定的特征量的种类及阈值显示为相对于所述特征量俯瞰图的视觉表现。
10.根据权利要求8或9所述的外观检查管理系统，其特征在于，
所述特征量选择辅助部件使原缺陷数图表和新过滤器适用缺陷数图表与所述特征量俯瞰图能够同时或切换地显示于所述显示部件，
所述原缺陷数图表表示所述缺陷图像数据的数量，
所述新过滤器适用缺陷数图表相对于所述原缺陷数图表而反映出通过所述判定指标设定部件进行了设定的情形下所述外观检查部件的检查结果的变化。
11.根据权利要求10所述的外观检查管理系统，其特征在于，
在所述判定指标设定部件中，制作要使用的特征量的种类或阈值不同的多个判定指标时，
所述特征量选择辅助部件每当进行与各个判定指标相关的特征量的种类或阈值的设定时，阶段性地显示反映出所述设定的所述新过滤器适用缺陷数图表。
12.一种外观检查管理装置，其至少包括特征量分布图制作部件与特征量选择辅助部件，
所述外观检查管理装置构成权利要求1至11中任一项所述的外观检查管理系统的至少一部分。
13.一种外观检查管理系统，其特征在于，包括：
搬送部件，连续搬送片材状的被检查物；
拍摄部件，连续拍摄搬送中的所述被检查物；
外观检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像所获得的特征量与规定的阈值，由此来进行判定，从而检测所述被检查物的缺陷部位；
显示部件；
存储部件，存储缺陷图像数据，所述缺陷图像数据至少包含从利用所述外观检查部件判定为所述被检查物的缺陷的部位的图像所获得的特征量的信息；
特征量分布图制作部件，制作多个特征量分布图，所述特征量分布图是将所述特征量的信息映射到规定的坐标系中；以及
特征量选择辅助部件，将所述特征量分布图制作部件所制作多个特征量分布图依据规定的规则配置而成的特征量俯瞰图，显示于所述显示部件。
14.一种外观检查管理系统，其特征在于，包括：
外观检查部件，基于从拍摄被检查物所得的图像获取的特征量，来至少检查所述被检查物的缺陷；
显示部件；
存储部件，至少存储多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够设定为所述外观检查部件中的缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类及值；
判定指标设定部件，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标；以及
指标设定辅助部件，在所述判定指标设定部件中，制作要使用的特征量的种类不同的多个判定指标时，使缺陷分离图显示于所述显示部件，所述缺陷分离图阶段性地表示重叠使用各个判定指标的情形下所述外观检查部件中的检查结果的变化。
15.根据权利要求14所述的外观检查管理系统，其特征在于，
所述指标设定辅助部件所示的缺陷分离图为直方图。
16.根据权利要求14或15所述的外观检查管理系统，其特征在于，
所述指标设定辅助部件使原缺陷数图表和新过滤器适用缺陷数图表与所述缺陷分离图能够同时或切换地显示于所述显示部件，
所述原缺陷数图表表示所述缺陷图像数据的数量，
所述新过滤器适用缺陷数图表相对于所述原缺陷数图表而反映出通过所述判定指标设定部件进行了设定的情形下所述外观检查部件的检查结果的变化。
17.根据权利要求14或15所述的外观检查管理系统，其特征在于，
所述缺陷图像数据包含缺陷种类的信息。
18.一种外观检查管理装置，其至少包括判定指标设定部件与指标设定辅助部件，
所述外观检查管理装置构成权利要求14至17中任一项所述的外观检查管理系统的至少一部分。
19.一种外观检查管理系统，其特征在于，包括：
搬送部件，连续搬送片材状的被检查物；
拍摄部件，连续拍摄搬送中的所述被检查物；
外观检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像所获得的特征量与规定的阈值，由此来进行判定，从而检测所述被检查物的缺陷部位；
显示部件；
存储部件，至少存储多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够设定为所述外观检查部件中的缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类及值；
判定指标设定部件，通过设定特征量的种类及阈值，来制作一个以上的所述外观检查部件中的缺陷的判定指标；以及
指标设定辅助部件，在所述判定指标设定部件中，制作要使用的特征量的种类不同的多个判定指标时，使缺陷分离图显示于所述显示部件，所述缺陷分离图阶段性地表示重叠使用各个判定指标的情形下所述外观检查部件中的检查结果的变化。
20.一种外观检查管理方法，对被检查物的外观检查进行管理，所述外观检查管理方法包括：
数据获取步骤，获取多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够在所述外观检查中设定为缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类、值及附注信息，所述附注信息至少表示缺陷判定结果的真伪；
特征量分布图制作步骤，以所有种类的特征量的所有组合成立的方式，来制作多个特征量分布图，所述特征量分布图是从在所述数据获取步骤中获取的所述多种特征量的项目提取两种项目，并使所述获取的缺陷图像数据的特征量在视觉上反映所述附注信息地映射到将所述两种项目设为横轴、纵轴的坐标系中；以及
特征量选择辅助步骤，显示将如下所述的所述特征量分布图配置而成的特征量俯瞰图：所述特征量分布图是将所述多种特征量的项目分别并列排列于横轴与纵轴，进而在排列于横轴的特征量的项目与排列于纵轴的特征量的项目交叉的部位，将所述横轴的项目的特征量的值设为横轴，将所述纵轴的项目的特征量的值设为纵轴。
21.一种外观检查管理方法，对被检查物的外观检查进行管理，所述外观检查管理方法包括：
数据获取步骤，获取多种特征量的项目与缺陷图像数据，所述多种特征量的项目能够在所述外观检查中设定为缺陷的判定指标，所述缺陷图像数据包含从被判定为所述被检查物的缺陷的部位的图像所获得的特征量的种类及值；
判定指标制作步骤，通过设定特征量的种类及阈值，来制作所述外观检查中的缺陷的判定指标；以及
指标设定辅助步骤，在所述判定指标制作步骤中，每当进行与判定指标相关的特征量的种类及阈值的设定时，显示缺陷分离图，所述缺陷分离图阶段性地表示反映出所述设定的情形下所述外观检查的结果的变化。
22.一种存储介质，其存储的程序用于使信息处理装置执行权利要求20或21所述的各步骤。
CN202010371967.6A 2019-06-25 2020-05-06 外观检查管理系统、装置、方法以及存储介质 Active CN112129768B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-117367 2019-06-25
JP2019117367A JP7298333B2 (ja) 2019-06-25 2019-06-25 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN112129768A true CN112129768A (zh) 2020-12-25
CN112129768B CN112129768B (zh) 2024-06-04

Family

ID=73851753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371967.6A Active CN112129768B (zh) 2019-06-25 2020-05-06 外观检查管理系统、装置、方法以及存储介质

Country Status (4)

Country Link
JP (1) JP7298333B2 (zh)
KR (1) KR102284095B1 (zh)
CN (1) CN112129768B (zh)
TW (1) TWI767229B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588488B (zh) * 2021-09-29 2022-01-18 国网天津市电力公司电力科学研究院 电缆的缺陷检测方法、装置、终端设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017159A (ja) * 2003-06-27 2005-01-20 Hitachi High-Technologies Corp 欠陥検査装置における検査レシピ設定方法および欠陥検査方法
JP2006292615A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
CN1885014A (zh) * 2005-06-22 2006-12-27 欧姆龙株式会社 基板检查装置及其参数设定方法和参数设定装置
CN101197301A (zh) * 2006-12-08 2008-06-11 奥林巴斯株式会社 缺陷检查装置及缺陷检查方法
JP2009266839A (ja) * 2008-04-21 2009-11-12 Hitachi High-Technologies Corp 半導体検査装置及び半導体検査方法
WO2011036846A1 (ja) * 2009-09-28 2011-03-31 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
CN103207183A (zh) * 2011-12-28 2013-07-17 株式会社其恩斯 外观检查装置和外观检查方法
WO2014186407A2 (en) * 2013-05-14 2014-11-20 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
CN109781733A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 缺陷检查装置、缺陷检查方法及计算机可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4374303B2 (ja) * 2004-09-29 2009-12-02 株式会社日立ハイテクノロジーズ 検査方法及びその装置
JP2007198912A (ja) 2006-01-26 2007-08-09 Sharp Corp 画像検査装置、画像検査方法、コンピュータを画像検査装置として機能させるためのプログラムおよび記録媒体
JP5941782B2 (ja) * 2012-07-27 2016-06-29 株式会社日立ハイテクノロジーズ マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置
JP5825278B2 (ja) * 2013-02-21 2015-12-02 オムロン株式会社 欠陥検査装置および欠陥検査方法
JP6314557B2 (ja) * 2014-03-12 2018-04-25 オムロン株式会社 シート検査装置
JP6403261B2 (ja) 2014-12-03 2018-10-10 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2017166939A (ja) * 2016-03-16 2017-09-21 三菱マテリアル株式会社 温度センサ
WO2018105462A1 (ja) * 2016-12-08 2018-06-14 東京エレクトロン株式会社 信号処理方法及びプログラム
JP7005930B2 (ja) * 2017-04-21 2022-01-24 オムロン株式会社 シート検査装置及び検査システム
JP2018204995A (ja) 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
JP6882772B2 (ja) * 2017-07-11 2021-06-02 株式会社Ｒｉｓｔ 検査装置、検査方法及び検査プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017159A (ja) * 2003-06-27 2005-01-20 Hitachi High-Technologies Corp 欠陥検査装置における検査レシピ設定方法および欠陥検査方法
JP2006292615A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
CN1885014A (zh) * 2005-06-22 2006-12-27 欧姆龙株式会社 基板检查装置及其参数设定方法和参数设定装置
CN101197301A (zh) * 2006-12-08 2008-06-11 奥林巴斯株式会社 缺陷检查装置及缺陷检查方法
JP2009266839A (ja) * 2008-04-21 2009-11-12 Hitachi High-Technologies Corp 半導体検査装置及び半導体検査方法
WO2011036846A1 (ja) * 2009-09-28 2011-03-31 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
CN103207183A (zh) * 2011-12-28 2013-07-17 株式会社其恩斯 外观检查装置和外观检查方法
WO2014186407A2 (en) * 2013-05-14 2014-11-20 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
CN109781733A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 缺陷检查装置、缺陷检查方法及计算机可读存储介质

Also Published As

Publication number Publication date
TW202100991A (zh) 2021-01-01
KR102284095B1 (ko) 2021-07-30
KR20210000656A (ko) 2021-01-05
CN112129768B (zh) 2024-06-04
TWI767229B (zh) 2022-06-11
JP2021004751A (ja) 2021-01-14
JP7298333B2 (ja) 2023-06-27

Similar Documents

Publication Publication Date Title
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US10489900B2 (en) Inspection apparatus, inspection method, and program
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP4908995B2 (ja) 欠陥分類方法及びその装置並びに欠陥検査装置
US9607233B2 (en) Classifier readiness and maintenance in automatic defect classification
KR101361374B1 (ko) 결함 관찰 방법 및 결함 관찰 장치
KR102103853B1 (ko) 결함 검사 장치 및 결함 검사 방법
US6941009B2 (en) Method for evaluating pattern defects on a water surface
JP5342606B2 (ja) 欠陥分類方法及びその装置
US20080175466A1 (en) Inspection apparatus and inspection method
JP2009002743A (ja) 外観検査方法及びその装置および画像処理評価システム
JP2004177139A (ja) 検査条件データ作成支援プログラム及び検査装置及び検査条件データ作成方法
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN116482103A (zh) 分类条件设定辅助装置
CN112129768A (zh) 外观检查管理系统、装置、方法以及存储介质
TWI823261B (zh) 支援裝置以及支援方法
KR102295669B1 (ko) 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램
JP2011232302A (ja) 画像検査方法及び画像検査装置
JP2004257845A (ja) 欠陥の分類方法
JP2020144727A (ja) 単板判定システムおよび単板の判定方法
JP2018198034A (ja) 画像分類システム、画像分類機能付製造装置、画像分類用の識別器、及び画像分類方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant