CN112213315A - 外观检查管理系统、装置、方法以及存储介质 - Google Patents

外观检查管理系统、装置、方法以及存储介质 Download PDF

Info

Publication number
CN112213315A
CN112213315A CN202010384580.4A CN202010384580A CN112213315A CN 112213315 A CN112213315 A CN 112213315A CN 202010384580 A CN202010384580 A CN 202010384580A CN 112213315 A CN112213315 A CN 112213315A
Authority
CN
China
Prior art keywords
image
defect
inspection
defect candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010384580.4A
Other languages
English (en)
Inventor
中田雅博
宫田佳昭
松井将彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112213315A publication Critical patent/CN112213315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Textile Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明提供一种外观检查管理系统、装置、方法以及存储介质，使被检查物的外观检查中的目测检查的判断效率化，且防止以目测检查为原因的检查基准的波动。外观检查管理系统包括：拍摄部件，拍摄被检查物；检查部件，基于由拍摄部件所拍摄的图像来检查被检查物；缺陷候补提取部件，从由拍摄部件所拍摄的图像中，提取相对于规定阈值而具有规定的差的范围内的特征量的值的缺陷候补图像；显示部件；以及目测检查辅助部件，在显示部件上显示图像一览显示与缺陷判定线，图像一览显示是根据各图像所具有的特征量的值来将一个以上的缺陷候补图像排列而成，缺陷判定线表示阈值，并且根据阈值将图像一览显示中的缺陷候补图像依据是否被判定为缺陷来进行划分。

Description

外观检查管理系统、装置、方法以及存储介质
技术领域
本发明涉及一种外观检查，其是基于对被检查物照射照明光而拍摄的被检查物的图像来进行所述被检查物的检查，具体而言，本发明涉及一种外观检查管理系统、外观检查管理装置、外观检查管理方法、存储介质以及程序。
背景技术
以往，已知有一种外观检查装置，其基于对被检查物照射照明光而拍摄的被检查物的图像，来进行被检查物的检查。
例如，专利文献1中公开了一种检查装置，其对通过将可见光或紫外光照射向片材(sheet)并利用摄像机来拍摄其透射光或反射光而获得的图像进行分析，由此来检测片材中的异常(异物混入、污损、褶皱等，以下也称作缺陷)。
此种外观检查装置中，通过对从拍摄图像提取的特征量的值与预先设定的阈值进行对比，从而自动判别缺陷的有无或种类。但是，所述缺陷判定在防止漏看的意义上也得出严格结果的情况多，一直以来，会对被暂时检测为缺陷的部位的图像进行借助目测的二次检查。而且，一般也基于借助所述目测的二次检查，来重新设定外观检查装置中的检查阈值。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2015-172519号公报
发明内容
[发明所要解决的问题]
此外，在如所述那样进行借助目测的二次检查时，具有缺陷判定相对较困难的接近阈值的特征量的图像、与具有能够明确判别为缺陷的大幅偏离阈值的特征量的图像混合存在的总体成为对象。
因此，存在下述问题，即，关于对目测检查的必要性原本就低的图像进行目测的时间，产生浪费。而且，还存在下述问题，即，每当对此种大量的图像进行目测时，检查员所作的判定产生波动(即，检查基准摇摆不定)。并且，存在下述问题，即，若基于此种存在波动的缺陷判定来设定(变更)检查装置的检查阈值，则始终确定不了一次检查基准，检查精度无法提高。
本发明是有鉴于如上所述的实际情况而完成，其目的在于提供一种技术，使被检查物的外观检查中的目测检查的判断效率化，并且防止以目测检查为原因的检查基准的波动。
[解决问题的技术手段]
为了达成所述目的，本发明采用以下结构。
本发明的外观检查管理系统包括：
拍摄部件，拍摄被检查物；
检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像所获得的特征量与规定阈值，由此来进行判定，以检测所述被检查物的缺陷；
缺陷候补提取部件，从所述被检查物图像中，提取相对于所述规定阈值而具有规定的差的范围内的特征量的值的缺陷候补图像；
显示部件；以及
目测检查辅助部件，在所述显示部件上显示图像一览显示与缺陷判定线，所述图像一览显示是根据各图像所具有的特征量的值来将一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且根据所述阈值将所述图像一览显示中的缺陷候补图像依据是否被判定为缺陷来进行划分。
另外，作为此处所说的特征量，可适用图像的亮度(深浅)分布、亮度的峰值等级、面积、宽度、长度、最长最短费雷特径比、圆度等各种种类的特征量。而且，以下，将在所述外观检查部件中拍摄的被检查物的图像也称作被检查物图像。另外，也可采用下述结构，即，所述检查部件兼作所述缺陷候补提取部件，即，将相对于所述规定阈值而具有规定的差的范围内的特征量值的部位检测为缺陷，将拍摄到所述缺陷部位的图像提取为缺陷候补图像。
根据具有此种结构的外观检查管理系统，进行目测检查作为外观检查的二次检查的用户能够对多个缺陷候补图像与表示客观指标即阈值的缺陷判定线进行对比，从而进行目测检查，因此能够防止检查基准产生波动。
而且，所述阈值也可设有多个，所述目测检查辅助部件显示与所述阈值的数量相应的所述缺陷判定线。而且，所述检查部件也可从所述被检查物图像获取多种特征量，根据与各个特征量对应的阈值来检测所述被检查物的缺陷。这样，能够基于多个观点来缩减缺陷，能够对缺陷的内容进行细分化。
而且，所述图像一览显示亦可为对应于特征量的每个种类，根据各图像所具有的特征量的值来将一个以上的所述缺陷候补图像排列而成。若为此种结构，则当使用多个特征量时，能够提高一览显示的辨认性。
而且，也可还包括：缺陷种类分类部件，当从所述被检查物检测出缺陷时，对所述缺陷的种类进行分类。而且，所述目测检查辅助部件也可对应于所述缺陷种类分类部件所分类的缺陷的每个种类，使所述缺陷的个数显示于所述显示部件。若为此种结构，则能够对缺陷的种类进行分类而对图像数据进行管理，能够基于更详细的信息来进行检查的管理。
而且，所述外观检查管理系统也可还包括：输入部件；以及检查结果修正部件，经由所述输入部件来受理使所述缺陷判定线与所述图像一览显示中的缺陷候补图像的至少一个相对移动的操作。通过具有此种结构，能够以对话方式的操作来修正特定图像的判定结果。
而且，所述检查结果修正部件也可通过所述操作，使用于表示与操作前相比而向所述缺陷判定线的相反侧进行了移动的所述缺陷候补图像的关注显示，显示于所述显示部件。若为此种结构，则在检查结果经过了修正的情况下，能够容易地辨认所述经修正的情况及其内容。
而且，所述检查结果修正部件也可受理使所述缺陷判定线与所述图像一览显示中的缺陷候补图像的至少一个相对移动的操作，由此来设定和/或变更所述规定阈值。通过具有此种结构，能够利用对话方式的操作来进行阈值的变更。
而且，所述目测检查辅助部件也可在通过规定的特征量来定义的所述坐标系中，将特征量分布图与所述图像一览显示同时或能够切换地显示于所述显示部件，所述特征量分布图是将从一个以上的所述被检查物图像所获得的特征量的值作为所述坐标系的坐标而配置。而且，所述检查管理系统也可还包括：阈值设定部件，设定和/或变更所述规定阈值，在所述特征量分布图上，显示表示所述规定阈值的阈值显示线，当通过所述阈值设定部件变更了所述规定阈值时，将所述阈值的变更反映至所述阈值显示线的显示。
另外，所述阈值设定部件亦可为兼作所述检查结果修正部件的结构。若为此种结构，则能够一眼确认被检查物图像中的特征量的分布及与检查阈值的关系。而且，能够一边对阈值显示线与特征量的分布进行对比，一边对提取缺陷候补图像的差值区域进行研究。
而且，所述外观检查管理系统中的所述被检查物也可为片材状的物品。而且，所述外观检查管理系统也可至少将具有所述目测检查辅助部件的检查管理装置作为构成要素。
而且，本发明的外观检查的管理方法对被检查物的外观检查进行管理，所述外观检查管理方法包括：拍摄步骤，拍摄被检查物；缺陷候补提取步骤，提取缺陷候补图像，所述缺陷候补图像是从在所述拍摄步骤中所拍摄的被检查物的图像获得的特征量相对于规定阈值而收敛在规定的差的范围内的图像；以及目测检查辅助步骤，使图像一览显示及缺陷判定线显示在同一画面上，所述图像一览显示是根据各图像所具有的特征量的值来将在所述缺陷候补提取步骤中提取的一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且根据与所述阈值的关系而将所述图像一览显示中的缺陷候补图像依据是否被判定为缺陷来进行划分。
而且，本发明也能够理解作为存储介质，其存储用于使信息处理装置执行所述方法的程序，其为非暂时地记录有此种程序的计算机可读取的存储介质。
而且，各个所述结构及处理只要不会产生技术性的矛盾，便能够相互组合而构成本发明。
[发明的效果]
根据本发明，能够提供一种技术，使被检查物的外观检查中的目测检查的判断效率化，并且防止以目测检查为原因的检查基准的波动。
附图说明
图1是表示本发明的适用例的外观检查管理系统的结构的示意图。
图2是表示适用例的目测检查辅助部在显示部件上显示的画面例的图。
图3是表示实施方式的外观检查管理系统的结构的示意图。
图4是表示实施方式的外观检查管理系统的处理流程的流程图。
图5是表示实施方式的目测检查辅助部在显示装置上显示的画面例的第一图。
图6的(A)是表示实施方式的目测检查辅助部在显示装置上显示的画面例的第二图。图6的(B)是表示实施方式的目测检查辅助部在显示装置上显示的画面例的第三图。
图7是表示实施方式的目测检查辅助部在显示装置上显示的画面例的第四图。
图8是表示实施方式的目测检查辅助部在显示装置上显示的画面例的第五图。
[符号的说明]
1、9：外观检查管理系统
2、91：外观检查装置
3、92：检查管理装置
23、913：控制终端
31、921、9134：缺陷候补图像获取部
32、922：目测检查辅助部
33：检查基准设定部
34：输入装置
35：显示装置
93：显示部件
211、912：光源
221、911：摄像机
231、9131：图像获取部
232、9132：特征量计算部
233、9133：缺陷判定部
234：缺陷种类分类部
235：缺陷候补提取部
S101～S109：步骤
T：被检查物
具体实施方式
以下，参照附图来说明本发明的实施方式。
＜适用例＞
(系统结构)
本发明例如能够适用于图1所示的外观检查管理系统9。图1是表示本适用例的外观检查管理系统9的概略结构的概略示意图。外观检查管理系统9是包括外观检查装置91与检查管理装置92而构成。
外观检查装置91是拍摄检查对象物(未图示)的图像，并基于所述图像来对检查对象物的缺陷有无进行检查的装置，如图1所示，作为主要的结构，具有作为照明部件的光源911、作为拍摄部件的摄像机912、及控制终端913。另外，控制终端913相当于本发明中的检查部件及缺陷候补提取部件。
光源911构成为，可对检查对象物及校准用标准板95照射照明光。摄像机912是对被照射有照明光的状态的检查对象物进行拍摄，并输出数字图像的拍摄部件。另外，以下，也将由拍摄部件所拍摄的检查对象物的图像称作被检查物图像。摄像机912例如是具有光学系统与图像传感器(image sensor)而构成。
控制终端913具有光源911及摄像机912的控制、对从摄像机912导入的图像的处理等功能，相当于本发明中的检查部件。控制终端913能够包含计算机(computer)，所述计算机包括中央处理器(Central Processing Unit，CPU)、随机存取存储器(Random AccessMemory，RAM)、非易失性的存储装置(例如硬盘驱动器(hard disk drive)、快闪存储器(flash memory)等)、输入装置(例如键盘(keyboard)、鼠标(mouse)、触控面板(touchpanel)等)。
当在具有如上所述的结构的外观检查装置91中进行检查对象物的外观检查时，通过摄像机912来拍摄从光源911照射有照明光的状态的检查对象物的图像，控制终端913对所拍摄的图像进行图像处理，通过所获得的特征量的值与预先设定的检查阈值的对比，将具有偏离阈值的特征量的部位判定为缺陷。
继而，对控制终端913所具有的功能进行说明。控制终端913包含图像获取部9131、特征量计算部9132、缺陷判定部9133、缺陷候补图像获取部9134，以作为与外观检查相关的功能模块。
图像获取部9131是从摄像机912导入图像的功能，例如获取被照射有照明光的状态的检查对象物的被检查物图像。特征量计算部9132是基于被检查物图像来算出用于外观检查的特征量的功能。另外，特征量并不限于一个，例如也可算出图像的亮度(深浅)分布、亮度的峰值等级、面积、宽度、长度、最长最短费雷特径比、圆度等各种特征量。
缺陷判定部9133将特征量计算部9132所算出的特征量与预先设定的阈值进行对比，将具有偏离阈值的特征量的部位判定为缺陷。而且，缺陷候补提取部9134是如下所述的功能，即，从被检查物图像中，提取相对于用于缺陷判定的阈值而具有一定的差的范围内的特征量值的缺陷候补图像。
检查管理装置92具有为了二次判定而显示由外观检查装置91判定为缺陷的部位的图像的功能、外观检查装置91中的检查中所用的特征量的种类及其阈值的设定功能等。检查管理装置92能够包含计算机，所述计算机包括CPU、RAM、非易失性的存储装置、输入装置、显示部件(例如液晶显示器等)93。
检查管理装置92具有缺陷候补图像获取部921、目测检查辅助部922以作为功能模块。缺陷候补图像获取部921是从外观检查装置91获取缺陷候补提取部9134所提取的缺陷候补图像的功能。目测检查辅助部922是使一览显示的图像一览、及缺陷判定线显示于显示部件93的功能，所述一览显示的图像一览是根据各图像所具有的特征量的值来将缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且依据是否根据所述阈值而判定为缺陷来划分所述一览显示的缺陷候补图像。
图2表示目测检查辅助部922在显示部件93上显示的画面的一例。图2表示了将深浅不同的部位的面积设为特征量时，所述特征量的值接近阈值的缺陷候补图像依照特征量的值由高到低的顺序而从左侧依序排列的状态。图2中的虚线是表示阈值的缺陷判定线，较其位于左侧的图像所表示的部位在外观检查装置91中被检测为缺陷。即，缺陷判定线依据是否根据阈值而判定为缺陷来划分左侧三个图像与右侧两个图像。
根据如上所述的本适用的外观检查管理系统9，进行目测检查作为外观检查的二次检查的用户能够仅一览参照具有接近阈值的值的特征量的图像。因此，能够省略明确的缺陷的检查，且能够在一画面上确认多个图像，因此能够使目测检查效率化。而且，由于显示表示阈值的缺陷判定线，因此能够基于客观的指标来进行图像的缺陷判定。由此，能够防止判定的波动。
＜实施方式1＞
接下来，对用于实施本发明的方式的另一例即外观检查管理系统1进行说明。但是，本实施方式中记载的构成零件的尺寸、材质、形状、其相对配置等只要无特别记载，则并不意图将本发明的范围限定于这些。
(系统结构)
参照图3来说明本发明的实施方式的外观检查管理系统的整体结构。图3是表示外观检查管理系统1的系统结构的示意图。如图3所示，本实施方式的外观检查管理系统1具有外观检查装置2及检查管理装置3以作为主要结构。
(外观检查装置)
外观检查装置2是用于获取片材状物品的外观图像，并基于所述图像来进行缺陷检测的装置，作为主要结构，包括照明系统、测定系统、搬送机构(未图示)、控制终端23。
被检查物T通过未图示的搬送机构，沿水平方向(箭头方向)受到搬送，在所述搬送中，通过测定系统来连续获取被检查物T的外观图像，并基于此来实施检查。被检查物T形成为片材状，例如可例示纸、布、薄膜(film)等。而且，并不限于单一原材料，也可为像将薄膜与无纺布贴合而成的包装纸等那样，具有多个层的片材体。而且，亦可为干燥海苔等食品。
照明系统包括对被检查物T的表面照射可见光(例如白色光)的光源211。对于这些光源，例如也可使用发光二极管(Light Emitting Diode，LED)照明等。
测定系统包括摄像机221，所述摄像机221拍摄从光源211照射并由被检查物T的表面所反射的光(以下称作表面反射光)。所述摄像机相当于本发明中的拍摄部件。另外，摄像机分别包括可探测所拍摄的光的受光传感器、透镜及信号输出部，将经由透镜而由受光传感器所探测到的光作为电信号而输出。作为传感器，例如可使用电荷耦合器件(ChargeCoupled Device，CCD)传感器或互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器等。
通过摄像机221来拍摄从光源211照射有照明光的状态的检查对象物的图像，控制终端23对所拍摄的图像进行图像处理，通过所获得的特征量的值与预先设定的检查阈值的对比，将具有偏离阈值的特征量的部位判定为缺陷。
控制终端23具有图像获取部231、特征量计算部232、缺陷判定部233、缺陷种类分类部234、缺陷候补提取部235的各功能模块，但其中，对于缺陷种类分类部234以外的功能模块，与在适用例中说明的大致相同，因此省略详细说明。
缺陷种类分类部234在通过缺陷判定部233的判定而从被检查物检测到缺陷时，基于预定的阈值与表示所述缺陷的图像的特征量，来对所述缺陷的种类进行分类。而且，对于由缺陷候补提取部235所提取的缺陷候补图像，也可进行同样的分类。所分类的缺陷种类可由用户任意设定，例如既可设置异物混入、污损、褶皱、孔等种类，也可进一步分类为细分种类(例如虫、木片、金属异物、油污、水污、大孔、小孔等)。
(检查管理装置)
所述外观检查装置2经由网络(局域网(Local Area Network，LAN))而连接于检查管理装置3，外观检查装置2与检查管理装置3进行信息的双向通信。检查管理装置3进行从外观检查装置2接收的信息的处理，并且将与检查相关的信息发送至外观检查装置2。检查管理装置3包含通用的计算机系统，所述通用的计算机系统包括CPU、主存储装置、辅助存储装置(均未图示)、输入装置34、显示装置35等。
另外，检查管理装置3既可包含一台计算机，也可包含多台计算机。或者，也可在外观检查装置2的控制终端23中安装检查管理装置3的全部或一部分功能。或者，也可通过网络上的服务器(server)(云服务器(cloud server)等)来实现检查管理装置3的一部分功能。
本实施方式的检查管理装置3包括缺陷候补图像获取部31、目测检查辅助部32及检查基准设定部33来作为功能模块。
缺陷候补图像获取部31是从外观检查装置2获取缺陷候补图像的功能。而且，也可从网络上的其他场所获取缺陷候补图像。目测检查辅助部32是使用于辅助目测检查的画面显示于显示装置35的功能。关于由目测检查辅助部32显示于显示装置35的画面将后述。检查基准设定部33是如下所述的功能，即，经由输入装置34而受理来自用户的输入，对利用外观检查装置2进行外观检查时所用的特征量的种类及其阈值进行设定。另外，本实施方式中的检查基准设定部33相当于本发明中的阈值设定部件及检查结果修正部件。即，本实施方式的外观检查管理系统中，采用了检查基准设定部兼作阈值设定部件与检查结果修正部件的结构。
(检查管理系统中的处理流程)
接下来，参照图4来说明本实施方式中外观检查管理系统1所进行的处理的流程。首先，在外观检查装置2中，拍摄被检查物T，控制终端23经由图像获取部231来获取被检查物图像(步骤S101)。接下来，由特征量计算部232根据被检查物图像来算出规定特征量的值(步骤S102)，由缺陷判定部233及缺陷种类分类部234通过所算出的特征量的值与预先设定的检查阈值的对比来执行一次检查(步骤S103)。即，在步骤103中，作出关于缺陷有无及缺陷种类的一次判定。另外，所述判定的信息也可与被检查物图像数据一同被发送至检查管理装置3。
接下来，通过缺陷候补提取部235来进行由特征量计算部232所算出的被检查物图像的特征量的值与检查阈值的对比，当存在特征量的值相对于检查阈值而处于所设定的规定裕度(margin)范围内的部位时，将包含所述部位的图像提取为缺陷候补图像(步骤S104)。所提取的图像被发送至检查管理装置3，并由缺陷候补图像获取部31存储到存储装置中。另外，缺陷候补图像获取部31对缺陷候补图像的获取既可在每当提取缺陷候补图像时，也可在规定单位(例如一卷(roll)、一批次(lot)制品等)的检查结束后，对每个所述规定单位的缺陷候补图像统一获取。
并且，在规定单位的被检查物T的检查结束的阶段，由目测检查辅助部32按照规定的排列规则(rule)来将所存储的缺陷候补图像一览显示到显示装置35上(步骤S105)。而且，也一并显示缺陷判定线，所述缺陷判定线表示检查阈值，并且依据是否超过检查阈值来划分一览显示的缺陷候补图像(步骤106)。
另外，对于一览显示的排列，例如能够对应于被用于检查的特征量的每个种类，从与所述特征量的阈值的差值大的图像开始进行降序配置。图5是表示一览显示有缺陷候补图像的状态的画面例的图。图5中的虚线表示缺陷判定线。如图5所示，基于亮度值的明暗峰值等级(从质地的亮度值的偏离程度)、和与质地呈现不同亮度的部位的面积这两个特征量的观点，将缺陷候补图像排列成格子状。图5中表示了：关于峰值等级的特征量，位于越上方的图像，从质地的偏离程度越大，关于面积的特征量，位于越左侧的图像，与质地呈现不同亮度值的部位的面积越大。
而且，也可进行能够辨认缺陷种类的区分与其每个种类的缺陷个数的显示。如图5所示，在缺陷候补图像一览的右侧，显示有表示每个缺陷种类的个数的表。图中的O所示的区域的缺陷候补图像相当于缺陷种类1的缺陷，图中的P所示的区域的缺陷候补图像相当于缺陷种类2的缺陷，图中的Q所示的区域的缺陷候补图像相当于缺陷种类3的缺陷，图中的R所示的区域的缺陷候补图像相当于缺陷种类4的缺陷。
进行外观检查的二次检查的检查员一边观察图5所示的画面显示，一边实施缺陷候补图像的目测检查。此时，检查员能够变更检查阈值。具体而言，当根据缺陷候补图像的一览与缺陷判定线的关系而判断为应变更检查阈值时，经由输入装置34来进行使缺陷判定线与缺陷候补图像的至少一个相对移动的操作，由此，能够变更阈值。
图6表示了进行此种操作时的图像一览显示的画面例。图6的(A)及图6的(B)所示的虚线分别表示缺陷判定线。图6的(A)表示了使缺陷候补图像向表示阈值的缺陷判定线的相反侧移动时的画面例。另一方面，图6的(B)表示使缺陷判定线移动时的画面例。
将说明返回外观检查管理系统1所进行的处理流程，检查管理装置3判定是否经由输入装置34进行有所述阈值变更的操作(步骤S107)。此处，若未进行操作，则直接结束一连串处理。或者，也可请求用户进行用于追认检查结果的输入，当用户输入时，结束处理。
另一方面，若在步骤S107中进行了阈值变更的操作，则在图像一览显示中进行用于提醒存在变更的意旨的关注显示(步骤S108)。例如，如图6的(A)、图6的(B)所示，既可对因阈值变更而缺陷判定的结果产生了变动的缺陷候补图像的显示色进行变更，也可利用粗且深色的框来包围图像。继而，通过检查基准设定部33来进行检查阈值的变更，将所述设定发送至外观检查装置2(步骤S109)，并结束一连串处理。
通过如上所述的检查管理系统，在进行外观检查的二次检查时，不仅能够有效率地进行目测检查，而且能够一边对多个图像与针对它们的阈值的线进行对比，一边进行检查阈值的修正。由此，能够抑制阈值变更中的波动。
(变形例)
另外，目测检查辅助部32也能够显示如上所述的画面以外的画面。例如，目测检查辅助部32能够显示特征量分布图，所述显示特征量分布图是将从一个以上的被检查物图像获得的特征量的值作为坐标系的坐标而配置到通过规定的特征量来定义的所述坐标系中。图7是目测检查辅助部32在显示装置35上显示的特征量分布图的一例。图7所示的画面是在X轴设定峰值灰阶的值来作为特征量的项目，在Y轴设定面积来作为特征量的项目，且对具有位于各坐标的特征量的被检查物图像进行映射者。
图7中的虚线是表示各个特征量的检查阈值的阈值显示线。阈值显示线在通过检查基准设定部33变更了阈值的情况下，与此联动，显示在反映出所述变更的位置。
通过此种显示，能够一眼确认被检查物图像中的特征量的分布及与检查阈值的关系。而且，能够一边对阈值显示线与特征量的分布进行对比，一边对提取缺陷候补图像的差值区域进行研究。
＜其他＞
所述实施方式不过是例示性地说明本发明，本发明并不限定于所述的具体方式。本发明能够在其技术思想的范围内进行各种变形。例如，也可如图8所示，所述特征量分布图是与缺陷候补图像的一览显示同时显示。
而且，所述的各例中，将缺陷判定部与缺陷候补提取部作为独立的功能模块进行了说明，但它们也可为一体。即，当存在被检查物图像的特征量的值相对于检查阈值而处于所设定的规定裕度范围内的部位时，也可将所述部位判定为缺陷，并将包含所述被判定为缺陷的部位的图像提取为缺陷候补图像。此时，所述实施方式1的处理流程中，将同时执行步骤S103与步骤S104。
而且，所述实施方式中，对片材状的被检查物进行检查的装置为对象，但并不限于此，能够广泛适用于进行图像处理的外观检查装置。
本发明的一技术方案是一种外观检查管理系统，其包括：
拍摄部件221，拍摄被检查物；
检查部件233，根据规定阈值来判定从由所述拍摄部件所拍摄的被检查物图像获得的特征量，由此来检测所述被检查物的缺陷；
缺陷候补提取部件235，从所述被检查物图像中，提取相对于所述规定阈值而具有规定的差的范围内的特征量值的缺陷候补图像；
显示部件35；以及
目测检查辅助部件32，在所述显示部件上显示图像一览显示与缺陷判定线，所述图像一览显示是根据各图像所具有的特征量的值来将一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，且依据是否根据所述阈值而判定为缺陷来划分所述图像一览显示中的缺陷候补图像。
而且，本发明的另一技术方案是一种外观检查管理方法，对被检查物的外观检查进行管理，所述外观检查管理方法包括：
拍摄步骤S101，拍摄被检查物；
缺陷候补提取步骤S104，提取缺陷候补图像，所述缺陷候补图像是从在所述拍摄步骤中所拍摄的被检查物的图像获得的特征量相对于规定阈值而收敛在规定的差的范围内的图像；以及
目测检查辅助步骤S105、S106，使图像一览显示及缺陷判定线显示在同一画面上，所述图像一览显示是根据各图像所具有的特征量的值来将在所述缺陷候补提取步骤中提取的一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且依据是否根据与所述阈值的关系而判定为缺陷来划分所述图像一览显示中的缺陷候补图像。

Claims (15)

1.一种外观检查管理系统，其特征在于，包括：
拍摄部件，拍摄被检查物；
检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像所获得的特征量与规定阈值，由此来进行判定，以检测所述被检查物的缺陷；
缺陷候补提取部件，从所述被检查物图像中，提取相对于所述规定阈值而具有规定的差的范围内的特征量的值的缺陷候补图像；
显示部件；以及
目测检查辅助部件，在所述显示部件上显示图像一览显示与缺陷判定线，所述图像一览显示是根据各图像所具有的特征量的值来将一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且根据所述阈值将所述图像一览显示中的缺陷候补图像依据是否被判定为缺陷来进行划分。
2.根据权利要求1所述的外观检查管理系统，其特征在于，
所述阈值设有多个，
所述目测检查辅助部件显示与所述阈值的数量相应的所述缺陷判定线。
3.根据权利要求1或2所述的外观检查管理系统，其特征在于，
所述检查部件从所述被检查物图像获取多种特征量，根据与各个特征量对应的阈值来检测所述被检查物的缺陷。
4.根据权利要求3所述的外观检查管理系统，其特征在于，
所述图像一览显示是对应于特征量的每个种类，根据各图像所具有的特征量的值来将一个以上的所述缺陷候补图像排列而成。
5.根据权利要求1或2所述的外观检查管理系统，其特征在于，还包括：
缺陷种类分类部件，当从所述被检查物检测出缺陷时，对所述缺陷的种类进行分类。
6.根据权利要求5所述的外观检查管理系统，其特征在于，
所述目测检查辅助部件对应于所述缺陷种类分类部件所分类的缺陷的每个种类，使所述缺陷的个数显示于所述显示部件。
7.根据权利要求1所述的外观检查管理系统，其特征在于，还包括：
输入部件；以及
检查结果修正部件，经由所述输入部件来受理使所述缺陷判定线与所述图像一览显示中的缺陷候补图像的至少一个相对移动的操作。
8.根据权利要求7所述的外观检查管理系统，其特征在于，
所述检查结果修正部件通过所述操作，使用于表示与操作前相比而向所述缺陷判定线的相反侧进行了移动的所述缺陷候补图像的关注显示，显示于所述显示部件。
9.根据权利要求7或8所述的外观检查管理系统，其特征在于，
所述检查结果修正部件受理使所述缺陷判定线与所述图像一览显示中的缺陷候补图像的至少一个相对移动的操作，由此来设定和/或变更所述规定阈值。
10.根据权利要求1或2所述的外观检查管理系统，其特征在于，
所述目测检查辅助部件在通过规定的特征量所定义的坐标系中，将特征量分布图与所述图像一览显示同时或能够切换地显示于所述显示部件，所述特征量分布图是将从一个以上的所述被检查物图像所获得的特征量的值作为所述坐标系的坐标而配置。
11.根据权利要求10所述的外观检查管理系统，其特征在于，还包括：
阈值设定部件，设定和/或变更所述规定阈值，
在所述特征量分布图上，显示表示所述规定阈值的阈值显示线，
当通过所述阈值设定部件变更了所述规定阈值时，将所述阈值的变更反映至所述阈值显示线的显示。
12.一种外观检查管理装置，其至少包括所述目测检查辅助部件，
所述外观检查管理装置构成权利要求1至11中任一项所述的外观检查管理系统的至少一部分。
13.一种外观检查管理系统，其特征在于，包括：
搬送部件，连续搬送片材状的被检查物；
拍摄部件，连续拍摄搬送中的所述被检查物；
检查部件，对比从利用所述拍摄部件所拍摄的被检查物图像所获得的特征量与规定阈值，由此来进行判定，以检测所述被检查物的缺陷部位；
缺陷候补提取部件，从所述被检查物图像中，提取相对于所述规定阈值而具有规定的差的范围内的特征量值的图像即缺陷候补图像；
显示部件；以及
目测检查辅助部件，在所述显示部件上显示图像一览显示与缺陷判定线，所述图像一览显示是根据各图像所具有的特征量的值来将一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且根据所述阈值将所述图像一览显示中的缺陷候补图像依据是否被判定为缺陷来进行划分。
14.一种外观检查管理方法，对被检查物的外观检查进行管理，所述外观检查管理方法包括：
拍摄步骤，拍摄被检查物；
缺陷候补提取步骤，提取缺陷候补图像，所述缺陷候补图像是从在所述拍摄步骤中所拍摄的被检查物的图像获得的特征量相对于规定阈值而收敛在规定的差的范围内的图像；以及
目测检查辅助步骤，使图像一览显示及缺陷判定线显示在同一画面上，所述图像一览显示是根据各图像所具有的特征量的值来将在所述缺陷候补提取步骤中提取的一个以上的所述缺陷候补图像排列而成，所述缺陷判定线表示所述阈值，并且根据与所述阈值的关系将所述图像一览显示中的缺陷候补图像依据是否被判定为缺陷来进行划分。
15.一种存储介质，其存储的程序用于使信息处理装置执行权利要求14所述的各步骤。
CN202010384580.4A 2019-06-25 2020-05-08 外观检查管理系统、装置、方法以及存储介质 Pending CN112213315A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-117331 2019-06-25
JP2019117331A JP7293907B2 (ja) 2019-06-25 2019-06-25 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112213315A true CN112213315A (zh) 2021-01-12

Family

ID=74059365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010384580.4A Pending CN112213315A (zh) 2019-06-25 2020-05-08 外观检查管理系统、装置、方法以及存储介质

Country Status (4)

Country Link
JP (1) JP7293907B2 (zh)
KR (1) KR102295669B1 (zh)
CN (1) CN112213315A (zh)
TW (1) TWI753424B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023013867A (ja) * 2021-07-16 2023-01-26 オムロン株式会社 情報処理システム及び情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098155A (ja) * 2004-09-29 2006-04-13 Hitachi High-Technologies Corp 検査方法及びその装置
JP2011089976A (ja) * 2009-09-28 2011-05-06 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法
CN104655644A (zh) * 2015-02-13 2015-05-27 华南理工大学 一种锂电池极片缺陷的自动检测方法及装置
JP2015172519A (ja) * 2014-03-12 2015-10-01 オムロン株式会社 シート検査装置
JP2017062677A (ja) * 2015-09-25 2017-03-30 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
JP2017166929A (ja) * 2016-03-15 2017-09-21 株式会社リコー シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム
CN108876802A (zh) * 2018-04-20 2018-11-23 北京交通大学 对车轮的荧光磁粉缺陷进行自动定位的装置和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534827B2 (ja) * 2005-03-24 2010-09-01 住友電気工業株式会社 フィルムの欠陥検出方法および欠陥検出装置
JP4616864B2 (ja) 2007-06-20 2011-01-19 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置および画像処理評価システム
CN103930762B (zh) 2011-06-17 2018-03-20 罗氏血液诊断股份有限公司 用于样本显示与查看的系统和方法
JP5825278B2 (ja) * 2013-02-21 2015-12-02 オムロン株式会社 欠陥検査装置および欠陥検査方法
JP2017194334A (ja) * 2016-04-20 2017-10-26 株式会社リコー 検査装置、検査方法及び検査プログラム
JP7005930B2 (ja) * 2017-04-21 2022-01-24 オムロン株式会社 シート検査装置及び検査システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098155A (ja) * 2004-09-29 2006-04-13 Hitachi High-Technologies Corp 検査方法及びその装置
JP2011089976A (ja) * 2009-09-28 2011-05-06 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法
JP2015172519A (ja) * 2014-03-12 2015-10-01 オムロン株式会社 シート検査装置
CN104655644A (zh) * 2015-02-13 2015-05-27 华南理工大学 一种锂电池极片缺陷的自动检测方法及装置
JP2017062677A (ja) * 2015-09-25 2017-03-30 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
JP2017166929A (ja) * 2016-03-15 2017-09-21 株式会社リコー シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム
CN108876802A (zh) * 2018-04-20 2018-11-23 北京交通大学 对车轮的荧光磁粉缺陷进行自动定位的装置和方法

Also Published As

Publication number Publication date
JP7293907B2 (ja) 2023-06-20
TWI753424B (zh) 2022-01-21
JP2021004748A (ja) 2021-01-14
KR20210000657A (ko) 2021-01-05
TW202100990A (zh) 2021-01-01
KR102295669B1 (ko) 2021-08-30

Similar Documents

Publication Publication Date Title
JP7005930B2 (ja) シート検査装置及び検査システム
JP5009663B2 (ja) 外観検査システム
KR20190122550A (ko) 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법
US20080175466A1 (en) Inspection apparatus and inspection method
JP2009293999A (ja) 木材欠陥検出装置
JP2018059772A (ja) シート検査装置
JP2015081844A (ja) 透明体検査方法および透明体検査装置
KR20180114826A (ko) 시트 검사 장치
KR20230114182A (ko) 분류 조건 설정 지원 장치
JP4910128B2 (ja) 対象物表面の欠陥検査方法
JP6699694B2 (ja) 検査システム、検査方法
CN112213315A (zh) 外观检查管理系统、装置、方法以及存储介质
JP7268341B2 (ja) 検査性能診断装置、検査性能診断方法、検査性能診断装置用のプログラム、および、検査性能診断システム
JP6623545B2 (ja) 検査システム、検査方法、プログラムおよび記憶媒体
CN112129768B (zh) 外观检查管理系统、装置、方法以及存储介质
JP2011232302A (ja) 画像検査方法及び画像検査装置
JP2009264882A (ja) 外観検査装置
JP4052733B2 (ja) パターン付きウエハの異物検査方法
JP2014186030A (ja) 欠点検査装置
KR20190042180A (ko) 커버 글라스 분석 방법
JP4909215B2 (ja) 検査方法および装置
KR102618194B1 (ko) Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템
KR101349662B1 (ko) 광학 필름의 결함 판별 방법
JP2002350361A (ja) 周期性パターンのムラ検査方法及び装置
JP2004125629A (ja) 欠陥検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination