CN116482103A - 分类条件设定辅助装置 - Google Patents

分类条件设定辅助装置 Download PDF

Info

Publication number
CN116482103A
CN116482103A CN202211654544.0A CN202211654544A CN116482103A CN 116482103 A CN116482103 A CN 116482103A CN 202211654544 A CN202211654544 A CN 202211654544A CN 116482103 A CN116482103 A CN 116482103A
Authority
CN
China
Prior art keywords
classification
information
defect
defect type
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211654544.0A
Other languages
English (en)
Inventor
江川弘一
安井沙织
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN116482103A publication Critical patent/CN116482103A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

分类条件设定辅助装置具备：基础信息存储部，存储包括拍摄被检查物而取得的与任意缺陷种类相关联的基础拍摄信息和作为与基础拍摄信息分别相关联的缺陷种类的基础缺陷种类的基础信息；分类条件设定部，设定用于将拍摄信息分类为任意缺陷种类的分类条件；基础缺陷种类分类部，按分类条件对基础拍摄信息分类；分类结果确认画面生成部，通过按分类条件对于对象基础拍摄信息分类，生成分类结果确认画面，分类结果确认画面包括作为被分类为规定缺陷种类的对象基础拍摄信息的分类基础拍摄信息的数量、与该分类基础拍摄信息相关联的基础缺陷种类、以及对象基础拍摄信息中的与规定缺陷种类相关联的基础拍摄信息的数量即正确解基础拍摄信息数量；显示部。

Description

分类条件设定辅助装置
技术领域
本发明涉及辅助对被检查物的缺陷种类进行分类的分类条件的设定的分类条件设定辅助装置。
背景技术
以往，在外观检查中，基于对被检查物进行拍摄而得到的拍摄信息来对在被检查物中产生的缺陷进行分类。这样的被检查物的缺陷种类的分类通过如下方式进行：决定包括根据拍摄信息取得的特征量和对该特征量设定的阈值等的分类条件，按照该分类条件，判定根据拍摄信息取得的特征量是阈值以上还是小于阈值等。构成分类条件的特征量和阈值被决定为能够适当地对被检查物的拍摄信息所表现的缺陷进行分类。为了决定这样的分类条件，提出了各种方法(例如，参照专利文献1～3)。
为了使分类条件最佳化，预先确认对具有缺陷的被检查物进行拍摄而得到的拍摄信息，将适当的缺陷种类与各个拍摄信息建立关联，由此生成正确解信息。然后，通过将按照分类条件对构成正确解信息的拍摄信息进行分类而得到的缺陷种类和作为正确解信息而与拍摄信息相关联的缺陷种类进行比较，来判断分类条件的适当与否，调整特征量的选定、阈值的设定，使分类条件最佳化。
专利文献1：日本特开2006-266872号公报
专利文献2：日本特开2009-103508号公报
专利文献3：日本特开2013-205320号公报
发明内容
发明所要解决的课题
然而，如被检查物的量产前的确认阶段那样，若缺陷的产生个数变多，则分别关联缺陷种类的作业所需的时间增加，并且关联也容易产生错误。另外，若分类的缺陷种类变多，则构成分类条件的特征量的数量也变多，用于研究有效的分类条件的分析作业也变得困难。因此，所研究的分类条件的适当与否的确认也变得困难。
本发明是鉴于上述那样的问题而完成的，其目的在于提供对分类条件的设定有益的信息，该分类条件对被检查物的缺陷种类进行分类。
用于解决课题的手段
用于解决上述课题的本发明是一种分类条件设定辅助装置，其具备：基础信息存储部，其存储包括基础拍摄信息和基础缺陷种类的基础信息，所述基础拍摄信息是拍摄被检查物而取得的拍摄信息并且与任意缺陷种类相关联，所述基础缺陷种类是与该基础拍摄信息分别相关联的所述缺陷种类；分类条件设定部，其设定用于将拍摄所述被检查物而取得的拍摄信息分类为任意所述缺陷种类的分类条件；基础缺陷种类分类部，其按照所述分类条件对所述基础拍摄信息进行分类；分类结果确认画面生成部，其通过按照所述分类条件对作为所述基础拍摄信息的至少一部分的对象基础拍摄信息进行分类，生成分类结果确认画面，所述分类结果确认画面包括作为被分类为规定的缺陷种类的所述对象基础拍摄信息的分类基础拍摄信息的数量、与该分类基础拍摄信息相关联的所述基础缺陷种类、以及所述对象基础拍摄信息中的与所述规定的缺陷种类相关联的所述基础拍摄信息的数量即正确解基础拍摄信息数量；以及显示部，其显示所述分类结果确认画面。
由此，按照由分类条件设定部设定的分类条件在基础缺陷种类分类部中对在基础信息存储部中存储的预先与缺陷种类建立了关联的基础拍摄信息进行分类而得到的结果作为分类结果确认画面显示在显示部中。在基础缺陷种类分类部中，不需要将基础信息存储部中存储的全部基础拍摄信息作为分类对象，因此至少将一部分作为对象基础拍摄信息，设为分类的对象即可。而且，在分类结果确认画面中包括：按照所设定的分类条件被分类为规定的缺陷种类的分类基础拍摄信息的数量；与该被分类为规定的缺陷种类的分类基础拍摄信息预先建立了关联的基础缺陷种类；以及对象基础拍摄信息中的与规定的缺陷种类预先建立了关联的基础拍摄信息的数量即正确解基础拍摄信息数量。通过这样的分类结果确认画面的显示，用户能够明确地识别被分类为规定的缺陷种类的对象基础拍摄信息中的、被正确地分类为规定的缺陷种类的对象基础拍摄信息的数量和被错误地分类为规定的缺陷种类的对象基础拍摄信息的明细。另外，由于也显示正确解基础拍摄信息数量，因此用户也能够识别对象基础拍摄信息中的与该规定的缺陷种类预先建立了关联的对象基础拍摄信息是否没有遗漏地被适当地分类。这样，用户能够通过该分类结果确认画面，取得用于研究所设定的分类条件是否适当的信息，因此该分类条件设定辅助装置能够向用户提供对设定分类条件有益的信息。
另外，在本发明中，也可以是，所述分类结果确认画面包括以与所述分类基础拍摄信息的数量对应的方式且以与该分类基础拍摄信息相关联的所述基础缺陷种类对应的方式显示的分类基础拍摄信息指标。
这样，分类基础拍摄信息指标以与分类基础拍摄信息的数量对应的方式、例如根据分类基础拍摄信息的数量而分类基础拍摄信息指标的长度、大小、位置等不同的方式显示，因此能够在视觉上容易地识别分类条件是否适当的判断。另外，分类基础拍摄信息指标以与预先关联于分类基础拍摄信息的基础缺陷种类对应的方式、例如按照每个基础缺陷种类而分类基础拍摄信息指标的颜色、图案、形状等不同的方式显示，因此能够在视觉上容易地识别分类条件是否适当的判断。
另外，在本发明中，也可以是，所述分类结果确认画面包括表示所述分类基础拍摄信息指标所显示的所述分类基础拍摄信息的数量与所述正确解基础拍摄信息数量一致的标记。
这样，由于在分类结果确认画面中包括表示由以与分类基础拍摄信息的数量对应的方式显示的分类基础拍摄信息指标显示的分类基础拍摄信息的数量与正确解基础拍摄信息数量一致的标记，所以通过对分类基础拍摄信息指标的显示方式和标记进行对照，能够在视觉上容易地识别对象基础拍摄信息中包括的预先与规定的缺陷种类相关联的基础拍摄信息是否全部被正确地分类。
另外，在本发明中，也可以是，所述分类结果确认画面包括显示区域，该显示区域用于显示与超过所述正确解基础拍摄信息数量的数量对应的所述分类基础拍摄信息指标。
这样，由于分类结果确认画面包括用于显示与超过正确解基础拍摄信息数量的数量对应的分类基础拍摄信息指标的显示区域，因此即使对象基础拍摄信息中包括的预先与规定的缺陷种类相关联的基础拍摄信息全部被正确地分类为规定的缺陷种类的情况下，也能够通过分类基础拍摄信息指标在视觉上容易地识别有无因过检而被错误地分类为规定的缺陷种类的对象基础拍摄信息。
另外，在本发明中，也可以是，具备基础信息生成部，所述基础信息生成部使拍摄具有缺陷的被检查物而取得的所述拍摄信息显示于所述显示部，受理与该拍摄信息相关联的所述缺陷种类的输入。
这样，用户一边使显示部显示拍摄信息来进行确认，一边与缺陷种类建立关联，由此能够简单地取得基础信息。
另外，在本发明中，也可以是，所述分类条件设定部具有重要度指定部、对象缺陷指定部和特征量指定部中的至少任一方，所述重要度指定部受理针对被分类的所述缺陷种类的加权的指定，所述对象缺陷指定部受理成为所述基础缺陷种类分类部中的分类的对象的所述缺陷种类的指定，所述特征量指定部受理基于所述拍摄信息取得的、在所述基础缺陷种类分类部的分类中使用的特征量的指定。
这样，为了供分类条件设定部设定分类条件，用户能够指定缺陷种类的加权、成为分类对象的缺陷种类、分类中使用的特征量，所以能够通过分类结果确认画面确认按照与用户的目的对应的分类条件的分类结果，能够得到对分类条件的设定更有益的信息。
此外，在本发明中，也可以是，所述分类条件设定部根据通过所述重要度指定部、所述对象缺陷指定部、所述特征量指定部中的至少任一方而受理的指定，设定所述特征量和该特征量的阈值。
这样，无需进行用户根据缺陷种类的加权、成为分类对象的缺陷种类、分类中使用的特征量来设定用于分类为缺陷种类的特征量和阈值这样的繁杂的作业，就能够根据目的来设定特征量和用于根据特征量对缺陷种类进行分类的阈值。
发明效果
根据本发明，能够提供对分类条件的设定有益的信息，该分类条件对被检查物的缺陷种类进行分类。
附图说明
图1是本发明的实施例的外观检查管理系统的概略结构图。
图2是表示本发明的实施例的分类结果确认处理的过程的流程图。
图3是表示本发明的实施例的图像数据例的图。
图4是表示本发明的实施例的用于分类条件设定的输入画面的显示例的图。
图5是表示本发明的实施例的分类结果确认画面的显示例的图。
标号说明
3：检查管理装置；6：分类结果确认画面；32：分类条件设定部；33：正确解数据分类部；35：存储装置；37：显示部；T：被检查物。
具体实施方式
[应用例]
以下，参照附图对本发明的应用例进行说明。
图1是应用本发明的外观检查管理系统1的概略结构图。外观检查管理系统1主要具有外观检查装置2及检查管理装置3。外观检查装置2是用于取得片状的被检查物T的外观图像并基于该图像进行缺陷的检测的装置。该外观检查装置2经由网络以能够双向通信的方式与检查管理装置3连接。
在外观检查装置2中，在基于检测出缺陷的被检查物T的外观图像对缺陷种类进行分类时，对从外观图像取得的各种特征量(例如，缺陷长度、缺陷宽度等)设定适当的阈值。如果不适当地设定这样的用于缺陷种类分类的包括特征量和阈值的分类条件(也称为分类逻辑)，则对于重要的缺陷会发生漏检，难以进行高精度的缺陷检测。另一方面，若缺陷数量、缺陷种类变多，则将外观图像与在该外观图像中表现出的缺陷种类建立关联来生成用于分类逻辑设定的正确解数据也不容易。因此，在外观检查管理系统1中，按照基于用户所输入的信息而设定的分类逻辑，对正确解数据的至少一部分进行分类，将该分类结果作为后述的分类结果确认画面6提供给用户，由此能够简单地判断、评价所设定的分类逻辑是否适当。
图4表示用户用于分类条件设定的输入画面5的显示例。用户通过对设置于“对象缺陷”栏512的复选框进行勾选，从“金属”等分别标注有编号的多个缺陷种类中选择/指定成为分类对象的缺陷种类。在图4中，选择“金属”、“针孔”、“异物”、“皱褶”这4种作为分类对象。在输入画面5中设置有“重要缺陷”的项目。“重要缺陷”是指多个缺陷种类中的、用户认为特别重要的缺陷种类。在图4中，选中了“金属”行的复选框。通过这样指定“重要缺陷”，针对被指定为“重要缺陷”的缺陷种类，设定不会发生漏检那样的分类逻辑。另外，在分类结果确认画面6中，为了区别各缺陷种类而使显示颜色不同，因此设置有用于选择各缺陷种类的显示颜色的下拉菜单。并且，在输入画面5中还设置有用于选择/指定所使用的特征量的复选框521～523。
将基于经由输入画面5输入的信息对预先准备的正确解数据进行了分类的结果作为图5所示的分类结果确认画面6提供给用户。以下，以“金属”为例，说明分类结果确认画面6的结构。
在分类结果确认画面6中设置有缺陷种类栏61、重要缺陷显示栏62、逻辑结果(件数)栏63、件数显示栏66、67、合计栏68。在缺陷种类栏61中，显示有作为缺陷种类名的“金属”611和“金属”的显示颜色(为了便于表述，在图5中代替颜色而用阴影来区分)。另外，在重要缺陷显示栏62中显示表示“金属”是重要缺陷的复选标记621。基于分类逻辑的分类结果的明细通过逻辑结果(件数)栏63和件数显示栏66、67来显示。被分类为“金属”的图像数据的数量由在横长的显示区域631内显示的条状的指示器651、652和在件数显示栏66、67中与表示显示颜色的正方形661、671一起显示的数字662、672来表示。在显示区域631的中央，用数字显示正确解数量642、即成为分类对象的正确解数据中的与“金属”建立了关联的图像数据的数量，显示有成为分类结果与正确解数量一致的情况下的指示器651的右端位置的标记的倒三角形的标记641。如图5所示，表示正确解种类为“金属”的指示器651从显示区域631的左端到达倒三角形的标记641的位置。另外，在件数显示栏66中，8件正确解种类为“金属”的图像数据被正确地分类为“金属”，与显示区域631上显示的正确解数量642的“8”一致，由此也可知通过该分类逻辑针对“金属”无遗漏地进行了分类。在“金属”的显示区域631还显示有表示“针孔”的显示色的指示器652。这表示根据该分类逻辑，“金属”发生过检，“针孔”也被分类为“金属”。这样，能够通过件数显示栏67的数字“3”和显示表示缺陷种类的显示色的正方形671来准确地掌握被错误地分类为“金属”的“针孔”的图像数据的数量。
这样，根据图5所示的分类结果确认画面6，关于哪个缺陷种类是重要缺陷、是否包括重要缺陷在内按每个缺陷种类正确地进行了分类、有无漏检、过检，能够通过条状的指示器651等、设置于显示区域631的正确解数量642和标记641而一目了然地视觉确认，能够通过件数显示栏66、67的显示来掌握具体的件数。另外，由于表示图像数据的数量的指示器651按每个正确解种类进行了颜色区分，因此通过该分类逻辑，能够明确地识别被分类为各缺陷种类的图像数据的正确解种类的明细。将基于多个分类逻辑的分类结果确认画面并列或切换地显示于显示装置37，对分类结果进行比较，由此能够根据检查的目的，简单地研究哪个分类逻辑更适当。
〔实施例1〕
以下，参照附图对本发明的实施例1的外观检查管理系统1的结构进行说明。其中，该实施例中记载的装置的结构应该根据各种条件适当变更。即，本发明的范围并不限定于以下的实施例。
(外观检查管理系统)
图1是示意性地表示本发明的实施例的外观检查管理系统1的整体结构的图。外观检查管理系统1主要具有外观检查装置2及检查管理装置3。
(外观检查装置)
外观检查装置2是用于取得片状的物品的外观图像并基于该图像进行缺陷的检测的装置，作为主要的结构，具备照明系统、测定系统、输送机构(未图示)、控制终端23。
被检查物T由未图示的输送机构沿水平方向(箭头方向)输送，在该输送中由测定系统连续地取得被检查物T的外观图像，基于此实施检查。被检查物T形成为片状，例如能够例示纸、布、膜等。另外，不限于单一材料，也可以是如将膜和无纺布贴合而成的包装纸等那样的具有多个层的片体。另外，也可以是干燥海苔等食品。
照明系统具备向被检查物T的表面照射可见光(例如白色光)的光源211。这些光源211例如也可以使用LED照明等。
测定系统具备对从光源211照射并在被检查物T的表面反射的光(以下，称为表面反射光)进行拍摄的照相机221。此外，照相机221具备各自能够检测拍摄的光的受光传感器、透镜以及信号输出部，经由透镜由受光传感器检测到的光作为电信号输出。作为传感器，例如能够使用CCD或CMOS传感器。
通过照相机221拍摄从光源211照射了照明光的状态的被检查物T的图像，控制终端23对拍摄到的图像进行图像处理，通过所得到的特征量的值与预先设定的检查阈值的对比，将具有脱离阈值的特征量的部位判定为缺陷。
控制终端23具有图像取得部231、特征量计算部232、缺陷判定部233、缺陷种类分类部234的各功能模块。
图像取得部231具有从照相机221取入图像的功能，例如，取得被照射了照明光的状态的被检查物图像。特征量计算部232是基于被检查物图像来计算用于外观检查的特征量的功能。另外，特征量不限于一个，例如也可以计算缺陷峰(％)、缺陷宽度(mm)、缺陷长度(mm)、缺陷面积(mm2)、明暗信息、圆形度、费雷比、圆度、扩展度、浓度平均值、浓度图案、垂直浓度变化、水平浓度变化、平面浓度变化、色相(H)峰、彩度(S)峰、明度(V)峰、R峰(亮)、R峰(暗)、G峰(亮)、G峰(暗)、B峰(亮)、B峰(暗)等各种种类的特征量。
缺陷判定部233将特征量计算部232计算出的特征量与预先设定的阈值进行对比，将具有脱离阈值的特征量的部位判定为缺陷。
缺陷种类分类部234在通过缺陷判定部233的判定从被检查物T检测出缺陷时，基于预先确定的阈值和表示该缺陷的图像的特征量，对该缺陷的种类进行分类。被分类的缺陷的种类能够由用户任意地设定，例如适当地设定金属、异物、针孔、条纹、凝胶、树脂等的种类。缺陷不限于此，也可以设置污渍、皱褶这样的种类，还可以分类为更细致的种类。
(检查管理装置)
上述外观检查装置2经由网络(LAN)与检查管理装置3连接，外观检查装置2与检查管理装置3进行信息的双向通信。检查管理装置3进行从外观检查装置2接收到的信息的处理，并且将与检查有关的信息发送到外观检查装置2。检查管理装置3由具备CPU(未图示)、存储装置35、输入装置36、显示装置37等的通用的计算机系统构成。另外，在存储装置35中至少存储从外观检查装置2发送的缺陷图像数据。在此，在缺陷图像数据中包括附记信息，该附记信息表示从被检查物T的被判定为缺陷的部位的图像得到的特征量的种类、值、以及通过目视检查判定出的一次检查的真伪、缺陷的种类等。
此外，检查管理装置3可以由1台计算机构成，也可以由多个计算机构成。或者，也可以在外观检查装置2的控制终端23中安装检查管理装置3的功能的全部或一部分。或者，也可以通过网络上的服务器(云服务器等)来实现检查管理装置3的功能的一部分。
本实施例的检查管理装置3具备正确解数据生成部31、分类条件设定部32、正确解数据分类部33以及分类结果确认画面生成部34作为功能模块。在此，检查管理装置3相当于本发明的分类条件设定辅助装置。另外，正确解数据生成部31、分类条件设定部32、正确解数据分类部33、分类结果确认画面生成部34分别相当于本发明的基础信息生成部、分类条件设定部、基础缺陷种类分类部、分类结果确认画面生成部。
正确解数据生成部31将存储于存储装置35的作为拍摄被检查物T而得到的图像且包括某种缺陷的图像数据显示于显示装置37，从用户经由输入装置36受理与所显示的图像相关联的缺陷种类的输入。例如，使显示装置37显示图3所示的多个图像数据40～49，用户确认图像数据40～49，将金属、异物、针孔、条纹、凝胶、树脂等缺陷种类与各个图像数据40～49建立关联。这样，生成包括与图像数据建立了关联的缺陷种类的正确解数据。用于正确解数据的图像数据相当于本发明的基础拍摄信息，与该图像数据相关联的缺陷种类相当于本发明的基础缺陷种类，正确解数据相当于本发明的基础信息。
如后所述，分类条件设定部32根据用户选择/指定的缺陷种类、重要缺陷、所使用的特征量等，设定能够适当地对缺陷种类进行分类的分类条件。分类条件(分类逻辑)包括上述的特征量和针对该特征量的阈值的组合。作为基于用户选择/指定的信息的分类逻辑的设定方法，能够采用适当的方法。分类条件(分类逻辑)相当于本发明的分类条件。
正确解数据分类部33按照由分类条件设定部32设定的分类逻辑，将存储于存储装置35的正确解数据的至少一部分(既可以是全部，也可以是一部分)分类为缺陷种类。作为由正确解数据分类部33进行的分类的对象的正确解数据的至少一部分相当于本发明的对象基础信息。
分类结果确认画面生成部34生成包括通过正确解数据分类部33对正确解数据进行了分类的结果的分类结果确认画面6，显示于显示装置37。关于分类结果确认画面6的详细结构，在后面叙述。分类结果确认画面6相当于本发明的分类结果确认画面。
图2表示检查管理装置3中的分类结果确认处理的过程。
首先，正确解数据生成部31受理包括缺陷的图像数据和用户对与包括某种缺陷的图像数据相关联的缺陷种类的输入(步骤S1)。此时，基于通过在外观检查装置2中拍摄具有缺陷的被检查物T而得到的图像来取得图像信息。正确解数据生成部31使显示装置37显示图3所示那样的包括缺陷的多个图像数据40～49，同样地从显示装置37所显示的多个缺陷种类的候选中，通过输入装置36的点击等来受理用户对应该建立关联的缺陷种类的指定。图像信息也可以包括图像以外的信息。这样，准备用于对从被检查物T的图像检测出的缺陷的种类进行分类的正确解数据。所生成的正确解数据存储于存储装置35的规定区域。在此，存储正确解数据的存储装置35的规定区域相当于本发明的基础信息存储部。
接着，分类条件设定部32设定构成用于对缺陷种类进行分类的分类条件的特征量和阈值(步骤S2)。
此时，用户能够在外观检查管理系统1中选择/指定想要确认分类结果的缺陷种类等。图4是为了设定分类条件而供用户进行输入的输入画面5的显示例。在输入画面5的上部显示有在各行中显示有附加了编号的缺陷种类的缺陷种类指定栏51。在缺陷种类栏511中显示有金属、针孔、异物、皱褶、污渍、伤痕，但缺陷种类并不限定于此。在输入画面5的第3列的对象缺陷栏512中显示有用于将想要确认分类结果的缺陷种类选择/指定为“对象缺陷”的复选框。用户通过勾选该复选框，能够通过后述的分类结果确认画面6选择/指定想要确认的缺陷种类。在此，选择金属、针孔、异物、皱褶作为对象缺陷。另外，在输入画面5的第4列的重要缺陷栏513中，显示有用于选择/指定重要缺陷的复选框。重要缺陷是指，在作为检测对象的缺陷种类中，用户判断为特别重要的缺陷种类。通过这样选择/指定重要缺陷，在设定分类条件时，对于被指定为重要缺陷的缺陷种类，以不会漏掉的方式设定特征量和阈值。在此，选择金属作为重要缺陷。在输入画面5的第5列设置有颜色指定栏514。这使得在后述的分类结果显示画面中，为了在显示所选择的缺陷种类时明确地区别缺陷种类，用户能够选择每个缺陷种类的显示颜色，能够通过下拉菜单选择适当的显示颜色。在此，设定为将金属、针孔、异物、皱褶分别用蓝色、绿色、青色、品红色表示。在此，是否是重要缺陷是针对缺陷种类的加权，重要缺陷栏513相当于本发明的重要度指定部。另外，对象缺陷栏512相当于本发明的对象缺陷指定部。
另外，在输入画面5的下部显示用于选择/指定在缺陷种类的分类时使用的特征量的特征量指定部52。在特征量指定部52中显示有用于选择/指定特征量的复选框521～523。在此，能够通过复选框521～523选择是否使用“缺陷长度”、“缺陷宽度”、“缺陷面积”作为特征量。能够选择/指定的特征量并不限定于此。在此，特征量指定部52相当于本发明的特征量指定部。
如上所述，基于用户通过输入画面5选择/指定的缺陷对象、重要缺陷、缺陷种类、使用的特征量，分类条件设定部32搜索能够分类的特征量和阈值，设定适于所选择的对象缺陷以及重要缺陷的分类的特征量和阈值。
接着，正确解数据分类部33按照在步骤S2中设定的分类条件，对在步骤S1中准备的正确解数据所包括的图像数据进行分类(步骤S3)。分类结果被存储在存储装置35的规定区域中。也可以在由正确解数据分类部33设为分类对象的图像数据中包括存储于存储装置35的缺陷图像的数据。
接着，分类结果确认画面生成部34基于步骤S3中的正确解数据的分类结果来生成图5所示的分类结果确认画面6，显示于显示装置37(步骤S4)。
图5表示分类结果确认画面6。在图5中，对与“金属”相关的显示特别标注了附图标号，但在以下的说明中，对其他缺陷种类的相同的结构标注相同的附图标号来进行说明。
在分类结果确认画面6的左端，作为缺陷种类栏61，在列方向上显示分类出的缺陷种类名。在此，显示在图4所示的输入画面5中选择的“金属”611、“针孔”、“异物”、“皱褶”。在缺陷种类栏61中，与这些缺陷种类名一起，显示在图4所示的输入画面5中指定的用于该缺陷种类的显示的颜色的正方形612。但是，在图5中，代替颜色而根据阴影的种类来区别缺陷种类。在此，显示于缺陷种类栏61的缺陷种类分别相当于本发明的规定的缺陷种类。
在缺陷种类栏61的右侧设置有重要缺陷显示栏62。针对图4所示的输入画面5中被指定为重要缺陷的“金属”，显示有表示是重要缺陷的复选标记621。
而且，在重要缺陷显示栏62的右侧，作为逻辑结果(件数)栏63，显示基于缺陷种类的分类所使用的分类逻辑的分类结果的件数。在此，件数是指在分类结果确认画面6的左端显示的被分类为各缺陷种类的图像数据的数量。件数通过在横长的显示区域631内显示的条状的指示器651～656来表示。这些指示器651～656分别具有与对应的缺陷种类的件数成比例的长度。另外，在显示区域631的中央，通过数字642和表示在显示区域631中的位置的倒三角形的标记641来表示被分类的图像数据所包括的与该缺陷种类相关联的图像数据的数量(正确解数量)。作为显示在显示区域631内的指示器(例如指示器651)，首先，表示与显示在缺陷种类栏61中的缺陷种类相关联的图像数据数量的指示器651以从显示区域631的左端向右侧延伸的方式显示。与该表示正确地被分类的图像数据数量的指示器651的右侧相邻，以进一步向右侧延伸的方式显示有错误地被分类的缺陷种类的指示器(例如指示器652)。在与被错误地分类为某缺陷种类的图像数据相关联的缺陷种类为多个的情况下，进一步与右侧相邻地按每个缺陷种类显示指示器。关于表示被正确地分类为各缺陷种类的与缺陷种类相关联的图像数据数量的指示器(例如指示器651)，在件数与正确解数量一致的情况下，指示器651的端部与显示区域631的中央的标记641的位置一致，因此根据指示器651的右端与标记641的位置关系，用户能够简单地识别有无漏检以及过检。此外，成为分类的对象的图像数据所包括的每个缺陷种类的图像数据数量根据缺陷种类而不同，与此相对，在显示区域631的中央设置有表示正确解数量的标记641，因此能够显示于各缺陷种类的行的显示区域631的图像数据数量不同，显示于各缺陷种类的行的指示器的每1件的长度(单位长度)也不同。这样，显示区域631被设置为能够显示与超过各缺陷种类的正确解数量的数量相当的长度的指示器。在此，显示区域631相当于本发明的显示区域。另外，标记641相当于本发明的标记。另外，指示器651～656相当于本发明的分类基础拍摄信息指标，指示器651～656的长度相当于本发明的与分类基础拍摄信息的数量相对应的方式，指示器651～656的显示颜色(在图5中为阴影)相当于本发明的与分类基础拍摄信息相关联的基础缺陷种类相对应的方式。另外，正确解数量的数字642相当于本发明的正确解基础拍摄信息数量。此外，由指示器651至656的长度表示的数目对应于本发明的分类基础拍摄信息的数量。
另外，在显示区域631的右侧设置有显示被分类为各缺陷种类的图像数据的数量的件数显示栏66、67。在件数显示栏66中，显示有表示被正确地分类为缺陷种类栏61所显示的缺陷种类的图像数据的件数的数字662、和表示与各个图像数据预先建立了关联的缺陷种类(正确解种类)的颜色的正方形661。在件数显示栏67中显示表示被错误地分类为缺陷种类栏61所显示的缺陷种类的图像数据的正确解种类的颜色的正方形671和数字672。然后，在分类结果确认画面6的右端设置有合计栏68，按每个缺陷种类显示被分类为该缺陷种类的图像数据的合计数681。件数显示栏66、67的数字662、672、合计栏68的合计数681相当于本发明的分类基础拍摄信息的数量。
在图5中，在合计栏68中示出了通过该分类逻辑而分类为金属的图像数据合计为11件。另外，通过件数显示栏66、67和指示器651、652可知，在被分类为金属的图像数据中，正确解种类为金属的图像数据包括8件，正确解种类为针孔的图像数据包括3件。在显示区域631的中央显示的正确解数量642为8，表示正确解种类为金属的图像数据的指示器651到达倒三角形的标记641的位置，因此用户能够明确地视觉确认正确解种类为金属的图像数据全部被正确地分类为金属。另外，在该分类逻辑中，除了正确解种类为金属的图像数据以外，正确解种类为针孔的图像数据也被错误地分类为金属，通过指示器651和指示器652的颜色区分、以及件数显示栏66、67，用户也能够明确地视觉确认该情况。即，可知在该分类逻辑中，金属发生过检，作为其明细，正确解种类为针孔的图像数据被分类为金属。用户将金属指定为重要缺陷，因此无法容许金属的漏检，但有时能够容许过检。另外，根据显示也能够知晓过检了哪个正确解种类的图像数据，因此能够参考这些信息，简单地判断该分类逻辑、具体而言是特征量与阈值的组合是否适当。
在图5中，通过该分类逻辑，被分类为针孔的图像数据为2件，指示器653未到达中央的倒三角形的标记641，因此用户能够明确地视觉确认针孔发生了漏检。关于正确解种类为针孔的图像数据5件中的未被正确分类的3件如上述那样被错误地分类为金属的情况，也能够通过显示区域631中央的正确解数量642、各个缺陷种类的行的指示器653、652、以及件数显示栏66、67的显示使用户明确地视觉确认。
在图5中，通过该分类逻辑，在合计栏68中示出了被分类为异物的图像数据为8件。另外，通过件数显示栏66、67和指示器654、655可知，在被分类为异物的图像数据中包括3件正确解种类为异物的图像数据、5件正确解种类为皱褶的图像数据。显示于显示区域中央的正确解数量为3，表示正确解种类为异物的图像数据的指示器654到达倒三角形的位置，因此用户能够明确地视觉确认正确解种类为异物的图像数据全部被正确地分类为异物。另外，在该分类逻辑中，除了正确解种类为异物的图像数据以外，正确解种类为皱褶的图像数据也被分类为异物，通过指示器654、655的颜色区分以及件数显示栏66、67，用户也能够明确地视觉确认该情况。由于异物的正确解数量为3件，因此异物的指示器654的显示区域631仅有6件，未设置用于显示与正确解种类为皱褶的图像数据即5件相当的长度的指示器655的显示区域631，因此，用朝右箭头69表示存在超过显示区域631而未显示出的指示器655的部分。由此，用户可知，在该分类逻辑中，针对异物能够正确地进行分类，但发生了过检。
而且，在图5中，通过该分类逻辑，用户能够明确地识别出正确解种类为皱褶的图像数据为10件，其中，5件被正确地分类，其他5件被错误地分类为异物。
如上所述，根据图5所示的分类结果确认画面6，关于哪个缺陷种类是重要缺陷、包括重要缺陷在内是否按每个缺陷种类正确地分类、有无漏检、过检，通过条状的指示器651等、设置于显示区域631的正确解数量642和标记641，能够一目了然地视觉确认，能够通过件数显示栏66、67的显示来掌握具体的件数。另外，由于表示图像数据的件数的指示器651等按每个正确解种类进行颜色区分，因此通过该分类逻辑，能够明确地识别被分类为各缺陷种类的图像数据的正确解种类的明细。
图5是表示通过一个分类逻辑对图像数据进行了分类的结果的分类结果确认画面6，但通过变更分类逻辑、即图像数据的分类中使用的特征量和阈值，分类结果也不同，因此通过并列或切换地使显示装置37显示基于多个分类逻辑的分类结果确认画面，对分类结果进行比较，能够根据检查的目的，简单地研究哪个分类逻辑更适当。
在图5所示的分类结果确认画面6中，在横长的显示区域631内显示的条状的指示器651等的长度表示图像数据数量。这样的指示器651等是本发明的分类基础拍摄信息指标的一例，与分类基础拍摄信息指标和分类基础信息的数量相对应的方式、以及与基础缺陷种类相对应的方式不限于此。
＜附记1＞
一种分类条件设定辅助装置(3)，其具备：基础信息存储部(35)，其存储包括基础拍摄信息和基础缺陷种类的基础信息，所述基础拍摄信息是拍摄被检查物(T)而取得的拍摄信息且与某缺陷种类相关联，所述基础缺陷种类是与该基础拍摄信息分别相关联的所述缺陷种类；分类条件设定部(32)，其设定用于将拍摄所述被检查物(T)而取得的拍摄信息分类为某所述缺陷种类的分类条件；基础缺陷种类分类部(33)，其按照所述分类条件对所述基础拍摄信息进行分类；以及显示部(37)，其通过按照所述分类条件对作为所述基础拍摄信息的至少一部分的对象基础拍摄信息进行分类，而显示分类结果确认画面(6)，所述分类结果确认画面包括被分类为规定的缺陷种类的所述对象基础拍摄信息即分类基础拍摄信息的数量、与该分类基础拍摄信息相关联的所述基础缺陷种类、以及所述对象基础拍摄信息中的与所述规定的缺陷种类相关联的所述基础拍摄信息的数量即正确解基础拍摄信息数量。

Claims (7)

1.一种分类条件设定辅助装置，其具备：
基础信息存储部，其存储包括基础拍摄信息和基础缺陷种类的基础信息，所述基础拍摄信息是拍摄被检查物而取得的拍摄信息并且与任意缺陷种类相关联，所述基础缺陷种类是与该基础拍摄信息分别相关联的所述缺陷种类；
分类条件设定部，其设定用于将拍摄所述被检查物而取得的拍摄信息分类为任意所述缺陷种类的分类条件；
基础缺陷种类分类部，其按照所述分类条件对所述基础拍摄信息进行分类；
分类结果确认画面生成部，其通过按照所述分类条件对作为所述基础拍摄信息的至少一部分的对象基础拍摄信息进行分类，生成分类结果确认画面，所述分类结果确认画面包括作为被分类为规定的缺陷种类的所述对象基础拍摄信息的分类基础拍摄信息的数量、与该分类基础拍摄信息相关联的所述基础缺陷种类、以及所述对象基础拍摄信息中的与所述规定的缺陷种类相关联的所述基础拍摄信息的数量即正确解基础拍摄信息数量；以及
显示部，其显示所述分类结果确认画面。
2.根据权利要求1所述的分类条件设定辅助装置，其特征在于，
所述分类结果确认画面包括以与所述分类基础拍摄信息的数量对应的方式且以与该分类基础拍摄信息相关联的所述基础缺陷种类对应的方式显示的分类基础拍摄信息指标。
3.根据权利要求2所述的分类条件设定辅助装置，其特征在于，
所述分类结果确认画面包括表示所述分类基础拍摄信息指标所显示的所述分类基础拍摄信息的数量与所述正确解基础拍摄信息数量一致的标记。
4.根据权利要求2或3所述的分类条件设定辅助装置，其特征在于，
所述分类结果确认画面包括显示区域，所述显示区域用于显示与超过所述正确解基础拍摄信息数量的数量对应的所述分类基础拍摄信息指标。
5.根据权利要求1所述的分类条件设定辅助装置，其特征在于，
所述分类条件设定辅助装置具备基础信息生成部，所述基础信息生成部使拍摄具有缺陷的被检查物而取得的所述拍摄信息显示于所述显示部，受理与该拍摄信息相关联的所述缺陷种类的输入。
6.根据权利要求1所述的分类条件设定辅助装置，其特征在于，
所述分类条件设定部具有重要度指定部、对象缺陷指定部和特征量指定部中的至少任一方，所述重要度指定部受理针对被分类的所述缺陷种类的加权的指定，所述对象缺陷指定部受理成为所述基础缺陷种类分类部中的分类的对象的所述缺陷种类的指定，所述特征量指定部受理基于所述拍摄信息取得的、在所述基础缺陷种类分类部的分类中使用的特征量的指定。
7.根据权利要求6所述的分类条件设定辅助装置，其特征在于，
所述分类条件设定部根据通过所述重要度指定部、所述对象缺陷指定部、所述特征量指定部中的至少任一方而受理的指定，设定所述特征量和该特征量的阈值。
CN202211654544.0A 2022-01-24 2022-12-22 分类条件设定辅助装置 Pending CN116482103A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022009006A JP2023107693A (ja) 2022-01-24 2022-01-24 分類条件設定支援装置
JP2022-009006 2022-01-24

Publications (1)

Publication Number Publication Date
CN116482103A true CN116482103A (zh) 2023-07-25

Family

ID=84785126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211654544.0A Pending CN116482103A (zh) 2022-01-24 2022-12-22 分类条件设定辅助装置

Country Status (5)

Country Link
US (1) US20230237640A1 (zh)
EP (1) EP4216158A1 (zh)
JP (1) JP2023107693A (zh)
KR (1) KR20230114182A (zh)
CN (1) CN116482103A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240212356A1 (en) * 2022-08-03 2024-06-27 Industrial Video Solutions Inc. Systems and methods for monitoring and controlling industrial processes
US20240255932A1 (en) * 2022-08-03 2024-08-01 Industrial Video Solutions Inc. Systems and methods for monitoring and controlling industrial processes
US12130249B2 (en) 2022-08-03 2024-10-29 Industrial Video Solutions Inc. Systems and methods for monitoring and controlling industrial processes

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4750444B2 (ja) 2005-03-24 2011-08-17 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
JP5022174B2 (ja) 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置
JP2013205320A (ja) 2012-03-29 2013-10-07 Dainippon Screen Mfg Co Ltd 検査条件決定方法、検査方法および検査装置

Also Published As

Publication number Publication date
JP2023107693A (ja) 2023-08-03
KR20230114182A (ko) 2023-08-01
US20230237640A1 (en) 2023-07-27
EP4216158A1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
CN116482103A (zh) 分类条件设定辅助装置
TW555969B (en) Method for non-destructive inspection, apparatus thereof and digital camera system
KR101590831B1 (ko) 기판의 이물질 검사방법
JP7005930B2 (ja) シート検査装置及び検査システム
JP4714749B2 (ja) 偏光データを用いるリアルタイム画像検出
JP5009663B2 (ja) 外観検査システム
CN110390661A (zh) 检查管理系统、检查管理装置及检查管理方法
US10571506B2 (en) Multi-fiber identification using jacket color
CN110018172B (zh) 产品检测系统及方法
KR20180114826A (ko) 시트 검사 장치
KR102286470B1 (ko) 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
CN108398179A (zh) 一种称量装置检测方法及系统
CN107084989B (zh) 一种aoi器件数据库的添加方法与系统
KR20080028278A (ko) 전기 회로 소자의 광학 검사 시스템 및 방법
JP7268341B2 (ja) 検査性能診断装置、検査性能診断方法、検査性能診断装置用のプログラム、および、検査性能診断システム
KR102295669B1 (ko) 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램
CN112446865A (zh) 瑕疵识别方法、装置、设备和存储介质
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN112129768B (zh) 外观检查管理系统、装置、方法以及存储介质
JP2005172649A (ja) 欠陥検査装置
US20230419529A1 (en) Method and apparatus for acquiring master data of an object
JPH08320931A (ja) 文字検査方法及びその装置
JP2020144727A (ja) 単板判定システムおよび単板の判定方法
JP2023051102A (ja) 画像検査方法、及び画像検査装置
JP2012058031A (ja) 異品種混入検査方法及び異品種混入検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination