JP2023107693A - 分類条件設定支援装置 - Google Patents
分類条件設定支援装置 Download PDFInfo
- Publication number
- JP2023107693A JP2023107693A JP2022009006A JP2022009006A JP2023107693A JP 2023107693 A JP2023107693 A JP 2023107693A JP 2022009006 A JP2022009006 A JP 2022009006A JP 2022009006 A JP2022009006 A JP 2022009006A JP 2023107693 A JP2023107693 A JP 2023107693A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- basic
- imaging information
- defect
- defect type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 claims abstract description 241
- 238000003384 imaging method Methods 0.000 claims abstract description 133
- 238000012790 confirmation Methods 0.000 claims abstract description 54
- 239000002184 metal Substances 0.000 description 38
- 229910052751 metal Inorganic materials 0.000 description 38
- 238000007689 inspection Methods 0.000 description 36
- 238000011179 visual inspection Methods 0.000 description 16
- 230000037303 wrinkles Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000499 gel Substances 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 241001474374 Blennius Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004745 nonwoven fabric Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Quality & Reliability (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】被検査物の欠陥種別を分類する分類条件の設定に有益な情報を提供する。【解決手段】被検査物を撮像した撮像情報であって、いずれかの欠陥種別に関連付けられた基礎撮像情報と、基礎撮像情報のそれぞれに関連付けられた欠陥種別である基礎欠陥種別とを含む基礎情報を記憶する基礎情報記憶部と、撮像情報をいずれかの欠陥種別に分類するための分類条件を設定する分類条件設定部と、基礎撮像情報を、分類条件に従って分類する基礎欠陥種別分類部と、対象基礎撮像情報を分類条件に従って分類することによって、所定の欠陥種別に分類された対象基礎撮像情報である分類基礎撮像情報の数と、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別と、対象基礎撮像情報のうち、所定の欠陥種別に関連付けれた基礎撮像情報の数である正解基礎撮像情報数と、を含む分類結果確認画面を生成する分類結果確認画面生成部と、表示部と、を備えた分類条件設定支援装置。【選択図】図5
Description
特許法第30条第2項適用申請有り OMRONオンラインセミナー2021「フィルム製品の高品質要求に応えるDual Class AIを用いた目視工数削除ソリューション」 開催日:令和3年12月1日、令和3年12月2日
本発明は、被検査物の欠陥種別を分類する分類条件の設定を支援する分類条件設定支援装置に関する。
従来、外観検査において、被検査物を撮像した撮像情報に基づいて被検査物に生じた欠陥を分類することが行われている。このような被検査物の欠陥種別の分類は、撮像情報に基づいて取得される特徴量と、この特徴量に対して設定される閾値等を含む分類条件を決定し、この分類条件に従って、撮像情報に基づいて取得される特徴量が閾値以上となるか閾値未満となるか等を判定することにより行われる。分類条件を構成する特徴量と閾値は、被検査物の撮像情報に表れた欠陥を適切に分類できるように決定される。このような分類条件の決定には種々の方法が提案されている(例えば、特許文献1~3を参照)。
分類条件を最適化するために、予め欠陥を有する被検査物を撮像した撮像情報を確認し、それぞれの撮像情報に適切な欠陥種別を関連付けることにより、正解情報を作成しておく。そして、正解情報を構成する撮像情報を分類条件に従って分類した結果得られた欠陥種と、正解情報として撮像情報に関連付けられている欠陥種別とを比較することにより、分類条件の適否を判断し、特徴量の選定や閾値の設定を調整し、分類条件を最適化している。
しかしながら、被検査物の量産前の確認段階のように、欠陥の発生個数が多くなると、それぞれに欠陥種を関連付ける作業に要する時間が増加するとともに、関連付けに誤りも生じやすくなる。また、分類する欠陥種別が多くなると、分類条件を構成する特徴量の数も多くなり、有効な分類条件を検討するための分析作業も難しくなる。したがって、検討した分類条件の適否の確認も難しくなっていた。
本発明は、上記のような問題に鑑みてなされたものであり、被検査物の欠陥種別を分類する分類条件の設定に有益な情報を提供することを目的とする。
上記の課題を解決するための本発明は、
被検査物を撮像して取得した撮像情報であって、いずれかの欠陥種別に関連付けられた基礎撮像情報と、該基礎撮像情報のそれぞれに関連付けられた前記欠陥種別である基礎欠陥種別とを含む基礎情報を記憶する基礎情報記憶部と、
前記被検査物を撮像して取得した撮像情報をいずれかの前記欠陥種別に分類するための分類条件を設定する分類条件設定部と、
前記基礎撮像情報を、前記分類条件に従って分類する基礎欠陥種別分類部と、
前記基礎撮像情報の少なくとも一部である対象基礎撮像情報を前記分類条件に従って分類することによって、所定の欠陥種別に分類された前記対象基礎撮像情報である分類基礎
撮像情報の数と、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別と、前記対象基礎撮像情報のうち、前記所定の欠陥種別に関連付けれた前記基礎撮像情報の数である正解基礎撮像情報数と、を含む分類結果確認画面を生成する分類結果確認画面生成部と、
前記分類結果確認画面を表示する表示部と、
を備えた分類条件設定支援装置である。
被検査物を撮像して取得した撮像情報であって、いずれかの欠陥種別に関連付けられた基礎撮像情報と、該基礎撮像情報のそれぞれに関連付けられた前記欠陥種別である基礎欠陥種別とを含む基礎情報を記憶する基礎情報記憶部と、
前記被検査物を撮像して取得した撮像情報をいずれかの前記欠陥種別に分類するための分類条件を設定する分類条件設定部と、
前記基礎撮像情報を、前記分類条件に従って分類する基礎欠陥種別分類部と、
前記基礎撮像情報の少なくとも一部である対象基礎撮像情報を前記分類条件に従って分類することによって、所定の欠陥種別に分類された前記対象基礎撮像情報である分類基礎
撮像情報の数と、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別と、前記対象基礎撮像情報のうち、前記所定の欠陥種別に関連付けれた前記基礎撮像情報の数である正解基礎撮像情報数と、を含む分類結果確認画面を生成する分類結果確認画面生成部と、
前記分類結果確認画面を表示する表示部と、
を備えた分類条件設定支援装置である。
これによれば、基礎情報記憶部に記憶され、予め欠陥種別に関連付けられた基礎撮像情報を分類条件設定部で設定された分類条件に従って基礎欠陥種別分類部において分類した結果が、表示部に分類結果確認画面として表示される。基礎欠陥種別分類部では、基礎情報記憶部に記憶されたすべての基礎撮像情報を分類対象とする必要はないので、すくとなくとも一部を対象基礎撮像情報として、分類の対象とすればよい。そして、分類結果確認画面には、設定された分類条件に従って、所定の欠陥種別に分類された分類基礎撮像情報の数と、この所定の欠陥種別に分類された分類基礎撮像情報に、予め関連付けられた基礎欠陥種別と、対象基礎撮像情報のうち、所定の欠陥種別に予め関連付けられた基礎撮像情報の数である正解基礎撮像情報数と、が含まれる。このような分類結果確認画面の表示により、所定の欠陥種別に分類された対象基礎撮像情報のうち、所定の欠陥種別に正しく分類された対象基礎撮像情報の数と、誤って所定の欠陥種別に分類された対象基礎撮像情報の内訳をユーザが明確に認識することができる。また、正解基礎撮像情報数も表示されるので、対象基礎撮像情報のうち当該所定の欠陥種別に予め関連付けられた対象基礎撮像情報が見逃しなく適切に分類されているか否かをユーザが認識することもできる。このように、ユーザは、この分類結果確認画面によって、設定された分類条件の適否を検討するための情報を取得することができるので、この分類条件設定支援装置は、分類条件を設定するために有益な情報をユーザに提供することができる。
また、本発明において、
前記分類結果確認画面は、前記分類基礎撮像情報の数に応じた態様、かつ、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別に応じた態様で表示される分類基礎撮像情報指標を含むようにしてもよい。
前記分類結果確認画面は、前記分類基礎撮像情報の数に応じた態様、かつ、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別に応じた態様で表示される分類基礎撮像情報指標を含むようにしてもよい。
このようにすれば、分類基礎撮像情報指標は、分類基礎撮像情報の数に応じた態様、例えば、分類基礎撮像情報の数に応じて、分類基礎撮像情報指標の長さ、大きさ、位置などが異なる態様で表示されるので、分類条件の適否の判断を視覚的に容易に認識することができる。また、分類基礎撮像情報指標は、分類基礎撮像情報に予め関連付けられた基礎欠陥種別に応じた態様、例えば、基礎欠陥種別ごとに分類基礎撮像情報指標の色、模様、形等が異なる態様で表示されるので、分類条件の適否の判断を視覚的に容易に認識することができる。
また、本発明において、
前記分類結果確認画面は、前記分類基礎撮像情報指標が表示する前記分類基礎撮像情報の数が、前記正解基礎撮像情報数に一致することを示す印を含むようにしてもよい。
前記分類結果確認画面は、前記分類基礎撮像情報指標が表示する前記分類基礎撮像情報の数が、前記正解基礎撮像情報数に一致することを示す印を含むようにしてもよい。
このようにすれば、分類基礎撮像情報の数に応じた態様で表示される分類基礎撮像情報指標によって表示される分類基礎撮像情報の数が、正解基礎撮像情報数に一致することを示す印が分類結果確認画面に含まれるので、分類基礎撮像情報指標の表示態様と印とを対照することにより、対象基礎撮像情報に含まれ、予め所定の欠陥種別に関連付けられた基礎撮像情報がすべて正しく分類されているか否かを視覚的に容易に認識することができる。
また、本発明において、
前記分類結果確認画面は、前記正解基礎撮像情報数を上回る数に応じた前記分類基礎撮
像情報指標を表示するための表示領域を含むようにしてもよい。
前記分類結果確認画面は、前記正解基礎撮像情報数を上回る数に応じた前記分類基礎撮
像情報指標を表示するための表示領域を含むようにしてもよい。
このようにすれば、分類結果確認画面が、正解基礎撮像情報数を上回る数に応じた分類基礎撮像情報指標を表示するための表示領域を含むので、対象基礎撮像情報に含まれ、予め所定の欠陥種別に関連付けられた基礎撮像情報がすべて正しく所定の欠陥種別に分類されている場合においても、見過ぎにより誤って所定の欠陥種別に分類された対象基礎撮像情報の有無を分類基礎撮像情報指標により視覚的に容易に認識することができる。
また、本発明において、
欠陥を有する被検査物を撮像して取得した前記撮像情報を前記表示部に表示させ、該撮像情報に関連付ける前記欠陥種別の入力を受け付ける基礎情報生成部を備えるようにしてもよい。
欠陥を有する被検査物を撮像して取得した前記撮像情報を前記表示部に表示させ、該撮像情報に関連付ける前記欠陥種別の入力を受け付ける基礎情報生成部を備えるようにしてもよい。
このようにすれば、ユーザが撮像情報を表示部に表示させて確認しながら、欠陥種別に関連付けることにより、簡単に基礎情報を取得することができる。
また、本発明において、
前記分類条件設定部は、分類される前記欠陥種別に対する重みづけの指定を受け付ける重要度指定部、前記基礎欠陥種別分類部における分類の対象となる前記欠陥種別の指定を受け付ける対象欠陥指定部、前記撮像情報に基づいて取得され、前記基礎欠陥種別分類部における分類に用いられる特徴量の指定を受け付ける特徴量指定部の少なくともいずれかを有するようにしてもよい。
前記分類条件設定部は、分類される前記欠陥種別に対する重みづけの指定を受け付ける重要度指定部、前記基礎欠陥種別分類部における分類の対象となる前記欠陥種別の指定を受け付ける対象欠陥指定部、前記撮像情報に基づいて取得され、前記基礎欠陥種別分類部における分類に用いられる特徴量の指定を受け付ける特徴量指定部の少なくともいずれかを有するようにしてもよい。
このようにすれば、分類条件設定部が分類条件を設定するために、欠陥種別の重みづけや、分類対象となる欠陥種別や、分類に用いられる特徴量をユーザが指定することができるので、ユーザの目的に応じた分類条件に従った分類結果を分類結果確認画面によって確認にすることができ、分類条件の設定のためにより有益な情報を得ることができる。
また、本発明において、
前記分類条件設定部は、前記重要度指定部、前記対象欠陥指定部、前記特徴量指定部の少なくともいずれかを通じて受け付けられた指定に基づいて、前記特徴量及び該特徴量の閾値を設定するようにしてもよい。
前記分類条件設定部は、前記重要度指定部、前記対象欠陥指定部、前記特徴量指定部の少なくともいずれかを通じて受け付けられた指定に基づいて、前記特徴量及び該特徴量の閾値を設定するようにしてもよい。
このようにすれば、欠陥種別の重みづけや、分類対象となる欠陥種別や、分類に用いられる特徴量に基づいて、欠陥種別に分類するための特徴量及び閾値をユーザが設定するという煩雑な作業を行うことなく、特徴量と、特徴量に基づいて欠陥種別を分類するための閾値とを目的に応じて設定することができる。
本発明によれば、被検査物の欠陥種別を分類する分類条件の設定に有益な情報を提供することが可能となる。
〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。
以下、本発明の適用例について、図面を参照しつつ説明する。
図1は、本発明が適用される外観検査管理システム1の概略構成図である。外観検査管理システム1は、主として、外観検査装置2及び検査管理装置3を有する。外観検査装置2は、シート状の被検査物Tの外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置である。この外観検査装置2は、検査管理装置3とネットワークを介して双方向通信可能に接続されている。
外観検査装置2において、欠陥が検出された被検査物Tの外観画像に基づいて欠陥種別を分類する際に、外観画像から取得される種々の特徴量(例えば、欠陥長さ、欠陥幅等)に対して、適切な閾値を設定する。このような欠陥種別分類のための特徴量と閾値を含む分類条件(分類ロジックともいう)を適切に設定しなければ、重要な欠陥について見逃しが発生することとなり、精度のよい欠陥検出が困難となる。一方で、外観画像と当該外観画像に表れた欠陥種別とを関連付けて、分類ロジック設定のための正解データを生成することも、欠陥数や欠陥種別が多くなると容易ではない。このため、外観検査管理システム1では、ユーザが入力した情報に基づいて設定された分類ロジックに従って、正解データの少なくとも一部を分類し、その分類結果を、後述の分類結果確認画面6としてユーザに提供することにより、設定された分類ロジックの適否を簡単に判断・評価できるようにした。
図4は、ユーザが分類条件設定のための入力画面5の表示例を示す。ユーザは、「金属」等のそれぞれ番号が付された複数の欠陥種別から、分類対象となる欠陥種別を、「対象欠陥」の欄に設けられたチェックボックスをチェックすることにより選択・指定する。図4では、「金属」、「ピンホール」、「異物」、「シワ」の4種類が分類対象として選択されている。入力画面5には、「重要欠陥」の項目が設けられている。「重要欠陥」は、複数の欠陥種別のうち、ユーザが特に重要であると考えている欠陥種別を指す。図4では、「金属」の行のチェックボックスがチェックされている。このように「重要欠陥」を指定することにより、「重要欠陥」に指定された欠陥種別については見逃しが発生しないような分類ロジックが設定される。また、分類結果確認画面6において、各欠陥種別を区別するために表示色を異ならせているので、各欠陥種別の表示色を選択するためのプルダウンメニューが設けられている。さらに、入力画面5には、使用する特徴量を選択・指定するためのチェックボックスも設けられている。
入力画面5を介して入力された情報に基づいて、予め準備された正解データを分類した結果が、図5に示す分類結果確認画面6としてユーザに提供される。以下、「金属」を例に、分類結果確認画面6の構成を説明する。
分類結果確認画面6には、欠陥種別欄61、重要欠陥表示欄62、ロジック結果(件数)欄63、件数表示欄66、67、合計欄68が設けられている。欠陥種別欄61には、欠陥種別名である「金属」611と、「金属」の表示色(表記の都合上、図5では色に代えて網掛けで区別している。)が表示視される。また、重要欠陥表示欄62には、「金属」が重要欠陥であることを表すチェックマーク621が表示される。分類ロジックによる分類結果の内訳は、ロジック結果(件数)欄63と件数表示欄66、67により表示される。「金属」に分類された画像データの数は、横長の表示領域631内に表示されるバー上のインジケータ651、652と、件数表示欄66、67に表示色を示す正方形661、671とともに表示された数字662、672によって示される。表示領域631の中央には、正解数642、すなわち、分類対象となった正解データのうち、「金属」に関連
付けられていた画像データの数が数字で表示され、分類結果が正解数に一致する場合のインジケータ651の右端位置の目印となる逆三角形のマーク641が表示されている。図5に示すように、正解種別が「金属」であることを示すインジケータ651は、表示領域631の左端から逆三角形のマーク641の位置まで達している。また、件数表示欄66には、正解種別が「金属」である画像データが8件、「金属」に正しく分類されており、表示領域631上に表示された正解数642の「8」に一致することからも、当該分類ロジックにより「金属」が見逃しなく分類されていることが分かる。「金属」の表示領域631には、「ピンホール」を表す表示色のインジケータ652も表示されている。これは、当該分類ロジックにより、「金属」に見過ぎが発生し、「ピンホール」も「金属」として分類してしまうことを示している。このように、誤って「金属」に分類された「ピンホール」の画像データの数は、件数表示欄67の数字「3」と欠陥種別を示す表示色を表示する正方形671により、正確に把握することができる。
付けられていた画像データの数が数字で表示され、分類結果が正解数に一致する場合のインジケータ651の右端位置の目印となる逆三角形のマーク641が表示されている。図5に示すように、正解種別が「金属」であることを示すインジケータ651は、表示領域631の左端から逆三角形のマーク641の位置まで達している。また、件数表示欄66には、正解種別が「金属」である画像データが8件、「金属」に正しく分類されており、表示領域631上に表示された正解数642の「8」に一致することからも、当該分類ロジックにより「金属」が見逃しなく分類されていることが分かる。「金属」の表示領域631には、「ピンホール」を表す表示色のインジケータ652も表示されている。これは、当該分類ロジックにより、「金属」に見過ぎが発生し、「ピンホール」も「金属」として分類してしまうことを示している。このように、誤って「金属」に分類された「ピンホール」の画像データの数は、件数表示欄67の数字「3」と欠陥種別を示す表示色を表示する正方形671により、正確に把握することができる。
このように、図5に示す分類結果確認画面6によれば、いずれの欠陥種別が重要欠陥であるか、重要欠陥を含め欠陥種別ごとに正しく分類されているか、見逃し、見過ぎの有無について、バー状のインジケータ651等と、表示領域631に設けられた正解数642とマーク641により、一目瞭然に視認することができ、件数表示欄66、67の表示によって具体的な件数を把握することができる。また、画像データの数を示すインジケータ651が正解種別ごとに色分けされているので、当該分類ロジックにより、各欠陥種別に分類されている画像データの正解種別の内訳を明確に認識することができる。複数の分類ロジックによる分類結果確認画面を、並列又は切替により表示装置37に表示させ、分類結果を比較することにより、検査の目的に応じて、いずれの分類ロジックがより適切であるかを簡単に検討することができる。
〔実施例1〕
以下、図面を参照して本発明の実施例1に係る外観検査管理システム1の構成について説明する。ただし、この実施例に記載されている装置の構成は各種条件により適宜変更されるべきものである。すなわち、この発明の範囲を以下の実施例に限定する趣旨のものではない。
以下、図面を参照して本発明の実施例1に係る外観検査管理システム1の構成について説明する。ただし、この実施例に記載されている装置の構成は各種条件により適宜変更されるべきものである。すなわち、この発明の範囲を以下の実施例に限定する趣旨のものではない。
(外観検査管理システム)
図1は、本発明の実施例に係る外観検査管理システム1の全体構成を模式的に示す図である。外観検査管理システム1は、主として、外観検査装置2及び検査管理装置3を有する。
図1は、本発明の実施例に係る外観検査管理システム1の全体構成を模式的に示す図である。外観検査管理システム1は、主として、外観検査装置2及び検査管理装置3を有する。
(外観検査装置)
外観検査装置2は、シート状の物品の外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置であり、主たる構成として、照明系、測定系、搬送機構(図示しない)、制御端末23を備える。
外観検査装置2は、シート状の物品の外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置であり、主たる構成として、照明系、測定系、搬送機構(図示しない)、制御端末23を備える。
被検査物Tは、図示しない搬送機構によって、水平方向(矢印方向)に搬送され、その搬送中に測定系によって被検査物Tの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Tは、シート状に形成されており、例えば、紙、布、フィルムなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。また、乾燥海苔などの食品であってもよい。
照明系は、被検査物Tの表面に可視光(例えば白色光)を照射する光源211、を備える。これらの光源には、例えばLED照明などを用いてもよい。
測定系は、光源211から照射され被検査物Tの表面で反射した光(以下、表面反射光という)を撮像するカメラ221を備えている。なお、カメラは、それぞれが撮像する光を検知可能な受光センサと、レンズと、信号出力部と、を備えており、レンズを介して受光センサで検知した光を電気信号として出力する。センサとしては、例えばCCD又はCMOSセンサを用いることができる。
光源211から照明光を照射された状態の被検査物の画像をカメラ221によって撮像し、撮像された画像を制御端末23が画像処理し、得られた特徴量の値と予め設定されている検査閾値との対比により、閾値から逸脱する特徴量を有する箇所が欠陥として判定される。
制御端末23は、画像取得部231、特徴量算出部232、欠陥判定部233、欠陥種別分類部234の各機能モジュールを有する。
画像取得部231はカメラ221から画像を取り込む機能であり、例えば、照明光が照射された状態の被検査物画像を取得する。特徴量算出部232は、被検査物画像に基づいて、外観検査に用いる特徴量を算出する機能である。なお、特徴量は一つに限られず、例えば、欠陥ピーク(%)、欠陥幅(mm)、欠陥長さ(mm)、欠陥面積(mm2)、明暗情報、円形度、フェレ比、丸さ度、伸張度、濃度平均値、濃度パターン、垂直濃度変化、水平濃度変化、平面濃度変化、色相(H)ピーク、彩度(S)ピーク、明度(V)ピーク、Rピーク(明)、Rピーク(暗)、Gピーク(明)、Gピーク(暗)、Bピーク(明)、Bピーク(暗)等の様々な種類のものを算出するようにしてもよい。
欠陥判定部233は、特徴量算出部232が算出した特徴量を、予め設定されている閾値と対比させ、閾値から逸脱する特徴量を有する箇所を欠陥として判定する。
欠陥種別分類部234は、欠陥判定部233の判定により被検査物から欠陥が検出された際に、当該欠陥の種類を、予め定められた閾値と当該欠陥を示す画像の特徴量とに基づき、分類する。分類される欠陥の種別はユーザにおいて任意に設定することができ、例えば、金属、異物、ピンホール、スジ、ゲル、樹脂等の種別を適宜設定する。欠陥はこれらに限られず、汚れ、シワ、といった種別を設けてもよいし、さらに細かい種別に分類するのであってもよい。
(検査管理装置)
上述した外観検査装置2は、ネットワーク(LAN)を介して検査管理装置3に接続されており、外観検査装置2と検査管理装置3とは、情報の双方向通信を行う。検査管理装置3は、外観検査装置2から受信した情報の処理を行うとともに、検査に係る情報を外観検査装置2に情報を送信する。検査管理装置3はCPU(図示せず)、記憶装置35、入力装置36、表示装置37などを具備する汎用的なコンピュータシステムにより構成される。また、記憶装置35には、少なくとも外観検査装置2から送信される欠陥画像データが記憶される。ここで、欠陥画像データには、被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び、目視検査によって判定された一次検査の真偽、欠陥の種別、などを示す付記情報が含まれる。
上述した外観検査装置2は、ネットワーク(LAN)を介して検査管理装置3に接続されており、外観検査装置2と検査管理装置3とは、情報の双方向通信を行う。検査管理装置3は、外観検査装置2から受信した情報の処理を行うとともに、検査に係る情報を外観検査装置2に情報を送信する。検査管理装置3はCPU(図示せず)、記憶装置35、入力装置36、表示装置37などを具備する汎用的なコンピュータシステムにより構成される。また、記憶装置35には、少なくとも外観検査装置2から送信される欠陥画像データが記憶される。ここで、欠陥画像データには、被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び、目視検査によって判定された一次検査の真偽、欠陥の種別、などを示す付記情報が含まれる。
なお、検査管理装置3は、1台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、外観検査装置2の制御端末23に、検査管理装置3の機能の全部又は一部を実装することも可能である。あるいは、検査管理装置3の機能の一部をネットワーク上のサーバ(クラウドサーバなど)により実現してもよい。
本実施例に係る検査管理装置3は、機能モジュールとして、正解データ生成部31、と
、分類条件設定部32と、正解データ分類部33と、分類結果確認画面生成部34と、を備える。ここでは、検査管理装置3が本発明の分類条件設定支援装置に相当する。また、正解データ生成部31、分類条件設定部32、正解データ分類部33、分類結果確認画面生成部34が、それぞれ本発明の基礎情報生成部、基礎欠陥種別分類部、分類条件設定部、分類結果確認画面生成部に相当する。
、分類条件設定部32と、正解データ分類部33と、分類結果確認画面生成部34と、を備える。ここでは、検査管理装置3が本発明の分類条件設定支援装置に相当する。また、正解データ生成部31、分類条件設定部32、正解データ分類部33、分類結果確認画面生成部34が、それぞれ本発明の基礎情報生成部、基礎欠陥種別分類部、分類条件設定部、分類結果確認画面生成部に相当する。
正解データ生成部31は、記憶装置35に記憶された被検査物Tが撮像された画像であって何らかの欠陥を含む画像データを表示装置37に表示し、ユーザから入力装置36を介して、表示された画像に関連付ける欠陥種別の入力を受け付ける。例えば、図3に示すような複数の画像データ40~49を表示装置37に表示させ、ユーザは、画像データ40~49を確認して、それぞれの画像データ40~49に金属、異物、ピンホール、スジ、ゲル、樹脂等欠陥種別を関連付ける。このようにして、画像データと関連付けられた欠陥種別とを含む正解データが生成される。正解データに用いられる画像データが本発明の基礎撮像情報に相当し、この画像データに関連付けられた欠陥種別が本発明の基礎欠陥種別に相当し、正解データが本発明の基礎情報に相当する。
分類条件設定部32は、後述のように、ユーザが選択・指定した欠陥種別、重要欠陥、使用する特徴量等に基づいて、欠陥種別を適切に分類し得る分類条件を設定する。分類条件(分類ロジック)は、上述した特徴量とその特徴量に対する閾値との組み合わせを含む。ユーザが選択・指定した情報に基づく分類ロジックの設定方法としては、適宜の方法を採用することができる。分類条件(分類ロジック)が本発明の分類条件に相当する。
正解データ分類部33は、分類条件設定部32によって設定された分類ロジックに従って、記憶装置35に記憶された正解データの少なくとも一部(全部であってもよいし、一部であってもよい。)を欠陥種別に分類する。正解データ分類部33による分類の対象とされる正解データの少なくとも一部が本発明の対象基礎情報に相当する。
分類結果確認画面生成部34は、正解データ分類部33によって、正解データを分類した結果を含む分類結果確認画面6を生成し、表示装置37に表示させる。分類結果確認画面の詳細構成については、後述する。分類結果確認画面6が本発明の分類結果確認画面に相当する。
検査管理装置3における分類結果確認処理の手順を図2に示す。
まず、正解データ生成部31は、欠陥を含む画像データと、ユーザが何らか欠陥を含む画像データに関連付ける欠陥種別の入力を受け付ける(ステップS1)。このとき、外観検査装置2において欠陥を有する被検査物を撮像することにより得られた画像をもとに画像情報を取得しておく。正解データ生成部31は、図3に示すような欠陥を含む複数の画像データ40~49を表示装置37に表示させ、同様に表示装置37に表示された複数の欠陥種別の候補から、関連付けるべき欠陥種別を、入力装置36のクリック等によりユーザの指定を受け付ける。画像情報は、画像以外の情報を含んでもよい。このようにして、被検査物の画像から検出された欠陥の種別を分類するための正解データを準備する。生成された正解データは記憶装置35の所定領域に記憶する。ここでは、正解データを記憶する記憶装置35の所定領域が本発明の基礎情報記憶部に相当する。
次に、分類条件設定部32は、欠陥種別を分類するための分類条件を構成する特徴量と閾値を設定する(ステップS2)。
このとき、ユーザは、外観検査管理システム1において分類結果を確認したい欠陥種別等を選択・指定することができる。図4は、分類条件を設定するために、ユーザが入力するための入力画面5の表示例である。入力画面5の上部には、各行に、番号を付された欠
陥種別が表示された欠陥種別指定欄51が表示される。欠陥種別欄511には、金属、ピンホール、異物、シワ、汚れ、キズが表示されているが、欠陥種別はこれらに限定されない。入力画面5の3列目の対象欠陥欄512には分類結果を確認したい欠陥種別を「対象欠陥」として選択・指定するためのチェックボックスが表示されている。ユーザは、このチェックボックスをチェックすることにより、後述する分類結果確認画面6によって確認したい欠陥種別を選択・指定することができる。ここでは、金属、ピンホール、異物、シワが対象欠陥として選択されている。また、入力画面5の4列目の重要欠陥欄513には、重要欠陥を選択・指定するためのチェックボックスが表示されている。重要欠陥とは、検出対象としている欠陥種別のうちで、ユーザが特に重要であると判断している欠陥種別である。このように重要欠陥を選択・指定することにより、分類条件を設定する際に、重要欠陥と指定された欠陥種別については見逃しがないように、特徴量及び閾値が設定される。ここでは、金属が重要欠陥として選択されている。入力画面5の5列目には、色指定欄514が設けられている。これは、後述する分類結果表示画面において、選択した欠陥種別を表示する際に欠陥種別を明瞭に区別するために、欠陥種別ごとの表示色をユーザが選択できるようにしたものであり、プルダウンメニューにより適宜の表示色を選択できる。ここでは、金属、ピンホール、異物、シワを、それぞれ青、緑、シアン、マゼンタで表示するように設定している。ここでは、重要欠陥か否かが欠陥種別に対する重みづけであり、重要欠陥欄513が、本発明の重要度指定部に相当する。また、対象欠陥欄512が本発明の対象欠陥指定部に相当する。
また、入力画面5の下部には、欠陥種別の分類の際に使用する特徴量を選択・指定するための特徴量指定部52が表示される。特徴量指定部52には、特徴量を選択・指定するためのチェックボックス521~523が表示されている。ここでは、「欠陥長さ」、「欠陥幅」、「欠陥面積」を特徴量として使用するか否かをチェックボックスによって選択できるようになっている。選択・指定できる特徴量はこれらに限定されない。ここでは、特徴量指定部52が本発明の特徴量指定部に相当する。
上述のように入力画面5を通じてユーザが選択・指定した欠陥対象、重要欠陥欠陥種別、使用する特徴量に基づいて、分類条件設定部32が分類可能な特徴量と閾値を探索し、選択された対象欠陥及び重要欠陥の分類に適した特徴量と閾値を設定する。
このとき、ユーザは、外観検査管理システム1において分類結果を確認したい欠陥種別等を選択・指定することができる。図4は、分類条件を設定するために、ユーザが入力するための入力画面5の表示例である。入力画面5の上部には、各行に、番号を付された欠
陥種別が表示された欠陥種別指定欄51が表示される。欠陥種別欄511には、金属、ピンホール、異物、シワ、汚れ、キズが表示されているが、欠陥種別はこれらに限定されない。入力画面5の3列目の対象欠陥欄512には分類結果を確認したい欠陥種別を「対象欠陥」として選択・指定するためのチェックボックスが表示されている。ユーザは、このチェックボックスをチェックすることにより、後述する分類結果確認画面6によって確認したい欠陥種別を選択・指定することができる。ここでは、金属、ピンホール、異物、シワが対象欠陥として選択されている。また、入力画面5の4列目の重要欠陥欄513には、重要欠陥を選択・指定するためのチェックボックスが表示されている。重要欠陥とは、検出対象としている欠陥種別のうちで、ユーザが特に重要であると判断している欠陥種別である。このように重要欠陥を選択・指定することにより、分類条件を設定する際に、重要欠陥と指定された欠陥種別については見逃しがないように、特徴量及び閾値が設定される。ここでは、金属が重要欠陥として選択されている。入力画面5の5列目には、色指定欄514が設けられている。これは、後述する分類結果表示画面において、選択した欠陥種別を表示する際に欠陥種別を明瞭に区別するために、欠陥種別ごとの表示色をユーザが選択できるようにしたものであり、プルダウンメニューにより適宜の表示色を選択できる。ここでは、金属、ピンホール、異物、シワを、それぞれ青、緑、シアン、マゼンタで表示するように設定している。ここでは、重要欠陥か否かが欠陥種別に対する重みづけであり、重要欠陥欄513が、本発明の重要度指定部に相当する。また、対象欠陥欄512が本発明の対象欠陥指定部に相当する。
また、入力画面5の下部には、欠陥種別の分類の際に使用する特徴量を選択・指定するための特徴量指定部52が表示される。特徴量指定部52には、特徴量を選択・指定するためのチェックボックス521~523が表示されている。ここでは、「欠陥長さ」、「欠陥幅」、「欠陥面積」を特徴量として使用するか否かをチェックボックスによって選択できるようになっている。選択・指定できる特徴量はこれらに限定されない。ここでは、特徴量指定部52が本発明の特徴量指定部に相当する。
上述のように入力画面5を通じてユーザが選択・指定した欠陥対象、重要欠陥欠陥種別、使用する特徴量に基づいて、分類条件設定部32が分類可能な特徴量と閾値を探索し、選択された対象欠陥及び重要欠陥の分類に適した特徴量と閾値を設定する。
次に、ステップS2において設定された分類条件に従って、正解データ分類部33が、ステップS1で準備された正解データに含まれる画像データを分類する(ステップS3)。分類結果は記憶装置35の所定領域に記憶される。正解データ分類部33で分類対象とする画像データに、記憶装置35に記憶されている欠陥画像のデータを含めてもよい。
次に、分類結果確認画面生成部34が、ステップS3における正解データの分類結果に基づいて図5に示す分類結果確認画面6を生成し、表示装置37に表示する(ステップS4)。
図5は分類結果確認画面6を示す。図5では、「金属」に関する表示に特に符号を付しているが、以下の説明では、他の欠陥種別の同様の構成については同様の符号を付して説明する。
分類結果確認画面6の左端には、欠陥種別欄61として、列方向に分類された欠陥種別名が表示される。ここでは、図3に示す入力画面で選択した「金属」611、「ピンホール」、「異物」、「シワ」が表示される。欠陥種別欄61には、これらの欠陥種別名とともに、図3に示す入力画面で指定された当該欠陥種別の表示に用いられる色の正方形612が表示される。ただし、図5では、色に代えて網掛けの種類によって欠陥種別を区別している。ここでは、欠陥種別欄61に表示された欠陥種別のそれぞれが、本発明の所定の欠陥種別に相当する。
分類結果確認画面6の左端には、欠陥種別欄61として、列方向に分類された欠陥種別名が表示される。ここでは、図3に示す入力画面で選択した「金属」611、「ピンホール」、「異物」、「シワ」が表示される。欠陥種別欄61には、これらの欠陥種別名とともに、図3に示す入力画面で指定された当該欠陥種別の表示に用いられる色の正方形612が表示される。ただし、図5では、色に代えて網掛けの種類によって欠陥種別を区別している。ここでは、欠陥種別欄61に表示された欠陥種別のそれぞれが、本発明の所定の欠陥種別に相当する。
欠陥種別欄61の右側には、重要欠陥表示欄62が設けられている。図3に示す入力画
面において重要欠陥に指定された「金属」には、重要欠陥であることを示すチェックマーク621が表示される。
面において重要欠陥に指定された「金属」には、重要欠陥であることを示すチェックマーク621が表示される。
そして、重要欠陥表示欄62の右側には、ロジック結果(件数)欄63として、欠陥種別の分類に使用された分類ロジックによる分類結果の件数が表示される。ここで、件数とは、分類結果確認画面6の左端に表示された各欠陥種別に分類された画像データの数である。件数は、横長の表示領域631内に表示されるバー状のインジケータ651~656によって表される。これらのインジケータ651~656は、それぞれが対応する欠陥種別の件数に比例する長さを有している。また、表示領域631の中央には、分類された画像データに含まれる当該欠陥種別に関連付けられた画像データの数(正解数)が、数字642と、表示領域631中の位置を示す逆三角形のマーク641によって示される。表示領域631内に表示されるインジケータ(例えばインジケータ651)としては、まず、欠陥種別欄61に表示された欠陥種別に関連付けられた画像データ数を示すインジケータ651が、表示領域63の左端から右側へと延びるように表示される。この正しく分類された画像データ数を示すインジケータ651の右側に隣接して、誤って分類された欠陥種別のインジケータ(例えばインジケータ652)がさらに右側へ延びるように表示される。ある欠陥種別に誤って分類された画像データに関連付けられた欠陥種別が複数である場合には、さらに、右側に隣接して欠陥種別ごとにインジケータが表示される。各欠陥種別に正しく分類された欠陥種別に関連付けられた画像データ数を示すインジケータ(例えばインジケータ661)は、件数が正解数に一致する場合に、表示領域631の中央のマーク641の位置にインジケータ651の端部が一致するので、インジケータ651の右端と、マーク641との位置関係により、ユーザは見逃し及び見過ぎの有無を簡単に認識できる。なお、分類の対象となった画像データに含まれる欠陥種別ごとの画像データ数は、欠陥種別によって異なっているのに対して、正解数を示すマーク641を表示領域631の中央に設けているため、各欠陥種別の行の表示領域に表示し得る画像データ数が異なっており、各欠陥種別の行に表示されるインジケータの1件当たりの長さ(単位長さ)も異なっている。このように表示領域631は、各欠陥種別の正解数を上回る数に相当する長さのインジケータを表示することができるように設けられている。ここでは、表示領域631が本発明の表示領域に相当する。また、マーク641が本発明の印に相当する。また、インジケータ651~656が本発明の分類基礎撮像情報指標に相当し、インジケータ651~656の長さが本発明の分類基礎撮像情報の数に応じた態様に相当し、インジケータ651~656の表示色(図5では網掛け)が本発明の分類基礎撮像情報に関連付けられた基礎欠陥種別に応じた態様に相当する。また、正解数の数字642が本発明の正解基礎撮像情報数に相当する。また、インジケータ651~656の長さによって表される数が、本発明の分類基礎撮像情報の数に相当する。
また、表示領域631の右側には、各欠陥種別に分類された画像データの数を表示する件数表示欄66、67が設けられている。件数表示欄66には、欠陥種別欄61に表示された欠陥種別に正しく分類された画像データの件数を示す数字662と、それぞれの画像データに予め関連付けられている欠陥種別(正解種別)を表す色の正方形661が表示される。件数表示欄67には、誤って欠陥種別欄61に表示された欠陥種別に分類された画像データの正解種別を表す色の正方形671と数字672が表示される。そして、分類結果確認画面6の右端には、合計欄68が設けられ、欠陥種別ごとに、当該欠陥種別に分類された画像データの合計数681が表示される。件数表示欄66、67の数字662、672、合計欄68の合計数681は、本発明の分類基礎撮像情報の数に相当する。
図5では、当該分類ロジックにより、金属に分類された画像データが合計で11件あることが合計欄68に示されている。また、金属に分類された画像データには、正解種別が金属である画像データが8件、正解種別がピンホールである画像データが3件含まれていることが件数表示欄66、67とインジケータ651、652によって分かる。表示領域
63の中央に表示された正解数642が8であり、正解種別が金属である画像データを示すインジケータ651が逆三角形のマーク641の位置に達しているので、正解種別が金属である画像データはすべて正しく金属に分類されていることをユーザは明確に視認することができる。また、当該分類ロジックでは、正解種別が金属である画像データ以外に、正解種別がピンホールである画像データも誤って金属に分類されていることも、インジケータ651とインジケータ652の色分け、及び件数表示欄66、67により、ユーザは明確に視認することができる。すなわち、当該分類ロジックでは、金属に見過ぎが発生しており、その内訳として、正解種別がピンホールの画像データを金属と分類してしまうことが分かる。ユーザは、金属を重要欠陥に指定しているので、金属の見落としは許容できないが、見過ぎについては許容できる場合がある。また、いずれの正解種別の画像データを見過ぎてしまうのかについても、表示から分かるので、これらの情報を参考にして、当該分類ロジック、具体的には、特徴量と閾値の組み合わせの適否を簡単に判断することができる。
63の中央に表示された正解数642が8であり、正解種別が金属である画像データを示すインジケータ651が逆三角形のマーク641の位置に達しているので、正解種別が金属である画像データはすべて正しく金属に分類されていることをユーザは明確に視認することができる。また、当該分類ロジックでは、正解種別が金属である画像データ以外に、正解種別がピンホールである画像データも誤って金属に分類されていることも、インジケータ651とインジケータ652の色分け、及び件数表示欄66、67により、ユーザは明確に視認することができる。すなわち、当該分類ロジックでは、金属に見過ぎが発生しており、その内訳として、正解種別がピンホールの画像データを金属と分類してしまうことが分かる。ユーザは、金属を重要欠陥に指定しているので、金属の見落としは許容できないが、見過ぎについては許容できる場合がある。また、いずれの正解種別の画像データを見過ぎてしまうのかについても、表示から分かるので、これらの情報を参考にして、当該分類ロジック、具体的には、特徴量と閾値の組み合わせの適否を簡単に判断することができる。
図5では、当該分類ロジックにより、ピンホールに分類された画像データが2件であり、インジケータ653が中央の逆三角形のマーク641に達していないことから、ピンホールについては見落としが発生していることをユーザは明確に視認することができる。正解種別がピンホールである画像データ5件のうち、正しく分類されなかった3件については上述のように誤って金属に分類されていることも、表示領域63中央の正解件数642と、それぞれの欠陥種別の行のインジケータ653、631、及び、件数表示欄66、67の表示によってユーザは明確に視認することができる。
図5では、当該分類ロジックにより、異物に分類された画像データが8件であることが合計欄に示されている。また、異物に分類された画像データには、正解種別が異物である画像データが3件、正解種別がシワである画像データが5件含まれていることが、件数表示欄66、67とインジケータ654、655によって分かる。表示領域中央に表示された正解数が3であり、正解種別が異物である画像データを示すインジケータ654が逆三角形の位置に達しているので、正解種別が異物である画像データはすべて正しく異物に分類されていることをユーザは明確に視認することができる。また、当該分類ロジックでは、正解種別が異物である画像データ以外に、正解種別がシワである画像データも異物に分類されていることも、インジケータ654、655の色分け及び、件数表示欄66、67により、ユーザは明確に視認することができる。異物の正解数が3件であることから、異物のインジケータの表示領域は6件分しかなく、正解種別がシワである画像データである5件分に相当する長さのインジケータ655を表示するための表示領域631が設けられていないため、表示領域631を超え、表示されていないインジケータ655の部分が存在することを右向き矢印69で示している。これによって、ユーザは、当該分類ロジックでは、異物については正しく分類できているが、見過ぎが発生していることが分かる。
そして、図5では、当該分類ロジックにより、正解種別がシワである画像データが10件であり、そのうち、5件が正しく分類されており、他の5件については、誤って、異物に分類されていることを、ユーザは明確に認識することができる。
上述のように、図5に示す分類結果確認画面6によれば、いずれの欠陥種別が重要欠陥であるか、重要欠陥を含め欠陥種別ごとに正しく分類されているか、見逃し、見過ぎの有無について、バー状のインジケータ651等と、表示領域631に設けられた正解数642とマーク641により、一目瞭然に視認することができ、件数表示欄66、67の表示によって具体的な件数を把握することができる。また、画像データの件数を示すインジケータ651等が正解種別ごとに色分けされているので、当該分類ロジックにより、各欠陥種別に分類されている画像データの正解種別の内訳を明確に認識することができる。
図5は、一つの分類ロジックにより画像データを分類した結果を示す分類結果確認画面であるが、分類ロジック、すなわち、画像データの分類に用いる特徴量と閾値を変更することにより、分類結果も異なるため、複数の分類ロジックによる分類結果確認画面を、並列又は切替により表示装置37に表示させ、分類結果を比較することにより、検査の目的に応じて、いずれの分類ロジックがより適切であるかを簡単に検討することができる。
図5に示す分類結果確認画面6では、横長の表示領域631内に表示されるバー状のインジケータの長さが画像データ数を示す。このようなインジケータは本発明の分類基礎撮像情報指標の一例であり、分類基礎撮像情報指標と、分類基礎情報の数に応じたその態様、及び、基礎欠陥種別に応じた態様はこれに限られない。
<付記1>
被検査物(T)を撮像して取得した撮像情報であって、いずれかの欠陥種別に関連付けられた基礎撮像情報と、該基礎撮像情報のそれぞれに関連付けられた前記欠陥種別である基礎欠陥種別とを含む基礎情報を記憶する基礎情報記憶部(35)と、
前記被検査物(T)を撮像して取得した撮像情報をいずれかの前記欠陥種別に分類するための分類条件を設定する分類条件設定部(32)と、
前記基礎撮像情報を、前記分類条件に従って分類する基礎欠陥種別分類部(33)と、
前記基礎撮像情報の少なくとも一部である対象基礎撮像情報を前記分類条件に従って分類することによって、所定の欠陥種別に分類された前記基礎撮像情報である分類基礎撮像情報の数と、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別と、前記対象基礎撮像情報のうち、前記所定の欠陥種別に関連付けれた前記基礎撮像情報の数である正解基礎撮像情報数と、を含む分類結果確認画面(6)を表示する表示部(37)と、
を備えた分類条件設定支援装置(3)。
被検査物(T)を撮像して取得した撮像情報であって、いずれかの欠陥種別に関連付けられた基礎撮像情報と、該基礎撮像情報のそれぞれに関連付けられた前記欠陥種別である基礎欠陥種別とを含む基礎情報を記憶する基礎情報記憶部(35)と、
前記被検査物(T)を撮像して取得した撮像情報をいずれかの前記欠陥種別に分類するための分類条件を設定する分類条件設定部(32)と、
前記基礎撮像情報を、前記分類条件に従って分類する基礎欠陥種別分類部(33)と、
前記基礎撮像情報の少なくとも一部である対象基礎撮像情報を前記分類条件に従って分類することによって、所定の欠陥種別に分類された前記基礎撮像情報である分類基礎撮像情報の数と、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別と、前記対象基礎撮像情報のうち、前記所定の欠陥種別に関連付けれた前記基礎撮像情報の数である正解基礎撮像情報数と、を含む分類結果確認画面(6)を表示する表示部(37)と、
を備えた分類条件設定支援装置(3)。
3 :検査管理装置部
6 :分類結果確認画面
32 :分類条件設定部
33 :正解データ分類部
35 :記憶装置
37 :表示部
T :被検査物
6 :分類結果確認画面
32 :分類条件設定部
33 :正解データ分類部
35 :記憶装置
37 :表示部
T :被検査物
Claims (7)
- 被検査物を撮像して取得した撮像情報であって、いずれかの欠陥種別に関連付けられた基礎撮像情報と、該基礎撮像情報のそれぞれに関連付けられた前記欠陥種別である基礎欠陥種別とを含む基礎情報を記憶する基礎情報記憶部と、
前記被検査物を撮像して取得した撮像情報をいずれかの前記欠陥種別に分類するための分類条件を設定する分類条件設定部と、
前記基礎撮像情報を、前記分類条件に従って分類する基礎欠陥種別分類部と、
前記基礎撮像情報の少なくとも一部である対象基礎撮像情報を前記分類条件に従って分類することによって、所定の欠陥種別に分類された前記対象基礎撮像情報である分類基礎撮像情報の数と、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別と、前記対象基礎撮像情報のうち、前記所定の欠陥種別に関連付けれた前記基礎撮像情報の数である正解基礎撮像情報数と、を含む分類結果確認画面を生成する分類結果確認画面生成部と、
前記分類結果確認画面を表示する表示部と、
を備えた分類条件設定支援装置。 - 前記分類結果確認画面は、前記分類基礎撮像情報の数に応じた態様、かつ、該分類基礎撮像情報に関連付けられた前記基礎欠陥種別に応じた態様で表示される分類基礎撮像情報指標を含むことを特徴とする請求項1に記載の分類条件設定支援装置。
- 前記分類結果確認画面は、前記分類基礎撮像情報指標が表示する前記分類基礎撮像情報の数が、前記正解基礎撮像情報数に一致することを示す印を含むことを特徴とする請求項2に記載の分類条件設定支援装置。
- 前記分類結果確認画面は、前記正解基礎撮像情報数を上回る数に応じた前記分類基礎撮像情報指標を表示するための表示領域を含むことを特徴とする請求項2又は3に記載の分類条件設定支援装置。
- 欠陥を有する被検査物を撮像して取得した前記撮像情報を前記表示部に表示させ、該撮像情報に関連付ける前記欠陥種別の入力を受け付ける基礎情報生成部を備える請求項1乃至4のいずれか1項に記載の分類条件設定支援装置。
- 前記分類条件設定部は、分類される前記欠陥種別に対する重みづけの指定を受け付ける重要度指定部、前記基礎欠陥種別分類部における分類の対象となる前記欠陥種別の指定を受け付ける対象欠陥指定部、前記撮像情報に基づいて取得され、前記基礎欠陥種別分類部における分類に用いられる特徴量の指定を受け付ける特徴量指定部の少なくともいずれかを有する請求項1乃至5のいずれか1項に記載の分類条件設定支援装置。
- 前記分類条件設定部は、前記重要度指定部、前記対象欠陥指定部、前記特徴量指定部の少なくともいずれかを通じて受け付けられた指定に基づいて、前記特徴量及び該特徴量の閾値を設定することを特徴とする請求項6に記載の分類条件設定支援装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022009006A JP2023107693A (ja) | 2022-01-24 | 2022-01-24 | 分類条件設定支援装置 |
CN202211654544.0A CN116482103A (zh) | 2022-01-24 | 2022-12-22 | 分类条件设定辅助装置 |
KR1020220184244A KR20230114182A (ko) | 2022-01-24 | 2022-12-26 | 분류 조건 설정 지원 장치 |
US18/146,575 US20230237640A1 (en) | 2022-01-24 | 2022-12-27 | Classification condition setting support apparatus |
EP23150002.6A EP4216158A1 (en) | 2022-01-24 | 2023-01-02 | Classification condition setting support apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022009006A JP2023107693A (ja) | 2022-01-24 | 2022-01-24 | 分類条件設定支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023107693A true JP2023107693A (ja) | 2023-08-03 |
Family
ID=84785126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022009006A Pending JP2023107693A (ja) | 2022-01-24 | 2022-01-24 | 分類条件設定支援装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230237640A1 (ja) |
EP (1) | EP4216158A1 (ja) |
JP (1) | JP2023107693A (ja) |
KR (1) | KR20230114182A (ja) |
CN (1) | CN116482103A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240212356A1 (en) * | 2022-08-03 | 2024-06-27 | Industrial Video Solutions Inc. | Systems and methods for monitoring and controlling industrial processes |
US20240255932A1 (en) * | 2022-08-03 | 2024-08-01 | Industrial Video Solutions Inc. | Systems and methods for monitoring and controlling industrial processes |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4750444B2 (ja) | 2005-03-24 | 2011-08-17 | 株式会社日立ハイテクノロジーズ | 外観検査方法及びその装置 |
JP4908995B2 (ja) * | 2006-09-27 | 2012-04-04 | 株式会社日立ハイテクノロジーズ | 欠陥分類方法及びその装置並びに欠陥検査装置 |
JP5022174B2 (ja) | 2007-10-22 | 2012-09-12 | 株式会社日立製作所 | 欠陥分類方法及びその装置 |
JP2013205320A (ja) | 2012-03-29 | 2013-10-07 | Dainippon Screen Mfg Co Ltd | 検査条件決定方法、検査方法および検査装置 |
-
2022
- 2022-01-24 JP JP2022009006A patent/JP2023107693A/ja active Pending
- 2022-12-22 CN CN202211654544.0A patent/CN116482103A/zh active Pending
- 2022-12-26 KR KR1020220184244A patent/KR20230114182A/ko unknown
- 2022-12-27 US US18/146,575 patent/US20230237640A1/en active Pending
-
2023
- 2023-01-02 EP EP23150002.6A patent/EP4216158A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116482103A (zh) | 2023-07-25 |
KR20230114182A (ko) | 2023-08-01 |
EP4216158A1 (en) | 2023-07-26 |
US20230237640A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230237640A1 (en) | Classification condition setting support apparatus | |
TW555969B (en) | Method for non-destructive inspection, apparatus thereof and digital camera system | |
TWI399534B (zh) | And a defect inspection device for performing defect inspection using image analysis | |
US7462827B2 (en) | Non-destructive inspection method and apparatus therefor | |
US7215807B2 (en) | Nondestructive inspection method and apparatus | |
US7177458B1 (en) | Reduction of false alarms in PCB inspection | |
CN110390661A (zh) | 检查管理系统、检查管理装置及检查管理方法 | |
JP3581149B2 (ja) | 境界ピクセル・パラメータの規則正しいシーケンスを用いた物体を識別するための方法及び装置 | |
JPH11108759A (ja) | 欠陥検査方法及びその装置 | |
CN108414531A (zh) | 一种基于机器视觉的柔性薄膜缺陷检测装置及其检测方法 | |
KR102284095B1 (ko) | 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램 | |
KR102295669B1 (ko) | 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램 | |
JP2011232302A (ja) | 画像検査方法及び画像検査装置 | |
JP2009264882A (ja) | 外観検査装置 | |
JP7411155B2 (ja) | 色ムラ検査装置および色ムラ検査方法 | |
JP7318907B2 (ja) | 単板判定システムおよび単板の判定方法 | |
JP2001194316A (ja) | 非破壊検査方法およびその装置 | |
KR101987472B1 (ko) | 금속패널 결함 탐지 장치 및 방법 | |
JP2023051102A (ja) | 画像検査方法、及び画像検査装置 | |
JP2023050857A (ja) | 画像検査方法、及び画像検査装置 | |
JP2023050937A (ja) | 画像検査方法、及び画像検査装置 | |
JPH09329495A (ja) | 色彩評価方法およびその装置 | |
JP2023050842A (ja) | 画像検査方法、及び画像検査装置 | |
JP2023050697A (ja) | 画像検査方法、及び画像検査装置 | |
JP2020201188A (ja) | 色ムラ検査方法、色ムラ検査装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220224 |