JP2020101900A - 画像検査装置、画像検査のための学習方法および画像検査プログラム - Google Patents
画像検査装置、画像検査のための学習方法および画像検査プログラム Download PDFInfo
- Publication number
- JP2020101900A JP2020101900A JP2018238353A JP2018238353A JP2020101900A JP 2020101900 A JP2020101900 A JP 2020101900A JP 2018238353 A JP2018238353 A JP 2018238353A JP 2018238353 A JP2018238353 A JP 2018238353A JP 2020101900 A JP2020101900 A JP 2020101900A
- Authority
- JP
- Japan
- Prior art keywords
- image
- defective
- learning
- region
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Abstract
Description
図1は、実施例1にかかる画像検査装置10を説明する図である。図1に示す画像検査装置10は、入力画像から欠陥部分を抽出する画像処理プログラムが有する複数の画像処理の最適化を、遺伝的プログラミング(Genetic Programming:GP)を用いて実行するコンピュータ装置の一例である。なお、実施例では、欠陥部分の領域を欠陥領域、欠陥領域外の良品部分の領域を良品領域と記載する場合がある。
図4は、実施例1にかかる画像検査装置10の機能構成を示す機能ブロック図である。図4に示すように、画像検査装置10は、通信部11、記憶部12、制御部20を有する。
図7は、全体的な処理の流れを示すフローチャートである。図7に示すように、教示部21は、複数の撮像画像それぞれに対して、欠陥部分を閉領域で教示する(S101)。続いて、教示部21は、教示した領域外を良品領域として抽出し、各撮像画像(入力画像)とともに学習データとして登録する(S102)。
図8は、適応度算出処理の流れを示すフローチャートである。この処理は、図7のS107で実行される処理である。
上述したように、画像検査装置10は、簡単な教示画像を生成して、画像処理プログラムの最適化を実行することができる。したがって、画像処理プログラムを工業製品の外観を検査する外観検査装置などに適用した場合であっても、画像の検査環境が変化した場合であっても、簡単な教示画像を生成するだけで、教師データを生成することができる。また、一般的な手法と比較して、簡単に画像処理プログラムの再構築を行うことができ、画像処理プログラムの学習負荷を低減することができる。
上記実施例では、特徴量として、領域内の輝度値の平均と領域内の輝度値の標準偏差とを用いた例を説明したが、これに限定されるものではなく、例えば領域内の輝度の最大値や最小値、各領域のカラー情報に対するヒストグラム、空間的な周波数情報、輝度の勾配情報などを用いることもできる。また、使用する特徴量も任意に組み合わせることができ、3つ以上の特徴量を使用することもできる。
上述した識別器の学習は、任意のタイミングで実行することができる。例えば、遺伝的プログラミングによる画像処理プログラムの探索の前に学習することもでき、遺伝的プログラミングによる画像処理プログラムの探索と並行して学習することもでき、遺伝的プログラミングによる画像処理プログラムの探索から識別器の学習を一連の学習処理として実行することもできる。また、識別器は一度学習した後は、各検査段階では学習を省略して学習済みの同じ識別器を使うことで、全体的な学習時間を短縮することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図9は、ハードウェア構成例を説明する図である。図9に示すように、画像検査装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図9に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 撮像画像データDB
14 学習データDB
15 学習結果DB
20 制御部
21 教示部
22 学習部
23 生成部
24 前処理部
25 抽出部
26 識別器学習部
27 評価部
Claims (8)
- 欠陥領域を含む学習用画像のうち、前記欠陥領域以外の良品領域を抽出した良品領域データを生成する生成部と、
欠陥領域の検出対象である入力画像から欠陥領域を検出する画像検査用の画像処理プログラムに前記学習用画像を入力して出力画像を取得する取得部と、
前記出力画像の所定領域ごとに特徴量を抽出する抽出部と、
前記良品領域データにしたがって、前記所定領域ごとの特徴量を前記良品領域に該当する良品特徴量と前記欠陥領域に該当する欠陥特徴量とに分類する分類部と、
前記良品特徴量を用いて、前記画像処理プログラムから出力される出力画像の領域を識別する識別器を学習する学習部と
を有することを特徴とする画像検査装置。 - 前記学習部は、前記良品特徴量と前記欠陥特徴量とをクラスタリングし、前記良品特徴量のクラスタと前記欠陥特徴量のクラスタとが分離するように、前記良品特徴量を用いた教師無学習によって前記識別器を学習することを特徴とする請求項1に記載の画像検査装置。
- 前記生成部は、前記学習用画像の各領域のうち、欠陥部分が含まれる領域および前記欠陥部分が含まれると想定される領域の指定を受け付け、指定された各領域を前記学習用画像から除去して前記良品領域データを生成することを特徴とする請求項1または2に記載の画像検査装置。
- 遺伝的プログラミングにより選択された前記画像処理プログラムに、前記学習用画像を入力して出力画像を取得し、前記出力画像を学習済みの前記識別器に入力して得られる前記良品特徴量と前記欠陥特徴量とをクラスタリングし、前記良品特徴量のクラスタと前記欠陥特徴量のクラスタとのクラスタ間距離に基づいて、前記画像処理プログラムの適応度を評価する評価部をさらに有する請求項1から3のいずれか一つに記載の画像検査装置。
- 前記評価部は、前記適応度が閾値以上の画像処理プログラムが検出されるまで、前記遺伝的プログラミングによる遺伝的な進化によって、前記画像処理プログラムが有する画像処理内容を示す木構造を更新し、更新後の画像処理プログラムに対して前記適応度の評価を繰り返して実行することを特徴とする請求項4に記載の画像検査装置。
- 前記抽出部は、前記出力画像の所定領域ごとに、領域内の輝度値の平均と前記領域内の輝度値の標準偏差とを抽出することを特徴とする請求項1から5のいずれか一つに記載の画像検査装置。
- コンピュータが、
欠陥領域を含む学習用画像のうち、前記欠陥領域以外の良品領域を抽出した良品領域データを生成し、
欠陥領域の検出対象である入力画像から欠陥領域を検出する画像検査用の画像処理プログラムに前記学習用画像を入力して出力画像を取得し、
前記出力画像の所定領域ごとに特徴量を抽出し、
前記良品領域データにしたがって、前記所定領域ごとの特徴量を前記良品領域に該当する良品特徴量と前記欠陥領域に該当する欠陥特徴量とに分類し、
前記良品特徴量を用いて、前記画像処理プログラムから出力される出力画像の領域を識別する識別器を学習する
処理を実行することを特徴とする画像検査のための学習方法。 - コンピュータに、
欠陥領域を含む学習用画像のうち、前記欠陥領域以外の良品領域を抽出した良品領域データを生成し、
欠陥領域の検出対象である入力画像から欠陥領域を検出する画像検査用の画像処理プログラムに前記学習用画像を入力して出力画像を取得し、
前記出力画像の所定領域ごとに特徴量を抽出し、
前記良品領域データにしたがって、前記所定領域ごとの特徴量を前記良品領域に該当する良品特徴量と前記欠陥領域に該当する欠陥特徴量とに分類し、
前記良品特徴量を用いて、前記画像処理プログラムから出力される出力画像の領域を識別する識別器を学習する
処理を実行させることを特徴とする画像検査プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018238353A JP7206892B2 (ja) | 2018-12-20 | 2018-12-20 | 画像検査装置、画像検査のための学習方法および画像検査プログラム |
US16/676,503 US11222267B2 (en) | 2018-12-20 | 2019-11-07 | Image inspection apparatus, image inspection learning method, and non-transitory computer-readable storage medium for storing image inspection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018238353A JP7206892B2 (ja) | 2018-12-20 | 2018-12-20 | 画像検査装置、画像検査のための学習方法および画像検査プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020101900A true JP2020101900A (ja) | 2020-07-02 |
JP7206892B2 JP7206892B2 (ja) | 2023-01-18 |
Family
ID=71098538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018238353A Active JP7206892B2 (ja) | 2018-12-20 | 2018-12-20 | 画像検査装置、画像検査のための学習方法および画像検査プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11222267B2 (ja) |
JP (1) | JP7206892B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220084177A1 (en) * | 2020-09-11 | 2022-03-17 | Panasonic Intellectual Property Management Co., Ltd. | Information processing method and information processing device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041164A (ja) * | 2013-08-20 | 2015-03-02 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2017126046A1 (ja) * | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2017162069A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社Screenホールディングス | 最適化方法、最適化装置、プログラムおよび画像処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4910090B2 (ja) | 2007-02-19 | 2012-04-04 | 国立大学法人横浜国立大学 | 画像処理システム |
JP2008299687A (ja) | 2007-06-01 | 2008-12-11 | National Printing Bureau | 画像処理構築方法 |
US9456146B2 (en) * | 2011-12-22 | 2016-09-27 | Panasonic Intellectual Property Management Co., Ltd. | Exposure control device, imaging device, image display device, and exposure control method |
JP7015001B2 (ja) * | 2018-03-14 | 2022-02-02 | オムロン株式会社 | 欠陥検査装置、欠陥検査方法、及びそのプログラム |
-
2018
- 2018-12-20 JP JP2018238353A patent/JP7206892B2/ja active Active
-
2019
- 2019-11-07 US US16/676,503 patent/US11222267B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041164A (ja) * | 2013-08-20 | 2015-03-02 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2017126046A1 (ja) * | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2017162069A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社Screenホールディングス | 最適化方法、最適化装置、プログラムおよび画像処理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220084177A1 (en) * | 2020-09-11 | 2022-03-17 | Panasonic Intellectual Property Management Co., Ltd. | Information processing method and information processing device |
US11836914B2 (en) * | 2020-09-11 | 2023-12-05 | Panasonic Intellectual Property Management Co., Ltd. | Information processing method and information processing device for detecting a trace formed on a surface of a workpiece |
Also Published As
Publication number | Publication date |
---|---|
US20200202225A1 (en) | 2020-06-25 |
US11222267B2 (en) | 2022-01-11 |
JP7206892B2 (ja) | 2023-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573226B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
JP6905954B2 (ja) | 自動欠陥分類のための未知欠陥除去の最適化 | |
JP6285640B2 (ja) | 自動及び手動欠陥分類の統合 | |
US9430743B2 (en) | Composite defect classifier | |
JP7289427B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
EP3480735A1 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
JP6102947B2 (ja) | 画像処理装置及び特徴検出方法 | |
CN110852983A (zh) | 用于检测半导体装置中的缺陷的方法 | |
JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
CN114600154B (zh) | 用于sem图像的bbp辅助缺陷检测流程 | |
EP2431918A2 (en) | Graph lattice method for image clustering, classification, and repeated structure finding | |
CN101097564A (zh) | 参数学习方法及设备、模式识别方法及设备 | |
CN108334805B (zh) | 检测文档阅读顺序的方法和装置 | |
JP2014178229A (ja) | 教師データ作成方法、画像分類方法および画像分類装置 | |
JP6641195B2 (ja) | 最適化方法、最適化装置、プログラムおよび画像処理装置 | |
CN114092387B (zh) | 生成可用于检查半导体样本的训练数据 | |
KR20210038303A (ko) | 제품 분류 시스템 및 방법 | |
WO2015001967A1 (ja) | 画像処理フィルタの作成装置及びその方法 | |
US9582869B2 (en) | Dynamic binning for diversification and defect discovery | |
KR102483787B1 (ko) | 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템 | |
JP7206892B2 (ja) | 画像検査装置、画像検査のための学習方法および画像検査プログラム | |
Nayak et al. | Fruit recognition using image processing | |
Borkar et al. | Comparative study of supervised learning algorithms for fake news classification | |
JP2022089430A (ja) | 画像処理システム、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7206892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |