JP2021177154A - 外観検査システム - Google Patents
外観検査システム Download PDFInfo
- Publication number
- JP2021177154A JP2021177154A JP2020082753A JP2020082753A JP2021177154A JP 2021177154 A JP2021177154 A JP 2021177154A JP 2020082753 A JP2020082753 A JP 2020082753A JP 2020082753 A JP2020082753 A JP 2020082753A JP 2021177154 A JP2021177154 A JP 2021177154A
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- image
- defective
- learning model
- inspection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 124
- 238000010801 machine learning Methods 0.000 claims abstract description 116
- 230000002950 deficient Effects 0.000 claims abstract description 99
- 230000007547 defect Effects 0.000 claims abstract description 35
- 238000011179 visual inspection Methods 0.000 claims description 53
- 230000006866 deterioration Effects 0.000 abstract 1
- 230000004048 modification Effects 0.000 description 28
- 238000012986 modification Methods 0.000 description 28
- 229910000679 solder Inorganic materials 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 235000013311 vegetables Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Description
以下に説明する実施形態に係る外観検査システムでは、ニューラルネットワーク等の学習モデルを判定そのものに用いない従前の自動外観検査装置(一次検査部)において不良と判定された対象物の画像に基づいて、学習モデルを用いた二次検査部が、真の不良品と過判定品とを分別する二次判定をリアルアイムに行う。
実施形態について図面を参照しながら説明する。図1に示すように、本実施形態に係る外観検査システム(100)は、対象物(1)を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部(10)と、一次検査部(10)で不良と判定された対象物の画像に基づき、第1の機械学習モデル(21)を用いて、真の不良品と過判定品とを分別する二次検査部(20)とを備える。
本実施形態によると、一次検査部(10)で不良と判定された対象物(1)の画像に基づき、二次検査部(20)が、第1の機械学習モデル(21)を用いて過判定品かどうかを再判定する。このため、過判定品の発生を抑制できるので、検査の最終段で過判定品かどうかを再検査する工数を削減できるので、過判定品の発生に起因する生産性の低下を抑制することができ、過判定の量が多い場合は特に効果的である。
変形例1について図面を参照しながら説明する。図5に示すように、本変形例に係る外観検査システム(100)が、図1に示す前記実施形態と異なっている点は、第2の機械学習モデル(31)を用いて、第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)を備えていることである。尚、図5においては、図1に示す前記実施形態と同じ構成要素には同じ符号を付す。
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。
変形例2について図面を参照しながら説明する。図9に示すように、本変形例に係る外観検査システム(100)が、図1に示す前記実施形態と異なっている点は、第1の機械学習モデル(21)は、検査項目(例えば、巨視部、微視部)に応じて機械学習が行われた複数の学習モデルから構成され、二次検査部(20)は、複数の学習モデルを階層的に組み合わせて用いることである。尚、図9においては、図1に示す前記実施形態と同じ構成要素には同じ符号を付す。
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。すなわち、検査項目に応じて最適に機械学習が行われた複数の学習モデルを階層的に組み合わせて用いることにより、真の不良品と過判定品との分別を精度良く効率的に行うことができる。また、ある項目で不良があった場合は、次の項目の不良判定を行うことをせず、「不良(NG)」を確定して検査を効率よく完了させることもできる。逆に、対象に応じて1つ又は複数の検査項目を任意に選択できるようにプログラミングしておいて、希望の結果情報を集めるようにすることも可能である。
変形例3について図面を参照しながら説明する。図10に示すように、本変形例に係る外観検査システム(100)が、図1に示す前記実施形態と異なっている点は、以下の通りである。すなわち、第1の機械学習モデル(21)は、類似形状を持つ対象物をグルーピングしたカテゴリー毎に予め複数用意され、一次検査部(10)は、対象物(1)を撮像した画像から、当該対象物(1)のカテゴリーを判定し、二次検査部(20)は、一次検査部(10)で判定された対象物(1)のカテゴリーに対応する第1の機械学習モデル(21)を用いる。尚、図10においては、図1に示す前記実施形態と同じ構成要素には同じ符号を付す。
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。すなわち、検査される対象物(1)が様々な形状を有する場合に、類似形状を持つ対象物をグルーピングしたカテゴリー毎に第1の機械学習モデル(21)の学習を最適化することができる。従って、真の不良品と過判定品との分別を高精度で行うことができる。
前記実施形態(変形例を含む。以下同じ。)では、多数の電子部品がはんだ付け等で実装されたプリント基板を対象物(1)とした場合を例示したが、対象物(1)が特に限定されないことは言うまでもない。例えば、生鮮野菜を対象物(1)とする出荷検査に、前記実施形態の外観検査システム(100)を用いてもよい。生鮮野菜の出荷検査では、鮮度を表す葉の色合い等の野菜全体に現れる特徴と、生育期間を示す切り株の径等の特定部位に現れる特徴の両方を検査したい場合があるが、前記実施形態の外観検査システム(100)を用いることにより、野菜全体に現れる特徴と特定部位に現れる特徴とをそれぞれ巨視部と微視部とに分けて、精度良く効率的に検査することができる。
20 二次検査部
21 第1の機械学習モデル
30 学習データ生成部
31 第2の機械学習モデル
100 外観検査システム
Claims (8)
- 対象物を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部(10)と、
前記一次検査部(10)で不良と判定された対象物の画像に基づき、第1の機械学習モデル(21)を用いて、真の不良品と過判定品とを分別する二次検査部(20)とを備える
ことを特徴とする外観検査システム。 - 請求項1において、
前記第1の機械学習モデル(21)に対して、教師データとして良品画像を用いた機械学習が予め行われ、
前記二次検査部(20)は、前記不良と判定された対象物の画像から前記第1の機械学習モデル(21)により生成された良品画像と、前記不良と判定された対象物の画像との差分に基づいて、真の不良品と過判定品とを分別する
ことを特徴とする外観検査システム。 - 請求項2において、
前記二次検査部(20)は、前記不良と判定された対象物の画像の全体及び/又は特定部分のそれぞれについて、前記第1の機械学習モデル(21)により生成された良品画像との差分を評価する
ことを特徴とする外観検査システム。 - 請求項2又は3において、
少なくとも輪郭を含む線画情報に基づき、第2の機械学習モデル(31)を用いて、前記第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)をさらに備える
ことを特徴とする外観検査システム。 - 請求項2又は3において、
少なくとも1つの実画像に基づき、第2の機械学習モデル(31)を用いて、前記第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)をさらに備える
ことを特徴とする外観検査システム。 - 請求項4において、
前記第2の機械学習モデル(31)に対して、前記線画情報の部位別に与えられたヒント情報からテクスチャーを生成するように予め機械学習が行われ、
前記学習データ生成部(30)は、前記第2の機械学習モデル(31)により生成されたテクスチャーにノイズを付加して学習用の良品画像を多数生成する
ことを特徴とする外観検査システム。 - 請求項1〜6のいずれか1項において、
前記第1の機械学習モデル(21)は、検査項目に応じて機械学習が行われた複数の学習モデルから構成され、
前記二次検査部(20)は、前記複数の学習モデルを階層的に組み合わせて用いる
ことを特徴とする外観検査システム。 - 請求項1〜7のいずれか1項において、
前記第1の機械学習モデル(21)は、対象物のカテゴリー毎に予め複数用意され、
前記一次検査部(10)は、対象物を撮像した画像から、当該対象物のカテゴリーを判定し、
前記二次検査部(20)は、前記一次検査部(10)で判定された対象物のカテゴリーに対応する前記第1の機械学習モデル(21)を用いる
ことを特徴とする外観検査システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020082753A JP7410402B2 (ja) | 2020-05-08 | 2020-05-08 | 外観検査システム |
PCT/JP2021/002419 WO2021225016A1 (ja) | 2020-05-08 | 2021-01-25 | 外観検査システム |
BR112022021095A BR112022021095A2 (pt) | 2020-05-08 | 2021-01-25 | Sistema de inspeção de aparência |
CN202180029817.XA CN115427791A (zh) | 2020-05-08 | 2021-01-25 | 外观检查系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020082753A JP7410402B2 (ja) | 2020-05-08 | 2020-05-08 | 外観検査システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021177154A true JP2021177154A (ja) | 2021-11-11 |
JP7410402B2 JP7410402B2 (ja) | 2024-01-10 |
Family
ID=78409411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020082753A Active JP7410402B2 (ja) | 2020-05-08 | 2020-05-08 | 外観検査システム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7410402B2 (ja) |
CN (1) | CN115427791A (ja) |
BR (1) | BR112022021095A2 (ja) |
WO (1) | WO2021225016A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7270314B1 (ja) | 2022-11-07 | 2023-05-10 | タクトピクセル株式会社 | 検査方法、検査システム、ニューラルネットワーク |
WO2023233489A1 (ja) * | 2022-05-30 | 2023-12-07 | 日本電信電話株式会社 | 情報処理装置、検出方法及び検出プログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08136466A (ja) * | 1994-11-10 | 1996-05-31 | Dainippon Screen Mfg Co Ltd | 画像パターン検査装置 |
JP2004294360A (ja) * | 2003-03-28 | 2004-10-21 | Hitachi High-Technologies Corp | 欠陥分類方法及び装置 |
JP2018205123A (ja) * | 2017-06-05 | 2018-12-27 | 学校法人梅村学園 | 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法 |
US20190318471A1 (en) * | 2018-04-13 | 2019-10-17 | Taiwan Semiconductor Manufacturing Co., Ltd. | Hot spot defect detecting method and hot spot defect detecting system |
WO2020031984A1 (ja) * | 2018-08-08 | 2020-02-13 | Blue Tag株式会社 | 部品の検査方法及び検査システム |
JP6653929B1 (ja) * | 2019-07-18 | 2020-02-26 | Jeインターナショナル株式会社 | 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体 |
JP2020030145A (ja) * | 2018-08-23 | 2020-02-27 | 東京エレクトロンデバイス株式会社 | 検査装置及び検査システム |
WO2020071234A1 (ja) * | 2018-10-05 | 2020-04-09 | 日本電産株式会社 | 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム |
CN110992329A (zh) * | 2019-11-28 | 2020-04-10 | 上海微创医疗器械(集团)有限公司 | 一种产品表面缺陷检测方法、电子设备及可读存储介质 |
JP2020187657A (ja) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | 画像検査装置 |
-
2020
- 2020-05-08 JP JP2020082753A patent/JP7410402B2/ja active Active
-
2021
- 2021-01-25 WO PCT/JP2021/002419 patent/WO2021225016A1/ja active Application Filing
- 2021-01-25 BR BR112022021095A patent/BR112022021095A2/pt unknown
- 2021-01-25 CN CN202180029817.XA patent/CN115427791A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08136466A (ja) * | 1994-11-10 | 1996-05-31 | Dainippon Screen Mfg Co Ltd | 画像パターン検査装置 |
JP2004294360A (ja) * | 2003-03-28 | 2004-10-21 | Hitachi High-Technologies Corp | 欠陥分類方法及び装置 |
JP2018205123A (ja) * | 2017-06-05 | 2018-12-27 | 学校法人梅村学園 | 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法 |
US20190318471A1 (en) * | 2018-04-13 | 2019-10-17 | Taiwan Semiconductor Manufacturing Co., Ltd. | Hot spot defect detecting method and hot spot defect detecting system |
WO2020031984A1 (ja) * | 2018-08-08 | 2020-02-13 | Blue Tag株式会社 | 部品の検査方法及び検査システム |
JP2020030145A (ja) * | 2018-08-23 | 2020-02-27 | 東京エレクトロンデバイス株式会社 | 検査装置及び検査システム |
WO2020071234A1 (ja) * | 2018-10-05 | 2020-04-09 | 日本電産株式会社 | 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム |
JP2020187657A (ja) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | 画像検査装置 |
JP6653929B1 (ja) * | 2019-07-18 | 2020-02-26 | Jeインターナショナル株式会社 | 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体 |
CN110992329A (zh) * | 2019-11-28 | 2020-04-10 | 上海微创医疗器械(集团)有限公司 | 一种产品表面缺陷检测方法、电子设备及可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023233489A1 (ja) * | 2022-05-30 | 2023-12-07 | 日本電信電話株式会社 | 情報処理装置、検出方法及び検出プログラム |
JP7270314B1 (ja) | 2022-11-07 | 2023-05-10 | タクトピクセル株式会社 | 検査方法、検査システム、ニューラルネットワーク |
JP2024067674A (ja) * | 2022-11-07 | 2024-05-17 | タクトピクセル株式会社 | 検査方法、検査システム、ニューラルネットワーク |
Also Published As
Publication number | Publication date |
---|---|
BR112022021095A2 (pt) | 2022-12-06 |
WO2021225016A1 (ja) | 2021-11-11 |
JP7410402B2 (ja) | 2024-01-10 |
CN115427791A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
US11017259B2 (en) | Defect inspection method, defect inspection device and defect inspection system | |
US11449980B2 (en) | System and method for combined automatic and manual inspection | |
TW201928869A (zh) | 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統 | |
WO2021225016A1 (ja) | 外観検査システム | |
KR20190075707A (ko) | 딥러닝을 이용한 양품 선별 방법 | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
KR20210008352A (ko) | 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법 | |
CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
JP2006220648A (ja) | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 | |
US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
TW202113345A (zh) | 影像辨識裝置、影像辨識方法及其電腦程式產品 | |
CN115298539A (zh) | 外观检查系统和计算机程序 | |
JP2020112456A (ja) | 検査装置及び検査方法 | |
CN112308816B (zh) | 影像辨识装置、影像辨识方法及其存储介质 | |
JP4814116B2 (ja) | 実装基板外観検査方法 | |
US20220067914A1 (en) | Method and apparatus for the determination of defects during a surface modification method | |
Kefer et al. | An intelligent robot for flexible quality inspection | |
Thielen et al. | Clustering of Image Data to Enhance Machine Learning Based Quality Control in THT Manufacturing | |
JP2006078285A (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
TWI758134B (zh) | 依據元件識別資料使用圖形特徵二次檢測之系統及方法 | |
JP7345764B2 (ja) | 検査システムおよび検査プログラム | |
Tuncalp et al. | Automated Image Processing System Design for Engineering Education: The Case of Automatic Inspection for Printed Circuit Boards | |
JP4419778B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2023172508A (ja) | 学習装置、学習システム、学習方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7410402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |