JP2023028564A - 機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法 - Google Patents
機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法 Download PDFInfo
- Publication number
- JP2023028564A JP2023028564A JP2021134354A JP2021134354A JP2023028564A JP 2023028564 A JP2023028564 A JP 2023028564A JP 2021134354 A JP2021134354 A JP 2021134354A JP 2021134354 A JP2021134354 A JP 2021134354A JP 2023028564 A JP2023028564 A JP 2023028564A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- machine learning
- unit
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 99
- 238000011179 visual inspection Methods 0.000 title claims abstract description 46
- 230000006870 function Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000007689 inspection Methods 0.000 claims abstract description 126
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000003860 storage Methods 0.000 claims abstract description 34
- 230000002950 deficient Effects 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 230000007547 defect Effects 0.000 claims description 155
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000005286 illumination Methods 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 7
- 239000004744 fabric Substances 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】 検査精度と検査開始期間を短縮できる機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法を提供する。【解決手段】 外観検査装置と機械学習装置とを備える機械学習機能を備えた外観検査システムであり、械学習装置は、外観検査装置の検査画像記憶部に記憶された検査画像から選別した実欠陥画像に前処理をした実欠陥画像及び外観検査装置の検査画像記憶部に記憶された検査画像から選別した良品画像に擬似欠陥画像を重ねて作成した人工欠陥画像を入力する欠陥画像入力部と、欠陥画像入力部に入力した実欠陥画像及び人工欠陥画像を拡張処理して教師画像データ群を作成する画像拡張処理部と、画像拡張処理部で作成した教師画像データ群に基づいて機械学習を実行して学習済みデータ群を出力する機械学習部を備える。実欠陥画像の前処理は、実欠陥画像をＲＧＢ分解処理後、ＲＧＢ成分を単独または合成した画像処理である。【選択図】図７
Description
本願発明は、検査ワークの外観不良の認識率を機械学習により向上させる機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法に関する。
検査ワークの表面のキズや凹凸や汚れや色ムラ等の外観上の不具合を検査する外観検査装置がある。切削痕がある金属加工品に存在するキズや模様のある布に存在する汚れ等の外観欠陥は、実際の欠陥（以下、「実欠陥」という。）を検査画像の画像処理だけでは、切削痕とキズ、布模様と汚れとの識別が難しく、実欠陥を検出するために多量の検査画像データを必要とし、また実欠陥の検出精度が低いという問題がある。このため、機械学習により欠陥検出力を向上させる外観検査が行われている。
特許文献１には、半導体ウエハ検査において、発生頻度の低い被検物の実欠陥から切り出した欠陥画像を画像処理して人工欠陥画像を作成して、人工欠陥画像を機械学習させる欠陥検査装置が開示されている。
特許文献１には、半導体ウエハ検査において、発生頻度の低い被検物の実欠陥から切り出した欠陥画像を画像処理して人工欠陥画像を作成して、人工欠陥画像を機械学習させる欠陥検査装置が開示されている。
特許文献２には、欠陥を有する被検査体に光線等を照射することにより得られた被検査体からの反射光又は透過光に基づいて作成された受光画像を含むトレーニング用画像を取得して、トレーニング用画像に対して周波数分布解析を実行し、周波数帯域を指定するためのパラメータの入力を受け付け、パラメータにより指定された前記周波数帯域に従って、周波数分布解析の解析結果から周波数帯域信号を選択し、周波数帯域信号に対応する画像に対して、欠陥を示す欠陥情報を取得し、欠陥情報に基づいて、前記被検査体の欠陥を検査するための欠陥検査装置の学習に使用される教師データを作成することが開示されている。
しかしながら、切削痕がある金属加工品に存在するキズや模様のある布に存在する汚れ等の欠陥は、キズ、汚れの種類も多く、実欠陥のみの機械学習では検出精度を高めることができないという問題がある。
しかしながら、切削痕がある金属加工品に存在するキズや模様のある布に存在する汚れ等の欠陥は、キズ、汚れの種類も多く、実欠陥のみの機械学習では検出精度を高めることができないという問題がある。
本願発明は、検査精度と検査開始期間を短縮できる機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法を提供することにある。
本願発明の課題は、以下の態様（１）乃至（４）により解決できる。具体的には、
（態様１） 外観検査装置と機械学習装置と、を備える機械学習機能を備えた外観検査システムであって、前記外観検査装置は、撮像部と制御部とで構成され、前記撮像部は、検査ワークに照明光を照射する照明手段と、検査ワークからの反射光を映像信号に変換する撮像手段と、を備え、前記制御部は、撮像手段による検査ワークの検査画像を取得する画像取得部と、前記検査画像を画像処理する画像処理部と、前記画像処理部が実行する処理プログラム及び前記機械学習装置により作成された学習済みデータ群を記憶する検査画像記憶部と、前記検査画像記憶部に記憶された学習済みデータ群に基づき検査画像から検査ワークに生じた欠陥を判定する画像判定部と、を備え、前記機械学習装置は、前記外観検査装置の検査画像記憶部に記憶された検査画像から選別した実欠陥画像に前処理をした実欠陥画像、及び前記外観検査装置の検査画像記憶部に記憶された検査画像から選別した良品画像に擬似欠陥画像を重ねて作成した人工欠陥画像を入力する欠陥画像入力部と、前記欠陥画像入力部に入力した実欠陥画像及び人工欠陥画像を拡張処理して教師画像データ群を作成する画像拡張処理部と、前記画像拡張処理部で作成した教師画像データ群に基づいて機械学習を実行して学習済みデータ群を出力する機械学習部と、を備えることを特徴とする機械学習機能を備えた外観検査システムである。
（態様２） 前記欠陥画像入力部における実欠陥画像の前処理が、実欠陥画像をＲＧＢ分解処理後、ＲＧＢ成分を単独または合成した画像処理であることを特徴とする（態様１）に記載した機械学習機能を備えた外観検査システムである。
（態様３） 外観検査装置の画像判定部で判断され、検査画像記憶部に記憶された検査画像から実欠陥画像及び良品画像を選別する検査画像選別ステップと、前記検査画像選別ステップにより選別した実欠陥画像に前処理を行う実欠陥画像前処理ステップと、前記検査画像選別ステップにより選別した良品画像に人工的に作成した擬似欠陥画像を重ねた人工欠陥画像を作成する人工欠陥画像作成ステップと、前記実欠陥画像前処理ステップにより作成した実欠陥画像群及び前記人工欠陥画像作成ステップにより作成した人工欠陥画像群に画像拡張処理を行って教師画像データ群を作成する欠陥画像拡張ステップと、前記欠陥画像拡張ステップにより作成した教師画像データ群を機械学習させて学習済みデータ群を出力する機械学習ステップと、前記機械学習ステップにより出力した学習済みデータ群に基づいて外観検査を行う外観検査ステップと、を含む機械学習に基づく外観検査方法である。
（態様４） 前記実欠陥画像前処理ステップにおける実欠陥画像の前処理は、実欠陥画像をＲＧＢ分解処理後、ＲＧＢ成分を単独または合成した画像処理であることを特徴とする（態様３）に記載した機械学習に基づく外観検査方法である。
本願発明によれば、あらかじめ想定される欠陥画像を人工的に作成して機械学習に供する教師画像データを提供することができる。また、機械学習に用いる教師画像データに対して適切な前処理及びデータ拡張を行うことで、機械学習により精度の高い外観検査を提供できる。
本願発明を実施するための形態を添付図面に基づいて説明する。ただし、添付図面は実施形態の一例であり、これに限定されるものではない。
１．機械学習機能を備えた外観検査システム
（１－１）外観検査システムの構成
図１は、本願発明の実施態様に用いる機械学習機能を備えた外観検査システム１００の全体構成図である。本願発明の機械学習機能を備えた外観検査システム１００は、検査ワーク１０の外観検査を行う外観検査装置２００と、欠陥教師画像の機械学習を行って欠陥の認識精度を向上させる機械学習装置３００で構成され、外観検査装置２００と機械学習装置３００とはインターフェース３６で接続されている。
（１－１）外観検査システムの構成
図１は、本願発明の実施態様に用いる機械学習機能を備えた外観検査システム１００の全体構成図である。本願発明の機械学習機能を備えた外観検査システム１００は、検査ワーク１０の外観検査を行う外観検査装置２００と、欠陥教師画像の機械学習を行って欠陥の認識精度を向上させる機械学習装置３００で構成され、外観検査装置２００と機械学習装置３００とはインターフェース３６で接続されている。
（１－２）検査ワーク
本願発明の機械学習機能を備えた外観検査システム１００の検査対象となる検査ワーク１０としては、外表面に切削痕がある金属加工品、模様のある布等の良品に欠陥以外のキズや模様が存在する物品が好適である。機械学習により良品に存在するキズや模様と欠陥を識別する機能を強化することが本願発明の機械学習機能を備えた外観検査システム１００の特徴だからである。
本願発明の機械学習機能を備えた外観検査システム１００の検査対象となる検査ワーク１０としては、外表面に切削痕がある金属加工品、模様のある布等の良品に欠陥以外のキズや模様が存在する物品が好適である。機械学習により良品に存在するキズや模様と欠陥を識別する機能を強化することが本願発明の機械学習機能を備えた外観検査システム１００の特徴だからである。
２．外観検査装置
本願発明の機械学習機能を備えた外観検査システム１００の外観検査装置２００は、撮像部２０と制御部３０で構成されている。
撮像部２０は、検査ワーク１０に照明光を照射する照明手段２１と、検査ワーク１０からの反射光を映像信号に変換する撮像手段２２と、を備える。
制御部３０は、撮像手段２２による検査ワーク１０の反射映像に基づく画像（以下、「検査画像」という。）を取得する画像取得部３１と、画像取得部３１が取得した検査画像を画像処理する画像処理部３２、画像処理を実行する処理プログラムやプログラム実行時に必要なデータ、機械学習装置３００で機械学習に基づいて取得された学習済みデータ５４を記憶する検査画像記憶部３３と、照明手段２１を制御する照明制御部３４と、検査画像記憶部３３に記憶された学習済みデータ５４に基づいて、検査画像から検査ワーク１０に生じた欠陥を判定する画像判定部３５と、を備える。
本願発明の機械学習機能を備えた外観検査システム１００の外観検査装置２００は、撮像部２０と制御部３０で構成されている。
撮像部２０は、検査ワーク１０に照明光を照射する照明手段２１と、検査ワーク１０からの反射光を映像信号に変換する撮像手段２２と、を備える。
制御部３０は、撮像手段２２による検査ワーク１０の反射映像に基づく画像（以下、「検査画像」という。）を取得する画像取得部３１と、画像取得部３１が取得した検査画像を画像処理する画像処理部３２、画像処理を実行する処理プログラムやプログラム実行時に必要なデータ、機械学習装置３００で機械学習に基づいて取得された学習済みデータ５４を記憶する検査画像記憶部３３と、照明手段２１を制御する照明制御部３４と、検査画像記憶部３３に記憶された学習済みデータ５４に基づいて、検査画像から検査ワーク１０に生じた欠陥を判定する画像判定部３５と、を備える。
（２－１）照明手段
本願発明の機械学習機能を備えた外観検査システム１００に用いる照明手段２１は、検査ワーク１０の検査面の全体に照明光を照射できるエリア照明を好適に用いることができる。光源としては、白色発光ダイオード（Light-Emitting Diode）が好適に用いられる。白色ＬＥＤとしては、蛍光体を用いた白色ＬＥＤ、具体的には、青色ＬＥＤと黄色に発光する蛍光体を組み合わせたもの、紫外または紫ＬＥＤと青・緑・赤に発光する３種類の蛍光体を組み合わせたものがある。また、蛍光体を用いない白色ＬＥＤ、具体的には青（Ｂ）・緑（Ｇ）・赤（Ｒ）ＬＥＤを一つのパッケージ内に並べ、これらを同時に発光させることによって白色光を得るものがある。
照明手段２１は、撮像手段２２の斜め上方から検査面に照射する。検査面が同一輝度条件となるように対称となる位置に複数配置することが好ましい。
本願発明の機械学習機能を備えた外観検査システム１００に用いる照明手段２１は、検査ワーク１０の検査面の全体に照明光を照射できるエリア照明を好適に用いることができる。光源としては、白色発光ダイオード（Light-Emitting Diode）が好適に用いられる。白色ＬＥＤとしては、蛍光体を用いた白色ＬＥＤ、具体的には、青色ＬＥＤと黄色に発光する蛍光体を組み合わせたもの、紫外または紫ＬＥＤと青・緑・赤に発光する３種類の蛍光体を組み合わせたものがある。また、蛍光体を用いない白色ＬＥＤ、具体的には青（Ｂ）・緑（Ｇ）・赤（Ｒ）ＬＥＤを一つのパッケージ内に並べ、これらを同時に発光させることによって白色光を得るものがある。
照明手段２１は、撮像手段２２の斜め上方から検査面に照射する。検査面が同一輝度条件となるように対称となる位置に複数配置することが好ましい。
（２－２）撮像手段
本願発明の機械学習機能を備えた外観検査システム１００に用いる撮像手段２２は、反射光を光電変換して映像信号とする集積回路（IC：integrated circuits）を用いた撮像素子、具体的には、多数のホトダイオードを平面状のシリコン基板に並べたものが使われ、転送には電荷結合素子（CCD：charge-coupled device）または相補型金属酸化膜半導体（CMOS （シーモス） ：complementary metal oxide semiconductor）等の集積回路が使われる。および、検査ワークの像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素ごとの輝度値を得る信号処理回路等で構成されているエリアカメラである。撮像をＲＧＢ成分に分解処理を行うため、カラーカメラが好適である。
本願発明の機械学習機能を備えた外観検査システム１００に用いる撮像手段２２は、反射光を光電変換して映像信号とする集積回路（IC：integrated circuits）を用いた撮像素子、具体的には、多数のホトダイオードを平面状のシリコン基板に並べたものが使われ、転送には電荷結合素子（CCD：charge-coupled device）または相補型金属酸化膜半導体（CMOS （シーモス） ：complementary metal oxide semiconductor）等の集積回路が使われる。および、検査ワークの像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素ごとの輝度値を得る信号処理回路等で構成されているエリアカメラである。撮像をＲＧＢ成分に分解処理を行うため、カラーカメラが好適である。
（２－３）制御部
本願発明の機械学習機能を備えた外観検査システム１００に用いる制御部３０は、画像取得部３１、画像処理部３２、検査画像記憶部３３、照明制御部３４、画像判定部３５を備える。
本願発明の機械学習機能を備えた外観検査システム１００に用いる制御部３０は、画像取得部３１、画像処理部３２、検査画像記憶部３３、照明制御部３４、画像判定部３５を備える。
（２－４）画像取得部
画像取得部３１は、撮像手段２２が取得した検査ワーク１０の検査画像を取得し検査画像記憶部３３に記憶する機能を有する。また、ＲＳ２３２ＣやＵＳＢ（Universal Serial Bus）等の汎用通信インターフェースを介して撮像手段２２の撮像のタイミング等の動作を制御する機能も有する。
画像取得部３１は、撮像手段２２が取得した検査ワーク１０の検査画像を取得し検査画像記憶部３３に記憶する機能を有する。また、ＲＳ２３２ＣやＵＳＢ（Universal Serial Bus）等の汎用通信インターフェースを介して撮像手段２２の撮像のタイミング等の動作を制御する機能も有する。
（２－５）画像処理部
画像処理部３２は、撮像手段２２からの映像信号（画像情報）に対して各種の画像処理する機能を有する。ＣＰＵ（Central Processing Unit）、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インターフェース等を備える情報処理装置により構成される。また、後述する本願発明の検査方法を実行させるプログラムを備え、ＣＰＵがプログラムを実行することにより検査方法に必要な演算等を実行する。
画像処理部３２は、撮像手段２２からの映像信号（画像情報）に対して各種の画像処理する機能を有する。ＣＰＵ（Central Processing Unit）、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インターフェース等を備える情報処理装置により構成される。また、後述する本願発明の検査方法を実行させるプログラムを備え、ＣＰＵがプログラムを実行することにより検査方法に必要な演算等を実行する。
（２－６）検査画像記憶部
検査画像記憶部３３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＲＯＭは、ＣＰＵによって実行される検査方法プログラム等各種プログラムやこれらプログラムの実行時に必要なデータ（例、撮像手段２２が取得した画像、機械学習装置３００で機械学習に基づいて取得された学習済みデータ群５４）を格納する。ＲＯＭに格納された各種プログラムやデータは、ＲＡＭにロードされて実行される。
検査画像記憶部３３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＲＯＭは、ＣＰＵによって実行される検査方法プログラム等各種プログラムやこれらプログラムの実行時に必要なデータ（例、撮像手段２２が取得した画像、機械学習装置３００で機械学習に基づいて取得された学習済みデータ群５４）を格納する。ＲＯＭに格納された各種プログラムやデータは、ＲＡＭにロードされて実行される。
（２－７）照明制御部
照明制御部３４は、ＲＳ２３２ＣやＵＳＢ等の汎用通信インターフェースを介して投影装置の光源の点灯・消灯や光量調整等の動作を制御する機能を有する。
照明制御部３４は、ＲＳ２３２ＣやＵＳＢ等の汎用通信インターフェースを介して投影装置の光源の点灯・消灯や光量調整等の動作を制御する機能を有する。
（２－８）画像判定部
画像判定部３５は、画像取得部３２が取得した検査画像について、機械学習部３００で学習に基づいて取得され、検査画像記憶部３３に記憶された学習済みデータ群５４に基づいて、検査ワーク１０の欠陥を判定する機能を有する。
画像判定部３５は、画像取得部３２が取得した検査画像について、機械学習部３００で学習に基づいて取得され、検査画像記憶部３３に記憶された学習済みデータ群５４に基づいて、検査ワーク１０の欠陥を判定する機能を有する。
３．機械学習装置
本願発明の機械学習機能を備えた外観検査システム３００の機械学習装置２００は、外観検査装置１００の検査画像記憶部３３に記憶された検査画像から選別した欠陥を含む画像（以下、「実欠陥画像」という。）に前処理を行い、あるいは検査画像記憶部３３に記憶された検査画像から選別した欠陥を含まない画像（以下、「良品画像」という）に擬似欠陥画像を重ねた人工欠陥画像を作成する欠陥画像入力部４１と、欠陥画像入力部４１で作成した前処理した実欠陥画像及び人工欠陥画像を拡張処理する画像拡張処理部４２と、画像拡張部４２で作成された機械学習に用いる教師画像を記憶する教師画像記憶部４４、機械学習を行う機械学習部４３、機械学習を実行するためのソフトウエアを格納する学習機能記憶部４５と、を備える。
本願発明の機械学習機能を備えた外観検査システム３００の機械学習装置２００は、外観検査装置１００の検査画像記憶部３３に記憶された検査画像から選別した欠陥を含む画像（以下、「実欠陥画像」という。）に前処理を行い、あるいは検査画像記憶部３３に記憶された検査画像から選別した欠陥を含まない画像（以下、「良品画像」という）に擬似欠陥画像を重ねた人工欠陥画像を作成する欠陥画像入力部４１と、欠陥画像入力部４１で作成した前処理した実欠陥画像及び人工欠陥画像を拡張処理する画像拡張処理部４２と、画像拡張部４２で作成された機械学習に用いる教師画像を記憶する教師画像記憶部４４、機械学習を行う機械学習部４３、機械学習を実行するためのソフトウエアを格納する学習機能記憶部４５と、を備える。
（３－１）実欠陥画像の選別
検査画像記憶部３３に記憶された検査画像から機械学習する必要のある実欠陥画像を選別する。検査効率の向上のためには、検出すべき欠陥を欠陥形態ごとに分類して学習する必要があるからであり、本願発明の機械学習機能を備えた外観検査システム３００が対象とする検査ワーク１０は、外表面に切削痕がある金属加工品や模様のある布等の良品に欠陥以外のキズや模様が存在する物品であり、切削痕や模様と欠陥との区別を明確にする必要があるからである。
検査画像記憶部３３に記憶された検査画像から機械学習する必要のある実欠陥画像を選別する。検査効率の向上のためには、検出すべき欠陥を欠陥形態ごとに分類して学習する必要があるからであり、本願発明の機械学習機能を備えた外観検査システム３００が対象とする検査ワーク１０は、外表面に切削痕がある金属加工品や模様のある布等の良品に欠陥以外のキズや模様が存在する物品であり、切削痕や模様と欠陥との区別を明確にする必要があるからである。
（３－２）欠陥画像入力部
欠陥画像入力部４１は、選別した実欠陥画像に画像処理を行って実欠陥を強調するための前処理を行う。前処理の方法としては、実欠陥画像をＲＧＢ分解処理して、Ｒ画像、Ｇ画像、Ｂ画像を作成し、さらにＲ画像、Ｇ画像、Ｂ画像を合成処理して、Ｒ/Ｇ画像、Ｒ*Ｇ画像、Ｒ/Ｂ画像を作成する方法、実欠陥を検査ワークと識別できる態様で塗りつぶす方法がある。
欠陥画像入力部４１は、選別した実欠陥画像に画像処理を行って実欠陥を強調するための前処理を行う。前処理の方法としては、実欠陥画像をＲＧＢ分解処理して、Ｒ画像、Ｇ画像、Ｂ画像を作成し、さらにＲ画像、Ｇ画像、Ｂ画像を合成処理して、Ｒ/Ｇ画像、Ｒ*Ｇ画像、Ｒ/Ｂ画像を作成する方法、実欠陥を検査ワークと識別できる態様で塗りつぶす方法がある。
図２は、検査ワーク（織物）の良品画像（ａ）と実欠陥（枠線内の汚れ）画像（ｂ）～（ｅ）を示す。本願発明の機械学習機能を備えた外観検査システム３００では、後述する機械学習により実欠陥の検査特性（特徴量）を算出して欠陥検出の精度を高める。
図３は、検査ワーク（織物）上に実欠陥（汚れ）のある実欠陥画像（ａ）をＧｒｅｙ処理（ｂ）、ＲＧＢ分解処理後、Ｒｅｄ画像（ｃ）、Ｇｒｅｅｎ画像（ｄ）、Ｂｌｕｅ画像（ｅ）、Ｒｅｄ／Ｂｌｕｅ画像としたものである。実欠陥画像をＲＧＢ分解・合成処理という前処理を行うことで、実欠陥（汚れ）の識別性が高い画像を機械学習の教師画像データとして採用することができる。
図３は、検査ワーク（織物）上に実欠陥（汚れ）のある実欠陥画像（ａ）をＧｒｅｙ処理（ｂ）、ＲＧＢ分解処理後、Ｒｅｄ画像（ｃ）、Ｇｒｅｅｎ画像（ｄ）、Ｂｌｕｅ画像（ｅ）、Ｒｅｄ／Ｂｌｕｅ画像としたものである。実欠陥画像をＲＧＢ分解・合成処理という前処理を行うことで、実欠陥（汚れ）の識別性が高い画像を機械学習の教師画像データとして採用することができる。
また、検査画像記憶部３３に記憶された検査画像から選別した良品画像に擬似欠陥画像を重ねた人工欠陥画像を入力する。ここで、擬似欠陥画像とは、発生する可能性の高い欠陥と想定される人為的に作成した欠陥をいい、人工欠陥画像とは、良品画像に擬似欠陥画像を重ねたものである。良品画像に重ねる擬似欠陥画像は、画像のＲＧＢ分解による影響を受けない黒色又は白色が好ましい。
図４は、良品画像に擬似欠陥画像を重ねた態様を示す画像である。想定される欠陥を擬似欠陥として、良品画像に重ねた人工欠陥画像を機械学習させることで、実欠陥のみの機械学習に比べて欠陥検出精度が向上するからである。
図４は、良品画像に擬似欠陥画像を重ねた態様を示す画像である。想定される欠陥を擬似欠陥として、良品画像に重ねた人工欠陥画像を機械学習させることで、実欠陥のみの機械学習に比べて欠陥検出精度が向上するからである。
（３－３）画像拡張処理部
画像拡張処理部４２は、欠陥画像入力部で前処理を行った実欠陥画像及び欠陥画像入力部で作成した人工欠陥画像について、機械学習に用いる教師画像データとして拡張するための水増し（Data Augmentation）を行う。ここで、水増しとは、例えば、回転、反転、輝度変換、歪み付与、拡大、及び縮小の少なくとも１つを行うことで、学習に用いる新たなデータを生成し、データ量を増やすことをいう。具体的には、アフィン変換処理、切り出し処理、信号量調整処理がある。
図５は、実欠陥の拡張処理（上段）、人工欠陥の拡張処理を例示して示した画像である。
画像拡張処理部４２で作成された教師画像データ群５１は、複数の拡張実欠陥画像からなる拡張実欠陥群及び複数の拡張人工欠陥画像からなる拡張人工欠陥群で構成される。
画像拡張処理部４２は、欠陥画像入力部で前処理を行った実欠陥画像及び欠陥画像入力部で作成した人工欠陥画像について、機械学習に用いる教師画像データとして拡張するための水増し（Data Augmentation）を行う。ここで、水増しとは、例えば、回転、反転、輝度変換、歪み付与、拡大、及び縮小の少なくとも１つを行うことで、学習に用いる新たなデータを生成し、データ量を増やすことをいう。具体的には、アフィン変換処理、切り出し処理、信号量調整処理がある。
図５は、実欠陥の拡張処理（上段）、人工欠陥の拡張処理を例示して示した画像である。
画像拡張処理部４２で作成された教師画像データ群５１は、複数の拡張実欠陥画像からなる拡張実欠陥群及び複数の拡張人工欠陥画像からなる拡張人工欠陥群で構成される。
（３－４）教師画像記憶部
教師画像記憶部４４は、画像拡張処理部４２で作成した機械学習に用いる教師画像データ群５１を記憶する。
教師画像記憶部４４は、画像拡張処理部４２で作成した機械学習に用いる教師画像データ群５１を記憶する。
（３－５）機械学習部
図６は、機械学習部（ニューラルネットワーク）の説明図である。機械学習部４３は、教師画像記憶部４４に記憶された教師画像データ群５１に基づいて、畳み込みニューラルネットワーク（Convolutional Neural Network）５２のパラメータによる機械学習を行って学習済みデータ群５４を出力する。ここで、ＣＮＮ５２は、多数の処理ユニット５３が任意に接続された構造を有する。処理ユニット５３としては、畳み込み演算、正規化処理、ＲｅＬＵ、Ｓｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。
図６は、機械学習部（ニューラルネットワーク）の説明図である。機械学習部４３は、教師画像記憶部４４に記憶された教師画像データ群５１に基づいて、畳み込みニューラルネットワーク（Convolutional Neural Network）５２のパラメータによる機械学習を行って学習済みデータ群５４を出力する。ここで、ＣＮＮ５２は、多数の処理ユニット５３が任意に接続された構造を有する。処理ユニット５３としては、畳み込み演算、正規化処理、ＲｅＬＵ、Ｓｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。
（３－６）学習機能記憶部
学習機能記憶部４５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＲＯＭは、ＣＰＵによって実行される機械学習プログラム等各種プログラムを格納する。ＲＯＭに格納された各種プログラムは、ＲＡＭにロードされて実行される。
学習機能記憶部４５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＲＯＭは、ＣＰＵによって実行される機械学習プログラム等各種プログラムを格納する。ＲＯＭに格納された各種プログラムは、ＲＡＭにロードされて実行される。
４．機械学習に基づく外観検査方法
図７は、本願発明の機械学習に基づく外観検査方法の手順を示すフロー図である。以下、図７に基づいて本願発明の機械学習に基づく外観検査方法を説明する。
図７は、本願発明の機械学習に基づく外観検査方法の手順を示すフロー図である。以下、図７に基づいて本願発明の機械学習に基づく外観検査方法を説明する。
（４－１）検査画像取得並びに実欠陥画像及び良品画像の選別
外観検査部１００の画像判定部３３で判断され、検査画像記憶部３３に記憶された検査画像を取得し（Ｓ０１）、実欠陥画像と良品画像を選別する（Ｓ０２，Ｓ０３，Ｓ０６）。
外観検査部１００の画像判定部３３で判断され、検査画像記憶部３３に記憶された検査画像を取得し（Ｓ０１）、実欠陥画像と良品画像を選別する（Ｓ０２，Ｓ０３，Ｓ０６）。
（４－２）実欠陥画像の前処理
本願発明では、拡張処理の前処理として、実欠陥画像をＲＧＢ分解処理して、Ｒ画像、Ｇ画像、Ｂ画像を作成し、さらにＲ画像、Ｇ画像、Ｂ画像を合成処理して、Ｒ/Ｇ画像、Ｒ*Ｇ画像、Ｒ/Ｂ画像を作成する（Ｓ０４）。前処理を行うことで、学習に用いる実欠陥画像のデータをさらに増やすことができるからである。
本願発明では、拡張処理の前処理として、実欠陥画像をＲＧＢ分解処理して、Ｒ画像、Ｇ画像、Ｂ画像を作成し、さらにＲ画像、Ｇ画像、Ｂ画像を合成処理して、Ｒ/Ｇ画像、Ｒ*Ｇ画像、Ｒ/Ｂ画像を作成する（Ｓ０４）。前処理を行うことで、学習に用いる実欠陥画像のデータをさらに増やすことができるからである。
（４－３）実欠陥画像の拡張処理
学習に用いる欠陥画像データを拡張するため、前処理した実欠陥画像の拡張変形処理を行う（Ｓ０５）。ここで、変形処理とは、回転、反転、輝度変換、歪み付与、拡大、幅小等の処理をいう。
学習に用いる欠陥画像データを拡張するため、前処理した実欠陥画像の拡張変形処理を行う（Ｓ０５）。ここで、変形処理とは、回転、反転、輝度変換、歪み付与、拡大、幅小等の処理をいう。
（４－４）人工欠陥画像の作成
学習に用いる欠陥画像データを拡張するため、検査画像から選別した良品画像に擬似欠陥画像を重ねた人工欠陥画像を作成する（Ｓ０７）。ここで、擬似欠陥画像とは、発生する可能性の高い欠陥と想定される人為的に作成した欠陥をいい、人工欠陥画像とは、良品画像に擬似欠陥画像を重ねたものである。良品画像に重ねる擬似欠陥画像は、画像のＲＧＢ分解による影響を受けない黒色又は白色が好ましい。
学習に用いる欠陥画像データを拡張するため、検査画像から選別した良品画像に擬似欠陥画像を重ねた人工欠陥画像を作成する（Ｓ０７）。ここで、擬似欠陥画像とは、発生する可能性の高い欠陥と想定される人為的に作成した欠陥をいい、人工欠陥画像とは、良品画像に擬似欠陥画像を重ねたものである。良品画像に重ねる擬似欠陥画像は、画像のＲＧＢ分解による影響を受けない黒色又は白色が好ましい。
（４－５）人工欠陥画像の拡張処理
学習に用いる人工欠陥画像データを拡張するため、作成した人工欠陥画像の拡張変形処理を行う（Ｓ０８）。ここで、変形処理とは、回転、反転、輝度変換、歪み付与、拡大、幅小等の処理をいう。
学習に用いる人工欠陥画像データを拡張するため、作成した人工欠陥画像の拡張変形処理を行う（Ｓ０８）。ここで、変形処理とは、回転、反転、輝度変換、歪み付与、拡大、幅小等の処理をいう。
（４－６）教師画像データの作成
拡張処理した実欠陥画像（以下、「拡張実欠陥画像」という。）及び人工欠陥画像（以下、「拡張人工欠陥画像」）を複数有する教師画像データ群を作成する（Ｓ０９）。教師画像データ群は、教師用画像記憶部に記憶する。
拡張処理した実欠陥画像（以下、「拡張実欠陥画像」という。）及び人工欠陥画像（以下、「拡張人工欠陥画像」）を複数有する教師画像データ群を作成する（Ｓ０９）。教師画像データ群は、教師用画像記憶部に記憶する。
（４－７）機械学習の実行
教師画像データ群に基づき機械学習を行い、学習ずみデータ群を出力する（Ｓ１０，Ｓ１１）
教師画像データ群に基づき機械学習を行い、学習ずみデータ群を出力する（Ｓ１０，Ｓ１１）
（４－８）外観検査
学習ずみデータ群に基づき検査画像について外観検査を行う（Ｓ１２）。
図８は、学習ずみデータ群に基づく検査ワーク（織物）の外観検査結果である。検査ワーク（織物）の欠陥（汚れ）を全て検出できた。
学習ずみデータ群に基づき検査画像について外観検査を行う（Ｓ１２）。
図８は、学習ずみデータ群に基づく検査ワーク（織物）の外観検査結果である。検査ワーク（織物）の欠陥（汚れ）を全て検出できた。
本願発明により、機械学習による精度の高い外観検査を提供できる。
１００ 機械学習機能を備えた外観検査システム
２００ 外観検査装置
３００ 機械学習装置
１０ 検査ワーク
２０ 撮像部
２１ 照明手段
２２ 撮像手段
２３ スリット光
２４ スリット照明
３０ 制御部
３１ 画像取得部
３２ 画像処理部
３３ 検査画像記憶部
３４ 照明制御部
３５ 画像判定部
３６ インターフェース
４１ 欠陥画像入力部
４２ 画像拡張処理部
４３ 機械学習部
４４ 教師画像記憶部
４５ 学習機能記憶部
５１ 教師画像データ群
５２ 畳み込みニューラルネットワーク
５３ 処理ユニット
５４ 学習済みデータ群
２００ 外観検査装置
３００ 機械学習装置
１０ 検査ワーク
２０ 撮像部
２１ 照明手段
２２ 撮像手段
２３ スリット光
２４ スリット照明
３０ 制御部
３１ 画像取得部
３２ 画像処理部
３３ 検査画像記憶部
３４ 照明制御部
３５ 画像判定部
３６ インターフェース
４１ 欠陥画像入力部
４２ 画像拡張処理部
４３ 機械学習部
４４ 教師画像記憶部
４５ 学習機能記憶部
５１ 教師画像データ群
５２ 畳み込みニューラルネットワーク
５３ 処理ユニット
５４ 学習済みデータ群
Claims (4)
- 外観検査装置と機械学習装置と、を備える機械学習機能を備えた外観検査システムであって、
前記外観検査装置は、撮像部と制御部とで構成され、前記撮像部は、検査ワークに照明光を照射する照明手段と、検査ワークからの反射光を映像信号に変換する撮像手段と、を備え、
前記制御部は、撮像手段による検査ワークの検査画像を取得する画像取得部と、前記検査画像を画像処理する画像処理部と、前記画像処理部が実行する処理プログラム及び前記機械学習装置により作成された学習済みデータ群を記憶する検査画像記憶部と、前記検査画像記憶部に記憶された学習済みデータ群に基づき検査画像から検査ワークに生じた欠陥を判定する画像判定部と、を備え、
前記機械学習装置は、前記外観検査装置の検査画像記憶部に記憶された検査画像から選別した実欠陥画像に前処理をした実欠陥画像、及び前記外観検査装置の検査画像記憶部に記憶された検査画像から選別した良品画像に擬似欠陥画像を重ねて作成した人工欠陥画像を入力する欠陥画像入力部と、前記欠陥画像入力部に入力した実欠陥画像及び人工欠陥画像を拡張処理して教師画像データ群を作成する画像拡張処理部と、前記画像拡張処理部で作成した教師画像データ群に基づいて機械学習を実行して学習済みデータ群を出力する機械学習部と、を備えることを特徴とする機械学習機能を備えた外観検査システム。 - 前記欠陥画像入力部における実欠陥画像の前処理が、実欠陥画像をＲＧＢ分解処理後、ＲＧＢ成分を単独または合成した画像処理であることを特徴とする請求項１に記載した機械学習機能を備えた外観検査システム。
- 外観検査装置の画像判定部で判断され、検査画像記憶部に記憶された検査画像から実欠陥画像及び良品画像を選別する検査画像選別ステップと、
前記検査画像選別ステップにより選別した実欠陥画像に前処理を行う実欠陥画像前処理ステップと、
前記検査画像選別ステップにより選別した良品画像に人工的に作成した擬似欠陥画像を重ねた人工欠陥画像を作成する人工欠陥画像作成ステップと、
前記実欠陥画像前処理ステップにより作成した実欠陥画像群及び前記人工欠陥画像作成ステップにより作成した人工欠陥画像群に画像拡張処理を行って教師画像データ群を作成する欠陥画像拡張ステップと、
前記欠陥画像拡張ステップにより作成した教師画像データ群を機械学習させて学習済みデータ群を出力する機械学習ステップと、
前記機械学習ステップにより出力した学習済みデータ群に基づいて外観検査を行う外観検査ステップと、
を含む機械学習に基づく外観検査方法。 - 前記実欠陥画像前処理ステップにおける実欠陥画像の前処理は、実欠陥画像をＲＧＢ分解処理後、ＲＧＢ成分を単独または合成した画像処理であることを特徴とする請求項３に記載した機械学習に基づく外観検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021134354A JP2023028564A (ja) | 2021-08-19 | 2021-08-19 | 機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021134354A JP2023028564A (ja) | 2021-08-19 | 2021-08-19 | 機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023028564A true JP2023028564A (ja) | 2023-03-03 |
Family
ID=85331703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021134354A Pending JP2023028564A (ja) | 2021-08-19 | 2021-08-19 | 機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023028564A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274248A (zh) * | 2023-11-20 | 2023-12-22 | 滨州三元家纺有限公司 | 一种布料印染瑕疵缺陷视觉检测方法 |
-
2021
- 2021-08-19 JP JP2021134354A patent/JP2023028564A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274248A (zh) * | 2023-11-20 | 2023-12-22 | 滨州三元家纺有限公司 | 一种布料印染瑕疵缺陷视觉检测方法 |
| CN117274248B (zh) * | 2023-11-20 | 2024-02-02 | 滨州三元家纺有限公司 | 一种布料印染瑕疵缺陷视觉检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7505149B2 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
| JP6969439B2 (ja) | 外観検査装置、及び外観検査装置の照明条件設定方法 | |
| US20200018707A1 (en) | Appearance inspection device, lighting device, and imaging lighting device | |
| JP6348289B2 (ja) | 検査装置および検査方法 | |
| KR20100015628A (ko) | 목재의 검사 방법, 장치 및 프로그램 | |
| JP5085860B2 (ja) | 木材の検査方法及び装置及びプログラム | |
| CN110658198A (zh) | 光学检测方法、光学检测装置及光学检测系统 | |
| JP2015148447A (ja) | 自動外観検査装置 | |
| US20060222232A1 (en) | Appearance inspection apparatus and appearance inspection method | |
| US8401272B2 (en) | Patterned wafer defect inspection system and method | |
| JP2006303491A (ja) | ウェハの検査方法 | |
| JP2023028564A (ja) | 機械学習機能を備えた外観検査システム及び機械学習に基づく外観検査方法 | |
| JP5460023B2 (ja) | ウェハのパターン検査方法及び装置 | |
| WO2019114453A1 (zh) | 一种针对类镜面物体的高光区域自适应匀光的方法 | |
| US20100061620A1 (en) | Probe mark inspection | |
| KR20230139166A (ko) | 목재 제품의 불량 검사 방법 | |
| CN114354491A (zh) | 一种基于机器视觉的dcb陶瓷基板缺陷检测方法 | |
| JP2004125434A (ja) | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 | |
| JPH08189901A (ja) | 画像信号を用いる検査装置 | |
| JP4858227B2 (ja) | 検査パラメータ設定支援装置、その制御プログラムおよび制御方法 | |
| JP2007059858A (ja) | チップ画像検査方法とそのシステム | |
| Patel et al. | Detection of faults using digital image processing technique | |
| JP2020193867A (ja) | 画像処理装置、制御方法、制御プログラムおよびコンピュータで読み取り可能な記録媒体 | |
| JP2022162244A (ja) | 外観検査方法及び外観検査装置 | |
| CN220568641U (zh) | 一种多色闪频取像检测系统 |