JP2022123733A - 検査装置、検査方法、およびプログラム - Google Patents
検査装置、検査方法、およびプログラム Download PDFInfo
- Publication number
- JP2022123733A JP2022123733A JP2021021238A JP2021021238A JP2022123733A JP 2022123733 A JP2022123733 A JP 2022123733A JP 2021021238 A JP2021021238 A JP 2021021238A JP 2021021238 A JP2021021238 A JP 2021021238A JP 2022123733 A JP2022123733 A JP 2022123733A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- label
- unit
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑える。【解決手段】実施形態の検査装置は、一例として、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、撮影画像のそれぞれに対して、対応する角度に応じたラベルを付与する付与部と、入力画像としての撮影画像および対応するラベルを入力して潜在変数を生成するエンコーダ、ならびに、ラベルおよび潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、入力画像と復元画像が同じになるように学習する学習処理部と、検査対象物の検査時に、検査画像としての撮影画像および対応するラベルをニューラルネットワークに入力することによって得られた復元画像である復元検査画像と、検査画像と、の差分に基づいて、検査対象物の欠陥の検査処理を行う検査処理部と、を備える。【選択図】図3
Description
本発明の実施形態は、検査装置、検査方法、およびプログラムに関する。
近年、工業製品等の検査対象物の欠陥(バリ、打痕、キズ、変形、汚れ等)を検査する場合に、画像処理を用いる手法がある。具体的には、例えば、検査対象物の撮影画像を良品画像と比較することで、欠陥を発見することができる。
しかしながら、上述の従来技術では、例えば、検査対象物の形状が複雑な場合、所定の検査精度を実現するためには、多くの異なる角度から撮影した高解像度の複数の撮影画像を使用する必要が生じるので、使用するデータ量の点で改善の余地がある。
そこで、実施形態の課題の一つは、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる検査装置、検査方法、およびプログラムを提供することである。
実施形態の検査装置は、一例として、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、を備える。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
また、実施形態の検査装置は、一例として、前記取得部によって取得された前記撮影画像を複数のブロック画像に分割する画像分割部を、さらに備え、前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する。
このような構成により、撮影画像を複数のブロック画像に分割して用いることで、ニューラルネットワークを用いた学習処理と検査処理をより高精度に行うことができる。
このような構成により、撮影画像を複数のブロック画像に分割して用いることで、ニューラルネットワークを用いた学習処理と検査処理をより高精度に行うことができる。
また、実施形態の検査装置は、一例として、前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のCAD情報に基づく三次元情報と、に応じたラベルを付与する。
このような構成により、ラベルにCAD情報に基づく三次元情報を含めることで、より高精度な検査を実現できる。
このような構成により、ラベルにCAD情報に基づく三次元情報を含めることで、より高精度な検査を実現できる。
また、実施形態の検査装置は、一例として、前記検査処理部は、前記検査処理を行う場合に、欠陥候補画素を特定し、前記検査装置は、前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理部と、前記投影処理部により投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定部と、をさらに備える。
このような構成により、欠陥候補画素を三次元座標系に投影してボクセルごとに欠陥判定を行うことで、より高精度な検査を実現できる。
このような構成により、欠陥候補画素を三次元座標系に投影してボクセルごとに欠陥判定を行うことで、より高精度な検査を実現できる。
実施形態の検査方法は、一例として、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得ステップと、前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与ステップと、入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理ステップと、前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理ステップと、を含む。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
実施形態のプログラムは、一例として、コンピュータを、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、して機能させるためのプログラムである。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも1つを得ることが可能である。
まず、図1、図2を参照して、実施形態の検査システムSの構成や検査対象物5(以下、「部品」ともいう。)などについて説明する。図1は、実施形態の検査システムSの概要を示す全体構成図である。図2は、実施形態の検査装置4の機能構成を示すブロック図である。
本実施形態における検査対象物5は、例えば、複雑な立体形状を有する大型金属部品である。検査対象物5は、例として、自動車の動力伝達機構であるトランスミッションを収容するトランスミッションケースである。このトランスミッションケースは、例えば、約400mm角の大型ダイキャスト部品であり、複雑な立体形状(凹凸)を有する。このようなトランスミッションケースに対して、欠陥(バリ、打痕、キズ、変形、汚れ等)を全面に渡って検査する必要がある。
以下、従来技術についてあらためて詳述する。製造現場において外観検査工程は必要不可欠である。一般的に、外観検査は、検査員による目視検査と、画像処理技術をコアとする自動検査と、に分類される。検査員は高い検査能力を有する場合があるが、検査能力に個人差があることや、熟練した検査員の確保が困難である等の課題があり、自動検査のニーズは高い。自動検査ではセンサ(産業用カメラ等)で検査対象物を撮影し、画像処理やAI(Artificial Intelligence)技術を用いて欠陥識別を行う。しかし、大型でかつ複雑な立体形状を有する検査対象物の場合、例えば、以下の課題1~4を解決する必要がある。
(課題1)
単一の撮影条件では、安定して欠陥を可視化する(撮影画像に欠陥信号が含まれるようにする)ことが困難である。特に、金属部品表面に発生する凹凸欠陥は、カメラと照明位置によって視認性が変化する。また、検査対象物が複雑な立体形状を有すると、カメラに対して凹凸によって遮蔽される領域は検査できない。つまり、様々な方向から撮影する必要がある。従来も、複数視点を使った検査手法は提案されているが、基本的に凸形状部品や比較的シンプルな形状の部品を対象にしている場合が多く、上述のトランスミッションケースのように凹凸が複雑に入り組む形状の検査対象物への対応は困難である。
単一の撮影条件では、安定して欠陥を可視化する(撮影画像に欠陥信号が含まれるようにする)ことが困難である。特に、金属部品表面に発生する凹凸欠陥は、カメラと照明位置によって視認性が変化する。また、検査対象物が複雑な立体形状を有すると、カメラに対して凹凸によって遮蔽される領域は検査できない。つまり、様々な方向から撮影する必要がある。従来も、複数視点を使った検査手法は提案されているが、基本的に凸形状部品や比較的シンプルな形状の部品を対象にしている場合が多く、上述のトランスミッションケースのように凹凸が複雑に入り組む形状の検査対象物への対応は困難である。
(課題2)
検査対象物が大型で、かつ、欠陥が微小である場合、全面検査のために検査対象物の全体を視野に収めるように撮影すると、相対的に欠陥像は微小になる。一方、画像中の欠陥サイズが識別に充分な大きさとなるように撮影すると、カメラ台数、あるいは撮影回数が増大し、検査時間が問題となる。高解像度かつ広視野で撮影すれば、検査対象物をある方向から撮影した場合は、画像中の欠陥サイズを保ちつつ、撮影回数を減らすことができるが、大サイズ画像となる。さらに上記の課題1と合わせて考えると、多枚数の画像が必要であり、一つの検査対象物を検査するための画像容量は大きくなる。つまり、大サイズ画像が多枚数必要となる。
検査対象物が大型で、かつ、欠陥が微小である場合、全面検査のために検査対象物の全体を視野に収めるように撮影すると、相対的に欠陥像は微小になる。一方、画像中の欠陥サイズが識別に充分な大きさとなるように撮影すると、カメラ台数、あるいは撮影回数が増大し、検査時間が問題となる。高解像度かつ広視野で撮影すれば、検査対象物をある方向から撮影した場合は、画像中の欠陥サイズを保ちつつ、撮影回数を減らすことができるが、大サイズ画像となる。さらに上記の課題1と合わせて考えると、多枚数の画像が必要であり、一つの検査対象物を検査するための画像容量は大きくなる。つまり、大サイズ画像が多枚数必要となる。
(課題3)
検査対象物が大型になるほど、検査時の位置決め精度を維持することが困難となる。つまり、良品との単純な比較検査が困難となる。
検査対象物が大型になるほど、検査時の位置決め精度を維持することが困難となる。つまり、良品との単純な比較検査が困難となる。
(課題4)
以上に加えて、検査対象物がダイキャスト製品であると、素形材である。素形材は素材であるため、外観表面の素地模様のバラつきが大きく、欠陥はそれに紛れて存在するため、一般的に画像処理難度が高い。外観検査の基本技法として、良品画像との比較検査がある。良品の見え方のバラつき(位置ズレや素地)をモデル化し、良品テンプレートを生成するための工夫については、多くの手法が提案されている。しかし、処理対象が大サイズ画像×多枚数となると、そのテンプレート、モデルデータも大容量となってしまう。つまり、そもそもの画像処理難度が高く、ただし領域を限れば従来手法の適用も可能であるが、データ容量や速度の面でそれを全面検査に適用することは困難である。
以上に加えて、検査対象物がダイキャスト製品であると、素形材である。素形材は素材であるため、外観表面の素地模様のバラつきが大きく、欠陥はそれに紛れて存在するため、一般的に画像処理難度が高い。外観検査の基本技法として、良品画像との比較検査がある。良品の見え方のバラつき(位置ズレや素地)をモデル化し、良品テンプレートを生成するための工夫については、多くの手法が提案されている。しかし、処理対象が大サイズ画像×多枚数となると、そのテンプレート、モデルデータも大容量となってしまう。つまり、そもそもの画像処理難度が高く、ただし領域を限れば従来手法の適用も可能であるが、データ容量や速度の面でそれを全面検査に適用することは困難である。
そこで、以下において、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる技術について説明する。
図1に示すように、検査システムSは、照明装置1と、回転機構2と、カメラ3と、検査装置4と、を備える。
回転機構2は、検査対象物5に関して多数視点からの画像を取得するための機構であり、XYZの三方向に回転可能である。照明装置1は、回転機構2に保持された検査対象物5の直上の位置に配置されている。検査対象物5は、回転機構2の特殊な回転テーブルに固定されている。撮影時、検査対象物5は回転機構2によってXYZの三方向に回転し、設定されたタイミングで、照明装置1による照明と連動してカメラ3によって撮影される。これらの一連の制御は例えば検査装置4が行う。
検査装置4は、コンピュータ装置であり、図2に示すように、処理部41と、記憶部42と、入力部43と、表示部44と、通信部45と、を備える。
記憶部42は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、SSD(Solid State Drive)、HDD(Hard Disk Drive)等によって実現される。記憶部42は、例えば、処理部41の動作プログラム、検査対象物5の撮影画像、各種演算用データ、各種演算結果データ等を記憶する。
処理部41は、例えば、CPU(Central Processing Unit)によって実現される。処理部41は、例えば、機能構成として、取得部411と、画像分割部412と、ラベル付与部413(付与部)と、学習処理部414と、検査処理部415と、投影処理部416と、判定部417と、制御部418と、を備える。
取得部411は、各種情報を取得する。取得部411は、例えば、検査対象物5を複数の角度から撮影して得られた複数の撮影画像をカメラ3から取得する。例えば、一つの検査対象物5を検査するのに、カメラ3によって、5472×3646画素サイズの画像が648枚撮影される。これで、全面検査を可能とする画像データが得られる。つまり、ある視点では検査対象物5において凹凸によって遮蔽される箇所や、撮影方向によって視認性が異なる欠陥についても、何れかの撮影画像においては充分に可視化されている。ただし、この大容量データ(大サイズ画像×多枚数)を処理する手法が必要となる。
ここで、本実施形態で用いるニューラルネットワークについて説明する。本実施形態では、ニューラルネットワークによるモデルとしてAE(Autoencoders)モデルを拡張したVAE(Variational Autoencoders)モデルを使用する。また、VAEモデルを拡張したCVAEConditional VAE)モデルを使用する。なお、AEモデルの拡張については、この限りではない。
図3は、実施形態で用いるCVAEモデルの概要を示す図である。CVAEモデルは、エンコーダと、デコーダと、を含む。エンコーダは、入力画像としての撮影画像および対応するラベルを入力して、畳み込み演算等を実行して、多変量ガウス分布のパラメータであるμ(平均)とσ(分散)を推定し、μ(平均)とσ(分散)に基づいて潜在変数(データの特徴を少ない次元で表した特徴量)を生成する。また、デコーダは、ラベルおよび潜在変数を入力して復元画像を生成する。
大サイズ画像をそのままCVAEモデルに適用することは困難であるため、撮影画像をブロック分割する。つまり、画像分割部412は、取得部411によって取得された撮影画像のそれぞれを複数のブロック画像に分割する。本実施形態では、素地の状態は似通ってはいるが、立体形状は異なる全てのブロック画像の復元を単一のCVAEモデルで実現した。VAEモデルは基本的には教師なし学習(良品のみを学習する)であるが、CVAEモデルは学習時に正解情報ラベルを付与する点が異なる。
つまり、ラベル付与部413は、ブロック画像のそれぞれに対して、対応する撮影角度(以下、「姿勢」、「部品姿勢」などともいう。)と、ブロック位置と、に応じたラベルを付与する。具体的には、以下の通りである。
ラベルとして、入力画像の撮影時の部品姿勢とブロック位置を付与する。つまり、検査対象物5の初期姿勢の撮影画像を格子状に分割した左上隅のブロックから、最終姿勢の右下隅のブロックについて、任意の入力ブロック画像が何番目のブロックであるかの情報をラベルとして付与する。本実施形態ではこの正解情報ラベルを角度情報ラベルともという。これによって、単一のCVAEモデルのみで良品画像を復元することができる。
CVAEモデルにおいて、上記の通り、角度情報ラベルを付与することとしたが、さらに任意のブロック画像と対応する三次元情報(デプス(凹凸)画像や法線ベクトル画像)を付与してもよい。この三次元情報には、例えば、検査対象物5の設計時のCAD(Computer-aided Design)情報を用いる。その場合、ラベル付与部413は、ブロック画像のそれぞれに対して、対応する角度と、ブロック位置と、検査対象物の設計時のCAD情報に基づく三次元情報と、に応じたラベルを付与する。
検査対象物5は素形材であり、かつ撮影時の検査対象物5の位置決めには多少のばらつきが存在するため、撮影画像と三次元CADのレンダリング画像は、設定上の部品姿勢を同一にしても完全には一致しないことがある。ただし、CVAEモデルの学習時に、データ拡張によってシフト画像(撮影画像を少しずらした画像)を準備したり、角度分解能を上げて撮影した撮影画像を用いたりすることにより、姿勢のバラつきに対応することができる。
ここで、図4は、実施形態における検査対象物5についての、(a)撮影画像と、(b)CAD情報に基づく法線ベクトル画像と、の例である。角度情報ラベルにこのような三次元情報を追加することにより、特に検査対象物5の凹凸の輪郭部をより適切に復元できる場合がある。なお、三次元情報を正解情報ラベルとして付与するのではなく、CVAEモデルの学習時の損失値計算に使用してもよい。
図2に戻って、学習処理部414は、入力画像としての撮影画像および対応するラベルを入力して潜在変数を生成するエンコーダ、ならびに、ラベルおよび潜在変数を入力して復元画像を生成するデコーダを含むCVAEモデルを、入力画像と復元画像が同じになるように学習する(図3参照)。このように学習されたCVAEモデルによれば、入力画像から、その中に欠陥像があった場合もなかった場合もそれが良品であった場合の画像(良品画像:復元画像)を復元することができる。
検査処理部415は、検査対象物5の検査時に、検査画像としての撮影画像および対応するラベルをCVAEモデルに入力することによって得られた復元画像(復元検査画像)と、検査画像(入力画像)と、の差分(例えば各画素の輝度の差分)に基づいて、検査対象物5の欠陥の検査処理を行う。つまり、復元画像と入力画像を比較することにより、入力画像に欠陥像が存在する場合はそれが検出される。具体的には、例えば、復元画像と入力画像を比較し、輝度の差分が閾値以上の画素を欠陥箇所であると判定する。
ただし、欠陥の見逃しを防止するように感度設定すると、特に検査対象物5の凹凸部のエッジにおいて過検出を完全に無くすことは困難である。そこで、多視点画像での検出結果を三次元的に統合することもできる。任意の撮影画像中の任意の画素に対応する検査対象物5の部分は、他の視点の複数の撮影画像にも含まれている。例えば、図1の検査システムSによって、検査対象物5における任意の一ヵ所が70~300視点の撮影画像に含まれている。写っている撮影画像数が異なるのは、当然、凸部より凹部のほうが見えにくいからである。
例えば、検査処理部415は、復元画像と入力画像を比較し、両者の差分に基づいて、欠陥候補画素を特定する。そして、投影処理部416は、640枚の二次元画像中の検出された欠陥候補画素を、検査システムSの設計仕様と検査対象物5のCADデータに応じて、検査対象物5の初期姿勢を基準とする三次元座標系に投影する。
具体的には、先ず、欠陥候補画素を検査システムSの仕様に従って仮想的に設置した検査対象物5の三次元CADデータにプロットする。これによって、その視点における欠陥候補画素の三次元座標を推定する。一方、基準とする三次元座標系を任意サイズのボクセル(立方体)で分割し、欠陥候補画素の三次元座標を基準座標に変換して、どのボクセル内に投影されるかを算出する。最後にボクセルごとに投影された画素の個数をカウントする。カウントの際には、そのボクセルの可視点数や投影する検出画素の異常度(例えば、入力画像と復元画像の輝度差が大きいほど異常度が大きい)も考慮する。つまり、判定部417は、三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う。
各二次元画像における部品凹凸による過検出の異常度は、欠陥の異常度より相対的に低いと考えられる。加えて、二次元画像中の部品凹凸によるエッジは、検査対象物5と背景の境界であり、つまり、その視点の撮影画像においてのみ写っている情報である。また、その他のノイズ信号は、一般的には積算処理によって減衰する。したがって、上述のように三次元統合することによって、欠陥と過検出のSN(Signal-Noise ratio)が向上すると考えられる。
また、図5は、実施形態における撮影画像等の例である。(a)は撮影画像、(b)はCVAEモデルによる復元画像、(c)は欠陥の検出結果画像である。(a)の撮影画像には検査対象物5の欠陥(図中の丸印の部分)があるが、(b)の復元画像にはその欠陥がない。そして、(a)の撮影画像と(b)の復元画像を比較することで、(c)に示すように欠陥(図中の丸印の部分)を検出することができる。
また、最終的な検査結果は、検査対象物5のCADモデル上で可視化することができる。例えば、検査対象物5のCADモデル上に、欠陥部分を白い丸印等で重畳表示させることができる。また、三次元統合後の結果を、二次元の撮影画像に再度投影することにより、各視点での撮影画像において過検出を抑制した状態の検出結果を表示させることもできる。
図2に戻って、制御部418は、各部411~417による処理以外の処理を実行する。例えば、制御部418は、照明装置1による照明動作、回転機構2による回転動作、カメラ3による撮影動作等を制御する。
入力部43は、ユーザによる情報入力の手段であり、例えばキーボードやマウスによって実現される。
表示部44は、情報表示の手段であり、例えば、LCD(Liquid Crystal Display)によって実現される。
通信部45は、照明装置1、回転機構2、カメラ3などとの通信を行うための通信インタフェースである。
次に、図6を参照して、実施形態の検査装置4による学習処理について説明する。図6は、実施形態の検査装置4による学習処理を示すフローチャートである。
まず、ステップS11において、取得部411は、検査対象物5を複数の角度から撮影して得られた複数の撮影画像をカメラ3から取得する。
次に、ステップS12において、画像分割部412は、ステップS11において取得された撮影画像のそれぞれを複数のブロック画像に分割する。
次に、ステップS13において、ラベル付与部413は、ブロック画像のそれぞれに対して、対応する撮影角度と、ブロック位置と、に応じたラベルを付与する。
次に、ステップS14において、学習処理部414は、入力画像としての撮影画像および対応するラベルを入力して潜在変数を生成するエンコーダ、ならびに、ラベルおよび潜在変数を入力して復元画像を生成するデコーダを含むCVAEモデル(ニューラルネットワーク)を、入力画像と復元画像が同じになるように学習する(図3参照)。このような学習を、複数の検査対象物5の撮影画像を用いて行う。
次に、図7を参照して、実施形態の検査装置4による第1の検査処理について説明する。図7は、実施形態の検査装置4による第1の検査処理を示すフローチャートである。この第1の検査処理では、上述の三次元座標系を用いない。
まず、ステップS21において、取得部411は、検査対象物5を複数の角度から撮影して得られた複数の撮影画像をカメラ3から取得する。
次に、ステップS22において、画像分割部412は、ステップS21において取得された撮影画像のそれぞれを複数のブロック画像に分割する。
次に、ステップS23において、ラベル付与部413は、ブロック画像のそれぞれに対して、対応する撮影角度と、ブロック位置と、に応じたラベルを付与する。
次に、ステップS24において、検査処理部415は、撮影画像および対応するラベルをCVAEモデル(ニューラルネットワーク)に入力することによって復元画像を取得する(図3参照)。
次に、ステップS25において、検査処理部415は、撮影画像と復元画像の差分に基づいて、検査対象物5の欠陥を判定する。
次に、ステップS26において、制御部418は、ステップS25における判定結果を表示部44に表示する。
次に、図8を参照して、実施形態の検査装置4による第2の検査処理について説明する。図8は、実施形態の検査装置4による第2の検査処理を示すフローチャートである。この第2の検査処理では、上述の三次元座標系を用いる。
まず、ステップS31において、取得部411は、検査対象物5を複数の角度から撮影して得られた複数の撮影画像をカメラ3から取得する。
次に、ステップS32において、画像分割部412は、ステップS31において取得された撮影画像のそれぞれを複数のブロック画像に分割する。
次に、ステップS33において、ラベル付与部413は、ブロック画像のそれぞれに対して、対応する角度と、ブロック位置と、検査対象物の設計時のCAD情報に基づく三次元情報と、に応じたラベルを付与する。
次に、ステップS34において、検査処理部415は、撮影画像および対応するラベルをCVAEモデル(ニューラルネットワーク)に入力することによって復元画像を取得する(図3参照)。
次に、ステップS35において、検査処理部415は、撮影画像と復元画像の差分に基づいて、検査対象物5の欠陥候補画素を特定する。
次に、ステップS36において、投影処理部416は、二次元画像中の欠陥候補画素を、検査システムSの設計仕様と検査対象物5のCADデータに応じて、検査対象物5の初期姿勢を基準とする三次元座標系に投影する。
次に、ステップS37において、判定部417は、三次元座標系のボクセルごとに検査対象物5の欠陥を判定する。
次に、ステップS38において、制御部418は、ステップS37における判定結果を表示部44に表示する。
このように実施形態の検査システムSによれば、撮影画像と、撮影角度に応じたラベルと、CVAEモデルと、を用いることで、検査対象物5について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。
また、撮影画像を複数のブロック画像に分割して用いることで、CVAEモデルを用いた学習処理と検査処理をより高精度に行うことができる。
また、ラベルにCAD情報に基づく三次元情報を含めるようにすれば、より高精度な検査を実現できる。
また、欠陥候補画素を三次元座標系に投影してボクセルごとに欠陥判定を行うようにすれば、より高精度な検査を実現できる。
以下、従来技術との差異についてさらに説明する。従来技術でも、自動車部品素形材の全面検査装置は開発されているが、対象部品の三次元形状は比較的シンプルである。一方、上述のトランスミッションケースのような大型部品でかつ複雑な三次元形状を有する部品の全面検査の自動化は他に類を見ない。本実施形態により、従来は検査員による目視検査や部分的な自動検査に留まっていた検査工程について、全面自動検査を実現できる。なお、本実施形態は、自動車部品以外の物体の検査にも応用できる。
また、こういった大容量データ(大サイズ画像×多枚数)を効率的に、かつ効果的に使用した外観検査手法は他に類を見ない。本実施形態では、CVAEモデルにおいて独自の角度情報・デプス情報・法線情報等を正解情報ラベルとして付与する方法や、損失値の計算に三次元情報を利用する方法によって、良好な復元画像を得ることを可能にした。また、各種パラメータの設定にもよるが、実験では、従来の良品テンプレートモデルを使用する場合に比べて、運用時に保持しておく必要があるデータ容量を100分の1程度にすることができた。また、二次元と三次元の画像処理を組み合わせることにより検出性能を高め、かつ部品の検査結果を三次元で可視化することを可能にした。
なお、検査装置4で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、撮影画像を分割せずに用いてもよい。その場合、ラベル付与部413は、撮影画像のそれぞれに対して、対応する撮影角度に応じたラベルを付与する。
1…照明装置、2…回転機構、3…カメラ、4…検査装置、5…検査対象物、41…処理部、42…記憶部、43…入力部、44…表示部、45…通信部、411…取得部、412…画像分割部、413…ラベル付与部、414…学習処理部、415…検査処理部、416…投影処理部、417…判定部、418…制御部、S…検査システム。
Claims (12)
- 検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、
前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、
入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、
前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、
を備える検査装置。 - 前記取得部によって取得された前記撮影画像を複数のブロック画像に分割する画像分割部を、さらに備え、
前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する、請求項1に記載の検査装置。 - 前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のCAD(Computer-aided Design)情報に基づく三次元情報と、に応じたラベルを付与する、請求項2に記載の検査装置。
- 前記検査処理部は、前記検査処理を行う場合に、欠陥候補画素を特定し、
前記検査装置は、
前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理部と、
前記投影処理部により投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定部と、をさらに備える、請求項3に記載の検査装置。 - 検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得ステップと、
前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与ステップと、
入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理ステップと、
前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理ステップと、
を含む検査方法。 - 前記取得ステップによって取得された前記撮影画像を複数のブロック画像に分割する画像分割ステップを、さらに含み、
前記付与ステップは、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する、請求項5に記載の検査方法。 - 前記付与ステップは、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のCAD情報に基づく三次元情報と、に応じたラベルを付与する、請求項6に記載の検査方法。
- 前記検査処理ステップは、前記検査処理を行う場合に、欠陥候補画素を特定し、
前記検査方法は、
前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理ステップと、
前記投影処理ステップにより投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定ステップと、をさらに含む、請求項7に記載の検査方法。 - コンピュータを、
検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、
前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、
入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、
前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、
して機能させるためのプログラム。 - 前記コンピュータを、さらに、
前記取得部によって取得された前記撮影画像を複数のブロック画像に分割する画像分割部として機能させ、
前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する、請求項9に記載のプログラム。 - 前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のCAD情報に基づく三次元情報と、に応じたラベルを付与する、請求項10に記載のプログラム。
- 前記検査処理部は、前記検査処理を行う場合に、欠陥候補画素を特定し、
前記コンピュータを、さらに、
前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理部と、
前記投影処理部により投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定部として機能させる、請求項11に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021021238A JP2022123733A (ja) | 2021-02-12 | 2021-02-12 | 検査装置、検査方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021021238A JP2022123733A (ja) | 2021-02-12 | 2021-02-12 | 検査装置、検査方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022123733A true JP2022123733A (ja) | 2022-08-24 |
Family
ID=82940443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021021238A Pending JP2022123733A (ja) | 2021-02-12 | 2021-02-12 | 検査装置、検査方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022123733A (ja) |
-
2021
- 2021-02-12 JP JP2021021238A patent/JP2022123733A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5055191B2 (ja) | 3次元形状計測方法および装置 | |
JP6507653B2 (ja) | 検査装置及び検査装置の制御方法 | |
JP2018055675A (ja) | 3d画像データにおける3dポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法 | |
JP6483168B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
JP2018040649A (ja) | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
CN111507976A (zh) | 基于多角度成像的缺陷检测方法及系统 | |
JP6317725B2 (ja) | 取得された画像内のクラッタを決定するためのシステム及び方法 | |
JP7505866B2 (ja) | 点検支援方法、点検支援システム、及び点検支援プログラム | |
US20220020136A1 (en) | Optimizing a set-up stage in an automatic visual inspection process | |
US20090290788A1 (en) | System and method for performing multi-image training for pattern recognition and registration | |
WO2020079694A1 (en) | Optimizing defect detection in an automatic visual inspection process | |
WO2023102637A1 (en) | Interactive visualizations for industrial inspections | |
CN113781393A (zh) | 屏幕缺陷检测方法、装置、设备及存储介质 | |
CN104655041B (zh) | 一种附加约束条件的工业零件轮廓线多特征提取方法 | |
JP6425406B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
EP4010873A2 (en) | Use of an hdr image in a visual inspection process | |
JP2022123733A (ja) | 検査装置、検査方法、およびプログラム | |
JP2023554337A (ja) | 画像分類方法及び物体の光学検査方法 | |
EP4352451A1 (en) | Texture mapping to polygonal models for industrial inspections | |
WO2023277906A1 (en) | Synthetic images for machine learning | |
JP2018077168A (ja) | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム | |
JP2017016169A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
JP2006145228A (ja) | ムラ欠陥検出方法及び装置 | |
TWI450572B (zh) | 影像邊界掃描的電腦系統及方法 | |
WO2024090054A1 (ja) | 画像処理方法、プログラム、および、画像処理装置 |