JP2021179902A

JP2021179902A - 画像検査装置、画像検査方法及び学習済みモデル生成装置

Info

Publication number: JP2021179902A
Application number: JP2020085943A
Authority: JP
Inventors: 泰之池田; Yasuyuki Ikeda
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2020-05-15
Filing date: 2020-05-15
Publication date: 2021-11-18
Also published as: WO2021229901A1

Abstract

【課題】特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供する。【解決手段】画像検査装置において、処理部は、良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力して、復元分割画像を生成する分割画像生成部２３４と、分割画像生成部２３４により生成された復元分割画像に基づいて検査対象物の検査を行う検査部２３７と、を備える。【選択図】図１０

Description

本発明は、画像検査装置、画像検査方法及び学習済みモデル生成装置に関する。

従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。

例えば、特許文献１には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。

特許文献１の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。

特開２０１８−５７７３号公報

特許文献１では、学習済みモデルである学習したオートエンコーダを用い、判定対象画像から再構成画像を生成している。ここで、例えば、良品の検査対象物の画像に局所的に特殊なパターンが存在する場合、学習済みモデルの表現能力が低いと、当該学習済みモデルの生成する画像において、特殊パターンを復元することができないことがあった。この場合、良品である検査対象物の画像を誤って不良であると判定してしまうおそれがあった。

また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合、学習済みモデルが生成した画像において不良品のパターンが生成されてしまい、不良品の検査対象物を見逃してしまうことがあった。

そこで、本発明は、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することを目的の１つとする。

本発明の一態様に係る画像検査装置は、良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力して、復元分割画像を生成する分割画像生成部と、分割画像生成部により生成された復元分割画像に基づいて検査対象物の検査を行う検査部と、を備える。

この態様によれば、検査分割画像とその検査分割画像のラベル情報に応じた復元分割画像を生成することができる。このため、その検査分割画像が特定の位置に特殊パターンを含む場合には、その特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。

上記態様において、分割画像生成部は、検査分割画像及び検査分割画像のラベル情報からそれぞれ構成される複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成し、検査部は、複数の復元分割画像に基づいて検査対象物の検査を行ってもよい。

この態様によれば、複数の復元分割画像に基づいた検査を行うことができるため、より正確に検査対象物の検査を行うことが可能になる。

上記態様において、複数の復元分割画像を合成することにより復元画像を生成する復元画像生成部をさらに備え、検査部は、検査対象物の画像と復元画像との差分に基づいて、検査対象物の検査を行ってもよい。

この態様によれば、検査対象物の画像と復元画像との差分が明確となり、より精度よく検査対象物の検査を行うことが可能になる。

上記態様において、学習済みモデルは、入力層を含む複数の層を備えたニューラルネットワークであり、分割画像生成部は、検査分割画像を入力層に入力し、ラベル情報を入力層の次元よりも低い次元を有する層に入力してもよい。

この態様によれば、ラベル情報がニューラルネットワークにおける入力層の次元よりも低い次元の層に入力されると、ラベル情報が入力層に入力されるよりも学習済みモデルの出力にラベル情報が大きく寄与する。この結果、より適切に復元分割画像を生成することが可能になる。

上記態様において、分割画像生成部は、第１検査分割画像が第２検査分割画像と類似している場合には、第１検査分割画像及び第２検査分割画像のラベル情報を学習済みモデルに入力してもよい。

この態様によれば、類似した検査分割画像について、同一のラベル情報を使用することが可能になる。

上記態様において、検査部は、検査対象物の良否判定を行ってもよい。

この態様によれば、検査対象物の検査をより詳細に行うことができる。

上記態様において、検査部は、検査対象物の欠陥を検出してもよい。

上記態様において、検査対象物の画像を撮像する撮像部をさらに備えてもよい。

この態様によれば、検査対象物の画像を簡便に取得することができる。

上記態様において、検査対象物の画像を複数の検査分割画像に分割する分割部をさらに備えてもよい。

この態様によれば、検査対象物の画像が予め分割されていなくとも、検査対象物の検査を行うことが可能になる。

本発明の他の態様に係る画像検査方法は、プロセッサを備えるコンピュータによる画像検査方法であって、プロセッサが、良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力し、復元分割画像を生成することと、生成された復元分割画像に基づいて検査対象物の検査を行うことと、を含む。

本発明の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の画像を分割した良品分割画像及び良品分割画像のラベル情報の組み合わせによりそれぞれ構成される複数の学習データセットを用いて学習処理を実施し、良品分割画像及びラベル情報を入力として復元分割画像を出力する学習済みモデルを生成するモデル生成部、備える。

本発明によれば、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することができる。

本発明の一実施形態に係る画像検査システムの概略構成図である。同実施形態に係る学習済みモデル生成装置の構成を示す機能ブロック図である。学習データ生成部が生成する学習データセットについて説明する図である。良品画像の一例を示す図である。図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。本発明の一実施形態に係るモデル生成部が学習させるモデルを説明するための図である。同実施形態に係る画像検査装置の構成を示す機能ブロック図である。同実施形態に係る処理部の構成を示す機能ブロック図である。処理部が検査画像に基づいて復元画像を生成するまでの処理を説明するための図である。検査画像の一例を示す図である。検査画像に基づき生成された復元画像の一例を示す図である。検査画像と復元画像の差である差分画像を示す図である。本実施形態に係る画像検査装置及び学習済みモデル生成装置の物理的構成を示す図である。学習済みモデル生成装置が学習済みモデルを生成する流れの一例を示すフローチャートである。画像検査装置が、検査対象物の画像に基づき、学習済みモデルを用いて検査対象物の検査を実行する流れの一例を示すフローチャートである。検査画像の一例を示す図である。

添付図面を参照して、本発明の好適な実施形態について説明する。

図１は、本発明の一実施形態に係る画像検査システム１の概略構成図である。画像検査システム１は、画像検査装置２０及び照明２５を含む。照明２５は、検査対象物３０に光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物３０の画像（以下、「検査画像」とも称する。）に基づいて、検査対象物３０の検査を行う。画像検査装置２０は、通信ネットワーク１５を介して、学習済みモデル生成装置１０に接続されている。学習済みモデル生成装置１０は、画像検査装置２０が検査対象物３０の検査を行うために用いる学習済みモデルを生成する。

図２は、本実施形態に係る学習済みモデル生成装置１０の構成を示す機能ブロック図である。学習済みモデル生成装置１０は、記憶部１００、学習データ生成部１１０、モデル生成部１２０及び通信部１３０を備える。

記憶部１００は、各種の情報を記憶する。本実施形態では、記憶部１００は、良品画像ＤＢ１０２、学習用データＤＢ１０４及び学習済みモデルＤＢ１０６を備える。良品画像ＤＢ１０２には、複数の良品画像が格納されている。良品画像は、良品の検査対象物の画像である。また、学習用データＤＢ１０４には、良品画像を分割した分割良品画像及び良品分割画像のラベル情報の組み合わせによりそれぞれ構成される、複数の学習データセットが格納されている。さらに、学習済みモデルＤＢ１０６には、後述する学習済みモデル生成装置１０により生成された学習済みモデルが格納されている。

学習データ生成部１１０は、モデル生成部１２０が学習処理を行うために用いられる学習データセットを生成することができる。図３を参照して、学習データ生成部１１０が生成する学習データセットについて説明する。

学習データ生成部１１０は、良品画像ＤＢ１０２から良品画像を取得して、良品画像４０を分割することにより複数の良品分割画像を生成する。本実施形態では、学習データ生成部１１０は、良品画像４０を縦及び横にそれぞれ４分割することにより、計１６個の良品分割画像を生成する。なお、良品画像４０は、２〜１５個の良品分割画像に分割されてもよいし、１７個以上の良品分割画像に分割されてもよい。また、良品分割画像の形状は矩形に限定されるものではなく、いかなる形状であって良い。

また、学習データ生成部１１０は、複数の良品分割画像のそれぞれにラベル情報を付与して、良品分割画像及び付与されたラベル情報によりそれぞれ構成される複数の学習データセットを生成する。学習データ生成部１１０は、予め指定されたアルゴリズムに基づきラベル情報を良品分割画像に付与してもよいし、ユーザの操作に基づいてラベル情報を良品分割画像に付与してもよい。

例えば、互いに異なる複数の良品画像のそれぞれについて、良品分割画像が生成されているとする。この場合、生成された良品分割画像のうち、良品画像における位置が同一である良品分割画像のすべてには、同一のラベル情報が付与される。

また、良品画像における位置が互いに異なるものの、互いに類似する２つの良品分割画像のそれぞれに付与されるラベル情報は、同一のラベル情報であって良いし、異なるラベル情報であってもよい。ここで、２つの良品分割画像が類似しているか否かの判定は、例えば、２つの良品分割画像の一致度が所定の閾値以上であるか否かに基づいて行われてもよい。

学習データ生成部１１０は、良品分割画像にラベル情報を付与すると、どの位置の良品分割画像にどのラベル情報を付与したのかを表す情報を、学習済みモデルＤＢ１０６に格納してもよい。

例えば、第１良品分割画像４００には、ラベル情報（Ａ）が付与されており、第１良品分割画像４００及びラベル情報（Ａ）が１つの学習データセットを構成している。同様にして、学習データ生成部１１０は、第２良品分割画像４０２及びラベル情報（Ｂ）の学習データセット、及び第３良品分割画像４０４及びラベル情報（Ｃ）の学習データセット等、１６個の良品分割画像のそれぞれに基づく学習データセットを生成する。

ここで、図４〜図７を参照して、学習データ生成部１１０が良品分割画像に付与するラベル情報の具体例を説明する。図４は、良品画像３００の一例を示す図である。図４に示す良品画像３００は、４つのパターン（第１パターン３０２、第２パターン３０４、第３パターン３０６及び第４パターン３０８）が含まれている。また、図４に示す良品画像３００は、図３に示した良品画像４０と同様に、縦及び横にそれぞれ４分割されており、合計１６個の良品分割画像に分割される。

図５〜図７のそれぞれは、１６個の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。なお、図５〜図７では、図４に示した４つのパターンを省略して示している。また、図５〜図７の良品分割画像に示されている数字は、ラベル情報を表しているものとする。

図５に示す良品画像３００では、ラスタスキャンの順番で、１６個の良品分割画像のそれぞれにラベル情報が付与されている。すなわち、図５に示す良品画像３００では、矢印で示した順番に、１６個の良品分割画像のそれぞれに、０〜１５のラベル情報が付与されている。例えば、一番上の行の４つの良品分割画像のそれぞれには、左端の良品分割画像３２０から順番に、０〜３のラベル情報が付与されている。また、一番上から２番目の行の４つの良品分割画像のそれぞれには、一番左側の良品分割画像３２２から順番に、４〜７のラベル情報が付与されている。さらに、一番上から３番目及び４番目の行のそれぞれの４つの良品分割画像には、８〜１５のラベル情報が矢印の順番で付与されている。

なお、ここでは、一番上の左端の良品分割画像３２０をラベル情報が０となる開始の良品分割画像であるものとして説明したが、いずれの良品分割画像が開始の良品分割画像であってもよい。また、ラベル情報の数値は、ラスタスキャンの順番に限らず、いかなる順番で良品分割画像に付与されてもよい。

図６に示す良品画像３００では、１６個の良品分割画像のそれぞれに、整数Ｘ及びＹの組みを示す（Ｘ，Ｙ）の直交座標系の形式でラベル情報が付与されている。ここで、Ｘは、列の番号を示しており、Ｙは、行の番号を示している。また、Ｘは、左端の列の番号を０として、右側に行くにつれて１ずつ大きくなる。さらに、Ｙは、一番上の行の番号を０として、下側に行くにつれて１ずつ大きくなる。したがって、（Ｘ，Ｙ）は、左端から（Ｘ−１）番目の列の一番上から（Ｙ−１）番目に位置する良品分割画像を示している。例えば、左端から２番目の列の一番上から４番目に位置する良品分割画像３４６には、（１，３）のラベル情報が付与されている。

なお、Ｘ及びＹの値は、上述した数値に限定されるものではなく、良品分割画像の位置（すなわち、行および列）を特定することができる数値であれば、いかなる数値であってもよい。また、上述の例では、ラベル情報が、（Ｘ，Ｙ）の直交座標系の形式で表されるものとして説明したが、ラベル情報の形式はこれに限らず、例えば、（ρ，θ）の極座標系の形式であってもよい。

図７では、１６個の良品分割画像のそれぞれには、良品分割画像が属するカテゴリに応じたラベル情報が付与されている。具体的には、１６個の良品分割画像のそれぞれは、良品分割画像同士の類似度に応じてカテゴリに分類され、それぞれの良品分割画像にはカテゴリに応じたラベル情報が付与されている。より具体的には、類似する複数の良品分割画像のそれぞれは、同一のカテゴリに分類される。このとき、同一のカテゴリに属する良品分割画像には、同一のラベル情報が付与されている。

例えば、図４に示すように、左端の４つの良品分割画像のうち、３つの良品分割画像３２０，３２２及び３２６は類似している。このため、これらの３つの良品分割画像３２０，３２２及び３２６のそれぞれは、同一のカテゴリに分類される。また、３つの良品分割画像３２０，３２２及び３２６のそれぞれには、同一のラベル情報として、０のラベル情報が付与されている。同様に、左端から２番目の列の４つの良品分割画像のうち、３つの良品分割画像３４０，３４２及び３４６も類似している。このため、これらの３つの良品分割画像３４０，３４２及び３４６のそれぞれには、同一のラベル情報として、１のラベル情報が付与されている。また、左端の列の上から３番目の良品分割画像３２４は、他の良品分割画像のいずれとも類似しないため、他の良品分割画像のラベル情報とは異なるラベル情報として、３のラベル情報が付与されている。さらに、パターンを含まない良品分割画像には、同一のラベル情報として、２のラベル情報が付与されている。

ここでは、良品分割画像同士の類似度に基づいて、ラベル情報が生成されるものとして説明したが、ラベル情報の生成方法はこれに限られない。例えば、良品画像が複数の部位を含んでいる場合には、それぞれの部位ごとにラベル情報が付与されてもよい。一例として、スマートフォンが検査対象物として外観検査される場合について説明する。この場合、良品画像に含まれる複数の良品分割画像のそれぞれが、スマートフォンのディスプレイの領域（以下、「第１領域」と称する。）と、ディスプレイ以外の部分の領域（以下、この領域を「第２領域」と称する。）とに分類されるものとする。例えば、第１領域のカテゴリに分類される良品分割画像には１のラベル情報が付与され、第２領域のカテゴリに分類される良品分割画像には２のラベル情報が付与されてもよい。

学習データ生成部１１０は、生成した学習データセットを学習用データＤＢ１０４に格納する。本実施形態では、学習データ生成部１１０は、複数の良品画像について生成した学習データセットを学習用データＤＢ１０４に格納するものとする。

モデル生成部１２０は、複数の学習データセットを用いて学習処理を実施し、良品分割画像及びラベル情報を入力として復元分割画像を出力する学習済みモデルを生成する。ここで、復元分割画像は、良品分割画像を復元する画像である。

図８は、本実施形態に係るモデル生成部１２０が学習させるモデルを説明するための図である。本実施形態では、モデル生成部１２０は、モデルに良品分割画像及びラベル情報を同時に入力することにより、モデルを学習させる。画像とその付加情報をニューラルネットワークに同時に入力することによりニューラルネットワークを学習させる技術は、例えば参考文献１に記載されている。
（参考文献１）村瀬, 平川, 山下, 藤吉, 「自己状態を付与したCNNによる自動運転制御の高精度化」, PRMU2017-82, vol. 117, no. 238, pp. 85-90

図８には、モデル生成部１２０による学習処理の対象となるモデル５０が示されている。本実施形態では、モデル５０は、入力層を含む複数の層を備えたニューラルネットワークを含む。より具体的には、モデル５０は、オートエンコーダであり、入力層５００、出力層５０８及び入力層５００と出力層５０８との間に配置されている複数の層から構成されている。入力層５００に入力データが入力されると、入力データは中間層５０４において特徴ベクトルに圧縮され、出力層５０８から出力データが出力される。なお、学習済みモデルを構築するために用いられるモデルは、オートエンコーダに限定されるものではない。また、ニューラルネットワークを構成する層の数は、５層に限定されるものではない。

モデル生成部１２０は、モデル５０に良品分割画像及びラベル情報を入力する。良品分割画像を入力することは、良品分割画像に含まれる複数の画素値のそれぞれを入力することである。これにより、モデル５０の出力層５０８から画像が出力データとして出力される。モデル生成部１２０は、出力データが良品分割画像を復元するデータとなるように、モデル５０に含まれる各層の間の重みづけパラメータを更新することにより、モデル５０を学習させる。まとめると、モデル生成部１２０は、複数の学習データセットをモデル５０にそれぞれ入力して、重みづけパラメータを更新することにより、学習済みモデルを生成する。モデル生成部１２０は、生成した学習済みモデルを学習済みモデルＤＢ１０６に格納する。

なお、本実施形態では、モデル生成部１２０は、モデル５０の入力層５００に良品分割画像を入力し、ラベル情報を入力層の次元よりも低い次元を有する中間層５０４に入力する。これにより、ラベル情報が、良品分割画像の画素よりも大きく学習に寄与するようになり、より適切な学習済みモデルを生成することが可能になる。

なお、ラベル情報は、中間層５０４とは異なる層に入力されてもよい。ラベル情報は、例えば入力層５００に入力されてもよい。また、モデル５０に入力される良品分割画像及びラベル情報の少なくともいずれかは、モデル５０に入力される前に、必要に応じて重みづけがされていてもよい。これにより、より適切にモデル５０が学習され得る。

図２に戻って、学習済みモデル生成装置１０が備える通信部１３０について説明する。通信部１３０は、各種の情報を送受信することができる。例えば、通信部１３０は、通信ネットワーク１５を介して、学習済みモデルを画像検査装置２０に送信することができる。このとき、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も、画像検査装置２０に送信される。

図９は、本実施形態に係る画像検査装置２０の構成を示す機能ブロック図である。画像検査装置２０は、通信部２００、記憶部２１０、撮像部２２０及び処理部２３０を備える。

通信部２００は、各種の情報を送受信することができる。例えば、通信部２００は、通信ネットワーク１５を介して、学習済みモデル生成装置１０から学習済みモデルを受信することができる。また、通信部２００は、学習済みモデルなどを記憶部２１０に格納することができる。

記憶部２１０は、各種の情報を記憶している。本実施形態では、記憶部２１０は、学習済みモデルＤＢ１０６を備える。学習済みモデルＤＢ１０６には、学習済みモデルが格納されている。また、学習済みモデルＤＢ１０６には、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も格納されている。記憶部２１０に記憶されている各種の情報は、必要に応じて処理部２３０により参照される。

撮像部２２０は、各種の公知の撮像装置を含み、検査対象物３０の画像を撮像する。本実施形態では、撮像部２２０は、検査対象物３０からの反射光Ｒを受光し、検査対象物３０の画像を撮像する。撮像部２２０は、撮像した画像を処理部２３０に伝達する。

処理部２３０は、各種の処理を検査対象物の画像に施し、検査対象物の検査を行うことができる。図１０は、本実施形態に係る処理部２３０の構成を示す機能ブロック図である。処理部２３０は、前処理部２３１、分割部２３２、ラベル情報付与部２３３、分割画像生成部２３４、復元画像生成部２３５、後処理部２３６及び検査部２３７を備える。

前処理部２３１は、検査対象物の画像に各種の前処理を施す。前処理部２３１は、例えば、検査対象物の画像に位置ずれを補正する処理を施すことができる。前処理部２３１は、前処理を施した画像を分割部２３２に伝達する。

分割部２３２は、検査対象物の画像を分割して、複数の検査分割画像を生成することができる。本実施形態では、分割部２３２は、学習済みモデル生成装置１０における良品画像の分割と同様の方法により、検査対象物の画像を分割する。具体的には、分割部２３２は、検査対象物の画像を、縦及び横にそれぞれ４分割して、１６個の検査分割画像を生成する。分割部２３２は、生成した検査分割画像をラベル情報付与部２３３に伝達する。

ラベル情報付与部２３３は、検査分割画像にラベル情報を付与する。ラベル情報付与部２３３は、学習済みモデルＤＢ２１２を参照して、学習済みモデルの生成の際に、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報を参照し、検査分割画像に、対応する位置の良品分割画像のラベル情報を付与する。検査分割画像及び付与されたラベル情報の組みは、入力データセットとなる。ラベル情報付与部２３３は、複数の検査分割画像のそれぞれにラベル情報を付与して複数の入力データセットを生成し、複数の入力データセットを分割画像生成部２３４に伝達する。

分割画像生成部２３４は、学習済みモデルに入力データセット（検査分割画像及びラベル情報の組み）を入力して、復元分割画像を生成することができる。学習済みモデルは、学習済みモデル生成装置１０により生成された、良品分割画像及びラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルである。

本実施形態では、分割画像生成部２３４は、検査分割画像及びラベル情報からそれぞれ構成される複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成する。生成される複数の復元分割画像のそれぞれは、複数の入力データセットのそれぞれに対応している。復元分割画像は、良品分割画像を復元した画像である。このため、検査分割画像に欠陥などが含まれている場合には、欠陥が除去された画像が復元分割画像として学習済みモデルから出力される。本実施形態では、分割画像生成部２３４は、検査画像に基づき生成された１６個の検査分割画像のそれぞれについて復元分割画像を生成し、生成した１６個の復元分割画像を復元画像生成部２３５に伝達する。

復元画像生成部２３５は、複数の復元分割画像を合成することにより復元画像を生成する。本実施形態では、復元画像生成部２３５は、分割画像生成部２３４により生成された１６個の復元分割画像を合成することにより、復元画像を生成する。具体的には、復元画像生成部２３５は、生成した１６個の復元分割画像のそれぞれを対応する検査分割画像の位置に配置して合成することにより、復元画像を生成する。復元画像は、良品画像を復元した画像である。このため、検査画像に欠陥が含まれている場合には欠陥が除去された画像が復元画像として生成される。

図１１を参照して、処理部２３０が検査画像４２に基づいて復元画像４４を生成するまでの処理の一例を説明する。

分割部２３２は、検査画像４２を縦及び横にそれぞれ４分割し、１６個の検査分割画像を生成する。ラベル情報付与部２３３は、生成された１６個の検査分割画像のそれぞれにラベル情報を付与する。例えば、第１検査分割画像４２０にはラベル情報（Ａ）が付与され、第２検査分割画像４２２にはラベル情報（Ｂ）が付与され、第３検査分割画像４２４にはラベル情報（Ｃ）が付与される。検査分割画像とラベル情報の組みが入力データセットとなる。

なお、上述したように類似している検査分割画像には同一のラベル情報が付与されていてもよい。このため、例えば、第１検査分割画像４２０及び第２検査分割画像４２２が互いに類似している場合には、第１検査分割画像４２０に第２検査分割画像４２２のラベル情報（Ｂ）が付与されてもよい。あるいは、第２検査分割画像４２２に第１検査分割画像のラベル情報（Ａ）が付与されてもよい。

分割画像生成部２３４は、生成された１６個の入力データセットを学習済みモデルにそれぞれ入力し、１６個の復元分割画像を生成する。例えば、第１復元分割画像４４０は第１検査分割画像４２０に基づき生成され、第２復元分割画像４４２は第２検査分割画像４２２に基づき生成され、第３復元分割画像４４４は第３検査分割画像４２４に基づき生成されている。復元画像生成部２３５は、生成された１６個の復元分割画像を合成することにより復元画像４４を生成する。

図１０に戻って、後処理部２３６について説明する。後処理部２３６は、復元画像に後処理を施すことができる。例えば、後処理部２３６は、復元画像と検査画像との差分を算出して、差分画像を生成することができる。具体的には、後処理部２３６は、復元画像を構成する複数の画素値のそれぞれから、検査画像のそれぞれ対応する画素値の差分を算出することにより差分画像を生成することができる。

図１２〜図１４を参照して、後処理部２３６が生成する差分画像について説明する。図１２は、本実施形態に係る検査対象物３０の画像６０の一例を示す図である。また、図１３は、画像６０に基づき生成された復元画像６２の一例を示す図である。さらに、図１４は、検査対象物の画像６０と復元画像６２との差分である差分画像６４を示す図である。図１２に示すように、画像６０には、線状の欠陥画像６００が含まれている。欠陥画像は、検査対象物の欠陥の画像である。一方、図１３に示すように、復元画像６２では、欠陥画像が除去されている。このため、検査対象物の画像６０と復元画像６２との差分を示す差分画像６４には、主に欠陥画像６４０が含まれている。本実施形態では、この欠陥画像６４０を含む差分画像６４に基づき、検査対象物の検査が行われる。

図１０に戻って、検査部２３７について説明する。検査部２３７は、分割画像生成部２３４により生成された復元分割画像に基づいて、検査対象物３０の検査を行うことができる。本実施形態では、検査部２３７は、複数の復元分割画像に基づいて検査対象物３０の検査を行う。

本実施形態では、検査部２３７は、検査画像と復元画像との差分に基づいて、検査対象物を検査する。具体的には、検査部２３７は、後処理部２３６により生成された差分画像に基づいて検査対象物の検査を行う。

また、検査部２３７は、検査対象物３０の欠陥を検出することができる。例えば、検査部２３７は、図１４に示した差分画像６４に含まれる欠陥画像６４０を検出することにより、検査対象物３０の欠陥を検出することができる。あるいは、検査部２３７は、検査対象物３０の良否判定を行ってもよい。具体的には、検査部２３７は、差分画像６４に含まれる欠陥画像の大きさに基づいて、検査対象物３０の良否判定を行ってもよい。より具体的には、検査部２３７は、差分画像６４に含まれる欠陥画像の大きさが所定の閾値を超える場合には、検査対象物が不良品であることを判定することができる。

図１５は、本実施形態に係る学習済みモデル生成装置１０及び画像検査装置２０の物理的構成を示す図である。学習済みモデル生成装置１０及び画像検査装置２０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

なお、本例では、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれが、一台のコンピュータで構成されるものとして説明するが、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、複数のコンピュータが組み合わされて実現されてもよい。また、画像検査装置２０及び学習済みモデル生成装置１０が一台のコンピュータで構成されてもよい。また、図１５で示す構成は一例であり、学習済みモデル生成装置１０及び画像検査装置２０は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。学習済みモデル生成装置１０が備えるＣＰＵ１０ａは、学習データを用いて学習処理を実施して、学習済みモデルを生成するプログラム（学習プログラム）を実行する演算部である。また、画像検査装置２０が備えるＣＰＵ１０ａは、検査対象物の画像を用いて、検査対象物の検査を行うプログラム（画像検査プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、学習データ、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像検査プログラム、学習プログラム及び書き換えが行われないデータを記憶してよい。

通信部１０ｄは、画像検査装置２０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。入力部１０ｅは、例えば良品分割画像又は検査分割画像のラベル情報等の入力を受け付けてもよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、検査対象物の検査結果等を表示してよい。

画像検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。学習済みモデル生成装置１０では、ＣＰＵ１０ａが学習プログラムを実行することにより、図２等を用いて説明した様々な動作が実現される。また、画像検査装置２０では、ＣＰＵ１０ａが画像検査プログラムを実行することにより、図９及び図１０等を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

図１６は、学習済みモデル生成装置１０が学習済みモデルを生成する流れの一例を示すフローチャートである。

まず、学習データ生成部１１０が、良品画像ＤＢ１０２に格納されている良品画像を、複数の良品分割画像に分割する（ステップＳ１０１）。このとき、良品画像ＤＢ１０２に複数の良品画像が格納されている場合には、学習データ生成部１１０は、複数の良品画像のそれぞれを分割して、それぞれの良品画像に対応する良品分割画像を生成してもよい。

次いで、学習データ生成部１１０は、ステップＳ１０３において生成した良品分割画像のそれぞれにラベル情報を付与し、複数の学習データセットを生成する（ステップＳ１０３）。学習データ生成部１１０は、生成した学習データセットを学習用データＤＢ１０４に格納する。

次いで、モデル生成部１２０は、学習用データＤＢ１０４に格納されている複数の学習データセットを用いて学習処理を実行し、良品分割画像及びラベル情報を入力として復元分割画像を出力する学習済みモデルを生成する（ステップＳ１０５）。モデル生成部１２０は、生成した学習済みモデルを学習済みモデルＤＢ１０６に格納する。

次いで、通信部１３０は、ステップＳ１０５において生成された学習済みモデルを画像検査装置２０に送信する（ステップＳ１０７）。これにより、画像検査装置２０は、学習済みモデル生成装置１０により生成された学習済みモデルを使用できるようになる。

図１７は、画像検査装置２０が、検査対象物の画像に基づき、学習済みモデルを用いて検査対象物の検査を行う流れの一例を示すフローチャートである。

まず、画像検査装置２０が備える撮像部２２０が、検査対象物の画像を撮像する（ステップＳ２０１）。撮像部２２０は、撮像した画像を処理部２３０に伝達する。

次いで、処理部２３０が備える前処理部２３１が、ステップＳ２０１において撮像された画像に前処理を施す（ステップＳ２０３）。次いで、分割部２３２が、ステップＳ２０３において前処理を施された検査画像を分割して、複数の検査分割画像を生成する（ステップＳ２０５）。次いで、ラベル情報付与部２３３は、ステップＳ２０５において生成された複数の検査分割画像のそれぞれにラベル情報を付与し、複数の入力データセットを生成する（ステップＳ２０７）。

次いで、分割画像生成部２３４は、ステップＳ２０７において生成された複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成する（ステップＳ２０９）。次いで、復元画像生成部２３５は、ステップＳ２０９において生成された複数の復元分割画像を合成することにより、復元画像を生成する（ステップＳ２１１）。次いで、後処理部２３６は、ステップＳ２０１において撮像された検査画像と、ステップＳ２１１において生成された復元画像との差分を算出して差分画像を生成する（ステップＳ２１３）。

次いで、検査部２３７は、ステップＳ２１３において生成された差分画像に基づいて検査対象物の検査を行う（ステップＳ２１５）。

本実施形態によれば、検査分割画像のラベル情報に応じて、復元分割画像が生成される。このため、部分的に特殊パターンが含まれている場合であっても、特殊パターンを復元することができると。また、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品であっても、良品のパターンを適切に復元することができる。この結果、不良品のパターンの生成を抑制することができる。

図１８を参照して、本実施形態の効果についてより具体的に説明する。図１８は、検査画像７０の一例を示す図である。検査画像７０は、６個の検査分割画像７００、７０２、７０４、７０６、７０８及び７１０に分割される。この６個の検査分割画像の中で、検査分割画像７０２、７０６及び７０８は互いに類似しているものとする。また、検査分割画像７０４は、他の検査分割画像と異なる特殊パターンを含んでいる。

仮にラベル情報を用いずに、これら６個の検査分割画像を学習データとして学習済みモデルを生成したとする。この学習済みモデルに検査分割画像７０４を入力すると、学習済みモデルの表現能力が低い場合には、検査分割画像７０２、７０４又は７０８が出力され、特殊パターンが復元されない可能性がある。

一方、本実施形態に係る画像検査装置２０は、検査分割画像に加えてラベル情報を用いる。このため、検査分割画像とその検査分割画像の位置に応じた復元分割画像を生成することができる。その結果、その検査分割画像が特定の位置に特殊パターンを含む場合であっても、特殊パターンを復元することが可能となる。例えば、検査分割画像７０４のように特殊なパターンを示す検査分割画像であっても、適切に復元することが可能になる。

また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合がある。このような場合にも、本実施形態に係る画像検査装置２０によれば、不良品のパターンを含む検査分割画像を良品の復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。この結果、不良品の見逃しを抑制することができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

［附記］
良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物（３０）の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力して、復元分割画像を生成する分割画像生成部（２３４）と、
分割画像生成部（２３４）により生成された復元分割画像に基づいて検査対象物の検査を行う検査部（２３７）と、
を備える画像検査装置（２０）。

１…画像検査システム、１０…学習済みモデル生成装置、１１０…学習データ生成部、１２０…モデル生成部、２０…画像検査装置、２１０…記憶部、２２０…撮像部、２３０…処理部、２３１…前処理部、２３２…分割部、２３３…ラベル情報付与部、２３４…分割画像生成部、２３５…復元画像生成部、２３６…後処理部、２３７…検査部、２５…照明、３０…検査対象物、４０…良品画像、４２…検査画像、６２…復元画像、６４…差分画像、４００…第１良品分割画像、４０２…第２良品分割画像、４０４…第３良品分割画像、４２０…第１検査分割画像、４２２…第２検査分割画像、４２４…第３検査分割画像、４４０…第１復元分割画像、４４２…第２復元分割画像、４４４…第３復元分割画像、５００…入力層、５０４…中間層、５０８…出力層、６００…欠陥画像

Claims

良品の検査対象物の画像を分割した画像である良品分割画像及び前記良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び前記検査分割画像のラベル情報を入力して、前記復元分割画像を生成する分割画像生成部と、
前記分割画像生成部により生成された復元分割画像に基づいて前記検査対象物の検査を行う検査部と、
を備える画像検査装置。
前記分割画像生成部は、前記検査分割画像及び前記検査分割画像のラベル情報からそれぞれ構成される複数の入力データセットを前記学習済みモデルにそれぞれ入力して、複数の前記復元分割画像を生成し、
前記検査部は、前記複数の復元分割画像に基づいて前記検査対象物の検査を行う、
請求項１に記載の画像検査装置。
前記複数の復元分割画像を合成することにより復元画像を生成する復元画像生成部をさらに備え、
前記検査部は、前記検査対象物の画像と前記復元画像との差分に基づいて、前記検査対象物の検査を行う、
請求項２に記載の画像検査装置。
前記学習済みモデルは、入力層を含む複数の層を備えたニューラルネットワークであり、
前記分割画像生成部は、前記検査分割画像を前記入力層に入力し、前記ラベル情報を前記入力層の次元よりも低い次元を有する層に入力する、
請求項１から３のいずれか１項に記載の画像検査装置。
分割画像生成部は、第１検査分割画像が第２検査分割画像と類似している場合には、前記第１検査分割画像及び前記第２検査分割画像のラベル情報を前記学習済みモデルに入力する、
請求項１から４のいずれか１項に記載の画像検査装置。
前記検査部は、前記検査対象物の良否判定を行う、
請求項１から５のいずれか１項に記載の画像検査装置。
前記検査部は、前記検査対象物の欠陥を検出する、
請求項１から６のいずれか１項に記載の画像検査装置。
前記検査対象物の画像を撮像する撮像部をさらに備える、
請求項１から７のいずれか１項に記載の画像検査装置。
前記検査対象物の画像を複数の前記検査分割画像に分割する分割部をさらに備える、
請求項１から８のいずれか１項に記載の画像検査装置。
プロセッサを備えるコンピュータによる画像検査方法であって、
良品の検査対象物の画像を分割した画像である良品分割画像及び前記良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び前記検査分割画像のラベル情報を入力し、前記復元分割画像を生成することと、
前記生成された復元分割画像に基づいて前記検査対象物の検査を行うことと、
を含む画像検査方法。
良品の検査対象物の画像を分割した良品分割画像及び前記良品分割画像のラベル情報の組み合わせによりそれぞれ構成される複数の学習データセットを用いて学習処理を実施し、前記良品分割画像及び前記ラベル情報を入力として復元分割画像を出力する学習済みモデルを生成するモデル生成部、
を備える、学習済みモデル生成装置。