JP2023076347A - 異常検出装置および異常検出方法 - Google Patents

Abstract

【課題】小さな傷も含めて画像から異常を自動検出する技術を提供する。【解決手段】ニューラルネットワークを用いて、検査対象を撮影した検査用画像２に基づき検査対象の異常を検出する異常検出装置１であって、検査用画像２から欠損領域を有する欠損付与画像を複数生成する欠損付与画像生成部５と、欠損付与画像を入力すると欠損領域が補間された補間画像を出力するように学習された学習済みモデル７を用いた補間画像生成部８と、欠損付与画像生成部５が生成した複数の欠損付与画像を補間画像生成部８に入力することで当該補間画像生成部８から出力された複数の補間画像を合成して再構成画像を生成する再構成画像生成部１０と、再構成画像と検査用画像との差分に基づき検査用画像中の異常領域を検出して検査対象の異常判定を行う異常判定部１２とを備えている。【選択図】図１

Description

特許法第３０条第２項適用申請有り ２０２０年１１月２３日～２６日にオンライン開催した第２３回情報論的学習理論ワークショップ（ＩＢＩＳ２０２０）において、動画を用いて発表した。

本発明は、画像に基づいて検査対象の異常を検出する異常検出装置および異常検出方法に関する。

ディープラーニング技術を活用し画像に含まれる異常を検出するには、教師あり学習のための大量の訓練画像が必要である。しかし、異常を含む画像はあまり積極的に収集されることがない。一方、社会的には正常の検出よりも異常の検出がより重要であり、少ない異常データ例、あるいは極端には異常に関する教師データなしで、異常を検出する方法が必要とされている。近年、敵対的生成ネットワーク（ＧＡＮ）を用いた画像変換が盛んに研究されており、画像の欠損領域を補間する問題に対してもＧＬＣＩＣと呼ばれる技術が極めて自然な補間を実現し注目されている。このＧＬＣＩＣ用い、異常を含まない画像に対して意図的に与えた欠損を補間する過程を学習させれば、異常が含まれる領域では補間精度が有意に低下するため、異常画像例を用いずに異常領域の特定が可能となる。

Globally and Locally Consistent Image Completion [Iizuka et al., 2017]

精密機器の製造ラインにおける品質管理では、目視ですぐにわかる異常だけでなく、小さな傷も含めて高い精度で検出しなくてはならない。ところが、小さな傷まで考慮すると、考えられる異常の外観は非常に多様である。一方、製造ラインにおいて意図的に様々な異常を生み出すことは難しい。

そこで、本発明は、異常に関する先見的な知識を用いずに、小さな傷も含めて画像から異常を自動検出する技術を提供することを目的とする。

かかる目的を達成するため、本発明の異常検出装置は、ニューラルネットワークを用いて、検査対象を撮影した検査用画像に基づき検査対象の異常を検出するものであって、検査用画像から欠損領域を有する欠損付与画像を複数生成する欠損付与画像生成部と、欠損付与画像を入力すると欠損領域が補間された補間画像を出力するように学習された学習済みモデルを用いた補間画像生成部と、欠損付与画像生成部が生成した複数の欠損付与画像を補間画像生成部に入力することで当該補間画像生成部から出力された複数の補間画像を合成して再構成画像を生成する再構成画像生成部と、再構成画像と検査用画像との差分に基づき検査用画像中の異常領域を検出して検査対象の異常判定を行う異常判定部と、を備えている。

また、本発明の異常検出装置は、欠損付与画像生成部が生成する複数の欠損付与画像は欠損領域の位置が異なっている。
また、本発明の異常検出装置は、学習済みモデルが敵対的生成ネットワークにより構成されていても良い。
また、本発明の異常検出装置は、敵対的生成ネットワークが補間ネットワークと大域識別ネットワーク及び局所識別ネットワークとを備えてもの（ＧＬＣＩＣ）であっても良い。
また、本発明の異常検出装置は、異常判定部が、再構成画像と検査用画像との差分画像を生成する差分画像生成部と、差分画像中の異常領域の広さが所定の閾値を超えた場合に検査対象に異常があると判定する領域広さ判定部と、を備えていても良い。

さらに、本発明の異常検出方法は、ニューラルネットワークを用いて、検査対象を撮影した検査用画像に基づき検査対象の異常を検出するものであって、検査用画像から欠損領域を有する欠損付与画像を複数生成する欠損付与画像生成ステップと、欠損付与画像を入力すると欠損領域が補間された補間画像を出力するように学習された学習済みモデルを用いて、複数の補間画像を生成する補間画像生成ステップと、複数の補間画像を合成して再構成画像を生成する再構成画像生成ステップと、再構成画像と検査用画像との差分に基づき検査用画像中の異常領域を検出して検査対象の異常判定を行う異常判定ステップと、を備えるものである。

すなわち、ＧＬＣＩＣを用いて意図的に正常画像に与えた欠損を補間させることで、異常を含まない画像に対しては非常に高い精度で元画像を再構成することができる。一方、何らかの異常を含む領域では、再構成の精度に有意な差が生じるため、異常の存在を知ることができる。ＧＬＣＩＣは従来のディープラーニングよりも微細な構造まで再個性できるため、異常を含む訓練画像がなくても、何らかの異常があれば小さな傷も含めて検出することができる。
異常を含まない画像データに対しＧＬＣＩＣ手法を用いることで、異常を含む画像例を準備することなく小さな傷を含めて自動検出できるようになる。データ収集のコストを低減しつつ、より小さな傷を見つける異常検知が可能となる。

本発明によれば、検査対象を撮影した画像に基づく検査対象の異常検出の精度を向上させることができる。また、学習済みモデルの作成に異常データを不要にすることができる。

本発明の異常検出装置の一例を示すブロック図である。 図１の学習済みモデルの作成を示すブロック図である。 本発明の異常検出装置による異常検出の流れを示す概念図である。 画像の処理を説明するための図で、（Ａ）は検査対象に異常がない場合の検査用画像を示す図、（Ｂ）は検査対象に異常がない場合の欠損領域を示す図、（Ｃ）は検査対象に異常がない場合の補間画像を示す図、（Ｄ）は検査対象に異常がない場合の補間画像の欠損領域に対応する部分の拡大図、（Ｅ）は検査対象に異常がない場合の検査用画像の欠損領域に対応する部分の拡大図、（Ｆ）は検査対象に異常がある場合の検査用画像を示す図、（Ｇ）は検査対象に異常がある場合の欠損領域を示す図、（Ｈ）は検査対象に異常がある場合の補間画像を示す図、（Ｉ）は検査対象に異常がある場合の補間画像の欠損領域に対応する部分の拡大図、（Ｊ）は検査対象に異常がある場合の検査用画像の欠損領域に対応する部分の拡大図である。 画像の処理を説明するための図で、（Ａ）は検査対象に異常がない場合の検査用画像を示す図、（Ｂ）は検査対象に異常がない場合の再構成画像を示す図、（Ｃ）は検査対象に異常がない場合の差分画像を示す図、（Ｄ）は検査対象に異常がある場合の検査用画像を示す図、（Ｅ）は検査対象に異常がある場合の再構成画像を示す図、（Ｆ）は検査対象に異常がある場合の差分画像を示す図である。 本発明の異常検出方法の処理の手順を示すフローチャートである。

以下、本発明に係る異常検出装置の実施形態の一例について、図面を参照しながら説明する。
図１～図５に、本発明に係る異常検出装置を示す。異常検出装置１は、ニューラルネットワークを用いて、検査対象を撮影した検査用画像２に基づき検査対象の異常を検出するもので、検査用画像２から欠損領域３を有する欠損付与画像４を複数生成する欠損付与画像生成部５と、欠損付与画像４を入力すると欠損領域３が補間された補間画像６を出力するように学習された学習済みモデル７を用いた補間画像生成部８と、欠損付与画像生成部５が生成した複数の欠損付与画像４を補間画像生成部８に入力することで当該補間画像生成部８から出力された複数の補間画像６を合成して再構成画像９を生成する再構成画像生成部１０と、再構成画像９と検査用画像２との差分に基づき検査用画像２中の異常領域１１を検出して検査対象の異常判定を行う異常判定部１２とを備えている。本実施形態では、検査用画像２と再構成画像生成部１０によって生成された再構成画像９とに平滑化処理を行う平滑化処理部１３を備えている。

検査用画像２は、図示しない検査対象を撮影した画像であり、本実施形態では、予め撮影されたものがデータベース１７に記憶されている。データベース１７には多数の検査用画像２が記憶されており、その中から１枚ずつ順番に選択されて異常検出装置１に入力される。異常検出装置１に入力された検査用画像２は欠損付与画像生成部５と差分画像生成部１５に供給される。データベース１７に記憶されている検査用画像２は検査前のものであり、異常のないものの中に異常のあるものが含まれる可能性がある。

欠損付与画像生成部は、検査用画像２をもとにして欠損付与画像４を複数枚生成する。各欠損付与画像４の欠損領域３の位置は異なっている。本実施形態では、各欠損付与画像４の欠損領域３の位置をラスタースキャンのように画像の例えば左上から右下まで縦横に少しずつ、例えば１ピクセルずつずらしている。ただし、ずらす量は１ピクセルに限るものではない。各欠損付与画像４の欠損領域３の位置を一部重複させても良いし、重複しないように欠損領域３を設けても良い。また、各欠損付与画像４の欠損領域３の位置を規則的にずらしても良いし、ランダムにずらしても良い。

欠損領域３の大きさや形状は、検査用画像２の大きさ、異常の検出精度、要求される処理スピード等に応じて適宜決定される。また、１枚の検査用画像２に対して生成する欠損付与画像４の枚数：ｎも検査用画像２の大きさ、異常の検出精度、要求される処理スピード等に応じて適宜決定される。

補間画像生成部８は、ニューラルネットワークを用いた学習済みモデル７により構成されている。好ましくは、学習済みモデル７は敵対的生成ネットワーク（ＧＡＮ、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）により構成される。敵対的生成ネットワークを用いることで、欠損領域３の補間を精度よく行うことが可能になる。本実施形態では、敵対的生成ネットワークとして、ＧＬＣＩＣ（Ｇｌｏｂａｌｌｙ ａｎｄ Ｌｏｃａｌｌｙ Ｃｏｎｓｉｓｔｅｎｔ Ｉｍａｇｅ Ｃｏｍｐｌｅｔｉｏｎ）が採用され、欠損領域３の補間をより一層精度よく行うことが可能になる。

図２に示すように、学習済みモデル７は多数の訓練用画像１８を用いて教師なし学習を行うことで作成される。訓練用画像１８は検査対象の正常画像（良品画像）であり、例えばデータベース１９に記憶されている。

ＧＬＣＩＣを用いた学習済みモデル７は、３つのネットワーク、すなわち画像の補間を行う補間ネットワーク（ジェネレータ、Ｇｅｎｅｒａｔｏｒ）と、入力された画像が本物か偽物かを評価する大域識別ネットワーク（グローバルディスクリミネータ、Ｇｌｏｂａｌ Ｄｉｓｃｒｉｍｉｎａｔｏｒ）及び局所識別ネットワーク（ローカルディスクリミネータ、Ｌｏｃａｌ Ｄｉｓｃｒｉｍｉｎａｔｏｒ）を備えている。

補間ネットワークには欠損付与画像生成部２０が生成した欠損付与画像と訓練用画像１８とが入力され、欠損付与画像の欠損領域を補間した補間画像２１を出力するように機械学習される。一方、大域識別ネットワーク及び局所識別ネットワークには補間ネットワークが補間した識別画像２１又は訓練用画像１８が入力され、入力された画像の識別結果を出力するように機械学習される。補間ネットワークと大域識別ネットワーク及び局所識別ネットワークとを競わせることで、シーン全体で整合性が取れており、かつ局所的にも自然な補間画像２１の出力が可能になる。

このように、学習済みモデル７は正常データ（正常画像）のみを用いて画像の欠損補間を行うように学習されており、正常データの生成は可能であるが、異常データ（画像の中の異常領域）を良好に生成することはできない。異常検出装置１は、これを利用して検査用画像２中の異常領域３を検出する。

欠損付与画像生成部５及び補間画像生成部８は画像を１枚ずつ処理する。すなわち、欠損付与画像生成部５によって欠損付与画像４が１枚生成されると、補間画像生成部８が補間画像６を生成する。生成された補間画像６は図示しないメモリに一旦記憶される。その後、欠損付与画像生成部５が次の欠損付与画像４を生成し、以降、同様の処理が繰り返される。予め決定されている所定枚数：ｎ枚の補間画像６が生成されるまで、欠損付与画像４の生成と補間画像６の生成が繰り返される。

再構成画像生成部１０は、補間画像６を全てメモリから読み出して合成し、１枚の再構成画像９を生成する。

平滑化処理部１３は、再構成画像生成部１０が生成した再構成画像９の平滑化を行う。本実施形態では、平滑化にガウシアンフィルタを使用するが、これに限るものではない。例えば、平均値フィルタ、重み付き平均値フィルタメディアンフィルタ等の使用も可能である。
また、平滑化処理部１３は、差分画像生成部１５に供給される検査用画像２の平滑化も行う。本実施形態では、平滑化にガウシアンフィルタを使用するが、これに限るものではない。例えば、平均値フィルタ、重み付き平均値フィルタメディアンフィルタ等の使用も可能である。

異常判定部１２は、再構成画像９と検査用画像２との差分画像１４を生成する差分画像生成部１５と、差分画像１４中の異常領域１１の広さが所定の閾値Ｔ１を超えた場合に検査対象に異常があると判定する異常領域広さ判定部１６を備えている。

差分画像生成部１５は、平滑化処理部１３によって平滑化された再構成画像９と検査用画像２との差分画像１４を生成する。差分画像生成部１５は、平滑化された再構成画像９と検査用画像２とを同座標の画素毎に比較して差ｄを求め、その差ｄを差分画像１４として表現する。そして、異常領域広さ判定部１６は、その差ｄが予め決定しておいた閾値Ｔ２よりも大きな画素が集合している領域を異常領域１１とし、異常領域１１の広さ、換言すると異常領域１１に含まれる画素（差ｄが閾値Ｔ２よりも大きな画素）の数が予め決定しておいた閾値Ｔ１を超えた場合に検査対象に異常があると判定する。

なお、閾値Ｔ１，Ｔ２は、検査用画像２の状態や異常検出に要求される精度等に応じて適宜設定される。

図４（Ａ）～（Ｅ）に、検査用画像２に異常領域１１が写っていない場合、すなわち、検査対象に異常がない場合の画像を示す。同図（Ａ）は検査用画像２、同図（Ｂ）は欠損領域３が付与された欠損付与画像４、同図（Ｃ）は補間画像６、同図（Ｄ）は補間画像６の欠損領域３に対応する部分の拡大図、同図（Ｅ）は検査用画像２の欠損領域３に対応する部分の拡大図である。学習済みモデル７は正常データ（正常画像）のみを用いて画像の欠損補間を行うように学習されているので、正常データ（異常領域１１が写っていない検査用画像２）については欠損領域３に対応する領域をうまく生成することができる（同図（Ｄ））。

また、図４（Ｆ）～（Ｊ）に、検査用画像２に異常領域１１が写っている場合、すなわち、検査対象に異常がある場合の画像を示す。同図（Ｆ）は検査用画像２、同図（Ｇ）は異常領域１１に対応する位置に欠損領域３が付与された欠損付与画像４、同図（Ｈ）は補間画像６、同図（Ｉ）は補間画像６の欠損領域３に対応する部分の拡大図、同図（Ｊ）は検査用画像２の欠損領域３に対応する部分（即ち、異常領域１１に対応する領域）の拡大図である。学習済みモデル７は正常データ（正常画像）のみを用いて画像の欠損補間を行うように学習されているので、検査用画像２の欠損領域３をうまく再現することができない（同図（Ｉ））。

図５（Ａ）～（Ｃ）に、検査用画像２に異常領域１１が写っていない場合、すなわち、検査対象に異常がない場合の差分画像１４を示す。同図（Ａ）は検査用画像２、同図（Ｂ）は再構成画像９、同図（Ｃ）は差分画像１４である。また、図５（Ｄ）～（Ｆ）に、検査用画像２に異常領域１１が写っている場合、すなわち、検査対象に異常がある場合の差分画像１４を示す。同図（Ｄ）は検査用画像２、同図（Ｅ）は再構成画像９、同図（Ｆ）は差分画像１４である。

学習済みモデル７は正常データ（正常画像）のみを用いて画像の欠損補間を行うように学習されているので、正常データ（異常領域１１が写っていない検査用画像２）についての再構成画像９の生成は可能であるが（同図（Ｂ））、異常データ（異常領域１１が写っている検査用画像２）をうまく生成することはできない（同図（Ｅ））。そのため、同図（Ｂ）の再構成画像９は検査用画像２と近いものとなり、差分画像１４はいずれの画素も閾値Ｔ２を超えることはない（同図（Ｃ））。一方、同図（Ｅ）の再構成画像９には異常領域１１が再現されておらず、異常領域１１についての画素は検査用画像２の画素と遠くなる。したがって、同図（Ｆ）の差分画像１４の異常領域１１に対応する画素は閾値Ｔ２よりも大きくなり、異常領域１１の検出が可能になる。

欠損付与画像生成部５、補間画像生成部８、平滑化処理部１３、再構成画像生成部１０、異常判定部１２は、コンピュータに所定のプログラムを実行させることで実現される。

次に、本発明の異常検出方法について説明する。図６に、異常検出方法を示す。異常検出方法は、ニューラルネットワークを用いて、検査対象を撮影した検査用画像２に基づき検査対象の異常を検出するもので、検査用画像２から欠損領域３を有する欠損付与画像４を複数生成する欠損付与画像生成ステップＳ５１と、欠損付与画像４を入力すると欠損領域３が補間された補間画像６を出力するように学習された学習済みモデル７を用いて、複数の補間画像６を生成する補間画像生成ステップＳ５２と、複数の補間画像６を合成して再構成画像９を生成する再構成画像生成ステップＳ５５と、再構成画像９と検査用画像２との差分に基づき検査用画像２中の異常領域１１を検出して検査対象の異常判定を行う異常判定ステップＳ５６とを有している。本実施形態では、再構成画像９と検査用画像２に平滑化処理を行う平滑化処理ステップＳ５３を有している。

また、異常判定ステップＳ５６は、再構成画像９と検査用画像２との差分画像１４を生成する差分画像生成ステップＳ５７と、差分画像１４中の異常領域１１の広さが所定の閾値Ｔ１を超えた場合に検査対象に異常があると判定する異常領域広さ判定ステップＳ５８を有している。

本発明の異常判定方法では、検査用画像２に基づく異常判定を行うための準備として、まず、学習済みモデル７が作成される。学習済みモデル７は訓練用画像１８を使用した教師なし学習によって作成される。この学習済みモデル７は補間画像生成部８として異常検出装置１に組み込まれる。

また、検査対象を撮像した画像（検査用画像２）が予めデータベース１７に記憶されている。

そして、データベース１７の検査用画像２が異常検出装置１に入力されると、異常検出が開始される。検査用画像２は欠損付与画像生成部５と差分画像生成部１５に供給される。
欠損付与画像生成部５では、検査用画像２から欠損付与画像４が生成される（ステップＳ５１）。まず最初に、例えば画像の左上に欠損領域３が付与された欠損付与画像４が生成される。この１枚目の欠損付与画像４は補間画像生成部８に入力される。

補間画像生成部８では欠損領域３を補間した補間画像６が生成され、図示しないメモリに保存される。

その後、ステップＳ５１に戻り（ステップＳ５４：Ｎｏ）、２枚目の欠損付与画像４が生成される（ステップＳ５１）。そして、ステップＳ５２の処理が実行され、２枚目の補間画像６が生成されてメモリに保存される。これらの処理は、ｎ枚の欠損付与画像４について行われる。

そして、ｎ枚の欠損付与画像４について処理が終了すると（ステップＳ５４：Ｙｅｓ）、ステップＳ５４からステップＳ５５に進み、再構成画像生成部１０によって再構成画像９が生成される。再構成画像生成部１０はメモリからｎ枚の補間画像６を読み込み、合成し、１枚の再構成画像９を生成する。

再構成画像９は平滑化処理部１３に出力される。平滑化処理部１３では再構成画像９と検査用画像２に平滑化処理が施される（ステップＳ５３）。平滑化処理が行われた
再構成画像９と検査用画像２は異常判定部１２の差分画像生成部１５に供給され（ステップＳ５６）、差分画像生成部１５によって差分画像１４が生成される（ステップＳ５７）。そして、異常領域広さ判定部１６によって差分画像１４中の異常領域１１が閾値Ｔ１と比較され、異常領域１１の広さが閾値Ｔ１を超えた場合（異常領域１１の広さ＞閾値Ｔ１）には、検査対象に異常があると判定される（ステップＳ５８）。一方、異常領域１１の広さが閾値Ｔ１以下の場合（異常領域１１の広さ≦閾値Ｔ１）には、検査対象に異常はないと判定される（ステップＳ５８）。判定結果は、例えば、図示しない表示装置に供給されて表示される。

なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
例えば、上述の説明では、検査用画像２を予めデータベース１７に記憶しておき、その中から1枚ずつ選択されて異常検出装置１に入力されていたが、必ずしもこの構成に限るものではなく、例えば、カメラ等の撮影装置から直接入力させるようにしても良い。

本発明の画像認識装置１及び画像認識方法は、特に産業用ロボット、家庭用ロボット等の画像認識等に好適であるが、これらに限るものではない。

例えば、自動車、構造物、医療等の産業で、視覚にて判断していた異常検知を必要とする分野に適用できる。

１ 異常検出装置
２ 検査用画像
３ 欠損領域
４ 欠損付与画像
５ 欠損付与画像生成部
６ 補間画像
７ 学習済みモデル
８ 補間画像生成部
９ 再構成画像
１０ 再構成画像生成部
１１ 異常領域
１２ 異常判定部
１３ 平滑化処理部
１４ 差分画像
１５ 差分画像生成部
１６ 異常領域広さ判定部
１７ データベース
１８ 訓練用画像
１９ データベース
２０ 欠損付与画像生成部
２１ 補間画像

Claims (6)

1. ニューラルネットワークを用いて、検査対象を撮影した検査用画像に基づき前記検査対象の異常を検出する異常検出装置であって、
   前記検査用画像から欠損領域を有する欠損付与画像を複数生成する欠損付与画像生成部と、
   前記欠損付与画像を入力すると前記欠損領域が補間された補間画像を出力するように学習された学習済みモデルを用いた補間画像生成部と、
   前記欠損付与画像生成部が生成した複数の欠損付与画像を前記補間画像生成部に入力することで当該補間画像生成部から出力された複数の補間画像を合成して再構成画像を生成する再構成画像生成部と、
   前記再構成画像と前記検査用画像との差分に基づき前記検査用画像中の異常領域を検出して前記検査対象の異常判定を行う異常判定部と、
   を備えることを特徴とする異常検出装置。
2. 前記欠損付与画像生成部が生成する複数の欠損付与画像は欠損領域の位置が異なっていることを特徴とする請求項１記載の異常検出装置。
3. 前記学習済みモデルは敵対的生成ネットワークにより構成されていることを特徴とする請求項１又は２に記載の異常検出装置。
4. 前記敵対的生成ネットワークは補間ネットワークと大域識別ネットワーク及び局所識別ネットワークとを備えていることを特徴する請求項３記載の異常検出装置。
5. 前記異常判定部は、
   前記再構成画像と前記検査用画像との差分画像を生成する差分画像生成部と、
   前記差分画像中の異常領域の広さが所定の閾値を超えた場合に前記検査対象に異常があると判定する領域広さ判定部と、
   を備えることを特徴とする請求項１から４のいずれかに記載の異常検出装置。
6. ニューラルネットワークを用いて、検査対象を撮影した検査用画像に基づき前記検査対象の異常を検出する異常検出方法であって、
   前記検査用画像から欠損領域を有する欠損付与画像を複数生成する欠損付与画像生成ステップと、
   前記欠損付与画像を入力すると前記欠損領域が補間された補間画像を出力するように学習された学習済みモデルを用いて、複数の補間画像を生成する補間画像生成ステップと、
   複数の前記補間画像を合成して再構成画像を生成する再構成画像生成ステップと、
   前記再構成画像と前記検査用画像との差分に基づき前記検査用画像中の異常領域を検出して前記検査対象の異常判定を行う異常判定ステップと、
   を備えることを特徴とする異常検出方法。

Images