JP2023008416A - 異常検知システムおよび異常検知方法 - Google Patents

Abstract

【課題】検査対象画像と復元画像とを用いて異常を検知する手法において、過検知の発生を抑制し、異常の検知精度を向上させる異常検知システムおよび異常検知方法を提供することである。【解決手段】異常検知システムであって、検査対象の検査対象画像を取得する取得部と、正常である検査対象の画像を教師データとして利用し学習された学習モデルに、前記検査対象画像を入力し、復元画像を生成する復元画像生成部と、前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、を用いて、前記検査対象画像中の検査対象が異常か否かを判定する検知部と、を備える。【選択図】図２

Description

本発明は、異常検知システムおよび異常検知方法に関する。

従来、画像解析により検査対象の異常を検知する手法として、異常のない良品の画像と異常を含む不良品の画像とを学習させ、モデルを生成し、該モデルを用いて、検査対象の異常を検知するものがある。しかし、検査対象によっては、不良品が発生する頻度が低く、不良品の画像が十分に収集できない場合がある。

そこで、例えば、特許文献１では、良品の画像を学習用画像として用い学習されたニューラルネットワークにより、検査対象画像から復元画像（疑似画像）を生成し、検査対象画像と、復元画像との差分に基づき、検査対象に異常があることを検知する技術が開示されている。

特開２０２０－１６０９９７号公報

ここで、発明者らは、このような検査対象画像と復元画像との差分を用いて異常を検知する手法に関して、本来は良品である検査対象が異常として検知される、いわゆる過検知が発生しやすい、という問題点を見出した。

例えば、溶接により形成される溶接痕のように、良品の中でも形状などにばらつきがある検査対象の画像を検査する場合や、検査対象の撮像環境の問題から検査対象画像中における検査対象の位置や方向にずれ・ばらつきがある検査対象の画像を検査する場合に、これらのばらつきなどにより、本来は良品である検査対象が異常として検知され、過検知が生じやすいという課題がある。

本発明は、このような事情に鑑みなされたものであって、過検知の発生を抑制し、異常の検知精度を向上させる異常検知システムおよび異常検知方法を提供するものである。

本発明の一態様に係る異常検知システムは、
検査対象の検査対象画像を取得する取得部と、
正常である検査対象の画像を教師データとして利用し学習された学習モデルに、前記検査対象画像を入力し、復元画像を生成する復元画像生成部と、
前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、を用いて、前記検査対象画像中の検査対象が異常か否かを判定する検知部と、
を備えるものである。

このような構成により、従来の検査対象画像と復元画像との差分を用いて異常を検知する方法では、明るさなどのばらつきにより過検知が発生していた検査対象であっても、検査対象の画像から生成された復元画像と、正常である検査対象の画像から生成された正常復元画像と、が近しい画像になるため、過検知の発生を抑制し、異常の検知精度を向上させることができる。

上記態様の異常検知システムにおいて、前記検知部は、前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、の類似度を用いて、前記検査対象画像中の検査対象が異常か否かを判定するものであってもよい。

このような構成により、より高い精度で異常か否かを判定することできるため、過検知の発生を抑制し、異常の検知精度を向上させることができる。

上記態様の異常検知システムにおいて、さらに、前記検査対象画像と前記復元画像との差分を用いて、前記検査対象画像中の検査対象が異常か否かを判定する予備検知部を、備え、前記検知部は、前記予備検知部により異常と判定された検査対象が異常か否かを再判定するものであってもよい。

このような構成により、必要な演算処理が少ない差分を用いた判定を予備検知部で行い、異常と判定された検査対象のみを検知部にて再判定するため、異常処理に要する時間を短くすることができる。

上記態様の異常検知システムにおいて、前記学習モデルは、敵対的生成ネットワークを用いた学習モデルであってもよい。

このような構成により、復元画像生成部により生成される復元画像の再現性を高くすることができ、異常の検知精度を向上させることができる。

上記態様の異常検知システムにおいて、前記検査対象が、部材に溶接により形成される溶接痕であってもよい。

このような構成により、特に、形状などのばらつきがあることにより過検知が生じやすい溶接痕の異常検知おいて、過検知の発生を抑制し、異常の検知精度を向上させることができる。

上記態様の異常検知システムにおいて、前記検査対象画像が、生産ラインにおいて撮像された画像であってもよい。

このような構成により、特に、検査対象の位置や方向にずれ・ばらつきがあることにより過検知が生じやすい生産ラインにおいて撮像された画像を用いた異常検知おいて、過検知の発生を抑制し、異常の検知精度を向上させることができる。

本発明の一態様に係る異常検知方法は、
検査対象の検査対象画像を取得する取得ステップと、
正常である検査対象の画像を教師データとして利用し学習された学習モデルに、前記検査対象画像を入力し、復元画像を生成する復元画像生成ステップと、
前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、を用いて、前記検査対象画像中の検査対象が異常か否かを判定する検知ステップと、
を備えるものである。

本発明により、過検知の発生を抑制し、異常の検知精度を向上させる異常検知システムおよび異常検知方法を提供することができる。

第１の実施形態にかかる異常検知システムのハードウェア構成の概略を示す ブロック図。 第１の実施形態にかかる異常検知システムの機能構成を示すブロック図。 第１の実施形態にかかる異常検知システムの異常検知処理を示すフロー図。 明るさなどにばらつきがない正常である検査対象を撮像した撮像画像、復元 画像、差分画像を模式的に示す説明図。 明るさなどにばらつきがあるが、正常である検査対象を撮像した撮像画像、 復元画像、差分画像を模式的に示す説明図。 不良部位を含み、異常である検査対象を撮像した撮像画像、復元画像、差分 画像を模式的に示す説明図。 検査対象の復元画像を模式的に示す説明図。

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

＜第１の実施形態＞
まず、第１の実施形態にかかる異常検知システムについて説明する。図１は、本実施形態に係る異常検知システムのハードウェア構成の概略を示すブロック図である。

図１に示すように、異常検知システム１００は、パーソナルコンピュータなどの一般的な情報処理装置が有するコンピュータ資源を有している。具体的には、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＨＤＤ（Hard Disk Drive）１０４と、通信インターフェース（I／F）１０５と、入出力インターフェース（I／F）１０６と、を備えている。また、これらの各部は、データバス１０７を介して相互に通信可能に接続されている。なお、ここでは、異常検知システム１００の各部が一般的な情報処理装置により実現される例について説明するが、これらの一部又は全ての機能が、エッジやクラウド等の外部装置において、実現されてもよい。

ＣＰＵ１０１は、異常検知システム１００を統括的に制御するマイクロプロセッサである。具体的には、ＲＯＭ１０２、ＨＤＤ１０４に記憶された本実施形態において実行される各種の制御プログラムを読み出し、ＲＡＭ１０３上に展開されたこれらのプログラムを実行する。ここで、記憶装置として、ＨＤＤ１０４に替えて、または加えて、ＳＳＤ（Solid State Drive）が備えられていてもよい。

通信インターフェース１０５は、異常検知システム１００と外部装置との通信を行う。本実施形態では、検査対象の画像を撮像する撮像装置などの外部装置から、検査対象の画像を受信する。ここで、通信は、無線有線を問わず、種々の通信技術により実現される。

入出力インターフェース１０６は、異常検知システム１００と外部との入出力を行う。例えば、異常検知の情報を表示するディスプレイなどの出力装置や、オペレータが使用するための入力装置が備えられていてもよい。

次に、本実施形態に係る異常検知システムの機能構成を説明する。図２は、本実施形態に係る異常検知システムの機能構成を示すブロック図である。

図２に示すように、異常検知システム１００は、機能構成として、取得部２０１と、復元画像生成部２０２と、予備検知部２０３と、検知部２０４と、を備えている。これらは、ＣＰＵ１０１により、ＲＯＭ１０２などに記憶された各種の制御プログラムが実行されることによって機能する。また、異常検出システム１００の機能の一部または全ての機能は、ハードウェア回路によって実現されてもよい。

取得部２０１は、外部装置から撮像画像を取得する。具体的には、検査対象の異常を検知する場合、検査の対象となる検査対象画像と、正常である検査対象の正常画像と、を取得する。ここで、正常画像とは、異常を有しないことが確認された検査対象の画像である。取得された検査対象画像は、復元画像生成部２０２と、予備検知部２０３とに出力され、取得された正常画像は、復元画像生成部２０２に出力される。なお、ここでは、撮像画像を外部装置である撮像装置から取得する例について説明するが、撮像装置が異常検知システムに含まれる構成で実現されてもよい。

復元画像生成部２０２は、取得部２０１から出力された検査対象画像と、正常画像とを、予め正常画像を教師データとして利用し学習された学習モデルに入力することで、これらの撮像画像を復元した復元画像を生成する。本学習モデルの学習方法については、後に詳細に説明する。検査対象画像を復元した復元画像は、予備検知部に出力され、正常画像を復元した正常復元画像は、検知部に出力される。

予備検知部２０３は、取得部２０１から出力された検査対象画像と、復元画像生成部２０２から出力された復元画像との差分を用いて、検査対象が異常か否かを判定する。具体的には、まず、検査対象画像の画素値から復元画像の画素値を減算することによって、これらの差分画像を生成する。次に、生成された差分画像に含まれる画素値の合計値が予め定められた閾値より大きいか否かを判定し、大きい場合に異常と判定する。そして、異常と判定された検査対象の復元画像は、検知部に出力される。また、ここでは、検査対象画像の画素ごとに、これに対応する位置の復元画像の画素をそれぞれ減算することによって、差分画像を生成するが、差分画像は、複数の画素を含むグループごとの差分を用いて生成されてもよい。

検知部２０４は、予備検知部２０３により異常と判定され、出力された検査対象の復元画像と、復元画像生成部２０２から出力された正常画像を復元した復元画像である正常復元画像と、を用いて、検査対象が異常か否かを再判定する。具体的には、まず、これらの画像の類似度を算出する。例えば、正規化相関法（ＮＣＣ）、エッジ特徴ベースで類似度を算出する形状パターンマッチングなど、種々の類似度算出法により類似度を算出することができる。算出された類似度が予め定められた閾値より低いか否かを判定し、低い場合に異常と判定する。また、ここでは、検査対象の復元画像と、正常画像を復元した復元画像である正常復元画像との類似度を算出し、異常か否かを判定しているが、予備検知部による手法と同様に、これらの画像から差分画像を生成し、差分画像に含まれる画素値から、異常か否かを判定してもよい。このように、検知部により異常か否かが再判定され、異常検知の情報が入出力インターフェース１０６に出力される。

ここで、本実施形態の予備検知部２０３と検知部２０４との異常判定方法を比較すると、予備検知部２０３による異常判定方法は、比較する画像同士の差分をとるのみで判定することができるため、検知部２０４の類似度を算出する方法に対して判定の精度は低くなるものの、必要な演算処理が少なく、処理時間が短くなる。したがって、本実施形態では、予備検知部２０３により、予め検査対象が異常か否かを判定し、異常と判定された検査対象のみを検知部２０４により再判定することで、過検知を抑制しつつ、全体として検査に要する時間を短くすることができる。

また、ここでは、異常検知システム１００の機能構成として、予備検知部２０３を備える例を説明したが、予備検知部２０３を備えない機能構成を有していてもよい。その場合、復元画像生成部２０２で生成された検査対象の復元画像と、正常画像を復元した正常復元画像は、検知部２０４に直接出力される。そして、検知部２０４は、検査対象の復元画像と、正常画像を復元した正常復元画像とを用いて、検査対象が異常か否かを判定する。

次に、本実施形態に係る学習モデルの学習方法について説明する。本実施形態では、異常検知処理を実行する前段階として、復元画像生成部２０２が有する学習モデルであるニューラルネットワークの学習を行う。

ニューラルネットワークの学習を行う場合、取得部２０１は、正常である検査対象の撮像画像である正常画像を教師データとして取得する。ここで、取得部２０１は、教師データとして取得する正常画像の数に対し、予め設定された割合以下の少数であれば、異常を含む検査対象の画像を取得しても良い。

取得された教師データを用いて、復元画像生成部２０２が有する学習モデルである敵対的生成ネットワーク（ＧＡＮ）の学習を行う。具体的には、復元画像生成部２０２は、取得された教師データから疑似データを生成するニューラルネットワークを有する生成器と、疑似データの真偽の判定をするニューラルネットワークを有する弁別器と、を備えており、教師データと、生成器により生成された疑似データとを用いて、生成器と、弁別器と、を学習させる。このように、敵対的生成ネットワークを用いることで、復元画像の再現性を高くすることができる。本実施形態では、このように学習された学習モデルに対して、検査対象画像を入力することで、復元画像を生成する。

次に、本実施形態に係る異常検知システム１００の異常検知処理フローについて説明する。図３は、本実施形態に係る異常検知処理のフロー図である。本フローは、前述した学習モデルの学習が完了した状態において開始する。また、好ましくは、正常画像を復元した正常復元画像は、予め異常検知システム１００において、記憶されていることが望ましい。

本説明では、図４から図７の画像を模式的に示した説明図（以下、画像と称する。）を適宜用い、検査対象として、部品などの各種部材に溶接により形成される溶接痕を例に挙げて説明する。具体的には、図４（ａ）は、明るさなどのばらつきがない正常である溶接痕を撮像した画像である、図５（ａ）は、正常であるものの、明るさなどのばらつきにより局所的に色が異なる部位５Ａを含む溶接痕を撮像した画像である、図６（ａ）は、不良部位６Ａを含み、異常である溶接痕を撮像した画像である。

まず、Ｓ１１では、取得部２０１が、外部装置によって撮像された図４（ａ）、図５（ａ）、図６（ａ）に示すような検査対象画像を取得する。

次に、Ｓ１２では、復元画像生成部２０２が、取得部２０１から出力された検査対象画像を、予め学習済みの学習モデルに入力することで、これらの撮像画像を復元した復元画像を生成する。具体的には、図４（ｂ）、図５（ｂ）、図６（ｂ）は、それぞれ図４（ａ）、図５（ａ）、図６（ａ）の画像を、学習モデルに入力し、生成した復元画像である。ここで、前述したように、本学習モデルは、正常画像を教師データとして学習された学習モデルであるため、入力した撮像画像は、正常画像に近しい画像として復元される。したがって、図５（ａ）、図６（ａ）の画像で確認された局所的に色が異なる部位５Ａ、不良部位６Ａは、復元画像である図５（ｂ）、図６（ｂ）において、それぞれ復元されない。一方で、図５（ａ）の画像は、局所的に色が異なる部位５Ａを含む以外は図４（ａ）の画像と同様に正常な溶接痕の画像であるため、復元された図５（ｂ）の復元画像は、図４（ａ）の画像が復元された図４（ｂ）の復元画像と比較的近しい画像となるのに対して、図６（ａ）の画像は不良部位６Ａを含むため、画像の特徴量が変わり、復元された図６（ｂ）の復元画像は、ぼやけた画像となる。

次に、Ｓ１３では、予備検知部２０３が、撮像画像と復元画像との差分を用いて、検査対象が異常か否かを判定する。具体的には、まず、図４（ａ）、図５（ａ）、図６（ａ）に示す撮像画像と、図４（ｂ）、図５（ｂ）、図６（ｂ）に示す復元画像との差分により、図４（ｃ）、図５（ｃ）、図６（ｃ）に示す差分画像を生成する。ここで、明るさなどのばらつきがない正常な溶接痕の差分画像である図４（ｃ）は、図４（ａ）と図４（ｂ）とが近しい画像となるため、差分が小さくなる。一方で、図５（ｃ）、図６（ｃ）に示す差分画像は、前述したように、復元画像である図５（ｂ）、図６（ｂ）において、局所的に色が異なる部位５Ａ、不良部位６Ａがそれぞれ復元されないため、差分が大きくなる。次に、差分が予め定めた閾値より大きいか否かを判定する。図４（ｃ）に示す差分画像のように、差分が予め定めた閾値より小さい場合、予備検知部２０３は、当該検査対象は異常なしと判定し、本フローは終了する。一方で、図５（ｃ）、図６（ｃ）に示す差分画像のように、差分が予め定めた閾値より大きい場合、Ｓ１４へと進む。

ここで、図５（ａ）に示す撮像画像は、正常である溶接痕の撮像画像であるにもかかわらず、Ｓ１３、すなわち、検査対象画像と復元画像との差分を用いた判定おいては、検査対象は異常なしと判定されない。つまり、検査対象画像の明るさにばらつきがある場合や、形状にばらつきがある場合、学習モデルの学習に用いる正常な画像が、全ての正常な画像を網羅することができないため、正常である画像であっても適切に復元できず、結果として、差分に基づいて、検査対象が異常であると検知されてしまう、いわゆる過検知の問題が生じる。一方で、図４（ａ）に示す撮像画像は、Ｓ１３において、検査対象は異常なしと判定され、検知部２０４による再判定が不要となり、異常検知処理に要する処理時間を短くすることができる。

次に、Ｓ１４では、検知部２０４が、予備検知部２０３により異常が検知された検査対象の復元画像と、復元画像生成部２０２により生成され、又は、予め異常検知システム１００に記憶された、正常画像を復元した正常復元画像と、を用いて、検査対象が異常か否かを再判定する。具体的には、まず、これらの画像の類似度を算出する。図７（ａ）には、正常である溶接痕を撮像した画像を復元した正常復元画像を、図７（ｂ）には、図５（ｂ）に示す検査対象の復元画像を、図７（ｃ）には、図６（ｂ）に示す検査対象の復元画像を示す。ここで、明るさなどのばらつきにより局所的に色が異なる部位５Ａを含む溶接痕を撮像した画像の復元画像である図７（ｂ）は、前述したように、局所的に色が異なる部位５Ａを含む以外は正常な溶接痕の画像の復元画像であるため、正常復元画像である図７（ａ）と、高い類似度を示す。一方で、不良部位６Ａを含み、異常である溶接痕を撮像した画像の復元画像である図７（ｃ）は、ぼやけた画像となるため、正常復元画像である図７（ａ）と、低い類似度を示す。次に、算出した類似度が予め定めた閾値より低いか否かを判定する。図７（ｂ）に示す検査対象の復元画像のように、類似度が高い場合、検知部２０４は、当該検査対象は異常なしと判定し、本フローは終了する。一方で、図７（ｃ）に示す検査対象の復元画像のように、類似度が低い場合、検知部２０４は、当該検査対象は異常と判定し、本フローは終了する。なお、本フローでは省略するが、これらの異常検知の情報を入出力インターフェース１０６に出力する工程を加えてもよい。

また、ここでは、異常検知システム１００の異常検知処理フローとして、Ｓ１３を備える例を説明したが、Ｓ１３を備えない異常検知処理フローであってもよい。その場合、Ｓ１２において、復元画像が生成された後、直接Ｓ１４へと進む。そして、Ｓ１４において、検知部２０４が、検査対象の復元画像と、正常画像を復元した正常復元画像と、を用いて、検査対象が異常か否かを判定する。この異常検知処理フローにおいて、同様に、図４（ａ）、図５（ａ）、図６（ａ）に示す撮像画像中の検査対象の異常検知処理を実施すると、Ｓ１３を備えないため、Ｓ１４において、図４（ａ）、図５（ａ）に示す撮像画像における検査対象は、異常なしと判定され、図６（ａ）に示す撮像画像における検査対象は、異常と判定される。

以上、説明したように、本実施形態に係る異常検知システム１００の異常検知処理フローにより、図４（ａ）に示す明るさなどにばらつきがない正常である溶接痕と、図５（ａ）に示す正常であるものの、明るさなどのばらつきにより局所的に色が異なる部位を含む溶接痕の検査対象は、異常なしと判定され、他方、図６（ａ）に示す不良部位を含み、異常である溶接痕の検査対象は、異常と判定される。すなわち、予備検知部２０３による異常の判定（Ｓ１３）で、明るさのばらつきや、形状のばらつきにより、前述した過検知の問題が発生する場合にも、検知部２０４による異常の判定（Ｓ１４）では、過検知の発生を抑制し、異常の検知精度を向上させることができる。ここで、本実施形態に係る異常検知システム１００の異常検知処理は、検査対象が限定されるものではないが、特に、形状や明るさにばらつきが生じやすい溶接痕を検査対象とする場合や、撮像環境の問題から検査対象画像中における検査対象の位置や方向にずれ・ばらつきが発生しやすい生産ラインで検査対象の画像が撮像される場合に、好適である。

＜その他の実施形態＞
第１の実施形態では、復元画像生成部２０２が有する学習モデルとして、敵対的生成ネットワーク、具体的には、ＧＡＮを例に挙げて説明したが、ＧＡＮ以外にも他の敵対的生成ネットワークであるＣＧＡＮ、ＤＣＧＡＮ、ＳＲＧＡＮ、ＣｙｃｌｅＧＡＮ、ＶＡＥＧＡＮなど、種々の敵対的生成ネットワークを用いることができる。また、ＧＡＮ以外にも、ＡＥ、ＶＡＥ、ＣＶＡＥなど、種々のオートエンコーダが用いられてもよい。

なお、本発明は、上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、異常検知システム以外にも、異常検知装置、異常検知方法、その方法を実現するコンピュータプログラムなど、種々の形態で実現することもできる。

１００ 異常検知システム
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ 通信Ｉ／Ｆ
１０６ 入出力Ｉ／Ｆ
１０７ データバス
２０１ 取得部
２０２ 復元画像生成部
２０３ 予備検知部
２０４ 検知部

Claims (7)

1. 検査対象の検査対象画像を取得する取得部と、
   正常である検査対象の画像を教師データとして利用し学習された学習モデルに、前記検査対象画像を入力し、復元画像を生成する復元画像生成部と、
   前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、を用いて、前記検査対象画像中の検査対象が異常か否かを判定する検知部と、
   を備える異常検知システム。
2. 前記検知部は、前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、の類似度を用いて、前記検査対象画像中の検査対象が異常か否かを判定する、
   請求項１に記載の異常検知システム。
3. さらに、前記検査対象画像と前記復元画像との差分を用いて、前記検査対象画像中の検査対象が異常か否かを判定する予備検知部を、備え、
   前記検知部は、前記予備検知部により異常と判定された検査対象が異常か否かを再判定する、
   請求項２に記載の異常検知システム。
4. 前記学習モデルは、敵対的生成ネットワークを用いた学習モデルである、
   請求項１から３のいずれか一項に記載の異常検知システム。
5. 前記検査対象が、部材に溶接により形成される溶接痕である、
   請求項１から４のいずれか一項に記載の異常検知システム。
6. 前記検査対象画像が、生産ラインにおいて撮像された画像である、
   請求項１から５のいずれか一項に記載の異常検知システム。
7. 検査対象の検査対象画像を取得する取得ステップと、
   正常である検査対象の画像を教師データとして利用し学習された学習モデルに、前記検査対象画像を入力し、復元画像を生成する復元画像生成ステップと、
   前記復元画像と、前記学習モデルに正常である検査対象の画像を入力し生成された復元画像である正常復元画像と、を用いて、前記検査対象画像中の検査対象が異常か否かを判定する検知ステップと、
   を備える異常検知方法。

Images