JP2019095932A - 異常判定方法及び装置 - Google Patents

Abstract

【課題】経験や試行錯誤を必要とせずに簡便に特徴量を作成でき、特徴量に基づいた確度の高い異常判定を可能とする異常判定方法及び装置を提供する。【解決手段】上記の課題は、本発明の実施形態による異常判定装置１０により解決される。異常判定装置１０は、画像を取得する画像取得部１１と、画像を学習済みニューラルネットワークへ入力させ、当該学習済みニューラルネットワークの中間層の出力に基づき、画像に対応する特徴量を抽出する特徴量抽出部１２と、特徴量の任意の二つの多次元空間における距離に関する距離閾値と、当該二つの特徴量間のコサイン類似度に関する角度閾値との一方又は双方を設定する閾値設定部１４と、距離閾値と角度閾値の一方又は双方に基づいて被検査体の外観が異常か否かを判定する異常判定部１５とを備える。【選択図】図１

Description

本発明は、物品の外観上の異常を判定する異常判定方法及び装置に関する。

物品表面の異常判定は、一般に、検査対象となる物品の画像のデータを撮像し、撮像された画像のデータを、予め登録された参照用画像のデータと比較することにより行われる。どのように参照用画像のデータを決定するか、又はどのように画像のデータの特徴量を決定するかによって、判定率が大きく変わるため、異常判定は、専門の知識や経験、試行錯誤を必要とし、時間や労力をも要するという実情がある。

例えば、特許文献１に開示される検査方法では、画像のデータの評価値を求めるための評価方法が複数の学習用画像のデータを用いることにより決定された後、学習用画像のデータの各々から複数の特徴量が抽出され、抽出された複数の特徴量を評価方法に代入することにより評価値が求められる。評価方法としてマハラノビス距離や、ユークリッド距離、投影距離が例示されている。
また、特許文献２には、画像のデータに関してではなく、音声信号等の時系列データに関する異常判定について、特徴量としてスペクトル密度を使用し、ランダムに選んだ正常データ群の一部からのマハラノビス距離を用いて異常判定することが開示されている。

特開２０１６−１１０６２６号公報 国際公開第２０１６／１１７３５８号

Jeff Donahueら、"DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition",［on line］Cornell University Library, arXiv: 1310. 1531v1[cs.CV] 6 Oct 2013.［平成２９年３月２２日検索］、インターネット〈URL: https://arxiv.org/pdf/1310.1531.pdf〉

上述の特許文献１に記載の検査方法では、複数の学習用画像のデータの各々における評価値がコンピュータのディスプレイに表示され、このディスプレイを参照しつつ良品グループと不良品グループとに分けられるように評価値が調整される。しかも、そのような調整は、ユーザ自身によっても行われ得る。この場合には、学習用画像のデータを用いた学習の結果を経験や試行錯誤に基づいて調整するといった労力が必要となる。
本発明は、上記の事情に鑑み、経験や試行錯誤を必要とせずに簡便に特徴量を作成でき、特徴量に基づいた確度の高い異常判定を可能とする異常判定方法及び装置を提供する。

本発明の第１の態様は、被検査体の画像に基づいて当該被検査体の外観異常を判定する異常判定方法であって、正常な外観を有することが既知の複数の参照被検査体に対応する複数の参照画像を取得する第１取得ステップと、前記複数の参照画像の各々を学習済みニューラルネットワークへ入力する第１入力ステップと、前記複数の参照画像の各々が入力された前記学習済みニューラルネットワークの中間層の出力に基づき、前記複数の参照画像の各々に対応する参照画像の特徴量を抽出する第１抽出ステップと、被検査体の画像を取得する第２取得ステップと、前記第２取得ステップにて取得された前記被検査体の画像を前記学習済みニューラルネットワークへ入力する第２入力ステップと、前記被検査体の画像が入力された前記学習済みニューラルネットワークの中間層の出力に基づき、前記画像に対応する特徴量を抽出する第２抽出ステップと、前記第１抽出ステップにて抽出された前記特徴量と前記第２抽出ステップにて抽出された前記特徴量とに基づいて、前記被検査体の外観が正常であるか否かを判定する判定ステップと、を備える。

本発明の第２の態様は、被検査体の画像のデータに基づいて当該被検査体の外観異常を判定する異常判定装置であって、正常な外観を有することが既知の参照被検査体の参照画像と、被検査体の画像とを取得可能な画像取得部と、前記画像取得部により取得された前記参照画像と前記被検査体の画像との各々を学習済みニューラルネットワークへ入力させ、当該学習済みニューラルネットワークの中間層の出力に基づき、前記参照画像と前記被検査体の画像との各々の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された前記被検査体の画像の特徴量と前記参照画像の特徴量とに基づいて、前記被検査体の外観が正常であるか否かを判定する異常判定部と、を備える。

本発明の実施形態によれば、経験や試行錯誤を必要とせずに簡便に特徴量を作成でき、特徴量に基づいた確度の高い異常判定を可能とする異常判定方法及び装置が提供される。

本発明の第１の実施形態による異常判定装置を示すブロック図である。 本発明の第２の実施形態による異常判定方法を説明するフローチャートであり、詳しくは異常判定の基準として用いられる閾値を設定するフローを示す。 本発明の第２の実施形態による異常判定方法における閾値の設定を説明する説明図である。 図２のフローチャートに引き続き、本発明の第２の実施形態による異常判定方法を説明する他のフローチャートである。 本発明の第２の実施形態による異常判定方法の効果を実証するために行った実験結果を示すグラフである。

以下、添付の図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。
以下、図１を参照しながら、本発明の実施形態による異常判定装置を説明する。図示のとおり、本実施形態による異常判定装置１０は、被検査体の画像のデータを取得する画像取得部１１と、被検査体の画像のデータを入力し、その画像のデータに対応した特徴量を抽出する特徴量抽出部１２と、コンピュータプログラムや、画像のデータに関する種々の情報を記憶する記憶部１３と、異常判定の基準として用いられる閾値を特徴量に基づいて設定する閾値設定部１４と、画像のデータに示される外観が異常か否かを判定する異常判定部１５と、記憶部１３に記憶される情報や判定結果、異常箇所の画像のデータなどを表示する表示部１６とを備える。また、特徴量抽出部１２、閾値設定部１４、及び異常判定部１５により、制御部１０ａが構成され、制御部１０ａには入出力（Ｉ／Ｏ）装置１７が接続されている。Ｉ／Ｏ装置１７は、例えばキーボードやマウス、光ディスクドライブなど（いずれも図示せず）を備えることができる。

画像取得部１１は、被検査体や、被検査体と同一の製品（以下、被検査体等と称する）の外観を撮像することにより得られた画像のデータを取得する。画像のデータは、例えばデジタルカメラなどの撮像装置（図示せず）により被検査体の外観を撮像することにより生成することができる。具体的には、撮像装置は、例えば、電荷結合素子（ＣＣＤ）や相補型金属酸化膜半導体（ＣＭＯＳ）などの撮像素子（図示せず）と、被検査体等からの入射光を撮像素子に収束させる光学系（図示せず）とを備えることができる。これにより、光学系を通して入射した被写体光が撮像素子により光電変換されて画像のデータ信号が生成され、この画像のデータ信号がデジタル変換されて画像のデータが生成される。生成された画像のデータは、所定のインタフェイスを通して画像取得部１１により取得される。画像取得部１１において取得された画像のデータは記憶部１３へと出力され、記憶部１３に記憶される。

また、光学系には必要に応じて外部光源を設けても良い。外部光源としては、例えばＬＥＤ（Light Emitting Diode）、レーザ光源、メタルハライドランプ等を用いることができる。画像取得部１１では、外部光源を用いて被検査体等を照明しておくことで、より明瞭な画像データ信号を生成することができる。

特徴量抽出部１２は、画像取得部１１により取得され、記憶部１３に記憶される画像を学習済みニューラルネットワークへ入力させ、当該学習済みニューラルネットワークの中間層からの出力に基づき、当該画像の特徴量を抽出する。
一般的に、市販されているような学習済みニューラルネットワークでは、入力された画像が、予め準備された幾つかの判定結果のうち、当該画像がどの判定結果に類似しているかを演算して出力する。そうした演算は、多数段の演算を行い、最終的な結果として出力されるものであるが、多数段の演算の途中（中間層）において、その演算結果を抽出することも可能である。そうすることで、入手しやすい市販の学習済みニューラルネットワークを活用することができ、また、予め準備された判定結果に束縛されることなく、演算結果を所望の判定に流用することができ、さらに、再度の学習を不要にすることができるため、計算コストの削減を図ることができる。

記憶部１３は、たとえばハードディスクドライブ（ＨＤＤ）などの記憶装置で構成され、後述する異常判定方法を異常判定装置１０に実施させるための異常判定プログラムや学習済みニューラルネットワークを記憶している。記憶部１３は、異常判定方法の実施に必要な各種情報を記憶することもできる。具体的には、記憶部１３は、画像取得部１１により取得された画像のデータや、学習済みニューラルネットワークの中間層からの出力、この出力から抽出された特徴量、異常判定の基準として用いられる閾値などを記憶する。

異常判定プログラムは、後述する異常判定方法を異常判定装置１０に実施させる複数の命令（コード）からなる命令列を含んでいる。異常判定プログラムは、コンピュータ可読記憶媒体１７ａに記憶され、Ｉ／Ｏ装置１７から制御部１０ａを通して記憶部１３へダウンロードされても良い。コンピュータ可読記憶媒体１７ａは、ＨＤＤ、固体ドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ又はフラッシュメモリ素子）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）やデジタル多用途ディスクＲＯＭ（ＤＶＤ−ＲＯＭ）などの光ディスク記憶メディア、磁気記憶メディアなどを含む非一過性又は有形のコンピュータ可読記憶媒体であって良い。

閾値設定部１４は、記憶部１３に記憶される画像のデータについて、特徴量抽出部１２により抽出された特徴量に基づき、異常判定の基準として用いられる閾値を設定する。具体的には後述する距離閾値や角度閾値等を設定する。
異常判定部１５は、閾値設定部１４により設定された閾値に基づいて、被検査体等の画像の特徴量から、画像取得部１１により取得される、被検査体の外観が異常か否かを判定する。
表示部１６は、ディスプレイやプリンタなどの出力装置（図示せず）を備え、記憶部１３に記憶される情報や判定結果を表示又は印刷する。また、表示部１６は、異常と判定された外観を示す画像のデータを表示又は印刷することもできる。

次に、図２から図４を参照しながら、本発明の実施形態による異常判定方法を説明する。図２及び図４は、本実施形態による異常判定方法を説明するフローチャートである。具体的には、図２は、異常判定の基準として用いられる閾値を設定するフローを示し、図４は、検査対象としての被検査体に対して行う異常判定のフローを示している。これらのフローにおける各工程は、好適には異常判定装置１０により実施される。

図２を参照しながら、閾値を設定するフローについて説明する。まず、被検査体等の内から、外観異常を有さない、正常な外観を示すｎ枚の画像のデータが、参照画像として用意される（ステップＳ１）。正常な外観を示す画像のデータ（以下、正常画像のデータと称する）とは、被検査体と同一の製品であって、例えば他の検査方法や目視検査などによって異物や、キズ、汚れ、凹みなどの欠陥がないことが明らかとなっている製品を撮像することにより得られた画像のデータである。また、画像のデータの数ｎは、後述する平均ベクトルの算出のために２以上であれば特に限定されることはない。

次に、用意された１枚目の正常画像のデータが、異常判定装置１０の画像取得部１１により読み込まれることで、取得される（ステップＳ２）。
読み込まれた正常画像のデータは、画像取得部１１から記憶部１３に送られ記憶された後、特徴量抽出部１２からの命令に従って、学習済みニューラルネットワークへ入力される。特徴量抽出部１２は、学習済みニューラルネットワークの中間層の出力に基づき、その正常画像のデータについての特徴量を抽出する。抽出された特徴量は記憶部１３に記憶される（ステップＳ３）。

この後、フラグｉ（初期値はゼロ）に１を加え（ステップＳ４）、フラグが正常画像のデータの枚数ｎと比較される。比較の結果、ｉ＜ｎと判定された場合は（ステップＳ５：ＮＯ）、ステップＳ２へ戻り、次の正常画像のデータが取得され（ステップＳ２）、その正常画像のデータについての特徴量が抽出される。比較の結果、ｉ＝ｎと判定された場合は（ステップＳ５：ＹＥＳ）、ステップＳ６へ進む。これにより、用意されたすべての正常画像のデータが読み込まれ、正常画像のデータのそれぞれについて特徴量が抽出され、記憶部１３に記憶される。

ステップＳ６では、記憶部１３から閾値設定部１４へ特徴量が出力され、閾値設定部１４において、特徴量の平均値が計算される。特徴量は多次元のベクトル量であり、該当する次元数の空間におけるベクトルに基づいて平均値が求められる。即ち、複数の正常画像からなる参照画像の特徴量のベクトルについて平均値を求めることで、複数の正常画像からなる参照画像の特徴量のベクトル平均位置が、特徴量が属する多次元空間において、どの位置にあるのかが特定される。

以下、説明の単純化のため、各特徴量のベクトルが２次元ベクトルであると仮定して説明する。図３Ａを参照すると、ｘｙ平面上に、各ベクトルの終点が黒丸Ｄで表わされている。これらのベクトルは、正常画像のデータから求められた特徴量に対応し、ある程度のバラツキで分布している。ここで、まず、すべてのベクトルの終点のｘ座標の平均値ａ１とｙ座標の平均値ａ２とが計算され、Ｅａ（ａ１、ａ２）を終点とする平均ベクトルＶａが求められる（ステップＳ６（図２））。

次に、この平均ベクトルＶａの終点Ｅａと各ベクトルの終点Ｄとの間の距離（ユークリッド距離）が計算される。即ち、平均ベクトルＶａを座標（ａ１、ａ２）で表し、図３Ａ中の任意のベクトルＶを座標（ｂ１、ｂ２）で表すと、距離ｄは、ｄ＝（（ａ１−ｂ１）^２＋（ａ２−ｂ２）^２）の平方根で求められる。
同様に、平均ベクトルＶａの終点Ｅａとすべてのベクトルの終点Ｄとの間の距離がそれぞれ計算された後、そのうちの最大の値が距離の閾値Ｔｄとして設定される（ステップＳ７（図２））。閾値Ｔｄは、閾値設定部１４から記憶部１３へ出力され、記憶部１３に記憶される。
なお、図３Ａに示される円Ｃは、平均ベクトルＶａの終点Ｅａを中心とし、上記の最大の値（閾値Ｔｄ）を半径とする円である。即ち、正常画像のデータに対応する特徴量のベクトルの終点Ｄは、円Ｃ内に収まる。

次に、平均ベクトルＶａに対する各ベクトルのコサイン類似度が求められる。図３Ｂに示す平均ベクトルＶａと任意のベクトルＶとに対するコサイン類似度Ｃｓは、平均ベクトルＶａと任意のベクトルＶの内積をそれぞれの大きさで除した値であり、具体的には、下記の式で与えられる。

コサイン類似度Ｃｓは−１から１までの値をとる。平均ベクトルＶａと任意のベクトルＶのなす角θ（図３Ｂ）は、コサイン類似度Ｃｓが１に近いほど小さくなり、ゼロに近いほど９０°に近づく。即ち、コサイン類似度Ｃｓが１に近いほど、平均ベクトルＶａの終点Ｅａと任意のベクトルＶの終点Ｄとが近接していることになる。言い換えると、コサイン類似度Ｃｓが１に近いほど、任意のベクトルＶに対応する特徴量と、平均ベクトルＶａに対応する特徴量との差が小さくなるということができる。反対に、コサイン類似度Ｃｓがゼロに近いほど、平均ベクトルＶａの終点Ｅａと任意のベクトルＶの終点Ｄとが離れており、任意のベクトルＶに対応する特徴量は、平均ベクトルＶａに対応する特徴量と相違するということができる。

平均ベクトルＶａとすべてのベクトルとの間のコサイン類似度Ｃｓがそれぞれ求められた後、最もゼロに近い値がコサイン類似度に基づく閾値、即ち、角度の閾値Ｔｃとして設定される（ステップＳ７（図２））。角度の閾値Ｔｃは、閾値設定部１４から記憶部１３へ出力され、記憶部１３に記憶される。
以上により、距離の閾値Ｔｄと角度の閾値Ｔｃとが設定され、閾値を設定するフローが終了する。

次に、図４を参照しながら、被検査体の異常判定について説明する。初めに、画像取得部１１により被検査体の画像のデータが取得される（ステップＳ８）。取得された画像のデータは、画像取得部１１から記憶部１３に入力された後、特徴量抽出部１２からの命令に従って、学習済みニューラルネットワークへ入力される。特徴量抽出部１２は、学習済みニューラルネットワークの中間層の出力に基づき、その画像のデータについての特徴量を抽出する（ステップＳ９）。抽出された特徴量は記憶部１３に記憶される。

次いで、異常判定部１５により、記憶部１３に記憶された特徴量のベクトルと、閾値設定部１４により設定され記憶部１３に記憶された平均ベクトルＶａとの間の距離が計算される。即ち、被検査体の画像のデータについての特徴量のベクトルの終点と、平均ベクトルＶａの終点Ｅａとの間の距離が計算される（ステップＳ１０）。続けて、異常判定部１５において、計算された距離と距離の閾値Ｔｄとが比較される（ステップＳ１１）。比較の結果、計算された距離が閾値Ｔｄ以下の場合には（ステップＳ１１：ＹＥＳ）、ステップＳ１２へ進む。
反対に、計算された距離が閾値Ｔｄより大きい場合には（ステップＳ１１：ＮＯ）、異常と判定されて（ステップＳ１５）、異常判定が終了する。

ステップＳ１１において、計算された距離が閾値Ｔｄ以下と判定された場合、ステップＳ１２において、異常判定部１５によって当該特徴量のベクトルと平均ベクトルＶａとの間のコサイン類似度Ｃｓが計算される。次いで、ステップＳ１３において、計算されたコサイン類似度Ｃｓと、コサイン類似度に基づく角度の閾値Ｔｃとが比較される。比較の結果、コサイン類似度Ｃｓが角度の閾値Ｔｃ以下の場合（ステップＳ１３：ＹＥＳ）、当該特徴量のベクトルに対応する被検査体は正常と判定され（ステップＳ１４）、異常判定が終了する。
反対に、コサイン類似度Ｃｓが角度の閾値Ｔｃより大きい場合には（ステップＳ１３：ＮＯ）、異常と判定されて（ステップＳ１５）、異常判定が終了する。
この後、他の被検査体がある場合には、その被検査体について同じ操作が行われる。

次に、本発明の実施形態による異常判定方法の効果を確認するために行った検証実験について説明する。この実験においては、検査対象として、鉄鋼製品であるめっき鋼板の１９９枚の画像が用いられた。これらのめっき鋼板に対しては、予め、光切断法に基づく検査が行われている。その結果、１９９枚の画像のうちの１０９枚目から１１３枚目までの画像は、欠陥があることが分かっているめっき鋼板の画像であり、これら以外は正常画像のデータである。

この異常判定実験を行う前に、先に説明した、閾値を設定するフロー（図２）に従って、異常判定の基準として用いられる閾値を設定した。閾値の設定には、上記の１９９枚の画像のデータとは別に、２００枚の正常画像を用意した。これらを用いて設定された距離の閾値Ｔｄは６．９であり、角度の閾値Ｔｃは０．９であった。また、ここでは距離としてユークリッド距離を用いた。

図５Ａ及び図５Ｂに実験結果を示す。図５Ａは、検査対象画像に対し、距離の閾値Ｔｄだけを用いて異常判定を行った場合の結果を示している。この図を参照すると、１１０枚目から１１２枚目までの画像では、距離の閾値Ｔｄを超えており、これらの画像により示されためっき鋼板は異常と判定されたことになる。一方、正常な外観を示す１９４枚のすべてが正常と判定されていることが分かる。

また、図５Ｂは、検査対象画像のデータに対し、コサイン類似度に基づく角度の閾値Ｔｃだけを用いて異常判定を行った場合の結果を示している。この図を参照すると、１０９枚目から１１３枚目までの画像のデータにおいて角度の閾値Ｔｃを下回っており、これらの画像で示されためっき鋼板が異常と判定されたことになる。一方、予め欠陥があることが分かっている１０９枚目から１１３枚目までの画像のデータのすべてを異常と判定することができ、正常な外観を示す１９４枚のすべてを正常と判定することができた。

以上の結果から、本実施形態による異常判定方法において設定される距離の閾値Ｔｄと、角度の閾値Ｔｃとを用いる効果が理解される。また、第２の実施形態による異常判定方法では、距離の閾値Ｔｄと比較することにより異常の判定された画像のデータを角度の閾値Ｔｃと比較することにより異常か否かの判定を更に行っているので、より確度の高い判定ができることが分かる。

本実施形態による異常判定方法では、学習済みのニューラルネットワークが用いられ、その中間層からの出力に基づき画像のデータの特徴量が抽出される。学習済みのニューラルネットワークは、大量の一般画像のデータで学習しており、学習に利用した一般画像と異なるジャンルの画像の識別にも有効であることが知られている（非特許文献１）。このような学習済みのニューラルネットワークの中間層の出力を用いれば、経験や試行錯誤を必要とせず簡便かつ短時間で特徴量を抽出することができる。

また、本実施形態による異常判定方法によれば、正常画像のデータに関して、学習済みニューラルネットワークの中間層の出力から抽出された特徴量に基づき、距離の閾値及びコサイン類似度の閾値を設定しているので、経験や試行錯誤によらず、客観的かつ一意に閾値を設定することができる。

以上、幾つかの実施形態を参照しながら、本発明による異常判定方法及び装置を説明したが、本発明は上述の実施形態に限定されることなく、特許請求の範囲内で種々に変形又は変更が可能である。
例えば、本発明の実施形態による異常判定方法で用いられる学習済みのニューラルネットワークは、例えば多層構造を有するいわゆる深層学習（deep learning）であっても良い。また、本発明の実施形態による異常判定方法では、学習が既に終了し、一般に公開されているニューラルネットワークを使用することができるが、訓練データを用いて新たに学習させたニューラルネットワークを用意し、使用することもできる。さらに、記憶部１３に記憶することなく、ローカル・エリア・ネットワーク（ＬＡＮ）、又はインターネットなどのワイド・エリア・ネットワークと有線又は無線により接続し、ネットワーク上で公開される学習済みニューラルネットワークを使用することもできる。

第２の実施形態においては、まず、距離に関する比較を行ない、距離の閾値Ｔｄ以下の場合に、さらにコサイン類似度に関する比較を行っている。しかし、他の実施形態においては、コサイン類似度に基づく角度の閾値Ｔｃとの比較を行ない、その結果、正常と判定された画像について、距離の閾値Ｔｄとの比較を行っても良い。更に別の実施形態においては、距離の閾値Ｔｄとの比較のみを行っても良く、角度の閾値Ｔｃとの比較のみを行っても良い。これらの効果は、上述の検証実験の結果から明らかである。

ただし、特徴量のベクトルの次元数の大きい場合には、距離の閾値Ｔｄと角度の閾値Ｔｃの双方と比較することの効果は高いと考えられる。その理由として、次元数が高い場合には、図３に示す２次元空間（ｘｙ平面）における円とは異なり、特徴量のベクトルの終点を内包する空間は複雑な形状になる得ることが挙げられる。このような場合、検査対象の画像のデータから得られた特徴量のベクトルと平均ベクトルＶａとの差異は、距離だけでなく角度にも大きく依存することになると推測される。そのため、距離及びコサイン類似度の双方についての閾値を利用することが有効と考えられる。

また、第２の実施形態において、距離の閾値を設定するステップでは、ユークリッド距離を用いたが、特徴量のベクトルの終点のバラツキに偏りがある場合には、その標準偏差を反映させたマハラノビス距離を用いても良い。
さらに、検証実験においてはめっき鋼板を用いたが、本発明の実施形態による異常判定方法は、画像のデータを撮像できる限り、どのような物品であっても、その外観の異常を判定することができる。

またさらに、第２の実施形態において、平均ベクトルＶａの終点Ｅａ（平均値）から最も離れた他のベクトルの終点までの距離（最大距離）を閾値と設定したが、例えば判定エラーを低減する目的で、所定の定数（例えば1.2、1.5、2、3など）を最大距離に乗じた値を閾値として設定しても良い。

さらに、第１の実施形態による異常判定装置１０においては、画像取得部１１は、ＬＡＮなどの通信網を通して他の撮像装置又は記憶装置から画像のデータを入力できるように通信ケーブルの接続ポートと、ドライバなどのソフトウェアとを備えていても良い。また、画像取得部１１は、無線ＬＡＮ子機と、ドライバなどのソフトウェアとを備えていても良い。このような構成によれば、取得した画像のデータや、閾値などの数値情報を、通信網で繋がれたサーバー（データベース）などの記憶装置に送信し、記憶させても良い。言い換えると、記憶部１３は、通信網で繋がれた外部の記憶装置であっても良い。

また、正常画像は、正常であることが分かっている物品の画像のデータを撮像することにより得られるが、画像が撮像された後に、その画像のデータを例えばデータベースに保存しておいても良い。この場合、画像取得部１１は、正常画像のデータをデータベースからダウンロードすることにより取得することができる。

また、第２の実施形態では、正常画像を取得するたびに特徴量を抽出したが、複数の正常画像のデータのすべてを取得して記憶部１３に入力してから、逐次、各正常画像の特徴量を抽出するようにしても良い。

さらに、第２の実施形態では、被検査体の画像についての距離を距離の閾値Ｔｄと比較し、正常と判定された後に、コサイン類似度を計算しているが、他の実施形態では、距離の閾値Ｔｄとの比較の前に、又は距離と共に、コサイン類似度を計算しても良い。

１０ 異常判定装置
１０ａ 制御部
１１ 画像取得部
１２ 特徴量抽出部
１３ 記憶部
１４ 閾値設定部
１５ 異常判定部
１６ 表示部
１７ 入出力（Ｉ／Ｏ）装置
１７ａ コンピュータ可読記憶媒体

Claims (10)

1. 被検査体の画像に基づいて当該被検査体の外観異常を判定する異常判定方法であって、
   正常な外観を有することが既知の複数の参照被検査体に対応する複数の参照画像を取得する第１取得ステップと、
   前記複数の参照画像の各々を学習済みニューラルネットワークへ入力する第１入力ステップと、
   前記複数の参照画像の各々が入力された前記学習済みニューラルネットワークの中間層の出力に基づき、前記複数の参照画像の各々に対応する参照画像の特徴量を抽出する第１抽出ステップと、
   被検査体の画像を取得する第２取得ステップと、
   前記第２取得ステップにて取得された前記被検査体の画像を前記学習済みニューラルネットワークへ入力する第２入力ステップと、
   前記被検査体の画像が入力された前記学習済みニューラルネットワークの中間層の出力に基づき、前記画像に対応する特徴量を抽出する第２抽出ステップと、
   前記第１抽出ステップにて抽出された前記特徴量と前記第２抽出ステップにて抽出された前記特徴量とに基づいて、前記被検査体の外観が正常であるか否かを判定する判定ステップと、
   を備える異常判定方法。
2. 被検査体の画像に基づいて当該被検査体の外観異常を判定する異常判定方法であって、
   正常な外観を有することが既知の複数の参照被検査体に対応する複数の参照画像を取得する第１取得ステップと、
   前記複数の参照画像の各々を学習済みニューラルネットワークへ入力する第１入力ステップと、
   前記複数の参照画像の各々が入力された前記学習済みニューラルネットワークの中間層の出力に基づき、前記複数の参照画像の各々に対応する参照画像の特徴量を抽出する第１抽出ステップと、
   前記複数の参照画像の特徴量の多次元空間における平均位置を特定する特定ステップと、
   前記多次元空間において、前記複数の参照画像の特徴量の各々と前記平均位置との間の距離に基づく距離閾値と、前記複数の参照画像の特徴量の各々の前記平均位置に対するコサイン類似度に基づく角度閾値との一方又は双方を閾値として設定する設定ステップと、
   被検査体の画像を取得する第２取得ステップと、
   前記第２取得ステップにて取得された前記被検査体の画像を前記学習済みニューラルネットワークへ入力する第２入力ステップと、
   前記被検査体の画像が入力された前記学習済みニューラルネットワークの中間層の出力に基づき、前記画像に対応する特徴量を抽出する第２抽出ステップと、
   前記第２抽出ステップにて抽出された前記特徴量と前記平均位置との間の距離と、当該特徴量の前記平均位置に対するコサイン類似度との一方又は双方を計算する計算ステップと、
   前記計算ステップで計算された前記距離と前記コサイン類似度との一方又は双方を、前記設定ステップで設定された前記閾値に対応させて比較し、比較結果に基づいて、前記被検査体の外観が正常であるか否かを判定する判定ステップと
   を備える異常判定方法。
3. 前記設定ステップにおいて、前記複数の参照画像の特徴量の各々と前記平均位置との間の距離のうちの最大値が前記距離閾値として設定される、請求項２に記載の異常判定方法。
4. 前記設定ステップにおいて、前記複数の参照画像の特徴量の各々の前記平均位置に対するコサイン類似度のうちの最小値が前記角度閾値として設定される、請求項２又は３に記載の異常判定方法。
5. 前記距離がユークリッド距離とマハラノビス距離とのいずれか一方である、請求項２から４のいずれか一項に記載の異常判定方法。
6. 被検査体の画像に基づいて当該被検査体の外観異常を判定する異常判定装置であって、
   正常な外観を有することが既知の参照被検査体の参照画像と、被検査体の画像とを取得可能な画像取得部と、
   前記画像取得部により取得された前記参照画像と前記被検査体の画像との各々を学習済みニューラルネットワークへ入力させ、当該学習済みニューラルネットワークの中間層の出力に基づき、前記参照画像と前記被検査体の画像との各々の特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部により抽出された前記被検査体の画像の特徴量と前記参照画像の特徴量とに基づいて、前記被検査体の外観が正常であるか否かを判定する異常判定部と、
   を備える異常判定装置。
7. 被検査体の画像に基づいて当該被検査体の外観異常を判定する異常判定装置であって、
   正常な外観を有することが既知の参照被検査体の参照画像と、被検査体の画像とを取得可能な画像取得部と、
   前記画像取得部により取得された前記参照画像と前記被検査体の画像との各々を学習済みニューラルネットワークへ入力させ、当該学習済みニューラルネットワークの中間層の出力に基づき、前記参照画像と前記被検査体の画像との各々の特徴量を抽出する特徴量抽出部と、
   前記画像取得部により取得された複数の前記参照画像の特徴量の多次元空間における平均位置を特定し、当該多次元空間において、前記複数の前記参照画像の特徴量の各々と前記平均位置との間の距離に基づく距離閾値と、前記複数の前記参照画像の特徴量の各々の前記平均位置に対するコサイン類似度に基づく角度閾値との一方又は双方を閾値として設定する閾値設定部と、
   前記特徴量抽出部により抽出された、前記被検査体の画像の特徴量と前記平均位置との間の距離と、当該特徴量の前記平均位置に対するコサイン類似度との一方又は双方を計算し、当該距離と当該コサイン類似度の一方又は双方を、前記閾値設定部により設定された閾値に対応させて比較し、比較結果に基づいて、前記被検査体の外観が正常であるか否かを判定する異常判定部と
   を備える異常判定装置。
8. 前記閾値設定部が、前記複数の前記参照画像の特徴量の各々と前記平均位置との間の距離のうちの最大値を前記距離閾値として設定する、請求項７に記載の異常判定装置。
9. 前記閾値設定部が、前記複数の前記参照画像の特徴量の各々の前記平均位置に対するコサイン類似度のうちの最小値を前記角度閾値として設定する、請求項７又は８に記載の異常判定装置。
10. 前記距離がユークリッド距離とマハラノビス距離とのいずれかである、請求項７から９のいずれか一項に記載の異常判定装置。
    
    

Images