JP2021119442A - 異常検知方法、異常検知装置、異常検知プログラムおよび学習方法 - Google Patents

Abstract

【課題】教師データの不足を補いつつ高精度な異常検知を実現すること。【解決手段】実施形態の一態様に係る異常検知方法は、生成工程と、学習工程と、判定工程とを含む。生成工程は、製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセットを生成する。学習工程は、学習用データセットを用いた深層距離学習を実行することによって、正例の特徴量と負例の特徴量とが互いの間の距離を最適化しつつ特徴量空間へ埋め込まれた判定モデルを出力する。判定工程は、判定対象画像を判定モデルへ入力することによって、判定モデルから判定対象画像の特徴量と正例の特徴量との差分値を取得し、かかる差分値に基づいて判定対象画像中の製品が良品であるか不良品であるかを判定する。【選択図】図２Ａ

Description

開示の実施形態は、異常検知方法、異常検知装置、異常検知プログラムおよび学習方法に関する。

従来、ＡＩ（Artificial Intelligence）の教師あり学習の分野において、ＣＮＮ（Convolutional Neural Networks）などを用いた深層学習を利用した画像認識により、画
像中の物体を分類する技術が知られている（たとえば、特許文献１参照）。

こうした技術を利用することにより、たとえば製造ラインで製造された製品の画像から、かかる製品が良品であるか不良品であるか、また不良品であればどのような不良であるのかを分類する、工業製品の異常検知などに利用することができる。

特開２０１８−０２２４８４号公報

しかしながら、上述した従来技術には、教師データの不足を補いつつ高精度な異常検知を実現するうえで、さらなる改善の余地がある。

たとえばあらゆる種類の不良のパターンを網羅した十分な教師データが存在する場合、これを用いた学習により、異常検知の高精度化を図れることは明らかである。ただし、工業製品の製造ラインにおいては、不良の種類によっては発生頻度がきわめて低いものもあり、こうした稀なパターンまでをも含めた教師データの収集には、長期の時間を要してしまう。

一方で、製造ラインにおいては、不良の種類の特定までは要せず、歩留まりを防ぐために単に不良品をラインから排除できさえすればよい場合もある。

なお、このように不良品を検知できさえすればよいのであれば、従来より顔認証や画像検索などの分野で用いられてきた距離学習（Metric Learning）を利用することに検討の余地がある。ただし、工業製品の異常検知などの分野では、不良品の教師データが不足しがちであるがために、全くの未知の不良品のデータについては不良品と検知できない場合も多く、導入が進んでいなかった。

実施形態の一態様は、上記に鑑みてなされたものであって、教師データの不足を補いつつ高精度な異常検知を実現することができる異常検知方法、異常検知装置、異常検知プログラムおよび学習方法を提供することを目的とする。

実施形態の一態様に係る異常検知方法は、生成工程と、学習工程と、判定工程とを含む。前記生成工程は、製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセットを生成する。前記学習工程は、前記学習用データセットを用いた深層距離学習を実行することによって、前記正例の特徴量と前記負例の特徴量とが互いの間の距離を最適化しつつ特
徴量空間へ埋め込まれた判定モデルを出力する。前記判定工程は、判定対象画像を前記判定モデルへ入力することによって、該判定モデルから前記判定対象画像の特徴量と前記正例の特徴量との差分値を取得し、該差分値に基づいて前記判定対象画像中の製品が良品であるか不良品であるかを判定する。

実施形態の一態様によれば、教師データの不足を補いつつ高精度な異常検知を実現することができる。

図１Ａは、実施形態に係る異常検知方法の概要説明図（その１）である。 図１Ｂは、実施形態に係る異常検知方法の概要説明図（その２）である。 図２Ａは、実施形態に係る異常検知装置のブロック図である。 図２Ｂは、実施形態に係る学習部のブロック図である。 図３Ａは、実施形態に係る生成部の動作説明図（その１）である。 図３Ｂは、実施形態に係る生成部の動作説明図（その２）である。 図３Ｃは、実施形態に係る生成部の動作説明図（その３）である。 図３Ｄは、実施形態に係る生成部の動作説明図（その４）である。 図３Ｅは、実施形態に係る生成部の動作説明図（その５）である。 図４は、実施形態に係る異常検知装置が実行する処理手順を示すフローチャートである。 図５は、実施形態に係る異常検知装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する異常検知方法、異常検知装置、異常検知プログラムおよび学習方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、実施形態に係る異常検知方法の概要について、図１Ａおよび図１Ｂを参照して説明する。図１Ａおよび図１Ｂは、実施形態に係る異常検知方法の概要説明図（その１）および（その２）である。

なお、以下では、製品として歯車が製造され、かかる歯車の出荷前検査等において不良品を検知する場合を例に挙げて説明を行う。

既に述べたが、工業製品の製造ラインにおいては、不良の種類によっては発生頻度がきわめて低いものもあり、こうした稀なパターンまでをも含めた教師データのデータ収集には、長期の時間を要する場合がある。

そこで、従来より顔認証や画像検索などの分野で用いられてきた距離学習を利用することに検討の余地がある。

距離学習の場合、判定対象画像が良品画像と似ているかを示す距離によって異常検知が行えるので、深層学習によるクラス分類を行う場合に比べて、教師データは少なくて済むというメリットがある。

そこで、実施形態に係る異常検知方法では、ＣＮＮを利用した深層距離学習（Deep Metric Learning）のアルゴリズムであるシャムネットワーク（Siamese Network）を応用することとした。

図１Ａに示すように、実施形態に係る異常検知方法では、シャムネットワークを応用したニューラルネットワークを構成し、これを用いて製品の異常を検知することとした。ここで、シャムネットワークは、知られている通り、２つの画像が似ているか似ていないかを示す指標となる距離ｄを学習する、共通の重みを有する２つのＣＮＮを利用したニューラルネットワークである。

具体的には、図１Ａに示すように、実施形態に係る異常検知方法では、まず重みが共通である２つのＣＮＮへそれぞれ、不良品の教師データとなる学習用画像と、良品の教師データとなる学習用画像とを入力する。これにより、２つのＣＮＮはそれぞれ、不良品の特徴量と良品の特徴量とを出力する。

つづいて、実施形態に係る異常検知方法では、距離学習層であるニューラルネットワークへ不良品の特徴量および良品の特徴量を入力し、距離学習層は、これら特徴量を、その差分である距離ｄが最適化されるように特徴量空間（いわゆる「Embedding空間」）へ埋
め込むことによって良品および不良品の距離を学習する。

すなわち、距離学習層は、不良品および良品それぞれのクラス内分散が小さくなり、かつ、クラス間分散が大きくなるように距離ｄを学習する。なお、ここでは距離学習層をニューラルネットワークとしたが、これに限られるものではなく、２つのＣＮＮの出力に対し、いわゆるＬ２ノルムを演算する演算器として構成されてもよい。

そして、実施形態に係る異常検知方法では、かかる距離学習層による学習結果に対し、製品の検品のための判定用画像が入力されると、全結合層は、学習結果から出力される判定用画像の特徴量と良品の特徴量との差分値に基づいて、製品が良品であるか不良品であるかを示す判定結果を出力する。

すなわち、全結合層は、差分値が所定の判定閾値よりも小さければ良品と判定し、大きければ不良品と判定する。これにより、全くの未知のデータが入力されても、少なくとも製品が良であるか不良であるかを判定することができる。

ところで、たとえば工業製品の製造ラインにおいては、良品の教師データはいくらでも入手できるが、不良品の教師データは明らかに良品の教師データに比べて入手が困難である。すると、図１Ａに示した実施形態に係る異常検知方法に対応するニューラルネットワークを用いるにしても、不良品の教師データおよび良品の教師データの数に不均衡が生じ、距離ｄの最適化の精度が低下しかねない。

また、仮に不均衡を解消できるとしても、距離学習の精度を上げるためには、教師データの数が少ないよりも多い方が好ましいことは言うまでもない。ただし、大量の教師データを用いての学習には、処理負荷がかさむという問題が生じる。

そこで、実施形態に係る異常検知方法では、大量の画像データの組み合わせにより良品および不良品それぞれの学習用データセットを複数パターンにわたって生成することとし、メモリには各パターンごとに随時展開しつつ、深層距離学習を行うこととした。

また、学習用データセットの各パターンにおいては、良品と良品の複数の組み合わせで正例となる良品データセットを、良品と不良品の複数の組み合わせで負例となる不良品データセットを、それぞれ設けることとした。

具体的に、図１Ｂに示すように、良品の各画像データ（図中の「○」印参照）に対し、
たとえば極端に少なく不良品の画像データ（図中の「×」印参照）があるものとする。また、ここでは、学習用データセットのパターン数がｎ個（ｎは自然数）であるものとする。

かかる場合に、実施形態に係る異常検知方法では、まず１回目の学習用データセットとして、２つの良品の組み合わせの複数個からなる良品データセットと、１つの良品と１つの不良品の組み合わせの複数個からなる不良品データセットとを生成する。

このとき、実施形態に係る異常検知方法では、良品データセットの組み合わせ数と、不良品データセットの組み合わせ数が１：１となるように学習用データセットを生成する。なお、図１Ｂに示すように、良品と良品との組み合わせは無論のこと、不良品の画像データは、その数自体は少ないものの、良品との組み合わせについては無数に作ることができる。これにより、良品データセットの組み合わせ数と、不良品データセットの組み合わせ数が１：１となるように学習用データセットを生成する。

そして、実施形態に係る異常検知方法では、このように生成された１回目の学習用データセットが後述する異常検知装置１０のメモリに展開されて、これを用いた１回目の距離学習が行われる。

１回目の距離学習が行われた後は、２回目の学習用データセットを生成する。このとき、２回目の学習用データセットは、１回目とデータの組み合わせが異なるように生成される。以後、同様に手順が繰り返されて、ｎ回目の学習用データセットまでが生成される。ｎ回目の学習用データセットは、１〜（ｎ−１）回目とデータの組み合わせが異なることとなる。

そして、生成されたｎ回目の学習用データセットが異常検知装置１０のメモリに展開されて、これを用いたｎ回目の距離学習が行われ、１〜ｎ回目の距離学習の学習結果として前述の距離ｄが最適化された学習モデルが得られることとなる。かかる学習モデルについては、以下では、「判定モデル１２ｃ」と記載する場合がある。

そして、製品の検品時には、かかる判定モデル１２ｃへ判定用画像が入力され、判定モデル１２ｃからの出力に基づいて、製品の良否が判定されることとなる。

このように、実施形態に係る異常検知方法では、シャムネットワークを応用したニューラルネットワークを構成し、これを用いて製品の良品および不良品のクラス間距離である距離ｄを最適化する深層距離学習を行うこととした。

そして、かかる深層距離学習に際しては、良品と良品の組み合わせからなる良品データセットと、良品と不良品の組み合わせからなる不良品データセットを含む学習用データセットを複数パターン生成することとし、異常検知装置１０のメモリにかかる各パターンを随時展開しつつ、順次深層距離学習を行うこととした。

したがって、実施形態に係る異常検知方法によれば、教師データの不足を補いつつ高精度な異常検知を実現することができる。

以下、上述した実施形態に係る異常検知方法を適用した異常検知装置１０の構成について、さらに具体的に説明する。

図２Ａは、実施形態に係る異常検知装置１０のブロック図である。また、図２Ｂは、実施形態に係る学習部１１ｃのブロック図である。なお、図２Ａおよび図２Ｂでは、本実施
形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２Ａおよび図２Ｂに図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

なお、図２Ａおよび図２Ｂを用いた説明では、これまでに既に述べた構成要素については、説明を簡略化するか、省略する場合がある。

図２Ａに示すように、実施形態に係る異常検知装置１０は、制御部１１と、記憶部１２とを備える。制御部１１は、取得部１１ａと、生成部１１ｂと、学習部１１ｃと、判定部１１ｄと、表示制御部１１ｅとを備える。

記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスによって実現され、生成情報１２ａと、学習用データセット１２ｂと、判定モデル１２ｃと、閾値情報１２ｄとを記憶する。

制御部１１は、異常検知装置１０の全体制御を行う。取得部１１ａは、学習用画像を取得する。学習用画像は、良品の画像データと不良品の画像データとを含む。

生成部１１ｂは、生成情報１２ａに基づいて、図１Ｂを用いて説明した学習用データセットの生成処理を実行する。生成情報１２ａは、かかる生成処理に関する情報であり、たとえば学習用データセットの各パターンにおける良品と良品の組み合わせや、良品と不良品の組み合わせに関する各種のパラメータなどを含む。

なお、生成情報１２ａは、たとえば異常検知装置１０に接続された図示略のキーボードやマウス、タッチパネルなどの入力装置によって予め設定したり、適宜変更したりすることができる。

ここで、生成部１１ｂが実行する生成処理について、より具体的に説明する。図３Ａ〜図３Ｅは、実施形態に係る生成部１１ｂの動作説明図（その１）〜（その５）である。

まず、実施形態に係る異常検知方法では、「良品」の画像データ、および、「不良品」の画像データにつき、多次元化して教師データとすることができる。

たとえば、生成部１１ｂは、取得部１１ａによって取得された学習用画像の画像データを、サイズなどを正規化後に連結することにより、たとえば１つの「良品」につき、グレースケール画像（１次元）やＲＧＢ画像（３次元）だけでなく、ＲＧＢ画像に距離情報（高さ情報）を加えた４次元画像や、ＲＧＢ画像×２（６次元）に多次元化することができる。

なお、各次元に対応する要素は色や距離などに限られない。たとえば照度であってもよいし、製品の同一箇所に対する撮影条件であってもよい。

たとえば、生成部１１ｂは、ＲＧＢ画像×２の場合において、図３Ａに示すように、製品の同一箇所に対して、ローアングルの直射光で傷や欠け等を浮かび上がらせたり、拡散光で汚れやシワ等を浮かび上がらせたりする異なる撮影条件等によって、さらなる多次元
化を行ってもよい。これにより、次元ごとの学習モデルが不要となり、学習コストを低減させることができる。

また、これまでは画像データを「連結」して教師データとすることとしたが、「合成」してもよい。次に、かかる例について説明する。まず、良品データセットを生成する場合から説明する。

図３Ｂに示すように、良品の画像データＮ１，Ｎ２，Ｎ３…があるものとする。これら画像データＮ１，Ｎ２，Ｎ３…は、たとえば１つの「良品」につき照度等が異なっているものとする。

そして、かかる場合において、たとえば生成部１１ｂは、図３Ｃに示すように、画像データＮ１，Ｎ２を５０％ずつ合成して１つの良品データとする。また、画像データＮ１，Ｎ３を５０％ずつ合成して１つの良品データとする。生成部１１ｂは、たとえばこのような手順を繰り返し、１つの良品データセットを生成することができる。

また、図３Ｄに示すように、不良品の画像データＡ１，Ａ２…があるものとする。画像データＡ１のＭ１部はたとえば傷である。また、画像データＡ２のＭ２部はたとえば汚れである。

これらを用いて不良品データセットを生成する場合には、生成部１１ｂは、たとえば図３Ｅに示すように、良品の画像データ（ここでは、画像データＮ１）と、画像データＡ１，Ａ２とをそれぞれ合成して不良品データを生成する。

たとえば生成部１１ｂは、図３Ｅに示すように、画像データＮ１，Ａ１を５０％ずつ合成して１つの不良品データとする。また、画像データＮ１，Ａ２を５０％ずつ合成して１つの不良品データとする。生成部１１ｂは、たとえばこのような手順を繰り返し、１つの不良品データセットを生成することができる。

なお、上述した５０％ずつといった合成の比率はあくまで一例であって、適宜変更が可能である。したがって、かかる比率を変更することにより、良品と不良品との組み合わせを無数に作ることができる。

図２Ａの説明に戻る。そして、生成部１１ｂは、生成した学習用データセットを、学習用データセット１２ｂとして記憶部１２へ展開する。

学習部１１ｃは、学習用データセット１２ｂに基づき、深層距離学習を実行し、学習結果として判定モデル１２ｃを出力する。図２Ｂに示すように、学習部１１ｃは、第１抽出部１１ｃａと、第２抽出部１１ｃｂと、距離学習部１１ｃｃとを備える。

第１抽出部１１ｃａは、図１Ａに示した「不良品」に対応するＣＮＮに相当する。第１抽出部１１ｃａは、生成部１１ｂによって生成された学習用データセット１２ｂの不良品データセットを入力し、不良品の特徴量を抽出して出力する。

第２抽出部１１ｃｂは、図１Ａに示した「良品」に対応するＣＮＮに相当する。第２抽出部１１ｃｂは、生成部１１ｂによって生成された学習用データセット１２ｂの良品データセットを入力し、良品の特徴量を抽出して出力する。

距離学習部１１ｃｃは、図１Ａに示した「距離学習層」に相当する。距離学習部１１ｃｃは、第１抽出部１１ｃａおよび第２抽出部１１ｃｂからそれぞれ入力される各特徴量を
特徴量空間へ埋め込んで前述の距離ｄを最適化する距離学習を実行し、学習結果として判定モデル１２ｃを出力する。

図２Ａの説明に戻る。そして、学習部１１ｃは、記憶部１２に展開された１回分の学習用データセット１２ｂに基づく深層距離学習を終えたならば、取得部１１ａに次回分の学習用画像を取得させ、生成部１１ｂに次回分の学習用データセット１２ｂを展開させて新たに深層距離学習を実行し、判定モデル１２ｃを更新する。これは、生成情報１２ａに設定された学習用データセットのパターン数分が繰り返される。

なお、図２Ａに示す破線の矩形で囲まれた部分の各構成要素により、たとえば学習装置を構成することができる。

判定部１１ｄは、図１Ａに示した「全結合層」に相当する。判定部１１ｄは、判定対象画像を取得し、これを判定モデル１２ｃへ入力して、判定モデル１２ｃからの出力結果を受け取る。出力結果は、良品の特徴量との差分値、すなわち判定対象画像の特徴量と良品の特徴量との間の距離である。

また、判定部１１ｄは、閾値情報１２ｄを参照し、差分値が閾値情報１２ｄに含まれる所定の判定閾値よりも小さければ良品と判定し、大きければ不良品と判定する。また、判定部１１ｄは、判定した判定結果を表示制御部１１ｅへ出力する。

表示制御部１１ｅは、判定部１１ｄによって判定された判定結果を、たとえば異常検知装置１０に接続された表示デバイスである表示部２０へ表示させる。

次に、実施形態に係る異常検知装置１０が実行する処理手順について、図４を用いて説明する。図４は、実施形態に係る異常検知装置１０が実行する処理手順を示すフローチャートである。

図４に示すように、まず学習対象期間であるか否かが判定される（ステップＳ１０１）。学習対象期間は、たとえば異常検知装置１０の運用初回や、運用前に予め判定モデル１２ｃを作成しておく場合の所定期間に相当する。

ここで、学習対象期間である場合（ステップＳ１０１，Ｙｅｓ）、学習用データセットのパターン数のカウンタｉに１がセットされる（ステップＳ１０２）。そして、カウンタｉが学習用データセットのパターン以下の間、ステップＳ１０３のループ処理が繰り返される。

かかるループ処理では、取得部１１ａが学習用画像を取得し（ステップＳ１０３１）、生成部１１ｂが、ｉ回目のパターンに基づいてｉ回目の学習用データセットを生成する（ステップＳ１０３２）。そして、学習部１１ｃが、生成されたｉ回目の学習データセットを用いて深層距離学習を実行する（ステップＳ１０３３）。

そして、カウンタｉが１加算され（ステップＳ１０３４）、学習用データセットのパターン数を超えたならばステップＳ１０４へ移行する。ステップＳ１０１で学習対象期間でない場合も（ステップＳ１０１，Ｎｏ）、ステップＳ１０４へ移行する。

そして、判定部１１ｄが、判定対象画像を判定モデル１２ｃへ入力し、良品の特徴量との差分値を取得する（ステップＳ１０４）。そして、判定部１１ｄは、差分値が閾値情報１２ｄの所定の判定閾値以下であるか否かを判定する（ステップＳ１０５）。

ここで、差分値が判定閾値以下である場合（ステップＳ１０５，Ｙｅｓ）、判定部１１ｄは良品と判定し、判定結果を表示制御部１１ｅに通知させる（ステップＳ１０６）。一方、差分値が判定閾値を超える場合（ステップＳ１０５，Ｎｏ）、判定部１１ｄは不良品と判定し、判定結果を表示制御部１１ｅに通知させる（ステップＳ１０７）。そして、処理を終了する。

なお、上述してきた実施形態に係る異常検知装置１０は、たとえば図５に示すような構成のコンピュータ６０によって実現される。図５は、異常検知装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ６０は、ＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＲＯＭ（Read Only Memory）６３、ＨＤＤ（Hard Disk Drive）６４、通信インタフェース（Ｉ／Ｆ）６５、入出力インタフェース（Ｉ／Ｆ）６６、およびメディアインタフェース（Ｉ／Ｆ）６７を備える。

ＣＰＵ６１は、ＲＯＭ６３またはＨＤＤ６４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６３は、コンピュータ６０の起動時にＣＰＵ６１によって実行されるブートプログラムや、コンピュータ６０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ６４は、ＣＰＵ６１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インタフェース６５は、通信ネットワークを介して他の機器からデータを受信してＣＰＵ６１へ送り、ＣＰＵ６１が生成したデータを、通信ネットワークを介して他の機器へ送信する。

ＣＰＵ６１は、入出力インタフェース６６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ６１は、入出力インタフェース６６を介して、入力装置からデータを取得する。また、ＣＰＵ６１は、生成したデータを、入出力インタフェース６６を介して出力装置へ出力する。

メディアインタフェース６７は、記録媒体６８に格納されたプログラムまたはデータを読み取り、ＲＡＭ６２を介してＣＰＵ６１に提供する。ＣＰＵ６１は、当該プログラムを、メディアインタフェース６７を介して記録媒体６８からＲＡＭ６２上にロードし、ロードしたプログラムを実行する。記録媒体６８は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

たとえば、コンピュータ６０が実施形態に係る異常検知装置１０として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、制御部１１の各機能を実現する。また、ＨＤＤ６４には、記憶部１２内のデータが記憶される。コンピュータ６０のＣＰＵ６１は、これらのプログラムを、記録媒体６８から読み取って実行するが、他の例として、他の装置から、通信ネットワークを介してこれらのプログラムを取得してもよい。

上述してきたように、実施形態に係る異常検知装置１０は、生成部１１ｂと、学習部１１ｃと、判定部１１ｄとを含む。生成部１１ｂは、製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセット１２ｂを生成する。学習部１１ｃは、学習用データセット１２ｂを用いた深層距離学習を実行することによって、正例の特徴量と負例の特徴量とが互いの間の距離ｄを最適化しつつ特徴量空間へ埋め込まれた判定モデル１２ｃを出力する。
判定部１１ｄは、判定対象画像を判定モデル１２ｃへ入力することによって、判定モデル１２ｃから判定対象画像の特徴量と正例の特徴量との差分値を取得し、かかる差分値に基づいて判定対象画像中の製品が良品であるか不良品であるかを判定する。

したがって、実施形態に係る異常検知装置１０によれば、教師データの不足を補いつつ高精度な異常検知を実現することができる。

なお、実施形態に係る異常検知装置１０は、たとえば詳細な異常の分類が可能となる教師データが集まるまで、製造ラインに先行導入され、一次利用的に異常を検知するように運用されてもよい。

また、実施形態に係る異常検知装置１０は、全くの未知のデータが入力されても、少なくとも製品が良であるか不良であるかを判定可能であるので、十分な教師データが集まり、詳細な異常の分類が可能な分類モデルが構築された後であっても、かかる分類モデルを有するシステムに並行して異常検知を行うように運用されてもよい。これにより、不良品の見逃しリスクを低減することができる。

また、上述した実施形態では、シャムネットワークを応用する例を挙げたが、深層距離学習のアルゴリズムを限定するものではなく、たとえばシャムネットワークの発展形であるトリプレットネットワーク（Triplet Network）を応用することとしてもよい。かかる場合、学習部１１ｃは、たとえば負例の特徴量を抽出する第１抽出部１１ｃａを２つ備えることとなる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 異常検知装置
１１ａ 取得部
１１ｂ 生成部
１１ｃ 学習部
１１ｃａ 第１抽出部
１１ｃｂ 第２抽出部
１１ｃｃ 距離学習部
１１ｄ 判定部
１１ｅ 表示制御部
１２ａ 生成情報
１２ｂ 学習用データセット
１２ｃ 判定モデル
１２ｄ 閾値情報
２０ 表示部

Claims (9)

1. 製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセットを生成する生成工程と、
   前記学習用データセットを用いた深層距離学習を実行することによって、前記正例の特徴量と前記負例の特徴量とが互いの間の距離を最適化しつつ特徴量空間へ埋め込まれた判定モデルを出力する学習工程と、
   判定対象画像を前記判定モデルへ入力することによって、該判定モデルから前記判定対象画像の特徴量と前記正例の特徴量との差分値を取得し、該差分値に基づいて前記判定対象画像中の製品が良品であるか不良品であるかを判定する判定工程と
   を含むことを特徴とする異常検知方法。
2. 前記生成工程は、
   前記学習用データセットを複数の異なるパターンで生成し、
   前記学習工程は、
   前記学習用データセットを用いた深層距離学習を順次前記パターンごとに実行する
   ことを特徴とする請求項１に記載の異常検知方法。
3. 前記生成工程は、
   画像データの次元に対応する要素として、色に加えて、製品への高さ情報あるいは製品の同一箇所に対する撮影条件の少なくともいずれかを含んで多次元化された前記学習用データセットを生成する
   ことを特徴とする請求項１または２に記載の異常検知方法。
4. 前記学習工程は、
   前記負例の特徴量を抽出する１以上の第１抽出工程と、
   前記正例の特徴量を抽出する１つの第２抽出工程と、
   特徴量それぞれの間の距離を最適化する距離学習工程と
   をさらに含むことを特徴とする請求項１、２または３に記載の異常検知方法。
5. 前記第１抽出工程は１つであって、
   前記第１抽出工程および前記第２抽出工程はそれぞれ、
   共通の重みを有するＣＮＮ（Convolutional Neural Networks）を用いて前記負例ま
   たは前記正例の特徴量を抽出する
   ことを特徴とする請求項４に記載の異常検知方法。
6. 前記判定工程は、
   前記差分値が所定の判定閾値以下である場合に、製品が良品であると判定し、前記差分値が前記判定閾値を超える場合に、製品が不良品であると判定する
   ことを特徴とする請求項１〜５のいずれか一つに記載の異常検知方法。
7. 製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセットを生成する生成部と、
   前記学習用データセットを用いた深層距離学習を実行することによって、前記正例の特徴量と前記負例の特徴量とが互いの間の距離を最適化しつつ特徴量空間へ埋め込まれた判定モデルを出力する学習部と、
   判定対象画像を前記判定モデルへ入力することによって、該判定モデルから前記判定対象画像の特徴量と前記正例の特徴量との差分値を取得し、該差分値に基づいて前記判定対
   象画像中の製品が良品であるか不良品であるかを判定する判定部と
   を備えることを特徴とする異常検知装置。
8. 製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセットを生成する生成手順と、
   前記学習用データセットを用いた深層距離学習を実行することによって、前記正例の特徴量と前記負例の特徴量とが互いの間の距離を最適化しつつ特徴量空間へ埋め込まれた判定モデルを出力する学習手順と、
   判定対象画像を前記判定モデルへ入力することによって、該判定モデルから前記判定対象画像の特徴量と前記正例の特徴量との差分値を取得し、該差分値に基づいて前記判定対象画像中の製品が良品であるか不良品であるかを判定する判定手順と
   をコンピュータに実行させることを特徴とする異常検知プログラム。
9. 製品の画像データに基づいて、正例となる良品と良品の組み合わせ、および、負例となる良品と不良品の組み合わせを同一の比率で含む学習用データセットを生成する生成工程と、
   前記学習用データセットを用いた深層距離学習を実行することによって、前記正例の特徴量と前記負例の特徴量とが互いの間の距離を最適化しつつ特徴量空間へ埋め込まれた判定モデルを出力する学習工程と
   を含むことを特徴とする学習方法。

Images