JP2023128693A - 情報処理装置、解析プログラム、および解析方法 - Google Patents

Abstract

【課題】異常箇所および異常の種類を高精度に検出可能な情報処理装置を提供する。【解決手段】教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出する算出部と、画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、異常種類を推定する推定部と、異常マップと異常種類とを対応付けて出力する出力部と、を含む情報処理装置。【選択図】図１２

Description

本発明は、情報処理装置、解析プログラム、および解析方法に関する。

工業製品の生産現場等においては、検査対象の製品の画像を解析することにより、当該製品の欠陥を検出することで不良品の選別がされている。

下記特許文献１には次の技術が開示されている。検査対象を含む画像から複数の特徴量を抽出し、抽出した特徴量に基づいて検査対象物の異常度を判定する。当該画像から特徴量それぞれのスコアを表す複数のスコアマップを生成する。そして、判定された異常度に対する特徴量それぞれの寄与度に基づいて、当該複数のスコアマップを統合することにより、当該検査対象物が異常であると判定された根拠となる欠陥を表す欠陥表示画像を生成して出力する。

特開２０１６－１１４５９２号公報

しかし、特許文献１に開示された技術は、異常と判断した根拠となる箇所を可視化すことはできるが、異常箇所を検出する技術ではないため、異常箇所の検出精度が低くなる可能性があるという問題がある。また、異常種類の検出ができないという問題がある。

本発明はこのような問題を解決するためになされたものであり、異常箇所および異常の種類を高精度に検出可能な情報処理装置、解析プログラム、および解析方法を提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出する算出部と、画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、異常種類を推定する推定部と、前記異常マップと、推定された前記異常種類とを対応付けて出力する出力部と、を有する情報処理装置。

（２）前記算出部は、前記画像と前記画像から再構成した再構成画像との差分に基づいて、異常スコアマップを算出する異常スコアマップ算出部と、前記推定部により推定された前記異常種類のアクティベーションマップを算出するアクティベーションマップ算出部と、前記異常スコアマップと、前記アクティベーションマップとに基づいて、前記異常マップを算出する異常マップ算出部と、を有する上記（１）に記載の情報処理装置。

（３）前記異常マップ算出部は、前記異常スコアマップと、前記アクティベーションマップとを乗算することで、前記異常マップを算出する、上記（２）に記載の情報処理装置。

（４）前記異常マップ算出部は、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、前記特定ピクセル以外のピクセルの値を０とすることで、前記異常マップを算出する、上記（２）に記載の情報処理装置。

（５）前記異常マップ算出部は、前記異常マップを算出する前に、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う、上記（２）に記載の情報処理装置。

（６）前記異常マップ算出部は、前記異常スコアマップと、前記アクティベーションマップとを加算することで、前記異常マップを算出する、上記（２）に記載の情報処理装置。

（７）教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出するステップ（ａ）と、画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、異常種類を推定するステップ（ｂ）と、算出された前記異常マップと、推定された前記異常種類とを対応付けて出力するステップ（ｃ）と、を有する処理をコンピューターに実行させるための解析プログラム。

（８）前記ステップ（ａ）は、前記画像と前記画像から再構成した再構成画像との差分に基づいて、異常スコアマップを算出するステップ（ａ１）と、前記ステップ（ｂ）において推定された前記異常種類のアクティベーションマップを算出するステップ（ａ２）と、前記異常スコアマップと、前記アクティベーションマップとに基づいて、前記異常マップを算出するステップ（ａ３）と、を有する上記（７）に記載の解析プログラム。

（９）前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを乗算することで、前記異常マップを算出する、上記（８）に記載の解析プログラム。

（１０）前記ステップ（ａ３）においては、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、前記特定ピクセル以外のピクセルの値を０とすることで、前記異常マップを算出する、上記（８）に記載の解析プログラム。

（１１）前記ステップ（ａ３）においては、前記異常マップを算出する前に、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う、上記（８）に記載の解析プログラム。

（１２）前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを加算することで、前記異常マップを算出する、上記（８）に記載の解析プログラム。

（１３）教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出するステップ（ａ）と、画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、異常種類を推定するステップ（ｂ）と、算出された前記異常マップと、推定された前記異常種類とを対応付けて出力するステップ（ｃ）と、を有する解析方法。

（１４）前記ステップ（ａ）は、前記画像と前記画像から再構成した再構成画像との差分に基づいて、異常スコアマップを算出するステップ（ａ１）と、前記ステップ（ｂ）において推定された前記異常種類のアクティベーションマップを算出するステップ（ａ２）と、前記異常スコアマップと、前記アクティベーションマップとに基づいて、前記異常マップを算出するステップ（ａ３）と、を有する上記（１３）に記載の解析方法。

（１５）前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを乗算することで、前記異常マップを算出する、上記（１４）に記載の解析方法。

（１６）前記ステップ（ａ３）においては、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、前記特定ピクセル以外のピクセルの値を０とすることで、前記異常マップを算出する、上記（１４）に記載の解析方法。

（１７）前記ステップ（ａ３）においては、前記異常マップを算出する前に、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う、上記（１４）に記載の解析方法。

（１８）前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを加算することで、前記異常マップを算出する、上記（１４）に記載の解析方法。

教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出し、画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、異常種類を推定し、異常マップと異常種類とを対応付けて出力する。これにより、異常箇所および異常の種類を高精度に特定できる。

情報処理システムの概略構成を示す図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の制御部の機能を示すブロック図である。 異常スコアマップ算出部の機能について説明するための説明図である。 分類部の機能について説明するための説明図である。 アクティベーションマップ算出部の機能について説明するための説明図である。 異常ヒートマップ算出部の機能について説明するための説明図である。 異常ヒートマップ算出部による、異常スコアマップとアクティベーションマップとの乗算による異常ヒートマップの算出結果の例を示す図である。 異常ヒートマップ算出部による、異常スコアマップとアクティベーションマップとの乗算による異常ヒートマップの算出結果の他の例を示す図である。 異常ヒートマップ算出部による、異常スコアマップとアクティベーションマップとの乗算による異常ヒートマップの算出結果のさらに他の例を示す図である。 異常ヒートマップ算出部による、異常スコアマップとアクティベーションマップとの乗算による異常ヒートマップの算出結果のさらに他の例を示す図である。 情報処理装置の動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る情報処理装置、解析プログラム、および解析方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また、ヒートマップ等の図示においては、ピクセルの値（以下、「ピクセル値」と称する）が大きいほど明度を大きく（白色に近く）して図示する場合と、ピクセル値が大きいほど明度を小さく（黒色に近く）して図示する場合がある。

図１は、情報処理システム１０の概略構成を示す図である。

情報処理システム１０は、情報処理装置１００、撮影装置２００、および通信ネットワーク３００を備える。情報処理装置１００は、通信ネットワーク３００により撮影装置２００と相互に通信可能に接続される。

情報処理装置１００は、撮影装置２００から受信した、検査対象５００の画像が含まれる撮影画像（以下、「検査画像２１０」と称する）に基づいて、検査画像２１０を所定の検査クラスに分類することにより、検査対象５００を検査する。検査クラスは、異常の種類等の区分けである。検査画像２１０は画像を構成する。所定の検査クラスは検査対象５００の性質に応じて予め設定される。情報処理装置１００は、検査画像２１０に基づいて、ピクセルごとに異常度を示す異常ヒートマップ２６０（図７参照）を算出し、分類した検査クラスと対応付けて出力する。検査対象５００には、工業製品（ボルトや半導体チップ等の部品を含む）が含まれる。検査クラスには、例えば、異常なし、キズ、剥がれ、汚れ等が含まれる。なお、検査画像２１０が医用画像（レントゲン像等を含む）である場合、検査対象５００は、人体、人体の一部、器官等であり得る。この場合、検査クラスには、例えば、異常なし、異常行動、潰瘍（潰瘍あり）、腫瘍（腫瘍あり）等が含まれ得る。以下、説明を簡単にするために、検査対象５００は工業製品であり、検査クラスは、「キズ」および「剥がれ」であるものとする。なお、検査は良品と不良品を分類することを主目的とするため、検査クラスには「異常なし」が含まれ得るが、説明を簡単にするために、検査クラスには「異常なし」のクラスは含まれないものとする。

撮影装置２００は、例えば近赤外線カメラにより構成され、所定の位置に設置され、当該所定の位置から撮影領域を撮影して検査画像２１０を出力する。撮影装置２００は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで撮影領域を撮影し得る。検査画像２１０は近赤外線の反射率を各画素とするモノクロ画像であり得る。所定の位置は、検査対象５００を撮影可能な位置であれば限定されない。撮影領域は、例えば、製造工場の机上に設定された検査対象５００の検査のための配置位置とし得る。撮影装置２００は、例えば、１５ｆｐｓ～３０ｆｐｓのフレームレートの、複数の検査画像２１０（フレーム）からなる動画として撮影領域を撮影してもよい。

通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。

図２は、情報処理装置１００のハードウェア構成を示すブロック図である。情報処理装置１００は、制御部１１０、記憶部１２０、通信部１３０、および操作表示部１４０を含む。これらの構成要素は、バス１５０を介して相互に接続される。情報処理装置１００は、コンピューターにより構成され得る。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、プログラムに従って情報処理装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびフラッシュメモリにより構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。フラッシュメモリは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。

通信部１３０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。通信部１３０は、撮影装置２００から検査画像２１０を受信する。

操作表示部１４０は、例えば液晶ディスプレイ、タッチパネル、各種キーにより構成される。操作表示部１４０は、各種操作および入力を受け付けるとともに、各種情報を表示する。

制御部１１０の機能について説明する。

図３は、情報処理装置１００の制御部１１０の機能を示すブロック図である。制御部１１０は、プログラムを実行することにより、再構成画像生成部１１１、異常スコアマップ算出部１１２、特徴マップ生成部１１３、分類部１１４、アクティベーションマップ算出部１１５、および異常ヒートマップ算出部１１６として機能する。異常ヒートマップ算出部１１６は推定部、出力部、および異常マップ算出部を構成する。

再構成画像生成部１１１は、検査画像２１０を再構成することにより再構成画像２２０を生成する。具体的には、再構成画像生成部１１１は、例えば、良品（異常なし）の画像を教師データとして学習されたオートエンコーダーにより構成され得る。これにより、再構成画像生成部１１１は良品の画像の特徴を学習することで、検査画像２１０から良品の画像（より詳細には、良品の特徴を備えた画像）を再構成することで再構成画像２２０を生成する。

異常スコアマップ算出部１１２は、検査画像２１０と再構成画像２２０との差分に基づいて異常スコアマップ２３０を算出する。異常スコアマップ２３０は、検査画像２１０と再構成画像２２０とのピクセルごとの差分値を各ピクセル値とするマップであり得る。異常スコアマップ２３０は、検査画像と再構成画像とのピクセルごとの差分値の最大値で各ピクセル値を除算した値を各ピクセル値とするマップであってもよい。この場合、異常スコアマップ２３０の各ピクセル値は０～１の範囲内の値となる。以下、説明を簡単にするために、異常スコアマップ２３０は後者のマップである場合を例に説明する。

異常スコアマップ２３０は、検査画像２１０と再構成画像２２０との差分に基づいて算出されるヒートマップであり、ピクセルごとに異常度を示す。

図４は、異常スコアマップ算出部１１２の機能について説明するための説明図である。図４においては、検査画像２１０を、キズ５１０がある検査対象５００が撮影された画像としている。図４の異常スコアマップ２３０においては、ピクセル値が大きいほど明度を小さく（黒色に近く）して図示している。

図４の例においては、検査画像２１０において画像として含まれる検査対象５００にキズ５１０がある。検査画像２１０は、再構成画像生成部１１１（図４において図示せず）により再構成画像２２０に再構成される。これにより、再構成画像２２０においては、良品の特徴を備えるとともに、検査対象５００のキズ２１１は捨象される。

異常スコアマップ２３０においては、検査画像２１０と再構成画像２２０とのピクセルごとの差分に基づいて各ピクセル値が算出されることにより、キズ５１０の部分のピクセル値が相対的に大きくなる。これにより、異常箇所が検出される。

再構成画像生成部１１１および異常スコアマップ算出部１１２による異常箇所の検出においては、教師データを用いた学習を行う必要がない。従って、教師データを作成するためのアノテーションも不要である。以下、再構成画像生成部１１１および異常スコアマップ算出部１１２による異常箇所の検出を、「教師無し異常検出」とも称する。

図４の例に示すように、教師無し異常検出においては、検査対象５００のエッジ部分における光反射の影響や再構成における誤差等に起因して異常スコアマップ２３０にノイズ２３１が重畳し得る。

再度図３を参照すると、特徴マップ生成部１１３は、検査画像２１０から特徴マップ２４０を生成する。具体的には、特徴マップ生成部１１３は、ニューラルネットワークの学習済みモデルを用いた畳み込みおよびプーリング等の演算によって、検査画像２１０から複数の特徴をそれぞれ抽出した複数の特徴マップ２４０を生成する。各特徴マップ２４０の各ピクセル値は、それぞれの特徴を示す程度が反映される。

分類部１１４は、特徴マップ生成部１１３により生成される複数の特徴マップ２４０からクラスベクトルを算出することにより、いずれかの検査クラスに検査画像２１０を分類する。クラスベクトルは、検査画像２１０に含まれる検査対象５００の異常が各検査クラスに属する可能性を示す尤度と、各検査クラスとの組合せのデータである。クラスベクトルは相対的に尤度が高い検査クラスを特定するため、クラスベクトルを算出することは、特徴マップ生成部１１３および分類部１１４により、検査画像２１０に基づいて検査クラスを推定することに対応する。分類部１１４は、例えば、ＧＡＰ（Ｇｒｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）により、複数の特徴マップ２４０ごとに画素平均を算出する。そして、各特徴マップ２４０に対応する重み（より詳細には、各特徴マップ２４０において抽出される特徴に対応する重み）による画素平均の加重和と各検査クラスの識別境界からの距離に基づいて、検査画像２１０に含まれる検査対象５００の異常が属する、検査クラスごとの可能性を、検査クラスごとの尤度（クラスベクトル）として算出する。重みは、以下説明する、ニューラルネットワークの学習済みモデルを生成する際の学習により、検査クラスごとに最適化されている。クラスベクトルの各尤度は０～１のいずれかの値をとり、各尤度の和は１になる。

分類部１１４は、異常の種類（すなわち検査クラス）が既知の検査対象５００の入力画像と、当該入力画像に対応する検査クラスの尤度を１とし、それ以外の尤度を０としたクラスベクトル（正解ラベル）との組合せを教師データとして学習することで生成された、ニューラルネットワークの学習済みモデルにより構成され得る。ニューラルネットワークのモデルが学習されることで、クラスベクトルを算出（推定）する際の演算に用いる、特徴マップ２４０の特徴ごとの重みが最適化される。教師データとして用いる入力画像には不良品（キズや剥がれ等の異常がある検査対象５００）の画像を用いる。入力画像としては、さらに良品の画像を用い得る。

図５は、分類部１１４の機能について説明するための説明図である。

分類部１１４は、検査画像２１０に基づいて特徴マップ生成部１１３により生成された複数の特徴マップ２４０から、クラスベクトルを算出する。クラスベクトルの算出は、検査クラスの推定（算出）に対応する。図５の例においては、クラスベクトルを算出することで、尤度が０．９である、最も尤度が大きいキズの検査クラスに、検査画像２１０が分類されている。これにより、検査画像２１０からキズの検査クラスが推定されている。

分類部１１４は、クラスベクトルにおいて最大の尤度が算出された際（図５の例においては、「キズ」の尤度が算出されたとき）の、学習済みモデルにおける、各特徴マップ２４０の特徴にそれぞれ対応する重み（以下、単に「重み」とも称する）を出力し得る。図５の例においては、各特徴マップ２４０の特徴が、特徴１、特徴２、．．．特徴ｎと示され、特徴１～ｎにそれぞれ対応する重みがｗ_１、ｗ_２、．．．ｗ_ｎと示されている。当該重みは、後述するように、アクティベーションマップの算出に用いられる。

再度図３を参照すると、アクティベーションマップ算出部１１５は、複数の特徴マップ２４０と、重みとからアクティベーションマップを算出する。このアクティベーションマップの算出方法として、公知のＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）を用い得る。

図６は、アクティベーションマップ算出部１１５の機能について説明するための説明図である。

アクティベーションマップ算出部１１５は、複数の特徴マップ２４０の、同じ座標のピクセルの、ピクセル値の重みによる加重和を、全てのピクセルについて算出し、アクティベーションマップの各ピクセル値とすることで、アクティベーションマップ２５０を算出する。アクティベーションマップ２５０の各ピクセル値は、０～１の範囲内の値とされ得る。

アクティベーションマップ２５０は、分類部１１４により算出されるクラスベクトルにおいて尤度が最大となる検査クラスの、当該尤度の算出において重視された程度を各ピクセル値とするヒートマップである。従って、アクティベーションマップ２５０は、ピクセルごとに異常度を示していると考えられる。

再度図３を参照すると、異常ヒートマップ算出部１１６は、異常スコアマップ２３０とアクティベーションマップ２５０とに基づいて異常ヒートマップ２６０を算出する。異常ヒートマップ２６０は、異常マップに含まれる一例である。異常マップはヒートマップに限定されない。異常スコアマップ２３０およびアクティベーションマップ２５０ピクセルは、それぞれ異なる視点からピクセルごとに異常度（異常の程度）の高さを示しているといえる。従って、異常スコアマップ２３０とアクティベーションマップ２５０とに基づいて異常ヒートマップ２６０を算出することで、異常ヒートマップ２６０により、より高い精度で、ピクセルごとに異常度を示し得る。具体的には、異常ヒートマップ算出部１１６は、異常スコアマップ２３０とアクティベーションマップ２５０とを乗算することで算出され得る。すなわち、異常ヒートマップ算出部１１６は、異常スコアマップ２３０とアクティベーションマップ２５０とを、同じ座標のピクセルのピクセル値を全てのピクセルについてそれぞれ乗算し、各乗算値を、異常ヒートマップの各ピクセル値とすることで算出され得る。

異常ヒートマップ２６０は、再構成画像生成部１１１を構成するオートエンコーダーにより生成された再構成画像２２０と検査画像２１０との差分に基づいて算出される異常スコアマップ２３０であってもよい。

再構成画像生成部１１１を構成するオートエンコーダー、および異常スコアマップ算出部１１２は、教師なし学習により学習された教師なし学習済みモデルを構成する。従って、異常ヒートマップ２６０は、教師なし学習により学習された教師なし学習済みモデルに基づいて算出される、異常箇所を示す異常マップであり得る。

教師なし学習済みモデルでは、学習には正常画像を用いて学習を行い、推論時に異常画像を入力した際に、異常個所を示す異常マップを算出する。正常画像を使って再構成できるように学習することで、推論時に異常画像を入力した際に上手く再構成できず異常個所を示す異常マップを算出し得る。

正常画像は、正常な物品や医用における正常画像を含む。異常画像は、正常でない物品や医用における異常画像を含む。

異常ヒートマップ算出部１１６は、クラスベクトルにおいて、尤度が所定の閾値以上の検査クラスを異常クラスとして、異常ヒートマップ２６０と対応付けて出力し得る。所定の閾値以上の検査クラスが複数ある場合、異常クラスは複数の検査クラスであり得る。この場合、複数の検査クラスにそれぞれ対応する複数の異常ヒートマップ２６０が算出され、それぞれ対応する検査クラスに対応付けされて出力され得る。異常クラスは、尤度が最も大きい１つの検査クラスであってもよい。出力には、操作表示部１４０における表示や、外部装置への送信等が含まれる。

異常クラス（異常種類）は、教師データを用いて学習された教師あり学習済みモデルである分類部１１４により推定される。

教師あり学習済みモデルは、画像に対応付けて異常種類が付与された教師データにより学習されたものである。異常種類を推定することが可能で、異常個所のアノテーションなしで学習された教師あり学習済みモデルであることが好ましい。

異常ヒートマップ算出部１１６は、異常ヒートマップ２６０と異常クラスを出力することで、検査対象物の異常個所と異常種類がわかるように出力する。人の疾患の箇所と種類を出力するものでもよい。

特徴マップ生成部１１３、分類部１１４、およびアクティベーションマップ算出部１１５による異常クラスの推定、ならびにアクティベーションマップ２５０の算出においては、異常箇所の検出のための、教師データを用いた学習を行う必要がない。従って、入力画像に、当該入力画像における異常箇所（異常の範囲または異常のピクセル）等を正解ラベルとしてラベル付けするアノテーションも不要である。以下、特徴マップ生成部１１３、分類部１１４、およびアクティベーションマップ算出部１１５による異常クラスの推定、ならびにアクティベーションマップの算出を、「異常分類」とも称する。

異常ヒートマップ算出部１１６は、上記以外の方法で異常ヒートマップ２６０を算出してもよい。

例えば、異常ヒートマップ算出部１１６は、異常スコアマップ２３０およびアクティベーションマップ２５０の少なくともいずれか一方で所定の第１閾値以上の値のピクセルである特定ピクセルの値を１とし、特定ピクセル以外のピクセルの値を０とすることで、異常ヒートマップ２６０を算出してもよい。第１閾値は、異常の検出精度の観点から実験により適当に設定され得る。第１閾値は、例えば、０．４～０．９の範囲のいずれかの値に設定されてもよい。

異常ヒートマップ算出部１１６は、異常ヒートマップ２６０を算出する前に、異常スコアマップ２３０およびアクティベーションマップ２５０の少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行ってもよい。第２閾値は、異常の検出精度の観点から実験により適当に設定され得る。第２閾値は、例えば、０．１～０．２の範囲のいずれかの値に設定されてもよい。第２閾値は、異常スコアマップ２３０に対する値と、アクティベーションマップ２５０に対する値とで異なる値であってもよい。

異常ヒートマップ算出部１１６は、異常スコアマップ２３０と、アクティベーションマップ２５０とを加算することで、異常ヒートマップ２６０を算出してもよい。

以下、説明を簡単にするために、異常ヒートマップ２６０は、異常スコアマップ２３０とアクティベーションマップ２５０との乗算により算出される場合を例に説明する。

図７は、異常ヒートマップ算出部１１６の機能について説明するための説明図である。

図７に示すように、異常ヒートマップ算出部１１６により、異常スコアマップ２３０とアクティベーションマップ２５０とが乗算されることにより、教師無し異常検出および異常分類において共にピクセル値が大きい（スコアが高い）領域が異常ヒートマップにより特定（明確化）される。これにより、異常箇所の検出精度が向上される。

（第１実施例）
図８は、異常ヒートマップ算出部１１６による、異常スコアマップ２３０とアクティベーションマップ２５０との乗算による異常ヒートマップ２６０の算出結果の例を示す図である。図８の例においては、キズがある（キズの異常がある）検査対象５００の検査画像２１０から算出された異常スコアマップ２３０およびアクティベーションマップ２５０が示されている。異常スコアマップ２３０、アクティベーションマップ２５０、および異常ヒートマップ２６０は、ピクセル値が大きいほど明度を大きく（白色に近く）して図示されている（他の実施例においても同様）。なお、図８においては、説明を簡単にするために、異常スコアマップ２３０、アクティベーションマップ２５０、および異常ヒートマップ２６０には、検査画像２１０に含まれているキズ５１０の画像が黒い線により示されている。

図８の例においては、異常スコアマップ２３０において、キズ５１０の周辺のピクセル値が大きくなっている。また、検査対象５００のエッジにおける光反射の影響等により、キズ５１０の周辺以外の一部の箇所のピクセル値が大きくなることでノイズが発生（混入）している。

アクティベーションマップ２５０においても、キズ５１０の周辺のピクセル値が大きくなっている。また、キズ５１０がある箇所以外の箇所を、キズ５１０の特徴がある箇所として誤認識した結果、キズ５１０の周辺以外の一部の箇所のピクセル値が大きくなることで、ノイズが発生している。

しかし、異常ヒートマップ２６０においては、異常スコアマップ２３０とアクティベーションマップ２５０とが乗算された結果、ノイズが低減し、実際の異常箇所である、キズ５１０周辺の箇所のピクセル値のみが相対的に大きな値となっている。すなわち、異常ヒートマップ２６０においては、実際の異常箇所が正確に示されている。

（第２実施例）
図９は、異常ヒートマップ算出部１１６による、異常スコアマップ２３０とアクティベーションマップ２５０との乗算による異常ヒートマップ２６０の算出結果の他の例を示す図である。図９の例においては、未知の異常がある検査対象５００の検査画像２１０から算出された異常スコアマップ２３０およびアクティベーションマップ２５０が示されている。未知の異常とは、予め設定される所定の検査クラスに含まれない異常であり、例えば、新機種の機械への変更によって当該機械の切削方式に起因して初めて生じる種類の異常（例えば、熔解）等が含まれる。なお、図９においては、説明を簡単にするために、異常スコアマップ２３０、アクティベーションマップ２５０、および異常ヒートマップ２６０には、検査画像２１０に含まれている、未知の異常を示す画像が黒い楕円により示されている。

図９の例においては、異常スコアマップ２３０において、異常箇所の周辺のピクセル値が大きくなっている。また、検査対象５００のエッジにおける光反射の影響等により、異常箇所の周辺以外の一部の箇所のピクセル値が大きくなることでノイズが発生している。

アクティベーションマップ２５０においては、異常の特徴が所定の検査クラスのいずれとも関連しない（または関連性が低い）特徴であり、認識できない特徴であるため、異常箇所以外の一部の箇所のピクセル値が大きくなってしまっている。すなわち、誤った箇所を異常箇所として検出している。前述したように、未知の異常は所定の検査クラスに含まれていないため、本実施例においては、分類部１１４により誤った検査クラスに強制的に分類され得る。

異常ヒートマップ２６０においては、異常スコアマップ２３０とアクティベーションマップ２５０とが乗算された結果、ピクセル値が大きい箇所が存在しない。これにより、ユーザーは、異常ヒートマップ２６０を参照することで、検出（分類）された検査クラスが誤検出であると認識できる。また、ユーザーは、異常ヒートマップ２６０においてピクセル値が大きい箇所が存在しないことから、分類部１１４のニューラルネットワークのモデルに対し、クラスベクトルの次元を増加（検査クラスの数を増加）させ、再学習を行う必要があると容易に判断できる。なお、ユーザーは異常スコアマップ２３０を参照することで異常箇所を認識できるが、上述したように、異常スコアマップ２３０にはノイズが発生している可能性があり、また異常スコアマップ２３０だけでは検査クラス（異常の種類）を認識することができない。

（第３実施例）
図１０は、異常ヒートマップ算出部１１６による、異常スコアマップ２３０とアクティベーションマップ２５０との乗算による異常ヒートマップの算出結果のさらに他の例を示す図である。図１０の例においては、いずれかの検査クラスへの分類が比較的困難な異常がある検査対象５００の検査画像２１０から算出された異常スコアマップ２３０およびアクティベーションマップ２５０が示されている。なお、図１０においては、説明を簡単にするために、異常スコアマップ２３０、アクティベーションマップ２５０、および異常ヒートマップ２６０には、検査画像２１９に含まれている異常を示す画像が黒い楕円により示されている。

図１０の例においては、異常スコアマップ２３０において、異常箇所の周辺のピクセル値が大きくなっている。また、検査対象５００のエッジにおける光反射の影響等により、異常箇所の周辺以外の一部の箇所のピクセル値が大きくなることでノイズが発生している。

検査画像２１０において、いずれかの検査クラスへの分類が比較的困難な異常が含まれているため、分類部１１４により算出されたクラスベクトルにおいて、尤度が所定の閾値以上の検査クラスが２つ（または２つ以上）含まれ得る。本実施例においては、尤度が所定の閾値である０．４以上の検査クラスが２つあり、尤度がそれぞれ０．４１と０．４０の検査クラスが推定されている。

尤度が０．４１の検査クラスのアクティベーションマップ（１）においては、検査クラスと関連しない（または関連性が薄い）特徴の箇所を、当該検査クラスへの分類の根拠の箇所としており、当該異常クラスの異常が存在しないにもかかわらず、誤った個所のピクセル値が大きく算出されてしまっている。

尤度が０．４０の検査クラスのアクティベーションマップ（２）においては、検査クラスと関連する箇所を、当該検査クラスへの分類の根拠の箇所として正しく認識しており、当該異常クラスの異常が存在する箇所のピクセル値が大きく算出されている。

異常スコアマップ２３０と、尤度が０．４１の検査クラスのアクティベーションマップ（１）との乗算により算出された異常ヒートマップ（１）においては、ピクセル値が明確に大きい箇所が存在しない。従って、ユーザーは、異常ヒートマップ（１）を参照することで、検出（分類）された検査クラスが誤検出であると認識できる。

異常スコアマップ２３０と、尤度が０．４０の検査クラスのアクティベーションマップ（２）との乗算により算出された異常ヒートマップ（２）においては、異常スコアマップ２３０とアクティベーションマップ（２）とが乗算された結果、ノイズが低減し、実際の異常箇所のピクセル値が明確に比較的大きな値となっている。すなわち、異常ヒートマップにおいて、実際の異常箇所が正確に示されている。

本実施例においては、異常ヒートマップ（２）に異常箇所が明確に示されていることから、尤度が０．４０の検査クラスの異常が、異常ヒートマップ（２）に示された箇所で正確に検出されていると判断できる。一方、異常ヒートマップ（１）では異常箇所が明確に示されていないため、尤度が０．４１の異常クラスは誤検出として無視できる。このため、いずれかの検査クラスへの分類が比較的困難な異常であっても正確に検出できる。

（第４実施例）
図１１は、異常ヒートマップ算出部１１６による、異常スコアマップ２３０とアクティベーションマップ２５０との乗算による異常ヒートマップ２６０の算出結果のさらに他の例を示す図である。図１１の例においては、複数の異常がある検査対象５００の検査画像２１０からそれぞれ算出された、異常スコアマップ２３０およびアクティベーションマップ２５０が示されている。なお、図１１においては、説明を簡単にするために、異常スコアマップ２３０、アクティベーションマップ２５０、および異常ヒートマップ２６０には、検査画像２１９に含まれている２つの異常の一方であるキズの異常が黒い線で、他方である剥がれの異常が黒い楕円で示されている。

図１１の例においては、異常スコアマップ２３０において、各異常箇所の周辺のピクセル値が大きくなっている。また、検査対象５００のエッジにおける光反射の影響等により、異常箇所の周辺以外の一部の箇所のピクセル値が大きくなることでノイズが発生している。

検査画像２１０において、２つの異常の画像が含まれているため、分類部１１４により算出されたクラスベクトルにおいて、尤度が所定の閾値以上の検査クラスが２つ（または２つ以上）含まれ得る。本実施例においては、尤度が所定の閾値である０．４以上の検査クラスが２つあり、尤度がそれぞれ０．４２と０．４１の検査クラスが推定されている。

尤度が０．４２の検査クラスのアクティベーションマップ（３）においては、検査クラスであるキズの特徴をもつキズ周辺の箇所が、キズの検査クラスへの分類の根拠の箇所として正しく認識しており、キズの異常が存在する箇所のピクセル値が比較的大きく算出されている。

尤度が０．４１の検査クラスのアクティベーションマップ（４）においては、検査クラスである剥がれの特徴をもつ剥がれがある箇所の周辺が、剥がれの検査クラスへの分類の根拠の箇所として正しく認識しており、剥がれの異常が存在する箇所のピクセル値が比較的大きく算出されている。

異常スコアマップ２３０と、尤度が０．４２の検査クラスのアクティベーションマップ（３）との乗算により算出された異常ヒートマップ（３）においては、異常スコアマップ２３０とアクティベーションマップ（３）とが乗算された結果、ノイズが低減し、実際のキズの異常箇所周辺のピクセル値のみが明確に大きな値となっている。すなわち、異常ヒートマップ（３）において、実際のキズの異常箇所が正確に示されている。

異常スコアマップ２３０と、尤度が０．４１の検査クラスのアクティベーションマップ（４）との乗算により算出された異常ヒートマップ（４）においては、異常スコアマップ２３０とアクティベーションマップ（４）とが乗算された結果、ノイズが低減し、実際の剥がれの異常箇所周辺のピクセル値のみが明確に比較的大きな値となっている。すなわち、異常ヒートマップ（４）において、実際の剥がれの異常箇所が正確に示されている。

本実施例においては、検査画像２１０において、検査対象５００に複数の異常がある場合であっても、それぞれの異常クラスと異常箇所を正確に検出できる。

図１２は、情報処理装置１００の動作を示すフローチャートである。本フローチャートは、情報処理装置１００の制御部１１０により、プログラムに従い実行され得る。

制御部１１０は、撮影装置２００から検査画像２１０を受信することにより取得する（Ｓ１０１）。

制御部１１０は、検査画像２１０から再構成画像２２０を生成する（Ｓ１０２）。

制御部１１０は、検査画像２１０と再構成画像２２０との差分を算出することで、異常スコアマップ２３０を算出する（Ｓ１０３）。

制御部１１０は、検査画像２１０からニューラルネットワークの学習済みモデルを用いて異常クラスを推定する（Ｓ１０４）。

制御部１１０は、推定された異常クラスのアクティベーションマップ２５０を算出する（Ｓ１０５）。

制御部１１０は、異常スコアマップ２３０とアクティベーションマップ２５０とを乗算することにより、異常ヒートマップ２６０を算出する（Ｓ１０５）。

制御部１１０は、異常ヒートマップ２６０と異常クラスとを対応付けて出力する（Ｓ１０７）。

実施形態は、以下の効果を奏する。

教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出し、画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、異常種類を推定し、異常マップと異常種類とを対応付けて出力する。これにより、異常箇所および異常種類を高精度に特定できる。

さらに、画像と再構成画像との差分に基づいて、異常スコアマップを算出し、推定された異常クラスのアクティベーションマップを算出し、異常スコアマップと、アクティベーションマップとに基づいて、異常ヒートマップを算出する。これにより、アノテーションを行うことなく、異常箇所の検出精度をさらに向上できる。

さらに、異常スコアマップとアクティベーションマップとを乗算することで異常ヒートマップを算出する。これにより、簡単かつ高精度に異常箇所の検出精度を向上できる。

さらに、異常スコアマップおよびアクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、特定ピクセル以外のピクセルの値を０とすることで、異常ヒートマップを算出する。これにより、異常箇所の誤検出をより低減できる。

さらに、異常ヒートマップを算出する前に、異常スコアマップおよびアクティベーションヒートマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う。これにより、ノイズによる異常箇所の誤検出をより低減できる。また、例えば、第２閾値未満を、異常スコアマップに対する値と、アクティベーションヒートマップに対する値とで異なる値とすることで、異常スコアマップおよびアクティベーションヒートマップのいずれかをベースにすることにより、異常ヒートマップの出力意図を明確化できる。

さらに、異常スコアマップと、アクティベーションマップとを加算することで、異常ヒートマップを算出する。これにより、簡単かつ高精度に異常箇所の検出精度を向上できる。また、異常スコアマップと、アクティベーションマップとの乗算や、異常スコアマップおよびアクティベーションヒートマップの少なくともいずれか一方に対するフィルタリング処理によって、異常検出に必要な部分まで消えてしまうことを抑制できる。

本発明は上述した実施形態に限定されない。

例えば、フローチャートの一部のステップは省略されてもよい。また、処理時間の短縮等のために、いずれか複数のステップは並行して実行されてもよい。

また、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実行されてもよい。

１０ 情報処理システム、
１００ 情報処理装置、
１１０ 制御部、
１１１ 再構成画像生成部、
１１２ 異常スコアマップ算出部、
１１３ 特徴マップ生成部、
１１４ 分類部、
１１５ アクティベーションマップ算出部、
１１６ 異常ヒートマップ算出部、
１２０ 記憶部、
１３０ 通信部、
１４０ 操作表示部、
２００ 撮影装置、
２１０ 検査画像、
２２０ 再構成画像、
２３０ 異常スコアマップ、
２３１ ノイズ、
２４０ 特徴マップ、
２５０ アクティベーションマップ、
２６０ 異常ヒートマップ、
３００ 通信ネットワーク、
５００ 検査対象、
５１０ キズ。

Claims (18)

1. 教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出する算出部と、
   画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、前記異常種類を推定する推定部と、
   前記異常マップと、推定された前記異常種類とを対応付けて出力する出力部と、
   を有する情報処理装置。
2. 前記算出部は、
   前記画像と前記画像から再構成した再構成画像との差分に基づいて、異常スコアマップを算出する異常スコアマップ算出部と、
   前記推定部により推定された前記異常種類のアクティベーションマップを算出するアクティベーションマップ算出部と、
   前記異常スコアマップと、前記アクティベーションマップとに基づいて、前記異常マップを算出する異常マップ算出部と、
   を有する請求項１に記載の情報処理装置。
3. 前記異常マップ算出部は、前記異常スコアマップと、前記アクティベーションマップとを乗算することで、前記異常マップを算出する、請求項２に記載の情報処理装置。
4. 前記異常マップ算出部は、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、前記特定ピクセル以外のピクセルの値を０とすることで、前記異常マップを算出する、請求項２に記載の情報処理装置。
5. 前記異常マップ算出部は、前記異常マップを算出する前に、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う、請求項２に記載の情報処理装置。
6. 前記異常マップ算出部は、前記異常スコアマップと、前記アクティベーションマップとを加算することで、前記異常マップを算出する、請求項２に記載の情報処理装置。
7. 教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出するステップ（ａ）と、
   画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、前記異常種類を推定するステップ（ｂ）と、
   算出された前記異常マップと、推定された前記異常種類とを対応付けて出力するステップ（ｃ）と、
   を有する処理をコンピューターに実行させるための解析プログラム。
8. 前記ステップ（ａ）は、
   前記画像と前記画像から再構成した再構成画像との差分に基づいて、異常スコアマップを算出するステップ（ａ１）と、
   前記ステップ（ｂ）において推定された前記異常種類のアクティベーションマップを算出するステップ（ａ２）と、
   前記異常スコアマップと、前記アクティベーションマップとに基づいて、前記異常マップを算出するステップ（ａ３）と、
   を有する請求項７に記載の解析プログラム。
9. 前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを乗算することで、前記異常マップを算出する、請求項８に記載の解析プログラム。
10. 前記ステップ（ａ３）においては、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、前記特定ピクセル以外のピクセルの値を０とすることで、前記異常マップを算出する、請求項８に記載の解析プログラム。
11. 前記ステップ（ａ３）においては、前記異常マップを算出する前に、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う、請求項８に記載の解析プログラム。
12. 前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを加算することで、前記異常マップを算出する、請求項８に記載の解析プログラム。
13. 教師なし学習により学習された教師なし学習済みモデルに基づき、異常箇所を示す異常マップを算出するステップ（ａ）と、
    画像に対応付けて異常種類が付与された教師データにより学習された教師あり学習済みモデルに基づき、前記異常種類を推定するステップ（ｂ）と、
    算出された前記異常マップと、推定された前記異常種類とを対応付けて出力するステップ（ｃ）と、
    を有する解析方法。
14. 前記ステップ（ａ）は、
    前記画像と前記画像から再構成した再構成画像との差分に基づいて、異常スコアマップを算出するステップ（ａ１）と、
    前記ステップ（ｂ）において推定された前記異常種類のアクティベーションマップを算出するステップ（ａ２）と、
    前記異常スコアマップと、前記アクティベーションマップとに基づいて、前記異常マップを算出するステップ（ａ３）と、
    を有する請求項１３に記載の解析方法。
15. 前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを乗算することで、前記異常マップを算出する、請求項１４に記載の解析方法。
16. 前記ステップ（ａ３）においては、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方で所定の第１閾値以上の値をもつ特定ピクセルの値を１とし、前記特定ピクセル以外のピクセルの値を０とすることで、前記異常マップを算出する、請求項１４に記載の解析方法。
17. 前記ステップ（ａ３）においては、前記異常マップを算出する前に、前記異常スコアマップおよび前記アクティベーションマップの少なくともいずれか一方に対し、所定の第２閾値未満の値のピクセルの値を０にするフィルタリングを行う、請求項１４に記載の解析方法。
18. 前記ステップ（ａ３）においては、前記異常スコアマップと、前記アクティベーションマップとを加算することで、前記異常マップを算出する、請求項１４に記載の解析方法。