JP2022083475A - 方法、装置、および、コンピュータープログラム - Google Patents

Abstract

【課題】機械学習モデルを用いた判別について判別根拠を容易に知ることができる技術を提供する。
【解決手段】装置がベクトルニューラルネットワーク型の機械学習モデルを用いて実行する方法は、機械学習モデルに物体の第２画像を入力して、１以上のニューロン層のそれぞれについて、１以上のニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する工程と、１以上のニューロン層において、第１中間データと第２中間データとの類似度を計算する工程と、類似度に応じた根拠画像を生成する工程と、生成した根拠画像を表示する工程と、を備える。
【選択図】図１０

Description

本開示は、ベクトルニューラルネットワーク型の機械学習モデルを用いた技術に関する。

従来、機械学習モデルを用いた画像のクラス判別について、損失関数に寄与する勾配の大きい画像部分をカラーマップで表現する技術が知られている（非特許文献１）。

Ramprasaath R. 外６名," Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization"[online], Cornell University, ［令和２年１０月９日検索］,インターネット<URL: https://arxiv.org/abs/1610.02391>

従来の技術では、クラス判別の結果とその結果に寄与した画像中の部分との相関を示すに過ぎない。例えば、従来の技術は、「ヒト」の入力画像をアルゴリズムモデルが「ゴリラ」と誤判定しても、入力画像における「ヒト」の部分を強調することしかしない。このような背景から、アルゴリズムモデルによるクラス判別に至る途中の処理を、クラス判別との関係でヒトが解釈できる形で提示する技術があれば、技術的にも社会的にも有用である。

（１）本開示の第１形態によれば、装置がベクトルニューラルネットワーク型の機械学習モデルを用いて実行する方法が提供される。前記機械学習モデルは、複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。また前記機械学習モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する。前記装置は、学習された前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを、前記ニューロンと関連付けて記憶している。前記方法は、前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する工程と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する工程と、前記類似度に応じた根拠画像を生成する工程と、前記生成した前記根拠画像を表示する工程と、を備える。

（２）本開示の第２形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いた装置が提供される。この装置は、（ｉ）複数の第１画像と、前記複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習された機械学習モデルであって、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する機械学習モデルと、（ｉｉ）前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データであって、前記ニューロンと関連付けられた第１中間データと、を記憶する記憶装置と、前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する取得部と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する類似度計算部と、前記類似度に応じた根拠画像を生成する出力画像生成部と、前記生成した前記根拠画像を表示する表示部と、を備える。

（３）本開示の第３形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いてコンピューターに実行させるコンピュータープログラムが提供される。前記機械学習モデルは、複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。また前記機械学習モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する。前記コンピューターは、学習された前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを、前記ニューロンと関連付けて記憶している。このコンピュータープログラムは、前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する取得機能と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する類似度計算機能と、前記類似度に応じた根拠画像を生成する出力画像生成機能と、前記生成した前記根拠画像を表示する表示機能と、を備える。

学習段階の判別システムを説明するための図。 第１画像と事前ラベルを説明するための図。 予想の投票によるベクトルニューロンの決定を概念的に示す第１の図。 予想の投票によるベクトルニューロンの決定を概念的に示す第２の図。 機械学習モデルの設定方法を説明するための図。 機械学習モデルの学習段階で実行される学習処理を示すフローチャート。 判別段階の判別システムを説明するための図。 第２画像を説明するための図。 第２画像のクラス判別処理のフローチャート。 第１説明処理のフローチャート。 特徴スペクトルを説明するための図。 第１根拠画像としての根拠画像を示す第１図。 第１根拠画像としての根拠画像を示す第２図。 出力画像を示す模式図。 第２説明処理のフローチャート。 第２画像を説明するための図。 出力画像を示す模式図。 根拠画像を示す図。 第３実施形態の判別装置を示す図。 入力受付画像を示した図。

Ａ．第１実施形態：
図１は、学習段階の判別システム１００を説明するための図である。図２は、第１画像１２と事前ラベル１４を説明するための図である。図１に示す判別システム１００は、ベクトルニューラルネットワーク型の機械学習モデル３０の学習を行う段階を表している。判別システム１００は、判別装置２０と、外部装置との間でデータのやり取りをするデータインターフェースと、を備える。データインターフェースは、限定されないが、好適にはＵＳＢアダプター、有線または無線ＬＡＮアダプターなどである。

本実施形態では、データインターフェースを介して、外部装置から判別装置２０の記憶装置に第１画像１２が格納されている。第１画像１２は、機械学習モデル３０の学習に用いられる。第１入力データセット１０は、撮像した対象が異なる第１画像としての第１データ要素１２Ａ，１２Ｂ，１２Ｃと、第１データ要素１２Ａ，１２Ｂ，１２Ｃに対応する事前ラベル１４と、を有する。事前ラベル１４のうち、第１データ要素１２Ａに対応するラベルを事前ラベル１４Ａとも呼び、第１データ要素１２Ｂに対応するラベルを事前ラベル１４Ｂとも呼び、第１データ要素１２Ｃに対応するラベルを事前ラベル１４Ｃとも呼ぶ。第１画像１２は、センサーによって取得された複数の第１データ要素１２Ａ，１２Ｂ，１２Ｃを含む。センサーは、ＲＧＢカメラや、赤外カメラなどの画像データを取得するセンサーである。

図２に示すように、各第１データ要素１２Ａ～１２Ｃは、カメラで撮像した種類が異なる対象物としてのサイコロである。第１データ要素１２Ａは、全面が一の目のサイコロをカメラで撮像した画像である。第１データ要素１２Ｂは、全面が二の目のサイコロをカメラで撮像した画像である。第１データ要素１２Ｃは、全面が三の目のサイコロをカメラで撮像した画像である。第１データ要素１２Ａ～１２Ｃはそれぞれ、１０００枚ずつ準備されている。第１データ要素１２Ａ～１２Ｃはそれぞれ画像サイズが３２×３２ピクセルである。また１０００枚ずつの第１データ要素１２Ａ～１２Ｃは、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。機械学習モデル３０での学習に用いられる第１データ要素１２Ａ～１２Ｃや、機械学習モデル３０によってラベル判別される後述する第２画像としての第２データ要素は、特徴に階層性を有する。「特徴に階層性を有する」とは、注目するデータ領域を微小な領域から、段階的に大きくしていくと、領域ごとに異なる特徴が現れることを意味する。例えば、特徴として、領域のテクスチャー、領域に現れる形状、領域に現れる各要素の配置、領域に現れる全体構成などが各層に該当する。特徴の階層性は、多くのデータに一般的にみられる特徴構造であり、機械学習モデル３０を用いた本開示の内容は汎用性が高い。

事前ラベル１４は、第１データ要素１２Ａ～１２Ｃのそれぞれに対応付けて第１入力データセット１０に記憶され、記憶装置２２に入力される。事前ラベルは、第１事前ラベルとしての良品ラベルと、第２事前ラベルとしての不良品ラベルとを有する。事前ラベル１４は、単にラベル１４とも呼ぶことがある。第１データ要素１２Ａには、事前ラベルとして不良品ラベルが対応付けられている。第１データ要素１２Ｂには、事前ラベルとして不良品ラベルが対応付けられている。第１データ要素１２Ｃには、事前ラベルとして良品ラベルが対応付けられている。つまり、本実施形態における機械学習モデル３０は、立方体の各表面に３の目を印刷または刻印した製品を製造する場合に使用され、製品の良品と不良品とを判別できる。

図１に示す判別装置２０は、パーソナルコンピューターなどの電子計算機である。判別装置２０は、記憶装置２２と、プロセッサー２４と、表示部２６とを備える。記憶装置２２は、フラッシュメモリーやＥＥＰＲＯＭなどの一時的でない記憶媒体としての不揮発性記憶媒体２３と、メインメモリーとしてのＤＲＡＭと、を含む。記憶装置２２には、機械学習モデル３０と、入力された第１入力データセット１０を用いて生成される収集データ要素３２とが記憶されている。また、記憶装置２２には、判別装置２０の動作を制御するための各種プログラムが記憶されている。

プロセッサー２４は、記憶装置２２に記憶された各種プログラムを実行することで各種機能を実現する。例えば、プロセッサー２４は、学習部２４０と取得部２４１と類似度計算部２４２と出力画像生成部２４４として機能する。なお、他の実施形態では、各種機能の少なくとも一部がハードウェア回路によって実現されてもよい。ここで、本開示において、「プロセッサー」は、ＣＰＵ、ＧＰＵ、およびハードウェア回路を包含する用語である。

学習部２４０は、第１入力データセット１０を用いて機械学習モデル３０の学習を実行する。取得部２４１は、後述する第１中間データや第２中間データを取得して記憶装置２２に記憶させる。類似度計算部２４２は、第１中間データと第２中間データとの類似度を計算する。第１中間データは、機械学習モデル３０の第１入力データセット１０が有する第１画像１２が機械学習モデル３０に入力されることでニューロンが出力するデータである。第２中間データは、判別対象となる物体が撮像された第２画像を機械学習モデル３０に入力することで生成されるデータである。第１中間データと第２中間データとの詳細は後述する。

出力画像生成部２４４は、類似度計算部２４２によって計算された類似度に応じた根拠画像ＩＭＥを含む出力画像ＩＭ０を生成する。根拠画像ＩＭＥは、第２画像について機械学習モデル３０によって判別された根拠を示す画像である。出力画像ＩＭ０は、ユーザーに判別根拠を説明するための画像である。根拠画像ＩＭＥを含む出力画像ＩＭ０の詳細は後述する。出力画像生成部２４４によって生成された出力画像ＩＭ０は、表示部２６によって表示される。なお、表示部２６は、判別装置２０に設けられていたが、他の装置、例えば、スマートフォンなどの端末機器の表示部であってもよい。

表示部２６は、各種情報を表示するために用いられる。表示部２６は、例えば、液晶モニターである。各種情報としては、例えば、学習された機械学習モデル３０を用いて判別したデータ要素の判別結果や出力画像ＩＭ０を表示する。

機械学習モデル３０は、ベクトルニューラルネットワーク型のアルゴリズムモデルであり、複数層を有する階層型である。機械学習モデル３０は、カプセルネットワークにおいて実行される動的ルーティング（Dynamic routing）を省略可能にしたネットワークである。本実施形態の機械学習モデル３０は、動的ルーティングで必要となる反復処理が必要でないベクトルニューラルネットワーク型のアルゴリズムを用いている。このアルゴリズムを狭義のベクトルニューラルネットワーク型のアルゴリズムとも呼ぶ。また、カプセルネットワークや狭義のベクトルニューラルネットワークは、入出力がベクトルであるベクトルニューロンをネットワークのニューロンとする機械学習モデルである。よって、カプセルネットワークや狭義のベクトルニューラルネットワークは、ベクトルニューラルネットワークに含まれる一つのアルゴリズムである。なお、ニューロンは、「ノード」とも呼ばれる。以下にカプセルネットワークのアルゴリズムと狭義のベクトルニューラルネットワークのアルゴリズムの違いについて説明する。

カプセルネットワークの動的ルーティングのアルゴリズムの概略は、以下の式（１）～式（５）によって表される。

上記式（１）～（５）において、Ｘ_ｉは層Ｌでのカプセルの出力、Ｘ_ｊは次の層Ｌ＋１でのカプセルの出力である。また、Ｗ_ｉｊはＸ_ｉからＸ_ｊの予測値を求めるための変換行列であり、カプセルネットワークの学習過程において最適化される。また、ａ_ｉは層Ｌでのカプセルのアクティベーション値である。Ｒ_ｉｊはルーティングファクターと呼ばれ、アルゴリズム開始時に定数で初期化される。またＲ_ｉｊは前層のどのカプセルから、次の層のどのカプセルへ出力を行うか決定する要素である。動的ルーティングとは、Ｒ_ｉｊをデータ要素ごとに動的に変化させることを意味し、確率的統計の手法を用いて最適な値を決定する。式（３）および式（４）に記載の「Ｆ」や「Ｇ」は、確率的統計処理を抽象化して表した式である。式（３）および式（４）を、例えば、ＥＭアルゴリズム（Expectation-Maximization algorithm）で考えた場合、「Ｆ」がＭステップを、「Ｇ」がＥステップを表すと対応付けることができる。また、式（４）から式（２）へとＲ_ｉｊが収束するまで繰り返し計算が実行される。カプセルネットワークでは、２～３回程度の繰り返し計算が推奨されている。

一方で、本実施形態の機械学習モデル３０に用いられる狭義のベクトルニューラルネットワークの出力決定アルゴリズムを以下に説明する。

ここで、上記式（６）の「Ｍ」に「ｉ」と「Ｌ」を付した要素Ｅｍａは、層Ｌにおけるｉ番目のベクトルニューロンの出力を表す。式（５）の「Ｗ」に「ｉｊ」と「Ｌ」を付した要素Ｅｍｂは、要素Ｅｍａから、層Ｌ＋１のｊ番目のベクトルニューロンの出力である上記式（９）の左辺の要素の方向に関する予測値ｖ_ｉｊを算出するための変換行列であり、確率的勾配降下法による学習対象である。ｕ_ｊは層Ｌにあるすべてのベクトルニューロンからの要素Ｅｍａの予測値ｖ_ｉｊの総和である。ｉは、１～Ｎをとり、Ｎは整数である。ｕ_ｊのノルムは、予測値が大きく、まとまっているほど大きくなる。式（８）のソフトマックス関数により、層Ｌ＋１の全てのベクトルニューロンについてのｕ_ｊのノルムは、規格化した値である確度ａ_ｊに変換される。ここでβは、上述の式（８）に記載のごとく、ノルムの大きさの確度に与える影響を調節するパラメーターであり、今回はβ＝１で実行している。また、式（８）において、「ｋ」は１～Ｎをとる。確度ａ_ｊは、カプセルネットワークにおけるアクティベーションに相当する要素である。よって、確度ａ_ｊをアクティベーションａ_ｊとも呼ぶ。ｊは、１～Ｍの値をとる。ここで、「Ｍ」は整数である。確度ａ_ｊの情報を式（９）により要素Ｅｍｂに統合するため、ベクトルニューロンから次のベクトルニューロンへと明示的に出力されることはない。式（９）により、ｕ_ｊの方向に関する情報だけを取り出して、層Ｌ＋１内での相対的な確度ａで重み付けされて、要素Ｅｍａが決定する。なお、確度ａ_ｊを、総称する場合には確度ａとも呼ぶ。

要素Ｅｍｂは、学習の過程で極端に大きな値をとらないように、２ノルムがロス関数に組み込まれる。ここで、要素Ｅｍｂのノルムは、適当なベクトルとの積を用いて定義され、ベクトルとして要素Ｅｍａを用いると、以下の式（１０）で表される。

ベクトルニューロンのベクトルである出力Ｍの大きさは、各層の相対的な確度ａで重み付けされているため、確度ａの高い情報からの投票は、大きな影響力をもつことになる。なお、アクティベーションａは、上位層Ｌ＋１のすべてのノードに関してノルム|ｕ_j|を正規化することによって得られる正規化係数である。従って、アクティベーション値ａ_jは、上位層Ｌ＋１内の全ノードの中における各ノードの相対的な出力強度を示す指標と考えることができる。

図３は、予想の投票によるベクトルニューロンの決定を概念的に示す第１の図である。図４は、予想の投票によるベクトルニューロンの決定を概念的に示す第２の図である。図３および図４では、理解の容易のために、ベクトルニューロンの次元数を次元ｍ１と次元ｍ２の「２」としている。図３に示すように、方向のそろった予想の投票が確度ａの高い出力Ｍにつながる。一方で、図４に示すように、方向がそろっていない予想の投票は確度ａの低い出力Ｍとなる。

図５は、ベクトルニューラルネットワーク型の機械学習モデル３０の設定方法を説明するための図である。機械学習モデル３０は、入力される第１画像１２側から順に、畳み込み層３３と、プライマリーニューロン層３５と、第１ニューロン層３７と、第２ニューロン層３８と、最終層である分類ニューロン層３９とを備える。これらの５つの層３３～３９のうち、畳み込み層３３が最も上位の層である。なお、機械学習モデル３０の階層数は、入力されるデータ要素の種類に応じて、適宜変更される。本実施形態では、ニューロン層は４つの層３５，３７，３８，３９によって構成された階層構造である。上位側から順に、プライマリーニューロン層３５、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９が配列される。下位側のニューロン層における各ニューロンのベクトルＭとアクティベーションａは、カーネルとストライドで設定される１以上のニューロンによって構成された上位側の層である前層のニューロン群を用いて決定される。各ニューロンが有するベクトルＭは、本実施形態では１６次元である。

第１画像１２の各データ要素１２Ａ～１２Ｃに対して、５×５のカーネルをストライド「２」で適用することで、データ要素１２Ａ～１２Ｃの範囲のうちで畳み込み層３３の一つのノードに出力を与える部分範囲が決まる。各データ要素１２Ａ～１２Ｃに対して適用するカーネルの数は３２である。これにより、畳み込み層３３は、第１軸ｘである縦軸と第１軸ｘと直交する横軸である第２軸ｙがそれぞれ１４つに区切られた部分領域Ｒｘを有するように構成される。第１軸ｘと第２軸ｙとは、ノード配列の平面位置座標を規定する。第１軸ｘに沿ったｘ方向のサイズと、第２軸ｙに沿ったｙ方向のサイズを「解像度」とも呼ぶ。また、畳み込み層３３の深さ方向である第３軸ｚ方向の数を示すチャンネル数は、カーネルの数と同数の３２で構成される。図５では、畳み込み層３３において、ｘ，ｙ，ｚ方向のサイズが１４，１４，３２であることが示されている。なお、図５において、畳み込み層３３以外の層では、ｘ軸、ｙ軸、ｚ軸の図示が省略されている。

上述の「部分範囲」とは、データ要素である第１画像１２の入力画像上の領域であって、第１軸ｘの位置と第２軸ｙの位置で特定される１つの領域である。ただし、以下の説明から明らかなように、データ要素上の「部分範囲」の大きさは、「部分範囲」に対応するニューロン、または部分領域Ｒｘがニューロン層３５，３７，３８，３９のどれに属するかに応じて異なる。他方、「部分領域Ｒｘ」とは、ニューロン層において縦軸の位置と横軸の位置とで特定される領域である。詳細には、ニューロン層における各「部分領域Ｒｘ」は、第１軸ｘの位置と、第２軸ｙの位置と、チャンネルに対応する第３軸ｚの位置とで特定される領域である。ニューロン層における各「部分領域Ｒｘ」は、上記の第１軸ｘ、第２軸ｙ、第３軸ｚに対応する「Ｈｅｉｇｈｔ」×「Ｗｉｄｔｈ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域Ｒｘ」に含まれるニューロンの数は「１×１×デプス数」である。本開示において、部分領域Ｒｘの「ｘ」にはニューロン層３５，３７，３８，３９に応じて、「３５」、「３７」、「３８」、「３９」の数値を代入する。例えば、部分領域Ｒ３５は、プライマリーニューロン層３５における領域を示す。

畳み込み層３３に、１×１×３２のカーネルをストライド「１」で適用することで、畳み込み層３３の部分領域Ｒ３３のうちから、プライマリーニューロン層３５の一つのニューロンに出力する部分領域Ｒ３３が決まる。ここでは、同じサイズ、同じストライドで、１６種類のカーネルが用いられることから、プライマリーニューロン層３５において、畳み込み層３３の一つの部分領域Ｒ３３に対応するニューロンの数は１６である。畳み込み層３３のノードからプライマリーニューロン層３５のニューロンへの出力の生成には、変換行列が用いられており、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられていない。なお、ニューロン層に畳み込むためのカーネルの次元は、チャネル数およびニューロンの要素数も考慮にいれる場合には、「Ｈｅｉｇｈｔ」×「Ｗｉｄｔｈ」×「Ｄｅｐｔｈ」×「ベクトルＭの要素数」と表現されることもある。この表現にしたがうと、畳み込み層３３からプライマリーニューロン層３５への畳み込みに用いられるカーネルの次元は、１×１×３２×１６である。

プライマリーニューロン層３５に、３×３×１６のカーネルをストライド「１」で適用することで、プライマリーニューロン層３５の部分領域Ｒ３５のうちから、第１ニューロン層３７の一つの部分領域Ｒ３７に含まれるニューロンに出力を与える部分領域Ｒ３５が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、１２種類のカーネルが用いられることから、第１ニューロン層３７の部分領域Ｒ３７に含まれるニューロンの数は１２である。プライマリーニューロン層３５のニューロンから第１ニューロン層３７のニューロンへの出力の生成には、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられる。ここで、プライマリーニューロン層３５に適用されるカーネルは、第１ニューロン層３７の１つのニューロンを合議制ルーティングにしたがって決めるために用いるプライマリーニューロン層３５の３×３×１６個のニューロンを指定する、とも表現される。これは、以下の説明でもあてはまる。なお、１つの部分領域Ｒｘについて、１以上、本実施形態では複数のニューロンによって構成される集合をニューロン群とも呼ぶ。つまり、ニューロン群は、深さ方向に並んだ１以上のニューロンを有する。

第１ニューロン層３７に、７×７×１２のカーネルをストライド「２」で適用することで、第１ニューロン層３７の部分領域Ｒ３７のうちから、第２ニューロン層３８の一つの部分領域Ｒ３８に出力を与える部分領域Ｒ３７が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、６種類のカーネルが用いられることから、第２ニューロン層３８の部分領域Ｒ３８に含まれるニューロンの数は６である。第１ニューロン層３７のニューロンから第２ニューロン層３８のニューロンを生成する際には、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられる。

第２ニューロン層３８に、３×３×６のカーネルをストライド「１」で適用することで、第２ニューロン層３８の部分領域Ｒ３８のうちから、分類ニューロン層３９の一つの部分領域Ｒ３９に出力を与える部分領域Ｒ３８が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、２種類のカーネルが用いられることから、分類ニューロン層３９の部分領域Ｒ３９に含まれるニューロンの数は２である。第２ニューロン層３８のニューロンから分類ニューロン層３９のニューロンを生成する際には、上記の式（６）～式（１０）で示される出力決定アルゴリズムが用いられる。

最終層である分類ニューロン層３９は１つの部分領域Ｒ３９で構成される。分類ニューロン層３９は、機械学習モデル３０に入力されたデータ要素について、予め定められたラベルに分類する。本実施形態では、予め定めたラベルは、良品ラベルを示すラベル「０」と、不良品ラベルを示すラベル「１」との組み合わせで表されたラベルである。なお、他の実施形態では、予め定めたラベルは、既知ラベルを示すラベル「０」と、未知ラベルを示すラベル「１」との組み合わせとのいずれかの組み合わせで表されたラベルであってもよい。

分類ニューロン層３９は１つ部分領域Ｒ３９で構成される。分類ニューロン層３９では、２つのニューロンのうち、アクティベーションａが最大となるニューロンに対応するラベルが出力となる。分類ニューロン層３９から出力されるラベルは、プロセッサー２４によって制御されることで表示部２６によって出力される。なお、詳細には、分類ニューロン層３９の出力はラベルの数と等しい個数のクラスに対する複数の判定値に変換される。本実施形態では、分類ニューロン層３９の２つのニューロンの出力が、２つのラベル「０」「１」に対応する２つの判定値に変換される。これらの判定値は、通常はソフトマックス関数によって正規化された値である。具体的には、例えば、分類ニューロン層３９の各ニューロンの出力ベクトルから、その出力ベクトルのベクトル長さを算出し、更に、２つのノードのベクトル長さをソフトマックス関数で正規化する、という演算を実行することによって、２つのクラスに対する判定値を得ることができる。アクティベーション値ａは、出力ベクトルＭのベクトル長さに相当する値であり、正規化されている。従って、分類ニューロン層３９の２つのニューロンのそれぞれにおけるアクティベーション値ａを出力して、そのまま２つのクラスに対する判定値として使用してもよい。

上記図５において、プライマリーニューロン層３５の１つの部分領域Ｒ３５は、データ要素１２Ａ～１２Ｃの５×５ピクセルの部分範囲に対応する。また、第１ニューロン層３７の１つの部分領域Ｒ３７は、データ要素１２Ａ～１２Ｃの９×９ピクセルの部分範囲に対応する。また、第２ニューロン層３８の部分領域Ｒ３８は、データ要素１２Ａ～１２Ｃの２１×２１ピクセルの部分範囲に対応する。また、分類ニューロン層３９の部分領域Ｒ３９は、データ要素１２Ａ～１２Ｃの２９×２９ピクセルの部分範囲に対応する。

図６は、機械学習モデル３０の学習段階で実行される学習処理を示すフローチャートである。まず、ステップＳ１０において、機械学習モデル３０のパラメーターの設定が行われる。ステップＳ１０では、図５を用いて説明したように、階層の数や、層の間で適用されるカーネルのサイズとストライドとが設定される。

次に、ステップＳ１２において、機械学習モデル３０に学習させる第１画像１２としての第１データ要素１２Ａ，１２Ｂ，１２Ｃが準備される。なお、ステップＳ１０とステップＳ１２の順番は上記に限定されるものではなく、ステップＳ１２がステップＳ１０よりも先に実行されてもよい。

次に、ステップＳ１４において、第１画像１２としての各第１データ要素１２Ａ～１２Ｃを機械学習モデル３０に順次入力し、第１画像１２としての各データ要素１２Ａ～１２Ｃと、各データ要素１２Ａ～１２Ｃに対応する事前ラベルとの対応を再現するように、学習部２４０によって機械学習モデル３０が学習される。プロセッサー２４の学習部２４０は、例えばミニバッチ勾配降下法のアルゴリズムを用いて機械学習モデル３０を学習する。本実施形態では、プロセッサー２４の学習部２４０は、データ要素のサブセットであるミニバッチのサイズを「３２」、エポックを「２００００」に設定したミニバッチ勾配降下法のアルゴリズムを用いて機械学習モデル３０を学習する。学習の結果、機械学習モデル３０の正解率は１００％となった。

ステップＳ１６では、プロセッサー２４は、ステップＳ１４において学習された機械学習モデル３０に学習に用いた複数の第１データ要素１２Ａ，１２Ｂ，１２Ｃを再び入力し、ニューロン層である第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれについて、以下を実行する。すなわち、プロセッサー２４の取得部２４１は、各層３７，３８，３９の各ニューロンが有する第１アクティベーションａ１と第１ベクトルＭ１との少なくとも一方に基づく第１中間データを、第１データ要素１２Ａ～１２Ｃ上の部分範囲であって各ニューロンが対応する部分範囲に関連付けて取得する。そしてプロセッサー２４の取得部２４１は、互いに関連付けられた第１中間データと部分範囲の相対位置とを記憶装置２２に記憶する。なお、関連付けられた部分範囲の画像そのものを記憶装置２２に記憶してもよい。第１データ要素１２Ａ～１２Ｃ上の部分範囲であって各ニューロンが対応する部分範囲を、第１部分データ要素とも呼ぶ。また、以下では、記憶された第１中間データおよび第１部分データ要素を収集データ要素３２とも表記する。なお、他の実施形態では、プライマリーニューロン層３５においても各層３７，３８，３９と同様に、第１中間データを第１部分データ要素と関連付けて取得してもよい。なお、必ずしも全てのニューロン層から第１中間データが取得される必要はない。例えば、第２ニューロン層３８だけから第１中間データが取得されてもよいし、いくつかの層の組み合わせから取得されてもよい。これは、以下で説明する第２中間データにも当てはまる。さらに、他の実施形態では、ステップＳ１４で機械学習モデル３０の学習に用いられる複数の第１データ要素１２Ａ，１２Ｂ，１２Ｃを２つのグループに分割してもよい。この場合、ステップＳ１４で機械学習モデル３０の学習に用いられる第１データ要素１２Ａ，１２Ｂ，１２Ｃのグループと、学習に用いられない第１データ要素１２Ａ，１２Ｂ，１２Ｃのグループとに分割し、ステップＳ１４では一方のグループだけで機械学習モデル３０を学習し、ステップＳ１６では２つのグループを用いて第１中間データを生成してもよい。要するに、機械学習モデル３０の学習に用いられる第１データ要素１２Ａ，１２Ｂ，１２Ｃの事前ラベル１４Ａ，１４Ｂ，１４Ｃと同じ事前ラベル１４Ａ，１４Ｂ，１４Ｃが付与されている限り、ステップＳ１６で中間データを生成するためのデータは、機械学習モデル３０の学習に用いられた第１データ要素１２Ａ，１２Ｂ，１２Ｃだけに限定されない。

上記のように、プロセッサー２４が実行する方法によれば、ステップＳ１６によって、ニューロンが有する第１アクティベーションａ１と第１ベクトルＭ１との少なくとも一方に基づく第１中間データを取得できる。これにより、機械学習モデル３０に判別対象のデータ要素である第２画像が入力された場合において、プロセッサー２４は、ニューロンが有する第２アクティベーションａ２と第２ベクトルＭ２との少なくとも一方に基づく第２中間データを取得することで、第１中間データから生成される特徴スペクトルと第２中間データから生成される特徴スペクトルとの類似度を計算できる。第２中間データは、第２ベクトルＭ２自体や第２アクティベーションａ２自体であってもよいし、第２ベクトルＭ２や第２アクティベーションａ２に対して重み付けなどのデータ処理したデータであってもよい。本実施形態では、第２中間データは、第２ベクトルＭ２と第２アクティベーションａ２とによって構成される。なお、他の実施形態では、第１中間データと第２中間データとはそれぞれ特徴スペクトルであってもよい。特徴スペクトルの詳細については後述する。類似度計算部２４２が類似度を計算することで、出力画像生成部は類似度に応じた根拠画像を含む出力画像を生成できる。よって、プロセッサー２４は、機械学習モデル３０を用いた入力した第２画像の判別根拠が出力可能となる。

図７は、判別段階の判別システム１００を説明するための図である。図８は、第２画像６２を説明するための図である。図７の判別システム１００と図１の判別システム１００との異なる点は、機械学習モデル３０に入力するデータ要素として、第２入力データセット６０が用いられる点である。

図７に示すように、第２入力データセット６０は、複数の第２画像６２を有する。図８に示すように、複数の第２画像６２は、製造された複数のサイコロそれぞれにおいて、１つの面がカメラで撮像されることで取得された画像を表す第２データ要素６２Ａ～６２Ｃである。第２画像としての第２データ要素６２Ａ～６２Ｃのサイズは、例えば、機械学習モデル３０の学習時と同じ３２×３２ピクセルである。また第２データ要素６２Ａ～６２Ｃはそれぞれ１１００枚ずつ準備され、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。

学習された機械学習モデル３０に、第２データ要素６２Ａ～６２Ｃが１つずつ入力されることで、クラス判別、すなわちラベルが判別される。例えば、機械学習モデル３０に、一の目を表す第２データ要素６２Ａや二の目を表す第２データ要素６２Ｂが入力された場合は、不良品であると判別され、三の目を表す第２データ要素６２Ｃが入力された場合は、良品であると判別される。また、本実施形態では、プロセッサー２４は、ラベルを判別した判別根拠を生成し、表示部２６に判別したラベルと共に判別根拠を表示させる。判別根拠の生成方法は後述する。

図９は、第２画像６２のクラス判別処理のフローチャートである。まず、ステップＳ２０において、プロセッサー２４は、第１画像１２を用いて学習された機械学習モデル３０に各第２データ要素６２Ａ～６２Ｃを１つずつ入力し、クラス判別を実行する。次に、プロセッサー２４の取得部２４１は、ステップＳ２２において、入力された第２データ要素６２Ａ～６２Ｃの１つずつに、機械学習モデル３０の状態、つまり、分類ニューロン層３９の２つのニューロンのアクティベーションａとしての第２アクティベーションａ２を計算、すなわち導出する。また、ステップＳ２２では、プロセッサー２４は、機械学習モデル３０に入力された第２データ要素６２Ａ～６２Ｃのそれぞれについて、機械学習モデル３０から第２中間データを取得する。第２中間データの取得の詳細は、図１０におけるステップＳ３０を参照しながら後述する。

次に、ステップＳ２４において、プロセッサー２４は、ステップＳ２２の計算結果をもとに、分類ニューロン層３９の第２アクティベーションａ２が最大となるニューロンに対応するラベルを判別結果として生成して表示部２６に出力する。なお、ラベルの判別結果は、画像情報に限られずユーザーに報知できる情報であればよい。例えば、ラベルの判別結果は、音声情報として出力されてもよい。この場合、表示部２６はスピーカーを備える。以下の説明では、ラベルの判別結果は、収集データ要素３２の一部として、記憶装置２２に記憶される。

図１０は、第１説明処理のフローチャートである。第１説明処理は、図９のクラス判別処理の後に行われてもよいし、図９のクラス判別処理と並列して行われてもよい。第１説明処理は、プロセッサー２４によって実行される。第１説明処理は、収集データ要素３２に記憶された良品ラベルが対応付けられた第１データ要素１２Ｃと、入力された第２データ要素６２Ａ～６２Ｃとを比較し、なぜ良品と判別したか、なぜ良品と判別しなかったか、の判別根拠を説明するための処理である。この第１説明処理によって生成される情報は、図９のステップＳ２４の判別結果と共に出力されてもよい。図１１は、特徴スペクトルを説明するための図である。

図１０に示すように、まずステップＳ３０において、プロセッサー２４は、学習された機械学習モデル３０に第２データ要素６２Ａ～６２Ｃを１つずつ入力し、機械学習モデル３０にクラス判別を実行させる。プロセッサー２４の取得部２４１は、当該クラス判別が終了したときに複数のニューロンがそれぞれ出力した第２中間データを取得し、記憶装置２２に記憶する。本実施形態では、第２中間データは、第２ベクトルＭ２と第２アクティベーションａ２とを含む。ステップＳ３０では、少なくとも第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれについてステップＳ３０が実行される。また、ステップＳ３０において、プロセッサー２４は、第２画像である第２データ要素６２Ａ～６２Ｃ上の部分範囲であって第２中間データに対応した部分範囲を、第２中間データに関連付けて記憶装置２２に記憶する。本実施形態では、ステップＳ３０は、図９に示すクラス判別処理のステップＳ２２において実行される。次にステップＳ３２において、プロセッサー２４は、記憶装置２２から、事前ラベルとして良品ラベルが付された第１データ要素１２Ｃの全てに対してクラス判別を実施したときに得られた第１中間データを読み出す。本実施形態では、第１中間データは、第１ベクトルＭ１と第１アクティベーションａ１とに基づいている。

次にステップＳ３４において、プロセッサー２４の類似度計算部２４２は、第２データ要素６２Ａ～６２Ｃの第２中間データにおける特徴スペクトルＳｐと、良品ラベルの第１データ要素１２Ｃの第１中間データにおける特徴スペクトルＳｐを計算する。具体的には、プロセッサー２４の類似度計算部２４２は、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれの部分領域Ｒ３７，Ｒ３８，Ｒ３９ごとに、第１中間データおよび第２中間データからそれぞれの特徴スペクトルＳｐを計算する。本実施形態では、特徴スペクトルＳｐは、ニューロン層における部分領域Ｒｘごとに、１つ以上のベクトルＭを平均０、分散１で正規化したり、Softmax関数を用いて規格化したりして配列することで表してもよい。また、特徴スペクトルＳｐは、部分領域ＲｘごとにベクトルＭの各次元または各要素を、対応するアクティベーションａで重み付けして配列することで表してもよい。重み付けとしては、例えば、ベクトルＭと、ベクトルＭに対応するアクティベーションａの値の積をとることで実現できる。また、特徴スペクトルＳｐは、ニューロン層３７，３８，３９の部分領域Ｒ３７，３８，３９ごとに、アクティベーションａの値を、配列することで表してもよい。また、配列したアクティベーションａを平均０、分散１となるように正規化してもよい。また、特徴スペクトルＳｐは、ニューロン層３７，３８，３９の部分領域Ｒ３７，３８，３９ごとに、ベクトルＭおよび／またはアクティベーションａを配列することで表してもよい。なお、特徴スペクトルＳｐは正規化することなく、複数次元、本実施形態では１６次元のベクトルＭを一次元に変換して配列してもよい。なお、各部分領域Ｒｘは、第２データ要素６２Ａ～６２Ｃの部分範囲に予め対応付けられている。

図１１に示すグラフは、第１ニューロン層３７に対応する。第１ニューロン層３７では、１つの部分領域Ｒ３７が、深さ方向に並んだ１２個のニューロンを有する。図１１には、一例として、ある一つの部分領域Ｒ３７に属する１２個のニューロンが出力したそれぞれのアクティベーションａを平均０、分散１に正規化して並べたものを示している。図１１における特徴スペクトルＳｐは、正規化されたこれら複数のアクティベーションａを要素に持つ。図１１に示す特徴スペクトルＳｐの一例において、横軸は各ニューロンに対応するアクティベーションａを識別するための要素番号「０」～「１１」であり、縦軸は各アクティベーションａの値である。

図１０に示すように、次にステップＳ３６において、プロセッサー２４の類似度計算部２４２は、第１中間データと第２中間データとに基づく類似度を計算する。詳細には、プロセッサー２４の類似度計算部２４２は、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９の層ごとにおいて、第２データ要素６２Ａ～６２Ｃの第２中間データから生成した特徴スペクトルＳｐと、良品ラベルの第１データ要素１２Ｃの第１中間データから生成した特徴スペクトルＳｐとの類似度を計算する。つまり、ステップＳ３６で計算される類似度は、判別対象の第２画像６２が、比較元となる第１画像１２が属するクラスの特徴に類似している程度を表す。よって、ステップＳ３６で計算される類似度をクラス別類似度とも呼ぶ。

本実施形態において、類似度計算部２４２は、同じ階層に属する部分領域Ｒｘ同士の類似度を計算する。具体的には、ニューロン層３７，３８，３９ごとに、第２データ要素６２Ａ～６２Ｃが与えられたときの一つの部分領域Ｒｘに対して、第１データ要素１２Ａ～１２Ｃが与えられたときの全ての部分領域Ｒｘの類似度が計算される。つまり、類似度計算部２４２は、複数の部分領域Ｒｘに対応した複数のニューロン群のそれぞれについて、第１中間データと第２中間データとの類似度を計算する。ここで、第１データ要素１２Ａ～１２Ｃが与えられたときのニューロン層３７，３８，３９における或る一つの部分領域Ｒｘと、第２データ要素６２Ａ，６２Ｂ，６２Ｃが与えられたときのニューロン層３７，３８，３９における部分領域Ｒｘとは、それぞれ、第１データ要素１２Ａ～１２Ｃである第１画像１２上の部分範囲と、第２データ要素６２Ａ～６２Ｃである第２画像６２上の部分範囲と、に対応している。よって、類似度は、第１画像１２の部分範囲と、第２画像６２の部分範囲と、の間の類似度であるとも解釈できる。言い換えると、本実施形態では、第１データ要素１２Ａ～１２Ｃと第２データ要素６２Ａ～６２Ｃとの間で互いに類似度の形態で中間データが比較されるのは、第２データ要素６２Ａ～６２Ｃ上の或る階層に属する部分範囲に対して第１データ要素１２Ａ～１２Ｃ上で同じ階層に属する全ての部分範囲である。しかしながら、後述するように、同じ階層の同じ部分範囲同士の間で類似度が求められてもよい。ここで、階層は部分範囲の大きさに関連付けられている。上述の通り、ニューロン層３７，３８，３９が異なると、第１データ要素１２Ａ～１２Ｃ、すなわち第１画像１２上で定義される部分範囲、および、第２データ要素６２Ａ～６２Ｃ、すなわち第２画像６２上で定義される部分範囲の大きさも異なる。類似度としては、２つのベクトルを比較する任意の指標を用いることができ、例えばコサイン類似度や平均二乗誤差（ＭＳＥ）やピークＳ／Ｎ比（ＰＳＮＲ）が用いられる。

ステップＳ３６では、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれの部分領域Ｒｘごとに、全ての第１データ要素１２Ｃに対応する第１中間データの特徴スペクトルＳｐの類似度のうちで最も類似度が高い値を、第２データ要素６２の部分領域Ｒｘの類似度とする。第２データ要素６２の部分領域Ｒｘの類似度は、第２画像６２のうち部分領域Ｒｘに対応した部分範囲の部分画像、および、部分領域Ｒｘのアクティベーションａと対応付けて記憶装置２２に記憶される。他の実施形態では、ステップＳ３６における類似度の計算対象は、同じ層における同じ相対位置にある部分領域Ｒｘ同士ごとであってもよい。なお、上位層側である第１ニューロン層３７から順に類似度が計算され、上位層において類似度が予め定められた閾値よりも低く、上位層においてクラス判別の根拠を示すことができる場合には、下位層である第２ニューロン層３８、分類ニューロン層３９における類似度は計算しなくてもよい。

次にステップＳ３８において、プロセッサー２４の出力画像生成部２４４は、計算、すなわち導出したクラス別類似度に応じた根拠画像ＩＭＥを含む出力画像ＩＭ０を生成する。このステップＳ３８では、出力画像生成部２４４は、根拠画像ＩＭＥの各画素にクラス別類似度に応じた階調値を付与することで根拠画像ＩＭＥを生成する。本実施形態では、出力画像生成部２４４は、ステップＳ３６において計算された複数のクラス別類似度に応じた部分根拠画像ＰＩＭＥを生成して２次元に配列することで根拠画像ＩＭＥを生成する。次にステップＳ４０にとして、プロセッサー２４からの指令によって表示部２６は生成された出力画像ＩＭ０を表示することで出力する。

図１２は、出力画像生成部２４４によって生成された第１根拠画像としての根拠画像ＩＭＥを示す第１図である。図１２に示す根拠画像ＩＭＥは、第１ニューロン層３７におけるクラス別類似度に応じて生成される画像である。この画像を第１層根拠画像ＩＭＥＡとも呼ぶ。

第１層根拠画像ＩＭＥＡは、複数の部分根拠画像ＰＩＭＥＡによって形成されている。部分根拠画像ＰＩＭＥＡは、部分領域Ｒ３７、すなわち平面位置（ｘ，ｙ）に位置するニューロン群に対応している。出力画像生成部２４４は、複数の部分根拠画像ＰＩＭＥＡを対応する部分領域Ｒ３７の平面位置（ｘ、ｙ）に対応した画像領域ＩＲに配列することで、二次元の第１層根拠画像ＩＭＥＡを生成する。各画像領域ＩＲは、１画素で構成されていてもよいし、複数の画素で構成されていてもよい。また、出力画像生成部２４４は、部分根拠画像ＰＩＭＥＡを補正処理して、第２画像６２と解像度、すなわち大きさが同じになるように第１層根拠画像ＩＭＥＡを生成してもよい。補正処理としては、例えば、複数の部分根拠画像ＰＩＭＥＡをｘ方向およびｙ方向の二次元に配列した補正前画像について、平面サイズを第２画像６２の平面サイズに合わせるように拡大して第１層根拠画像ＩＭＥＡを生成する第１補正処理がある。また例えば、補正処理としては、部分根拠画像ＰＩＭＥＡを拡大することなくｘ方向およびｙ方向の二次元に配列して画像を生成し、その後にバイキュービック法で生成した画像を拡大して第１層根拠画像ＩＭＥＡを生成する第２補正処理がある。バイキュービック法を用いた第２補正処理では、画素を補間することで類似度の変化をより滑らかにできるので、第１層根拠画像ＩＭＥＡをより連続的な階調値の変化によって表現できる。これにより、ユーザーは判別根拠となった領域を大まかに知ることができる。以上のように、出力画像生成部２４４は、第１層根拠画像ＩＭＥＡの解像度を第２画像の解像度に対応させる補正処理を行ってもよい。本実施形態では、第１補正処理によって、第１ニューロン層３７における１２×１２の平面サイズを、拡大して第２画像６２の画像サイズである３２×３２の画素の画像となるように、１つの画像領域ＩＲには複数の画素が補間される。また、本実施形態では、１つの画像領域ＩＲの各画素には同じ画素値が付与されている。ここで、平面位置（ｘ、ｙ）で特定される部分領域Ｒｘに対応した画像領域ＩＲを画像領域ＩＲ（ｘ、ｙ）のように示す。

出力画像生成部２４４は、図１０のステップで算出された、各平面位置で特定される複数の部分領域Ｒｘにおけるクラス別類似度を用いて部分根拠画像ＰＩＭＥＡを生成する。本実施形態では、出力画像生成部２４４は、クラス別類似度が低くなるにつれて８ビットで表されるＲ成分の階調値が大きくなるように部分根拠画像ＰＩＭＥを生成する。なお、Ｇ成分、Ｂ成分の階調値は、「０」や他の一定値に設定されている。図１２では、ハッチングが密なほどＲ成分の階調値が大きいことを示す。図１２に示す第１層根拠画像ＩＭＥＡでは、平面位置において中央よりもやや上側の領域において、クラス別類似度が低くなっている。

図１３は、出力画像生成部２４４によって生成された第１根拠画像としての根拠画像ＩＭＥを示す第２図である。図１３に示す根拠画像ＩＭＥは、第２ニューロン層３８におけるクラス別類似度に応じて生成される画像である。この画像を第２層根拠画像ＩＭＥＢとも呼ぶ。

第２層根拠画像ＩＭＥＢは、複数の部分根拠画像ＰＩＭＥＢによって形成されている。部分根拠画像ＰＩＭＥＢは、部分領域Ｒ３８、すなわち平面位置（ｘ，ｙ）に位置するニューロン群に対応している。出力画像生成部２４４は、複数の部分根拠画像ＰＩＭＥＢを対応する部分領域Ｒ３８の平面位置（ｘ、ｙ）に対応した画像領域ＩＲに配列することで、二次元の第２層根拠画像ＩＭＥＢを生成する。各画像領域ＩＲは、１画素で構成されていてもよいし、複数の画素で構成されていてもよい。また、出力画像生成部２４４は、第２画像６２と大きさが同じになるように部分根拠画像ＰＩＭＥＢを拡大して第２層根拠画像ＩＭＥＢを生成してもよい。すなわち、出力画像生成部２４４は、第２層根拠画像ＩＭＥＢの解像度を第２画像の解像度に対応させる補正処理を行ってもよい。補正処理としては、バイキュービックを用いて画素を補間したり、同じ画素値を付与することで画素を補間したりする方法が挙げられる。本実施形態では、第２ニューロン層３８における３×３の平面サイズを、拡大して第２画像６２の画像サイズである３２×３２の画素の画像となるように、１つの画像領域ＩＲには複数の画素が補間される。また、本実施形態では、１つの画像領域ＩＲの各画素には同じ画素値が付与されている。ここで、平面位置（ｘ、ｙ）で特定される部分領域Ｒｘに対応した画像領域ＩＲを画像領域ＩＲ（ｘ、ｙ）のように示す。

出力画像生成部２４４は、図１０のステップで算出された各平面位置で特定される複数の部分領域Ｒｘにおけるクラス別類似度を用いて部分根拠画像ＰＩＭＥＢを生成する。本実施形態では、出力画像生成部２４４は、クラス別類似度が低くなるにつれて８ビットで表されるＲ成分の階調値が大きくなるように部分根拠画像ＰＩＭＥＢを生成する。なお、Ｇ成分、Ｂ成分の階調値は、「０」や他の一定値に設定されている。図１３では、ハッチングが密なほど階調値が大きいことを示す。図１３に示す第２層根拠画像ＩＭＥＢでは、平面位置において右上の領域において、クラス別類似度が低くなっている。

上記に説明したように、出力画像生成部２４４は、２次元の根拠画像ＩＭＥを生成していたが、類似度に応じた根拠画像ＩＭＥを生成する限りにおいて上記とは異なる根拠画像を生成してもよい。例えば、他の実施形態では、出力画像生成部２４４は、一列に配列された一次元の根拠画像ＩＭＥを生成してもよいし、３次元に配列された根拠画像ＩＭＥを生成してもよい。また、出力画像生成部２４４は、類似度に応じて、ＲＧＢ成分の少なくとも一つの階調値を変化させることで部分根拠画像ＰＩＭＥを生成してもよい。また出力画像生成部２４４は、類似度に応じて異なる模様が表示されるように、例えばハッチングの間隔の変化させた模様が表示されるように部分根拠画像ＰＩＭＥを生成してもよい。また、出力画像生成部２４４は、予め定めた閾値よりもクラス別類似度が低い場合に、部分根拠画像ＰＩＭＥが特定の色が出現するように、部分根拠画像ＰＩＭＥを構成する各画素に対して階調値を設定してもよい。また、出力画像生成部２４４は、クラス別類似度が低くなるにつれて、色が連続的に変化するように部分根拠画像ＰＩＭＥを構成する各画素に対して階調値を設定してもよい。例えば、出力画像生成部２４４は、クラス別類似度の低くなるにつれて、白色から赤色が濃くなるように階調値を設定してもよい。

図１４は、出力画像生成部２４４によって生成される出力画像ＩＭ０を示す模式図である。出力画像ＩＭ０は、表示内容を説明するための説明画像ＩＭＰを有する。説明画像ＩＭＰは、第１説明画像ＩＭ１と、第２説明画像ＩＭ２と、第３説明画像ＩＭ３と、第４説明画像ＩＭ４とを有する。

第１説明画像ＩＭ１は、判別対象となるデータが表示される欄であることを示す画像であり、本実施形態では「判別対象データ」を表す文字画像である。この第１説明画像ＩＭ１の下欄には、後述する第２画像６２を示す判別対象画像ＩＭ１１が表示される。

第２説明画像ＩＭ２は、本実施形態の理解のために便宜上、図１４に図示されている。具体的には、類似度を比較する比較元のデータが理解されるように、比較元のデータを生成するために用いられる複数の第１データ要素１２Ｃの１つが図示されている。本実施形態では、第２説明画像ＩＭ２は、実際には表示部２６に表示されないが、他の実施形態では表示されてもよい。本段落の説明は、図１７の説明にも当てはまる。

第３説明画像ＩＭ３は、類似度の計算が行われた階層を示す画像である。第３説明画像ＩＭ３は、第１層説明画像ＩＭ３ａと第２層説明画像ＩＭ３ｂとを有する。第１層説明画像ＩＭ３ａは、第１ニューロン層３７における類似度に応じて生成した第１層根拠画像ＩＭＥＡが表示されることを示す画像である。本実施形態では、第１層説明画像ＩＭ３ａは、「第１判別根拠（局所形状）」を表す文字画像である。第２層説明画像ＩＭ３ｂは、第２ニューロン層３８における類似度に応じて生成した第２層根拠画像ＩＭＥＢが表示されることを示す画像である。本実施形態では、第２層説明画像ＩＭ３ｂは、「第２判別根拠（相対位置）」を表す文字画像である。

第４説明画像ＩＭ４は、ラベルの判別結果を表示する欄であることを示す画像である。第４説明画像ＩＭ４は、本実施形態では「判別結果」を表す文字画像である。

出力画像ＩＭ０は、さらに、判別対象画像ＩＭ１１と、良品である第１データ要素１２Ｃの画像である比較元画像ＩＭ１２と、第１層根拠画像ＩＭＥＡと、第２層根拠画像ＩＭＥＢと、判別結果画像ＩＭ１４とを有する。判別結果画像ＩＭ１４は、図９のステップＳ２４で生成されたクラス判別結果を示す画像である。図１４では、判別結果画像ＩＭ１４は、「良品」を表す文字画像と、「不良品」を表す文字画像とのいずれかである。

判別対象画像ＩＭ１１は、第１説明画像ＩＭ１の下欄に表示される画像であり、ラベルの判別対象の第２画像６２を示す画像である。判別対象画像ＩＭ１１は、判別対象の第２画像６２が複数存在する場合には、複数表示されてもよいし、別の画面に１つずつ表示してもよい。図１４に示す例では、判別対象画像ＩＭ１１は、二の目を表す第２データ要素６２Ｂの判別対象画像ＩＭ１１と、三の目を表す第２データ要素６２Ｃの判別対象画像ＩＭ１１との２つが表示されている。

第１層根拠画像ＩＭＥＡは、第１層説明画像ＩＭ３ａの下欄に表示される画像であり、図１２に示す画像である。第２層根拠画像ＩＭＥＢは、第２層説明画像ＩＭ３ｂの下欄に表示される画像であり、図１３に示す画像である。

判別対象データが二の目の画像である場合、第１ニューロン層３７において算出される各部分領域Ｒ３７のクラス別類似度は高い。よって、第１層根拠画像ＩＭＥＡは、濃い赤色の領域、図ではハッチングが付された領域が存在しない。一方で、判別対象データが二の目の画像である場合、第２ニューロン層３８においてサイコロの目の相対位置が異なる画像の部分範囲に対応した部分領域Ｒ３８では、クラス別類似度は低くなる。よって、第２層根拠画像ＩＭＥＢは、Ｒ成分の階調値が高い部分根拠画像ＰＩＭＥＢが生成される。これにより、ユーザーは、判別対象画像ＩＭ１１について、不良品とラベル判別された根拠を視覚的に知ることができる。

一方で、判別対象データが三の目の画像である場合、第１ニューロン層３７と第２ニューロン層３８共に、各部分領域Ｒ３７，３８のクラス別類似度は高い。よって、第１層根拠画像ＩＭＥＡと第２層根拠画像ＩＭＥＢ共に赤色の領域、図ではハッチングが付された領域が存在しない。

上記のように、第１中間データと第２中間データとに基づく類似度が計算されることで、プロセッサー２４は、類似度に応じて判別根拠を示す根拠画像ＩＭＥを生成して表示部２６に出力できる。これにより、機械学習モデル３０を用いた第２データ要素６２の判別根拠をユーザーは容易に知ることができる。また、図１０のステップＳ３６の処理において、第１部分データ要素の第１中間データと第１部分データ要素に対応した領域の第２部分データ要素の第２中間データとの類似度を計算することで、第１部分データ要素および第２部分データ要素の類似度を計算できる。これにより、根拠画像ＩＭＥを含む出力画像ＩＭ０が表示部２６を用いて表示されることで、例えば第２データ要素におけるどの部分範囲を根拠にしてラベルの判別が行われたかを容易に知ることができる。よって、ユーザーは、ラベルの判別について、どのニューロン層３７，３８，３９を根拠にしたのかなどの判別根拠について容易に把握できる。つまり、ユーザーは、出力画像ＩＭ０から、判別対象データである第２データ要素６２Ａ～６２Ｃについて、良品と類似している部分、類似していない部分、それぞれの位置と大きさを把握することができる。なお、ステップＳ３６の処理において、類似度の計算の対象は、ニューロン層３７，３８，３９における同じ相対位置の部分領域Ｒｘからの第１中間データと第２中間データでなくともよい。このようにしても、出力画像ＩＭ０が出力されることで、ユーザーは、ラベルの判別について、どのニューロン層３７，３８，３９を根拠にしたのか、および、どの部分領域Ｒｘを根拠にしたのかなどの情報について容易に把握できる。

図１５は、第２説明処理のフローチャートである。第２説明処理は、プロセッサー２４によって実行される。第２説明処理は、第２データ要素６２Ａ～６２Ｅが、機械学習モデル３０の学習に用いられた既知の第１データ要素１２Ａ～１２Ｃと同じ種類であるか否かの判別とその根拠を説明するための処理である。図１６は、第２画像６２ａを説明するための図である。第２説明処理は、端的に言うと、知らないデータを無理やり判別したのか、知っているデータとして判別したのかを説明する処理ともいえる。

図１６に示すように、第２画像６２ａは、５種類の第２データ要素６２Ａ～６２Ｅを有する。第２データ要素６２Ａ，６２Ｂ，６２Ｃはそれぞれ、図６に示す第２データ要素６２Ａ，６２Ｂ，６２Ｃと同じであり、機械学習モデル３０の学習の際に用いられた第１データ要素１２Ａ～１２Ｃと同じ種類の対象物であるサイコロを撮像した画像データ要素である。第２データ要素６２Ｄ，６２Ｅは、機械学習モデル３０の学習の際に用いられた第１データ要素１２Ａ～１２Ｃとは種類が異なる対象物であるサイコロを撮像した画像である。具体的には、第２データ要素６２Ｄは、各面において三の目の中央の目がバツ印のサイコロを撮像した画像である。また第２データ要素６２Ｅは、各面が四の目のサイコロを撮像した画像である。以上のように、第２データ要素６２Ｄ，６２Ｅは、機械学習モデル３０の学習の際に用いられなかった未知の種類のデータ要素である。第２データ要素６２Ａ～６２Ｅのサイズは、例えば、機械学習モデル３０の学習時と同じ３２×３２ピクセルである。また、また第２データ要素６２Ａ～６２Ｅはそれぞれ１１００枚ずつ準備され、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。準備された第２データ要素６２Ａ～６２Ｅは、１つずつ機械学習モデル３０に入力されることで、クラス判別、すなわちラベルが判別される。

図１５に示すようにステップＳ３０において、プロセッサー２４は、学習された機械学習モデル３０に第２データ要素６２Ａ～６２Ｅを１つずつ機械学習モデル３０に入力し、第２データ要素６２Ａ～６２Ｅのそれぞれについてクラス判別を実行する。そして、クラス判別が終了したときの、第２データ要素６２Ａ～６２Ｅのそれぞれに対する第２中間データを機械学習モデル３０から取得する。図１５に示すステップＳ３０は、図１０に示すステップＳ３０と同じ処理である。次にステップＳ３２ａにおいて、プロセッサー２４は、記憶装置２２に記憶されている機械学習モデル３０の学習に用いられた第１データ要素１２Ａ～１２Ｃのそれぞれの第１中間データを全て抽出する。

次にステップＳ３４ａにおいて、プロセッサー２４は、機械学習モデル３０に入力された第２データ要素６２Ａ～６２Ｅの特徴スペクトルと、抽出した第１データ要素１２Ａ～１２Ｃの特徴スペクトルＳｐを計算する。計算方法については、図１０のステップＳ３４において記載の方法と同様であるため、ここでは説明を省略する。

次にステップＳ３６ａにおいて、プロセッサー２４の類似度計算部２４２は、第２データ要素６２Ａ～６２Ｃの第２中間データにおける特徴スペクトルＳｐと、第１データ要素１２Ａ～１２Ｃの第１中間データにおける特徴スペクトルＳｐとの類似度を計算する。類似度としては、例えばコサイン類似度が用いられる。ステップＳ３６ａでは、第１ニューロン層３７、第２ニューロン層３８、分類ニューロン層３９のそれぞれの部分領域Ｒｘごとに、全ての第１データ要素１２Ａ～１２Ｃに対して最も類似度が高い値を、部分領域Ｒｘの類似度とする。つまり、ステップＳ３６ａで計算される類似度は、判別対象の第２画像６２ａが、比較元となる既知の第１画像１２の特徴に類似している程度を表す。よって、ステップＳ３６ａで計算される類似度を既知類似度とも呼ぶ。部分領域Ｒｘの類似度は、部分領域Ｒｘが対応する画像の部分範囲、および、部分領域Ｒｘのアクティベーションａと対応付けて記憶装置２２に記憶される。

次にステップＳ３８ａにおいて、プロセッサー２４の出力画像生成部２４４は、計算、すなわち導出した既知類似度に応じた根拠画像ＩＭＥａを含む出力画像ＩＭ０ａを生成する。次にステップＳ４０ａとして、プロセッサー２４からの指令によって表示部２６は生成された出力画像を表示することで出力する。根拠画像の生成方法は、上記の第１説明処理のステップＳ３８、図１２、図１３で説明した内容と同じであるため説明を省略する。

図１７は、出力画像生成部２４４によって生成される出力画像ＩＭ０ａを示す模式図である。図１４に示す出力画像ＩＭ０と同じ構成については同一符号を付すと共に説明を省略する。第４説明画像ＩＭ４の下欄に表示される判別結果画像ＩＭ１４ａは、機械学習モデル３０の学習の際に用いられた同じ種類のデータであることを示す「既知」を表す画像と、未知の種類のデータであることを示す「未知」を表す画像とのいずれかである。比較元画像ＩＭ１２ａは、機械学習モデル３０の学習に用いられた第１データ要素１２Ａ～１２Ｃを表す画像である。ここに表示される画像は、本実施形態では、複数の第１データ要素１２Ａ，１２Ｂ，１２Ｃのうちから、ランダムに選択された１つずつの第１データ要素１２Ａ，１２Ｂ，１２Ｃである。

判別対象データが図１６に示す第２データ要素６２Ｄである場合、第２データ要素６２Ｄにおいてバツ印が表示された中央の部分範囲に対応する部分領域Ｒ３７では、既知類似度が低い値を示す。よって、第２画像６２Ｄの中央の部分範囲に対応する第１層根拠画像ＩＭＥＡの中央領域に位置する部分根拠画像ＰＩＭＥＡには赤色の画像が表示される。判別対象データが第２データ要素６２Ｄである場合、第１ニューロン層３７における類似度をもとに「未知」のクラス判別が確定する。よって、出力画像生成部２４４は、下位層の部分根拠画像ＰＩＭＥＢを生成しなくてもよい。なお、出力画像生成部２４４は、上位層によってクラス判別が確定した場合でも、下位層の第２判別根拠を示す第２層根拠画像ＩＭＥＢを生成してもよい。

判別対象データが図１６に示す第２データ要素６２Ｅである場合、第２データ要素６２Ｅは四の目の画像であるので、局所形状は正解データである第１データ要素１２Ａ～１２Ｃと類似する。このため、第１ニューロン層３７において、類似度計算部２４２によって算出された既知類似度は高い値を示す。よって出力画像生成部２４４は赤色の部分根拠画像ＰＩＭＥＡを有さない根拠画像ＩＭＥを生成する。一方で、局所形状における相対位置を比較して類似度を算出する第２ニューロン層３８では、４個の目の画像が含まれる部分範囲に対応する部分領域Ｒ３８の既知類似度は低くなる。よって、赤色の部分根拠画像ＰＩＭＥＢを含む第２層根拠画像ＩＭＥＢが生成される。図１７に示す第２層根拠画像ＩＭＥＢでは、左上と右下以外の部分根拠画像ＰＩＭＥＢは同じ類似度を示す階調値、本実施形態では同じ赤色で表示されている。

上記のように、第２説明処理において第１説明処理と同様の構成や処理を行う点において同様の効果を奏する。例えば、第１中間データと第２中間データとに基づく類似度が計算されることで、プロセッサー２４は類似度に応じた根拠画像ＩＭＥを生成して出力できる。これにより、機械学習モデル３０を用いた第２データ要素６２の判別根拠をユーザーは容易に知ることができる。

上記実施形態によれば、第１説明処理や第２説明処理において、類似度に応じた根拠画像ＩＭＥが生成されて表示されるので、ユーザーは機械学習モデル３０を用いたラベル判別の判別根拠を容易に知ることができる。また上記実施形態によれば、類似度に応じた根拠画像ＩＭＥの画素に階調値が付与されるので、ユーザーは階調値の違いによって判別根拠を容易に知ることができる。例えば、本実施形態では、ユーザーは、根拠画像ＩＭＥにおいて赤色が濃い領域が、正解データとは異なる領域、すなわち類似度が低い領域であることを容易に知ることができる。

Ｂ．第２実施形態：
図１８は、第２実施形態の第２根拠画像としての根拠画像ＩＭＥａを示す図である。図１８には、第１層根拠画像ＩＭＥＡａが示されているが、第２層根拠画像ＩＭＥＢａについても同様である。出力画像生成部２４４は、上記第１実施形態の根拠画像ＩＭＥａに代えて以下に説明する根拠画像ＩＭＥａを生成してもよい。

第２根拠画像としての根拠画像ＩＭＥａは、上記第１実施形態で説明した複数の部分根拠画像ＰＩＭＥと、第２画像６２とを合成する合成処理を出力画像生成部２４４によって実行することで形成される。出力画像生成部２４４は、例えば、以下に詳述する第１合成処理と第２合成処理とのいずれか一方の合成処理を実行することで根拠画像ＩＭＥａを形成する。

第１合成処理では、出力画像生成部２４４は、上記第１実施形態で説明した複数の部分根拠画像ＰＩＭＥを第２画像６２の対応する領域に重畳することで根拠画像ＩＭＥａを形成する。つまり、出力画像生成部２４４は、複数の部分根拠画像ＰＩＭＥをｘ方向およびｙ方向の二次元に配列した補正前画像について、平面サイズを判別対象データである第２画像６２の平面サイズに合わせる上述の第１補正処理を行って補正後画像を生成する。そして出力画像生成部２４４は、補正後画像を第２画像６２に重畳することで、補正後画像と第２画像６２とを合成する。第１合成処理によって、図１８に示す根拠画像ＩＭＥａが形成される。

第２合成処理では、出力画像生成部２４４は、以下の処理を実行して根拠画像ＩＭＥａを形成する、まず出力画像生成部２４４は、複数の部分根拠画像ＰＩＭＥのそれぞれに対応する第２画像６２の部分画像を取得し、部分根拠画像ＰＩＭＥと対応する部分画像とを重畳した部分重畳画像を複数生成する。そして出力画像生成部２４４は、複数の部分重畳画像をｘ方向およびｙ方向の二次元に配列することで根拠画像ＩＭＥａを形成する。第２合成処理では、機械学習モデル３０におけるストライドも考慮して部分根拠画像ＰＩＭＥと第２画像６２の部分画像とを重畳できる。これにより、第２画像６２の各部分画像と、各部分根拠画像ＰＩＭＥとの対応関係をより反映した根拠画像ＩＭＥａを形成できる。

上記の合成処理において、出力画像生成部２４４は、例えば、補正後画像の画素値と、第２画像６２の画素値とを足し合わせることで画像間演算を行うことで画像を合成する。また例えば、出力画像生成部２４４は、補正後画像と第２画像６２のそれぞれの透過率を設定して画像間演算を行うことで画像を合成してもよい。図１８に示す例では、第２画像６２のバツ印が形成された部分範囲に対応する部分領域Ｒｘについて、類似度が低くなる。よって、第２画像６２のバツ印が形成された部分範囲に対応する部分根拠画像ＰＩＭＥは、Ｒ成分の階調値が他の平面位置の部分根拠画像ＰＩＭＥよりも高く設定されることで赤色に表示される。

上記第２実施形態によれば、上記第１実施形態が奏する効果に加えて以下の効果を奏する。すなわち、複数の部分根拠画像ＰＩＭＥを第２画像６２の対応する領域に重畳することで第２根拠画像ＩＭＥａが生成される。これにより、第２画像６２のどの領域が正解データと類似度が低い領域であるのかという判別根拠をユーザーは直感的に知ることができる。

Ｃ．第３実施形態：
図１９は、第３実施形態の判別装置２０ｂを示す図である。判別装置２０ｂと、図１９に示す第１実施形態の判別装置２０との異なる点は、判別装置２０ｂが新たに対応データ３６を有する点と、出力画像生成部２４４ｂの処理内容である。その他の構成については第１実施形態と同様の構成であるため、同様の構成については同一符号を付すと共に説明を省略する。

判別装置２０ｂの記憶装置２２は、新たに対応データ３６を記憶する。対応データ３６は、部分根拠画像ＰＩＭＥを形成するために用いるＲＧＢの色成分および各色成分の階調数と、類似度に応じた階調値とを対応付けたデータである。ＲＧＢの色成分および各色成分の階調数は、ユーザーからの入力によって決定される。このユーザーからの入力については後述する。ここで、部分根拠画像ＰＩＭＥを形成するために用いるＲＧＢの色成分および各色成分の階調数は、部分根拠画像ＰＩＭＥを表現するための表現パラメーターとして機能する。

出力画像生成部２４４ｂは、類似度計算部２４２によって計算された類似度に応じて根拠画像ＩＭＥ，ＩＭＥａを含む出力画像ＩＭ０，ＩＭ０ａを生成する。具体的には、出力画像生成部２４４ｂは、対応データ３６を参照して、表現パラメーターに関連付けられた類似度に応じた階調値を部分根拠画像ＰＩＭＥの各画素に付与する。

図２０は、根拠画像ＩＭＥ，ＩＭＥａを生成するための各種設定の入力を受け付ける入力受付画像ＩＭＩを示した図である。入力受付画像ＩＭＩは、例えば表示部２６に表示される。入力受付画像ＩＭＩは、第１受付画像ＩＭＩ１と、第２受付画像ＩＭＩ２と、第３受付画像ＩＭＩ３とを備える。

第１受付画像ＩＭＩ１は、根拠画像として、図１２および図１３に示す第１根拠画像ＩＭＥと、図１８に示す第２根拠画像ＩＭＥａとの少なくともいずれの画像を出力画像生成部２４４に生成させる画像生成命令を受け付ける画像である。第１受付画像ＩＭＩ１は、第１根拠画像ＩＭＥと第２根拠画像ＩＭＥａとのそれぞれに対応したチェックボックス画像を有する。利用者は、根拠画像として表示を希望する根拠画像の左欄のチェックボックス画像を選択する。

第２受付画像ＩＭＩ２は、部分根拠画像の表現パラメーターを受け付ける画像である。図２０に示す例では、部分根拠画像の表現パラメーターは、「単色グラデーション」「単色□段階」「複数色グラデーション」「複数色□段階」の４つである。単色グラデーションは、類似度に応じて一つの色成分の階調値を連続的に変化させる表現方法である。複数色グラデーションは、類似度に応じて３つの色成分の階調値を連続的に変化させる表現方法である。「単色□段階」は、類似度に応じて一つの色成分の階調値を段階的に変化させる表現方法であり、一定範囲ごとの値の類似度には同じ階調値が付与される。「複数色□段落」は、類似度に応じて３つの色成分の階調値を段階的に変化させる表現方法である。第２受付画像ＩＭＩ２の「□」は、プルダウンによって部分根拠画像ＰＩＭＥを表現する階調値の数である階調数を選択できる。第２受付画像ＩＭＩ２は、４つの表現パラメーターに対応したチェックボックス画像を有する。ユーザーは、チェックボックス画像を選択することで、４つの表現パラメーターから１つを選択する。またユーザーは、複数段階の階調値で部分根拠画像ＰＩＭＥが表現される場合には、階調数を選択する。

第３受付画像ＩＭＩ３は、第１受付画像ＩＭＩ１および第２受付画像ＩＭＩ２に入力した内容を画像生成命令として受け付けるための画像である。ユーザーは、第３受付画像ＩＭＩ３をカーソルなどで選択することで画像生成命令がプロセッサー２４に受け付けられる。プロセッサー２４の出力画像生成部２４４は、受け付けた画像生成命令に応じた根拠画像ＩＭＥ，ＩＭＥａを生成する。例えば、出力画像生成部２４４は、受け付けた表現パラメーターと、対応データ３６とを用いて、類似度に応じた色成分の階調値を画素に付与することで部分根拠画像ＰＩＭＥを生成する。

上記第３実施形態によれば、上記第１実施形態や上記第２実施形態と同様の構成を有する点において同様の効果を奏する。また上記第３実施形態によれば、ユーザーは、入力受付画像ＩＭＩを用いて、希望する根拠画像ＩＭＥ，ＩＭＥａの表示方法や表現方法といった表示形態の根拠画像ＩＭＥ，ＩＭＥａを表示させることができる。

Ｄ．他の実施形態：
Ｄ－１．他の実施形態１：
上記実施形態では、各実施形態で用いられた機械学習モデルは、ベクトルニューラルネットワーク型の機械学習モデルであったが、これに限定されるものではなく、入出力がベクトルであるベクトルニューロンをネットワークのニューロンする機械学習モデルであれば上記に限定されるものではない。例えば機械学習モデルは、カプセルネットワークを用いた機械学習モデルであってもよい。

Ｄ－２．他の実施形態２：
類似度を計算するための特徴スペクトルＳｐは、上記各実施形態に限定されるものではない。例えば、類似度計算部２４２は、部分領域Ｒｘが有するベクトルＭをアクティベーションａの値にソフトマックス関数を適用した補正値で重み付けすることで特徴スペクトルＳｐを生成してもよいし、部分領域Ｒｘが有するベクトルＭを一次元に並び替えた要素に対して、要素ごとのベクトルＭの値を並べることで特徴スペクトルＳｐを生成してもよい。つまり、類似度の計算方法は、第１ベクトルＭ１の特徴スペクトルＳｐと第２ベクトルＭ２の特徴スペクトルＳｐとの類似度を計算することであってもよい。

Ｄ－３．他の実施形態３：
上記各実施形態では、第１中間データの特徴スペクトルＳｐと第２中間データの特徴スペクトルＳｐとの類似度は、コサイン類似度であったがこれに限定されるものではなく、類似度を比較する要素に応じて各種の類似度を用いてもよい。例えば、類似度は、二乗誤差であってもよい。また例えば、類似度は、２つのベクトルの内積または外積に基づく類似度、２つのベクトルに表される２つの点の間の距離、ノルムに基づく類似度であってもよい。

Ｄ－４．他の実施形態４：
上記実施形態において、第１説明処理と、第２説明処理は、プロセッサー２４によって自動的に切り替え可能に構成されていてもよい。例えば、プロセッサー２４は、第１説明処理を実行している場合において、入力データ要素の全体数に対して不良品であると判別された割合が、予め定めた値以上になった場合に、第１説明処理から第２説明処理へと切り替えてもよい。

Ｄ－５．他の実施形態５：
上記実施形態では、不揮発性記憶媒体２３に記憶されたプログラムは、１つのプロセッサー２４によって実行されたが、２つ以上のプロセッサー２４によって実行されてもよい。

Ｄ－６．他の実施形態６：
第１中間データや第２中間データの生成方法は上記実施形態に限定されるものではなく、例えば、Ｋｍｅａｎｓ法を用いて第１中間データや第２中間データを生成してもよい。また、ＰＣＡやＩＣＡ、Ｆｉｓｈｅｒなどの変換を用いて第１中間データや第２中間データを生成してもよい。また、第１中間データと第２中間データとの変換方法は異なっていてもよい。

Ｄ－７．他の実施形態７：
上記各実施形態では、判別装置２０，２０ｂは単一の装置であったが、複数の装置によって構成されていてもよい。この場合、複数の装置は、有線や無線によってデータ通信可能に構成される。

Ｅ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、装置がベクトルニューラルネットワーク型の機械学習モデルを用いて実行する方法が提供される。前記機械学習モデルは、複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。また前記機械学習モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する。前記装置は、学習された前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを、前記ニューロンと関連付けて記憶している。前記方法は、前記機械学習モデルに前記物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する工程と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する工程と、前記類似度に応じた根拠画像を生成する工程と、前記生成した前記根拠画像を表示する工程と、を備える。この形態によれば、類似度に応じた根拠画像が生成されて表示されるので、ユーザーは判別根拠を容易に知ることができる。

（２）上記形態において、前記生成する工程は、前記根拠画像の画素に前記類似度に応じた階調値を付与することで前記根拠画像を生成する工程を含んでいてもよい。この形態によれば、類似度に応じて根拠画像の画素に階調値が付与されるので、ユーザーは階調値の違いによって判別根拠を容易に知ることができる。

（３）上記形態において、前記機械学習モデルは、複数の前記ニューロン群を有し、前記計算する工程は、前記複数のニューロン群のそれぞれについて、前記第１中間データと前記第２中間データとの類似度を計算し、前記生成する工程は、計算された複数の前記類似度に応じた部分根拠画像を生成して配列することで前記根拠画像を生成し、前記生成する工程において生成される前記根拠画像は、前記複数の部分根拠画像によって形成された第１根拠画像と、前記複数の部分根拠画像と前記第２画像とを合成することで形成された第２根拠画像と、の少なくともいずれかであってもよい。この形態によれば、ユーザーは第１根拠画像と第２根拠画像との少なくともいずれかによって容易に判別根拠を知ることができる。

（４）上記形態において、前記第１根拠画像と前記第２根拠画像との少なくともいずれかを生成させる画像生成命令を受け付ける工程を備え、前記生成する工程は、受け付けた前記画像生成命令に応じた前記根拠画像を生成してもよい。この形態によれば、ユーザーが希望する表示形態の根拠画像を選択できる。

（５）上記形態において、前記装置は、前記部分根拠画像を形成するために用いる色成分および階調数と、前記類似度に応じた階調値とを対応付けた対応データを記憶し、前記方法は、さらに、前記部分根拠画像を生成するために用いる、前記色成分と前記階調数とを含む表現パラメーターを受け付ける工程を備え、前記生成する工程は、受け付けた前記表現パラメーターと、前記対応データと、を用いて、前記部分根拠画像の画素に前記類似度に応じた前記色成分の前記階調値を付与することで前記部分根拠画像を生成する工程を含んでもよい。この形態によれば、ユーザーが希望する表示形態の根拠画像を表示できる。

（６）本開示の第２形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いた装置が提供される。この装置は、（ｉ）複数の第１画像と、前記複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習された機械学習モデルであって、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する機械学習モデルと、（ｉｉ）前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データであって、前記ニューロンと関連付けられた第１中間データと、を記憶する記憶装置と、前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する取得部と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する類似度計算部と、前記類似度に応じた根拠画像を生成する出力画像生成部と、前記生成した前記根拠画像を表示する表示部と、を備える。この形態によれば、類似度に応じた根拠画像が生成されて表示されるので、ユーザーは判別根拠を容易に知ることができる。

（７）本開示の第３形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いてコンピューターに実行させるコンピュータープログラムが提供される。前記機械学習モデルは、複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。また前記機械学習モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する。前記コンピューターは、学習された前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを、前記ニューロンと関連付けて記憶している。このコンピュータープログラムは、前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する取得機能と、前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する類似度計算機能と、前記類似度に応じた根拠画像を生成する出力画像生成機能と、前記生成した前記根拠画像を表示する表示機能と、を備える。この形態によれば、類似度に応じた根拠画像が生成されて表示されるので、ユーザーは判別根拠を容易に知ることができる。

本開示は、上記形態の他に、コンピュータープログラムを記録したコンピューターが読み取り可能な非一過性の有形の記憶媒体などの形態で実現することができる。

ＩＭ０，ＩＭ０ａ…出力画像、ＩＭ１…第１説明画像、ＩＭ１１…判別対象画像、ＩＭ１２，ＩＭ１２ａ…比較元画像、ＩＭ１４，ＩＭ１４ａ…判別結果画像、ＩＭ２…第２説明画像、ＩＭ３…第３説明画像、ＩＭ３ａ…第１層説明画像、ＩＭ３ｂ…第２層説明画像、ＩＭ１４…第４説明画像、ＩＭＥ…第１根拠画像、ＩＭＥＡａ…第１層根拠画像、ＩＭＥＢ，ＩＭＥＢａ…第２層根拠画像、ＩＭＥａ…第２根拠画像、ＩＭＩ…入力受付画像、ＩＭＩ１…第１受付画像、ＩＭＩ２…第２受付画像、ＩＭＩ３…第３受付画像、ＩＭＰ…説明画像、ＩＲ…画像領域、ＰＩＭＥ…部分根拠画像、ＰＩＭＥＢ…部分根拠画像、Ｒｘ…部分領域、１０…第１入力データセット、１２…第１画像、１２Ａ～１２Ｃ…第１データ要素、１４，１４Ａ～１４Ｃ…事前ラベル、２０，２０ｂ…判別装置、２２…記憶装置、２３…不揮発性記憶媒体、２４…プロセッサー、２６…表示部、３０…機械学習モデル、３２…収集データ要素、３３…畳み込み層、３５…プライマリーニューロン層、３６…対応データ、３７…第１ニューロン層、３８…第２ニューロン層、３９…分類ニューロン層、６０…第２入力データセット、６２…第２画像、６２Ａ～６２Ｅ…第２データ要素、６２ａ…第２画像、１００…判別システム、２４０…学習部、２４１…取得部、２４２…類似度計算部、２４４，２４４ｂ…出力画像生成部

Claims (7)

1. 装置がベクトルニューラルネットワーク型の機械学習モデルを用いて実行する方法であって、
   前記機械学習モデルは、複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、
   前記機械学習モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、
   前記装置は、学習された前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを、前記ニューロンと関連付けて記憶しており、
   前記方法は、
   前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する工程と、
   前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する工程と、
   前記類似度に応じた根拠画像を生成する工程と、
   前記生成した前記根拠画像を表示する工程と、を備える、方法。
2. 請求項１に記載の方法であって、
   前記生成する工程は、前記根拠画像の画素に前記類似度に応じた階調値を付与することで前記根拠画像を生成する工程を含む、方法。
3. 請求項２に記載の方法であって、
   前記機械学習モデルは、複数の前記ニューロン群を有し、
   前記計算する工程は、前記複数のニューロン群のそれぞれについて、前記第１中間データと前記第２中間データとの類似度を計算し、
   前記生成する工程は、計算された複数の前記類似度に応じた部分根拠画像を生成して配列することで前記根拠画像を生成し、
   前記生成する工程において生成される前記根拠画像は、
   前記複数の部分根拠画像によって形成された第１根拠画像と、
   前記複数の部分根拠画像と前記第２画像とを合成することで形成された第２根拠画像と、の少なくともいずれかである、方法。
4. 請求項３に記載の方法であって、さらに、
   前記第１根拠画像と前記第２根拠画像との少なくともいずれかを生成させる画像生成命令を受け付ける工程を備え、
   前記生成する工程は、受け付けた前記画像生成命令に応じた前記根拠画像を生成する、方法。
5. 請求項３または請求項４に記載の方法であって、
   前記装置は、前記部分根拠画像を形成するために用いる色成分および階調数と、前記類似度に応じた階調値とを対応付けた対応データを記憶し、
   前記方法は、さらに、前記部分根拠画像を生成するために用いる、前記色成分と前記階調数とを含む表現パラメーターを受け付ける工程を備え、
   前記生成する工程は、受け付けた前記表現パラメーターと、前記対応データと、を用いて、前記部分根拠画像の画素に前記類似度に応じた前記色成分の前記階調値を付与することで前記部分根拠画像を生成する工程を含む、方法。
6. ベクトルニューラルネットワーク型の機械学習モデルを用いた装置であって、
   （ｉ）複数の第１画像と、前記複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習された機械学習モデルであって、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有する機械学習モデルと、（ｉｉ）前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データであって、前記ニューロンと関連付けられた第１中間データと、を記憶する記憶装置と、
   前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する取得部と、
   前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する類似度計算部と、
   前記類似度に応じた根拠画像を生成する出力画像生成部と、
   前記生成した前記根拠画像を表示する表示部と、を備える、装置。
7. ベクトルニューラルネットワーク型の機械学習モデルを用いてコンピューターに実行させるコンピュータープログラムであって、
   前記機械学習モデルは、複数の第１画像と、前記複数の第１画像のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、
   前記機械学習モデルは、１以上のニューロン層を有し、前記１以上のニューロン層のそれぞれは１以上のニューロン群を有し、前記１以上のニューロン群のそれぞれは１以上のニューロンを有し、
   前記コンピューターは、学習された前記機械学習モデルに前記複数の第１画像が入力されることで前記１以上の前記ニューロンが出力する、第１ベクトルと第１アクティベーションとの少なくとも一方に基づく第１中間データを、前記ニューロンと関連付けて記憶しており、
   前記コンピュータープログラムは、
   前記機械学習モデルに物体の第２画像を入力して、前記１以上の前記ニューロン層のそれぞれについて、前記１以上の前記ニューロンが有する第２ベクトルと第２アクティベーションとの少なくとも一方に基づく第２中間データを取得する取得機能と、
   前記１以上の前記ニューロン層において、前記第１中間データと前記第２中間データとの類似度を計算する類似度計算機能と、
   前記類似度に応じた根拠画像を生成する出力画像生成機能と、
   前記生成した前記根拠画像を表示する表示機能と、を備える、コンピュータープログラム。

Images