JP2023076878A - 機械学習モデルを用いて回帰処理を実行する回帰処理装置、方法、及び、コンピュータープログラム - Google Patents

Abstract

【課題】ベクトルニューラルネットワークを用いて精度良く回帰処理を行うことのできる技術を提供する。
【解決手段】回帰処理部は、（ａ）機械学習モデルを用いて入力データに対する予測出力値を求める処理と、（ｂ）既知特徴スペクトル群をメモリーから読み出す処理と、（ｃ）機械学習モデルに入力データが入力されたときに特定層の出力から得られる特徴スペクトルと、既知特徴スペクトル群との間の予測出力値に関する類似度を演算する処理と、（ｄ）類似度を使用して予測出力値の出力を実行する処理と、を実行するように構成されている。
【選択図】図７

Description

本開示は、機械学習モデルを用いて回帰処理を実行する回帰処理装置、方法、及び、コンピュータープログラムに関する。

特許文献１，２には、ベクトルニューロンを用いるベクトルニューラルネットワーク型の機械学習モデルとして、カプセルネットワークと呼ばれるものが開示されている。ベクトルニューロンとは、入出力がベクトルであるニューロンを意味する。カプセルネットワークは、カプセルと呼ばれるベクトルニューロンをネットワークのノードとする機械学習モデルである。カプセルネットワークなどのベクトルニューラルネットワーク型の機械学習モデルは、入力データの分類処理に利用することができる。

米国特許第５２１０７９８号公報 国際公開２０１９／０８３５５３号公報

しかしながら、従来は、ベクトルニューラルネットワークを回帰処理に適用することについては十分な検討がなされておらず、ベクトルニューラルネットワークを用いて精度良く回帰処理を行うことのできる技術が望まれていた。

本開示の第１の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理を実行する回帰処理装置が提供される。この回帰処理装置は、前記回帰処理を実行する回帰処理部と、前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群を記憶するメモリーと、を備える。前記回帰処理部は、（ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める処理と、（ｂ）前記既知特徴スペクトル群を前記メモリーから読み出す処理と、（ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する処理と、（ｄ）前記類似度を使用して前記予測出力値の出力を実行する処理と、を実行するように構成されている。

本開示の第２の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理を実行する方法が提供される。この方法は、（ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める工程と、（ｂ）前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群をメモリーから読み出す工程と、（ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する工程と、（ｄ）前記類似度を使用して前記予測出力値の出力を実行する工程と、を含む。

本開示の第３の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める処理と、（ｂ）前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群をメモリーから読み出す処理と、（ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する処理と、（ｄ）前記類似度を使用して前記予測出力値の出力を実行する処理と、を前記プロセッサーに実行させる。

実施形態における回帰処理システムを示すブロック図。 機械学習モデルの構成例を示す説明図。 準備工程の処理手順を示すフローチャート。 サンプルデータから教師データを作成する様子を示す説明図。 特徴スペクトルを示す説明図。 既知特徴スペクトル群の構成を示す説明図。 回帰処理工程の処理手順を示すフローチャート。 回帰処理結果の出力例を示す説明図。 回帰処理結果の他の出力例を示す説明図。 回帰処理結果の更に他の出力例を示す説明図。 学習済みの機械学習モデルを用いた回帰処理の実験結果を示す説明図。 類似度の第１の演算方法を示す説明図。 類似度の第２の演算方法を示す説明図。 類似度の第３の演算方法を示す説明図。

Ａ．実施形態：
図１は、実施形態における回帰処理システムを示すブロック図である。この回帰処理システムは、情報処理装置１００と、カメラ４００とを備える。カメラ４００は、回帰処理の入力データとしての画像を撮影するためのものである。カメラ４００としては、カラー画像を撮影するカメラを用いても良く、或いは、モノクロ画像や分光画像を撮影するカメラを用いても良い。本実施形態では、カメラ４００で撮影された画像を教師データや入力データとして使用するが、画像以外のデータを教師データや入力データとして使用してもよい。この場合には、カメラ４００の代わりに、データの種類に応じた入力データ取得装置が使用される。

情報処理装置１００は、プロセッサー１１０と、メモリー１２０と、インターフェイス回路１３０と、インターフェイス回路１３０に接続された入力デバイス１４０及び表示デバイス１５０と、を有している。インターフェイス回路１３０には、カメラ４００も接続されている。限定されないが例えば、プロセッサー１１０は、以下で詳述される処理を実行する機能を有するだけでなく、表示デバイス１５０に、当該処理によって得られるデータ、および当該処理の過程で生成されるデータを表示する機能も有する。

プロセッサー１１０は、機械学習モデルの学習を実行する学習実行部１１２、及び、入力データの回帰処理を実行する回帰処理部１１４として機能する。回帰処理部１１４は、類似度演算部３１０と出力実行部３２０とを含む。学習実行部１１２と回帰処理部１１４は、メモリー１２０に格納されたコンピュータープログラムをプロセッサー１１０が実行することによってそれぞれ実現される。但し、学習実行部１１２や回帰処理部１１４をハードウェア回路で実現してもよい。本開示のプロセッサーは、このようなハードウェア回路をも含む用語である。また、学習処理や回帰処理を実行する１つまたは複数のプロセッサーは、ネットワークを介して接続された１つまたは複数のリモートコンピューターに含まれるプロセッサーであってもよい。

メモリー１２０には、機械学習モデル２００と、教師データ群ＴＤと、既知特徴スペクトル群ＧＫＳｐと、が格納される。機械学習モデル２００は、回帰処理部１１４による処理に使用される。機械学習モデル２００の構成例や動作については後述する。教師データ群ＴＤは、機械学習モデル２００の学習に使用されるラベル付きのデータの集合である。本実施形態では、教師データ群ＴＤは画像データの集合である。既知特徴スペクトル群ＧＫＳｐは、学習済みの機械学習モデル２００に教師データを再度入力した際に得られる特徴スペクトルの集合である。特徴スペクトルについては後述する。

図２は、機械学習モデル２００の構成を示す説明図である。この機械学習モデル２００は、入力層２１０と、中間層２８０と、出力層２６０とを有している。中間層２８０は、畳み込み層２２０と、プライマリーベクトルニューロン層２３０と、第１畳み込みベクトルニューロン層２４０と、第２畳み込みベクトルニューロン層２５０と、を含む。出力層２６０を、「回帰ベクトルニューロン層２６０」とも呼ぶ。これらの層のうち、入力層２１０が最も下位の層であり、出力層２６０が最も上位の層である。以下の説明では、中間層２８０の各層をそれぞれ「Conv層２２０」、「PrimeVN層２３０」、「ConvVN1層２４０」、「ConvVN2層２５０」と呼び、出力層２６０を「RegressVN層２６０」と呼ぶ。

図２の例では２つの畳み込みベクトルニューロン層２４０，２５０を用いているが、畳み込みベクトルニューロン層の数は任意であり、畳み込みベクトルニューロン層を省略してもよい。但し、１つ以上の畳み込みベクトルニューロン層を用いることが好ましい。

入力層２１０には、２８×２８画素のサイズの画像が入力される。入力層２１０以外の各層の構成は、以下のように記述できる。
・Conv層２２０：Conv[32,5,2]
・PrimeVN層２３０：PrimeVN[16,1,1]
・ConvVN1層２４０：ConvVN1[12,3,2]
・ConvVN2層２５０：ConvVN2[6,3,1]
・RegressVN層２６０：RegressVN[M,3,1]
・ベクトル次元ＶＤ：VD=16
これらの各層の記述において、括弧前の文字列はレイヤー名であり、括弧内の数字は、順に、チャンネル数、カーネルの表面サイズ、及び、ストライドである。例えば、Conv層２２０のレイヤー名は「Conv」であり、チャンネル数は３２、カーネルの表面サイズは５×５、ストライドは２である。図２では、各層の下にこれらの記述が示されている。各層の中に描かれているハッチングを付した矩形は、隣接する上位層の出力ベクトルを算出する際に使用されるカーネルの表面サイズを表している。本実施形態では、入力データが画像データなので、カーネルの表面サイズも２次元である。なお、各層の記述で用いたパラメーターの値は例示であり、任意に変更可能である。

入力層２１０とConv層２２０は、スカラーニューロンで構成された層である。他の層２３０～２６０は、ベクトルニューロンで構成された層である。ベクトルニューロンは、ベクトルを入出力とするニューロンである。上記の記述では、個々のベクトルニューロンの出力ベクトルの次元は１６で一定である。以下では、スカラーニューロン及びベクトルニューロンの上位概念として「ノード」という語句を使用する。

図２では、Conv層２２０について、ノード配列の平面座標を規定する第１軸ｘ及び第２軸ｙと、奥行きを表す第３軸ｚとが示されている。また、Conv層２２０のｘ，ｙ，ｚ方向のサイズが１２，１２，３２であることが示されている。ｘ方向のサイズとｙ方向のサイズを「解像度」と呼ぶ。ｚ方向のサイズは、チャンネル数である。これらの３つの軸ｘ，ｙ，ｚは、他の層においても各ノードの位置を示す座標軸として使用する。但し、図２では、Conv層２２０以外の層では、これらの軸ｘ，ｙ，ｚの図示が省略されている。

よく知られているように、畳み込み後の解像度Ｗ１は、次式で与えられる。
W1=Ceil{(W0-Wk+1)/S} （Ａ１）
ここで、Ｗ０は畳み込み前の解像度、Ｗｋはカーネルの表面サイズ、Ｓはストライド、Ceil｛Ｘ｝はＸの小数点以下を切り上げる演算を行う関数である。
図２に示した各層の解像度は、入力データの解像度を２８とした場合の例であり、実際の各層の解像度は入力データのサイズに応じて適宜変更される。

RegressVN層２６０は、Ｍ個のチャンネルを有している。Ｍは、機械学習モデル２００から出力される予測出力値の数である。本実施形態において、Ｍは１であり、１つの予測出力値θprが出力される。予測出力値θprは離散値でなく、連続値である。予測出力値の数Ｍは、２以上としてもよい。例えば、３次元物体の画像を入力データとする場合には、その３軸回りの３つの回転角度を予測出力値として求めるように機械学習モデル２００を構成することも可能である。

RegressVN層２６０の活性化関数としては、下記（Ａ２）式に示す線形関数を使用することができる。

ここで、ａ_ｊは層内のｊ番目のニューロンにおける活性化後の出力ベクトルのノルム、ｕ_ｊは層内のｊ番目のニューロンにおける活性化前の出力ベクトル、||ｕ_ｊ||はベクトルｕ_ｊのノルムである。換言すれば、RegressVN層２６０の出力は、活性化前のベクトルｕ_ｊの長さに相当する値である。

RegressVN層２６０の活性化関数としては、上記（Ａ２）式の線形関数以外の種々の関数を使用することが可能だが、ソフトマックス関数は不適切である。RegressVN層２６０以外の層では、任意の活性化関数を使用可能である。

図２では、更に、各層２２０，２３０，２４０，２５０，２６０における部分領域Ｒｎが描かれている。部分領域Ｒｎの添え字「ｎ」は、各層の符号である。例えば、部分領域Ｒ２２０は、Conv層２２０における部分領域を示す。「部分領域Ｒｎ」とは、各層において、第１軸ｘの位置と第２軸ｙとの位置で規定される平面位置（ｘ，ｙ）で特定され、第３軸ｚに沿った複数のチャンネルを含む領域である。部分領域Ｒｎは、第１軸ｘ、第２軸ｙ、および第３軸ｚに対応する「Ｗｉｄｔｈ」×「Ｈｅｉｇｈｔ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域Ｒｎ」に含まれるノードの数は「１×１×デプス数」、すなわち「１×１×チャンネル数」である。

図２に示すように、ConvVN2層２５０の出力から、後述する特徴スペクトルＳｐが算出されて、類似度演算部３１０に入力される。類似度演算部３１０は、この特徴スペクトルＳｐと、予め作成されていた既知特徴スペクトル群ＧＫＳｐとを用いて、後述する類似度を算出する。本実施形態では、この類似度を用いて予測出力値θprの出力を実行する。予測出力値θprの出力の方法については更に後述する。

本開示において、類似度の算出に使用されるベクトルニューロン層を、「特定層」とも呼ぶ。特定層としては、ConvVN2層２５０以外のベクトルニューロン層を用いてもよく、１つ以上の任意の数のベクトルニューロン層を使用可能である。なお、特徴スペクトルの構成と、特徴スペクトルを用いた類似度の演算方法については後述する。

図３は、機械学習モデルの準備工程の処理手順を示すフローチャートである。ステップＳ１１０では、学習実行部１１２が、ラベル付きの教師データを作成する。

図４は、ラベル付きの教師データを作成する様子を示す説明図である。ここでは、０～９の数字に関する複数の手書き文字画像が、サンプル画像ＳＤとしてカメラ４００によって撮像されている。このサンプル画像ＳＤには、４９個の手書き文字画像が含まれている。個々の文字画像のサイズは、２８×２８画素である。教師データＴＤは、サンプル画像ＳＤに含まれる個々の文字画像を－４５°＜θ＜４５°の範囲でランダムに回転させることによって作成されている。本実施形態では、このような教師データＴＤを５０００枚用意した。個々の文字画像には、ラベルとして回転角度θの値を付与した。より具体的には、回転角度θを１８０で割って正規化し、５．０を加算した値を学習用のラベルとした。このとき、－４５°～＋４５°の回転角度θは、４．７５～５．２５の範囲のラベルに変換される。このようなラベルを付与した教師データを用いて機械学習モデル２００の学習を行えば、任意の入力データに対して、－４５°～＋４５°の範囲外の角度も予測出力値θprとして求められる可能性がある。

ステップＳ１２０では、学習実行部１１２が、教師データ群ＴＤを用いて機械学習モデル２００の学習を実行する。学習時には任意の損失関数を使用可能であるが、本実施形態ではＭＳＥ(Mean Square Error)を使用した。学習が終了すると、学習済みの機械学習モデル２００がメモリー１２０に保存される。

ステップＳ１３０では、学習実行部１１２が、学習済みの機械学習モデル２００に複数の教師データを再度入力して、既知特徴スペクトル群ＧＫＳｐを生成する。既知特徴スペクトル群ＧＫＳｐは、以下で説明する特徴スペクトルの集合である。

図５は、学習済みの機械学習モデル２００に任意の入力データを入力することによって得られる特徴スペクトルＳｐを示す説明図である。図２に示したように、本実施形態では、特徴スペクトルＳｐがConvVN2層２５０の出力から作成される。図５の横軸は、ConvVN2層２５０の１つの部分領域Ｒ２５０に含まれる複数のノードの出力ベクトルに関するベクトル要素の位置である。このベクトル要素の位置は、各ノードにおける出力ベクトルの要素番号ＮＤと、チャンネル番号ＮＣとの組み合わせで表される。本実施形態では、ベクトル次元が１６（各ノードが出力する出力ベクトルの要素の数）なので、出力ベクトルの要素番号ＮＤは０から１５までの１６個である。また、ConvVN2層２５０のチャンネル数は６なので、チャンネル番号ＮＣは０から５までの６個である。換言すれば、この特徴スペクトルＳｐは、１つの部分領域Ｒ２５０に含まれる各ベクトルニューロンの出力ベクトルの複数の要素値を、第３軸ｚに沿った複数のチャンネルにわたって配列したものである。

図５の縦軸は、各スペクトル位置での特徴値Ｃ_Ｖを示す。この例では、特徴値Ｃ_Ｖは、出力ベクトルの各要素の値Ｖ_ＮＤである。特徴値Ｃ_Ｖについては、平均値０へセンタリングするなどの統計処理を行ってもよい。なお、特徴値Ｃ_Ｖとしては、出力ベクトルの各要素の値Ｖ_ＮＤと、後述する正規化係数とを乗算した値を使用してもよく、或いは、正規化係数をそのまま使用してもよい。後者の場合には、特徴スペクトルＳｐに含まれる特徴値Ｃ_Ｖの数はチャンネル数に等しく、６個である。なお、正規化係数は、そのノードの出力ベクトルのベクトル長さに相当する値である。

１つの入力データに対してConvVN2層２５０の出力から得られる特徴スペクトルＳｐの数は、ConvVN2層２５０の平面位置（ｘ，ｙ）の数、すなわち、部分領域Ｒ２５０の数に等しいので、９個である。

学習実行部１１２は、学習済みの機械学習モデル２００に教師データを再度入力し、図５に示す特徴スペクトルＳｐを算出して、既知特徴スペクトル群ＧＫＳｐとしてメモリー１２０に登録する。

図６は、既知特徴スペクトル群ＧＫＳｐの構成を示す説明図である。この例では、ConvVN2層２５０の出力から得られた既知特徴スペクトル群ＧＫＳｐが示されている。なお、既知特徴スペクトル群ＧＫＳｐとしては、少なくとも１つのベクトルニューロン層の出力から得られたものが登録されていればよく、ConvVN1層２４０やRegressVN層２６０の出力から得られた既知特徴スペクトル群が登録されるようにしてもよい。

既知特徴スペクトル群ＧＫＳｐの個々のレコードは、層内の部分領域Ｒｎの順序を示すパラメーターｋと、データ番号を示すパラメーターｑと、既知特徴スペクトルＫＳｐとを含んでいる。既知特徴スペクトルＫＳｐは、図５の特徴スペクトルＳｐと同じものである。

部分領域Ｒｎのパラメーターｋは、特定層に含まれる複数の部分領域Ｒｎのいずれであるか、すなわち、平面位置（ｘ，ｙ）のいずれであるかを示す値を取る。ConvVN2層２５０については部分領域Ｒ２５０の数が９個なので、ｋ＝１～９である。データ番号のパラメーターｑは、教師データの連続番号を示しており、１～maxの値を取る。例えば、max=5000である。

ステップＳ１３０で使用される複数の教師データは、ステップＳ１２０で使用された複数の教師データと同じものである必要は無い。但し、ステップＳ１３０においても、ステップＳ１２０で使用された複数の教師データの一部又は全部を利用すれば、新たな教師データを準備する必要が無いという利点がある。

図７は、学習済みの機械学習モデル２００を用いた回帰処理工程の処理手順を示すフローチャートである。ステップＳ２１０では、回帰処理部１１４が、入力データを生成する。本実施形態では、カメラ４００を用いて手書き文字を撮影することによって、２８×２８画素の文字画像が入力データとして作成される。ステップＳ２２０では、回帰処理部１１４が、必要に応じて入力データに対して前処理を実行する。前処理としては、解像度調整や、データの正規化(min-max normalization)等の処理を利用可能である。前処理は省略可能である。ステップＳ２３０では、回帰処理部１１４が、学習済みの機械学習モデル２００と、既知特徴スペクトル群ＧＫＳｐとをメモリー１２０から読み出す。

ステップＳ２４０では、回帰処理部１１４が、機械学習モデル２００に入力データを入力して、予測出力値θprを求める。本実施形態では、予測出力値θprは、入力データに含まれる手書き文字の回転角度である。ステップＳ２５０では、回帰処理部１１４が、特定層であるConvVN2層２５０の出力を用いて、図５に示した特徴スペクトルＳｐを求める。ステップＳ２６０では、類似度演算部３１０が、ステップＳ２５０で得られた特徴スペクトルＳｐと、図６に示した既知特徴スペクトル群ＧＫＳｐとを用いて類似度を算出する。類似度は、入力データが教師データの特徴に類似している程度を表す指標である。類似度の演算方法については後述する。

ステップＳ２７０では、出力実行部３２０が、類似度を使用して予測出力値θprの出力を実行する。

図８は、回帰処理結果の出力例を示す説明図である。回帰処理の結果表示ウィンドウＷＤ１には、入力データＧＦの画像と、予測出力値θprと、類似度Ｓｍとが表示されている。この例では、入力データＧＦは、手書き数字の「３」が回転した画像である。予測出力値θprは「２３°」であり、類似度Ｓｍは「０．９６」である。この予測出力値θprは、Regress VN層２６０の出力から５．０を減算し、１８０を掛けることによって得ることができる。ユーザーは、類似度Ｓｍの値から、予測出力値θprが信頼できるものであるか否かを判断することが可能である。類似度Ｓｍが取り得る範囲は－１～＋１であり、図８の例では類似度Ｓｍが１に近いので、予測出力値θprが信頼できるものであると判断できる。

図９は、回帰処理結果の他の出力例を示す説明図である。回帰処理の結果表示ウィンドウＷＤ２にも、入力データＧＦの画像と、予測出力値θprと、類似度Ｓｍとが表示されている。図８との違いは、類似度Ｓｍの名称が「信頼度」となっている点だけである。この例でも、ユーザーは、信頼度の値から、予測出力値θprが信頼できるものであるか否かを判断することが可能である。

図１０は、回帰処理結果の更に他の出力例を示す説明図である。この例では、図９と同じ結果表示ウィンドウＷＤ２において、信頼度の数値が低い場合の表示例を示している。ここでは、信頼度としての類似度Ｓｍの値が０．５５とかなり低いので、予測出力値θprの表示形態が、図９と異なり、信頼度が低いものであることを示す形態となっている。具体的には、予測出力値θprの数値が網掛けされていて、視認し難い表示形態となっている。例えば、出力実行部３２０は、類似度Ｓｍが予め定められた閾値以上の場合に予測出力値θprを有効と判断して図９のような出力を実行し、類似度Ｓｍが閾値未満の場合には予測出力値θprを無効と判断して図１０のような出力を実行するようにしてもよい。また、類似度Ｓｍが閾値未満の場合と閾値以上の場合とで互いに異なる表示形態で予測出力値θprを表示する代わりに、類似度Ｓｍが閾値未満の場合には予測出力値θprの出力を停止するようにしてもよい。いずれの場合にも、類似度Ｓｍが閾値未満の場合には予測出力値θprの信頼度が低いので、機械学習モデル２００で得られた予測出力値θprを無効と判断することができる。

図１１は、学習済みの機械学習モデル２００を用いた回帰処理の実験結果を示す説明図である。ここでは、多数の手書き文字画像を入力データとして用いて、機械学習モデル２００によってその回転角度を予測出力値θprとして求めた結果を示している。横軸は真の回転角度θであり、縦軸は予測出力値θprである。白丸は類似度Ｓｍが閾値Ｔｈ以上の結果を示しており、黒丸は類似度Ｓｍが閾値Ｔｈ未満の結果を示している。この例では、閾値Ｔｈは０．９５とした。図３に示したように、教師データでは回転角度θを－４５°～＋４５°の範囲としたが、図１１に示す結果では、－５０°～＋５０°の範囲で良好な予測出力値θprが得られている。また、－５０°～＋５０°の範囲外では、予測出力値θprの類似度Ｓｍが大幅に低下する傾向にある。図８～図１０の例で説明したように、類似度Ｓｍを使用して予測出力値θprの出力を実行するようにすれば、類似度Ｓｍが高く、信頼できる予測出力値θprを得ることができるという利点がある。

以上のように、上記実施形態では、ベクトルニューラルネットワークを含む機械学習モデル２００を用いて回帰処理を精度よく実行できる。また、類似度Ｓｍを使用して予測出力値θprの出力を実行するので、信頼できる予測出力値θprを得ることが可能である。

Ｂ．類似度の算出方法：
上述した類似度の演算方法としては、例えば、以下の方法のいずれかを採用可能である。
（１）特徴スペクトルＳｐと既知特徴スペクトル群ＧＫＳｐにおける部分領域Ｒｎの対応を考慮せずに類似度を求める第１の演算方法Ｍ１
（２）特徴スペクトルＳｐと既知特徴スペクトル群ＧＫＳｐの対応する部分領域Ｒｎ同士で類似度を求める第２の演算方法Ｍ２
（３）部分領域Ｒｎを全く考慮せずに類似度を求める第３の演算方法Ｍ３
以下では、これらの演算方法Ｍ１，Ｍ２，Ｍ３に従って、ConvVN2層２５０の出力から類似度を算出する方法について順次説明する。

図１２は、類似度の第１の演算方法Ｍ１を示す説明図である。第１の演算方法Ｍ１では、まず、特定層であるConvVN2層２５０の出力から、部分領域ｋ毎に類似度を示す局所類似度S(k)が、後述する式に従って算出される。図２の機械学習モデル２００では、ConvVN2層２５０の部分領域Ｒ２５０の個数は９なので、部分領域のパラメーターｋは１～９の値を取る。これらの局所類似度S(k)から、図１２の右側に示す３種類の類似度Ｓｍのいずれかが算出される。

第１の演算方法Ｍ１において、局所類似度S(k)は次式を用いて算出される。
S(k)=max[G{Sp(k), KSp(k=all,q=all)}] （Ｂ１）
ここで、
ｋは、部分領域Ｒｎを示すパラメーター、
ｑは、データ番号を示すパラメーター、
G{a,b}は、ａとｂの類似度を求める関数、
Sp(k)は、入力データに応じて、特定層の特定の部分領域ｋの出力から得られる特徴スペクトル、
KSp(k=all,q=all)は、図６に示した既知特徴スペクトル群GKSpのうち、特定層のすべての部分領域ｋにおけるすべてのデータ番号ｑの既知特徴スペクトル、
max[X]は、Ｘの値のうちの最大値を取る論理演算である。
なお、類似度を求める関数G{a,b}としては、例えば、コサイン類似度を求める式や、距離に応じた類似度を求める式を使用できる。

図１２の右側に示す３種類の類似度Ｓｍは、複数の部分領域ｋについての局所類似度S(k)の最大値、平均値、又は、最小値を取ることによって得られたものである。最大値、平均値、又は、最小値のいずれの演算を使用するかは、類似度Ｓｍの使用目的に応じて異なる。これらの３種類の演算のいずれを使用するかは、実験的または経験的にユーザーによって予め設定される。上述した実施形態では、局所類似度S(k)の最小値を取ることによって類似度Ｓｍを決定した。

以上のように、類似度の第１の演算方法Ｍ１では、
（１）入力データに応じて、特定層の特定の部分領域ｋの出力から得られる特徴スペクトルSpと、その特定層に関連付けられたすべての既知特徴スペクトルKSpとの類似度である局所類似度S(k)を求め、
（２）複数の部分領域ｋについての局所類似度S(k)の最大値、平均値、又は、最小値を取ることによって類似度Ｓｍを求める。
この第１の演算方法Ｍ１によれば、比較的簡単な演算及び手順により、類似度Ｓｍを求めることができる。

図１３は、類似度の第２の演算方法Ｍ２を示す説明図である。第２の演算方法Ｍ２では、上述した（Ｂ１）式の代わりに次式を用いて局所類似度S(k)を算出する。
S(k)=max[G{Sp(k), KSp(k,q=all)}] （Ｂ２）
ここで、
KSp(k,q=all)は、図６に示した既知特徴スペクトル群GKSpのうち、特定層の特定の部分領域ｋにおけるすべてのデータ番号ｑの既知特徴スペクトルである。

上述した第１の演算方法Ｍ１では、特定層のすべての部分領域ｋにおける既知特徴スペクトルKSp(k=all,q=all)を用いていたのに対して、第２の演算方法Ｍ２では、特徴スペクトルSp(k)の部分領域ｋと同じ部分領域ｋに対する既知特徴スペクトルKSp(k,q=all)のみを用いている。第２の演算方法Ｍ２における他の方法は、第１の演算方法Ｍ１と同じである。

類似度の第２の演算方法Ｍ２では、
（１）入力データに応じて、特定層の特定の部分領域ｋの出力から得られる特徴スペクトルSpと、その特定層の特定の部分領域ｋに関連付けられたすべての既知特徴スペクトルKSpとの類似度である局所類似度S(k)を求め、
（２）複数の部分領域ｋについての局所類似度S(k)の最大値、平均値、又は、最小値を取ることによって、類似度Ｓｍを求める。
この第２の演算方法Ｍ２によっても、比較的簡単な演算及び手順により、類似度Ｓｍを求めることができる。

図１４は、類似度の第３の演算方法Ｍ３を示す説明図である。第３の演算方法Ｍ３では、局所類似度S(k)を求めることなく、特定層であるConvVN2層２５０の出力から類似度Ｓｍが算出される。

第３の演算方法Ｍ３で得られる類似度Ｓｍは、次式を用いて算出される。
Ｓｍ=max[G{Sp(k=all), KSp(k=all,q=all)}] （Ｂ３）
ここで、
Sp(k=all)は、入力データに応じて、特定層のすべての部分領域ｋの出力から得られる特徴スペクトルである。

以上のように、類似度の第３の演算方法Ｍ３では、
（１）入力データに応じて特定層の出力から得られるすべての特徴スペクトルSpと、その特定層に関連付けられたすべての既知特徴スペクトルKSpとの類似度である類似度Ｓｍを求める。
この第３の演算方法Ｍ３によれば、更に簡単な演算及び手順により、類似度Ｓｍを求めることができる。

上述した３つの演算方法Ｍ１～Ｍ３は、いずれも１つの特定層の出力を利用して類似度を演算する方法である。但し、図２に示した複数のベクトルニューロン層２４０，２５０，２６０のうちの１つ以上を特定層として類似度を演算することができる。複数の特定層を用いる場合には、例えば、複数の特定層から得られた複数の類似度のうちの最小値又は平均値を、最終的な類似度として使用することが好ましい。

Ｃ．機械学習モデルの各層の出力ベクトルの演算方法：
図２に示した各層の出力の演算方法は、以下の通りである。

PrimeVN層２３０の各ノードは、Conv層２２０の１×１×３２個のノードのスカラー出力を３２次元のベクトルとみなして、このベクトルに変換行列を乗ずることによってそのノードのベクトル出力を得る。この変換行列は、表面サイズが１×１のカーネルの要素であり、機械学習モデル２００の学習によって更新される。なお、Conv層２２０とPrimeVN層２３０の処理を統合して、１つのプライマリーベクトルニューロン層として構成することも可能である。

PrimeVN層２３０を「下位層Ｌ」と呼び、その上位側に隣接するConvVN1層２４０を「上位層Ｌ＋１」と呼ぶとき、上位層Ｌ＋１の各ノードの出力は、以下の式を用いて決定される。

ここで、
Ｍ^Ｌ _ｉは、下位層Ｌにおけるｉ番目のノードの出力ベクトル、
Ｍ^Ｌ＋１ _ｊは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトル、
ｖ_ｉｊは、出力ベクトルＭ^Ｌ＋１ _ｊの予測ベクトル、
Ｗ^Ｌ _ｉｊは、下位層Ｌの出力ベクトルＭ^Ｌ _ｉから予測ベクトルｖ_ｉｊを算出するための予測行列、
ｕ_ｊは、予測ベクトルｖ_ｉｊの和、すなわち線形結合、である和ベクトル、
ａ_ｊは、和ベクトルｕ_ｊのノルム|ｕ_ｊ|を正規化することによって得られる正規化係数であるアクティベーション値、
Ｆ（Ｘ）は、Ｘを正規化する正規化関数である。

正規化関数Ｆ（Ｘ）としては、例えば以下の（Ｅ３ａ）式または（Ｅ３ｂ）式を使用できる。

ここで、
ｋは、上位層Ｌ＋１のすべてのノードに対する序数、
βは、任意の正の係数である調整パラメーターであり、例えばβ＝１である。
正規化関数Ｆ（Ｘ）としては、このほかに、シグモイド関数を用いることもできる。シグモイド関数はグラフがS字曲線をとる関数の総称であり、例えばロジスティック関数F(x) = 1/(1+exp(-βx))や双曲線正接関数 tanh(x)などがある。

上記（Ｅ３ａ）式では、上位層Ｌ＋１のすべてのノードに関して和ベクトルｕ_ｊのノルム|ｕ_ｊ|をソフトマックス関数で正規化することによってアクティベーション値ａ_ｊが得られる。一方、（Ｅ３ｂ）式では、和ベクトルｕ_ｊのノルム|ｕ_ｊ|を、上位層Ｌ＋１のすべてのノードに関するノルム|ｕ_ｊ|の和で除算することによってアクティベーション値ａ_ｊが得られる。なお、正規化関数Ｆ（Ｘ）としては、（Ｅ３ａ）式や（Ｅ３ｂ）式以外の他の関数を用いてもよい。

上記（Ｅ２）式の序数ｉは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトルＭ^Ｌ＋１ _ｊを決めるために使用される下位層Ｌのノードに便宜上割り振られるものであり、１～ｎの値をとる。また、整数ｎは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトルＭ^Ｌ＋１ _ｊを決めるために使用される下位層Ｌのノードの数である。従って、整数ｎは次式で与えられる。
n=Nk×Nc （Ｅ５）
ここで、Ｎｋはカーネルの表面サイズであり、Ｎｃは下位層であるPrimeVN層２３０のチャンネル数である。図２の例ではＮｋ＝９、Ｎｃ＝１６なので、ｎ＝１４４である。

ConvVN1層２４０の出力ベクトルを求めるために使用される１つのカーネルは、カーネルサイズ３×３を表面サイズとし、下位層のチャンネル数１６を深さとする３×３×１６＝１４４個の要素を有しており、これらの要素のそれぞれは予測行列Ｗ^Ｌ _ｉｊである。また、ConvVN1層２４０の１２個のチャンネルの出力ベクトルを生成するためには、このカーネルが１２組必要である。従って、ConvVN1層２４０の出力ベクトルを求めるために使用されるカーネルの予測行列Ｗ^Ｌ _ｉｊの数は、１４４×１２＝１７２８個である。これらの予測行列Ｗ^Ｌ _ｉｊは、機械学習モデル２００の学習により更新される。

上述した（Ｅ１）～（Ｅ４）式から分かるように、上位層Ｌ＋１の個々のノードの出力ベクトルＭ^Ｌ＋１ _ｊは、以下の演算によって求められる。
（ａ）下位層Ｌの各ノードの出力ベクトルＭ^Ｌ _ｉに予測行列Ｗ^Ｌ _ｉｊを乗じて予測ベクトルｖ_ｉｊを求め、
（ｂ）下位層Ｌの各ノードから得られた予測ベクトルｖ_ｉｊの和、すなわち線形結合、である和ベクトルｕ_ｊを求め、
（ｃ）和ベクトルｕ_ｊのノルム|ｕ_ｊ|を正規化することによって正規化係数であるアクティベーション値ａ_ｊを求め、
（ｄ）和ベクトルｕ_ｊをノルム|ｕ_ｊ|で除算し、更に、アクティベーション値ａ_ｊを乗じる。

なお、アクティベーション値ａ_ｊは、上位層Ｌ＋１のすべてのノードに関してノルム|ｕ_ｊ|を正規化することによって得られる正規化係数である。従って、アクティベーション値ａ_ｊは、上位層Ｌ＋１内の全ノードの中における各ノードの相対的な出力強度を示す指標と考えることができる。（Ｅ３）式及び（４）式で使用されるノルムは、典型的な例ではベクトル長さを表すＬ２ノルムである。このとき、アクティベーション値ａ_ｊは、出力ベクトルＭ^Ｌ＋１ _ｊのベクトル長さに相当する。アクティベーション値ａ_ｊは、上述した（Ｅ３）式と（Ｅ４）式で使用されるだけなので、ノードから出力される必要は無い。但し、アクティベーション値ａ_ｊを外部に出力するように上位層Ｌ＋１を構成することも可能である。

ベクトルニューラルネットワークの構成は、カプセルネットワークの構成とほぼ同じであり、ベクトルニューラルネットワークのベクトルニューロンがカプセルネットワークのカプセルに相当する。但し、ベクトルニューラルネットワークで使用される上述の（Ｅ１）～（Ｅ４）式による演算は、カプセルネットワークで使用される演算と異なる。両者の最も大きな違いは、カプセルネットワークでは、上記（Ｅ２）式の右辺の予測ベクトルｖ_ｉｊにそれぞれ重みが乗じられており、その重みが、動的ルーティングを複数回繰り返すことによって探索される点である。一方、本実施形態のベクトルニューラルネットワークでは、上述した（Ｅ１）～（Ｅ４）式を順番に１回計算することによって出力ベクトルＭ^Ｌ＋１ _ｊが得られるので、動的ルーティングを繰り返す必要が無く、演算がより高速であるという利点がある。また、本実施形態のベクトルニューラルネットワークは、カプセルネットワークよりも演算に必要とするメモリー量がカプセルネットワークより少なく、本開示の発明者の実験によれば、約１／２～１／３のメモリー量で済むという利点もある。

ベクトルを入出力とするノードを使用するという点では、ベクトルニューラルネットワークはカプセルネットワークと同じである。従って、ベクトルニューロンを使用する利点もカプセルネットワークと共通している。また、複数の層２２０～２６０は、上位に行くほどより大きな領域の特徴を表現し、下位に行くほどより小さな領域の特徴を表現する、という点は、通常の畳み込みニューラルネットワークと同じである。ここで、「特徴」とは、ニューラルネットワークへの入力データに含まれている特徴的な部分を意味する。ベクトルニューラルネットワークやカプセルネットワークでは、或るノードの出力ベクトルが、そのノードが表現する特徴の空間的な情報を表す空間情報を含む点で、通常の畳み込みニューラルネットワークよりも優れている。すなわち、或るノードの出力ベクトルのベクトル長さは、そのノードが表現する特徴の存在確率を表し、ベクトル方向がその特徴の方向やスケール等の空間情報を表している。従って、同じ層に属する２つのノードの出力ベクトルのベクトル方向は、それぞれの特徴の位置関係を表す。あるいは、当該２つのノードの出力ベクトルのベクトル方向は、特徴のバリエーションを表わすとも言える。例えば、「目」の特徴に対応するノードなら、出力ベクトルの方向は、目の細さ、吊り上がり方、などのバリエーションを表し得る。通常の畳み込みニューラルネットワークでは、プーリング処理によって特徴の空間情報が消失してしまうと言われている。この結果、ベクトルニューラルネットワークやカプセルネットワークは、通常の畳み込みニューラルネットワークに比べて入力データを識別する性能に優れているという利点がある。

ベクトルニューラルネットワークの利点は、以下のように考えることも可能である。すなわち、ベクトルニューラルネットワークでは、ノードの出力ベクトルが、入力データの特徴を連続空間内の座標として表現すること、に利点がある。従って、ベクトル方向が近ければ特徴が似ている、というように出力ベクトルを評価できる。また、入力データに含まれている特徴が教師データではカバーできていなくても、補間してその特徴を判別できる、などの利点もある。一方、通常の畳み込みニューラルネットワークは、プーリング処理によって無秩序な圧縮がかかるため、入力データの特徴を連続空間内の座標として表現できない、という欠点がある。

ConvVN2層２５０とRegressVN層２６０の各ノードの出力も、上述した（Ｅ１）～（Ｅ４）式を用いて同様に決定されるので、詳細な説明は省略する。最上位層であるRegressVN層２６０の解像度は１×１であり、チャンネル数はＭである。

RegressVN層２６０では、上記（Ｅ３）式の代わりに、上記（Ａ２）式の線形関数などが活性化関数として使用することも可能である。すなわち、RegressVN層２６０の出力ベクトルは、上記（Ａ２）式の線形関数によって予測出力値θpreに変換される。あるいは、活性化関数として上述したシグモイド関数を利用することも可能である。

上述の実施形態では、機械学習モデル２００として、上記（Ｅ１）式～（Ｅ４）式の演算によって出力ベクトルを求めるベクトルニューラルネットワークを用いていたが、この代わりに、米国特許第５２１０７９８号公報や国際公開２００９／０８３５５３号公報に開示されているカプセルネットワークを用いてもよい。

・他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理を実行する回帰処理装置が提供される。この回帰処理装置は、前記回帰処理を実行する回帰処理部と、前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群を記憶するメモリーと、を備える。前記回帰処理部は、（ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める処理と、（ｂ）前記既知特徴スペクトル群を前記メモリーから読み出す処理と、（ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する処理と、（ｄ）前記類似度を使用して前記予測出力値の出力を実行する処理と、を実行するように構成されている。
この装置によれば、ベクトルニューラルネットワークを含む機械学習モデルを用いて回帰処理を精度よく実行できる。また、類似度を使用して予測出力値の出力を実行するので、類似度が高く信頼できる予測出力値を得ることができる。

（２）上記回帰処理装置において、前記処理（ｄ）は、前記予測出力値と共に、前記類似度を出力する処理を含むものとしてもよい。
この装置によれば、ユーザーが、類似度から、予測出力値が信頼できるものであるか否かを判断できる。

（３）上記回帰処理装置において、前記処理（ｄ）は、前記予測出力値と共に、前記類似度に応じた前記予測出力値の信頼度を出力する処理を含むものとしてもよい。
この装置によれば、ユーザーが、予測出力値の信頼度を容易に理解できる。

（４）上記回帰処理装置において、前記処理（ｄ）は、前記類似度が予め定められた閾値以上の場合に前記予測出力値を有効と判断し、前記類似度が前記閾値未満の場合に前記予測出力値を無効と判断する処理を含むものとしてもよい。
この装置によれば、類似度が閾値未満の場合には予測出力値の信頼度が低いので、機械学習モデルで得られた予測出力値を無効と判断することができる。

（５）上記回帰処理装置において、前記特定層は、第１軸と第２軸の２つの軸で規定された平面に配置されたベクトルニューロンが、前記２つの軸とは異なる方向の第３軸に沿って複数のチャンネルとして配置されている構成を有する。前記特徴スペクトルは、（ｉ）前記特定層のうちの１つの平面位置におけるベクトルニューロンの出力ベクトルの複数の要素値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第１種の特徴スペクトルと、（ｉｉ）前記第１種の特徴スペクトルの各要素値に、前記出力ベクトルのベクトル長に相当するアクティベーション値を乗じることによって得られる第２種の特徴スペクトルと、（ｉｉｉ）前記特定層のうちの１つの平面位置における前記アクティベーション値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第３種の特徴スペクトルと、のうちのいずれかであるものとしてもよい。
この装置によれば、特徴スペクトルを容易に求めることができる。

（６）本開示の第２の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理を実行する方法が提供される。この方法は、（ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める工程と、（ｂ）前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群をメモリーから読み出す工程と、（ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する工程と、（ｄ）前記類似度を使用して前記予測出力値の出力を実行する工程と、を含む。

（７）本開示の第３の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める処理と、（ｂ）前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群をメモリーから読み出す処理と、（ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する処理と、（ｄ）前記類似度を使用して前記予測出力値の出力を実行する処理と、を前記プロセッサーに実行させる。

本開示は、上記以外の種々の形態で実現することも可能である。例えば、回帰処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１００…情報処理装置、１１０…プロセッサー、１１２…学習実行部、１１４…回帰処理部、１２０…メモリー、１３０…インターフェイス回路、１４０…入力デバイス、１５０…表示デバイス、２００…機械学習モデル、２１０…入力層、２２０…畳み込み層、２３０…プライマリーベクトルニューロン層、２４０…第１畳み込みベクトルニューロン層、２５０…第２畳み込みベクトルニューロン層、２６０…回帰ベクトルニューロン層、２８０…中間層、３１０…類似度演算部、３２０…出力実行部、４００…カメラ

Claims (7)

1. 複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理を実行する回帰処理装置であって、
   前記回帰処理を実行する回帰処理部と、
   前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群を記憶するメモリーと、
   を備え、
   前記回帰処理部は、
   （ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める処理と、
   （ｂ）前記既知特徴スペクトル群を前記メモリーから読み出す処理と、
   （ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する処理と、
   （ｄ）前記類似度を使用して前記予測出力値の出力を実行する処理と、
   を実行するように構成されている、回帰処理装置。
2. 請求項１に記載の回帰処理装置であって、
   前記処理（ｄ）は、前記予測出力値と共に、前記類似度を出力する処理を含む、回帰処理装置。
3. 請求項１に記載の回帰処理装置であって、
   前記処理（ｄ）は、前記予測出力値と共に、前記類似度に応じた前記予測出力値の信頼度を出力する処理を含む、回帰処理装置。
4. 請求項１に記載の回帰処理装置であって、
   前記処理（ｄ）は、前記類似度が予め定められた閾値以上の場合に前記予測出力値を有効と判断し、前記類似度が前記閾値未満の場合に前記予測出力値を無効と判断する処理を含む、回帰処理装置。
5. 請求項１～４のいずれか一項に記載の回帰処理装置であって、
   前記特定層は、第１軸と第２軸の２つの軸で規定された平面に配置されたベクトルニューロンが、前記２つの軸とは異なる方向の第３軸に沿って複数のチャンネルとして配置されている構成を有し、
   前記特徴スペクトルは、
   （ｉ）前記特定層のうちの１つの平面位置におけるベクトルニューロンの出力ベクトルの複数の要素値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第１種の特徴スペクトルと、
   （ｉｉ）前記第１種の特徴スペクトルの各要素値に、前記出力ベクトルのベクトル長に相当するアクティベーション値を乗じることによって得られる第２種の特徴スペクトルと、
   （ｉｉｉ）前記特定層のうちの１つの平面位置における前記アクティベーション値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第３種の特徴スペクトルと、
   のうちのいずれかである、回帰処理装置。
6. 複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理を実行する方法であって、
   （ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める工程と、
   （ｂ）前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群をメモリーから読み出す工程と、
   （ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する工程と、
   （ｄ）前記類似度を使用して前記予測出力値の出力を実行する工程と、
   を含む、方法。
7. 複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて入力データに対する予測出力値を求める回帰処理をプロセッサーに実行させるコンピュータープログラムであって、
   前記コンピュータープログラムは、
   （ａ）前記機械学習モデルを用いて前記入力データに対する前記予測出力値を求める処理と、
   （ｂ）前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群をメモリーから読み出す処理と、
   （ｃ）前記機械学習モデルに前記入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との間の前記予測出力値に関する類似度を演算する処理と、
   （ｄ）前記類似度を使用して前記予測出力値の出力を実行する処理と、
   を前記プロセッサーに実行させる、コンピュータープログラム。

Images