JP2015052832A - 重み設定装置および方法 - Google Patents

重み設定装置および方法 Download PDF

Info

Publication number
JP2015052832A
JP2015052832A JP2013184075A JP2013184075A JP2015052832A JP 2015052832 A JP2015052832 A JP 2015052832A JP 2013184075 A JP2013184075 A JP 2013184075A JP 2013184075 A JP2013184075 A JP 2013184075A JP 2015052832 A JP2015052832 A JP 2015052832A
Authority
JP
Japan
Prior art keywords
weight
layer
matrix
setting
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013184075A
Other languages
English (en)
Other versions
JP6192010B2 (ja
Inventor
中山　英樹
Hideki Nakayama
英樹 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2013184075A priority Critical patent/JP6192010B2/ja
Publication of JP2015052832A publication Critical patent/JP2015052832A/ja
Application granted granted Critical
Publication of JP6192010B2 publication Critical patent/JP6192010B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定する。【解決手段】重み設定装置２０は、データ入力処理部２１、ベクトル抽出部２２、連結行列設定部２３、平均行列設定部２４、マップ設定部２５および記憶装置２７を有し、マップ設定部２５は、複数のクラスに分けられた複数のサンプルデータを用いて、畳み込みニューラルネットワークの第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚのフィッシャー判別基準ＪF（ｗ）が所定の拘束条件のもとでそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する。【選択図】図３

Description

本発明は、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを設定する重み設定装置および方法に関する。
近年、画像認識や音声認識、形状認識といった分野において、畳み込みニューラルネットワーク（Convolutional Neural Networks）が注目されている（例えば、非特許文献１〜４参照）。この種の畳み込みニューラルネットワークは、複数の畳み込み層や、当該畳み込み層と交互に並ぶプーリング層（部分サンプリング層）を有し、画像データや音声データ等の局所特徴を階層的に畳み込むことにより、画像や音声データを精度よくクラス分け（識別）可能とするものである。そして、このような畳み込みニューラルネットワークを構成する畳み込み層は、第ｋ層の特徴マップ（特徴量の配列）と複数の重みマップ（重みの配列）との畳み込み、すなわち、第ｋ層の特徴マップから抽出した複数の特徴ベクトルに対する複数の重みマップを用いた重み付けを行い、それにより当該重みマップと同数の第ｋ＋１層の特徴マップを生成する。
Y. LeCun, L. Bottou, Y. Bengio, and P. Haner. Gradient-based learning applied to document recognition. Proc. of the IEEE, 1998. G. E. Hinton and R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 313:504.507, 2006. R. Gens and P. Domingos. Discriminative learning of sum-product networks. In Proc. NIPS, 2012. A. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet classification with deep convolutional neural networks. In Proc. NIPS, 2012.
上述のような畳み込みニューラルネットワークを用いて高精度な画像認識等を可能とするためには、各畳み込み層における重みマップ（多数の重み）を適正に設定しておく必要がある。しかしながら、多数の重みを適正に設定するためには、大量（例えば１００万個以上）の学習サンプルを用いて誤差逆伝播法による学習等を繰り返し行わなければならない。従って、重みマップの設定における計算コストは非常に高くなり、ＧＰＵやスーパーコンピュータ等を用いなければ適正な重みマップが得られないことが多い。また、多数のパラメータを用いた重みのチューニング（学習）に際しては、ノウハウも要求され、従来の一般的な重みマップの設定手法によって適正な重みマップを容易に得ることは困難である。そして、従来の重みマップの設定手法には、学習サンプル数が少ない場合、学習を繰り返し行っても適正な重みマップを得ることができない、という問題が存在している。
そこで、本発明は、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することを主目的とする。
本発明による重み設定装置は、
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定装置であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする。
畳み込みニューラルネットワークの畳み込み層による第ｋ層の特徴マップ（特徴量の配列）と複数の重みマップ（重みの配列すなわち重みベクトル）との畳み込みは、第ｋ層の特徴マップから抽出される特徴ベクトルを順番に並べた結合ベクトルを並列に列挙した連結行列を“Ｘ”とし、第ｋ層と第ｋ＋１層との間の畳み込み層における複数の重みマップ（重みベクトル）ｗ1，ｗ2，…を並列に列挙した行列（重み行列）を“Ｗ”とし、第ｋ＋１層の各特徴マップの全要素（ニューロン）を列挙したベクトルｚ1，ｚ2，…を並列に列挙した行列（特徴行列）を“Ｚ”としたときに、
Ｚ＝（ｚ1，ｚ2，…）＝（Ｘ−Ｘ-）T（ｗ1，ｗ2，…）＝（Ｘ−Ｘ-）TＷ…（０）
という関係式により表される。ただし、第ｋ層は、畳み込み層の前段の層であり、第ｋ＋１層は、畳み込み層の後段の層であり、“Ｘ-”は、全サンプルデータの第ｋ層の連結行列Ｘの平均行列である。従来の重み設定手法は、基本的に、複数のクラスに分けられた複数のサンプルデータを用いた誤差逆伝播学習等を繰り返し行って複数の重みマップの要素を定めていくものであるが、本発明による重み設定装置は、従来とは全く異なるアプローチにより複数の重みマップを設定する。すなわち、本発明では、第ｋ層における局所特徴を第ｋ＋１層の受容野に重み付けしながら射影するための上記関係式（０）における行列Ｗを誤差逆伝播学習のような重みの修正（調整）を行うことなく解析的に導出することにより複数の重みマップが設定される。
ここで、上述のような畳み込みにより得られる第ｋ＋１層の各特徴マップ内（ベクトル空間）において、同じクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が長くなるほど、当該特徴マップの全要素を列挙したベクトルの分散に基づく指標がより大きくなる。これを踏まえて、本発明による重み設定装置は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚ（ただし、“ｚ”は、ベクトルｚ1，ｚ2…の何れかを示す。）の分散に基づく指標がそれぞれ最大になるように複数の重みマップを設定する。
このように設定される複数の重みマップを有する畳み込み層によれば、当該複数の重みマップと第ｋ層の特徴マップとを畳み込むことにより、各特徴マップにおいて同じクラスに属する特徴ベクトル同士の距離が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離が長くなるように第ｋ＋１層の複数の特徴マップを生成することができる。また、各ベクトルｚの分散に基づく指標をそれぞれ最大にする複数の重みマップは、当該ベクトルｚの分散（共分散行列）についての固有値問題を解くことにより固有値ごとの固有ベクトルとして容易に得ることが可能である。更に、上記固有値問題は、サンプルデータの数に依存するものではないことから、本発明による重み設定装置によれば、サンプルデータの数が少ない場合であっても、適正な複数の重みマップを得ることができる。従って、本発明による重み設定装置によれば、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することが可能となる。
そして、本発明による重み設定装置により設定された複数の重みマップは、更に誤差逆伝播法による学習等を行ってチューニングされてもよいことはいうまでもない。また、構築されるべき畳み込みニューラルネットワークが複数の畳み込み層を含むものである場合には、複数の畳み込み層ごとに各ベクトルｚの分散に基づく指標がそれぞれ最大になるように複数の重みマップを設定すればよい。この結果、本発明による重み設定装置によれば、画像認識や音声認識、形状認識等に極めて有用な畳み込みニューラルネットワークを構築することが可能となる。なお、「分散に基づく指標」は、共分散行列等に基づいて導出される判別基準であってもよく、分散自体であってもよい。
また、前記重み設定装置は、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定するものであってもよい。これにより、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップをより適正に設定することが可能となる。
更に、前記重み設定装置は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。このように、フィッシャー判別基準を利用することにより、第ｋ＋１層の各特徴マップにおける分離精度をより向上させることが可能となる。
また、前記重み設定装置は、ｊ番目（ただし、１≦ｊ≦Ｃであり、“Ｃ”は、サンプルデータのクラスの総数である。）のクラスに含まれるｉ番目（ただし、１≦ｉ≦Ｎｊであり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ(j) iを設定する連結行列設定手段と、全サンプルデータの第ｋ層の連結行列Ｘ(1) 1〜Ｘ(C) Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j) 1〜Ｘ(j) Njの平均行列Ｘ-(j)とを設定する平均行列設定手段と、次式（１）に示す固有値問題を次式（２）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えてもよい。ただし、式（１）における“ΛF”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１）および（２）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（２）における“Ｉ”は単位行列であり、“ΣW”は、次式（３）に示すとおりであり、“ΣB”は、次式（４）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。
すなわち、上記ベクトルｚのクラス内共分散行列“Σ〜W”とし、クラス間共分散行列を“Σ〜B”とし、トレースを“ｔｒ”とし、フィッシャー判別基準を“ＪF（ｗ）”とすれば（ただし、“ｗ”は、複数の重みマップｗ1，ｗ2…の何れかを示す。）、
ＪF（ｗ）＝ｔｒΣ〜B／ｔｒΣ〜W＝ｗTΣBｗ／ｗTΣWｗ
としてフィッシャー判別基準ＪF（ｗ）を得ることができる。従って、連結行列Ｘ(j) iを設定する連結行列設定手段と、平均行列Ｘ-および平均行列Ｘ-(j)を設定する平均行列設定手段と、式（１）に示す固有値問題を式（２）の拘束条件のもとで解く重みマップ設定手段とを備えた重み設定装置によれば、各ベクトルｚのクラス内共分散行列Σ〜Wとクラス間共分散行列Σ〜Bとに基づくフィッシャー判別基準ＪF（ｗ）が式（２）の拘束条件の下でそれぞれ最大になるように複数の重みマップを設定することが可能となる。
また、前記重み設定装置は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。これにより、クラス分けされていない複数のサンプルデータを用いて、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップを容易かつ適正に設定することが可能となる。更に、第ｋ層の特徴マップから第ｋ＋１層の特徴マップへの次元圧縮をより適正に実行することができる。
この場合、前記重み設定装置は、ｈ番目（ただし、１≦ｈ≦Ｎであり、“Ｎ”は、サンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘhを設定する連結行列設定手段と、全サンプルデータの第ｋ層の連結行列Ｘ1〜ＸNの平均行列Ｘ-を設定する平均行列設定手段と、次式（５）に示す固有値問題を次式（６）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えてもよい。ただし、式（５）における“ΛE”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（５）および（６）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（６）における“Ｉ”は単位行列であり、“ΣX”は、次式（７）に示す共分散行列であり、“Ｎ”は、サンプルデータの総数である。
すなわち、各ベクトルｚの分散を“ＪE（ｗ）”とすれば、ＪE（ｗ）＝ｗTΣXｗとして各ベクトルｚの分散ＪE（ｗ）を得ることができる。従って、連結行列Ｘhを設定する連結行列設定手段と、平均行列Ｘ-を設定する平均行列設定手段と、式（５）に示す固有値問題を式（６）の拘束条件のもとで解く重みマップ設定手段とを備えた重み設定装置によれば、各ベクトルｚの分散ＪE（ｗ）が式（６）の拘束条件の下でそれぞれ最大になるように複数の重みマップを設定することが可能となる。
本発明による重み設定方法は、
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定方法であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする。
この方法によれば、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することが可能となる。
また、前記方法は、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定するものであってもよい。
更に、前記方法は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよく、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。
本発明による重み設定装置が適用される畳み込みニューラルネットワークを示す模式図である。 図１のニューラルネットワークを構成する畳み込み層における畳み込み処理を説明するための模式図である。 本発明による重み設定装置のブロック構成図である。 本発明による重み設定装置により実行される重み設定ルーチンを例示するフローチャートである。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。 本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
次に、図面を参照しながら本発明を実施するための形態について説明する。
図１は、本発明による重み設定装置が適用される畳み込みニューラルネットワークを示す模式図である。同図に示す畳み込みニューラルネットワーク１は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ、システムバス、各種インターフェース、記憶装置等を含むコンピュータに実装されて、例えば画像データをクラス分け（分類）するのに用いられるものである。図示するように、畳み込みニューラルネットワーク１は、入力層２と、交互に並ぶ複数の畳み込み層３ａ，３ｂおよび複数のプーリング層（部分サンプリング層）４ａ，４ｂと、出力層５とを有する。
畳み込み層３ａ，３ｂは、それぞれの前段の第ｋ層の特徴マップ（特徴量の配列）から抽出した複数の特徴ベクトルに対する複数の重みマップ（重みの配列）を用いた重み付けを行い、当該重みマップと同数の第ｋ＋１層の特徴マップを生成する。また、プーリング層４ａ，４ｂは、それぞれの前段の層の特徴マップを部分的にサンプリング（プーリング）するものである。プーリングの手法としては、ｓピクセルだけ離間したｎ×ｎ個の近隣画素値の平均をとる平均プーリング（以下、「ＡＰ（ｎ，ｓ）」）という。）や、ｓピクセルだけ離間したｎ×ｎ個の近隣画素値の最大値をとる最大値プーリング（以下、「ＭＰ（ｎ，ｓ）」という。）、元画像の２×２の空間領域をプーリング領域とする平均プーリング（以下、「ＡＰq（ｎ，ｓ）」という。）、元画像の２×２の空間領域に対応をプーリング領域とする最大値プーリング（以下、「ＭＰq（ｎ，ｓ）」という。）。そして、図１の例では、出力層５のノードが前段の層の特徴マップと全結合される。
次に、図２を参照しながら、畳み込み層３ａ，３ｂによる畳み込み処理を説明する。ここでは、第ｋ層における特徴マップｍａｐ１，ｍａｐ２…がカラー画像から生成されたそれぞれＲ値、Ｇ値またはＢ値を示す３つの特徴マップであり（ただし、第ｋ層における特徴マップの座標系を“（ｘ、ｙ）”とする。）、これらの特徴マップｍａｐ１，ｍａｐ２…に対して畳み込み層３ａにより畳み込み処理が施される場合を例にとって当該畳み込み処理について説明する。
この場合、畳み込み層３ａは、第ｋ層の特徴マップｍａｐ１，ｍａｐ２…から、ｘ方向に１画素ずつずらしながらｎ×ｎ個（図２の例では、３×３個）ずつ画素値（特徴量）を抽出すると共に、更にｙ方向に１画素ずつずらしながらｎ×ｎ個ずつ画素値を抽出する。次いで、畳み込み層３ａは、各ｍａｐ１，ｍａｐ２…の同一座標（ｘ，ｙ）から抽出した画素値を順番に並べて特徴ベクトルｆ(k) (x,y)を設定し、これらの特徴ベクトルｆ(k) (x,y)を順番に並べて次式（８）に示す結合ベクトルｘ(k) (x′,y′)を（Ｐk−ｎ＋１）×（Ｐk−ｎ＋１）個だけ取得（抽出）する。ただし、式（８）において、（ｘ′，ｙ′）は、第ｋ＋１層の特徴マップにおける座標系を示し、“δ”は、“ｎ／２”の整商である。また、“Ｐｋ”は、第ｋ層の各特徴マップにおける画素数（特徴量の数）の平方個である。
そして、畳み込み層３ａは、結合ベクトルｘ(k) (x′,y′)と、予め設定されている複数の重みマップ（重みベクトル）ｗ1，ｗ2，…，ｗu，…，ｗmk+1（以下、何れかの重みマップを適宜“ｗ”として表す。）とを用いて第ｋ＋１層における特徴マップｍａｐ１，ｍａｐ２…を生成する。すなわち、畳み込み層３ａは、第ｋ＋１層における特徴マップｍａｐ１，ｍａｐ２…の（ｘ′，ｙ′）座標における要素（ニューロンすなわち特徴量）ｆ(k+1) (x′,y′)を、ｆ(k+1) (x′,y′)＝ｗu Tｘ(k) (x′,y′)として算出する。ただし、“ｕ”は、重みマップのインデックスであり、“ｍk+1”は、第ｋ層と第ｋ＋１層との間の畳み込み層における重みマップの数＝第ｋ＋１層の特徴マップの数である。これにより、第ｋ層の特徴マップにおける局所特徴を受容野に重み付けしながら射影することで第ｋ＋１層の特徴マップが生成されることになる。
図３は、上述の畳み込みニューラルネットワーク１の各畳み込み層３ａ，３ｂにおける複数の重みマップを設定するのに用いられる本発明の一実施形態に係る重み設定装置２０のブロック構成図である。
重み設定装置２０は、パーソナルコンピュータ等に重み設定プログラム（ソフトウェア）をインストールすることにより構成され、複数のクラスに分けられた複数のサンプルデータに基づいて畳み込み層３ａ，３ｂにおける複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものである。図３に示すように、重み設定装置２０は、重み設定プログラム（ソフトウェア）とコンピュータのＣＰＵやＲＯＭ，ＲＡＭ、各種インターフェース、記憶装置といったハードウェアとの一方または双方の協働により構築されるデータ入力処理部２１や、ベクトル抽出部２２、連結行列設定部２３、平均行列設定部２４、マップ設定部２５、記憶装置２７等を有する。
データ入力処理部２１は、それぞれクラスラベルが付された（クラス分けされた）複数のサンプルデータの入力を受け付け、必要に応じて、入力データを上述の特徴マップ（例えば、カラー画像に基づくＲ値、Ｇ値、Ｂ値を示す３つの特徴マップ）の形式に変換し、当該データ、すなわち第１層の特徴マップを記憶装置２７に記憶させる。ベクトル抽出部２２は、サンプルデータに基づく特徴マップから上述の（Ｐk−ｎ＋１）×（Ｐk−ｎ＋１）個の結合ベクトルｘ(k) (x′,y′)を抽出（設定）する。また、連結行列設定部２３は、ベクトル抽出部２２により抽出された（Ｐk−ｎ＋１）×（Ｐk−ｎ＋１）個の結合ベクトルｘ(k) (x′,y′)を並列に列挙することにより次式（９）に示す連結行列Ｘ(k)を設定する。
更に、平均行列設定部２４は、全サンプルデータの第ｋ層の連結行列Ｘ(1) 1〜Ｘ(C) Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j) 1〜Ｘ(j) Njの平均行列Ｘ-(j)とを設定する。ただし、“ｊ”は、サンプルデータのクラスのインデックス（１≦ｊ≦Ｃ）であり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数であり、“Ｃ”は、サンプルデータのクラスの総数である。そして、マップ設定部２５は、連結行列設定部２３や平均行列設定部２４により設定されたパラメータを用いて畳み込み層３ａ，３ｂにおける複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定すると共に、第ｋ＋１層の特徴マップに相当する仮の特徴マップを設定し、設定したデータを記憶装置２７に記憶させる。
続いて、図４を参照しながら、上述の重み設定装置２０による複数の重みマップの設定手順について説明する。図４は、重み設定装置２０により実行される重み設定ルーチンを例示するフローチャートである。
重み設定ルーチンの開始に際して、重み設定装置２０のデータ入力処理部２１は、記憶装置２７（あるいは外部装置）から全サンプルデータの第１層の特徴マップを入力し、ＲＡＭに展開する（ステップＳ１００）。次いで、ベクトル抽出部２２は、まず、第１層の特徴マップから上述の（Ｐ1−ｎ＋１）×（Ｐ1−ｎ＋１）個の結合ベクトルｘ(1) (x′,y′)をサンプルデータごとに抽出（設定）する（ステップＳ１１０）。更に、連結行列設定部２３は、ベクトル抽出部２２により抽出された（Ｐ1−ｎ＋１）×（Ｐ1−ｎ＋１）個の結合ベクトルｘ(1) (x′,y′)を並列に列挙することにより式（９）に示す連結行列Ｘ(1)をサンプルデータごとに設定する（ステップＳ１２０）。また、平均行列設定部２４は、全サンプルデータの第ｋ層の連結行列Ｘ(1) 1〜Ｘ(C) Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j) 1〜Ｘ(j) Njの平均行列Ｘ-(j)とを設定する（ステップＳ１３０）。
ここで、畳み込み層による第ｋ層の特徴マップと複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1との畳み込みは、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚ1，ｚ2，…，ｚmk+1（以下、当該ベクトルの何れかを適宜“ｚ”として表す。）を並列に列挙した行列（特徴行列）を“Ｚ”とすれば、第ｋ層の特徴マップから抽出される結合ベクトルｘ(1) (x′,y′)を並列に列挙した連結行列Ｘ(k)と、全サンプルデータの第ｋ層の連結行列Ｘ(1) 1〜Ｘ(C) Njの平均行列Ｘ-と、畳み込み層における複数の重みマップ（重みベクトル）ｗ1，ｗ2，…，ｗu，…，ｗmk+1を並列に列挙した行列（重み行列）Ｗとから次式（１０）のように表される。そして、上述のような畳み込みにより得られる第ｋ＋１層の各特徴マップ内において、同じクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が長くなるほど、上記ベクトルｚの分散に基づく指標がより大きくなる。
これを踏まえて、重み設定装置２０のマップ設定部２５は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散に基づく指標がそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものとして構築される。本実施形態において、マップ設定部２５は、各ベクトルｚの次式（１１）に示すクラス内共分散行列Σ〜Wと、次式（１２）に示すクラス間共分散行列Σ〜Bとに基づくフィッシャー判別基準ＪF（ｗ）が所定の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する。フィッシャー判別基準ＪF（ｗ）は、トレースを“ｔｒ”とすれば、次式（１３）および（１４）が成立することから、次式（１５）のように表される。
各ベクトルｚのフィッシャー判別基準ＪF（ｗ）をそれぞれ最大にする複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、次式（１６）に示す固有値問題を次式（１７）に示す拘束条件のもとで解くことにより、固有値λ1，λ2，…，λu，…，λmk+1ごとの固有ベクトルとして容易に得ることができる。ただし、式（１６）における“ΛF”は、固有値λ1，λ2，…，λu，…，λmk+1を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１６）および（１７）における“Ｗ”は、上述の複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を並列に列挙した行列であり、式（１７）における“Ｉ”は単位行列であり、“ΣW”は、次式（１８）に示すとおりであり、“ΣB”は、次式（１９）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。また、連結行列Ｘhや平均行列Ｘ-，Ｘ-(j)に基づいて式（１６）の固有値問題を解くマップ設定部２５は、周知のソフトウェアを用いて容易に構築することができる。
マップ設定部２５は、ステップＳ１２０にて第１層の特徴マップからサンプルデータごとに設定された連結行列Ｘ(1)や、ステップＳ１３０にて設定された平均行列Ｘ-、平均行列Ｘ-(j)を用いて上記式（１６）の固有値問題を解き、固有値λ1，λ2，…，λu，…，λmk+1ごとに固有ベクトルを算出する（ステップＳ１４０）。そして、マップ設定部２５は、ステップＳ１４０にて固有値λ1，λ2，…，λu，…，λmk+1ごとに算出した所定数の固有ベクトルを当該固有値の大きい順に第２層（第ｋ＋１層）の特徴マップを生成するための重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ2として設定し、設定した重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ2を記憶装置２７に記憶させる（ステップＳ１５０）。
具体的には、例えば固有値を値が大きい順にλ1，λ2，λ3，…としたときに、マップ設定部２５は、固有値λ1に対応した固有ベクトルを重みマップｗ1として、固有値λ2に対応した固有ベクトルを重みマップｗ2として、…固有値λm2に対応した固有ベクトルを重みマップｗm2として設定する。なお、第２層（第ｋ＋１層）の特徴マップの数ｍ2（ｍk+1）は、固有値λ1，λ2，…，λu，…，λmk+1の大きさを考慮しながら任意に定めることができる。更に、ステップＳ１５０において、マップ設定部２５は、全サンプルデータについての第１層の特徴マップと、設定した重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ2とを畳み込むと共に、対応するプーリング層と同様のプーリング処理を行うことにより、第３層（第ｋ＋２層）の仮の特徴マップをｍ2個だけ生成し、生成した第３層の仮の特徴マップを記憶装置２７に記憶させる。
上述のようにしてステップＳ１００からＳ１５０の処理が実行されると、重みマップを設定すべき畳み込み層の有無が判定され（ステップＳ１６０）、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在しない（畳み込み層が１個である）と判定された場合、その段階で本ルーチンが終了する。これに対して、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在していると判定された場合には、上述のステップＳ１００からＳ１５０の処理が繰り返し実行される。
この場合、ステップＳ１００ではデータ入力処理部２１により記憶装置２７からの第３層（第ｋ層）の仮の特徴マップがＲＡＭに展開され、当該第３層（第ｋ層）の仮の特徴マップに基づいて重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ3（ｗmk+1）が設定されることになる（ステップＳ１１０〜Ｓ１５０）。また、この場合、ステップＳ１５０では、必要に応じて、全サンプルデータについての第３層（第ｋ層）の仮の特徴マップと、設定された重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ4（ｗmk+1）との畳み込みと、対応するプーリング層と同様のプーリング処理とが行なわれ、第４層（第ｋ＋１層）の仮の特徴マップがｍ4個だけ生成されて記憶装置２７に格納されることになる。そして、ステップＳ１００〜Ｓ１５０の処理が繰り返し実行されて、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在しないと判定されると、その段階で本ルーチンが終了する。
なお、重み設定装置２０のマップ設定部２５は、上述のように、各ベクトルｚのフィッシャー判別基準ＪF（ｗ）が所定の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものには限られない。すなわち、マップ設定部２５は、各ベクトルｚの分散ＪE（ｗ）自体が所定の拘束条件の下で最大になるようにｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものとして構成されてもよい。
ベクトルｚの分散ＪE（ｗ）は、次式（２０）に示すように表され、各ベクトルｚのＪE（ｗ）をそれぞれ最大にする複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、次式（２１）に示す固有値問題を次式（２２）に示す拘束条件のもとで解くことにより、固有値λ1，λ2，…，λu，…，λmk+1ごとの固有ベクトルとして容易に得ることができる。ただし、式（２１）における“ΛE”は、固有値λ1，λ2，…，λu，…，λmk+1を対角要素とすると共に値０を非対角要素とする対角行列であり、式（２１）および（２２）における“Ｗ”は、上述の複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を並列に列挙した行列であり、式（２２）における“Ｉ”は単位行列であり、式（２１）における“ΣX”は、次式（２３）に示す共分散行列であり、式（２３）における“ｈ”は、サンプルデータのインデックスである。そして、連結行列Ｘhと平均行列Ｘ-とに基づいて式（２１）の固有値問題を解くマップ設定部２５も、周知のソフトウェアを用いて容易に構築することができる。そして、このように各ベクトルｚの分散ＪE（ｗ）が拘束条件の下でそれぞれ最大になるようにｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する場合、式（２０）からわかるように、重みマップの設定前に、複数のサンプルデータを複数のクラスに分けておく必要はない。
図５から図７に、本発明による重み設定方法の有用性を評価するための“STL-10”データセット（１０個のクラスごとに１００枚の学習サンプル画像およびテストサンプル画像を含む）を用いた実験の結果を示し、図８から図１１に、“MNIST”データセット（１０個のクラスごとに６０００個の学習サンプル画像および１０００個のテストサンプル画像を含む）を用いた実験の結果を示す。
図５、図６、図８から図１０において、“Ｒａｎｄ（ｎ，ｄ）”は、ｎ×ｎ個のパッチ画像にｄ次元のランダム重みによるフィルタ処理を施すことを示す。また、“Ｋm（ｎ，ｄ）”は、Ｋミーンズ法により得られるｄ次元の視覚的単語を用いてｎ×ｎ個のパッチ画像から抽出される記述子を示す。更に、“ＣE（ｎ，ｍ）”は、上述の分散ＪE（ｗ）に基づくｍ個の重みマップ（以下、適宜「固有重みマップ」または「ＥＷＭ」という。）およびｎ×ｎ個の受容野を有する畳み込み層を示し、“ＣF（ｎ，ｍ）は、上述の分散ＪF（ｗ）に基づくｍ個の重みマップ（以下、適宜「フィッシャー重みマップ」または「ＦＭＷ」という。）およびｎ×ｎ個の受容野を有する畳み込み層を示す。
また、“Ｒ”，“Ｒ2”は、調整ユニット（ReLU）を示す。更に、“ＡＰ（ｎ，ｓ）”，“ＡＰq（ｎ，ｓ）”，“ＭＰq（ｎ，ｓ）”および“ＭＰq（ｎ，ｓ）”は、上述のとおりである。そして、例えば“Rand(5, 200)-R-AP(4, 4)-CF(3, 100)-R-APq”は、“d=200のrandom filters，ReLU，平均プーリング層，100 個のフィッシャー重みマップを有する 3×3の畳み込み層，ReLUおよび平均プーリング層が入力側から出力側に順番に並んだ畳み込みニューラルネットワークを示す。また、実験は、一般的な諸元（例えば、動作周波数３．２ＧＨｚのプロセッサ、３２ＧＢのメモリ）を有するデスクトップ型パーソナルコンピュータを用いて行われた。
図５および図６に示すように、本発明による重み設定方法により設定されるフィッシャー重みマップや固有重みマップを有する畳み込み層を備えた畳み込みニューラルネットワークによれば、サンプルデータの数が少ない“STL-10”データセットにおいても分類率（Classification rates）をより高くすることができる。そして、図７に示すように、本発明による重み設定方法により重みマップを設定すれば、“1-layer Vector Quantization”や“1-layer Sparse Coding”（A. Coates and A. Ng. The importance of encoding versus training with sparse coding and vector quantization. In Proc. ICML, 2011.参照）”，“3-layer Learned Receptive Field”（A. Coates and A. Ng. Selecting receptive fields in deep networks. In Proc. NIPS, 2011.参照），“Discriminative Sum-Product Network”（R. Gens and P. Domingos. Discriminative learning of sum-product networks. In Proc. NIPS, 2012.参照）といった従来の畳み込みネットワークに比べて、畳み込みニューラルネットワークの分類率をより向上させることが可能となる。従って、これらの実験結果から、本発明による重み設定方法は、比較的少ないサンプルデータを用いて画像認識性に優れた畳み込みニューラルネットワークを構築する上で極めて有用であることが理解されよう。
更に、図８から図１０に示すように、本発明による重み設定方法により設定されるフィッシャー重みマップや固有重みマップを有する畳み込み層を備えた畳み込みニューラルネットワークによれば、“MNIST”データセットにおける分類エラー率（Classification errors）をより充分に低くし得ることが理解されよう。なお、図９において、括弧（）内の数字は、受容野における特徴の数を示す。そして、本発明による重み設定方法により重みマップを設定すれば、“Large CNN (unsup. pretraining)［1］”（M. A. Ranzato, C. Poultney, S. Chopra, and Y. LeCun. Ecient learning of sparse representations with an energy-based model. In Proc. NIPS, 2006.参照）や、“Large CNN (unsup. pretraining)［2］”（K. Jarrett, K. Kavukcuoglu, M. A. Ranzato, and Y. Lecun. What is the best multi-stage architecture for object recognition? In Proc. IEEE ICCV, 2009.参照），“3-layer CNN + Stochastic Pooling”（M. D. Zeiler and R. Fergus. Stochastic pooling for regularization of deep convolutional neural networks. In arXiv preprint, 2013.参照）、Multi-Column Deep Neural Network”（D. Ciresan, U. Meier, and J. Schmidhuber. Multi-column deep neural networks for image classification. In Proc. IEEE CVPR, 2012.参照）といった従来の畳み込みネットワークと同等あるいはそれ以上の分類エラー率を得ることが可能となる。
以上説明したように、重み設定装置２０は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散に基づく指標であるフィッシャー判別基準ＪF（ｗ）あるいは分散ＪE（ｗ）自体がそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する。
このように設定される複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を有する畳み込み層によれば、当該複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1と第ｋ層の特徴マップとを畳み込むことにより、各特徴マップにおいて同じクラスに属する特徴ベクトルｆ(k+1) (x′,y′)同士の距離が短くなり、かつ異なるクラスに属する特徴ベクトルｆ(k+1) (x′,y′)同士の距離が長くなるように第ｋ＋１層の複数の特徴マップを生成することができる。また、各ベクトルｚの分散に基づく指標ＪF（ｗ）あるいはＪE（ｗ）をそれぞれ最大にする複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、ベクトルｚの分散すなわち共分散行列についての固有値問題を解くことにより固有値ごとの固有ベクトルとして容易に得ることが可能である。更に、上記固有値問題は、サンプルデータの数に依存するものではないことから、重み設定装置２０によれば、サンプルデータの数が少ない場合であっても、適正な複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を得ることができる。従って、重み設定装置２０によれば、計算コストを削減しつつ、畳み込みニューラルネットワーク１を構成する畳み込み層３ａ，３ｂにおける複数の重みを容易かつ適正に設定することが可能となる。
また、複数の重みマップの設定に際して、フィッシャー判別基準ＪF（ｗ）を利用することにより、第ｋ＋１層の各特徴マップにおける分離精度をより向上させることが可能となる。更に、連結行列Ｘ(j) iを設定する連結行列設定部２３と、平均行列Ｘ-および平均行列Ｘ-(j)を設定する平均行列設定部２４と、式（１６）に示す固有値問題を式（１７）の拘束条件のもとで解く重みマップ設定部２５とを含む重み設定装置２０によれば、各ベクトルｚのクラス内共分散行列Σ〜Wとクラス間共分散行列Σ〜Bとに基づくフィッシャー判別基準ＪF（ｗ）が式（１７）の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定することが可能となる。
一方、複数の重みマップの設定に際して、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散ＪE（ｗ）自体を指標として利用すれば、クラス分けされていない複数のサンプルデータを用いて、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を容易かつ適正に設定することが可能となる。更に、第ｋ層の特徴マップから第ｋ＋１層の特徴マップへの次元圧縮をより適正に実行することができる。この場合には、ｈ（１≦ｈ≦Ｎ）番目のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを並列に列挙して連結行列Ｘhを設定するように連結行列設定部２３を構成し、全サンプルデータの連結行列Ｘ1〜ＸNの平均行列Ｘ-を設定するように平均行列設定部２４を構成し、式（２１）に示す固有値問題を式（２２）に示す拘束条件のもとで解くようにマップ設定部２５を構成すればよい。
そして、重み設定装置２０により設定された複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、更に誤差逆伝播法による学習等を行ってチューニングされてもよいことはいうまでもない。また、構築されるべき畳み込みニューラルネットワークが複数の畳み込み層を含むものである場合には、上述のように、複数の畳み込み層ごとに各ベクトルｚの分散に基づく指標ＪF（ｗ）あるいはＪE（ｗ）がそれぞれ最大になるように複数の重みマップを設定すればよい。この結果、重み設定装置２０によれば、画像認識や音声認識、形状認識等に極めて有用な畳み込みニューラルネットワークを構築することが可能となる。
なお、本発明は上記実施形態に何ら限定されるものではなく、本発明の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記発明を実施するための形態は、あくまで課題を解決するための手段の欄に記載された発明の具体的な一形態に過ぎず、課題を解決するための手段の欄に記載された発明の要素を限定するものではない。
本発明は、畳み込みニューラルネットワークを用いた情報処理分野において利用可能である。
１ 畳み込みニューラルネットワーク、２ 入力層、３ａ，３ｂ 畳み込み層、４ａ，４ｂ プーリング層、５ 出力層、２０ 重み設定装置、２１ データ入力処理部、２１ データ入力処理部、２２ ベクトル抽出部、２３ 連結行列設定部、２４ 平均行列設定部、２５ マップ設定部、２７ 記憶装置。

Claims (10)

  1. 畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定装置であって、
    複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。
  2. 請求項１に記載の重み設定装置において、
    第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定することを特徴とする重み設定装置。
  3. 請求項１または２に記載の重み設定装置において、
    複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。
  4. 請求項３に記載の重み設定装置において、
    ｊ番目（ただし、１≦ｊ≦Ｃであり、“Ｃ”は、サンプルデータのクラスの総数である。）のクラスに含まれるｉ番目（ただし、１≦ｉ≦Ｎｊであり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ(j) iを設定する連結行列設定手段と、
    全サンプルデータの第ｋ層の連結行列Ｘ(1) 1〜Ｘ(C) Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j) 1〜Ｘ(j) Njの平均行列Ｘ-(j)とを設定する平均行列設定手段と、
    次式（１）に示す固有値問題を次式（２）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えることを特徴とする重み設定装置。ただし、式（１）における“ΛF”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１）および（２）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（２）における“Ｉ”は単位行列であり、“ΣW”は、次式（３）に示すとおりであり、“ΣB”は、次式（４）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。
  5. 請求項１または２に記載の重み設定装置において、
    複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。
  6. 請求項４に記載の重み設定装置において、
    ｈ番目（ただし、１≦ｈ≦Ｎであり、“Ｎ”は、サンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘhを設定する連結行列設定手段と、
    全サンプルデータの第ｋ層の連結行列Ｘ1〜ＸNの平均行列Ｘ-を設定する平均行列設定手段と、
    次式（５）に示す固有値問題を次式（６）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えることを特徴とする重み設定装置。ただし、式（５）における“ΛE”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（５）および（６）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（６）における“Ｉ”は単位行列であり、“ΣX”は、次式（７）に示す共分散行列であり、“Ｎ”は、サンプルデータの総数である。
  7. 畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定方法であって、
    複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。
  8. 請求項７に記載の重み設定方法において、
    第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定することを特徴とする重み設定方法。
  9. 請求項７または８に記載の重み設定方法において、
    複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。
  10. 請求項７または８に記載の重み設定方法において、
    複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。
JP2013184075A 2013-09-05 2013-09-05 重み設定装置および方法 Expired - Fee Related JP6192010B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013184075A JP6192010B2 (ja) 2013-09-05 2013-09-05 重み設定装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013184075A JP6192010B2 (ja) 2013-09-05 2013-09-05 重み設定装置および方法

Publications (2)

Publication Number Publication Date
JP2015052832A true JP2015052832A (ja) 2015-03-19
JP6192010B2 JP6192010B2 (ja) 2017-09-06

Family

ID=52701844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013184075A Expired - Fee Related JP6192010B2 (ja) 2013-09-05 2013-09-05 重み設定装置および方法

Country Status (1)

Country Link
JP (1) JP6192010B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563569B1 (ko) 2014-05-28 2015-10-28 한국과학기술원 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법
CN105117330A (zh) * 2015-08-07 2015-12-02 百度在线网络技术（北京）有限公司 Cnn代码测试方法及装置
JP2017091522A (ja) * 2015-11-04 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 認証方法、認証装置及び学習方法
CN107851195A (zh) * 2015-07-29 2018-03-27 诺基亚技术有限公司 利用神经网络进行目标检测
WO2018131409A1 (ja) 2017-01-13 2018-07-19 Kddi株式会社 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
WO2018131405A1 (ja) 2017-01-12 2018-07-19 Kddi株式会社 情報処理装置、方法及びコンピュータ可読記憶媒体
JP2018536244A (ja) * 2015-12-04 2018-12-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 再位置特定システムおよび方法
WO2019035364A1 (ja) * 2017-08-16 2019-02-21 ソニー株式会社 プログラム、情報処理方法、および情報処理装置
CN109447247A (zh) * 2018-10-23 2019-03-08 北京旷视科技有限公司 获得卷积神经网络的方法及装置
JP2019219712A (ja) * 2018-06-15 2019-12-26 日本電信電話株式会社 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム
KR102097724B1 (ko) * 2018-10-31 2020-04-06 인하대학교 산학협력단 영상 인식용 cnn에서의 최악망각현상의 완화 방법 및 장치
JP2020532777A (ja) * 2017-09-05 2020-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ディープニューラルネットワークの実行方法、実行装置、学習方法、学習装置及びプログラム
US11073699B2 (en) 2016-08-02 2021-07-27 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11157775B2 (en) 2018-11-15 2021-10-26 Hitachi, Ltd. Computer, neural network construction method, and computer system
US11206507B2 (en) 2017-01-23 2021-12-21 Magic Leap, Inc. Localization determination for mixed reality systems
US11256090B2 (en) 2015-03-05 2022-02-22 Magic Leap, Inc. Systems and methods for augmented reality
JP2022058521A (ja) * 2015-08-03 2022-04-12 エンゼルグループ株式会社 遊技場における不正検知システム
US11315214B2 (en) 2017-03-17 2022-04-26 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual con tent using same
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11410269B2 (en) 2017-03-17 2022-08-09 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11423626B2 (en) 2017-03-17 2022-08-23 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US11429183B2 (en) 2015-03-05 2022-08-30 Magic Leap, Inc. Systems and methods for augmented reality
US11978310B2 (en) 2016-08-02 2024-05-07 Angel Group Co., Ltd. Inspection system and management system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中山 英樹: "階層フィッシャー重みマップを用いた識別的初期化による深層畳み込みニューラルネットワーク構築法", ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］, JPN6017023748, June 2014 (2014-06-01), JP, pages 1 - 04, ISSN: 0003587497 *
麻生 英樹: "多層ニューラルネットワークによる深層表現の学習", 人工知能学会誌, vol. 第28巻, 第4号, JPN6017023746, 1 July 2013 (2013-07-01), JP, pages 649 - 659, ISSN: 0003587498 *

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563569B1 (ko) 2014-05-28 2015-10-28 한국과학기술원 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법
US11429183B2 (en) 2015-03-05 2022-08-30 Magic Leap, Inc. Systems and methods for augmented reality
US11256090B2 (en) 2015-03-05 2022-02-22 Magic Leap, Inc. Systems and methods for augmented reality
US11619988B2 (en) 2015-03-05 2023-04-04 Magic Leap, Inc. Systems and methods for augmented reality
CN107851195A (zh) * 2015-07-29 2018-03-27 诺基亚技术有限公司 利用神经网络进行目标检测
US11657674B2 (en) 2015-08-03 2023-05-23 Angel Group Go., Ltd. Fraud detection system in casino
US11657673B2 (en) 2015-08-03 2023-05-23 Angel Group Co., Ltd. Fraud detection system in a casino
JP7481389B2 (ja) 2015-08-03 2024-05-10 エンゼルグループ株式会社 遊技場における不正検知システム
JP2022191299A (ja) * 2015-08-03 2022-12-27 エンゼルグループ株式会社 遊技場における不正検知システム
US11741780B2 (en) 2015-08-03 2023-08-29 Angel Group Co., Ltd. Fraud detection system in a casino
US11727750B2 (en) 2015-08-03 2023-08-15 Angel Group Co., Ltd. Fraud detection system in a casino
JP2022177263A (ja) * 2015-08-03 2022-11-30 エンゼルグループ株式会社 遊技場における不正検知システム
US11527131B2 (en) 2015-08-03 2022-12-13 Angel Group Co., Ltd. Fraud detection system in a casino
JP2022177264A (ja) * 2015-08-03 2022-11-30 エンゼルグループ株式会社 遊技場における不正検知システム
JP2022191300A (ja) * 2015-08-03 2022-12-27 エンゼルグループ株式会社 遊技場における不正検知システム
US11527130B2 (en) 2015-08-03 2022-12-13 Angel Group Co., Ltd. Fraud detection system in a casino
CN115155051A (zh) * 2015-08-03 2022-10-11 天使集团股份有限公司 游艺场的作弊检测系统
US11620872B2 (en) 2015-08-03 2023-04-04 Angel Group Co., Ltd. Fraud detection system in a casino
JP2022088655A (ja) * 2015-08-03 2022-06-14 エンゼルグループ株式会社 遊技場における不正検知システム
US11587398B2 (en) 2015-08-03 2023-02-21 Angel Group Co., Ltd. Fraud detection system in a casino
JP2022058521A (ja) * 2015-08-03 2022-04-12 エンゼルグループ株式会社 遊技場における不正検知システム
CN105117330A (zh) * 2015-08-07 2015-12-02 百度在线网络技术（北京）有限公司 Cnn代码测试方法及装置
JP2017091522A (ja) * 2015-11-04 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 認証方法、認証装置及び学習方法
US11288832B2 (en) 2015-12-04 2022-03-29 Magic Leap, Inc. Relocalization systems and methods
JP2018536244A (ja) * 2015-12-04 2018-12-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 再位置特定システムおよび方法
US11978310B2 (en) 2016-08-02 2024-05-07 Angel Group Co., Ltd. Inspection system and management system
US11073699B2 (en) 2016-08-02 2021-07-27 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11536973B2 (en) 2016-08-02 2022-12-27 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11521043B2 (en) 2017-01-12 2022-12-06 Kddi Corporation Information processing apparatus for embedding watermark information, method, and computer readable storage medium
WO2018131405A1 (ja) 2017-01-12 2018-07-19 Kddi株式会社 情報処理装置、方法及びコンピュータ可読記憶媒体
US11586909B2 (en) 2017-01-13 2023-02-21 Kddi Corporation Information processing method, information processing apparatus, and computer readable storage medium
WO2018131409A1 (ja) 2017-01-13 2018-07-19 Kddi株式会社 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
US11206507B2 (en) 2017-01-23 2021-12-21 Magic Leap, Inc. Localization determination for mixed reality systems
US11711668B2 (en) 2017-01-23 2023-07-25 Magic Leap, Inc. Localization determination for mixed reality systems
US11423626B2 (en) 2017-03-17 2022-08-23 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US11410269B2 (en) 2017-03-17 2022-08-09 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11315214B2 (en) 2017-03-17 2022-04-26 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual con tent using same
US11978175B2 (en) 2017-03-17 2024-05-07 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
JP7207309B2 (ja) 2017-08-16 2023-01-18 ソニーグループ株式会社 プログラム、情報処理方法、および情報処理装置
WO2019035364A1 (ja) * 2017-08-16 2019-02-21 ソニー株式会社 プログラム、情報処理方法、および情報処理装置
US11605002B2 (en) 2017-08-16 2023-03-14 Sony Corporation Program, information processing method, and information processing apparatus
JPWO2019035364A1 (ja) * 2017-08-16 2020-09-03 ソニー株式会社 プログラム、情報処理方法、および情報処理装置
JP2020532777A (ja) * 2017-09-05 2020-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ディープニューラルネットワークの実行方法、実行装置、学習方法、学習装置及びプログラム
JP2019219712A (ja) * 2018-06-15 2019-12-26 日本電信電話株式会社 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム
JP7020312B2 (ja) 2018-06-15 2022-02-16 日本電信電話株式会社 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム
US11790482B2 (en) 2018-07-23 2023-10-17 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CN109447247B (zh) * 2018-10-23 2021-11-16 北京旷视科技有限公司 获得用于图像处理任务的卷积神经网络的方法及装置
CN109447247A (zh) * 2018-10-23 2019-03-08 北京旷视科技有限公司 获得卷积神经网络的方法及装置
KR102097724B1 (ko) * 2018-10-31 2020-04-06 인하대학교 산학협력단 영상 인식용 cnn에서의 최악망각현상의 완화 방법 및 장치
US11157775B2 (en) 2018-11-15 2021-10-26 Hitachi, Ltd. Computer, neural network construction method, and computer system

Also Published As

Publication number Publication date
JP6192010B2 (ja) 2017-09-06

Similar Documents

Publication Publication Date Title
JP6192010B2 (ja) 重み設定装置および方法
Recanatesi et al. Dimensionality compression and expansion in deep neural networks
US20160140425A1 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN110738146A (zh) 一种目标重识别神经网络及其构建方法和应用
US9330332B2 (en) Fast computation of kernel descriptors
Tscherepanow TopoART: A topology learning hierarchical ART network
CN110781766B (zh) 基于特征谱正则化的格拉斯曼流形判别分析图像识别方法
CN110705636B (zh) 一种基于多样本字典学习和局部约束编码的图像分类方法
CN106203483A (zh) 一种基于语义相关多模态映射方法的零样本图像分类方法
Yang et al. Data-driven compressive sampling and learning sparse coding for hyperspectral image classification
CN116127298B (zh) 基于三元组损失的小样本射频指纹识别方法
Zhao et al. Soft label based linear discriminant analysis for image recognition and retrieval
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
Xu et al. Discriminative analysis for symmetric positive definite matrices on lie groups
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
CN107423697B (zh) 基于非线性融合深度3d卷积描述子的行为识别方法
Zhang et al. Discriminative tensor sparse coding for image classification.
CN105046286A (zh) 基于自动视图生成和联合l1，2范数最小化的监督多视图特征选择方法
CN109614581B (zh) 基于对偶局部学习的非负矩阵分解聚类方法
CN105718858A (zh) 一种基于正负广义最大池化的行人识别方法
Sharma et al. Scene image classification using reduced virtual feature representation in sparse framework
WO2011018823A1 (ja) パターン認識装置、その方法、及びそのプログラム
Xi et al. Scalable wide neural network: a parallel, incremental learning model using splitting iterative least squares
CN112131962B (zh) 基于电磁散射特征和深度网络特征的sar图像识别方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170801

R150 Certificate of patent or registration of utility model

Ref document number: 6192010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees