JP2005516282A - 学習レートの非単調変化による性能の改善を伴う自己組織化特徴マップ - Google Patents

Abstract

自己順序付け特徴マップの重みを更新するために用いられる学習レートは、各々のトレーニングエポックに伴い単純に単調に減少されるように、その値にある種類の摂動を与えるプロセスにより決定される。例えば、学習レートは擬似ランダムプロセスに従って生成されることが可能である。結果的に、シナプス重みの速い収束が得られる。

Description

本発明は、位相幾何学的制限を条件とする一次元又は二次元離散マップに任意次元の入力を変換するニューラルネットワークである自己組織化特徴マップ（ＳＯＦＭ）に関し、特に、重みベクトルの初期値がランダムであるＳＯＦＭに関する。

ニューラルネットワークは、人工知能における研究の大きな分野を占めている。人工ニューラルネットワークは、相互接続された、動物の脳の平行構造体から発想を得た情報処理装置である。人工ニューラルネットワークは、適合性生物学的学習に対する神経システム及びアナロジーの観測特性の一部をエミュレートする数学モデルの収集を有するソフトウェア又はハードウェアネットワークの方式をとる。一般に、人工ニューラルネットワークは、動物の脳の神経に類似するソフトウェア又はハードウェアにおいて実現することができる多数の相互接続された処理要素を有する。これら処理要素間の接続は、シナプスに類似すると考えられる方式で重み付けされる。

ニューラルネットワークのトレーニングは、ニューロン間に存在する“シナプス”接続に対する調整（即ち、重み値）を行うことを有する。トレーニングは、トレーニングアルゴリズムが接続重みを繰り返して調整する、入力／出力データの集合への露光により実行される。これらの接続重みは、特定の問題点を解決するために必要な知識を記憶する。

ニュートラルネットワークは、極めて多くの実際の問題点に適用され、非常に複雑な問題点を有する。ニューラルネットワークはパターン認識と、音声認識、文字認識及び信号認識、並びに物理プロセスが理解できない又は非常に複雑である場合の関数予測及びシステムモデル化とに特に適している。

多くの種類のニューラルネットワークが存在する。一部の良く知られているものは、誤差アルゴリズムのバックプロパゲーション、学習ベクトル量子化、動径基底関数、ホップフィールド及びＳＯＦＭを用いてトレーニングする多層パーセプトロンを有する。データがどのよういネットワークにおいて処理されるかに依存して、一部はフィードフォワードとして分類され、他はする反復（即ち、フィードバックの実行）として分類される。ニューラルネットワークの他の特徴は、トレーニングされる機構である。一部は、スーパーバイズ式トレーニングと呼ばれる技術である一方、他の一部は、非スーパーバイズ式又は自己組織化と呼ばれる。スーパーバイズ式トレーニングにおいて、ネットワークは指示プロセスにより導かれる一方、非スーパーバイズ式アルゴリズムにおいて、データは、そのアルゴリズムに入力を提供する寄与に基づいて、類似するグループにクラスタ化される。

ＳＯＦＭ又はＫｏｈｏｎｅｎ人工ニューラルネットワークは、非スーパーバイズドニューラルネットワークの一種である。非スーパーバイズド学習において、非トレーニングニューラルネットワークは、例に対して露出され、調整される内部パラメータとベクトルを入力する。ＳＯＦＭにおいて、ネットワークのニューロン全てが同じ入力を受け取る。自己学習プロセスの各々の段階において隣接ノードと競争を行い、最も活性を有するノードが“勝利する”。学習は、勝者のニューロンの概念に基づいている。

非スーパーバイズ式学習は、ｎ次元のハイパースペース（ここで、ｎは変数の数であるか又は各々の対象に関してなされた観測である）において知覚された近さに基づいて対象を共にグループ化することを可能にする。それ故、そのような方法は、一部の量子化の意味において、それらの主要な目的は対象又は母集団を単に区別することであるため、定性的であるとして認識される。

図１を参照するに、ＳＯＦＭは、人口ニューロンの自己組織化ネットワークによりデータを分類する客観的方法を提供する。入力層１１０と競合層１００の２つの層がある。入力層の各々のノードは、競合層におけるノードの集合に入るために接続される（コネクタ１２０により表されている）。例に示した構成において、各々のニューロンは、グリッドにおける８つの最近接ニューロンに接続されることが可能である。それらニューロンは、データにおける１つの入力に対応する各々のニューロンの重み（重みベクトル）の集合を記憶する。Ｋｏｈｏｎｅｎネットワークの目的は、任意の次元であるが、代表的には一又は二次元の競合層にある離散マップに任意の次元の入力ベクトル（パターン）をマッピングすることである。入力空間において互いに近いパターンは、マップにおいて互いに近い必要がある。それらは、位相幾何学的に順序付けられる必要がある。

学習プロセスは次のようなものである。先ず、各々の出力ユニットの重みが、代表的には、開始のランダム値に初期設定される。重み変化が無視できるときに終了するインタラクティブプロセスが実行される。各々の多数の入力パターンに対して、勝利する出力ノード及び勝者の近傍のユニット全ては特定され、これらのノードの全てについての重みベクトルは更新される。勝利出力ユニットは、単純に、入力パターンに対して最小のユークリッド距離を有する重みベクトルを伴うユニットである。ユニットの近傍は、マップにおける（重み空間においてではなく）そのユニットのある距離の領域内にある全てのユニットを定義される。近傍の距離が１であって、全てのユニットの距離が僅かに１である場合、いずれのユニットからの水平方向又は垂直方向において、その近傍は領域内に含まれる。勝利ユニットの近傍（勝利ユニットそれ自身を含む）における全てのユニットの重みは、近傍における各々のユニットが入力パターンのより近くに移動されるように、更新される。その反復が実行されるにつれて、学習レートは減少する。パラメータがうまく選択される場合、最後のネットワークは入力データにおける自然クラスタを捕捉する必要がある。

重み変更の大きさを支配する係数は、学習レートとして知られている。重みベクトルにおける各々のアイテムへの調整は、次式に従って行われ、
ΔＷ_ｉ，ｊ＝α（Ｉ_ｊ−Ｗ_ｉ，ｊ）ｓｉｎｄ／（２ｄ）
ここで、Ｗ_ｉ，ｊはｉ番目のノードのｊ番目の重みであり、αは学習レートであり、Ｉ_ｊは入力ベクトルのｊ番目のベクトルであり、ｄは現在のノードと勝者との間の距離である。上記の式は先行技術において周知である数の１つであり、次のセクションで説明する本発明はそれを使用すること又は他を使用することが可能である。上記のように、トレーニングのプロセスは、重みにおける変化が連続的反復におけるある所定値の領域内に入るまで継続する。

“学習ルール（重み更新アルゴリズム）”の効果は、トレーニングセットが存在するｎ次元空間の領域に亘って、ニューロンを一様に分布することである。所定の入力パターンに最も近い重みベクトルを有するニューロンは、そのパターンに対して及び最も近いいずれの他の入力パターンに対して勝利することとなる。勝利することを可能にし、次いで、同じグループにあると判断される入力パターンは、それらの関係のマップが描かれるとき、１つのラインがそれらを取り囲む。結果として得られたマップにおいて、トレーニングセットにおけるアイテム間の関係を綿密に検査し、高次元入力空間における複雑な構造に対してさえ、これらの関係を視覚化することが可能である。

解を生成するプロセスに対して２つのフェーズがある。最初の第１段階において、先行技術にあっては、学習レートは１に近い大きい値から始まり、次第に単調に減少する。その減少レートは、指数関数的、線形的又はその他に従って減少することが可能であるが、先行技術に従って、特定のパターンは、一般に、特に重要であるとはみなされなかった。長い収束フェーズが続き、このフェーズはマップの微調整に関連している。学習レートは小さい値（例えば、０．１より十分小さい）において保たれ、各々の反復により単調に且つ次第に減少する。

いずれの所定の問題に対するＳＯＦＭの解の品質は、決して確実なものではない。入力ベクトルが高次元且つ複雑である場合、反復して結果を得るのに非常に長い時間を要し、悪い最終結果を得ることにもなりかねない。

ＳＯＦＭにおいて、反復プロセスの進行の間に、学習レートが単調に減少するのではなく、学習レートはランダムな又は散発的な方式で選択される。これは、多くの例において、収束レートを増加させることが、実験的に見出された。先行技術に従うと、学習レートは時間変化し、単調に減少する必要がある。しかしながら、特に高次元の入力空間の場合の少なくともあるコンテキストにおいて、少なくとも初期状態の間の学習レートの散発的な変化は性能の改善につながる。

本発明について、更によく理解されるように、参照図面を参照しながら、特定の好適な実施形態と関連して説明することとする。図を参照することにより、詳細は、例を用いて、本発明の好適な実施形態のみについての例証としての説明を目的として示され、本発明の概念的特徴及び原理についての説明を容易に理解され、最も有用であるとして考えられることを提供する。この点で、本発明の構造的詳細については、本発明の基本的理解のために必要であること以上について更に詳細に示すことはせず、本発明の幾つかの形態をどのように実際に実施することが可能であるかを当業者が理解できる図面を用いて説明を行う。

図２を参照するに、本発明を実施するためのアルゴリズムは、段階Ｓ１０における重みベクトルの初期設定から始まる。重みベクトル全てのためのランダム値は代表的選択である。段階Ｓ２０において、サンプル入力ベクトルは、ＳＯＦＭをトレーニングするために用いられる入力ベクトルのプールからランダムに取り出される。選択されたベクトルは入力ノードに適用され、勝利競合層ノードは、最小ユークリッド距離値

に従って、段階３０において特定され、ここで、Ｗ_ｉ，ｊはｉ番目のノードのｊ番目の重みであり、Ｉ_ｊは入力ベクトルのｊ番目の成分であり、Ｄ_ｉはｉ番目のノードの距離である。最小距離値を有するノードは勝者である。段階Ｓ４０において、学習レートノランダム値が生成される。この学習レートは、勝者ノード及び隣接ノードの重みを更新するために用いられる。段階Ｓ５０において、勝者ノード及び全ての近傍ノードは、次いで、次式に従って更新される。
ΔＷ_ｉ，ｊ＝α（Ｉ_ｊ−Ｗ_ｉ，ｊ）ｓｉｎｄ／（２ｄ）
ここで、Ｗ_ｉ，ｊはｉ番目のノードのｊ番目の重み、αはランダム学習レート、Ｉ_ｊは入力ベクトルのｊ番目の成分、そしてｄは現在のノードと勝者との間の距離である。上記のように、このトレーニングのプロセスは、連続的反復において重みの変化がある所定値以内に入るまで続けられる。このテストは段階Ｓ６０においてなされる。

上記の式は、実施形態の説明を目的とする例であることに留意されたい。重みを更新するために用いられることが可能である他の式が存在し、本発明はいずれの特定の式に限定されるものではない。

ここで、図３を参照するに、学習レートの連続的値の生成は、本発明と整合性を有する種々の方法において実行されることができる。好適には、ランダムレートが値域を定める値は、シミュレーションが進行するにつれて、小さくなる必要がある。図３に示す一実施形態において、学習レートは、トレーニングプロセスが進行するにつれて次第に減少する境界線１６１及び１６２間のランダム値である。これは、図３の１６０に示すように、領域の単調減少である必要はないが、好適には、シミュレーションが進行するにつれ、学習レートは値がより小さくなり、より小さい領域において値域を定める。他の実施形態においては、学習レートは、より小さい領域１６０において変化するが、周期的に又は擬似ランダムに変化する。好適には、学習レートは、最初は１のあたりで変化し、大きさがすうオーダー小さくなり、０近くの値に減少する。

図４を参照するに、又、他の代替の生成方法は、トレーニングの順序付けフェーズの間に、学習レートノランダム変化（参照符号１７０において示される）と収束フェーズに対して学習レートの単調な減少（参照符号１８０において示される）への切り替えとを可能にする。

本発明の特定な実施形態について図を参照しながら説明したが、本発明が好適な実施形態に限定されることを意図するものではないことは理解されるであろうし、本発明の範囲及び主旨から逸脱することなく、種々の変更及び修正を実施することが可能であることは当業者には明白であろう。従って、本発明は、本発明の範囲及び主旨の範囲内に含むことが可能である、変更、修正及び相当をカバーすることを意図されている。

先行技術に従い且つ本発明の実施形態と整合する自己順序付け特徴マップの図である。 本発明の実施形態に従った本発明を実施するためのアルゴリズムを示すフロー図である。 ＳＯＦＭのトレーニングの進行に伴う、学習レートパラメータの選択的ランダム生成を示す図である。 ＳＯＦＭのトレーニングの進行に伴う、学習レートパラメータの選択的ランダム生成の他の方法を示す図である。

Claims (14)

1. 自己順序付けマップをトレーニングするための方法であって：
   自己順序付けマップの重みの集合を初期設定する段階；並びに
   多くのトレーニングエポックに亘る前記重みを繰り返してトレーニングする段階；
   を有する方法であり、
   少なくとも多くの前記トレーニングエポックのために、単調以外の方式でトレーニングエポックに伴う減少値を変化させる関数に従って生成される学習レートに基づいて、前記繰り返してトレーニングする段階は前記重みを更新する手順を有する；
   ことを特徴とする方法。
2. 請求項１に記載の方法であって、前記繰り返してトレーニングする段階は、ランダム又は擬似ランダム関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
3. 請求項２に記載の方法であって、前記繰り返してトレーニングする段階は、前記学習レートにおける値がトレーニングエポックに伴い領域を減少させることが可能であるような
   関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
4. 請求項２に記載の方法であって、前記繰り返してトレーニングする段階は、前記学習レートにおける値がトレーニングエポックに伴い減少する傾向にあるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
5. 請求項１に記載の方法であって、前記繰り返してトレーニングする段階は、前記学習レートにおける値がトレーニングエポックに伴い領域を減少させることが可能であるような
   関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
6. 請求項５に記載の方法であって、前記繰り返してトレーニングする段階は、前記学習レートにおける値がトレーニングエポックに伴い減少する傾向にあるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
7. 請求項１に記載の方法であって、前記繰り返してトレーニングする段階は、前記学習レートにおける値がトレーニングエポックに伴い減少する傾向にあるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
8. 自己順序付け特徴マップをトレーニングする方法であって：
   初めの重みベクトルのためにランダム値を選択する段階；
   トレーニングサンプルベクトルの集合からサンプルを取り出し、そのサンプルを前記自己順序付け特徴マップのノードに適用するようにする段階；
   少なくとも距離基準に従って前記自己順序付けマップの勝利競合ノードを特定する段階；並びに
   少なくとも前記勝利ノードのシナプス重みを調整する段階であって、トレーニングエポックに伴い単調である１以外の関数に基づく前記シナプス重みを更新するために用いられる学習レートのための値を選択する手順を含む、段階；
   を有する方法であって、
   前記サンプルを取り出す段階、前記特定する段階及び前記調整する段階を反復して繰り返す；
   ことを特徴とする方法。
9. 請求項８に記載の方法であって、前記調整する段階は、ランダム又は擬似ランダム関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
10. 請求項９に記載の方法であって、前記調製する段階は、前記学習レートにおける値がトレーニングエポックに伴い領域を減少させることが可能であるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
11. 請求項９に記載の方法であって、前記調製する段階は、前記学習レートにおける値がトレーニングエポックに伴い減少する傾向にあるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
12. 請求項８に記載の方法であって、前記調製する段階は、前記学習レートにおける値がトレーニングエポックに伴い領域を減少させることが可能であるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
13. 請求項１２に記載の方法であって、前記調製する段階は、前記学習レートにおける値がトレーニングエポックに伴い減少する傾向にあるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
14. 請求項８に記載の方法であって、前記調製する段階は、前記学習レートにおける値がトレーニングエポックに伴い減少する傾向にあるような関数に従って生成される学習レートに基づいて前記重みを更新する手順を有する、ことを特徴とする方法。
    

Images