JP2004252923A - 自己組織化ネットワークの高速学習方法 - Google Patents
自己組織化ネットワークの高速学習方法 Download PDFInfo
- Publication number
- JP2004252923A JP2004252923A JP2003086533A JP2003086533A JP2004252923A JP 2004252923 A JP2004252923 A JP 2004252923A JP 2003086533 A JP2003086533 A JP 2003086533A JP 2003086533 A JP2003086533 A JP 2003086533A JP 2004252923 A JP2004252923 A JP 2004252923A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- learning data
- self
- organizing network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】自己組織化ネットワークに対して学習用データを最適に与えることによって学習速度の高速化を行うことを目的とする。
【解決手段】早い順番の学習用データの勝利ノードが遅い順番の学習用データによって学習を打ち消されてしまうという状況が頻発する。学習用データ間の距離が小さい場合打ち消される度合いが小さい。遅い順番の学習用データになるほど学習結果への影響が大きい。従って、後の順番の学習用データになるほど他の学習用データとの距離が近くなるように学習用データを与えることにより、学習速度を高速化することができる。
【選択図】 図１
【解決手段】早い順番の学習用データの勝利ノードが遅い順番の学習用データによって学習を打ち消されてしまうという状況が頻発する。学習用データ間の距離が小さい場合打ち消される度合いが小さい。遅い順番の学習用データになるほど学習結果への影響が大きい。従って、後の順番の学習用データになるほど他の学習用データとの距離が近くなるように学習用データを与えることにより、学習速度を高速化することができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、人工ニューラルネットワークの一種であり、教師なし学習が可能な、自己組織化ネットワークの、学習速度の高速化を行うための学習方法についてである。
【０００２】
【従来の技術】
自己組織化ネットワークとその学習方法については「ニューラルコンピューティング入門」（ＩＳＢＮ４−３０３−７２６４０−０）など多くの文献で紹介されている。概略を以下に示す。自己組織化ネットワークはデータの次元数と同数の入力ノードを持ち、多くの場合２次元マップ状の多数の出力ノードを持つ２層構造である。出力ノード間には位置関係があるため、近傍の大きさを指定することで、ある出力ノードとその近傍内の出力ノードを選択することができる。入力ノードと出力ノードの間には結合があり、すべての結合に結合加重が与えられる。つまり、出力ノードそれぞれに学習用データと同じ次元数のデータが結合加重の集まりとして与えられていることになる。この結合加重の集まりを結合加重ベクトルと呼ぶ。初期値として結合加重の値をランダムに与えておく。学習時は、学習用データのそれぞれの次元の値が対応する入力ノードに与えられ、学習用データと出力ノードに与えられた結合加重ベクトルとの距離の計算をすべての出力ノードに対して行い、距離の最も近かったノードを一つ選ぶ。選ばれた出力ノードを勝利ノードと呼ぶ。勝利ノードとその近傍内にある出力ノードとに対して、結合加重が学習用データに近くなるように結合加重の値を調整する。どの程度値を調整するかは学習率という変数で調節する。学習率は近傍内での位置関係によって値が決まる関数である。これをすべての学習用データについて順番に行うことで１回の学習が終了する。近傍の大きさと学習率を次第に小さくしながら学習を繰り返すことによってネットワークを自己組織化することができる。
【０００３】
次に、学習終了の判定について述べる。学習終了の判定は、１）あらかじめ学習回数を定めておく、２）学習用データと勝利ノードの距離の最も遠いものが敷居値以下になるなど学習の進み具合により判定する、などの方法がある。１）の場合は学習回数が一定のため、学習の進み具合に無関係に学習終了の回数は一定であるが、学習終了時点での学習の進み具合は学習ごとに異なる。２）の場合、学習の進み具合が早いほど学習終了が速く、学習速度が速い。学習の進み具合は、学習用データと勝利ノードとの距離によって判定することができる。
【０００４】
学習終了後、ネットワークの利用時は、結合加重の値を変更することなく、入力データと結合加重の距離が最も近い出力ノードを選択することで、データが学習用データのどれに近いかを知ることができ、入力データのクラスタリングを行うことができる。
【０００５】
自己組織化ネットワークの学習速度を高速化する従来手法の多くは、近傍の大きさや学習率といったパラメータの最適化が主流で、学習アルゴリズムの改良や、学習用データの与え方の最適化などについての検討は少ない。
【０００６】
【発明が解決しようとする課題】
学習速度の高速化は自動的に学習を行う手法に共通の課題である。この発明はこの課題を改善し、自己組織化ネットワークに対して学習用データを最適に与えることによって学習速度の高速化を行うことを目的とする。
【０００７】
【課題を解決するための手段】
自己組織化ネットワークの学習時における結合加重の変化について考察する。ある出力ノードの結合加重の変化は図１の式１の漸化式で表現される。近傍が大きく、すべての学習用データに対してすべての出力ノードが近傍内にある場合は、すべての出力ノードでｎの範囲は学習用データ全体となる。近傍が小さく、一部の出力ノードのみ近傍内にある場合は、ｎの範囲を各出力ノードが影響を受ける学習用データと考えれば、各出力ノードの結合加重の変化は同様に図１の式１で表現できる。式１の漸化式を変形して、初期値と学習用データによって結合加重の変化を示す式２および式３がえられる。式３により、ｇ＝０の時は結合加重の変化がなく、ｇ＝１の時は結合加重は常に最後の学習用データと同じ値となることがわかる。学習用データの順番が進む間はｇの値を変化させず、学習回数が進むにつれて近傍の大きさとｇの値を小さくしてゆく。
【０００８】
学習を進めるにあたって、早い順番の学習用データの勝利ノードが遅い順番の学習用データの近傍内に入り、後の学習によって前の学習が打ち消されてしまう状況が発生する。学習用データ間で図２の式５に示す条件を満たす場合に、学習が打ち消されることなく図２の式６の状態になる。近傍内の出力ノードに対しても同様に学習を打ち消されてしまう状況が発生する。特に学習の初期段階では、大きな近傍と大きな学習率を用いて学習を行うため、この状況が顕著に表れる。
【０００９】
図２の式４の右辺第２項により、対象となる学習用データ間の距離が大きいほど打ち消される度合いが大きく、距離が小さいほど打ち消される度合いが小さいことがわかる。また、図１の式２により、遅い順番の学習用データになるほど学習結果に与える影響が大きいことがわかる。従って、後の順番の学習用データになるほど他の学習用データとの距離が近くなるように学習用データを与えることにより、ぞれ以前の学習が打ち消される度合いが少なくなり、学習速度を高速化することができる。
【００１０】
学習用データ間の距離を全て知るためにはデータ数の組み合わせの数だけ計算が必要となり、データ数が多くなるほど計算量が大きくなる。また、図１の式３により、早い順番の学習用データの影響は指数関数的に小さくなることがわかる。従って、全ての学習用データ間の距離を求めるのではく、一部の学習用データ間の距離を計算し、距離の近いものを遅い順番に並べたものを残りの学習用データの後に配置することで、距離の計算量を小さく保ち学習速度を高速化することができる。
【００１１】
本発明は、以上のような方法に基づいて高速化を行う自己組織化ネットワークの高速学習方法である。
【００１２】
【発明の実施の形態】
計算機を用いて自己組織化ネットワークのプログラムを作成して実験を行い、この発明の効果を実証した。１００個の出力ノードを１０×１０の２次元に配置し、入力ノードをデータの次元数と同数の５個とし、全ての結合加重を乱数によって初期化した自己組織化ネットワークに対して学習を行った。学習用データは、５次元空間上に５個の中心点を与え、各中心点の周りに正規分布する１０個の合計５０個を乱数により合成した。Ａ）近傍の大きさの初期値７×７で学習率の初期値０．７の場合、Ｂ）近傍の大きさの初期値５×５で学習率の初期値０．５の場合について、学習用データを１）ランダムな順番、２）全データ数の１０％にあたる５個に対して距離の近いものを遅い順番に並べ残りのランダムな順番のデータの後に配置した順番、３）全データ同士の距離を計算し距離の近いものを遅い順番に並べた順番に対して、各１０回実験しその平均学習回数を測定した。終了判定は、学習用データとの距離が最も遠い勝利ノードの距離が敷居値以下になった時とした。
【００１３】
実験の結果、Ａ１が１０２７．３回、Ａ２が９４４．１回、Ａ３が９５０．５回、Ｂ１が６０３．２回、Ｂ２が５２７．９回、Ｂ３が５７１．４回であった。これらの結果は、この発明によって約６％から約１４％学習時間が高速化されたことを示している。
【００１４】
【発明の効果】
この発明によれば、自己組織化ネットワークの学習アルゴリズムに変更を加えることなく、学習速度の高速化を行うことが可能となった。学習アルゴリズムの改良による高速化と同時に利用することができるため、さらに大きな効果を得ることが期待される。学習用データの一部に対して処理を行うことによって距離計算の計算量を減らすことができ、その場合でも高速化が可能となった。
【図面の簡単な説明】
【図１】結合加重の変化を示す式である。
【図２】学習結果と学習用データの近さを示す式である。
【図３】実験に用いた自己組織化ネットワークの出力ノードと入力ノードの関係の概念図である。
【図４】実験に用いた１０×１０の２次元出力マップ、勝利ノード、５×５近傍の概念図である。
【符号の説明】
式１ 結合加重の変化を表す漸化式
式２ 式１を変形して初期値と学習用データで表した式
式３ 式２を数学記号を用いて表した式
式４ ｎ番目の学習結果とｎ−１番目の学習用データとの近さを表した式
式５ ｎ−１番目の学習結果に比べてｎ番目の学習結果の方がｎ−１番目の学習用データに近くなるための条件式
式６ ｎ−１番目の学習結果に比べてｎ番目の学習結果の方がｎ−１番目の学習用データに近いことを表した式
【発明の属する技術分野】
この発明は、人工ニューラルネットワークの一種であり、教師なし学習が可能な、自己組織化ネットワークの、学習速度の高速化を行うための学習方法についてである。
【０００２】
【従来の技術】
自己組織化ネットワークとその学習方法については「ニューラルコンピューティング入門」（ＩＳＢＮ４−３０３−７２６４０−０）など多くの文献で紹介されている。概略を以下に示す。自己組織化ネットワークはデータの次元数と同数の入力ノードを持ち、多くの場合２次元マップ状の多数の出力ノードを持つ２層構造である。出力ノード間には位置関係があるため、近傍の大きさを指定することで、ある出力ノードとその近傍内の出力ノードを選択することができる。入力ノードと出力ノードの間には結合があり、すべての結合に結合加重が与えられる。つまり、出力ノードそれぞれに学習用データと同じ次元数のデータが結合加重の集まりとして与えられていることになる。この結合加重の集まりを結合加重ベクトルと呼ぶ。初期値として結合加重の値をランダムに与えておく。学習時は、学習用データのそれぞれの次元の値が対応する入力ノードに与えられ、学習用データと出力ノードに与えられた結合加重ベクトルとの距離の計算をすべての出力ノードに対して行い、距離の最も近かったノードを一つ選ぶ。選ばれた出力ノードを勝利ノードと呼ぶ。勝利ノードとその近傍内にある出力ノードとに対して、結合加重が学習用データに近くなるように結合加重の値を調整する。どの程度値を調整するかは学習率という変数で調節する。学習率は近傍内での位置関係によって値が決まる関数である。これをすべての学習用データについて順番に行うことで１回の学習が終了する。近傍の大きさと学習率を次第に小さくしながら学習を繰り返すことによってネットワークを自己組織化することができる。
【０００３】
次に、学習終了の判定について述べる。学習終了の判定は、１）あらかじめ学習回数を定めておく、２）学習用データと勝利ノードの距離の最も遠いものが敷居値以下になるなど学習の進み具合により判定する、などの方法がある。１）の場合は学習回数が一定のため、学習の進み具合に無関係に学習終了の回数は一定であるが、学習終了時点での学習の進み具合は学習ごとに異なる。２）の場合、学習の進み具合が早いほど学習終了が速く、学習速度が速い。学習の進み具合は、学習用データと勝利ノードとの距離によって判定することができる。
【０００４】
学習終了後、ネットワークの利用時は、結合加重の値を変更することなく、入力データと結合加重の距離が最も近い出力ノードを選択することで、データが学習用データのどれに近いかを知ることができ、入力データのクラスタリングを行うことができる。
【０００５】
自己組織化ネットワークの学習速度を高速化する従来手法の多くは、近傍の大きさや学習率といったパラメータの最適化が主流で、学習アルゴリズムの改良や、学習用データの与え方の最適化などについての検討は少ない。
【０００６】
【発明が解決しようとする課題】
学習速度の高速化は自動的に学習を行う手法に共通の課題である。この発明はこの課題を改善し、自己組織化ネットワークに対して学習用データを最適に与えることによって学習速度の高速化を行うことを目的とする。
【０００７】
【課題を解決するための手段】
自己組織化ネットワークの学習時における結合加重の変化について考察する。ある出力ノードの結合加重の変化は図１の式１の漸化式で表現される。近傍が大きく、すべての学習用データに対してすべての出力ノードが近傍内にある場合は、すべての出力ノードでｎの範囲は学習用データ全体となる。近傍が小さく、一部の出力ノードのみ近傍内にある場合は、ｎの範囲を各出力ノードが影響を受ける学習用データと考えれば、各出力ノードの結合加重の変化は同様に図１の式１で表現できる。式１の漸化式を変形して、初期値と学習用データによって結合加重の変化を示す式２および式３がえられる。式３により、ｇ＝０の時は結合加重の変化がなく、ｇ＝１の時は結合加重は常に最後の学習用データと同じ値となることがわかる。学習用データの順番が進む間はｇの値を変化させず、学習回数が進むにつれて近傍の大きさとｇの値を小さくしてゆく。
【０００８】
学習を進めるにあたって、早い順番の学習用データの勝利ノードが遅い順番の学習用データの近傍内に入り、後の学習によって前の学習が打ち消されてしまう状況が発生する。学習用データ間で図２の式５に示す条件を満たす場合に、学習が打ち消されることなく図２の式６の状態になる。近傍内の出力ノードに対しても同様に学習を打ち消されてしまう状況が発生する。特に学習の初期段階では、大きな近傍と大きな学習率を用いて学習を行うため、この状況が顕著に表れる。
【０００９】
図２の式４の右辺第２項により、対象となる学習用データ間の距離が大きいほど打ち消される度合いが大きく、距離が小さいほど打ち消される度合いが小さいことがわかる。また、図１の式２により、遅い順番の学習用データになるほど学習結果に与える影響が大きいことがわかる。従って、後の順番の学習用データになるほど他の学習用データとの距離が近くなるように学習用データを与えることにより、ぞれ以前の学習が打ち消される度合いが少なくなり、学習速度を高速化することができる。
【００１０】
学習用データ間の距離を全て知るためにはデータ数の組み合わせの数だけ計算が必要となり、データ数が多くなるほど計算量が大きくなる。また、図１の式３により、早い順番の学習用データの影響は指数関数的に小さくなることがわかる。従って、全ての学習用データ間の距離を求めるのではく、一部の学習用データ間の距離を計算し、距離の近いものを遅い順番に並べたものを残りの学習用データの後に配置することで、距離の計算量を小さく保ち学習速度を高速化することができる。
【００１１】
本発明は、以上のような方法に基づいて高速化を行う自己組織化ネットワークの高速学習方法である。
【００１２】
【発明の実施の形態】
計算機を用いて自己組織化ネットワークのプログラムを作成して実験を行い、この発明の効果を実証した。１００個の出力ノードを１０×１０の２次元に配置し、入力ノードをデータの次元数と同数の５個とし、全ての結合加重を乱数によって初期化した自己組織化ネットワークに対して学習を行った。学習用データは、５次元空間上に５個の中心点を与え、各中心点の周りに正規分布する１０個の合計５０個を乱数により合成した。Ａ）近傍の大きさの初期値７×７で学習率の初期値０．７の場合、Ｂ）近傍の大きさの初期値５×５で学習率の初期値０．５の場合について、学習用データを１）ランダムな順番、２）全データ数の１０％にあたる５個に対して距離の近いものを遅い順番に並べ残りのランダムな順番のデータの後に配置した順番、３）全データ同士の距離を計算し距離の近いものを遅い順番に並べた順番に対して、各１０回実験しその平均学習回数を測定した。終了判定は、学習用データとの距離が最も遠い勝利ノードの距離が敷居値以下になった時とした。
【００１３】
実験の結果、Ａ１が１０２７．３回、Ａ２が９４４．１回、Ａ３が９５０．５回、Ｂ１が６０３．２回、Ｂ２が５２７．９回、Ｂ３が５７１．４回であった。これらの結果は、この発明によって約６％から約１４％学習時間が高速化されたことを示している。
【００１４】
【発明の効果】
この発明によれば、自己組織化ネットワークの学習アルゴリズムに変更を加えることなく、学習速度の高速化を行うことが可能となった。学習アルゴリズムの改良による高速化と同時に利用することができるため、さらに大きな効果を得ることが期待される。学習用データの一部に対して処理を行うことによって距離計算の計算量を減らすことができ、その場合でも高速化が可能となった。
【図面の簡単な説明】
【図１】結合加重の変化を示す式である。
【図２】学習結果と学習用データの近さを示す式である。
【図３】実験に用いた自己組織化ネットワークの出力ノードと入力ノードの関係の概念図である。
【図４】実験に用いた１０×１０の２次元出力マップ、勝利ノード、５×５近傍の概念図である。
【符号の説明】
式１ 結合加重の変化を表す漸化式
式２ 式１を変形して初期値と学習用データで表した式
式３ 式２を数学記号を用いて表した式
式４ ｎ番目の学習結果とｎ−１番目の学習用データとの近さを表した式
式５ ｎ−１番目の学習結果に比べてｎ番目の学習結果の方がｎ−１番目の学習用データに近くなるための条件式
式６ ｎ−１番目の学習結果に比べてｎ番目の学習結果の方がｎ−１番目の学習用データに近いことを表した式
Claims (3)
- 学習用データ間の距離を基に学習用データを最適に与える事によって高速化を行う自己組織化ネットワークの高速学習方法。
- 他の学習用データとの距離が近いデータほど遅い順番に学習用データを与える請求項１の高速学習方法。
- 一部の学習用データを対象として距離が近いデータほど遅い順番に並べそれを残りの学習用データの後に与える請求項１および請求項２の高速学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003086533A JP2004252923A (ja) | 2003-02-19 | 2003-02-19 | 自己組織化ネットワークの高速学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003086533A JP2004252923A (ja) | 2003-02-19 | 2003-02-19 | 自己組織化ネットワークの高速学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004252923A true JP2004252923A (ja) | 2004-09-09 |
Family
ID=33028165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003086533A Pending JP2004252923A (ja) | 2003-02-19 | 2003-02-19 | 自己組織化ネットワークの高速学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004252923A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171714A (ja) * | 2004-11-22 | 2006-06-29 | Institute Of Physical & Chemical Research | 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム |
| CN109887487A (zh) * | 2019-01-29 | 2019-06-14 | 北京声智科技有限公司 | 一种数据筛选方法、装置及电子设备 |
| WO2024171286A1 (ja) * | 2023-02-14 | 2024-08-22 | 日本電気株式会社 | 学習装置、学習方法、及び、記録媒体 |
-
2003
- 2003-02-19 JP JP2003086533A patent/JP2004252923A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171714A (ja) * | 2004-11-22 | 2006-06-29 | Institute Of Physical & Chemical Research | 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム |
| CN109887487A (zh) * | 2019-01-29 | 2019-06-14 | 北京声智科技有限公司 | 一种数据筛选方法、装置及电子设备 |
| CN109887487B (zh) * | 2019-01-29 | 2021-05-11 | 北京声智科技有限公司 | 一种数据筛选方法、装置及电子设备 |
| WO2024171286A1 (ja) * | 2023-02-14 | 2024-08-22 | 日本電気株式会社 | 学習装置、学習方法、及び、記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nariman-Zadeh et al. | Evolutionary design of generalized polynomial neural networks for modelling and prediction of explosive forming process | |
| Bélisle et al. | Evaluation of machine learning interpolation techniques for prediction of physical properties | |
| Kaveh et al. | A hybrid CBO–PSO algorithm for optimal design of truss structures with dynamic constraints | |
| US20170193368A1 (en) | Conditional parallel processing in fully-connected neural networks | |
| Lee | Training feedforward neural networks: An algorithm giving improved generalization | |
| CN106485324A (zh) | 一种卷积神经网络优化方法 | |
| Drossel | Number of attractors in random Boolean networks | |
| JP2018511870A5 (ja) | ||
| Yin et al. | Dynamic sparsity is channel-level sparsity learner | |
| JP2004252923A (ja) | 自己組織化ネットワークの高速学習方法 | |
| Datta et al. | Individual penalty based constraint handling using a hybrid bi-objective and penalty function approach | |
| KR102256289B1 (ko) | 인공 신경망에서 학습을 통한 로드 밸런싱 방법 및 시스템 | |
| JP2023544170A (ja) | ニューラルネットワークモデルのためのバンクバランストスパース活性化特徴マップ | |
| KR100426088B1 (ko) | 자가구축 학습페트리넷 | |
| CN111176962B (zh) | Fpga平台及其性能评估与设计优化的方法、存储介质 | |
| Munir et al. | GreedyViG: Dynamic Axial Graph Construction for Efficient Vision GNNs | |
| CN108122033B (zh) | 神经网络的训练方法和通过该训练方法获得的神经网络 | |
| CN106980733A (zh) | 一种改进的四维稀布阵旁瓣抑制方法 | |
| Tomislav et al. | GPU implementation of the feedforward neural network with modified Levenberg-Marquardt algorithm | |
| CN114021319A (zh) | 一种基于改进桥接系数的指挥控制网络关键边识别方法 | |
| JP2004318700A (ja) | 自己組織化ネットワークの特徴マップ形成制御方法 | |
| Srivastava et al. | A genetic algorithm based augmented lagrangian method for computationally fast constrained optimization | |
| JP2005284128A (ja) | 自己組織化ネットワークの高速学習方法 | |
| REYES et al. | Energy Harvesting Digital Filter Implementation With Novel Architecutre | |
| JP7361175B2 (ja) | 計算装置、計算プログラム、記録媒体及び計算方法 |