JP2005032216A - 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム - Google Patents
相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム Download PDFInfo
- Publication number
- JP2005032216A JP2005032216A JP2004038504A JP2004038504A JP2005032216A JP 2005032216 A JP2005032216 A JP 2005032216A JP 2004038504 A JP2004038504 A JP 2004038504A JP 2004038504 A JP2004038504 A JP 2004038504A JP 2005032216 A JP2005032216 A JP 2005032216A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- rbf
- neurons
- network structure
- neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
【解決手段】 各RBF素子14のうち互いに関係のあるRBF素子14同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築する。各RBF素子14は、外部から与えられた入力ベクトルxにより活性化されたときに、ラジアル基底関数に従って入力ベクトルxとセントロイドベクトルc iとの類似度に応じた発火の強さhiを出力する一方で、当該各RBF素子14に結合された他のRBF素子14の発火に起因して連鎖的に活性化されたときに、当該他のRBF素子14から出力された発火の強さhkに基づいて得られた擬似的な発火の強さhiを出力する。
【選択図】 図2
Description
D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation," In D. E. Rumelhart and J. L. McClelland (Eds.), Parallel Distributed Processing: explorations in the microstructure of cognition, 1, Chapter 8, Cambridge, MA, MIT Press, 1986. S. Haykin, "Neural Networks: A Comprehensive Foundation," Macmillan College Publishing Co. Inc., N.Y., 1994.
まず、図1により、本発明の一実施の形態に係る相互結合型ニューラルネットワークシステムの全体構成について説明する。
図2は、図1に示すニューラルネットワーク部11内に構築される人工ニューラルネットワーク構造の一例を示す図である。
以下、図3により、ニューラルネットワーク部11に含まれるRBF素子14の詳細について説明する。
<ネットワーク形態>
(相互結合型ネットワーク)
図2に示す人工ニューラルネットワーク構造では、4つのRBF素子14(RBF1,RBF2,RBF3,RBF4)がウェイト係数wijを介して相互に結合されており、全体として相互結合型ネットワークを構成している。このような相互結合型ネットワークシステムは、複数の入力ベクトルx 1,x 2,x 3を自在に扱うことが可能な多入力−多出力(MIMO:multi-modal input multi output)システムであり、構成の変更等を柔軟に行うことができる。なお、この場合、各RBF素子14のセントロイドベクトルの大きさは、固定長でなく、入力ベクトルx 1,x 2,x 3の種類に応じた可変長とすることが好ましい。これにより、幾つかの異なる感覚入力(音や画像等)を同時に処理して人間のような複合的なパターン認識を行うことができる。
図4は、図1に示すニューラルネットワーク部11内に構築される人工ニューラルネットワーク構造の他の例を示す図である。図4に示す人工ニューラルネットワーク構造は、3つのRBF素子14(RBF1,RBF2,RBF3)がウェイト係数w13,w23を介して相互に結合されたものであり、フィードフォワード型及びフィードバック型の両方の性質を持つ双方向型ネットワークを構成している。
図5は、図1に示すニューラルネットワーク部11内に構築される人工ニューラルネットワーク構造の他の例を示す図である。図5に示す人工ニューラルネットワーク構造は、図2及び図4に示す人工ニューラルネットワーク構造をさらに発展させたものであり、ディシジョンツリー(decision tree)で用いられるような木構造ネットワークを構成している。なお、図5に示す人工ニューラルネットワーク構造は、入力ベクトルが与えられるRBF素子14(RBF1,RBF2,RBF3,RBF4,…)の他、入力ベクトルが直接入力されないRBF素子14′(RBF5)(感覚入力がなく情報の統合のみを行うようなニューロン)を含む。
図6は、図1に示すニューラルネットワーク部11内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図である。図6に示す人工ニューラルネットワーク構造は、図2及び図4に示す人工ニューラルネットワーク構造をさらに発展させたものであり、自己組織化マップ(SOFM:self-organising feature map)(文献:『T. Kohonen, "The self-organizing map," Proc. IEEE, vol. 78, pp. 1464-1480, 1990.』参照)等を模倣した格子状ネットワークを構成している。このような人工ニューラルネットワーク構造は、網膜(retina)等に見られるような視覚系のコラム構造を模倣するのに有用である。
図7は、図1に示すニューラルネットワーク部11内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図である。図7に示す人工ニューラルネットワーク構造は、図2及び図4乃至図6に示す人工ニューラルネットワーク構造とは異なり、図3に示すRBF素子14を用いて従来の階層型ニューラルネットワークを構成したものである。
phi,1=o1,phi,2=o2,…,phi,No=oNo … (8)
と与えられる。
次に、図1乃至図7に示す相互結合型ニューラルネットワークシステム10の作用について説明する。
まず、図1に示す相互結合型ニューラルネットワークシステム10において、ネットワーク制御部12によりニューラルネットワーク部11を制御し、ニューラルネットワーク部11内において、外部から与えられる複数の入力ベクトルx 1,x 2,…,x nに基づいてRBF素子14を適宜追加及び削除することにより、動的なパターン認識を実現する人工ニューラルネットワーク構造を構築する。
なお、以上のようにしてニューラルネットワーク部11内に人工ニューラルネットワーク構造を構築する過程においては、各RBF素子14の活性回数保持部20を用いて、当該各RBF素子14の発火の度合いに基づいて当該各RBF素子14間を結び付けるウェイト係数を学習するようにするとよい。
具体的なアルゴリズム(第1のアルゴリズム)としては次のようなものを用いることができる。
εi≧θp1,εj≧θp1 … (13)
ウェイト係数wijは、次式(14)に従って設定される(ただし、Δ1wij>0)。
=wij,max (wij>wij,maxの場合) … (14)
=winit (wijが存在していない場合)
(2) 逆に、ある期間p2内に、RBFiとRBFjのいずれか片方もしくは両方ともが、上式(13)を満たさない場合には、ウェイト係数wijは次式(15)に従って設定される(ただし、Δ2wij>0)。
wijを消去 (そうでない場合) … (15)
(3) もし、RBF素子が、期間p3(≪p1,p2)内に他のRBF素子と結合されなければ、そのRBF素子はニューラルネットワークから除去される。
また、上記第1のアルゴリズムに変えて、次の第2のアルゴリズムを用いることも可能である。なお、この第2のアルゴリズムは、Hebbの法則の一つである「ニューロンAの軸索がニューロンBを発火させるのに十分に近く、かつ、反復的にかつ永続的にその発火が起こるものとすると、何らかの成長プロセス又は代謝の変化が、ニューロンBを発火させるニューロンの一つとしてのニューロンAの効率性を増加させるような形でニューロンA及びニューロンBの一つ又は両方に生じる。」という法則から神経心理学的な考察を経て導かれた以下の2つの仮定(仮定1及び仮定2)に基づくものである。
仮定2:一つのRBF素子が発火し、かつ、そのRBF素子に接続されたウェイト係数の一つが他のRBF素子に接続されているときには、当該一つのRBF素子の発火はウェイト係数を介して当該他のRBF素子に送られる。ただし、この場合に他のRBF素子に送られる発火の度合いはウェイト係数の値に依存するものとなる。
(2) 2つのRBF素子(例えばRBFiとRBFj(i≠j))が連続的にp回に亘って発火した場合(すなわち、発火の度合いが所定の閾値以上(RBFi≧θK)である場合)には、ウェイト係数wijは、次式(15−2)に従って設定される。
=wij,max (wij>wij,maxの場合) … (15−2)
=wij+δ (それ以外の場合)
(3) ある期間p1内に、RBF素子(RBFi)が発火しなければ、RBFi及びそれに接続された全てのウェイト係数w i(=[wi1,wi2,…])がニューラルネットワークから除去される。(このことは、ニューロンであるRBF素子の消滅を表す。)
なお、上式(15−1)(15−2)において、ξi,winit,wij,max,δはいずれも正の定数である。
ここで、γは減衰係数(0≪γ≦1)であり、Iiは次式(15−4)により表されるインジケータ関数である。
=0 (それ以外の場合)
なお、上式(15−3)(15−4)において、インジケータ関数Iiは、RBFiの発火によりRBFiで生成されたスパイク状のパルス(又は作用ポテンシャル)がシナプスを介して他のRBFjへ送られることを模擬するものである。上式(15−3)(15−4)は、既存のニューラルネットワークと異なり、ニューロンである各RBF素子が通常の入力である入力ベクトルxから離れて、二次的な入力(すなわち他のニューロンからの発火の転移)によっても発火することを示している。
なお、第2のアルゴリズムは、次の第3のアルゴリズムのように修正することも可能である。なお、この第3のアルゴリズムは、後述する<自己組織化ニューラルネットワーク構造の構築>で用いられるRBF素子(すなわち、図10に示すような、最終的な出力値に関連するクラスラベルηiを保持するクラスラベル保持部21を有するRBF素子14″)を前提とするものである。
(2) 2つのRBF素子(例えばRBFiとRBFj(i≠j))が連続的にp回に亘って発火した場合(すなわち、発火の度合いが所定の閾値以上(RBFi,RBFj≧θK)である場合)で、かつ、RBFi,RBFjのクラスラベルηi,ηjが同一であるならば、ウェイト係数wijは、次式(15−6)に従って設定される。
=wij,max (wij>wij,maxの場合) … (15−6)
=wij+δ (それ以外の場合)
(3) ある期間p1内に、RBF素子(RBFi)が発火しなければ、RBFi及びそれに接続された全てのウェイト係数w i(=[wi1,wi2,…])がニューラルネットワークから除去される。(このことは、ニューロンであるRBF素子の消滅を表す。)
なお、上式(15−5)(15−6)において、ξi,winit,wij,max,δはいずれも正の定数である。
また、以上のようにしてニューラルネットワーク部11内に人工ニューラルネットワーク構造を構築する過程においては、各RBF素子14の生存期間変数保持部19を用いて、当該各RBF素子14の発火の度合いに基づいて決定される所定のタイミングで当該各RBF素子14を除去するようにしてもよい。
上式(16)のようにして定義される変数φiにおいて、減少の度合いを決定する係数であるaの値は、時間tを基準にした所定の期間(T1≦t≦T2)の間にi番目のRBF素子14(RBFi)の出力が所定の閾値θoutを越えた場合には、次式(17)に従って更新される(ただし、δa>0)。また、この場合には同時に、上式(16)で用いられている時間tiがti=0に初期化される。
=θa (そうでない場合) … (17)
そして、このようにして逐次更新される変数φiにおいて、ti=T2−T1のときのφiが、φi>θφ(θφは任意の閾値)である場合には、i番目のRBF素子14(RBFi)をネットワーク制御部11から除去する。
なお、ニューラルネットワーク部11内に構築される人工ニューラルネットワーク構造の出力oj(j=1,2,…,No)は、上式(1)(2)(3)(4)に従って求められるが、これ以外にも、中間層ニューロンであるRBF素子14から出力された発火の強さの変遷を時系列的に出力するようにしてもよい。
ここで、oj(l)(l=1,2,…,N)は、
oj(l)=sort(max(θij(t))) … (19)
θij(t)=wijhi(x(t)) … (20)
である。
ここで、θ ijは、
θ ij=[θij(0),θij(1),…,θij(T−1)]T … (22)
である。
c 1=[2 0 0 0 0.5 0 0 0 1 0 0 0 1 …]
c 2=[0.5 1 2 0 0 0 0 0 1 0 1 0 0 …]
であるとすると、そのパルス列は、図9に示すようなものとなる。
なお、以上においては、相互結合型ニューラルネットワークシステム10のニューラルネットワーク部11内において、図4乃至図7に示すような人工ニューラルネットワーク構造内のRBF素子間のウェイト係数を学習によって適宜更新していく過程を中心にして説明したが、ニューラルネットワーク部11内において、ニューロンであるRBF素子が全く存在していない状態から、外部から与えられる複数の入力ベクトルx 1,x 2,…,x nに基づいてRBF素子の追加及びRBF素子間の結合(RBF素子間のウェイト係数の形成及びRBF素子間のウェイト係数の値の更新)を自律的(非管理的)に行って人工ニューラルネットワーク構造(自己組織化ニューラルネットワーク構造)を構築(自己組織化)することも当然可能である。なお、このようにして構築される自己組織化ニューラルネットワーク構造内の各RBF素子は、その全てが単一のモダリティ(例えば聴覚モダリティ又は視覚モダリティ)を持っていてもよく、また、互いに異なる複数のモダリティ(例えば聴覚モダリティ及び視覚モダリティの両方)を持っていてもよい。
まず、自己組織化ニューラルネットワーク構造の構築フェーズ(学習フェーズ)について説明する。
(i) 外部から入力された入力ベクトルx(cnt)に基づいて、自己組織化ニューラルネットワーク構造内の全てのRBF素子(RBFi)の発火の度合いhiを計算する。このとき、hi(x(cnt))≧θKであるならば、そのRBFiは発火したものとなる。
次に、自己組織化ニューラルネットワーク構造の検証フェーズについて説明する。
(i) 外部から入力された入力ベクトルx(cnt)(cnt=1〜{入力ベクトルの総数})を自己組織化ニューラルネットワーク構造内に入力し、全てのRBF素子(RBFi)の発火の度合いhiを計算する。このとき、hi(x(cnt))≧θKであるならば、そのRBFiは発火したものとなる。
(i) 自己組織化ニューラルネットワーク構造内の全てのマークされたRBF素子の中で、最大に発火したRBF素子の発火の度合いhmax(=max(hi(x)))を得る。
(2) その時点から数時点後に新たなカテゴリ(クラスラベル)を表すRBF素子が自己組織化ニューラルネットワーク構造内の新たなRBF素子として与えられる。
自己組織化ニューラルネットワーク構造が実際にどのように構築されるのかを考察するため、直接的なパターン認識の処理として、自己組織化ニューラルネットワーク構造により排他的論理和(XOR)の問題を解決する場合を取り上げる。
σ=1.0、θK=0.7に初期化した。それから、新たなRBF素子としてRBF1を追加した。このとき、RBF1のセントロイドベクトルc 1は入力ベクトルであるx(1)=[0.1,0.1]Tと同一とし、クラスラベルはη1=0とした。
入力ベクトルx(2)を自己組織化ニューラルネットワーク構造(この時点では1つのRBF素子(RBF1)のみが存在している)に与えた。
h1=exp(−‖x(2)−c 1‖2 2/σ2)=0.4449
であった。
入力ベクトルx(3)を自己組織化ニューラルネットワーク構造(この時点では2つのRBF素子(RBF1,RBF2)が存在している)に与えた。
h1=exp(−‖x(3)−c 1‖2 2/σ2)=0.4449(<θK)
h2=exp(−‖x(3)−c 2‖2 2/σ2)=0.1979(<θK)
であった。
入力ベクトルx(4)を自己組織化ニューラルネットワーク構造(この時点では3つのRBF素子(RBF1,RBF2,RBF3が存在している)に与えた。
h1=exp(−‖x(4)−c 1‖2 2/σ2)=0.1979(<θK)
h2=exp(−‖x(4)−c 2‖2 2/σ2)=0.4449(<θK)
h3=exp(−‖x(4)−c 3‖2 2/σ2)=0.4449(<θK)
であった。
しかしながら、一方で、自己組織化ニューラルネットワーク構造の構築中に、排他的論理和の関係を表す別のパターンの入力ベクトル(すなわちx(5)=[0.2,0.2]T、x(2)=[0.2,0.8]T、x(3)=[0.8,0.2]T、x(4)=[0.8,0.8]T)が続いて与えられる場合を考えると、GRNNやPNNとの相違が現れる。すなわち、これらの入力ベクトルはPNN/GRNNでは、その構築中に全てのパターンが何らかの形で学習(すなわち新たなニューロンが追加)されてしまうが、自己組織化ニューラルネットワーク構造では、その構築中にはRBF素子の冗長な追加は行われない。すなわち、これらの4つのパターンの入力ベクトルは(hi>θKの条件に従って)それぞれに近いRBF素子を発火させるのみである。しかしながら、依然としてそれらのパターンの入力ベクトルは正しいパターン認識の結果をもたらし、RBF素子がさらに追加されることはない。
(シングルドメインのパターン認識)
まず、自己組織化ニューラルネットワーク構造がより現実的な場面でどのように構築(自己組織化)されるのかを理解するため、シングルドメインのパターン認識(公開されたデータベースから引き出された幾つかのシングルドメインのデータセットを用いたパターン認識)についてシミュレーション実験を行った。なお、上記「問題の設定」では、自己組織化ニューラルネットワーク構造内のRBF素子間の結合(RBF素子間のウェイト係数の形成及びRBF素子間のウェイト係数の学習)については説明を省略しているが、以下に述べるシミュレーション実験例1では、ウェイト係数を介したRBF素子間での発火が自己組織化ニューラルネットワーク構造の性能にどのような影響を与えるのかを理解するため、RBF素子間のウェイト係数についても当然考慮している。また、以下のシミュレーション実験例1では、RBF素子間のウェイト係数の学習のためのアルゴリズムとして、上述した第2のアルゴリズムを用いた。ただし、ここでは、自己組織化ニューラルネットワーク構造の振る舞いをより明確に追跡するため、上述した第2のアルゴリズムの(3)の処理(すなわちニューロンであるRBF素子の削除)は考慮しなかった。
シミュレーション実験例1においては、カリフォルニア大学の“UCI Machine Learning Repository”のデータベース(SFS、OptDigit及びPenDigit)から引き出された3つの異なるドメインのデータセットを用いた。これら3つのデータセットは、認識の処理を行うための互いに独立したデータセットであり、その特徴は下記表1に示されているとおりである。なお、SFSのデータセットに関しては、予め符号化処理が施されて認識の処理のためのパターンベクトルが与えられている。
図12及び図13はシミュレーション実験例1の実験結果を示す図であり、図12は自己組織化ニューラルネットワーク構造の構築中におけるRBF素子(ニューロン)の数の変化を示す図、図13は自己組織化ニューラルネットワーク構造の構築中におけるウェイト係数(リンク)の数の変化を示している。
一般的なニューラルネットワーク構造であるGRNNやPNNに関しては、自己組織化ニューラルネットワーク構造におけるラジウスの値が特定の値をとる場合に汎化能力と計算の複雑さとの間の合理的なトレードオフが与えられる、ということが確認されている。そこで、シミュレーション実験例1における自己組織化ニューラルネットワーク構造の構築中においても、パラメータであるラジウスをσi=σ(∀i)と選択した。
(自己組織化ニューラルネットワーク構造の汎化能力)
下記表4は、上記表2のパラメータを用いて構築された自己組織化ニューラルネットワーク構造(すなわち、構築のための全てのパターンベクトルの入力が終了した自己組織化ニューラルネットワーク構造)と、良く知られたマッキーン(MacQueen)のk−meansクラスタリングアルゴリズムにより求められたセントロイドを持つPNNとの間で性能を比較したものである。なおここでは、両者の間の比較をできるだけ公平に行うため、それぞれのクラスを担うPNN内のニューロンの数は、自己組織化ニューラルネットワーク構造内のRBF素子(ニューロン)の数に固定した。
自己組織化ニューラルネットワーク構造において、上述したようなパターン分類器を構成するための典型的な方法である通常の「バランスのとれた」パターンベクトルの入力は、例えば、数字/ZERO/のパターン#1、数字/ONE/のパターン#1、…、数字/NINE/のパターン#1、数字/ZERO/のパターン#2、数字/ONE/のパターン#2、…、数字/NINE/のパターン#2、…、という具合である。しかしながら、これに変えて、パターンベクトルの入力の順番を、(1)ランダムに変えたり、(2)新たなクラスを伴うように変えたりすることも可能である。すなわち、数字/ZERO/のパターン#1、数字/ZERO/のパターン#2、…、数字/ZERO/の最後のパターン、数字/ONE/のパターン#1、数字/ONE/のパターン#2、…、という具合にしてもよい。このような変更は、経験的に、生成されたRBF素子(ニューロン)及びウェイト係数(リンク)の数にも汎化能力にも影響を与えないことが分かっている。このことは、自己組織化ニューラルネットワーク構造がPNNのような新たなクラスを伴う能力だけでなく、条件の変化に対してもロバストであることを示している。
(マルチドメインのパターン認識)
上記シミュレーション実験例1では、パターン認識の分野において、自己組織化ニューラルネットワーク構造が、一般的なニューラルネットワーク構造であるPNN/GRNNの場合に比べて同様かあるいはそれよりも若干良い汎化能力を示すことが確認された。このことは、自己組織化ニューラルネットワーク構造の特徴の一つではあるが、全部ではない。すなわち、自己組織化ニューラルネットワーク構造には複数のモダリティを持つマルチドメインの問題に適用することが可能であるという特徴がある。そこでここでは、上述した後者の特徴を理解するため、自己組織化ニューラルネットワーク構造に関して、マルチドメインのパターン認識(すなわちデュアルドメインの同時的なパターン認識)についての別の実用的なシミュレーション実験を行った。
シミュレーション実験例2においては、SFSのデータセット(数字音声認識用)及びPenDigitのデータセット(数字文字認識用)の両方を用いた。ここで、各データセットは、対応する特定のドメインデータのための部分的な自己組織化ニューラルネットワーク構造を構築するために用いた。これらを用いて構築される2つの部分的な自己組織化ニューラルネットワーク構造内にある所定数のRBF素子(ニューロン)を接続するクロスドメインなウェイト係数(リンク)(すなわち連関リンク)が、上述したウェイト係数の更新のためのアルゴリズムと同様の手法により形成される。ここで、デュアルドメインのパターン認識の処理を行うためのにウェイト係数を更新するパラメータは、上記表2の右側のカラムにまとめられている。2つの部分的な自己組織化ニューラルネットワーク構造間の連関リンクを形成するため、通常のウェイト係数(すなわち上記表2の左側のカラムにまとめられている部分的な自己組織化ニューラルネットワーク構造内のウェイト係数)と同一の値を選択した。ただし、減衰係数ξiについてはξi=ξ=0.0005(∀i)とした。
下記表5の2番目のカラム及び3番目のカラムは、シミュレーション実験例2におけるデュアルドメインのパターン認識の処理での汎化能力をまとめたものである。下記表5において、「Sub−SOKM(i)→Sub−SOKM(j)」は、i番目の部分的な自己組織化ニューラルネットワーク構造内のRBF素子から連関リンクを介してj番目の部分的な自己組織化ニューラルネットワーク構造内のRBF素子の発火が行われることに起因した、j番目の部分的な自己組織化ニューラルネットワーク構造内のRBF素子の発火により得られる全体の汎化能力を示すものである。ここで、Sub−SOKM(1)はSFSデータセット用の部分的な自己組織化ニューラルネットワーク構造を示し、Sub−SOKM(2)はPenDigitデータセット用の部分的な自己組織化ニューラルネットワーク構造を示す。
(自己組織化ニューラルネットワーク構造へのクラスラベルの導入)
上記シミュレーション実験例1及び2では、新たなRBF素子が自己組織化ニューラルネットワーク構造内に追加されるときにクラスラベルηiが与えられ、現在の入力ベクトルであるパターンベクトルと同一の値に設定される。しかしながら、自己組織化ニューラルネットワーク構造においては、入力ベクトルであるパターンベクトルが与えられるのと同時にクラスラベルηiを設定する必要が常にあるわけではなく、クラスラベルηiを非同期的に設定することも可能である。
自己組織化ニューラルネットワーク構造においては、クラスラベルはその応用例に依存して何時でも与えることができる。ここでは、クラスラベルに関する情報が事前に知られているという、実際上はあまり典型的ではない状況を考え、このような変更が自己組織化ニューラルネットワーク構造の性能にどのような影響を与えるのかを検討する。
図17はシミュレーション実験例3のクラスラベルに関しての制約がある状態で構築された自己組織化ニューラルネットワーク構造のウェイト係数の数と、クラスラベルに関しての制約がない状態で構築された自己組織化ニューラルネットワーク構造のウェイト係数の数とを比較するものである。図17に示されているように、ウェイト係数の全ての種類(すなわち、単独のSFSのデータセットでのウェイト係数、単独のPenDigitのデータセットでのウェイト係数、2つのデータセット間での連関リンクのウェイト係数)について、制約があるウェイト係数の数は制約がないウェイト係数の数に比べて小さいことが分かる。このことは、クラスラベルに関しての制約がある場合には、RBF素子の「誤った」接続(すなわち、異なったクラスラベルを持つRBF素子同士の接続)の形成が構築中に避けられることを意味する。
11 ニューラルネットワーク部
12 ネットワーク制御部
13 入力層ニューロン
14,14′,14″ RBF素子(中間層ニューロン)
15 出力層ニューロン
16 RBF本体部
17 ポインター部
18 ウェイト係数保持部
19 生存期間変数保持部
20 活性回数保持部
21 クラスラベル保持部
Claims (21)
- 核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンを含むニューラルネットワーク部と、
前記ニューラルネットワーク部の前記各ニューロンのうち互いに関係のあるニューロン同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築するネットワーク制御部とを備え、
前記ニューラルネットワーク部の前記各ニューロンは、当該各ニューロンが外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ニューロンが当該各ニューロンに結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、当該他のニューロンから出力された発火の強さに基づいて得られた擬似的な発火の強さを出力することを特徴とする相互結合型ニューラルネットワークシステム。 - 前記ニューラルネットワーク部の前記各ニューロンは、相互に結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、前記擬似的な発火の強さとともに当該各ニューロンのセントロイドベクトルを出力することを特徴とする、請求項1に記載の相互結合型ニューラルネットワークシステム。
- 前記ネットワーク制御部は、前記ニューラルネットワーク部に外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したニューロンの順序に基づいて、前記ニューラルネットワーク部の前記各ニューロンのうち互いに関係のあるニューロン同士を相互に結合することを特徴とする、請求項1又は2に記載の相互結合型ニューラルネットワークシステム。
- 前記ネットワーク制御部は、前記ニューラルネットワーク部の前記各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数を学習することを特徴とする、請求項1乃至3のいずれかに記載の相互結合型ニューラルネットワークシステム。
- 前記ネットワーク制御部は、前記ニューラルネットワーク部の前記各ニューロンの発火の度合いに基づいて決定される所定のタイミングで当該各ニューロンを除去することを特徴とする、請求項1乃至4のいずれかに記載の相互結合型ニューラルネットワークシステム。
- 前記ニューラルネットワーク部の前記各ニューロンは、前記セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる中間層ニューロンであり、当該各中間層ニューロンに結合された出力層ニューロンにおいて、前記各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することを特徴とする、請求項1乃至5のいずれかに記載の相互結合型ニューラルネットワークシステム。
- 前記ニューラルネットワーク部の前記各ニューロンで用いられる前記核関数はラジアル基底関数を含むことを特徴とする、請求項1乃至6のいずれかに記載の相互結合型ニューラルネットワークシステム。
- 核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンからなる人工ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士がウェイト係数を介して相互に結合された人工ニューラルネットワーク構造を準備するステップと、
前記各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数を学習するステップとを含むことを特徴とする、相互結合型ニューラルネットワーク構造の構築方法。 - 前記人工ニューラルネットワーク構造を準備するステップにおいて、外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したニューロンの順序に基づいて、前記各ニューロンのうち互いに関係のあるニューロン同士を相互に結合することを特徴とする、請求項8に記載の方法。
- 前記各ニューロンの発火の度合いに基づいて決定される所定のタイミングで当該各ニューロンを除去するステップをさらに含むことを特徴とする、請求項8又は9に記載の方法。
- 前記各ニューロンで用いられる前記核関数はラジアル基底関数を含むことを特徴とする、請求項8乃至10のいずれかに記載の方法。
- 請求項8乃至11のいずれかに記載の方法をコンピュータに対して実行させることを特徴とする、相互結合型ニューラルネットワーク構造の構築プログラム。
- 核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンからなる自己組織化ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士が入力ベクトルに基づいて自律的に結合されてなる自己組織化ニューラルネットワーク構造を構築する、自己組織化ニューラルネットワーク構造の構築方法において、
外部から入力された1番目の入力ベクトルに基づいて、当該入力ベクトルを核関数のセントロイドベクトルとして持つニューロンを新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する第1のステップと、
外部から入力されたn(nは2以上の整数)番目の入力ベクトルのそれぞれに基づいて、以下の(a)〜(c)の処理、すなわち、
(a) 外部から入力されたn番目の入力ベクトルに基づいて、自己組織化ニューラルネットワーク構造内の全てのニューロンの発火の度合いを計算する処理、
(b) 上記(a)の処理において自己組織化ニューラルネットワーク構造内の一つ又は複数のニューロンの中に所定の閾値を越えて活性化したニューロンがないと判断された場合に、n番目の入力ベクトルを核関数のセントロイドベクトルとして持つニューロンを新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する処理、及び
(c) 自己組織化ニューラルネットワーク構造内の各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数の形成及び/又は既存のウェイト係数の学習を行う処理、
を繰り返す第2のステップとを含むことを特徴とする、自己組織化ニューラルネットワーク構造の構築方法。 - 前記第2のステップにおいて、(d)前記自己組織化ニューラルネットワーク構造内の各ニューロンの発火の度合いに基づいて不要となったニューロンを除去する処理をさらに行うことを特徴とする、請求項13に記載の方法。
- 前記自己組織化ニューラルネットワーク構造内の各ニューロンは最終的な出力値に関連するクラスラベルを保持し、
前記第2のステップの前記(c)の処理において、前記自己組織化ニューラルネットワーク構造内の各ニューロンが持つクラスラベルが同一である場合にのみ当該各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数の形成及び/又は既存のウェイト係数の学習を行うことを特徴とする、請求項13又は14に記載の方法。 - 前記自己組織化ニューラルネットワーク構造内の各ニューロンは、単一のモダリティを持つことを特徴とする、請求項13乃至15のいずれかに記載の方法。
- 前記自己組織化ニューラルネットワーク構造内の各ニューロンは、互いに異なる複数のモダリティを持つことを特徴とする、請求項13乃至15のいずれかに記載の方法。
- 前記各ニューロンで用いられる前記核関数はラジアル基底関数を含むことを特徴とする、請求項13乃至17のいずれかに記載の方法。
- 請求項13乃至18のいずれかに記載の方法をコンピュータに対して実行させることを特徴とする、自己組織化ニューラルネットワーク構造の構築プログラム。
- 核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数の中間層ニューロンであって、前記セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンと、
前記各中間層ニューロンに結合された出力層ニューロンであって、前記各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力する出力層ニューロンとを備えたことを特徴とする相互結合型ニューラルネットワークシステム。 - 前記各中間層ニューロンで用いられる前記核関数はラジアル基底関数を含むことを特徴とする、請求項20に記載の相互結合型ニューラルネットワークシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004038504A JP4771249B2 (ja) | 2003-03-24 | 2004-02-16 | 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003080940 | 2003-03-24 | ||
JP2003080940 | 2003-03-24 | ||
JP2004038504A JP4771249B2 (ja) | 2003-03-24 | 2004-02-16 | 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005032216A true JP2005032216A (ja) | 2005-02-03 |
JP4771249B2 JP4771249B2 (ja) | 2011-09-14 |
Family
ID=34219819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004038504A Expired - Fee Related JP4771249B2 (ja) | 2003-03-24 | 2004-02-16 | 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4771249B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103708A (zh) * | 2011-01-28 | 2011-06-22 | 哈尔滨工程大学 | 一种基于径向基神经网络的海浪有效波高反演模型建模方法 |
US9037524B2 (en) | 2011-12-09 | 2015-05-19 | Samsung Electronics Co., Ltd. | Neural working memory device |
CN105976020A (zh) * | 2016-04-28 | 2016-09-28 | 华北电力大学 | 一种考虑小波跨层关联性的网络流量预测方法 |
CN109631997A (zh) * | 2018-12-20 | 2019-04-16 | 树根互联技术有限公司 | 工程设备健康检测方法、装置以及电子设备 |
CN110892417A (zh) * | 2017-06-05 | 2020-03-17 | D5Ai有限责任公司 | 具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352994A (ja) * | 1992-03-30 | 2000-12-19 | Seiko Epson Corp | 神経細胞素子、ニューラルネットワークを用いた認識装置およびその学習方法 |
-
2004
- 2004-02-16 JP JP2004038504A patent/JP4771249B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352994A (ja) * | 1992-03-30 | 2000-12-19 | Seiko Epson Corp | 神経細胞素子、ニューラルネットワークを用いた認識装置およびその学習方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103708A (zh) * | 2011-01-28 | 2011-06-22 | 哈尔滨工程大学 | 一种基于径向基神经网络的海浪有效波高反演模型建模方法 |
US9037524B2 (en) | 2011-12-09 | 2015-05-19 | Samsung Electronics Co., Ltd. | Neural working memory device |
CN105976020A (zh) * | 2016-04-28 | 2016-09-28 | 华北电力大学 | 一种考虑小波跨层关联性的网络流量预测方法 |
CN105976020B (zh) * | 2016-04-28 | 2018-08-28 | 华北电力大学 | 一种考虑小波跨层关联性的网络流量预测方法 |
CN110892417A (zh) * | 2017-06-05 | 2020-03-17 | D5Ai有限责任公司 | 具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络 |
CN110892417B (zh) * | 2017-06-05 | 2024-02-20 | D5Ai有限责任公司 | 具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络 |
CN109631997A (zh) * | 2018-12-20 | 2019-04-16 | 树根互联技术有限公司 | 工程设备健康检测方法、装置以及电子设备 |
CN109631997B (zh) * | 2018-12-20 | 2021-07-09 | 树根互联股份有限公司 | 工程设备健康检测方法、装置以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP4771249B2 (ja) | 2011-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7496546B2 (en) | Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor | |
Medler | A brief history of connectionism | |
Khosla | Engineering intelligent hybrid multi-agent systems | |
Kasabov | Evolving connectionist systems: Methods and applications in bioinformatics, brain study and intelligent machines | |
Raiche | A pattern recognition approach to geophysical inversion using neural nets | |
Cowan et al. | Neural nets and artificial intelligence | |
JP4943146B2 (ja) | 学習および表現の機能を有するニューラルネットワーク | |
Mehrotra et al. | Elements of artificial neural networks | |
Estebon | Perceptrons: An associative learning network | |
JP4771249B2 (ja) | 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム | |
Evers | Connectionist modelling and education | |
Barrow | Connectionism and neural networks | |
Weng | A model for auto-programming for general purposes | |
Hecht-Nielsen | A theory of thalamocortex | |
Kumari et al. | Deep networks and deep learning algorithms | |
Jensen et al. | Networks and chaos-statistical and probabilistic aspects | |
Yashchenko | Neural-like growing networks in the development of general intelligence. Neural-like growing networks (P. II) | |
Ranganathan et al. | Self-organization in artificial intelligence and the brain | |
Kasabov et al. | Spatial-temporal adaptation in evolving fuzzy neural networks for on-line adaptive phoneme recognition | |
Schwarcz | Application of Diffuse Neuromodulation To Deep-Learning Networks | |
MacLennan | Neural networks, learning, and intelligence. | |
Lisovskaya et al. | Processing of Neural System Information with the Use of Artificial Spiking Neural Networks | |
Ellis et al. | MODELS OF SUPERVISED PATTERN AND CATEGORY LEARNING | |
Makdah | Modeling the Mind: A brief review | |
Orzechowski et al. | Retrieving Impressions from Semantic Memory Modeled with Associative Pulsing Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |