JP2000298661A - ニューラルネットワーク装置 - Google Patents

Abstract

(57)【要約】 【課題】 ニューラルネットワークにおいて不要なニュ
ーロンを検出し消去することにより効率化を図る。 【解決手段】 ニューロン３２の第一のメモリ３２３は
前回の入力値を保持し、第二のメモリ３２４は今回の入
力値を保持する。前層から入力がある度に、比較部３２
５は第一のメモリ３２３と第二のメモリ３２４の記憶内
容を比較し、両者が一致した場合はカウンタ３２１のカ
ウント値を１増加させる。この処理を繰り返し、カウン
タ３２１のカウント値が所定値に達した場合、当該ニュ
ーロン３２は連想・認識にほとんど寄与しないと判断
し、出力演算部３２８に対して演算禁止命令を発行し、
このニューロン３２で出力値の演算を行わないようにす
るとともに、フラグ３２２をOFFにセットする。ニュー
ロン消去部６０は、フラグ３２２がOFFにセットされて
いるニューロン３２を検出し、消去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、パターン認識、
文字認識、画像認識等に用いるニューラルネットワーク
装置に関する。

【０００２】

【従来の技術】中間層のニューロンを前層の制限された
一部分と結合させるニューラルネットワークとしてはコ
グニトロン(Biological Cybernetics 20:121-36)、ネオ
コグニトロン(Biological Cybernetics 36(4):193-202)
が知られている。

【０００３】これらのニューラルネットワークでは、生
体の視覚情報処理を模倣し、中間層の各ニューロンは前
層の一部分とのみ結合される様に制限されている。例え
ば、コグニトロンは層状のネットワークで、興奮性と抑
制性のニューロンから成り、各層のニューロンは前層の
一部分を占める結合領域内の興奮性、抑制性ニューロン
と結合を持つ。各ニューロンは、この結合領域内の興奮
性ニューロン、抑制性ニューロン、及び同じ層にある競
合領域のニューロンに接続した側抑制ニューロンから入
力を受け、これらの入力の総和が正のときのみ発火す
る。各ニューロン間の荷重の更新は、以下のように行わ
れる。

【０００４】すなわち、各層の競合領域で、最も強く発
火するニューロンに結合する興奮性ニューロンとの間の
荷重は増加させられ、他の強く発火しないニューロンの
興奮性ニューロンとの間の荷重は変更されず、抑制性ニ
ューロンからの荷重が増加させられる。このような荷重
の修正により、競合領域内のある特定のニューロンのみ
の興奮性の荷重が増加させられ、その領域内の強く発火
しない他のニューロンはより発火しにくい方向に調整さ
れる。上記の結合領域の制限のために、コグニトロン、
ネオコグニトロンでは、各層のニューロンは、前層のす
べてのニューロンと結合荷重を持たなくてもよいため、
大規模なニューラルネットワークを構成する場合にも学
習時、連想時に必要となる計算量を著しく軽減すること
が可能である。またこれらのニューラルネットワークは
生体の視覚情報処理を模倣しているため、より生体が持
つ認識、連想の特性に近い連想記憶装置を構成できると
いう利点があった。

【０００５】

【発明が解決しようとする課題】上記従来のニューラル
ネットワークでは前層のあらゆる領域に対して、その領
域と結合するニューロンが後層に存在する。このとき、
入力層に与えられる入力パターンの一部が常に同じ場合
には、この部分に対応するニューロンは連想、認識など
の処理に役立つことはない。特にコグニトロンなどで
は、特定のニューロンのみが発火しやすくなるように荷
重が修正されるので、どの入力にも発火しないニューロ
ンが多数存在しやすくなる。これらのニューロンは無駄
なものであり、学習、連想を行う際には不効率を生み出
すという問題があった。

【０００６】本発明は、このような問題を解決するため
になされたものであり、ニューラルネットワークの学習
や連想などの効率化を実現する機構を提供することを目
的とする。

【０００７】

【課題を解決するための手段】上記の問題を解決するた
めに、本発明に係るニューラルネットワーク装置は、ニ
ューロン群が層構造をなして構成されたニューラルネッ
トワーク装置において、当該ニューラルネットワーク装
置に対して入力データが順次入力されたときに、所定の
ニューロンに対する前層のニューロンからの入力値をモ
ニタする手段と、前記所定のニューロンに対する入力値
が予め定められた確率以上で同一である場合に当該ニュ
ーロンを消去する手段とを有する。

【０００８】また、本発明に係るニューラルネットワー
ク装置は、中間層を備えた層構造のニューラルネットワ
ーク装置であって、中間層は、入力層を構成するニュー
ロン群のそれぞれ異なる一部に対応した複数のカラムを
含み、カラムに含まれる各中間層ニューロンの入力層に
対する接続先が当該カラムに対応した一部の入力層ニュ
ーロン群のみに限定されたカラム構造のニューラルネッ
トワーク装置において、当該ニューラルネットワーク装
置に対して複数の入力データが入力されたときに、前記
カラムに含まれるニューロンへの入力層からの入力値が
予め定められた確率以上で同一である場合、当該ニュー
ロンを消去する。

【０００９】このように、本発明に係るニューラルネッ
トワーク装置では、学習時あるいは連想処理時などで入
力データが順次入力される場合において、ニューロンに
対する入力値が所定確率以上で同一と推定されるとその
ニューロンを消去することができるので、連想・認識に
ほとんど寄与しないと考えられる無駄なニューロンがな
くなる。したがって、ニューラルネットワーク装置の規
模を小さくすることができる。

【００１０】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施の形態（以下「実施形態」と呼ぶ）について説
明する。

【００１１】本実施形態のニューラルネットワーク装置
の全体構成を図１に示す。図示のニューラルネットワー
ク装置は、第一層１０、第二層３０、第三層４０及び第
四層５０の４層構造を有しており、第一層１０が入力
層、第二層３０及び第三層４０が中間層２０、第四層５
０が出力層を構成している。ここで、第二層３０の各ニ
ューロン３２は第一層１０の全てのニューロン１２に接
続されるわけではなく、第一層１０の一部のニューロン
１２にのみ接続される。第二層３０は複数のカラム３４
に分割されており、同じカラム３４に含まれるニューロ
ン３２は第一層１０の同じニューロン集団に接続され、
その集団に含まれない第一層ニューロン１２には接続さ
れない。このような構造をカラム構造と呼ぶ。

【００１２】第三層４０の各ニューロン４２は、第二層
３０のすべてのニューロン３２に対して接続されてい
る。また第四層５０の各ニューロン５２は、第三層のす
べてのニューロン４２に対して接続されている。第三層
４０、第四層５０はネットワークの計算効率を向上させ
るために、第一層１０、第二層３０に比べて小規模な
（すなわちニューロン数の少ない）ものとすることがで
きる。このように小規模化した場合、ネットワークの能
力低下の可能性があるが、この場合、後に説明するよう
にバックプロパゲーション学習法を用いれば、その学習
能力の高さによってネットワークの能力低下は補われ
る。

【００１３】各層のニューロン１２、３２、４２及び５
２は、各々、出力値決定のためのしきい値と、結合して
いる前層のニューロンとの間の結合の強さを示す実数値
の荷重を持つ。ニューロンのしきい値は、各ニューロン
ごとに独立に設定できる。

【００１４】第二層３０の各ニューロン３２は、結合し
ている前層（第一層１０）の各ニューロンから受取る入
力にその結合の荷重をかけたものの総和から、当該ニュ
ーロンのしきい値を引いた値が非負のとき＋１、負のと
き−１の値を出力する。第三層４０及び第四層５０の各
ニューロンでは、前層からの入力の総和ｘを受取ったと
き、以下の式に従って値ｙを出力する。

【００１５】

【数１】y=f(x), f(x)=1/(1+exp(-x)) 以下では、文字等の画像情報に細線化処理などのエッジ
処理を加えた画像輪郭情報が第一層１０に入力され、こ
れからその画像の示す対象物（文字等）を認識するため
のニューラルネットワーク装置を例にとって説明する。

【００１６】この場合、第一層１０には、エッジ処理を
加えた画像情報等の輪郭画像が与えられる。この入力デ
ータに対して、第一層１０のニューロン１２のうち輪郭
部分に対応するニューロン１２は＋１、それ以外のニュ
ーロン１２は−１の値を出力する。

【００１７】第二層３０の一つのカラム３４は第一層１
０の４つのニューロン１２が作る正方形の領域と結合
し、このようなカラム３４群によって第一層１０のニュ
ーロン１２は全て覆われている。ここで各カラム３４
は、他のカラム３４と共通の入力領域を持たないものと
する。また第二層３０のカラム３４には、そのカラム３
４に対応する第一層１０の部分に与えられる輪郭画像
（すなわちエッジ）の種類に応答するニューロンが備え
られる。

【００１８】すなわち、図２に示すように、第一層１０
の各ニューロン１２は、画像１００の各画素１１０に対
して１対１対応で設けられており、その画像１００は２
画素×２画素の正方形領域１２０に分割され、この正方
形領域１２０に対応する４つの第一層ニューロン１２
が、第二層３０の１つのカラム３４の各ニューロン３２
に接続されている。この場合、正方形領域１２０に存在
しうる輪郭画像（エッジ）は、図３に示すようにパター
ン１〜パターン６の６つのパターンに分類される。図３
では黒丸の部分は＋１、白丸の部分は−１の値を第一層
１０のニューロン１２が出力しているものとする。図３
には全部で６個のパターンが示されるが、これらの各々
のパターンに対して発火するニューロン３２がカラム３
４に一つずつ存在する。このため第二層３０の各カラム
３４にはそれぞれ６個のニューロン３２が配置される。

【００１９】このように、各パターンに対応して発火す
るニューロン３２をカラム３４に配置するために、以下
のような荷重としきい値の設定を行う。まず、カラム３
４内のニューロン３２が対応すべきパターンをベクトル
表示したものをＴ=(ｔ1,ｔ2,ｔ3,ｔ4)で表す。ここでｔ
x（x=1,2,3又は4）は＋１あるいは−１の値を取る。こ
のパターンＴに対応するニューロン３２の荷重ｗxを、

【数２】ｗx=ｔx, x=1,2,3,4 とし、しきい値を4と設定する。このように荷重、しき
い値を設定することにより、このニューロンはパターン
Ｔのみに対して発火し、他のパターンには発火しなくな
る。

【００２０】第三層４０、第四層５０の各ニューロン４
２および５２は、前層のニューロン群に全結合する。第
三層４０、第四層５０の荷重及びしきい値の設定には、
バックプロパゲーション学習法を用いる。バックプロパ
ゲーション法は任意の連続写像を近似することが可能な
学習法で、パーセプトロンなどの単層ニューラルネット
ワークでは学習不可能な様々な問題を解決できる強力な
学習法であることが知られている。本実施形態では、第
一層１０に画像情報等の入力信号を与え、これに対する
望ましい出力が第四層５０に現れるようにバックプロパ
ゲーション法を用いて学習を行う。

【００２１】さて、第一層１０の全てのニューロン１２
は、第二層３０のカラム３４のどれかと必ず結合してい
る。しかしながら、文字画像等の入力信号では、文字の
周辺の空白部分やアンダーラインなど、連想や認識に役
立たない領域が数多く存在する。従来技術の一種である
画像処理では、不要な空白部分の除去を文字などの図形
が存在しない領域を抽出することにより行っていたが、
この手法ではアンダーラインなどの不要な図形部分を消
去することが不可能である。また前処理が不完全に行わ
れると、連想や認識に必要な図形部分が消去しまう場合
があるなどの問題があった。

【００２２】これに対し、本実施形態では、連想や認識
に役立たない画像領域ではほとんどの入力データで同一
のパターンが提示されることを利用して、第二層３０に
ある不必要なカラムあるいはカラム内のニューロンを削
除することを行う。本実施形態では、この処理を、第二
層３０の各ニューロン３２とニューロン消去部６０とに
より行う。

【００２３】図４に、第二層３０のニューロン３２の構
成を示す。図４に示すように、第二層のニューロン３２
は、カウンタ３２１と、フラグ３２２と、第一層１０か
らの入力を保持するための二つのメモリ（すなわち第一
のメモリ３２３及び第二のメモリ３２４）、そしてこれ
ら第一及び第二のメモリ３２３及び３２４の記憶内容を
比較するための比較部３２５を持つ。ここで、フラグ３
２２はニューロン３２を活動又は停止状態に制御するた
めに用いるものであり、ON又はOFFの２値をとる。ニュ
ーロン３２が活動状態のときはフラグ３２２はONであ
り、フラグ３２２がOFFになるとニューロン３２は停止
状態になる。また、第二層のニューロン３２は、第一層
１０からの入力に対して第三層４０に出力する出力値を
計算するために、入力信号記憶部３２６、荷重記憶部３
２７及び出力演算部３２８を持つ。入力信号記憶部３２
６は、当該ニューロン３２に結合した前層（第一層１
０）の各ニューロン１２からの入力信号を保持する。荷
重記憶部３２７は、それら前層の各ニューロン１２と当
該ニューロン３２との間の荷重を保持する。出力演算部
３２８は、入力信号記憶部３２６、荷重記憶部３２７か
ら入力信号、荷重情報を受け取り、これらに基づき後層
（第三層４０）に渡すための出力値を計算する。

【００２４】なお、出力演算部３２８は、比較部３２５
から演算禁止命令を受け取った場合に、全ての演算を停
止するものとする。

【００２５】第一のメモリ３２３は、前回の入力データ
に対応する第一層１０からの入力を保持するためのもの
であり、第二のメモリ３２４はカレント（今回）の入力
データに対応する第一層１０からの入力を保持するため
のものである。ニューロン３２では、第一層１０から入
力があると、それを第二のメモリ３２４に保持し、これ
と第一のメモリ３２３の記憶内容とを、比較部３２５を
用いて比較する。比較の結果、これら二つが同じもので
ある場合は比較部３２５はカウンタ３２１のカウント値
を一つ増加（インクリメント）させ、異なる場合はカウ
ンタ３２１をクリアする。比較が終わると、第二のメモ
リ３２４に保持されたカレントの入力値が第一のメモリ
３２３にコピーされる。この動作を、第一層１０に入力
データが供給される度に行う。そして、カウンタ３２１
のカウント値が所定の値に達した場合、比較部３２１は
フラグ３２２をOFFに設定し、出力演算部３２８に対し
て演算禁止命令を発行する。このようにしてフラグ３２
２がOFFに設定されたニューロンは、全ての比較、演算
処理を停止され、ニューロン外にあり学習の間フラグ３
２２の内容をチェックしているニューロン消去部６０に
よって消去される。そして、カラム３４に含まれる全て
のニューロン３２が消去された場合、そのカラムを学習
の終了時に消去する。この消去処理により、連想や認識
に役立たない可能性の高い第二層のニューロン３２ある
いはカラム３４を消滅させることができるので、連想、
認識時の計算が少なくなり、処理の効率化を図ることが
できる。また、学習において、このようなニューロンの
消去処理を行ってから各ニューロンの荷重やしきい値の
修正処理を行うようにすれば、修正処理を効率化するこ
とができる。

【００２６】次に、本実施形態における学習の手順を詳
細に示す。以下では、X(i)、Y(i)（i=1,2,…,m）は、そ
れぞれニューラルネットワーク装置に与えられるi番目
の入力データ、及びこれに対応する目標データ（教師信
号）とする。入力データX(i)は上記で述べたように文字
画像情報などの輪郭情報を示すベクトルデータであり、
そのベクトルの各成分は＋１または−１の値である。ま
た目標データY(i)は、入力データX(i)に対する望ましい
信号であり、例えば入力データが文字画像の場合、その
文字に対するASCCIコードを目標データとする。

【００２７】第一層１０のニューロン数は入力データX
(i)の次元数に一致し、また第四層５０のニューロン数
は目標データY(i)の次元数に一致する。

【００２８】以下で、Ｏ_q,jは第ｑ層のニューロンjの出
力の値とする。またｗ_r,ij(t)は時刻ｔにおける第（ｒ
−１）層のニューロンｉと第ｒ層のニューロンｊとの間
の荷重とする。各層のニューロン0（０番目のニューロ
ン）は、常に発火するバイアスニューロンであり、特に
ｗ_r,oj(t)は第ｒ層のニューロンｊのためのしきい値を
表す。このため、第三層４０及び第四層５０のｉ番目の
ニューロンの出力は以下の式に従う。

【００２９】

【数３】Ｏ_r,i=f(Σ_jｗ_{r, ji}(t) Ｏ_r-1,j) ここで、r=3,4であり、“Σ_j”は、すべてのｊについて
の総和を意味する。また、以下で停止状態にあるニュー
ロンでは出力の計算を行わず、停止状態にあるニューロ
ンとの間の結合の荷重は零に設定される。

【００３０】第一層１０と第二層３０との間の荷重は上
記で述べられたように、第二層の各ニューロンが発火す
べき第一層の制限領域が表示するパターンに合わせて固
定されている。

【００３１】本実施形態におけるニューラルネットワー
ク装置の学習の手順は、図５に示す第一フェイズの処理
と図６に示す第二フェイズの処理からなる。第一フェイ
ズでは連想・認識に寄与しないと推定される第二層ニュ
ーロンを消去し、第二フェイズで各層のニューロンのし
きい値及び各層間の結合の荷重を学習によって修正す
る。以下に説明する手順で、Ｕは、第二層３０のニュー
ロン３２を消去するためのカウンタ３２１の上限値、ε
は出力層（第四層５０）の出力と目標データとの各ニュ
ーロンごとの誤差の二乗和の許容値である。

【００３２】まず図５を参照して第一フェイズの処理手
順を説明する。第一フェイズでは、まず第三層４０の各
ニューロン４２と第四層５０の各ニューロン５２を停止
状態にし（Ｓ１０）、入力信号X(i)のインデックスｉ
（ｉは１〜ｍの整数）を１に初期化する（Ｓ１２）。次
に入力信号X(i)を第一層１０（入力層）に与える（Ｓ１
４）。これにより、第一層１０の各ニューロン１２は、
各自が接続された第二層のニューロン３２に対して入力
信号X(i)に応じた信号を出力する。第二層３０の各ニュ
ーロン３２は、接続された第一層のニューロン１２から
受け取ったの入力を入力信号記憶部３２６及び第二のメ
モリ３２４に保持する。以下、各第二層ニューロン３２
ごとに次の処理が実行される。

【００３３】各ニューロン３２では、まず比較部３２５
が第一のメモリ３２３と第二のメモリ３２４の記憶内容
を比較し、今回の入力が前回と同じかどうかを判定する
（Ｓ２０）。両者が同じ場合には比較部３２５はカウン
タ３２１のカウント値を１だけインクリメントし（Ｓ２
２）、両者が異なる場合はカウンタ３２１のカウント値
をクリアする（Ｓ２４）。カウンタ３２１のインクリメ
ント又はクリアが終わると、第二のメモリ３２４の内容
により第一のメモリ３２３の記憶内容が更新される（Ｓ
２６）。

【００３４】次に、比較部３２５は、カウンタ３２１の
値が消去判定のための上限値Ｕに達したかどうかを判断
し（Ｓ２８）、上限値Ｕに達していればフラグ３２２を
OFFにセットし、出力演算部３２８に演算禁止命令を発
行して当該ニューロン３２を停止状態にする（Ｓ３
０）。カウンタ３２１の値がＵ未満の場合はフラグ３２
２は変化しない。

【００３５】次に、インデックスｉの値を１インクリメ
ントし（Ｓ３２）、ｉが入力信号X(i)の総数ｍに達した
か否かを判定する（Ｓ３４）。達していない場合（すな
わちＳ３４の判定結果がＹｅｓ）は、Ｓ１４に戻り次の
入力信号を第一層１０に供給して以上の処理を繰り返
す。Ｓ３４でインデックスｉがｍに達していたと判定さ
れた場合、ニューロン消去部６０は各ニューロン３２の
フラグ３２２を調べ（Ｓ３６）、フラグ３２２がOFFの
ニューロン３２を消去する（Ｓ３８）。このとき、消去
したニューロンに接続する全ての結合荷重およびこのニ
ューロンのしきい値が削除される。

【００３６】以上が第一フェイズの処理である。このよ
うな処理により、ニューラルネットワーク装置から、連
想・認識に寄与しない可能性が高いニューロン３２が消
去される。第一フェイズが終わると次に第二フェイズに
進む。第二フェイズでは、第一フェーズと同じ入力信号
X(i)群を用いて、消去されずに残った第二層３０のニュ
ーロン３２群及び他の各層のニューロン群のしきい値、
及び各層間のニューロンの結合荷重の修正を行う。すな
わち、この第二フェイズでは、従来の意味での「学習」
を行う。

【００３７】第二フェイズでは、図６に示すように、ま
ず第三層４０、第四層５０のニューロン４２及び５２を
活動状態にし（Ｓ４０）、入力信号X(k)のインデックス
ｋ（ｋは１〜ｍの整数）を１に初期化する（Ｓ４２）。

【００３８】そして、入力信号X(k)を第一層１０に入力
し、第二層３０、第三層４０、第四層５０のニューロン
の出力を計算する（Ｓ４４）。

【００３９】次に、以下の式にしたがって、荷重ｗ_r,ij
(t)を修正する（Ｓ４６）。

【００４０】

【数４】ｗ_r,ij (t+1)=ｗ_r,ij(t)+Δｗ_r,ij Δｗ_r,ij=ηδ_r,j Ｏ_r,i ここで、ηは所定の定数であり、 r=4に対しては、δ_r,i=Ｏ_r,i(1-Ｏ_r,i)(y(i)-Ｏ_r,i) r=3に対しては、δ_r,i=Ｏ_r,i(1-Ｏ_r,i)(Σ_jδ_r+1,j W
_r+1,ij) 以上の演算を、ｒ，ｉ，ｊの可能なすべての組合せにつ
いて行う。なお、ｉ＝０の場合のｗ_r,ijが、ｒ層のｊ番
目のニューロンのしきい値である。

【００４１】荷重修正が終わると、インデックスｋを１
だけインクリメントし（Ｓ４８）、ｋが入力信号の総数
ｍに達したか否かを判定する（Ｓ５０）。達していない
場合（すなわちＳ５０の判定結果がＹｅｓ）は、Ｓ４４
に戻り次の入力信号を第一層１０に供給して以上の処理
を繰り返す。Ｓ５０でインデックスｋがｍに達していた
と判定された場合、第四層５０（出力層）の出力と目標
信号との誤差が許容値未満に収まったかどうかを判定す
る（Ｓ５２）。ここでは、第四層５０の各７ニューロン
ごとに次の条件式が成立するか否かを判定する。

【００４２】

【数５】Σ_i,k(ｙ_i(k)-Ｏ_4,i(k))²＜ε ただし、ここでｙ_i(k)は目標信号Y(k)の第ｉ成分（ニュ
ーロンｉに対応）、またＯ_4,i(k)はX(k)を第一層１０に
入力信号を与えたときの第四層５０のニューロンｉの出
力である。

【００４３】この条件式が成立すれば（Ｓ５２の判定結
果がＹｅｓ）、学習を終了し、第二層３０の各カラムを
調べ、すべてのニューロンが消去されたカラムがあれば
それを削除する（Ｓ５４）。この条件式が成立しなけれ
ば、Ｓ４２に戻って更に学習を繰り返す。

【００４４】このように本実施形態では、各ニューロン
３２に同一の入力が連続する回数を保持するカウンタを
設け、このカウンタの値が所定値以上になったニューロ
ン３２を消去する。これにより、入力が予め定められた
しきい値確率以上で同一であると推定されるニューロン
を消去することができる。入力値がある確率で一定と考
えられるニューロンを検出し、消去するようにした。こ
のようなニューロンは、連想や認識にほとんど寄与しな
いので、このようなニューロンを消去してもニューラル
ネットワーク装置の連想・認識能力はほとんど低下しな
い。このようなニューロン消去によりニューラルネット
ワークの規模を小さくすることができるので、ニューラ
ルネットワーク装置をソフトウエア的に実現する場合に
は学習あるいは連想・認識の処理速度を改善でき、ハー
ドウエア的に実現する場合には消費電力などのコストを
低減することができる。また、ニューラルネットワーク
をソフトウエア的に実現する場合では、全ニューロンが
消去されたカラムを消去することによりプログラムのサ
イズを更に小さくすることができ、処理の高速化が図れ
る。実際の生体では、不必要なニューロンはアポトーシ
スと呼ばれる自己消滅機能により、ニューロン自ら消滅
して栄養の消費等を効率化する。本実施形態において
も、これと同様の作用により、学習時あるいは連想時の
計算量を削減し、学習あるいは認識を効率化できるとい
う効果がある。

【００４５】なお、上記ではニューロンへの入力が一定
回数以上同一である場合にそのニューロンを消去した
が、ニューロン消去の判定基準はこれに限らない。基本
的には、ニューロンへの入力が所定確率以上で一定であ
る場合に、そのニューロンが連想・認識にほとんど寄与
しないと推定し、そのニューロンを消去するという考え
方であり、具体的には様々な方式で実現することができ
る。例えば、入力の変化の回数を記録するカウンタを第
二層３０の各ニューロン３２に持たせ、このカウンタの
値が設定回数以下の場合に該当するニューロンを消去す
るようにしてもよい。

【００４６】また上記では、ニューロン間の荷重、ニュ
ーロンのしきい値の修正にバックプロパゲーション法を
用いたが、この代わりにカウンタープロパゲーション法
を用いてもよい。

【００４７】また、以上では四層のニューラルネットワ
ークを例にとって説明したが、連想、認識すべきパター
ンの数が十分に少ない場合には、ネットワークを三層構
造とし、第三層を出力層としてもよい。この場合、学習
にはヘッブの学習則に基づく学習、相関学習などの手法
を用いることができる。連想・認識の対象となる各パタ
ーンが直交することが期待される場合には直交学習を用
いてもよい。

【図面の簡単な説明】

【図１】 実施形態のニューラルネットワーク装置の基
本構成図である。

【図２】 ニューラルネットワーク装置の第一層と第二
層のニューロンの接続構造を説明するための図である。

【図３】 第二層のニューロンに対応する画像の入力パ
ターンを列挙して示した図である。

【図４】 第二層のニューロンの構成を示す図である。

【図５】 ニューラルネットワーク装置の学習の第一フ
ェイズの手順を示すフローチャートである。

【図６】 学習の第２フェイズの手順を示すフローチャ
ートである。

【符号の説明】

１０ 第一層、２０ 中間層、３０ 第二層、３２ 第
二層のニューロン、３４ カラム、４０ 第三層、５０
第四層、６０ ニューロン消去部、３２１カウンタ、
３２２ フラグ、３２３ 第一のメモリ、３２４ 第二
のメモリ、３２５ 比較部、３２６ 入力信号記憶部、
３２７ 荷重記憶部、３２８ 出力演算部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 ニューロン群が層構造をなして構成され
   たニューラルネットワーク装置において、 当該ニューラルネットワーク装置に対して入力データが
   順次入力されたときに、所定のニューロンに対する前層
   のニューロンからの入力値をモニタする手段と、 前記所定のニューロンに対する入力値が予め定められた
   確率以上で同一である場合に、当該ニューロンを消去す
   る手段と、 を有するニューラルネットワーク装置。
2. 【請求項２】 中間層を備えた層構造のニューラルネッ
   トワーク装置であって、中間層は、入力層を構成するニ
   ューロン群のそれぞれ異なる一部に対応した複数のカラ
   ムを含み、カラムに含まれる各中間層ニューロンの入力
   層に対する接続先が当該カラムに対応した一部の入力層
   ニューロン群のみに限定されたカラム構造のニューラル
   ネットワーク装置において、 当該ニューラルネットワーク装置に対して複数の入力信
   号が順に入力されたときに、前記カラムに含まれるニュ
   ーロンへの入力層からの入力値が予め定められた確率以
   上で同一である場合、当該ニューロンを消去することを
   特徴とするニューラルネットワーク装置。
3. 【請求項３】 前記カラムに含まれるニューロンは、 新たな入力データが与えられる度に、今回の入力データ
   についての入力層から当該ニューロンへの入力と、前回
   の入力データについての入力層から当該ニューロンへの
   入力とを比較する比較手段と、 比較手段の比較において今回と前回の入力が同一である
   と判明した場合にカウントアップするカウンタと、 このカウンタのカウント値が所定値に達した場合に当該
   ニューロンを機能停止させる手段と、 を有することを特徴とする請求項２記載のニューラルネ
   ットワーク装置。
4. 【請求項４】 前記カラムに含まれるニューロンは、 新たな入力データが与えられる度に、今回の入力データ
   についての入力層から当該ニューロンへの入力と、前回
   の入力データについての入力層から当該ニューロンへの
   入力とを比較する比較手段と、 比較手段の比較において今回と前回の入力が異なると判
   明した場合にカウントアップするカウンタと、 すべての入力データの処理が完了した時点で前記カウン
   タのカウント値が所定値以下の場合に、当該ニューロン
   を機能停止させる手段と、 を有することを特徴とする請求項２記載のニューラルネ
   ットワーク装置。
5. 【請求項５】 あるカラムに属する全中間層ニューロン
   が消去された場合、当該カラム自体を消去することを特
   徴とする請求項２から請求項４のいずれかに記載のニュ
   ーラルネットワーク装置。
6. 【請求項６】 中間層を備えた層構造のニューラルネッ
   トワーク装置であって、中間層は、入力層を構成するニ
   ューロン群のそれぞれ異なる一部に対応した複数のカラ
   ムを含み、カラムに含まれる各中間層ニューロンの入力
   層に対する接続先が当該カラムに対応した一部の入力層
   ニューロン群のみに限定されたカラム構造のニューラル
   ネットワーク装置において、 当該ニューラルネットワーク装置に対して複数の入力デ
   ータが入力されたときに、あるカラムに対応する入力層
   の一部のニューロン群への入力データのパターンが予め
   定められた確率以上で同一である場合、当該カラムを消
   去することを特徴とするニューラルネットワーク装置。
7. 【請求項７】 中間層・出力層間のニューロン結合荷
   重、または中間層及び出力層の各ニューロンのしきい値
   の設定に、ヘッブの学習則に基づく学習、または相関学
   習、または直行学習を用いることを特徴とする請求項２
   から請求項６のいずれかに記載のニューラルネットワー
   ク装置。
8. 【請求項８】 複数の中間層を有し、各中間層間及び中
   間層・出力層間のニューロン結合荷重、各中間層及び出
   力層の各ニューロンのしきい値の設定に、バックプロパ
   ゲーション法、またはカウンタープロパゲーション法を
   用いることを特徴とする請求項２から請求項６のいずれ
   かに記載のニューラルネットワーク装置。