JP2000348009A - 再配置可能型セルラニューラルネット - Google Patents

Abstract

(57)【要約】 【課題】 機能に関係しない軸索および樹状突起を省
き、進化的手法で得られたニューラルネットを機能を変
えずに簡潔にできるような再配置可能型セルラニューラ
ルネットを提供する。 【解決手段】 １個ないし複数個のセルからなるニュー
ロンを配置し、予め配置した成長情報に基づいてニュー
ロンの軸索および樹状突起に相当するセル群を成長さ
せ、ニューラルネットの動作に不必要な軸索および樹状
突起を検出して除去することにより、ニューラルネット
ワークの高機能化を図る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は再配置可能型セル
ラニューラルネットに関し、特に、ニューロン数，各ニ
ューロン相互の結合の有無および結合の重みを問題に応
じて柔軟に変化させることができ、しかも容易に製作可
能な繰返し構造によって構成されるニューロセルラオー
トマトンを再配置可能な再配置可能型セルラニューラル
ネットに関する。

【０００２】

【従来の技術】近年人工ニューラルネットによる情報処
理技術が発展してきている。人工ニューラルネット（以
下、単にニューラルネットと称する）は脳の神経回路網
を模倣して、単純で均一な情報処理を行なうユニット
（ニューロン）を多数結合してネットワークを構成する
ものであり、通常のコンピュータと比べて非常に柔軟な
処理が行なえると期待されている。

【０００３】ところで、個々のニューロンは単純な情報
処理しか行なえないので、ニューラルネットを本来の神
経回路網が行なっているような複雑な処理に使おうとす
ると、極めて多数のニューロンを相互接続しなければな
らない。

【０００４】ニューラルネットの特徴はその柔軟性であ
る。これはニューロン相互の結合の強さが変えられると
いう点に由来する。さらに言えばこれはタンパク質など
で構成され、自由に変形・成長できる生物の神経回路網
を模倣したためである。

【０００５】一方、電子回路などのハードウェアは固体
でできており、製作後では変更できないため、調節する
必要のある箇所は予め可変デバイスで構成する必要があ
る。しかし、ニューラルネットの調節点は大規模なネッ
トでは極めて多数となり、それに必要な配線などを考慮
すると、予めすべてを組み込んでおくのが困難であると
いう問題が明らかになった。

【０００６】本願発明者らは、特開平７−１０５１６４
号公報において、セルラオートマタの上でニューロンを
成長させてニューラルネットを形成させるというアイデ
ィアを提案した。また、特開平１０−２８３３３７号公
報において、成長情報をセル空間に分布させることで成
長をより簡単に実現する方法を提案した。

【０００７】

【発明が解決しようとする課題】しかしながら、上記２
つの方法では、成長がランダムに設定された成長情報に
基づいて起こるため、無駄な軸索および樹状突起を成長
させてしまう可能性がある。上記２つの方法はいずれも
遺伝的アルゴリズムを用いて機能を進化的に獲得させる
ものであるが、無駄な軸索・樹状突起は機能に関係しな
いので、それを省くことはできない。無駄な軸索・樹状
突起があると、たとえば装置をＣＭＯＳ回路を使って実
現した場合にはその分装置の消費電力が増加してしまう
という欠点がある。

【０００８】また、無駄な軸索・樹状突起が生成されて
しまうと、セルラオートマタ上の空間を効率的に利用で
きないという問題もある。これらはさらには電子回路な
どハードウェアでの入力セルラオートマタ装置の実装を
図る上で、ニューラルネットの低密度化として反映さ
れ、装置の物理的規模の増大，消費電力の増大あるいは
ニューラルネットの機能の低下という問題につながる。

【０００９】それゆえに、この発明の主たる目的は、機
能に関係しない軸索・樹状突起を省き、また進化的手法
で得られたニューラルネットを機能を変えずに簡潔化す
ることのできるような再配置可能型セルラニューラルネ
ットを提供することである。

【００１０】

【課題を解決するための手段】請求項１に係る発明は、
状態を保持する状態記憶機構をもつセルが多数個格子状
に配列され、各々のセルは現在のセルの状態とその近傍
のセルの状態をもとに同期して次の状態を更新する状態
更新機構を有するセルラオートマタにおいて、その上に
１個ないし複数個のセルからなるニューロンを配置し、
予め配置した成長情報に基づいてニューロンの軸索およ
び樹状突起に相当するセル群を成長させるセルラニュー
ラルネットであって、ニューラルネットの動作に不必要
な軸索および樹状突起を検出する検出手段と、検出され
た不必要な軸索および樹状突起を除去する除去手段とを
備えて構成される。

【００１１】請求項２に係る発明では、さらに不必要な
軸索および樹状突起を除去した後の残された軸索および
樹状突起の配置を変更する配置変更手段を備えて構成さ
れる。

【００１２】請求項３に係る発明では、さらに、配置の
変更された軸索および樹状突起を構成するセル以外のセ
ルを利用して新たなニューロンを成長させる手段が設け
られる。

【００１３】

【発明の実施の形態】図１はこの発明の一実施形態によ
るニューロン型オートマトンを用いた再配置可能型セル
ラニューラルネットの概略ブロック図である。図１を参
照して、３つのセルラオートマトン２ａ，２ｂ，２ｃに
よって構成されたセルラオートマトン１が設けられる。
各セルラオートマトン２ａ，２ｂ，２ｃは、自己のセル
３０と自己のセル３０の周囲に４つのセルとしてのＮ
（北）セル３１と、Ｅ（東）セル３２と、Ｓ（南）セル
３３と、Ｗ（西）セル３４の状態が入力信号として入力
されるように、格子状に相互結合されている。

【００１４】各セル３０〜３４は、状態記憶手段として
の状態保持機構４と状態更新手段としての状態更新機構
５とを有している。状態保持機構４は各セルを成長させ
るための状態を記憶するメモリとそのメモリの内容を書
換えるための電子回路を含み、状態更新機構５は自己の
セルと近傍のセルの状態に基づいて次の状態を更新す
る。

【００１５】図２は図１のニューロン型セルラオートマ
トンの各セルにおける状態導出の原理を示す図である。
図２に示すように、自己の現在の状態が９である中央の
セルにおいて、自己の状態９とＮ，Ｅ，Ｓ，Ｗのセルの
状態１８，１６，１１，５によって自己の次の状態４が
導出される。このように、状態を保持するのが状態機構
４であり、状態を更新するのが状態更新機構５である。

【００１６】図１において、ある状態になっている各セ
ルラオートマトン２ａ，２ｂ，２ｃに対象とする問題を
表わす信号７を入力する入出力部６が設けられている。
そのため、入出力部６には対象とする問題を表わす信号
７が入力されていて、それを各セルラオートマトン２
ａ，２ｂ，２ｃに出力し、逆に、その出力に応じた各セ
ルラオートマトン２ａ，２ｂ，２ｃの出力結果を表わす
信号９ａ，９ｂ，９ｃが入出力部６に入力されている。
また、入出力部６の出力が入力される評価部８が設けら
れ、各セルラオートマトン２ａ，２ｂ，２ｃの出力結果
を表わす信号９ａ，９ｂ，９ｃと対象とする問題を表わ
す信号７がこの評価部８に入力される。

【００１７】評価部８では、入力された各セルラオート
マトン２ａ，２ｂ，２ｃの出力結果を表わす信号９ａ，
９ｂ，９ｃが対象とする問題７にどの程度適用したかを
表わす適用度が演算され、その演算結果である評価値を
表わす信号１０が評価部８の出力として評価反映部１１
に入力される。評価反映部１１の出力は、入力された評
価値を表わす信号１０に基づく次の各セルラオートマト
ンの初期状態ならびに次の状態保持機構４および状態更
新機構５の動作が決定された結果を表わす信号１２であ
り、セルラオートマトン２ａ，２ｂ，２ｃのそれぞれに
入力される。

【００１８】図３は図１に示した状態保持機構を示す図
である。図３に示すように、状態保持機構４は非公開用
の８ビットと、周囲のＮ，Ｅ，Ｓ，Ｗの４つのそれぞれ
のセルに対応する公開用の８ビットから構成されてい
る。非公開部分は、セルタイプ部分４１が２ビット，ゲ
ート部分４２が２ビット，成長情報部分４３のための３
ビットおよび未使用部分４４の１ビットからなってい
る。非公開部分は、次のように意味づけされている。

【００１９】セルタイプの部分４１には、 ００＝０：空白セル ０１＝１：軸索セル １０＝２：樹状突起セル １１＝３：ニューロンセル が設定される。ここで、空白セルは成長も何も生じない
セルであり、軸索セルはニューロンセルから動作信号を
送り出す方向に向くセルである。すなわち、軸索セル
は、動作信号伝搬の上流となる１つの方向に入力ゲート
を有し、残りの３つの方向に出力ゲートを有しており、
自己の状態および入力ゲートに入力される状態に応じ
て、他の３つの方向に動作信号を出力する。また、樹状
突起セルは、ニューロンセルに向かって動作信号を集め
るセルである。すなわち、樹状突起セルは、動作信号伝
搬の上流となる３つの方向に入力ゲートを有し、伝搬先
となる方向に１つの出力ゲートを有し、他の３つの方向
から動作信号を受け、自己の状態と他の３つのセルの状
態に応じて１つの方向に動作信号を出力する。ニューロ
ンセルは、神経細胞の本体となるセルである。

【００２０】また、ゲートの部分４２には、 ００＝０：Ｎ ０１＝１：Ｅ １０＝２：Ｓ １１＝３：Ｗ が設定される。ここで、Ｎは北，Ｅは東，Ｓは南，Ｗは
西を表わし、軸索セルの唯一の入力ゲートの方向あるい
は樹状突起セルの唯一の出力ゲートの方向を示してい
る。

【００２１】また、成長情報の部分４３には、次の情報
が設定される。 ０００＝０：成長停止 １００＝４：左折れ ０１０＝２：直進 ００１＝１：右折れ １１０＝６：左分岐（左方と前方に分岐） ０１１＝３：右分岐（右方と前方に分岐） １０１＝５：Ｔ字分岐（左方と右方に分岐） １１１＝７：３方向分岐（左方と前方と右方に分岐） また、図３の各公開部分４５〜４８は、次のように意味
づけされている。

【００２２】成長モードにおいては、 ００＝０：成長信号がない。

【００２３】０１＝１：軸索成長信号 １０＝２：樹状突起成長信号 １１＝３：未使用 が設定される。機能動作モードでは、信号の強さを表わ
す２進数が設定される。

【００２４】図４は図１に示した状態更新機構を示す図
である。図４において、状態更新機構５は（ａ）に示す
公開状態更新機構５１と、（ｂ）に示す非公開状態更新
機構５２とから構成されている。公開状態更新機構５１
は合計２４ビットの入力でＮ，Ｅ，Ｓ，Ｗの各セルに対
して２ビットを出力するために４個設けられ、非公開状
態更新機構５２は合計２４ビットの入力から８ビットの
データを自己のセルの次の非公開状態とするために１個
設けられる。

【００２５】図５はニューロンセルが成長信号を出して
いる様子を示す図であり、図６は図５に示したニューロ
ンセルが軸索および樹状突起を成長させた様子を示す図
である。

【００２６】図５に示すように、２個のニューロンセル
２０，２１が配置されているとすると、これらのニュー
ロンセル２０，２１の状態保持機構４の２ビットのセル
タイプ部分４１にはニューロンセルを示す１１＝３が格
納されている。

【００２７】また、ニューロンセル２０，２１以外のセ
ルの状態保持機構４のセルタイプ部分４１には空白を示
す００＝０が格納されている。ニューロンセル以外のセ
ルの状態保持機構４の成長情報部分４３には直進を示す
０１０＝２などが設定されている。

【００２８】ニューロンセル２０，２１は図５に示すよ
うに成長信号を出力するものとする。すなわち、ニュー
ロンセル２１は状態保持機構４の公開部分のＮセルおよ
びＳセルの部分４５，４７に軸索成長信号を示す０１＝
１が設定されており、またＥセルおよびＷセルの部分４
６，４８には樹状突起成長信号を示す１０＝２が設定さ
れている。このため、ニューロンセル２１は図５に示す
ように成長信号を出力する。すなわち、ニューロンセル
２１はＮ方向およびＳ方向に軸索成長信号を出力し、Ｅ
方向およびＷ方向に樹状突起成長信号を出力する。

【００２９】ニューロンセル２１のＳ側セルが軸索成長
信号を受取ると、その状態保持機構４のセルタイプ部分
４１が空白を示す００＝０から軸索を表わす０１＝１に
変わる。また、このセルはＮ側から成長信号を受取るの
で、ゲート用の部分４２にはＮを表わす００＝０が設定
される。さらに、このセルの成長情報は直進なので、Ｓ
側セルの公開部分で受取ったと同じ軸索成長情報０１を
与える。この成長は連鎖的に進む。

【００３０】図６は図５に示したニューロンセルが軸索
および樹状突起を成長させた様子を示しており、セルラ
オートマトン上のすべてのセルは空白，軸索，樹状突
起，ニューロンの４つのセルに分類される。この分類は
状態保持機構４のセルタイプの部分４１の値によって決
定される。

【００３１】ところで、図６に示したセルラオートマト
ンにおいて、軸索２２と樹状突起２３が接触している箇
所はシナプスと呼ばれ、軸索２２から樹状突起２３へ信
号の拡散が起こる。一方、軸索２２同士あるいは樹状突
起２３同士では信号の伝搬は起こらない。樹状突起２３
に信号を伝搬しない軸索２２の部分は不要であり、同様
に軸索２２から信号を受取らない樹状突起２３の部分は
不要である。さらには、他のニューロンと信号のやり取
りを行なわないニューロンは不要となる。このような不
要なニューロン２１，軸索２２および樹状突起２３が形
成されるのは、前述のごとくランダムに設定された成長
情報に基づいてニューロン２１などが成長するためであ
る。そこで、以下に、この発明の実施形態として、不要
なニューロンや軸索や樹状突起を削除する方法について
説明する。

【００３２】図７〜図１１はこの発明の一実施形態の動
作を説明するために軸索と樹状突起の配置されたオート
マトンを示す図であり、図１２は不必要な軸索および樹
状突起を検出する動作を示すフローチャートであり、図
１３は不必要な軸索および樹状突起を除去した後、残さ
れた軸索と樹状突起の配置を移動する動作を説明するた
めのフローチャートである。

【００３３】図７に示したニューラルネットはすべての
ニューロン２１と軸索２２と樹状突起２３とを図示した
ものであり、不要な軸索や樹状突起のセルが含まれてい
る。図８は不要なセル２４を横線で示している。このよ
うな不要なセル２４は図１２に示すフローチャートに基
づいて検出される。すなわち、図８に示す不要なセル２
４に対してマークをつける。そして、マークをつけたセ
ルを空白セルに戻し、マークをつけたセルの上流のセル
中の分岐情報からマークをつけたセルへの情報を消去す
る。空白に戻されたマークを外し、上流セルの分岐情報
の数が０であればその上流セルにマークをつける。この
動作を繰返し、マークのつけられている不要なセルを順
次空白セルに戻す。

【００３４】図９は図８に示した不要なセルを除去した
ニューラルネットを示す。図９に示すように、不要なセ
ルを除去したニューラルネットと、不要なセルが存在す
る図７に示したニューラルネットを対比すれば明らかな
ように、不要なセルを除去することによって、ニューラ
ルネットの動作にかかるエネルギー消費が節約されると
ともに、セルラオートマタ空間中に空き空間を作りだす
ことができる。この空き空間を利用して、軸索２２と樹
状突起２３とが再配置される。

【００３５】図１０は図９で作りだされた空き空間を利
用して、軸索２２と樹状突起２３のセルを再配置した図
であり、図１３はセルを再配置するための動作を示すフ
ローチャートであり、図１４はその動作を説明するため
の図である。

【００３６】たとえば、図１４に示すように、この樹状
のセル３０を点線で示すように直線となるように配置す
る場合、末端のセル３１を選択し、そのセル３１からニ
ューロンセル２１までの経路を検出する。そして、経路
中の屈曲点で或る条件を満たす組を検出する。ここで、
或る条件とはニューロンセル２１から見て右折れ３２と
右折れ３３を有しているかなどであり、これに限らず右
折れ−Ｔ字分岐，右分岐−右折れ，右分岐−Ｔ字分岐を
有しているかの条件があり、左折の場合も同様の条件が
設定される。

【００３７】図１４の右折れ３２の直前のセルから右折
れ３３の直後のセルへの直線経路（図１４の点線で示す
経路３４）を調べ、ニューロンセルや軸索や樹状突起が
なければ、すなわち空白セルであれば、旧経路および新
経路上のセルの分岐情報を適切に変更する。すなわち、
図１４に示した例では、右折れ３２の直前のセルに点線
で示す直線経路３４方向の分岐情報を加えかつ右折れセ
ルへの分岐情報を外す。そして、直線経路３４上のセル
の分岐情報をすべて直線経路方向に設定する。この一連
の動作を繰返すことによって、図９に示す迂回している
セルを直線のセルに配置換えすることができる。図９に
示すセルを配置換えして示したのが図１０のセルラオー
トマタである。

【００３８】図１１はこれまでの操作によって確保され
た空間に２個の新たなニューロンを配置し、軸索２２と
樹状突起２３とを成長させたものである。この場合、分
岐情報を増加させることによってセルを成長させること
ができる。たとえば、当該セルが右折れであれば右分岐
あるいはＴ字分岐などに変更することによってセルを成
長させることができる。また、再度最初からニューラル
ネットの成長を行なえばネットワークの付加になる。

【００３９】上述のごとく、この実施形態によれば、ニ
ューラルネット中の不要な軸索と樹状突起を検出してニ
ューラルネット中から取除き、最後に残ったニューロン
と軸索と樹状突起を再配置し、セルラオートマタ空間中
の空き領域において新たなニューロンを成長させること
ができる。それによって、不要な軸索や樹状突起の動作
にかかるエネルギー消費を節約でき、不要な軸索や樹状
突起を取除いた空き空間を利用してニューロンや軸索や
樹状突起を再配置することにより、新たなニューロンお
よび成長情報を分布させることができ、ニューラルネッ
トワークのさらなる高機能化を図ることができる。

【００４０】なお、今回開示された実施の形態は全ての
点で例示であって、制限的なものではないと考えられる
べきである。本発明の範囲は上記した説明ではなくて特
許請求の範囲によって示され、特許請求の範囲と均等の
意味および範囲内でのすべての変更が含まれることが意
図される。

【００４１】

【発明の効果】以上のように、この発明によれば、ニュ
ーラルネットの動作に不必要な軸索および樹状突起を検
出して除去することにより、ニューラルネットの機能を
変えずに簡潔化することができる。

【図面の簡単な説明】

【図１】この発明の一実施形態によるニューロン型セル
ラオートマトンの概略ブロック図である。

【図２】図１のニューロン型セルラオートマトンの各セ
ルにおける状態導出の原理を示す図である。

【図３】図１に示した状態保持機構を示す図である。

【図４】図１に示した状態更新機構を示す図である。

【図５】ニューロンセルが成長信号を出している様子を
示す図である。

【図６】図５に示したニューロンセルが軸索および樹状
突起を成長させた様子を示す図である。

【図７】不必要な軸索と樹状突起の配置されたセルラオ
ートマトンを示す図である。

【図８】不必要な軸索と樹状突起を検出したセルラオー
トマトンを示す図である。

【図９】不必要な軸索と樹状突起を除去したオートマト
ンを示す図である。

【図１０】不必要な軸索と樹状突起を除去した後、残さ
れた軸索と樹状突起を再配置したオートマトンを示す図
である。

【図１１】図７〜図１０の操作で確保された空き領域を
利用してさらに２個のニューロンを配置して軸索と樹状
突起を成長させたオートマトンを示す図である。

【図１２】不必要な軸索と樹状突起を検出する動作を示
すフローチャートである。

【図１３】軸索と樹状突起を再配置する動作を示すフロ
ーチャートである。

【図１４】セルを再配置する動作を説明するための図で
ある。

【符号の説明】

２ａ，２ｂ，２ｃ セルラオートマトン ３ セル ４ 成長状態導出機構 ５ 安定期状態導出機構 ６ 入出力部 ８ 評価部 １１ 評価反映部 ２０，２１ ニューロンセル ２２ 軸索セル ２３ 樹状突起セル ２４ 空白セル

───────────────────────────────────────────────────── フロントページの続き (72)発明者 下原 勝憲 京都府相楽郡精華町大字乾谷小字蛇喰１ 日本電信電話株式会社内 Ｆターム(参考） 5F083 FZ10 GA05 LA01 ZA11 ZA27

Claims (3)

【特許請求の範囲】
1. 【請求項１】 状態を保持する状態記憶機構をもつセル
   が多数個格子状に配列され、各々のセルは現在のセルの
   状態とその近傍のセルの状態をもとに同期して次の状態
   を更新する状態更新機構を有するセルラオートマタにお
   いて、 その上に１個ないし複数個のセルからなるニューロンを
   配置し、予め配置した成長情報に基づいてニューロンの
   軸索および樹状突起に相当するセル群を成長させるセル
   ラニューラルネットであって、 ニューラルネットの動作に不必要な軸索および樹状突起
   を検出する検出手段と、 前記検出手段によって検出された不必要な軸索および樹
   状突起を除去する除去手段とを備えた、再配置可能型セ
   ルラニューラルネット。
2. 【請求項２】 さらに、前記不必要な軸索および樹状突
   起を除去した後の残された軸索および樹状突起の配置を
   変更する配置変更手段を備えた、再配置可能型セルラニ
   ューラルネット。
3. 【請求項３】 さらに、前記配置変更手段によって配置
   の変更された軸索および樹状突起を構成するセル以外の
   セルを利用して新たなニューロンを成長させる手段を備
   えた、請求項２に記載の再配置可能型セルラニューラル
   ネット。