JP2005509978A - 教師あり及び教師なしクラスタ分析を有する曖昧ニューラルネットワーク - Google Patents

Abstract

【課題】
【解決手段】曖昧ニューラルネットワーク（ＰＬＡＮＮ）は、相互情報で与えられる重み結合を有する人工的なニューラルネットワークであり、能力と学習を有し、生物学的なニューラルネットワークの多くの特徴を保持している。学習アルゴリズム（３００，３０１，３０２，３０４，３０６，３０８）は、統計的な推定を基礎としており、これは現在使用されている勾配の適切なアプローチより速い。訓練後のネットワークは、ファジイ／信念ネットワークとなり、推論と重みは交換可能である。その結果、知識の抽出が単純になる。ＰＬＡＮＮは、単一ネットワークアーキテクチャにおける連想記憶、教師あり、半教師あり、教師無し学習及び機能／関係推量を実行する。このネットワークアーキテクチャは、アナログＶＬＳＩ設計によって容易に実装することができる。

Description

本発明は、ニューラルネットワークに関する。特に、本発明は統計的推論モデルを用いたニューラルネットワークモデルに関する。このモデルにおいては、モデルの計算と推論が共に、可能性及び蓋然性を自然に有する。

ニューラルコンピューティングと推論との関係は長い間検討されてきた（例えば、ＭｃＣｕｌｌｏｃｈ，Ｗ．Ｓ．及びＰｉｔｔｓ、「神経活動に偏在する思考の論理演算」数理生物学の発表５、ｐｐ．１１５−１３３（１９４３）、Ｂａｕｍ，Ｅ．Ｂ．及びＷｉｌｅｚｅｋ，Ｆ．、「ニューラルネットワークによる確率分布の教師あり学習」ニューラル情報処理システム、ｐｐ．５２−６１（１９８８）、及びＨｏｐｆｉｅｌｄ，Ｊ．Ｊ．、「フィードフォワード及びフィードバックネットワークにおける学習アルゴリズムと確率分布」全国科学アカデミーの議事録、ｐｐ．８４２９−８４３３（１９８７）を参照）。これらの研究のほとんどは、ニューラルネットワーク計算を用いてブール論理又は確率推論との結合の起源を説明している。論理的命題の真理又は仮説の信念を取り扱う際に、それに関連した多くの用語があり、確信度、支援、確認及び確信レベルが含まれる。

歴史的にこれらは主観的又は認識学的なものであり、確率変数を伴う偶然又は射幸的な確率と同じではないとみなされている。概念的に異なるものの、認識学的な確率が射幸的な確率の規則に従うか否かについてはいつも議論の中心にあった。もし、認識学的な確率が異なる規則を有するのであれば、それは思考の規則、又はニューラル計算の創発的な性質から出現しなければならない。

ニューラル処理はしばしば絶対値ではなく活動電位における差異を検出することを目的とする。例えば、ニューラル処理は純粋な輝度ではなくコントラストを検出し、領域ではなくエッジを検出するといった具合である。証拠に基づく推理において、活動電位における差異は証拠の重みが仮説を支持することを意味し、それは可能性評価の信念へ変換され得るものである。ニューロン活動の競争的な性質は信念の判断を含んでいる。

蓋然性、可能性及び他の種類のファジイ論理を計算可能な、曖昧ニューラルネットワーク（ＰＬＡＮＮ）モデルについてここで説明する。ＰＬＡＮＮ学習アルゴリズムは、米国特許出願シリアル番号０９／８０８，１０１で論じられており、その全体の参照によってここに組み入れられている。本出願ＰＬＡＮＮの一層詳細なアーキテクチャ及び活性化モデルを説明しており、それはＰＬＡＮＮ推論の計算を容易にする。

多くの研究者がニューロンは情報を不正確に処理すると考えてきた。もし論理的推論がニューラルコンピューティングから出現するとすれば、それはよく見ても正確ではない。したがって、信念論理とニューラルネットワークとの間には難解な関係があるに違いない。本出願において、蓋然性及びファジイ論理を計算可能な曖昧ニューラルネットワークモデルが説明されている。ネットワークのアーキテクチャとそのハードウェアデザインは、曖昧思考マシンの必須要素であり、以下に説明されている。

本発明の一実施形態によれば、ＰＬＡＮＮ計算は、計算システムにおける協同かつ競争的な処理の相互作用を基礎としている。協同的な性質は、線形散逸的システムにおけるエントロピーの増大の結果として生じる。競争的な性質は、非線形受動システムにおけるエネルギー保存結果として生じる（例えば、Ｅｌｆａｄｅｌ，Ｉ．Ｍ．及びＷｙａｔｔ，Ｊ．Ｌ．、「ソフトマックス非線形性：多端子アナログ回路要素としての統計的力学及び有効な性質を用いた導出」−ニューラル情報処理システムにおける進歩６、ｐｐ．８８２−８８７（１９９４））。両者は、統計力学から導き出される。

本発明の一実施形態によれば、ＰＬＡＮＮはアナログＶＬＳＩにおける実装として説明される。もちろん、本発明がここに説明された実施形態に限定されないことは、当該技術分野における通常の技術を有する者には容易に認識されるであろう。本発明は、計算におけるこれら２つの原理を許容する他の種類の計算媒体にも実装可能である。

添付図面を参照しながら本発明の好適な実施形態を説明する。本発明は、添付の図面に図示された実施形態を参照することによって一層容易に理解されるであろう。各図において、同様の番号が同様の機能及び構成を参照すると理解されるであろう。図１は、相互情報とニューロン重み結合との関係を示している。ＰＬＡＮＮモデルは、次の式で与えられるニューロンＸとニューロンＹとの重み結合を有するニューラルネットワークである。

ω₁₂＝ｌｎ（Ｐ（Ｘ，Ｙ）／Ｐ（Ｘ）Ｐ（Ｙ）） （１）

これは、２個のニューロンの相互情報内容の導入履歴を含んでいる。図１に示されているように、式（１）から以下のことが分かる。

Ｘ及びＹが正の相関を有する場合はω₁₂＞０
Ｘ及びＹが負の相関を有する場合はω₁₂＜０ （２）
Ｘ及びＹが統計的に独立である場合はω１２＝０

ニューロンはしばしば隣接するグループに組み込まれる。ニューロンの発火パターンは、そのグループにおける他のニューロンの相対的な強さに依存しており、これは競争を引き起こすグローバルフィードバック抑制を介して達成される。正規化によって、ニューロン集団の発火パターンはファジイ集合のαカット処理として解釈することができる。そして、信号の強さは統計力学にしたがって設計し直される。図２は、本発明の実施形態に係る教師ありニューラルネットワークのアーキテクチャを示している。教師あり学習において、ネットワークは好ましくは、１個の入力データ層２０２と１個の自由に実行される隠れた層２００とを有する。「自由に実行される」とは、その層がランダムに初期化されることを意味する。入力ニューロン２０２は信号を生成し、隠れたニューロン２００は入力信号（活動電位）の集合を受信する。隠れたニューロン２００は活性化のために競争し、その後に信号（正規化された活動電位又は活性化レベル）を生成して入力ニューロン２０２にその信号を送り返す。入力ニューロン２０２は、隠れたニューロン２００からの活動レベル信号を受信するが、それらの値が変化しないように（省略された初期入力値がある場合を除いて）「クランプ」される。このフィードバック処理はネットワークが安定するまで入力と隠れたニューロンとの間で続けられる。

競争力のあるニューロンｙ₁，ｙ₂，．．．ｙ_n２００のグループが属性ニューロンｘ₁，ｘ₂，．．．ｘ_m２０２のグループからの入力信号を受信する。ニューロン集団２００の活性化は次の式で与えられる。

ここで、

であり、これは通常、ソフトマックスといわれる。式（３）はパターン情報を追跡し、ノイズを取り除く。これは相対的な測定を利用する。この処理は、ニューロンが広いダイナミックレンジにわたって敏感に応答することを可能にすると共に、大規模ネットワークの計算の負荷を軽減する。

活性化及び学習のために選択された処理を有するニューラルネットワークが文献に記述されている。例えば、Ｆｕｋａｉ，Ｔ．及びＴａｎａｋａ，Ｓ．、「ニューラルアンサンブルの選択的活性化を示す単純ニューラルネットワーク：Ｗｉｎｎｅｒ−Ｔａｋｅ−ＡｌｌからＷｉｎｎｅｒ−Ｓｈａｒｅ−Ａｌｌへ」、ニューラル計算９，ｐｐ．７７−９７（１９９７）、及びＫｏｅｒｄｉｎｇ，Ｋ．Ｐ．及びＫｏｅｎｉｇ，Ｐ．、「ダイナミックリクルート及び相関外れのための学習規則」ニューラルネットワーク１３，ｐｐ．１−９（２０００）を参照。これらのネットワークは通常、競争力のあるネットワーク又は「ｓｏｆｔ ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ」と呼ばれている。「ｓｏｆｔ ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ」を計算するためのモジュールを使用するネットワークは、シグマ状ゲートを有するネットワークに類似した計算能力を有する（例えば、Ｍａａｓｓ，Ｗ．、「Ｗｉｎｎｅｒ−Ｔａｋｅ−Ａｌｌを有する計算能力に関して」ニューラル計算１２（１１）、ｐｐ．２５１９−２５３６（２０００）参照）。ＫｏｅｒｄｉｎｇとＫｏｅｎｉｇのモデル（２０００）において、発火速度の増加はシナプスの効力における減少を引き起こし、これは相互情報の内容に基づくＰＬＡＮＮ学習規則にも類似している。

競争力のあるネットワークのために、ニューロンは重み付けられた情報を受信し、活性化のための競争を行う。数学的に、この処理は合計及び最大の演算を組み合わせ、ｔ−ｃｏｎｏｒｍ演算となる（合計及び最大の両方がｔ−ｃｏｎｏｒｍである）。そして、信号変換の元で我々は、統計的証拠のファジイアプリケーション（ＦＡＳＥ）に述べられているようなｔ−ｎｏｒｍ演算を有する（Ｃｈｅｎ，Ｙ．Ｙ．、「統計的証拠のファジイ分析」、ファジイシステムにおけるＩＥＥＥトランザクション８、ｐｐ．７９６−７９９（２０００））及び米国特許出願シリアル番号０９／８０８，１０１に記述された曖昧ニューラルネットワークモデル。

２個の異なる計算スタイルが交互であることは、機械学習の文献において様々な見地から議論された重要な原理である。これは、非線形変換関数を有する線形システムに対応している（例えば、Ｋｏｓｋｏ，Ｂ．、ニューラルネットワーク及びファジイシステム−力学システムが機械の知能に近づく（１９９２））、ディジタル選択を有するアナログ計算（例えば、Ｈａｈｎｌｏｓｅｒ，Ｒ．、Ｓａｒｐｅｓｈｋａｒ，Ｒ．、Ｍａｈｏｗａｌｄ，Ｍ．、Ｄｏｕｇｌａｓ，Ｒ．及びＳｅｕｎｇ，Ｓ．、「皮質刺激シリコン回路に同時に存在するアナログ増幅のディジタル選択」、ネイチャー、Ｖｏｌ．４０５、ｐｐ．９４７−９５１（２０００）を参照）、及びＥ−Ｍアルゴリズム。これは、いくつかの知覚注意問題に応用されている。

本発明の一実施形態によれば、曖昧ニューラルネットワークは汎用のデータ分析方法である。これはデータ情報のパターンを抽出して知識及び推論に変換する。
本発明の一実施形態によれば、競争力のあるニューロン集団は複数のニューロンを有し、統計の推論における変数に対応し、全体における各ニューロンは変数の可能な値を代表している。変数は連続的でも離散的でもよく、サンプル空間又は仮説空間を代表している。変数がｋカテゴリーに離散的である場合は、Ｘ＝（Ｘ₁，Ｘ₂，．．．，Ｘ_k）によってコード化される。したがって、各ニューロンは特定のデータ値の指示関数である。変数が連続的な場合は、競争力のあるニューロンの数が有限であるので、アナログデータは相補的なファジイ集合としてコード化される。この処理はファジイ化（ｆｕｚｚｉｆｉｃａｔｉｏｎ）として知られている。

が変数Ｘのファジイ集合表現であるとすれば、Ｘの確率密度関数は、

ここで、

はファジイ集合のメンバーシップ関数であり、

である。ファジイ集合のメンバーシップ関数は、入力ｘで与えられるニューロン

の活性化レベルに対応している。式（４）は重み付けられた合計のみを含み、これはニューラルコンピューティングにおいて自然である。
カテゴリー分類と異なり、ファジイ化は情報ロスを引き起こさない。脱ファジイ化（ｄｅｆｕｚｚｉｆｉｃａｔｉｏｎ）によって有利にデータが復旧可能である。ベクトルコード化及びファジイ化によって離散的な変数及び連続的な変数の取り扱いが統一される。欠落データはゼロベクトルとして扱われ、何の情報も提供せず、欠落データ以外のすべてのデータを分析に使用することができる。こうして、本発明の実施形態に係るニューラルネットワークは、可能な限り多くの変数を獲得し、データ情報のすべてのビットを利用することができる。

数学的な観点からいえば、それぞれの変数はファジイ集合であり、特別なケースとして明確なセットを含む。ファジイ集合の表現によって我々は、分類及び回帰の推論のために同じネットワーク計算を設計することができ、これは画像認識のような構造パターンに応用することができる。同様に、我々はマルコフ連鎖及び時間シリーズ推論のために同じネットワーク計算を設計することができ、これは画像認識のような時相パターンに応用することができる（現行のほとんどの音声認識方法は隠れたマルコフモデル（ＨＭＭ）及び時相ニューラルネットワークの個別のモジュールを必要としている）。論理的な観点から、ファジイ集合はシンボリック計算と数値計算との橋渡しとして働き、自然言語及び信念の判断のために重要である。

ニューロンのグループが仮説空間を代表する場合は、発火ニューロンが確信セット生成し、入力パターン潜在変数又は仮説の記憶パターンに合致する。そのしきい値は、Ｃａｒｐｅｎｔｅｒ，Ｇ及びＧｒｏｓｓｂｅｒｇ，Ｓ．、「自己組織化ニューラルネットワークによる順応性パターン認識のＡＲＴ、ＩＥＥＥコンピュータ、Ｖｏｌ．２１（３）、ｐｐ．７７−８８（１９８８）に記載されているＡＲＴネットワークの覚醒パラメータに似ている。ネットワークの安定的な状態は、ＡＲＴの共振にも似ている。

教師無し学習は階乗のコード化を引き起こす（Ｂａｒｌｏｗ（１９８９））。図５は、拡散処理と信念論理との関係を示している。したがって、ニューラル処理のより高いレベルにおいて、ｙ₁及びｙ₂が二つの競争力のある仮説であり、ｘ₁，ｘ₂，．．ｘ_nから入力を受信するとすれば、それらの活動電位は次のようになる。

ｙ₂の証拠の重みがｙ₂より大きいければ、それらの活動電位の差は次のようになる。
ｌｎ（（ｐ（ｘ₁，ｘ₂，．．．ｘ_n｜ｙ₁）／（ｐ（ｘ₁，ｘ₂，．．．ｘ_n｜ｙ₂））（ｓｔｅｐ５０２） （６）
信号変換によって我々はＢｅｌ（ｙ₂｜ｘ₁，ｘ₂，．．．ｘ_n）（ｓｔｅｐ５０３）を得る。（例えば、Ｃｈｅｎ，Ｙ．Ｙ．、「可能性及び信念測定に基づく統計的推測」、Ｔｒａｎｓ．Ａｍｅｒ．Ｍａｔｈ．Ｓｏｃ．、Ｖｏｌ．３４７，ｐｐ．１８５５−１８６３（１９９５）を参照）。

尤度の対数はしばしば証拠の重みとして言及される。なお、（６）はベイズ推論で生じるようなバイアス項ｌｎ（ｐ（ｙ₁）／ｐ（ｙ₂））を有していない。
ＰＬＡＮＮは再帰ニューラルネットワークであり、完全な相互連絡を有することを許容する。しかしながら、層ネットワークはより効率的にエネルギーが節約され、組織に元々好まれる。１つの入力層及び１つの隠れた層を有する単純な二層ネットワークの実験が行われた。隠れたニューロンを有する学習アルゴリズムは本来、Ｅ−Ｍアルゴリズムであり、これは図３のフローチャートに示され、次のように与えられる。
１．隠れたニューロンをランダムに発火させる（ステップ３００、３０１）。
２．データ情報（ファジイ集合のコード化）を入力する（光学ステップ３０８）。
３．Ｍ−ステップ：隠れたニューロンを有する入力ニューロンの重み結合を評価する（ステップ３０２）。
４．Ｅ−ステップ：隠れたニューロンの活動電位を計算し、［０，１］に正規化する（ステップ３０４）。ニューロンの活性化レベルがしきい値αより大きければ、発火する（ステップ３０６）。
５．隠れたニューロンの発火が変化すればシナプスの重みを更新する（３０１）。
６．この手順をネットワークが安定するまで繰り返す。

図２及び図４に示すように、隠れたニューロン２００，４００は潜在変数である。それぞれの潜在変数は、訓練の後に積極的に関係付けられたニューロン２０２、４０２の集団を代表している。隠れたニューロン２００、４００の自由な競争がある限り、それらは新たなパターンを選ぶことができ、古いメモリーは侵食されない。
Ｅステップ３０４、３０６は、ｓｏｆｔ ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌと等価である。ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌを計算するためのモジュールを使用するネットワークは、シグマ状ゲートを有するネットワークと同様の計算能力を有する。

この学習アルゴリズムは、教師あり学習及び教師無し学習の両方に使用することができる。異なる点は、入力ニューロンがクラスラベル情報を含むか否かである。図４に示すように、クラス情報ニューロン４０４が提供され、教師あり学習が発生する。クラスラベル情報の部分が無い場合は、セミ教師あり学習となる。
ＰＬＡＮＮアルゴリズムが、教師あり学習及び教師無し学習のために、ＵＣＩ機械学習リポジトリのデータセット上でテストされた（Ｂｌａｋｅ，Ｃ．Ｌ．及びＭｅｒｚ，Ｃ．Ｊ．、機械学習データベースのＵＣＩリポジトリ（１９９８）（ｈｔｔｐ：／／／ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／〜ｍｌｅａｍ／ＭＬＲｅｐｏｓｉｔｏｒｙ．ｈｔｍｌ）参照）。これは、ｔｉｃ−ｔａｃ−ｔｏｅ及びｌｅｄデータのような多次元パターンを抽出することができる。訓練されたネットワークの重みは容易に不確実性の測定へ変換され得る。我々は、動物園データセットを用いて、この特徴を説明する。

図６は、動物園データのためのＰＬＡＮＮの教師無し学習アルゴリズムのネットワーク出力を示している（データにおいてクラスタイプは使用されていない）。これは、図２に示すように、１５個の隠れたニューロンによって訓練される。もちろん、１５個の隠れたニューロン２００の選択は例示に過ぎず、請求の範囲に記載したように、本発明の趣旨の範囲内において与えられた情況のために任意の数の隠れたニューロンを適用することができることは、当該分野の熟練者であれば容易に認識するであろう。訓練の後に、１０個の集団が形成された。図６（ａ）は出力の確率を示し、これはネットワークの重みから変換される。単純な推論規則が図６（ｂ）に示された図表から得られる。この図表は、集団における動物のリストを与えている。図示のように、ネットワークは、訓練のサンプルサイズに関係なく、識別し得るパターンを見つける。訓練後の正規化された活動電位は隠れたニューロンの可能性評価を提供することができ、これは、ある集団に属するデータ入力のファジイメンバーシップとして解釈され得る。これらは、図６（ｃ）の図表に要約されている。例えば、「ミルク」は集団Ｃ₅に属すが、同時にそれは０．９６の可能性で集団Ｃ₃にも属する。

次に、教師あり学習について一次腫瘍ドメインデータセットの例示と共に説明する。一次腫瘍データは３３９の腫瘍学上の実例を含んでいる。それぞれの腫瘍はクラスラベルを含む１８の属性によって記述され、クラスラベルは２２の異なる腫瘍部位を示している。認識ドメインの複雑さ、限られた数の属性と利用できるサンプルサイズのゆえに、腫瘍の予知はしばしば誤りとなる。ほとんどの推論方法のための一次腫瘍データの分類の正確さは５０パーセントを下回っている。重要な論点は、推論の不確実さが適切に取り扱われるか否かである。

図４に示すように、１つの入力層４０２、４０４及び１つの隠れた層４００を有する二層ニューラルネットワークが作製された。この入力層は、クラス４０４及び属性４０２のニューロンからなる。属性値の入力によるテストが行われ、これは隠れたニューロン４００へのフィードフォワードとなると共に、クラスニューロン４０４へのフィードバックとなる。図７は、しきい値、予知の正確さ及び実験において発火するクラスニューロンの平均的な数の関係を示している。他の分類方法と同様に、最大後部確率に基づく予知は低い精度を有する。しかしながら、我々は予知を高い精度で２つ又は３つのタイプの腫瘍に狭めることができる。

本発明の一実施形態によれば、ネットワークは訓練後の信念ネットワークであり、これはエキスパートシステムに関係するドメインである。知識の抽出のために、我々は変数の値を入力して別の関連する変数値の出力を観察することができ、競争力のあるニューロンのグループ内において大きなコントラストを有する場合に、この出力が活動的になる。この関連付けられた知識は、「ＡならばＢ」の論理的命題と等価である。一次腫瘍データの訓練されたネットワークにおける例として、我々は「腫瘍部位が卵巣であれば、それは鎖骨上ではない」（ＣＦ＝．９７）。を得る。この確信度は、活動電位の差から変換される。

クラス変数が教師あり学習において連続的である場合に、ＰＬＡＮＮ推論は機能推定と関係推定の両方を実行することができる。ＰＬＡＮＮ推論の機能推定は、へノンマップのデータの分析によって説明され、これは無秩序ダイナミックシステムとしてよく知られている。このへノンマップは、時間を通して展開する非線形の関係を有する２つの相互変数からなる。データは、時系列に速いオーダーの時間ずれで訓練される。予知のために、我々は訓練されたネットワークに遅延時間の列を入力し、出力値のファジイ重心を計算する。この処理は、脱ファジイ化（ｄｅｆｕｚｚｉｆｉｃａｔｉｏｎ）と呼ばれている。図８は、ＰＬＡＮＮ推論の実験結果を示している。これは、互いに関連する複数の時間列を同時に予知しており、これは他の多くの推論方法にとって困難なものである。

計算システムの物理的性質において、通信チャンネル間にエネルギー電位の差が無い場合は、拡散処理が無く、信号が全く検出されない。したがって、コントラスト計算がニューロモーフィック回路システムにおいて広く使用されている。例えば、視覚ニューラルシステムにおいて、空間電位の差がエッジ検出の計算を行う。聴力ニューラルシステムにおいて、時相電位の差が音検出の計算を行う。本発明の一実施形態によれば、競合仮説の証拠電位のコントラストが信念の判断の計算を行う。

ＰＬＡＮＮの回路設計は、アナログＶＬＳＩニューロモーフィック回路に基づいている（Ｍｅａｄ（１９８９））。基本的なニューロモーフィック回路の一つは、相互コンダクタンスである。差動相互コンダクタンス増幅器において、２つのドレイン電流の差動ペアは、
Ｉ₁＝Ｉ_b・ｅｘｐ（κＶ₁）／（ｅｘｐ（κＶ₁）＋ｅｘｐ（κＶ₂））
Ｉ₂＝Ｉ_b・ｅｘｐ（κＶ₂）／（ｅｘｐ（κＶ₁）＋ｅｘｐ（κＶ₂））
（７）
ここで、κはプロセスに独立のパラメータである。しきい値より低い運転状況（低電力）において、電圧及び電流は対数及び指数の関係に従う。２つの電流は、バイアス電流Ｉｂを掛けた相補確率ｐ及び１−ｐと考えることができる。「不確実性の測定」の基本の性質は相対的な奇数であるので、実際のバイアス電流は重要ではない。式（７）から尤度の対数は次のようになる。
ｌｎ（Ｐ／（１−ｐ））＝ｌｎ（Ｉ₁／Ｉ₂）＝κＶ₁−κＶ₂
（図５、ステップ５０２） （８）
これは、式（６）と等価である。電圧は競合仮説の証拠の重みに対応しており、電流は確率又は可能性に対応している。

差動相互コンダクタンスをｎユニットに展開することにより、我々はｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ（ＷＴＡ）回路を得る（例えば、Ｌａｚｚａｒｏ，Ｊ．、Ｒｙｃｋｅｂｕｓｃｈ，Ｓ．、Ｍａｈｏｗａｌｄ，Ｍ．Ａ．、Ｍｅａｄ，Ｃ．、「Ｏ（ｎ）複雑さのＷｉｎｎｅｒ−Ｔａｋｅ−Ａｌｌネットワーク」、ニューラル処理システムにおける発展、Ｖｏｌ．１、ｐｐ．７０３−７１１（１９８９）、Ｅｌｆａｄｅｌ，Ｉ．Ｍ．及びＷｙａｔｔ，Ｊ．Ｌ．、「Ｓｏｆｔｍａｋｘ非線形性：統計力学と多端子アナログ回路要素としての有益な性質を用いた導出」ニューラル情報処理システムにおける発展、Ｖｏｌ．６、ｐｐ．８８２−８８７（１９９４）、Ａｓａｉ，Ｔ．、Ｆｕｋａｉ，Ｔ．及びＴａｎａｋａ，Ｓ．、「Ｗｉｎｎｅｒ−Ｓｈａｒｅ Ａｌｌ Ｓｏｌｕｔｉｏｎを生成するＬｏｔｋａ−Ｖｏｌｔｅｒｒａニューラルネットワークのためのしきい値を下回るＭＯＳ回路」、ニューラルネットワーク、Ｖｏｌ．１２、ｐｐ．２１１−２１６（１９９９））。ＷＴＡ回路は出力電流を計算する。

ＷＴＡ回路は、すべてのユニットへのグローバル抑制フィードバックを有する再帰ネットワークである。バイアス電圧を制御する追加トランジスターによって、出力は複数の勝者又は単一の勝者を生成する（例えば、Ｌｉｕ，Ｓ．Ｃ．、制御可能なＳｏｆｔ Ｍａｘ性質を有するＷｉｎｎｅｒ−Ｔａｋｅ−Ａｌｌ回路（２００１））。これは、ファジイ集合のαカット動作に相等する。ＷＴＡは、ファジイ集合動作と確率の正規化とを結合して単一の計算とする（式（２）及び式（３））。

ＷＴＡの計算の性質を変える別の方法は、横方向の表現及び／又は抑制を加えることによって行われ、これはＩｎｄｉｖｅｒｉ，Ｇ．、「横方向刺激を有するＷｉｎｎｅｒ−Ｔａｋｅ−Ａｌｌネットワーク」アナログ集積回路及び信号処理、Ｖｏｌ．１３，ｐｐ．１−９（１９９７）、及びＩｎｄｉｖｅｒｉ，Ｇ．、「刺激及び抑制結合を有する電流モードヒステリシスＷｉｎｎｅｒ−Ｔａｋｅ−Ａｌｌネットワーク」、アナログ集積回路及び信号処理、Ｖｏｌ．２８、ｐｐ．２７９−２９１（２００１））。横方向の表現は、電子刺激をそれに隣接するニューロンへ広げる。このような分布した表現は、多くの脳領域で観察されており、母集団コードと呼ばれている。数学的にいえば、この分布した表現は、連続的な変数のファジイ集合コード化又は離散的な変数の冗長コード化と解釈することができる。この回路は自己正規化される。つまり、出力が入力電流の平均を計算する。回路ユニットの冗長度は計算の頑強性を増加させ、回路デバイスの不整合を克服する。

本発明の一実施形態によれば、離散的な変数及び連続的な変数の両方がＷＴＡ回路によって表現され、したがって同じネットワーク設計によって計算される。従動集合回路を有するＷＴＡ（例えば、Ｍｅａｄ，Ｃ．、アナログＶＬＳＩ及びニューラルシステム（１９８９））は、空間信号の静的関係を計算する。従動集合回路を有するＷＴＡ（Ｍｅａｄ（１９８９））は、時相信号の動的関係を計算する。

あるニューロンが他のニューロンから電流入力を受信するとき、その膜電位が上昇する。ある集合グループにおけるニューロンは活動のために競い、膜電位がしきい値を超えればスパイクが発生する。より強い信号を受信したニューロンが先に発火し、より強い振幅を生成する。競争力のあるネットワークを有する集積及び発火ニューロンチップの回路設計がＡｓａｉ他に記述されている（２００２）。

ＰＬＡＮＮ学習を実装するために、集積及び発火ニューロンチップにおけるシナプスは不揮発性のメモリーに適応できる必要があり、そのようなデバイスの回路設計については、Ｄｉｏｒｉｏ，Ｃ、Ｈｓｕ，Ｄ．及びＦｉｇｕｅｒｏａ，Ｍ．、「適応性ＣＭＯＳ：生物論理的なインスピレーションからオンチップシステムへ」ＩＥＥＥ議事録９０、Ｖｏｌ．３、ｐｐ．３４５−３５７（２００２）に述べられている。これは、シリコン適応シナプスと呼ばれている。

ＰＬＡＮＮ学習において、小さな遅延学習窓の範囲内のシナプス前のニューロンＸのスパイクがシナプス後のニューロンＹのスパイクに追従される場合は、重みが増加する。シナプス後のニューロンによってスパイクが発生しない場合は、重みが減少する。学習アルゴリズムの詳細は、米国特許出願シリアル番号０９／８０８，１０１、及びＣｈｅｎ，Ｙ．Ｙ．、「曖昧ニューラルネットワーク」、ニューラルネットワークワールドにおける発展、ｐｐ．１８０−１８５（２００２）に記載されている。この重み更新の計算は、Ｓｈｏｎ，Ａ．、Ｈｓｕ，Ｄ．及びＤｉｏｒｉｏ，Ｃ．、シリコンにおけるスパイクに基づく相関の学習及び条件付の確率、進んだニューラル情報処理システム、ｖｏｌ．１４（２００２）に記述されているように、シリコン適応シナプスによって実装され得る。

ここに開示した本発明は、特定の実施形態及びその応用例を用いて説明されているが、当該分野の熟練者にとって、請求の範囲に記載された本発明の趣旨から離れることなく、多くの改変及び変形を行うことが可能であろう。

本発明の実施形態に係る相互情報とニューロン重み結合との関係を示している。 本発明の実施形態に係る教師ありニューラルネットワークのアーキテクチャを示している。 本発明の実施形態に係る教師あり学習アルゴリズムを示すフローチャートである。 本発明の実施形態に係る教師ありニューラルネットワークのアーキテクチャを示している。 本発明の実施形態に係る拡散処理と信念論理との関係示している。 本発明の実施形態及び動物園データベースからのデータで得られた実験結果の図表である。 本発明の実施形態及び動物園データベースからのデータで得られた実験結果の図表である。 本発明の実施形態及び動物園データベースからのデータで得られた実験結果の図表である。 本発明の実施形態及び一次腫瘍データセットからのデータで得られた実験結果の図表である。 本発明の実施形態で得られた実験結果を示している。

Claims (12)

1. データ情報に基づく曖昧推論を計算するために、複数のニューロンを備え、それぞれのニューロンの間に重み結合を有するニューラルネットワークを訓練する方法であって、そのプロセスは以下のステップを備えている；
   （ａ）０と１の間の値を有するアナログ信号で複数の入力ニューロンのそれぞれを発火し、この際、それぞれの発火入力ニューロンに結合したニューロンのグループに対して発火し、
   （ｂ）活動電位である、複数の隠れたニューロンにおける信号の重み付けられた総和を受信し、
   （ｃ）前記複数の隠れたニューロンの間で活性化を競い、
   （ｄ）それぞれの隠れたニューロンのために、その活動電位と最も高い活動電位との比がしきい値を超えれば前記隠れたニューロンを発火し、そうでなければ休止状態を維持し、
   （ｅ）隠れたニューロンのグループにおける活動電位を正規化し、前記正規化された活動電位がニューロン出力の信号を有する。
2. 請求項１記載の方法であって、前記ニューラルネットワークは、以下の構成を有する並列分散計算機である；
   少なくとも１つの入力層及び少なくとも１つの出力層を有し、
   前記入力層は複数の入力ニューロンを備え、前記出力層は複数の出力ニューロンを備え、それぞれのニューロンは少なくとも１つの他のニューロンとの重み結合を有する。
3. 請求項２記載の方法であって、出力ノードの信号が、イベントの確率、命題の真理、又はファジイ集合のメンバーシップ関数を表す論理値を有する。
4. 曖昧ニューラルネットワークにおけるデータのコード化の方法であって、以下のステップを備えている；
   （ａ）関連する変数を有する訓練データで前記ネットワークを訓練し、前記変数はニューロンの全体を備え、前記全体における各ニューロンは前記変数のファジイサブ集合を表し、
   （ｂ）前記全体における前記ニューロンのそれぞれを前記訓練データのデータ値に基づくある度合いで活性化し、前記全体における各ニューロンの活性化レベルはファジイ集合の０と１の間のメンバーシップ関数であり、ニューロンの前記全体の活性化レベルの総和が１になる。
5. 教師無し学習又はクラスタ分析のための属性ニューロンの少なくとも１つの入力層と集団ニューロンの少なくとも１つの隠れた層を備える曖昧ニューラルネットワークの訓練の方法であって、以下のステップを備えている：
   （ａ）前記隠れた層における前記複数の集団ニューロンをランダムに発火し、
   （ｂ）前記集団ニューロンと前記属性ニューロンとの重み結合を計算し、
   （ｃ）前記属性ニューロンを再度入力すると共に前記集団ニューロンの活性化を計算し、
   （ｄ）前記集団ニューロンと前記属性ニューロンとの重み結合を更新し、
   （ｅ）ネットワークが安定するまでステップ（ｃ）及びステップ（ｄ）を繰り返す。
6. 少なくとも１つの入力層及び少なくとも１つの隠れた層を備え、前記入力層は複数の属性ニューロンと複数のクラスニューロンを備え、前記隠れた層は複数の集団ニューロンを備えているニューラルネットワークの教師あり学習及び半教師あり学習のための訓練及びテストの方法であって、
   前記ニューラルネットワークを訓練するステップは以下のステップを備えている；
   （ａ）前記隠れた層における前記複数の集団ニューロンをランダムに発火し、
   （ｂ）前記集団ニューロンと前記入力層ニューロンとの重み結合を計算し、
   （ｃ）前記クラスニューロン及び属性ニューロンを再度入力すると共に前記集団ニューロンの活性化を計算し、
   （ｄ）前記集団ニューロンと前記入力層ニューロンとの重み結合を更新し、
   （ｅ）ネットワークが安定するまでステップ（ｃ）及びステップ（ｄ）を繰り返し、以下のステップで前記ニューラルネットワークをテストする；
   （ｆ）前記属性ニューロンを入力すると共に前記集団ニューロンの活性化を計算し、
   （ｇ）前記集団ニューロンを前記クラスニューロンに戻すように発火する。
7. 曖昧ニューラルネットワークから知識を引き出すための方法であって、以下のステップを備えている；
   （ａ）データ値を複数のクラス／属性ニューロンに入力し、
   （ｂ）結合されたクラス／属性ニューロンの活動電位の相対的な振幅に基づいて前記クラス／属性ニューロン間のコントラストを計算し、
   （ｃ）前記コントラストを、クラス／属性ニューロン間の活性化レベルの差とそのライバルの活性化レベルとから決定された信念の度合いに変換し、
   （ｄ）前記コントラストがあらかじめ定めたレベルを超えれば、クラス／属性ニューロンの値を出力する。
8. 曖昧ニューラルネットワークの計算を実行するように構成された機械であって、
   しきい値未満の領域の計算を行うアナログ回路装置であって、その電圧及び電流が対数及び指数の関係に従うアナログ回路装置と、
   出力装置及び入力装置と、
   処理装置と、
   記憶された一連の機能を実行するための命令を実行可能な機械を有するメモリであって、一連のデータレコードを受信して記憶するように構成されたメモリとを備えており、
   前記メモリの機能は以下のものを含んでいる；
   （ａ）前記入力装置において訓練データを受信する、
   ここで前記訓練データは複数のレコードを含み、各レコードはそれに関連付けられたデータ値を有し、前記訓練データはファジイ集合コード化に対応する０と１との間のアナログ信号を有するベクトルである、
   （ｂ）前記曖昧ニューラルネットワークの活性化を計算するように構成されたｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ（ＷＴＡ）回路に前記ベクトルを入力する、
   ここで、前記電圧は曖昧推論における証拠の重みに対応し、前記電流は確率に対応する、
   （ｃ）相互コンダクタンス増幅器を通して前記電圧を印加する、
   ここで電圧の差が競合仮説の信念の判断を表す信号を生成する。
9. 請求項８記載の機械であって、更に、処理ユニット間の重み結合を更新することによって訓練データを用いて訓練されるように構成されおり、前記機能が更に以下のものを含んでいる；
   （ａ）前記入力装置に訓練データを受信する、
   ここで前記訓練データは複数のレコードを含み、各レコードは変数とそれに関連付けられたデータ値とを有する、
   （ｂ）結合したニューロンのいずれか一方が発火するたびに２つのニューロン間の結合の重みを更新する。
10. 請求項９記載の機械であって、前記結合の重みを更新するステップは、適応性シリコンシナプスによって実装されている。
11. 請求項８記載の機械であって、前記機械は更に、入力情報に基づく専門的知識応答と不確実性の評価を出力するように構成されている。
12. 請求項１１記載の機械であって、前記機械は曖昧思考マシンの構成要素として利用されるように構成されている。

Images