JP2002509303A - 等化直交マッピングによる多次元データの視覚化および自己組織化 - Google Patents

Abstract

(57)【要約】 本システムは、パターン・データの縮小次元マッピングを提供する。マッピングは、非線形ニューロンによる従来の単一隠れ層フィードフォワード・ニューラル・ネットワークによって適用される。本発明の１つの態様によれば、システムは、出力信号の共分散行列を対角行列すなわち定数×単位行列の形に縮小することよって、より低い次元の出力信号を等化し直交させるはたらきをする。本発明は、複雑な多次元データの大きな集合体を比較的「位相的に正しい」低次元近似で視覚化し、類似の目的を果たす他の方法に伴う不規則性を減少させ、同時にマッピングの高い計算効率を維持することができる。

Description

【発明の詳細な説明】

【０００１】 ＜関連出願＞ 本出願は、１９９５年９月２９日に出願された同時係属中の米国特許出願第０
８／５３６，０５９号の一部継続出願（ＣＩＰ）である。

【０００２】 ＜発明の背景＞ 本出願は、人工知能の技術に関し、より詳細には、パターン・データの大きな
集合体を組織化してその特徴の理解を容易にするための組織化システムに関する
。

【０００３】 本システムは、特に化学特性情報などの獲得した実験的データの分析に適用さ
れ、特にそのような実験的データの分析に関して説明する。しかしながら、本シ
ステムは、構成要素の視覚化および理解を可能にするために、任意の関連データ
の集合の分析にも適切に適応できることを理解されたい。

【０００４】 多くの特徴を持つパターン・データの大きな集合体の意味を理解することは困
難である。実際は、大きなデータの集合体でなく、各々が６つの特徴を含む４０
０パターンの集合体でも「理解」はまったく困難である。自己組織化の概念は、
そのような状況で行わなければならず、その作業を行う主に２つのアプローチに
よって理解することができる。１つのケースでは、パターン空間内にデータがど
のように分布しているかを発見し、パターンの大きな集合体を多次元クラスター
やその他の分布でより簡潔に記述しようとするものである。これは、適応共鳴理
論 (ART：Adaptive Resonance Theory)やその他のクラスター分析手法の基礎と なる重要なことである。

【０００５】 もう１つのケースでは、次元を縮小することに努力が払われる。これに対応す
る概念は、元の表現が多数の特徴を有し、冗長であり、いくつかの特徴が互いに
似た繰り返しであるというものである。そのような状況では、主要な特徴を抽出
し、次元縮小(dimension reduction)を行うことにより、各パターンと全てのパ ターンの記述を単純化することができる。次に、その縮小次元空間で内クラスタ
ー化が適切に行われる。カルフーネンレーブ（Ｋ−Ｌ）変換、Ｋ−Ｌ変換のニュ
ーラルネット・インプリメンテーション、および自動連想マッピング法（auto-a
ssociative mapping approach）はすべて、主成分分析（ＰＣＡ）、特徴抽出お よび次元縮小に関するものである。

【０００６】 実際には、２つの作業の流れは、完全に独立しているわけではない。たとえば
、ＡＲＴ法は、クラスターの形成において強力な「勝者独り占め」機構を有する
。これは、主要なプロトタイプを「抽出」し、その少数の主要なプロトタイプに
よって縮小した描写を形成するものとして見るのが適切である。特徴マップ法は
、横方向の刺激（excitation）−抑制（inhibition）によって、類似の特徴を持
つパターンが縮小次元特徴マップ内の連続領域にマップされるように類似パター
ンを集めることを目的としている。この方法は、次元をクラスター化し縮小する
。共通の目的は、データをより単純な表現に自己組織化することである。

【０００７】 本明細書では、これと同じ自己組織化を行うための新しい手法について説明す
る。その概念は、データを元の表現から縮小次元の１つに非線形マッピングする
ことである。そのようなマッピングは、多層フィードフォワード・ニューラルネ
ットよって実施するのが適切である。パターンの記述における全変動（total va
riance）の保存の原理に基づいて、ネット・パラメータが教師なしに学習される
。

【０００８】 次元縮小の概念は、それ自体、多少奇妙なものである。パターン・データの集
合体の次元を縮小した記述で、元のデータの集合体を表すことを可能にする。こ
れに対応する答えは、線形のケースでは分かっているが、一般的な非線形のケー
スでは詳しく説明するのはより困難である。

【０００９】 本発明に至る発展の始まりは、カルフーネンレーブ（Ｋ−Ｌ）変換に基づく主
成分分析（ＰＣＡ）の概念である。データ共分散行列の固有ベクトルは、関連デ
ータの非相関表現の基準を提供する。主成分は、大きい固有値、すなわちパター
ンによって大きく変化する特徴（変換された表現において）を有するものである
。大きい固有値が少数しかない場合は、縮小次元表現は、その少数の対応する固
有ベクトルによって適切に作成され、データ内のほぼ全ての情報が保存されたま
まになる。ＰＣＡにカルフーネンレーブ変換を利用することは、多くの非自明な
問題を扱うのに有効であることが分かっている。しかし、パターン認識では、保
存されるものが必ずしもクラス間の区別に役立つものではない限り、欠陥がある
。

【００１０】 次のある程度関連した進歩は、ＰＣＡとＫ−Ｌ変換と線形ニューラル・ネット
ワークの概念を結合しようとしたことである。その取り組みでは、重みを学習す
るバックプロバゲーション・アルゴリズムまたは一般化へブ学習アルゴリズムを
使用して完全に接続された多層フィードフォワード・ネットによるニューラルネ
ット計算によって線形Ｋ−Ｌ変換を達成しようとした。このシステムでは、正確
な目標関数が与えられた場合、隠れ層の何れかのノードへの線形リンクの重みは
、共分散行列の固有ベクトルの成分であることが分かる。また、初期の研究は、
主成分を順番にどのように見つけることができ、またその手法により、きわめて
大きい共分散行列の全ての要素を評価する退屈な作業をどのように回避できるか
について述べている。

【００１１】 初期の研究は、ネットワーク内のニューロンが非線形でもよい場合に何が達成
できるかという疑問を巧みに避けていた。この疑問は、他の取り組みにおいて検
討された。ひとつのケースでは、元のデータ・パターン・ベクトルは、非線形内
部層ノードを有する多層フィードフォワード・ネット内の多くの変換層によって
処理される。そのようなネットの出力層には入力層と同じ数のノードがあり、目
的は、全ての入力に対して、出力層が入力を再生できるようにネットを訓練する
ことである。これにより、いわゆる自動連想学習構成が実現される。さらに、内
部層のうちの１つは、おそらくノードの数を大幅に減少させたボトルネック層と
してはたらく。その減少した数のノードからの出力が、全ての場合において入力
を厳密に再生することができるので、ボトルネック層のノードは、主成分の集合
体と見なすことができる。これは、そのような学習で得られる解は唯一のもので
なく、初期状態と学習段階でデータ・パターンが提示される順序によって極端に
異なる点を除き、許容できる見方であることが分かる。結果は興味深いが、主成
分の唯一の集合はない。

【００１２】 もう１つの初期の特徴マップの手法では、次元縮小がさらに別の方法で達成さ
れる。縮小次元空間は、2次元として定義されるのが適切である。その場合、縮 小次元空間には、点の格子が広がっており、パターン・ベクトルは、そのような
格子点の各々に結合する。そのようなパターン・ベクトルは、問題のものと同じ
パターン領域からランダムに選択される。次に、問題のパターン・ベクトルは、
格子に結合した基準ベクトルとの類似度に基づいて縮小次元空間の格子点に割り
当てられる。これは、その手続きの生物学の影響を受けた面すなわち横方向の刺
激−抑制をもたらす。パターン・ベクトルが格子点に割り当てられるとき、最初
は本質的にランダムになる。これは、その格子点が偶然パターン・ベクトルと最
も類似した基準ベクトルを有することがあるためである。しかし、割り当てられ
た後、基準ベクトルは、入力パターン・ベクトルのものとさらに似るように修正
され、横方向に接近した格子点の全ての基準ベクトルも、その入力パターンとも
っと似るように修正される。このようにして、偶然に生じものはすぐになくなり
、実際上、元のパターン空間内において類似したパターンが縮小次元空間内に集
められる。偶然により、もし事態が少し違うように進行した場合には、連続した
領域に帰属されるパターンについて、２以上の全く異なるゾーンが作られること
がある。一方、そのような性質による結果は、計算作業の目的を損なわないであ
ろう。

【００１３】 データの自己組織化を行うＡＲＴ手法をこの文脈で説明することができる。何
故なら、ＭＡＸ−ＮＥＴがクラスターを作成する際に勝者ひとり占め手法を実施
し、クラスター空間におけるクラスター中心間の距離と関連しないが、実際の横
方向の抑制があるためである。データの圧縮はあるが次元縮小はない。

【００１４】 本発明の第１の態様によれば、上記その他の問題は、きわめて効率の高いシス
テムを使用して、パターン次元データを十分に明白な２次元表現に自律的に縮小
するシステムを提供することで解決できる。

【００１５】 エンジニアリングにおける多くの作業が、組織化されていない生データから有
益な情報を抽出するプロセスを含むことが分かる。しかしながら、前述のように
、大きな組の多次元データの意味を理解することは困難な作業である。その難し
さは、主に、パターン間の関係を容易に把握できない点によるものである。視覚
的表示は、この種の分析を導くのに最も便利なツールの１つであった。残念なが
ら、３次元よりも高い次元に関しては、意味のある形で実現することは直接的に
は不可能である。

【００１６】 前述のように、生データの意味を理解するためには、生データの複雑さを減少
させなければならない。この問題に取り組むために、一般に、２つの大きなカテ
ゴリーの手法が使用される。第１のカテゴリーでは、クラスター化やコホネンの
自己組織化マップ（ＳＯＭ）などの方法を利用し、データ・パターン間のユーク
リッド距離などの情報を使用して多次元空間内にデータ・パターンがどのように
分布しているかを推論する。そのような方法の重要な点は、クラスター属性や他
の分布によって大量のデータ・パターンをより簡潔に説明することである。

【００１７】 第２のカテゴリーの手法は、次元の縮小に重点を置いたものである。すなわち
データ・パターンの各々と全てを説明するのに必要な特徴の数を少なくすること
に重点を置いたものである。この概念は、おそらく元のデータ空間の次元が互い
に独立でない、すなわちそれらの次元が、必ずしも既知の次元のものである必要
はないが、ほんの少数の独立した固有次元(inherent dimension)の少し複雑な関
数であることがあるというものである。したがって、目的は、この縮小次元空間
を使用してパターンを示すことである。このカテゴリーに属するいくつかの方法
は、カルフーネンレーブ（Ｋ−Ｌ）変換による線形主成分分析（ＰＣＡ）、ＰＣ
Ａのニューラル・ネットワーク・インプリメンテーション、自動連想マッピング
法、および非線形分散保存（ＮＬＶＣ）マッピングである。これらの方法は、一
般に、高次元の空間を低次元の空間にマッピングしようとするものである。また
、その逆を行う方法もある。その一例は、C.M.Bishop、M.SvensenおよびC.K.I.W
illiamsによる「GTM: The generative topographic mapping」と題する論文に記
載された生成トポグラフィック・マッピング（ＧＴＭ）である。

【００１８】 しかしながら、前述の２つのカテゴリーが完全に別々のものではないことを理
解されたい。データをさらに理解しやすくするために、引き続き縮小次元空間内
でクラスター化を使用することができる。ＳＯＭ法は、縮小次元特徴マップにお
ける横方向の刺激−抑制により類似パターンを収集する。したがって、ＳＯＭは
、次元を縮小しクラスター化する。

【００１９】 線形的な性質によって既に制限されている線形ＰＣＡ法を除く前述の他の方法
は、高次元データを低次元空間内の個別の格子点にマッピングする。即ち、低次
元マップの外観は、マッピング・パラメータの最初の（通常はランダムな）選択
にきわめて依存する。

【００２０】 格子点マップは、通常、元のデータ空間内の近くにある点がマップ内でも近く
にある限り、データ点の厳密な相対位置があまり重要でないような分類や符号化
などの用途に有効である。たとえば、ＧＴＭ法は、低次元空間内に均一に分布し
た放射方向に（radially）対称なガウス分布であると仮定した１組の非線形基本
関数と低次元の点の格子とで始まる。低次元から高次元への格子点のマッピング
は、線形に重みつけしたそのような基本関数の合計であると仮定される。その場
合、高い次元の確率密度は、高い次元にマッピングされた格子点に中心を有する
放射対称のガウス分布によって作ることが提案される。ＧＴＭに関するビショッ
プの研究では、ベイズの法則を使用して、マッピングを反転させ、高い次元の空
間内の分布に対する各格子点のレスポンシビリティを評価することができると仮
定している。次に、レスポンシビリティ情報によって、高次元でのデータ点の類
似度を再評価することができる。この結果を最適化して高い次元での既知のデー
タ点の分布を与えることによって、マッピングの重みパラメータおよび密度分布
をなすガウス分布の幅パラメータを対話式に学習する方法が得られる。学習が集
束すると、表示のためのデータ点の低次元マップをレスポンシビリティ情報によ
って生成することができる。マッピング関数が滑らかで連続している場合は、低
い次元において隣り合った点は、高い次元において隣り合った点に対応する。し
かし、その逆は正しいとは限らない。何故なら、高い次元におけるあるデータ点
では、マッピング関数によって生成されるマニホールドの形によって格子点上の
ガウス分布のレスポンシビリティが多重モード（multi-modal）になることがあ るためである。データ点は、１つの格子点または隣り合った少数の格子点のレス
ポンシビリティではなく、低い次元のマップ上の離間したいくつかの格子点のレ
スポンシビリティである場合がある。そのようなマップは、分類などの目的には
有効であるが、そのようなマップ上の格子点間の補間の解釈が難しいため、この
種のマップを最適化に使用するのは不適切である。また、ＳＯＭによって得られ
るような他の格子点マップには、格子点間の補間の解釈において同様の難しさが
ある。

【００２１】 自動連想マッピングやＮＬＶＣマッピングなどの非線形ＰＣＡ形マッピングに
は補間の難しさはないが、低次元マップの外観は、通常、初期パラメータの選択
によって決まる。この依存について、例としてＮＬＶＣマッピングを使用して以
下に説明する。データ点分布が適切なマップを得るためには、満足なものが見つ
かるまで多くの回数のトライアルが必要であろう。

【００２２】 本発明の第２の態様により、前述の複雑さを減少させる問題とその他の問題に
取り組む。これに関して、本明細書では、等化直交マッピング（ＥＯＭ:Equaliz
ed Orthogonal Mapping）と呼ばれる手法を説明する。この手法は、第２のカテ ゴリーに分類され、補間機能を考慮し初期パラメータへの依存性の減少を念頭に
置いて開発される。

【００２３】 ＢＯＭ法は、バックプロバゲーション学習法によって実現することができる。
この方法の詳しい方程式を後で導出し説明する。また。縮小次元マップを得る際
のＥＯＭの使用例と、ＳＯＭ法、ＮＬＶＣ法との比較について説明する。さらに
、２つの状態についての結果を示す。あるケースでは、入力データは、表面上は
５次元であるが、実際の性質は２次元である。別のケースでは、マッピングをガ
ソリン混合データの集合体に適用し、得られたマップを最適化のために使用でき
ることを示す。

【００２４】 本発明の以下の説明は、縮小次元表現が、表現が視覚化しやすい２次元の場合
のマッピングを対象とするが、本発明は、他の次元にも適していることを理解さ
れたい。

【００２５】 ＜発明の要約＞ 本発明により、ニューラル・ネットワークを含む、多次元パターン・データを
次元表現に組織化するシステムが提供される。ニューラル・ネットワークは、ニ
ューラル・ノードの層からなる。これらの層は、入力層と出力層、およびその間
に配置された１つまたは複数の隠れ層を含む。出力層は、共通の内部ネットワー
ク表現を共有する第１と第２の非線形ノードからなる。多次元パターン・データ
は、ニューラル・ネットワークの入力層に受け取られる。このシステムは、ニュ
ーラル・ネットワークの出力層において、受け取った多次元パターンに対応する
出力信号を生成する。

【００２６】 本発明のもう１つの態様によれば、ニューラル・ネットワークの重みの教師あ
り学習を完成させるシステムをさらに含むように、多次元パターン・データの２
次元表現への組織化が提供される。

【００２７】 本発明のさらに他の態様によれば、ニューラル・ネットワーク内に多次元パタ
ーン・データを受け取る段階と、バックプロパゲーションによって訓練されたニ
ューラル・ネットワークを介して出力信号を出力する段階とを含む、多次元パタ
ーン・データを２次元表現に組織化する方法が提供される。出力信号は、共通の
内部ネットワーク表現を共有する第１と第２の非線形ノードからなる出力層によ
って生成される。

【００２８】 本発明の方法のさらに限定された態様によれば、前述の方法を達成するために
ニューラル・ネットワークの訓練を完成させる段階が提供される。

【００２９】 本発明のさらにもう１つの態様によれば、多次元パターン・データの次元縮小
マッピングを行う新しい手法が提供される。この手法は、非線形ニューロンを有
する従来の単一隠れ層フィードフォワード・ニューラル・ネットワークによるマ
ッピングに適用されるが、機能評価に使用される従来のネットのように出力を指
定するのではなく、出力の共分散行列を対角行列すなわち定数×単位行列の形に
縮小することによって低次元出力を等化し直交させるという異なった目標機能を
ネットワークは有する。このマッピングには属性情報が使用されないので、本質
的に教師なしの学習手順である。本明細書で、そのようなマッピングの詳細なバ
ックプロバゲーション学習手順を説明する。

【００３０】 本発明のもう１つの態様によれば、複雑な多次元データの大きな集合体を、比
較的「位相的に正しい」な低次元近似で視覚化して、類似の目的を果たす他の方
法と関連する不規則性を減少させ、同時にマッピングの計算効率を高く維持する
方法が提供される。本明細書では、意味のある２次元マップを得る際のこの手法
の使用法の例と、自己組織化マッピング（ＳＯＭ）、非線形分散保存（ＮＬＶＣ
）マッピングの手法との比較について説明する。

【００３１】 本発明の利点は、パターン・データの２次元表現の自動作成を可能にするニュ
ーラル・ネットワークを提供できることである。

【００３２】 本発明のさらにもう１つの利点は、特徴を人間が見て分類できるようにパター
ン・データ内にある関連した特徴を明白な形で分離するパターン・データの２次
元表現を作成できることである。

【００３３】 さらに、本発明のもう１つ利点は、従来の処理ハードウェアを用いて実時間計
算を可能にするためにパターン・データを効率よく組織化するニューラル・ネッ
トワークを提供できることである。

【００３４】 本発明のさらにもう１つの利点は、分散（variance）を制御することによって
パターン・データの次元を縮小するシステムを提供できることである。

【００３５】 本発明のさらにもう１つの利点は、出力の分散行列を対角行列すなわち定数×
単位行列の形に縮小することによってパターン・データの次元を縮小するシステ
ムを作成できることである。

【００３６】 本発明のさらに他の長所および利点は、以下の詳細な説明を読み理解すること
により当業者には明らかになる。

【００３７】 ＜好ましい実施形態の詳細な説明＞ 以下図面を参照するが、図面は本発明の好ましい実施形態を示す目的であって
本発明を制限するものではない。図１は、部分（ａ）において、自動連想法を示
し、一方、部分（ｂ）は、好ましい実施形態によって提供されるような次元縮小
による非線形分散保存マッピングを示す。これらの２を別々に説明する。並べて
図示したのは、従前の手法（ａ）とこの好ましい実施形態のアーキテクチャとの
間のアーキテクチャ上の長所と違いを示すためである。

【００３８】 部分（ａ）において、ニューラル・ネットワーク１０は、入力層１２と出力層
１４を有する。部分（ａ）の図において、入力層１２は、５つのノード２０、２
２、２４、２６、および２８を含み、各ノードは、関連した入力を有する。また
、出力層１４は、５つのノード３０、３２、３４、３６および３８からなるよう
に示されている。入力層１２と出力層１４の各々に示されたノードの数は、５つ
に制限されない。これらの層のノード数は任意（複数）に選択することができ、
その値は同じでなくてもよい。ノードの具体的な数は、用途に大きく依存する。
ニューラル・ネットワーク内に配置された任意の内部層４０は、２つの内部ノー
ド４２と４４に狭ばめられている。したがって、提供される全てのパターン・デ
ータが図示の層４０によって集中、即ちネッキングされることが図から理解され
よう。

【００３９】 次に、好ましい実施形態の部分（ｂ）を参照すると、ニューラル・ネットワー
ク１００は、入力層１０２を含む。入力層１０２は、例示に過ぎないが、５つの
入力ニューロン１１０、１１２、１１４、１１６および１１８として構成された
複数の入力を含む。開示したニューラル・ネットワーク１００のアーキテクチャ
は、部分（ａ）によって提供された内部層４０と類似のものを内部に含まないこ
とを理解されよう。

【００４０】 （ｂ）のアーキテクチャは、第１とニューロン１３２と第２のニューロン１３
４からなる出力層１３０を提供する。好ましい実施形態の例として、２つのニュ
ーロンが、出力層１３０において選択される。この選択により、パターン・デー
タを２次元的に実現し視覚化することができる。以下の説明から、好ましい実施
形態の出力層全体が、共通の内部ネットワーク表現を共有する非線形ノードから
なることを理解されよう。（ａ）の説明と同じように、入力層１０２を構成する
ノードの数は、特定の用途とハードウェアの選択によって選択されることを理解
されたい。

【００４１】 次に、例示として、５次元から２次元への次元縮小を考える。自動連想法では
、図１（ａ）に示したようなネットが使用され、このネットは、恒等オペレータ
(identity operator)としてはたらくように訓練される。ネットの出力ベクトル は、常に、入力パターン・ベクトルとほとんど同じになる。データの固有次元数
が２次元よりも高い場合、ネットは恒等オペレータとは多少異なったものになる
ことが理解されよう。ネットは、時として自己教師法（self-supervised manner
）と呼ばれる方法で訓練される。

【００４２】 この新しい手法に使用されるネットは、あまり複雑ではない。目的は、５次元
ではなく２次元の表現によってできるだけ多くのデータ情報を保存することであ
る。２次元表現を計算するためのネットは、図１（ｂ）に示したものだけであり
、２次元表現における分散が５次元表現の分散とほぼ同じであるという基準で訓
練される。この手法において、出力ノードは非線形であり、共通の内部ネットワ
ーク表現を共有することが不可欠である。

【００４３】 ｛ｘ_p｝，ｐ＝１，２，．．．Ｐを、データ・パターン・ベクトルの集合とす る。なお、Ｐは、正の整数として定義され、データ・パターン・ベクトルの集合
は、次の式で与えられる全変動を有する。

【００４４】

【数２９】 （式１） ここで、最初、次元Ｓ＝５である。

【００４５】 表記＜＞は、示した各成分についての入力データ・パターン・ベクトルの集合
全体の平均を示し（すなわち、＜ｘ_i＞は、データ・パターン・ベクトルの集合 全体のｘ_ipの平均値を表す）、ｘ_ipは、入力データ・パターン・ベクトルの集合
のｐ番目の構成要素であるｘ_pのｉ番目の成分である。

【００４６】 全変動の「大きさ（measure）」が、全変動の線形関数または非線形関数であ ることを理解されたい 。

【００４７】 図１（ｂ）に示したネットは、同じ組のデータ・パターン・ベクトルの縮小次
元表現で計算された分散ができるだけＶに近くなるように訓練される。 訓練にバックプロパゲーション・アルゴリズムを使用して、出力ノードの重み
を漸進的に変化させる次の式は、通常と同じである。

【００４８】

【数３０】 （式２） ここで、記号はすべて、その通常の意味を有する。

【００４９】 Ｏ_pjは、ｐ番目のデータ・パターンによる出力層の直前の層のｊ番目のノード
からの出力信号であり、ηは、効率的に集束させるが発振の発生を防ぐように選
択された適切な値の定数であり、δ_pkは、ｐ番目の入力データ・パターンについ
ての出力層のｋ番目のノードの出力による誤差Ｅへの奇与に比例する値（すなわ
ち、分散の感度の大きさ）である。

【００５０】 このケースと、ニューラル・ネット計算の通常の教師あり学習タスクとの差は
、このケース（すなわち、シグモイド）では次の式によって与えられるδ_pkの式
に現れる。

【００５１】

【数３１】 （式３）

【００５２】 式（３）において、Ｖは、訓練用入力データ・パターンの集合について計算し
た分散であり、鉤括弧内の二重和により、同じデータの縮小次元の出力表現につ
いての分散が得られる。学習手順の効果は、元の分散と縮小次元分散との差をで
きるだけ最小にしながらデルタ値を小さくすることである。

【００５３】 図１の説明から、隠れノードがネットワーク１００の領域１５０に表示される
ことを想起されよう。前と同じように、隠れ層ノードについては、そのようなノ
ードの重みを漸進的に改善する式は、次の通りである。

【００５４】

【数３２】 （式４Ａ） 又は

【数３３】 （式４Ｂ） ここで、Ｏ_pjは、ｐ番目の入力データ・パターンのｊ番目の層の直前の層のｉ
番目のノードについての出力信号である。

【００５５】 「隠れ層」は、 放射式関数アーキテクチャや機能リンクにおいて実施される ような非線形機能変換層でもよいことを理解されたい。

【００５６】 データ・パターンは、パターン空間におけるベクトルと見なすことができ、そ
の成分は、それらを記述するために使用される座標系、すなわちその空間を張る
ために使用される基底ベクトルによって値が変化する。

【００５７】 データ共分散行列のトレースは、事実、パターン空間を張る基底ベクトルの一
次変換に関して変化しない。この手法は、変換が非線形であることを可能にする
が、全変動を保存しようとする。

【００５８】 式（３）と式（４Ａ，４Ｂ）で規定された学習手順においていくつかの簡略化
を行うことができる。様々なパターンの相対位置に関心があるので、元の完全次
元表現における各特徴の平均値は重要でない。それらの値は、式（３）において
ゼロに設定することができる。

【００５９】 これにより、結果的に、パターン・ベクトルの分布全体が１つの剛体としてそ
のままずれることになり、相対位置の情報は失われない。

【００６０】 同様に式（３）において、パターン・ベクトルの縮小次元分布がゼロ平均とな
ることが前もって適切に決定される。これにより、学習が進むにつれて常に変化
する平均を計算する多少面倒な段階がなくなる。学習の条件として平均を設定す
ることにより、相対的分布全体がずれることになる。

【００６１】 式（３）はそのように維持されるが、分散の制約は、実際に信号強度の制約に
なる。学習は、全てのパターン・ベクトルを同じ方法でマッピングする重みの単
一集合を学習し、縮小次元空間内の各特徴値をできるだけゼロに近くづけ、さら
に全体の信号強度すなわち（ゼロ平均）分散を保存するように努力することを含
む。

【００６２】 更なる理論的研究が進められているが、理論によってではなく結果によって本
発明の実施が動機づけされ、正当化されると考えるべきである。 いくつかの典型的な結果を、この考察のこの節と次の節に提示する。

【００６３】 この節では、３次元データを２次元に縮小する縮小次元自己組織化の３つの異
なる手法の結果を示す。当然ながら、データが本質的に３次元の場合にはこれら
の手法を用いることは奇妙である。一方、ほとんどの場合、本質的な次元は一般
に未知であり、したがってこの簡単で十分に制御された練習（exercise）は、新
しい表現の次元数が本質的な次元数よりも少ないときに何が起きるかに関する洞
察を提供する。

【００６４】 ３次元螺旋に沿った点を「自己組織化された」２次元表現で示されると、その
表現はどのように見えるだろうか。すなわち、どの情報が廃棄されどの情報が保
存されるだろうか。

【００６５】 図２に、螺旋に沿ったデータ点を示す。図３に、そのデータの２次元自己組織
化したＫ−Ｌ描画を示し、図４に、自動連想マッピングで得られたものを示し、
図５に、この手法で得られた２次元表現を示す。

【００６６】 少なくともこの特定のケースでは、この非線形分散保存（ＮＬＶＣ）法で得ら
れた縮小次元表現は、自動連想方法で得られたものに比べて曖昧さが少ない。

【００６７】 この作業は、パターン相互の差に関する情報をできるだけ多く維持しながら次
元縮小を実現する。Ｋ−Ｌ法、自動連想法、および非線形分散保存法の長所と短
所は、次の通りである。

【００６８】Ｋ−Ｌ変換法 長所−理論的根拠が十分に分かっている。 短所−共分散行列の計算に時間がかかる。次元縮小が大きいときに線形制約によ
って情報が失われる。

【００６９】自動連想法 長所−理論的根拠が妥当である。必要は場合は非線形とすることができる。 短所−訓練時間が長く、誤解を生じるマッピングを行うように過度に訓練されや
すい。

【００７０】非線形分散制限法 長所−概念的に妥当で、計算効率が高く、大きな歪を伴うことなく次元縮小が可
能。 短所−手法を一般化し、マッピングが「位相的」に正しいことを明らかにするた
めに追加の理論的研究が必要で、計算結果はすべて、順序がある程度非自明的に
保存されるが、現時点よりも正確にすることは難しいことを示している。

【００７１】 文献には、クラスター化または分類の手順の効率を評価するために様々な調査
者が使用したガソリン混合データがある。そのようなデータの例を、表１（図１
１）に示し、この表で、各々のガソリン混合物は、その５つの成分の量と調査オ
クタン価によって説明される。この５次元データの集合体は、このＮＬＶＣ法を
使用して２次元空間上にマッピングされた。得られたデータの集合体は、図６に
示したように容易に２次元で表示して見ることができ、データが意味することを
理解するのに非常に有益である。

【００７２】 そのようなグラフは、図６に描かれた線で示されるように、メモリならびに分
類規則表現装置として適切に機能する。図６の線は、高オクタンの混合物を低オ
クタンの混合物から分離している。さらに、そのグラフにおいて、混合物のうち
の３つが、示した「規則」に従わないことが容易に分かる。同様の規則違反は、
Ｋ−Ｌ法と自動連想法により得られたマッピングでも観察されたことは興味深い
。

【００７３】 元の５次元空間での変化に対する２次元空間での点の位置の感度は、容易に探
索することができ、そのいくつかの表れを図７に示す。そのような情報は、様々
な異なる組成領域において改良された他の混合物を考え出す方法を導くことがで
きる。

【００７４】 本ＮＬＶＣ次元縮小システムは、また、複雑な時間依存センサ出力プロファイ
ルを２次元空間内の点にマッピングするために適切に使用される。さらに、プロ
ファイルの性質の変化を縮小次元空間内の点の動きとして検出することができる
。

【００７５】 ある工業設備では、プロセスの状態がセンサによって監視されており、時間依
存センサ出力プロファイルを使用して、動作が「故障」状態かまたはそれに近い
かどうかに関する情報を提供することができる。この研究では、１つのセンサか
らのプロファイルがそれぞれ、表２（図１２）に示したような５つの特徴のパタ
ーンに縮小された。そのようなデータの集合体は２つ作成された。その１つの集
合体は、解釈モードを「訓練」し、もう１つは解釈機構の有用性を試験するもの
である。

【００７６】 各プロファイル・パターンは、ＮＬＶＣマッピングを使用して２次元の点に縮
小されており、訓練セット・プロファイルの集合全体を、図８に示したような単
一の２次元グラフで示すことができる。

【００７７】 いわゆる「訓練」の動作は、結果として、２次元空間内の各点について分かっ
ていること、センサ出力プロファイルを表すその点が、「故障」または「無故障
」状態と関連付けられているかどうかを示すことになる。

【００７８】 処理したデータについて、プロファイルが確かに「故障」または「無故障」状
態を表していることが分かる。図８のグラフでは、２種類のプロファイルを表す
点が、確かに、線形ではないがはっきりと分かれる。そのような環境では、新し
いプロファイルを「故障」または「無故障」として分類する規則を容易に決める
ことができる。図９に示したように、そのような規則は、プロファイルの試験セ
ットからの点によって十分に正しいことが確認された。

【００７９】 表３（図１３）に、いくつかの半導体材料の代表的な４つの結晶構造パラメー
タの値をリストする。また、そのような材料の電子帯における「バンドギャップ
」の値をリストする。

【００８０】 ４特徴結晶構造パターンのＮＬＶＣマッピングにより、図９に示したマップが
得られた。低バンドギャップ材料は、マップの左上部分の方にあるように見え、
その分布を調べることによって、結晶構造のどの組合せが低バンドギャップに関
係している可能性があるかに関するヒントが得られる。

【００８１】 本システムは、特に理解が容易な２次元表示に重点をおいて開示されている。
３次元表示も人間に適している。しかし、それよりも高い次元での表示はすべて
、視覚化し「理解」することが困難である。

【００８２】 この新しい方法は、特に、計算効率が高い。実験結果は、強力で魅力的な方式
において「位相的に正しい」ことを示す。

【００８３】 本システムは、縮小次元空間に非線形マッピングを行いながら元の分散をすべ
て保存しようとする。前述の方法で得られたマップは、様々な作業に適切に使用
され、対象および対象の進化の時間的履歴の類似した記述を関連した形で記憶す
るのに適した視覚的連想記憶としても使用することができ、その結果、新しい対
象をメモリの領域にマッピングすることにより、気付くべき他の事柄に関するヒ
ントが提供される。

【００８４】 分散に基づく手法では、目的は、データの分散の多くを保存し、新しい表現で
のデータ・パターン・ベクトルの成分ができるだけ多く相関がないようにするデ
ータの縮小次元マッピングを見つけることである。

【００８５】 この手法により、興味深い形で特徴マップ法と類似の結果が得られることが分
かる。２次元縮小次元マッピングにおいて、類似のリサーチ・オクタン価を有す
るパターンが連続領域に自動的にマッピングされることが偶然に起こる。クラス
ターは考慮しない。その代わりに、かなり一般的なカテゴリー識別規則を容易に
作ることができる。しかしながら、縮小次元マップは、改良した混合物を考えだ
す手引きとなる。

【００８６】 この方法を複雑なセンサ・データに適用すると、この場合も、故障状態を表す
パターンが、「無故障」状態を表すパターンと異なる２次元マップの明らかに自
己組織化された領域内にあることが分かる。

【００８７】 前述のケースでは、カテゴリーまたは特性値がパターン記述と強く関連付けら
れていなければならなかった。縮小次元マッピングは、その環境をより明らかに
し容易に視覚化されるようにするだけである。さらに別のケースでは、この同じ
手法は、多数の標本を含まないという意味でまばらで、また多くの特徴値が欠け
ているという意味でまばらなデータの集合体に適用され、その結果実際にこの訓
練に小さい特徴のサブセットしか利用できない。データは、半導体の結晶構造パ
ラメータの集合体であり、結晶構造「空間」のある領域が低バンドギャップと関
連しているかどうかを確認することに関心があった。縮小した２次元マップは、
さらに詳しい探索にどの領域が役立つかのヒントを提供した。

【００８８】 次に、図１４〜図２２を参照して、本発明の第２の態様すなわち等化直交マッ
ピング（ＥＯＭ））について説明する。ＥＯＭの意図は、データの位相をできる
だけ多く保存するマッピングにより、データ・パターン間のパターン間の関係を
見つけて示すことである。これは、学習プロセスにおいて出力の分散行列の要素
の値を制限することによって達成される。訓練の終わりに、出力の分散行列は、
定数×単位行列の形に縮小される。これにより、縮小次元が等しく重要で互いに
直交することが保証される。

【００８９】 図１４に示したように、ＥＯＭ法は、１つの隠れ層を含む従来の３層フィード
フォワード・ネットＮによって達成することができる。ネットＮは、入力層、隠
れ層、および出力層を含む等化直交マッピングのためのネットワーク構造を示す
。ノード間の線は、隣接した層のノード間の「リンク」を表す。前述のように、
「隠れ層」は、機能的リンクや放射式アーキテクチャで実施されるような非線形
機能的変換層でもよい。

【００９０】 ネットＮは、バックプロバゲーション・アルゴリズムを使用して訓練される。
最初に、ネットの重みが、区間［−Ｗ、Ｗ］内でランダムに生成される。これら
の重みは、学習プロセスによって繰り返し調整される。

【００９１】 ｛ｘ_p｝、ｐ＝１，２，．．．，Ｐを、Ｓ次元の入力データ・パターン・ベク トルの集合とする。これらのデータ・パターン・ベクトルの全ての次元の平均分
散は、次の式で与えられる。

【００９２】

【数３４】 （式５）

【００９３】 ここで、「＜＞」は、示した各成分についての入力データ・パターン・ベクト
ルの全ての平均を示し（すなわち、＜ｘ_i＞は、データ・パターン・ベクトルの 集合から求めたｘ_ipの平均値を示す）、ｘ_ipは、データ・パターン・ベクトルの
集合のｐ番目の構成要素であるｘ_pのｉ番目の成分である。

【００９４】 考察の一般性を維持するために、縮小次元表現においてＫの次元があると仮定
する。したがって、出力の共分散行列は、ＫｘＫ行列である。出力（すなわち、
出力信号）の分散行列の各要素は、次のように表すことができる。

【００９５】

【数３５】 （式６）

【００９６】 ここで、 ｐ＝１，２，．．．，Ｐ Ｏ_kipは、ｐ番目の入力データ・パターン・ベクトルの出力層のｋ₁番目のノー
ドの出力信号である。◎ Ｏ_k2pは、ｐ番目の入力データ・パターン・ベクトルの出力層のｋ₂番目のノー
ドの出力信号である。◎ ＜Ｏ_k1＞は、入力データ・パターン・ベクトルの集合から求めたＯ_k1pの平均 である。 ＜Ｏ_k2＞は、入力データ・パターン・ベクトルの集合から求めたＯ_k2pの平均 である。 ｋ₁＝１〜Ｋ ｋ₂＝１〜Ｋ Ｋは、縮小次元表現の次元数である。 ＜＞は、示された各成分ごとの入力データ・パターン・ベクトルの集合から求
めた平均を示す。

【００９７】 分散行列の対称性のため、行列の上側三角形内の項を検討するだけでよい。目
的は、次の式で示される誤差Ｅを最小にすることである。

【００９８】

【数３６】 （式７） ここで、Ｅ_k1k2は、要素が主対角線上にあるかどうかによって、次の式で与え
られる。

【００９９】

【数３７】

【０１００】 ｒ_kkが、訓練速度を高める効果を有する正の定数であり、ｒ_k1k2が、訓練速度
を高める効果を有する正の定数であることを理解されたい。さらに、上記の誤差
関数を最小にすることによって、出力の分散行列が、定数×対角行列の望ましい
形になり、定数×単位行列が実施する上でのオプションであることを理解された
い。

【０１０１】 定数Ｖ_out,kkは、平均入力分散Ｖ_inに比例することが目標とされる。式（８）
の定数ｒは、通常１よりも小さい緩和因子（relaxation factor）である。これ は、各次元の出力分散を減少させることによって訓練をさらに高速化するために
導入される。主として二次式項からの情報からなる分散が、システムのエネルギ
ーに類似しているため、したがって分散の減少は、各次元のエネルギー要件の緩
和に対応する。これにより、ネットが要求される許容誤差を達成するのに必要な
繰返し数が減少する。また、分散がデータのパターン間の関係を捉えるため、こ
の方法は、各出力次元の分散を入力分散に比例させることによって、できるだけ
多くの相対位置情報を保存しようとする。指定された誤差目標が入力分散の値に
依存しなくなるように、正規化のために分母（denominator）が導入される。

【０１０２】 重みを対話式に更新する式は、その重みに関する誤差Ｅの導関数をとることに
よって得ることができる。ｋ番目とｊ番目の層の間の重みは、隠れ（ｊ番目）層
と出力（ｋ番目）層の両方にシグモイドニューロンを使用することによって、次
の式で与えられる。

【０１０３】

【数３８】 （式９）

【０１０４】 ここで、Δｗ_kj,1は、対角線上の項からの奇与率であり、Δｗ_kj,2は、ｋ番目
の行の対角線上にない項からの奇与であり、Δｗ_kj,3は、ｋ番目の列の対角線上
にないの項からの寄与率である。これらの３つの項の式は、次の通りである。

【０１０５】

【数３９】

【０１０６】 ここで、δ_kpは、ｐ番目の入力データ・パターン・ベクトルについての出力層
のｋ番目ノードの出力による誤差Ｅへの寄与率に比例した値であり、δ_kp,1、δ _kp,2 、δ_kp,3は、δ_kpの構成要素である。（シグモイド関数についての）δ_kp,1 、δ_kp,2、δ_kp,3は、次の式でて与えられる。

【０１０７】

【数４０】

【０１０８】 ここで、Ｏ_kpは、ｐ番目の入力データ・パターン・ベクトルについての出力層
におけるｋ番目のノードからの出力信号であり、＜Ｏ_kp＞は、入力データ・パタ
ーン・ベクトルの集合から求めたＯ_kpの平均であり、Ｏ_jpは、ｐ番目の入力デー
タ・パターン・ベクトルについての出力層の直前の層におけるｉ番目のノードか
らの出力信号である。

【０１０９】 表記を簡略化するために、式（１３）、（１４）および（１５）を組み合わせ
て、次のように表す。

【０１１０】

【数４１】 （式１６） この場合、式（７）を、よく知られた一般化されたデルタ規則の形で書き直す
ことができる。

【０１１１】

【数４２】 （式１７） ｊ番目とｉ番目の層の間の重みへの誤差のさらなるバックプロバゲーションは
、従来のネットと同じであり、式は、次の通りである。

【０１１２】

【数４３】 （式１８）

【０１１３】 ここで、δ_jpは、次の式で与えられる。

【数４４】 （式１９）

【０１１４】 ＥＯＭ法は、ＮＬＶＣマッピング法から発展させたものである。ＮＬＶＣマッ
ピングでは、学習の目的は、データ・パターンの記述内の全変動を保存すること
であり、すなわちネットの重みを学習し、その結果、出力の全変動と入力の全変
動との差が一定の規定された制限の範囲内になり、ＮＬＶＣの誤差関数は、単に
次のような式になる。

【０１１５】

【数４５】 （式２０）

【０１１６】 ここで、Ｖ_outは、次の式で与えられる。

【数４６】 （式２１）

【０１１７】 また、Ｖ_inは、式（５）と同じである。全く同じネット構造とバックプロバゲ
ーション学習アルゴリズムを使用して、パラメータδ_kpは、次の式で与えられる
。

【０１１８】

【数４７】 （式２２）

【０１１９】 ネットワークの重みを繰り返し更新する式は、式（１７）〜（１９）と同じ形
である。

【０１２０】 ＮＬＶＣ法は、きわめて計算効率が高く、得られる縮小次元マップは、分類、
類別、監視、最適化などの用途に有用なことが分かった。

【０１２１】 ＮＬＶＣ法の効率が高い１つの理由は、分散保存の制約がやや緩いことである
。実際に、式（２２）で与えられる制約は、式（１３）だけのものよりも弱い。
しかし、これには副次的作用もある。異なる乱数シードによってランダムに生成
された異なる初期重みの集合がネットに与えられた場合、同じ入力に得られるマ
ップは、まったく異なっているように見え、マップ上の点の分布が、縮小次元間
の強い相関を有する不均一なものとなることがある。点の分布が不均一なマップ
からでも定性的情報を得ることはできるが、通常、点が適切に分布したマップを
得るためにいくつかの試みを行う必要がある。

【０１２２】 縮小次元間の相関を減少させる適切な方法は、マッピングの学習中にネットの
出力を直交させることである。この目的を達成するためには、開始する固有の点
（natural point）が、ネットの出力の分散行列の要素の値に制約を加えること である。対角線上にないの全てのエントリが消えた場合、出力は互いに直角であ
る。対角線上にないの全ての項がゼロに減少した場合、分散行列の主対角線上の
全ての要素を等しい値に設定することによって、簡単に全ての縮小次元を同じよ
うに優勢にすることができる。これは、分散行列を等しい固有値にし、各縮小次
元の分散を同じにする。マッピング中にできるだけ多くの位相情報を保存するた
めに、緩和因子により全ての入力次元についての入力分散の平均に関連付けられ
た値に主対角線上の各要素を割り当てることができる。これは、まさにＥＯＭ法
が行うことである。

【０１２３】 この手法は、ＮＬＶＣ法に比べて、学習手順にかなり強い制約をかける。しか
し、効率の低下はかなり小さい。たとえば、縮小次元が、視覚的表示に最も有効
な２次元（Ｋ＝２）のとき、出力の分散行列は２ｘ２行列であり、両方の手法に
よって計算しなければならない対角線上の項が２つあるのに対して、計算しなけ
ればならない対角線上にない項は１つしかない。訓練の各繰返しごとに、これに
より、ＥＯＭを使用するΔｗ_kjの計算に、ＮＬＶＣを使用する場合の約５０％の
オーバヘッドが導入される。Δｗ_jiの計算は、両方の手法で同じである。

【０１２４】 次に、図１５〜図２２を参照して、ＳＯＭおよびＮＬＶＣと比較したＥＯＭの
使用法の例を説明する。ＥＯＭとＮＬＶＣでは、隠れ層と出力層の両方にシグモ
イドニューロンが使用される。得られたマップを視覚化するために、出力ニュー
ロンの数を２に選択した。実際の多次元データの場合は、固有次元が任意の単純
な物理量に対応しないことがあり、データ点の相対位置にのみ関心があるため、
２つの縮小次元の絶対目盛は重要ではない。したがって、出力は、５１２ｘ５１
２ピクセルの像に線形にマッピングされ、２つの軸にラベルは付けられていない
。

【０１２５】 理論的解は知られているため、最初の試験として、２つの固有次元を有する以
下の単純な５次元関数を使用する。

【０１２６】

【数４８】 （式２３） 式（２３）において、５つの変数はすべて独立しているわけではなく、次のよ
うに関連している。

【０１２７】 ｘ_１＝ｔ_１，ｘ_２＝2ｔ_１−1，ｘ_３＝1−ｔ_１，ｘ_４＝ｔ_２，ｘ_５＝1−2ｔ_２ ここで、ｔ₁とｔ₂は、関数の２つの固有次元を表し、区間［０，１］の範囲内
にある。１００のデータ・パターンを所定の範囲内でランダムに生成し、生デー
タセットとして使用した。

【０１２８】 図１５に、２つの軸としてｔ₁とｔ₂を使用して、分析的に生成した２次元マッ
プを示す。各ラベルの四角形内に示したグレー・レベルは、（ｔ₁，ｔ₂）の対応
する対のｚ値を表す。これらのデータ点のｚ値の範囲は２５６のグレー・レベル
に線形にマッピングされ、白は最小を表し、黒は最大を表す。

【０１２９】 図１６〜図１８は、ＳＯＭ、ＮＬＶＣ法、およびＥＯＭ法のマッピング結果を
示す。同じ４つの乱数シードによって４つのマップが得られる。ＳＯＭの場合は
、２０ｘ２０の格子が使用され、近傍（横方向の刺激）関数としてガウス関数を
使用した。マッピングの学習中に、学習速度因子α（ｔ）は、０．９から０に直
線的に減少し、近傍カーネルσ（ｔ）の幅は、マップの辺の長さの半分から格子
点間の１単位長に直線的に減少する。

【０１３０】 ＮＬＶＣとＥＯＭの場合は、隠れニューロンの数が１５であった。初期ネット
ワーク重みパラメータは、これらの２つの方法で同じである。ＥＯＭマップでは
、緩和因子γが０．１になるように選択された。

【０１３１】 図１６Ａ、１６Ｂ、１６Ｃおよび１６Ｄは、ＳＯＭによって得られた式（２３
）に示された関数の縮小次元マップを示し、ここで、それぞれシード＝７、シー
ド＝８、シード＝４、シード＝３の場合である。「シード」は、初期基準ベクト
ルを生成するために使用されるパラメータである。

【０１３２】 図１７Ａ、１７Ｂ、１７Ｃおよび１７Ｄは、ＮＬＶＣ法によって得られた式（
２３）に示された関数の縮小次元マップを示し、ここで、それぞれシード＝７、
シード＝８、シード＝４、シード＝３の場合である。「シード」は、初期ネッ トワーク重みを生成するために使用されるパラメータである。

【０１３３】 図１８Ａ、１８Ｂ、１８Ｃおよび１８Ｄは、ＥＯＭ法によって得られた式（２
３）に示した関数の縮小次元マップを示し、ここで、それぞれシード＝７、シー
ド＝８、シード＝４、シード＝３の場合である。「シード」は、初期ネットワー
ク重みを生成するために使用されるパラメータである。

【０１３４】 ＳＯＭによって得られたマップでは黒い点と白い点が分離する傾向があるが、
これらのマップは、ほとんど理論マップ(theoretical map)のようには見えず、 互いに似ているようにも見えないことを理解されたい。データ点がマップ上の格
子点上に制限されるため、分析的に生成されたマップ上に示されたようなデータ
点の細かい相対位置に関する情報は失われる。乱数シードによって、得られるマ
ップが異なって見える。しかしながら、ＳＯＭマップは、通常、マップ領域の適
切な有効範囲（coverage）を与えるが、これは、格子点に制限される。

【０１３５】 ＮＬＶＣ法によって得られた４つのマップの見かけ上の違いから、初期重みの
選択とマッピングの結果との間に強い依存性があることが分かる。しかしながら
、４つの各々のマップと分析的に生成したマップを厳密に比較すると、４つのマ
ップが見かけ上異なるにもかかわらず、それらのマップを、回転と反射と圧縮の
組合せによって分析的に生成されたマップから変換できることが分かる。すなわ
ち、これらのマップにおいて、分析的に生成されたマップに比べてデータ点の分
布は全体として様々な程度に変形されるが、これらのマップにデータ点の相対位
置は保存されているようである。換言すると、データ点の位相は、これらのマッ
プになんらかの局所的な形で保存されるようである。しかしながら、図１７Ｂ、
図１７Ｃ、図１７Ｄのマップに示され、図１７Ａにはこれらの図よりも低い程度
で示された対角線ベルト状分布は、２つの縮小次元間の強い相関を暗黙的に示す
。その結果、これらのマップは、縮小次元の全能力を利用することができない。
これらのマップは、データ点の相対位置に関して位相的に正確であるが、図１７
Ｄのマップは事実上役に立たず、図１７Ｂと図１７Ｃのマップは、データ点の一
部の定性的記述にしか使用できない。図１７Ａのマップだけが、最適化のような
定量的作業に使用できるデータ点の比較的良好な分布を示す。これらの４つのマ
ップは、マップを位相的に正確に維持するだけでなく、マッピングの不規則性を
減少させ、縮小次元を十分に利用できるより良いマッピング手法の必要性を示す
よい例となる。

【０１３６】 一方、ＥＯＭ法によって得られた４つのマップは、それら相互の間、及び分析
的に生成されたマップ対して著しい類似性を示す。像を適合させるために自動的
に行われた倍率の違い、回転、及び反射は別として、４つのマップはすべて、分
析的に生成されたマップと本質的に等しい。これは、様々な初期条件を扱う際の
ＥＯＭ法の強固さを示す。注意すべき１つの小さいことは、これらのマップの回
転角度が約４５°か０°であることである。理論的にはデータ点の分布は方形領
域を形成し、そのような２つの角度の方形が２つの次元を等しく優勢にするため
、この観測によって、ＥＯＭ法が縮小次元を最大限に利用するという目標を達成
できることがあらためて保証される。

【０１３７】 計算効率に関しては、乱数シードとして７を使用するケースが、実験的比較の
例として使用される。ＥＯＭ法は、１７８回の繰り返しで集束するために最大６
秒かかる。ＮＬＶＣ法は、１２回の繰り返しで集束するため最大２秒かかり、Ｓ
ＯＭ法は、１００回の繰り返しに１１７秒かかる。ＳＯＭに対しての効率改善は
非常に大きい。ＥＯＭは、個別のＮＬＶＣの実行よりも長くかかるが、ＮＬＶＣ
の最初の数回の試みで満足できるマップが得られない場合は勝利者となることが
ある。

【０１３８】 文献にガソリン混合データの集合体があり、属性が全て分かっているもののサ
ブセットを図１１の表に示す。このデータの集合体は、自動連想法とＮＬＶＣ法
の両方を使用した２次元への次元縮小を行った場合、１００よりも大きいオクタ
ン価のパターンと１００よりも小さいオクタン価のパターンの２つのほとんど別
個の領域に「自己組織化」することを示していた。

【０１３９】 図１９Ａ〜図１９Ｄは、それぞれシード＝７、シード＝８、シード＝４、シー
ド＝３の場合における、ＳＯＭによって得られた図１１の表に示したガソリン混
合データの縮小次元マップを示す。図２０Ａ〜図２０Ｄは、それぞれシード＝７
、シード＝８、シード＝４、シード＝３の場合における、ＮＬＶＣ法によって得
られた図１１の表に示したガソリン混合データの縮小次元マップを示す。 図２ １Ａ〜図２１Ｄは、それぞれシード＝７、シード＝８、シード＝４、シード＝３
の場合における、ＥＯＭ法によって得られた図１１の表に示したガソリン混合デ
ータの縮小次元マップを示す。図２２Ａと図２２Ｂは、高オクタン価の６つのガ
ソリン混合データ・パターンに基づいた縮小次元マップを示す。図２２Ａは、Ｅ
ＯＭ法によって得られた６つのパターンのマップを示し、図２２Ｂは、その領域
のモデル値を示す。

【０１４０】 ＳＯＭの場合、１０ｘ１０格子が使用され、選択肢α（ｔ）およびσ（ｔ）は
前述のものと同じであった。ＮＬＶＣとＥＯＭでは、縮小次元マップを得るため
にまったく同じネット・アーキテクチャを使用した。乱数シードも同じものを使
用した。図１９〜図２１は、ＳＯＭ、ＮＬＶＣ法、およびＥＯＭ法のマッピング
の結果を示す。各ラベルの四角形内のグレー・レベルは、そのパターンのオクタ
ン価を示し、オクタン価が高いほど明るくなる。パターンが２６しかないため、
パターン番号も示す。

【０１４１】 この場合も、ＳＯＭマップは、オクタン価に基づいてデータ点が多少分離して
いることを示し、図１９Ａのマップが最良の結果を提供している。この場合も、
マップがまったく異なるため、初期パラメータへの依存は明らかである。

【０１４２】 ＮＬＶＣマップの場合も、相関関係があることを示すデータ点のベルト状分布
を示す。しかしそれにもかかわらず、４つの全てのマップは、マップ領域の妥当
な有効範囲を示しており、これらは少なくとも定性的な考察のために利用できる
。ラベルの四角形のグレー・レベルを調べることにより、４つの全てのマップが
、明るい点と暗い点が多少分離していることが分かる。なお、図２０Ｂのマップ
が最良の結果を提供している。これは、様々なマップを使用する前のＮＬＶＣの
結果と一致する。

【０１４３】 ＥＯＭマップは、予想通り、マップ領域のより良い有効範囲を示す。高オクタ
ン・データ点と低オクタン・データ点が分離していることは、これらのマップ上
でも明らかである。しかしながら、ＮＬＶＣ法とＥＯＭ法の両方を使用して得ら
れたマップでは、これらの４つのマップ内のデータ点の相対位置が、特にマップ
に示されたように互いに近い点の場合には、数学的な例の場合と同じに維持され
ず、ＥＯＭマップはＮＬＶＣマップよりも少ない変動を示すことは明らかである
。これはしかし、これらのマップが、データセットの位相を保存できなかったこ
とを意味するのではなく、データセットの固有次元が実際に２よりも高いことを
示す。１つの２次元マップでは、それよりも高い固有次元のデータセットの全て
の位相情報を示すことができないため、各々のマップはそれぞれ異なる「角度」
からの投影だけを表す。これは、一部分の位相を示すために３方からの投影を必
要とする部分の青写真と似ている。しかし、これらの次元縮小マップでは投影プ
ロセスは非線形のものである。

【０１４４】 ＥＯＭ法は、２つの固有次元を有するデータについてはマップ不変性を本質的
に維持することが数学的な例によって実証されているため、様々な初期重みから
得られたマップ内の回転と反射以外の変化は、データセットの固有次元がマップ
の次元よりも高いことを示している。しかしながら、いくつかの変化が明らかな
場合でも、そのような変化が完全に支配的でない場合は、得られたマップが必ず
しも無駄にならない。データセットの様々な固有次元が同じように重要ではない
ことがあるため、多くの情報を集めることができる。これは、まさに、ガソリン
混合データのケースである。ＥＯＭ法によって得られた４つのマップを比較する
と、高オクタン価のパターン２、３、１３、１４、１６および２２が、４つ全て
のマップにおいて別のグループを作ることが分かる。さらに、パターン１３以外
の上記の全てのパターンは、マップの縁に少なくとも一回現われる。これは、そ
れまでの最も高いオクタン価を示すパターン１３が、５つの高いオクタン価パタ
ーンによって取り囲まれ、この領域にさらに高いオクタン価を持つ混合物が発見
されるであろうことを示す。これは、最初のネットワーク・パラメータによるひ
ずみによりＮＬＶＣマップではあまり明らかではない。

【０１４５】 これらの６つのパターンは集合の残りの部分と分離され、ＥＯＭマップがその
パターンのために生成された。これを図２２Ａに示す。オクタンの範囲に対する
濃さの独立したマッピングにより、６つのパターンの正確な明暗の度合いは図２
１のものと異なる。マップは、実際に、パターン１３が他の５つのパターンによ
って囲まれていることを示す。

【０１４６】 機能的リンク・ネットのランダム・ベクトル・バージョンを使用して、２次元
関数のモデルを学習した。このモデルは、図２２Ａに示した領域におけるオクタ
ン価を予測するために使用された。この結果を図２２Ｂに示す。この図は、さら
に高いオクタン価の点が、次の場所にあることを示す。 ｄ₁＝８５．５１，ｄ₂＝１７３．５． これに対応する予想オクタン価は、次の通りである。 ｚ＝１０２．４ 別のランダム・ベクトル機能的リンク・ネットによって、値（ｄ₁、ｄ₂）を元
の５次元空間に逆にマッピングすることができる。結果は、次の通りである。 ｘ₁＝0.226、ｘ₂＝0.096、ｘ₃＝0.058、ｘ₄＝0.022、ｘ₅＝0.599 ネットワーク・モデルの構成に使用可能なパターンの数が制限されているため
、上記の結果は正確な予測を提供するものではなく、将来の組成決定に役立つも
のである。

【０１４７】 本発明は、多次元データ・パターンを視覚化するのに役立つ位相的に正確な縮
小次元マップを得る新しくかつ独特な手法を提供する。この手法は、類似の目的
を有する他の手法で問題となる、初期ネットワーク重みの選択の違いから生じる
得られるマップ内の不規則性を減少できることが実証された。さらに、この手法
は、異なる初期重みを選択することによって縮小次元マップを使用して元のデー
タセットを十分に示すことができるかどうかを容易に示すことができる。この手
法によって得られたマップは、マップ領域を十分に利用し、様々な用途において
、類似の目的を果たす他の手法を使用することによって得られるマップに置き換
えることができる。

【０１４８】 本発明を好ましい実施形態に関して説明した。本明細書を読みまた理解するこ
とによって修正および変更を行い得ることは明らかである。添付の請求の範囲ま
たはその均等の範囲内に含まれる限り、そのような修正および変更は全て本発明
に包含される。

【図面の簡単な説明】

本発明は、いくつかの部分および部分の配列において物理的形態を取ることが
でき、その好ましい実施形態および方法は、本明細書に詳細に記載され明細書の
一部を構成する添付図面に示される。

【図１】 本発明の好ましい実施形態によって使用される次元縮小による本非
線形分散保存（ＮＬＶＣ）マッピングと対比させて従前の自動連想ネットワーク
を示す。

【図２】 ８１の点でプロットした螺旋の２つの区間の３次元グラフを示す。

【図３】 螺旋のカルフーネンレーブ（Ｋ−Ｌ）変換の２次元表現を示す。

【図４】 自動連想マッピングによる螺旋の２次元表現を示す。

【図５】 非線形分散保存マッピングによる螺旋の２次元表現を示す。

【図６】 非線形分散保存マッピングによるガソリン混合データの２次元表現
を示す。

【図７】 イソペンタン、接触分解ガソリン、および改質油の成分レベルに対
する混合物の位置の感度を示す。

【図８】 非線形分散保存マッピングによるセンサ・データの２次元表現を示
す。

【図９】 「無故障」から「故障」までを監視する連続センサ・プロファイル
のトレースを示す。

【図１０】 非線形分散保存マッピングによるバンドギャップ・データの２次
元表現を提供する。

【図１１】 ベンチマーク・ガソリン混合データの表を示す。

【図１２】 時間依存センサ・データ・プロファイルの表を示す。

【図１３】 半導体結晶構造パラメータとバンドギャップの表を提供す。

【図１４】 等化直交マッピング（ＥＯＭ）のためのネットワーク構造を示す
。

【図１５】 ２つの固有次元を有する５次元関数の解を提供する式の理論的２
次元マップを示す。

【図１６Ａ〜図１６Ｄ】 自己組織化マッピング（ＳＯＭ）によって得られた
５次元関数の縮小次元マップを２つの固有次元で示す。

【図１７Ａ〜図１７Ｄ】 非線形分散保存（ＮＬＶＣ）マッピングによって得
られた、同じ５次元関数の縮小次元マップを示す。

【図１８Ａ〜図１８Ｄ】 等化直交マッピング（ＥＯＭ）によって得られた同
じ５次元関数の縮小次元マップを示す。

【図１９Ａ〜図１９Ｄ】 ＳＯＭによって得られた、図１１に示したガソリン
混合データの縮小次元マップを示す。

【図２０Ａ〜図２０Ｄ】 ＮＬＶＣによって得られた、図１１に示したガソリ
ン混合データの縮小次元マップを示す。

【図２１Ａ〜図２１Ｄ】 ＥＯＭによって得られた、図１１に示したガソリン
混合データの縮小次元マップを示す。

【図２２Ａ】 ＥＯＭによって得られた６つのパターンの縮小次元マップを示
す。

【図２２Ｂ】 図２２Ａに示した領域のモデル値を示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，Ｕ Ｇ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (29)

【特許請求の範囲】
1. 【請求項１】 多次元パターン・データを縮小次元表現に組織化するシステ
   ムであって、 複数の入力ノードからなる入力層と、隠れ層と、入力ノードの数よりも数が少
   ない複数の非線形出力ノードからなる出力層とを含むノードの複数の層からなる
   ニューラル・ネットワークと、 ニューラル・ネットワークの入力層に多次元パターン・データを受け取る受取
   り手段と、 ニューラル・ネットワークの出力層の各出力ノードごとに、受け取った多次元
   パターン・データに対応する出力信号を生成する出力手段と、 ニューラル・ネットワークの訓練を完成させる訓練手段とを含み、訓練手段が
   、出力信号の分散行列を対角行列の形に減少させることによって出力ノードの出
   力信号を等化し直交させる手段を含むシステム。
2. 【請求項２】 前記訓練手段が、バックプロバゲーションを使用して隣り合
   った層のノード間のリンクの重みを繰り返し更新する請求項１に記載のシステム
   。
3. 【請求項３】 前記重みが、区間（Ｗ，−Ｗ）でランダムに生成される請求
   項２に記載のシステム。
4. 【請求項４】 多次元パターン・データの全ての次元の平均化された分散が
   、次の式で表され、 【数１】 出力ノードの出力信号の共分散行列の要素が、次の式によって定義され、 【数２】 ここで、ｐ＝１，２，．．．Ｐであり、 Ｏ_k1pは、ｐ番目の入力データ・パターン・ベクトルの出力層のｋ₁番目のノー
   ドの出力信号であり、 Ｏ_k2pは、ｐ番目の入力データ・パターン・ベクトルの出力層のｋ₂番目のノー
   ドの出力信号であり、 ＜Ｏ_k1＞は、入力データ・パターン・ベクトルの集合から求めたＯ_k1pの平均 であり、 ＜Ｏ_k2＞は、入力データ・パターン・ベクトルの集合から求めたＯ_k2pの平均 であり、 ｋ₁＝１〜Ｋであり、 ｋ₂＝１〜Ｋであり、 Ｋは、縮小次元表現での次元数であり、 ＜＞は、示された各成分に関して入力データ・パターン・ベクトルの集合から
   求めた平均を示す請求項３に記載のシステム。
5. 【請求項５】 隠れ層と出力層の間の重みΔｗ_kjが、次の式に従って繰り返
   し更新され、 【数３】 ここで、ηは、効率の高い集束を実現するが発振を回避するように選択された
   適切な値の定数であり、 Ｏ_pは、ｐ番目の入力データ・パターン・ベクトルにより出力層の直前の層内 のｊ番目のノードからの出力信号であり、 Ｅは、次の式で表される誤差であり、 【数４】 ここで、ｋ₁＝ｋ₂＝ｋ、ｋ＝１，．．．，Ｋであり、ｒ_kkは、訓練速度を高め
   る効果を有する正の定数であり、 【数５】 ここで、ｋ₂＞ｋ₁、ｋ₁＝１，．．．，Ｋ−１、ｋ₂＝ｋ₁＋１，．．．，Ｋで あり、ｒ_k1k2は、訓練速度を高める効果を有する正の定数であり、 δ_kp＝δ_kp,1＋δ_kp,2＋δ_kp,3であり、ここで、δ_kpは、ｐ番目の入力データ
   ・パターン・ベクトルに関して、出力層のｋ番目ノードの出力による誤差Ｅへの
   寄与率に比例する値であり、δ_kp,1，δ_kp,2，およびδ_kp,3は、δ_kpの成分であ
   る請求項４に記載のシステム。
6. 【請求項６】 【数６】 ここで、Δｗ_kj,1は、出力の共分散行列の対角線上の項からの寄与率であり、 Δｗ_kj,2は、ｋ番目の行内の対角線上にないの項からの寄与率であり、 Δｗ_kj,3は、ｋ番目の列内の対角線上にないの項からの寄与率であり、 Ｏ_jpは、ｐ番目の入力データ・パターン・ベクトルの出力層の直前の層におけ
   るｊ番目のノードからの出力信号である請求項５に記載のシステム。
7. 【請求項７】 【数７】 ここで、Ｏ_kpは、ｐ番目の入力データ・パターン・ベクトルについての出力層
   におけるｋ番目のノードからの出力信号であり、 ＜Ｏ_kp＞は、入力データ・パターン・ベクトルの集合から求めたＯ_kpの平均で
   ある請求項６に記載のシステム。
8. 【請求項８】 ノードの層におけるｊ番目のノードとその直前の層における
   ｉ番目のノードとの間の重みΔｗ_jiへの誤差のバックプロパゲーションが、次の
   式で表され、 【数８】 ここで、δ_jpは、次の式によって与えられる請求項５に記載のシステム。 【数９】
9. 【請求項９】 複数の入力ノードからなる入力層と、隠れ層と、複数の非線
   形の出力ノードからなる出力層とを有するニューラル・ネットワークを使用して
   多次元パターン・データの縮小次元表現への組織化を達成する方法であって、非
   線形の出力ノードの数が、入力ノードの数よりも少なく、 ニューラル・ネットワークの入力層に多次元パターン・データを受け取る段階
   と、 ニューラル・ネットワークの各出力ノードごとに、受け取った多次元パターン
   ・データに対応する出力信号を生成する段階と、 出力信号の共分散行列を対角行列の形に縮小し、出力ノードの出力信号を等化
   し直交させることによってニューラル・ネットワークを訓練する段階と、 を含む方法。
10. 【請求項１０】 訓練の前記段階が、隣り合った層のノードの間のリンクの
    重みを繰り返し更新するためにバックプロバゲーションを含む請求項９に記載の
    方法。
11. 【請求項１１】 前記重みが、区間（Ｗ、−Ｗ）でランダムに生成される請
    求項１０に記載の方法。
12. 【請求項１２】 多次元パターン・データの全ての次元の平均分散が、次の
    式で示され、 【数１０】 出力ノードの出力信号の共分散行列の要素が、次の式で示され、 【数１１】 ここで、ｐ＝１，２，．．．，Ｐであり、 Ｏ_kjpは、ｐ番目の入力データ・パターン・ベクトルの出力層のｋ₁番目のノー
    ドの出力信号であり、 Ｏ_k2pは、ｐ番目の入力データ・パターン・ベクトルの出力層のｋ₂番目のノー
    ドの出力信号であり、 ＜Ｏ_kip＞は、入力データ・パターン・ベクトルの集合から求めたＯ_k1pの平均
    であり、 ＜Ｏ_k2p＞は、入力データ・パターン・ベクトルの集合から求めたＯ_k2pの平均
    であり、 ｋ₁＝１〜Ｋであり、 ｋ₂＝１〜Ｋであり、 Ｋは、縮小次元表現の次元数であり、 ＜＞は、示された各要素の入力データ・パターン・ベクトルの集合から求めた
    平均を表す請求項に記載の１１に記載の方法。
13. 【請求項１３】 隠れ層と出力層の間の重みΔｗ_kjが、次の式に従って繰り
    返し更新され、 【数１２】 ここで、ηは、効率の高い集束を実現するが発振を回避するように選択された
    適切な値の定数であり、 Ｏ_jpは、ｐ番目の入力データ・パターン・ベクトルによる出力層の直前の層に
    おけるｊ番目のノードからの出力信号であり、 Ｅは、次の式で表される誤差であり、 【数１３】 ここで、ｋ₁＝ｋ₂＝ｋ、ｋ＝１，．．．，Ｋであり、ｒ_kkは、訓練速度を高め
    る効果を有する正の定数であり、 【数１４】 ここで、ｋ₂＞ｋ₁、ｋ₁＝１，．．．，Ｋ−１、ｋ₂＝ｋ₁＋１，．．．，Ｋで あり、ｒ_k1k2は、訓練速度を高める効果を有する正の定数であり、 δ_kp＝δ_kp,1＋δ_kp,2＋δ_kp,3であり、ここで、δ_kpは、ｐ番目の入力データ
    ・パターン・ベクトルに関する出力層のｋ番目のノードの出力による誤差Ｅへの
    寄与率に比例する値であり、δ_kp,1，δ_kp,2，およびδ_kp,3は、δ_kpの成分であ
    る請求項１２に記載の方法。
14. 【請求項１４】 【数１５】 ここで、Δｗ_kj,1は、対角線上の項からの寄与率であり、 Δｗ_kj,2は、ｋ番目の行の対角線上にないの項からの寄与率であり、Δｗ_kj,3 は、ｋ番目の列の対角線上にないの項からの寄与率である請求項１３に記載の方
    法。
15. 【請求項１５】 δ_kp,1、δ_kp,2、およびδ_kp,3が、次の式で与えられ、 【数１６】 ここで、 Ｏ_kpは、ｐ番目の入力データ・パターン・ベクトルの出力層の直前の層におけ
    りｋ番目のノードからの出力信号であり、 ＜Ｏ_kp＞は、入力データ・パターン・ベクトルの集合から求めたＯ_kpの平均で
    ある請求項１４に記載の方法。
16. 【請求項１６】 ノードの層におけるｊ番目のノードとその直前の層におけ
    るｉ番目のノードとの間の重みΔ_jiへの誤差のバックプロパゲーションが、次の
    式で表され、 【数１７】 ここで、δ_jpが、次の式で与えられる請求項１３に記載の方法。 【数１８】
17. 【請求項１７】 多次元パターン・データを縮小次元表現に組織化するシス
    テムであって、 複数の入力ノードからなる入力層と、 入力ノードよりも数が少ない複数の非線形出力ノードからなる出力層と、 を含む複数のノード層からなるニューラル・ネットワークと、 多次元パターン・データをニューラル・ネットワークの入力層に受け取る受取
    り手段と、 ニューラル・ネットワークの出力層に、受け取った多次元パターン・データに
    対応する出力信号を生成する出力手段と、 ニューラル・ネットワークの訓練を完成させるための訓練手段とを含み、訓練
    手段が、出力ノードの全変動の大きさ（measure）を保存し、出力ノードの全変 動が、次のように定義され、 【数１９】 ｛ｘ_p｝が、次のようなデータ・パターン・ベクトルの集合であり、 ｐ＝１，２，．．．，Ｐ Ｐは、正の整数として定義され、 ＜ｘ_i＞は、データ・パターン・ベクトルの集合から求めたｘ_ipの平均値を示 し、 Ｓは、次元数であり、 ｘ_ipは、データ・パターン・ベクトルの集合のｐ番目の構成要素ｘ_pのｉ番目 の成分であるシステム。
18. 【請求項１８】 前記訓練手段が、出力ノードの重みを漸進的に変化させる
    ためにバックプロバゲーションによってニューラル・ネットワークの訓練を完成
    させる請求項１７に記載のシステム。
19. 【請求項１９】 前記訓練手段が、さらに、 バックプロバゲーションによって、次の式にしたがってニューラル・ネットワ
    ークの出力層における重みｗ_kjを漸進的に変化させることによりニューラル・ネ
    ットワークを訓練する手段を含み、 【数２０】 ここで、Ｏ_pjは、ｐ番目のデータ・パターンにより出力層の直前の層における
    ｊ番目のノードからの出力信号であり、 ηは、効率的な集束を実現するか発振を回避するように選択された適切な値の
    定数であり、 δ_pkは、ｐ番目の入力データ・パターンについての出力層のｋ番目のノードの
    出力による誤差Ｅへの寄与率に比例した値である請求項１８に記載のシステム。
20. 【請求項２０】 δ_pkが、次の式で表される請求項１９に記載のシステム。 【数２１】
21. 【請求項２１】 前記ニューラル・ネットワークが、さらに、隠れノードか
    らなる少なくとも１つの隠れ層を含み、各々の隠れノードの適応重みｗ_jiが、次
    の式にしたがって漸進的に改善され、 【数２２】 ここで、Ｏ_piは、ｐ番目の入力データ・パターンのｊ番目の層の直前の層にお
    けるｉ番目のノードの出力信号である請求項１９に記載のシステム。
22. 【請求項２２】 Ｏ_piが、次のような式で表される請求項２１に記載のシス
    テム。 【数２３】
23. 【請求項２３】 複数の入力ノードからなる入力層と複数の非線形の出力ノ
    ードからなる出力層とを有するニューラル・ネットワークを使用して多次元パタ
    ーン・データの縮小次元表現への組織化を達成する方法であって、非線形出力ノ
    ードの数が、入力ノードの数よりも少なく、 ニューラル・ネットワークの入力層に１集合｛ｘ_p｝のデータ・パターン・ベ クトルを受け取る段階を含むとともに、ｐ＝１，２，．．．，Ｐであり、Ｐは、
    正の整数として定義され、データ・パターン・ベクトルの集合が、次のように定
    義された全変動を有し、 【数２４】 ここで、｛ｘ_p｝は、データ・パターン・ベクトルの集合であり、 ｐ＝１，２，．．．，Ｐであり、 Ｐは、正の整数として定義され、 ＜ｘ_i＞は、データ・パターン・ベクトルの集合から求めたｘ_ipの平均値を示 し、 Ｓは、次元数であり、 ｘ_jpは、データ・パターン・ベクトルの集合のｐ番目の構成要素ｘ_pのｉ番目 の成分であり、 バックプロバゲーションによってニューラル・ネットワークを訓練する段階と
    、 ニューラル・ネットワークの出力層からの多次元出力信号を表示する段階と、 を含む方法。
24. 【請求項２４】 バックプロパゲーションによってニューラル・ネットワー
    クを訓練する前記段階が、次の式にしたがってニューラル・ネットワークの出力
    層における重みｗ_kjを漸進的に変化させる段階を含み、 【数２５】 Ｏ_pjが、ｐ番目のデータ・パターンによる出力層の直前の層におけるｊ番目の
    ノードからの出力信号であり、 ηは、効率的な集束を実現するか発振を回避するように選択された適切な値の
    定数であり、 δ_pkは、ｐ番目の入力データ・パターンの出力層のｋ番目のノードの出力によ
    る誤差Ｅへの寄与率に比例した値である請求項２３に記載の方法。
25. 【請求項２５】 δ_pkが、次の式で表される請求項２４に記載のシステム。 【数２６】
26. 【請求項２６】 前記ニューラル・ネットワークが、さらに、隠れノードか
    らなる少なくとも１つの隠れ層を含み、各々の隠れノードの適応重みｗが、次の
    式にしたがって漸進的に改善され、 【数２７】 Ｏ_piが、ｐ番目の入力データ・パターンのｊ番目の層の直前の層におけるｉ番
    目のノードの出力信号である請求項２３に記載の方法。、
27. 【請求項２７】 δ_pｊが、次の式で表される請求項２６に記載の方法。 【数２８】
28. 【請求項２８】 前記多次元の出力信号が、２次元出力信号である請求項２
    ３に記載の方法。
29. 【請求項２９】 前記２次元出力信号が、２次元軸に対してプロットするデ
    ータ点を含む請求項２３に記載の方法。