JP2002543525A

JP2002543525A - 多次元データの非線形マッピングのための方法、システムおよびコンピュータプログラム製品

Info

Publication number: JP2002543525A
Application number: JP2000615919A
Authority: JP
Inventors: ディミトリスケイ．アグラフィオティス，; ビクターエス．ロバノフ，; フランシスアール．セイレム，
Original assignee: ３−ディメンショナルファーマシューティカルズ，インコーポレイテッド
Priority date: 1999-05-03
Filing date: 2000-05-03
Publication date: 2002-12-17
Also published as: WO2000067148A1; EP1175648A1; CA2371649A1; HUP0201628A2; US6571227B1; IL146227A0; US7117187B2; US20030195897A1; AU4689700A

Abstract

(57)【要約】多次元のデータセットをスケーリングまたは次元を下げる方法、システムおよびコンピュータプログラム製品。本発明は、ｎ次元データセットからサンプル点を選択し、サンプル点を非線形マッピングすることにより、対応するｍ次元の点のセットを得る。任意の適切な非線形マッピング法または多次元スケーリング法が、採用され得る。次に、プロセスは、対応する点のセットを用いて、システム（例えば、ニューラルネットワーク）をトレーニングする。トレーニングプロセス中または終了時に、システムは、２つの点のセットの間の関係を生成または決定する。

Description

【発明の詳細な説明】

【０００１】（発明の背景）（発明の分野）本発明は、多次元データセットのスケーリングに関し、より詳細には、多次元
データセットからのサンプルの点の非線形マッピング、そのマッピングされたサ
ンプルの点についての一つ以上の非線形関数の決定、およびその一つ以上の非線
形関数を用いたさらなる点のマッピング（元の多次元データセットの要素のマッ
ピングおよび新規な未確認の点のマッピングを含む）に関する。

【０００２】（関連分野）多次元スケーリングに関する従来の技術は、大量の多次元データセットについ
て十分なスケーリングを行わない。

【０００３】求められているものは、多次元スケーリングのための方法、システムおよびコ
ンピュータプログラム製品である。これは大量の多次元データセットに対しても
速く、十分なものである。

【０００４】（発明の要旨）多次元データセットをスケーリングする、または次元を減少させるための方法
、システムおよびコンピュータプログラム製品は、大量のデータセットに対して
十分にスケーリングを行う。本発明は、多次元データセットからのサンプルの点
と対応するセットの次元が減少された点との間の一つ以上の非線形関数を決定し
、その後さらなる点を非線形マッピングするためにその非線形関数を使用するこ
とにより、多次元データセットをスケーリングする。さらなる点は元の多次元デ
ータセットの要素であってもよいし、または新規な未確認の点であってもよい。
一つの実施形態では、本発明はｎ次元のデータセットからのサンプルの点と対応
するｍ次元のセットの点で開始する。あるいは、本発明はｎ次元のデータセット
からのサンプルの点を選択し、そしてこのサンプルの点を非線形マッピングして
対応するｍ次元のセットの点を得る。任意の適切な非線形マッピング技術または
多次元スケーリング技術が用いられ得る。そしてプロセスは、システム（例えば
、ニューラルネットワーク）を養成し、これは対応するセットの点を用いる。養
成プロセスの最中またはその終わりに、システムは二つのセットの点の間の関係
を生じさせるか、または決定する。一つの実施形態では、その関係は一つ以上の
非線形関数の形式である。そして一つ以上の非線形関数はシステムで実施される
。その後、さらなるｎ次元の点がこのシステムに提供される。このシステムは一
つ以上の非線形関数を用いてそのさらなる点をマッピングする。これは従来の多
次元スケーリング技術を用いる場合よりもずっと速い。一つの実施形態では、こ
の非線形関係の決定は、ニューラルネットワークのような自己学習システムによ
って行われる。そして、さらなる点がフィードフォワードの様式でこの自己学習
システムを使用してマッピングされる。

【０００５】本発明は、添付の図面を参照して記載される。

【０００６】図面において、同じ参照番号は同一または機能的に類似した要素を示す。さら
に、参照番号の一番左の数字により、関連する要素が最初に導入された図面を特
定する。

【０００７】（好適な実施形態の詳細な説明）（目次）Ｉ．非線形マッピングネットワークＡ．はじめにＢ．次元下げＣ．非線形マッピングＤ．非線形マッピングネットワークＥ．組合せ化学ＩＩ．プロセスでの実行Ａ．点サンプルの選択Ｂ．点サンプルの非線形マッピングＣ．１つ以上の非線形関数の決定Ｄ．非線形関数を使用してさらなる点のマッピングＩＩＩ．システムでの実行ＩＶ．本発明の追加特徴Ａ．複数の非線形関数Ｖ．コンピュータプログラム製品での実行ＶＩ．結論Ｉ．非線形マッピングネットワークＡ．はじめに統計学に現われてきた多くの次元下げ技術の中でも、多次元スケーリングおよ
び非線形マッピングは、概念の簡潔性、および信頼のおける公平な方法でデータ
空間のトポロジーおよび構造を再現する能力において一人勝ちしている。残念な
がら、すべての既知のアルゴリズムは、既存のハードウェアを使用して効果的に
分析され得るデータセットのサイズに厳しい制限を課す、２次時間の複雑性を示
す。本明細書は、「従来の」非線形マッピング技術と、フィードフォワードニュ
ーラルネットワークとを結合させる新規なアプローチを記載し、これにより、従
来の方法論を使用してアクセスできるものよりはるかに大きいデータセットの処
理が可能となる。確率サンプリングの原理に基づき、本方法はアルゴリズムを採
用し、ランダムに選んだ小さなサンプルを多次元に拡大し、次いで逆伝播アルゴ
リズム（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎａｌｇｏｒｉｔｈｍ）でトレーニ
ングされた多層パーセプトロンを使用して基本となる非線形変換を「学習する」
。一旦トレーニングされると、ニューラルネットワークは、フィードフォワード
方法で使用され、最小限の歪みを有する新しく、今だ見ないサンプルを投影し得
る。組合せ化学およびコンピュータビジョンの分野からの例を使用して、この方
法が、伝統的な方法論によって生ずる投影と事実上区別不能な投影を生成し得、
そしてこれらの技術によって必要なごくわずかな時間で投影できることを実証す
る。ニューラルネットワークの形状で非線形変換をエンコードする能力は、新し
い可能性を開き、これまでには考えられなかった状況下で適用可能な非線形マッ
ピングを作成する。

【０００８】Ｂ．次元下げ次元下げおよび視覚化は、科学的データ分析において最も重要である。中でも
特に重要なものは、データの構造およびトポロジーを理解する能力、および発明
者らの研究の主題間の相互関係および関連性である。そのような関係はしばしば
、直接的な観察を介して、または非類似性または距離測定の何らかの形状におい
て以後結合される１組の特徴的な特性の測定を介して得られる、類似性指数によ
って記載される。確かに、距離は偏在的な概念であり、宇宙を理解するに最も信
頼のおける指導原理の１つ、すなわち人が理解し、快適さを感じ、そして安らぎ
と確信を持って操縦できるものを表す。

【０００９】本明細書は、高次元データを見る旧式の方法に対する新しいアプローチを記載
する。高次元空間は、人の２または３次元幾何学に関する経験から発達する直感
に挑戦およびしばしば矛盾する特性を所有する。この複雑性はしばしば、当初ベ
ルマンに紹介され、多次元にわたる結合の最適化の複雑性を記述する「次元の冒
涜」として呼ばれてきた（その全体が本明細書中に参考として援用される、ベル
マン、Ｒ．Ｅ．、ＡｄａｐｔｉｖｅＣｏｎｔｒｏｌＰｒｏｃｅｓｓｅｓ、Ｐ
ｒｉｎｃｅｔｏｎＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ、１９６１年、を参照さ
れたい）。統計学では、この表現はより高い次元におけるデータの分布を記載す
るために使用される。超球および超立法体の体積に対する次元の効果の古典的例
が示すように（双方の全体が本明細書中に参考として援用される、Ｗ式ｍａｎ、
Ｅ．Ｊ．Ａｎｎ．Ｓｔａｔｉｓｔ．、１９７０年、およびＳｃｏｔｔ、Ｄ．Ｗ．
、ＭｕｌｔｉｖａｒｉａｔｅＤｅｎｓｉｔｙＥｓｔｉｍａｔｉｏｎ：Ｔｈｅ
ｏｒｙ、ＰｒａｃｔｉｃｅａｎｄＶｉｓｕａｌｉｚａｔｉｏｎ、Ｗｉｌｅｙ
、ＮｅｗＹｏｒｋ、１９９２年、を参照されたい）、高次元空間の密度のほと
んどは、その境界線の近くに集中し、その「中心」を実質的に空にしている。確
かに、より高い次元における「周囲」の概念は、やや歪みされている。すなわち
、その周囲が「局所的」である場合、周囲は実質的に空である。周囲が空でない
場合、周囲は「局所的」ではない。これは、多くの統計学的用途において、重要
な影響を有する。

【００１０】しかしながら、高次元空間は、化学および物理学から、社会科学および心理学
まですべての科学分野において現われる。現代科学において、現象は、１組の特
性を測定および分析することによって理解され、そしてモデルを構築し、その構
造および因果関係を説明することによって理解される。特徴の数が少ない場合、
データ内のパターンが、１および２次元ヒストグラム、散布図および／または運
動力学技術など、従来のグラフィックによる方法を使用して抽出され得る。しか
しながら、より高い次元の設定では、そのような技術の有用性は制限される。な
ぜならば、それらの技術により、起こり得る組合せを爆発的に増加させ、そして
可能性のある高次（ｈｉｇｈｅｒ−ｏｒｄｅｒ）関係が得られなくなるためであ
る。

【００１１】高次元の表現は、多くのさらなる問題を引き起こす。第１、および恐らく最も
重要な問題は、変数間の実質的な相関関係の存在である。相関関係の重要性は、
ドメイン依存的であるが、一般的には余剰変数はデータ分析において過度の影響
を及ぼす傾向にある。さらに、その特徴が、回帰または分類のために使用される
場合、オーバーフィッティングが深刻な問題となり得る。多数の変数の存在によ
り、ほとんどの回帰および分類技術は、個々のサンプルの特異性に焦点を当て、
トレーニング組を越えて一般化するために不可欠である広範な像を見失う可能性
がある。最後に、空間次元が増加するに従い、分析を実行するために必要な計算
労力のサイズが、今日の多くの高性能なコンピュータにとっても脅威となり得る
。幸運にも、

【００１２】

【数１】のほとんどの多変量データは、ほとんどｄ次元ではない。すなわち、データの基
本構造が、たいていｄより低い次元である。省略化のために、そしてデータの分
析および表現を簡略化するために、全体像にほとんど何も付加しない次元を無視
することによって、空間の次元を下げることがしばしば望ましい。データに報告
されたほとんどの方法は、元の空間を、１以上２または３次元表現に投影するこ
とによって、空間の次元を下げようとしている。

【００１３】恐らく、最も一般的な次元下げ技術は、主成分分析（ＰＣＡ）である。例えば
、その全体が本明細書中に参考として援用される、Ｃｏｏｌｅｙ、Ｗ．、Ｌｏｈ
ｎｅｓ、Ｐ．、ＭｕｌｔｉｖａｒｉａｔｅＤａｔａＡｎａｌｙｓｉｓ、Ｗｉ
ｌｅｙ、ＮｅｗＹｏｒｋ、１９７１年、を参照されたい。ＰＣＡは、１組の部
分的に相互関係データを、変化に寄与する量として最小限の損失で、より小さな
１組の直交変数（主成分）へと縮小させる。結果、この方法は、同様に働く特徴
を検出して、直交、すなわち相関性のない新しい１組の変数へと結合する。主成
分は、変数−共分散行列を対角行列に変換することによって計算される。この行
列の固有ベクトルが主成分であり、固有ベクトルは主成分のそれぞれの変数であ
る。ＰＣの数は入力変数の数と等しいが、データに何らかの冗長性がある場合、
元のサンプルの変数の「ほとんど」を説明するには、最初の数個のＰＣのみを所
有することで通常十分である。この制限は任意であり、発見的規則（典型的には
、９０または９５％の閾値が使用される）によって通常決定される。ＰＣＡの主
な利点は、元の変数の確率分布に関する前提を全く作らないことである。各固有
ベクトルの要素は、その固有ベクトルの元の変数の影響を反映し、変数間の自然
連関を確立するために使用される。

【００１４】ＰＣＡと密接に関連したものは、要素分析（ＦＡ）として知られる技術である
。要素分析とは、基本要素の形状の変数間の相関関係を説明しようとする試みで
ある。基本要素はそれ自体では直接観察できないが、これらの相関関係を作りだ
した基本プロセスの代表だと考えられている。表面的には、要素分析および主成
分分析は非常に似通っている。双方とも共分散行列の固有値分析に依存し、双方
は１組の観察を説明するために変数の線形結合を使用する。しかしながら、ＰＣ
Ａにおいて関心のある量は、観察される変数自体である。つまり、これらの変数
の組合せは単に、それらの分析および解釈を簡略化するための手段なのである。
逆に、要素分析において、観察される変数はほとんど内因的な有用性はなく、そ
の関心のあるところのものは、基本要素である。

【００１５】残念ながら、ＰＣＡおよびＦＡ双方は、乏しい分散変数に起因した、アウトラ
イアー、不足データおよび乏しい相関関係に影響されやすい。より重要なことに
は、これらの技術は入力空間の線形制約条件を仮定しており、高次元、非線形空
間においては十分に機能しない。最後に、これらの方法で手近の問題に向けて最
も重要な特徴を抽出することを保証する方法はまったくなく、そして何らかの決
定的に重要な情報が残されたまま、多くの冗長性の中に埋もれたままである可能
性が常にある。

【００１６】Ｃ．非線形マッピング多次元スケーリング（ＭＤＳ）、非線形マッピング（ＮＬＭ）およびコホネン
のネットワークは、特に非線形空間を扱う、代替の次元下げ技術を表す。例えば
それぞれの全体が本明細書中に参考として援用される、Ｂｏｒｇ、Ｉ．、Ｇｒｏ
ｅｎｅｎ、Ｐ．、ＭｏｄｅｒｎＭｕｌｔｉｄｉｍｅｎｓｉｏｎａｌＳｃａｌ
ｉｎｇ、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ、ＮｅｗＹｏｒｋ、１９９７年、Ｓ
ａｍｍｏｎ、Ｊ．Ｗ．ＩＥＥＥＴｒａｎｓ．Ｃｏｍｐ．、１９６９年および
Ｋｏｈｏｎｅｎ、Ｔ．Ｓｅｌｆ−ＯｒｇａｎｉｚｉｎｇＭａｐｓ、Ｓｐｒｉｎ
ｇｅｒ−Ｖｅｒｌａｇ、Ｈｅｉｄｅｌｂｅｒｇ、１９９６年、を参照されたい。

【００１７】最初の２つは、距離行列から座標を再現するように設計されていた。一方後者
は、強力な自己組織規則を介して達成される試作品製造によるデータ抽出を特徴
とする。最初の２つの技術では、次元下げは、より高い次元表現から計算される
距離行列から低次元座標セットを再構築することによって影響を受ける。一方後
者においては、元の特性ベクトルが、元のデータセットのトポロジーおよび密度
を維持する方法で配列された２次元のセルアレイへとマッピングされる。これら
の次元下げされた表現は、種々のパターン認識および分類タスクのために以後使
用され得る。

【００１８】多次元スケーリング（ＭＤＳ）は、類似性行列または非類似性行列によって記
載される１組のオブジェクトを視覚化する必要性から生じた。この技術は、心理
学の分野に始まり、Ｔｏｒｇｅｒｓｏｎおよびクラスカルの研究にさかのぼり得
る。双方の全体が本明細書中に参考として援用される、Ｔｏｒｇｅｓｏｎ、Ｗ．
Ｓ．、Ｐｓｙｃｈｏｍｅｔｒｉｋａ、１９５２年、およびＫｒｕｓｋａｌ、Ｊ．
Ｂ．Ｐｈｙｃｈｏｍｅｔｒｉｋａ、１９６４年、を参照されたい。

【００１９】問題は、低次元空間における点の構造を、これらの点間の距離に関する情報か
ら構築することである。特に、入力空間｛ｘ_i、ｉ＝１、２、．．．ｋ｝のｋデ
ータセット、これらの点間で観察される非類似性の対称行列ｄ_ij、およびｄ−次
元表示面

【００２０】

【数２】上の１組のｘ_iの画像と仮定すると、その目的はユークリッド距離δ_ij＝｜｜ξ_i −ξ_j｜｜が対応する値ｄ_ijにできるだけ近くなるように近似するような方法で
、その面にξ_iを置くことである。誤差関数の平方和は、埋め込みの質を決定す
るために使用され得る。最も一般的に使用される基準は、クラスカルのストレス
の、

【００２１】

【数３】である。

【００２２】実際の埋め込みは、反復の方法で実行される。このプロセスは、１）初期座標
の組ξ_iを生成することで始まり、２）距離δ_ijを計算し、３）クラスカルの線
形回帰またはグットマンのランク像順列（ｒａｎｋ−ｉｍａｇｅｐｅｒｍｕｔ
ａｔｉｏｎ）などの最も急な下降アルゴリズムを使用して、新しい座標の組ξ_i
を見つけ、そして４）ストレス関数の変化が何らかの予め決められた閾値より低
くなるまで、ステップ２および３を繰り返す。

【００２３】非線形マッピング（ＮＬＭ）は、１９６９年にＳａｍｍｏｎにより提唱された
技術に密接に関連する。例えば、上述の、Ｓａｍｍｏｎ、Ｊ．Ｗ．ＩＥＥＥＴ
ｒａｎｓ．Ｃｏｍｐ．、１９６９年を参照されたい。ちょうどＭＤＳのように
、ＮＬＭは、２または３次元プロット上の局所的な幾何学的関係を近似させよう
とする。「正確な」投影は、距離行列が正に符合が定まっている場合のみ可能で
あるが、有意義な投影はこの基準が満たされない場合でさえも取得され得る。Ｍ
ＤＳに同じく、プロセスは限定組のサンプル｛ｘ_i、ｉ＝１、２、．．．、ｋ｝
、対称非類似行列ｄ_ij、および表示面

【００２４】

【数４】上のｘ_iの１組の像で始まり、そしてユークリッド距離δ_ij＝｜｜ξ_i−ξ_j｜｜
が対応する値ｄ_ijにできるだけ近くなるように近似するような方法で、その面に
ξ_iを置くことを試みる。（近似したものでしかできないが）その埋め込みが、
誤差関数Ｅを最小化することによって反復の方法で実行される。ここで誤差関数
Ｅは、元のベクトルセットおよび投影されたベクトルセットである、

【００２５】

【数５】の距離行列間の差を測る。Ｅは、最も急な下降アルゴリズムを使用して最小化される。初期座標ξ_iはラン
ダムに、またはＰＣＡなどのその他の投影技術によって決定され、Ｅｑ．３を使
用して更新される。 ξ_pq（ｍ＋１）＝ξ_pq（ｍ）−λΔ_pq（ｍ）式３ここで、ｍは繰り返し数であり、λは学習率パラメータであり、

【００２６】

【数６】である。

【００２７】コホネンのネットワークと比べ非線形マップの利点は、非線形マップはさらに
詳しい個々の詳細を提供し、対話型分析および視覚検査のためにそれらを見事に
役に立たせることである。投影されたマップ上の元のサンプルの距離を維持する
ことによって、ＭＤＳおよびＮＬＭは、ユニークで誠実な方法でデータセットの
トポロジーおよび構造関係を表すことができる。ほとんどの場合、投影はいくら
かの情報の損失をもたらすが、ＮＬＭおよびＭＤＳによって誘発される歪み量は
他の次元下げ技術と比べると最小のものである。残念ながら、これらの利点にも
かかわらず、すべての公知の非線形マッピングアルゴリズムは、データセットの
サイズとは逆に、２次時間の複雑性およびスケールを提示する。

【００２８】本明細書は、従来の非線形マッピング技術などの非線形マッピング技術と、フ
ィードフォワードニューラルネットワークとを結合し、従来の方法論を使用して
アクセスできたものより数桁大きいデータセットの処理を可能とする新規なアプ
ローチを記載する。下記のパラグラフは、要となるアルゴリズムの詳細の外観を
提供し、組合せ化学およびコンピュータビジョンの分野からの例を使用してこの
アプローチの利点を記載する。

【００２９】Ｄ．非線形マッピングネットワーク本明細書に記載の方法は、確率サンプリングの規則にその基板を置く。すなわ
ち、所定の総数からランダムに選ばれた少数の要素は、総数全体と同じ割合で、
同じ特徴を有する傾向がある。発明者のアプローチは、データの全体構造を反映
する小さなランダムサンプルに多次元スケーリングをし、そして逆伝播アルゴリ
ズムでトレーニングされた多層パーセプトロンを使用して基本となる非線形変換
を「学習する」アルゴリズムを採用することである。例えば、Ｈａｙｋｉｎ、Ｓ
．ＮｅｕｒａｌＮｅｔｗｏｒｋｓ：ＡＣｏｍｐｒｅｈｅｎｓｉｖｅＦｏｕ
ｎｄａｔｉｏｎ．Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、１９９８年を参照されたい。

【００３０】一旦トレーニングされると、ニューラルネットワークはフィードフォワード方
法にて使用され、最小限の歪みを有する新しく、今だ見ないサンプルと同様、総
数の内残りの要素を投影し得る。ｎからｍ次元への非線形投影のために、ｎ入力
およびｍ出力ユニットを備えた３層ニューラルネットワークが採用される。隠れ
たニューロンの数は、入力空間の次元および構造ならびにトレーニングセットの
サイズに基づいて経験的に決定される。

【００３１】コンピュータビジョン学からのデータセットを使用して、発明者の分析を始め
る。データセットは、２，６３０個のデータ点から成る人間の顔の３次元画像で
ある。このタスクは、その画像を面に投影し、視覚的に結果を検査することであ
った。オブジェクトは、元の形式および投影された形式の双方で容易に認識され
得、そして線形と非線形次元下げ技術との間の微妙な差を説明する助けとなる。
元のデータが図１Ａおよび図１Ｂのそれぞれ２つの直交する図に示される。

【００３２】まずクラスカルのストレス関数の特徴を検討する。クラスカルのストレス関数
は、元のベクトルセットおよび投影されたベクトルセットの距離行列間のフィッ
ティングの程度を測定する。式１から明らかなように、この関数は、集合体中に
あるアイテムの数の平方へとスケーリングする、数十万〜数億ものアイテムを含
むデータセットを計算することは不可能である。しかしながら、この種の多くの
量と同様、ストレスはよく定義された統計学的特性を有する。データ内の一対の
点間の距離の全体数のほんの一部分のみを調べることによってその量の信頼性の
ある推定値を得ることができる。図２は、顔のデータセットの２次元非線形マッ
プのためのサンプルを得るために使用される、サンプルサイズに対するストレス
依存性を示す。報告された数は、ランダムに１対の点を選択することによって得
られ、元のベクトル空間および投影されたベクトル空間においてそれらの一対の
点間の距離を測定し、式１におけるエラーを累積する。各サンプルサイズ、ｎに
対して、１００のストレス評価が実行され、それぞれがランダムに選択された異
なる組のｎ個の一対の点間の距離を使用する。得られた分布の平均偏差および標
準偏差は図２にプロットされる。この方法で得られた「確率的な」ストレスがほ
とんど最小のサンプルにとって取るに足りないばらつきを示し、実際、発明者ら
が得る全体の距離の第１０００番目を単にサンプリングすることによって、真の
値と小数点第４桁目までを同じくするストレスのように、真のストレスに漸近し
て近づいていくことは明らかである。これは、次元、構造、起原に関わらず、発
明者らが研究したあらゆるデータセットに当てはまることが判明した。

【００３３】図２では、最初の４つの棒およびそれぞれのエラーバーは、１００、１，００
０、１０，０００および１００，０００個のランダムに選択された距離をそれぞ
れ使用して計算された、ＮＬＭ投影のストレスの平均標準偏差を表す。最後の２
つの棒は、ＮＬＭおよびＰＣ投影の真のストレスをそれぞれ表しており、これら
は３，４５７，１３５個のすべての一対の点間の距離を評価することによって計
算される。

【００３４】ここで注意を非線形マップ自体を得る際のサンプリングの効果に向ける。顔デ
ータの２−ＤＰＣＡおよびＮＬＭ投影が、図３Ａおよび３Ｂにそれぞれ示され
る。本研究で使用されたこのデータセットおよびその他のすべてのデータセット
に対し、ＰＣＡ投影は、データ内のばらつきの多くの原因である最初の２つの主
成分から得られた。一方非線形マップは、発明者らのグループによって開発され
たＳａｍｍｏｎの元のアルゴリズムの変形例を用いて得られた。例えば、その全
体が本明細書中に参考として援用される「Ｓｙｓｔｅｍ，Ｍｅｔｈｏｄａｎｄ
ＣｏｍｐｕｔｅｒＰｒｏｇｒａｍＰｒｏｄｕｃｔｆｏｒＲｅｐｒｅｓ
ｅｎｔｉｎｇＰｒｏｘｉｍｉｔｙＤａｔａｉｎａＭｕｌｔｉ−Ｄｉｍ
ｅｎｓｉｏｎａｌＳｐａｃｅ」と題する、１９９８年５月７日に出願された、
米国特許出願第０９／０７３，８４５号を参照されたい。概して、２つの投影は
非常に似通っているが、１つの重要な局面で異なっている。すなわち、主要構成
要素の投影において、１つの次元が完全に抑えられており、人間の輪郭のすべて
の特徴が実質的に失われている（図３Ａを参照されたい）。対照的に、非線形マ
ップは、オブジェクト全体の重要で特有な特徴を結合する「混成」図を表す。一
般的な形状では依然正面図が優位を誇るのに対し、頭蓋骨後頭部の検出可能な隆
起（図３Ｂ）と同様、鼻、唇、あごなどの顔の輪郭の主な要素を明らかに認識し
得る。歪みの観点から、ＮＬＭ投影に対する０．１５２のクラスカルのストレス
、およびＰＣＡ投影に対する０．２１８のクラスカルのストレスによって明らか
にされるように、ＮＬＭは、距離行列を維持する点でＰＣＡよりよりよい仕事を
行う。

【００３５】距離関係を維持する線形方法の失敗は、空間の真の次元が増えるに従い、より
目立ったものになる。例えば、単位（超）立方体に均一に分布された１，０００
のデータ点のＰＣＡおよびＮＬＭ投影のストレスを考える。３から１０次元の超
立方体の結果は図４に示される。ＮＬＭが高次元空間においてその効率性を維持
すると想定される一方、ＰＣＡの性能は急激に悪化し、その方法は２、３次元を
超えると実質的に意味のないものとなる。

【００３６】本発明は、解析関数の形で、古典的な反復アルゴリズムまたはその均等物によ
って生成される１つ以上の非線形変換を捕捉、または決定する。このような関係
の抽出に必要な点の数を決定するため、多層パーセプトロンを、非線形マッピン
グデバイスとして用いて、１００〜１，６００個の点の範囲のいくつかのサンプ
ルサイズを用いて、シミュレーションの拡張セットを実行する。実験は、以下の
工程からなる。各サンプルサイズｎについて、１００個の異なるランダムなｎ個
の点のサブセットが、元の３次元オブジェクトから抽出され、「古典的な」非線
形マッピングアルゴリズムを用いて、独立してマッピングされる。その後、ＮＬ
Ｍから得られた３Ｄ入力および２Ｄ出力座標が用いられて、論理活性化機能を有
する３個の入力ニューロン、１０個の隠れたニューロン、および２個の出力ニュ
ーロンを有する、１００個の別個のニューラルネットワークがトレーニングされ
る。全てのネットワークは、１０，０００エポックの間トレーニングされ、０．
５から０．０１に学習率が線形的に低減し、運動量は０．８である。ネットワー
クがトレーニングされた後、２，６３０個の点のデータセット全体が、それぞれ
に対して提示され、２Ｄ座標の１００個の新たなセットが得られる。上述したよ
うに、この手順は、それぞれ、１００、２００、４００、８００、および１，６
００個の点を含む５個の異なるサンプルサイズについて、繰り返される。表記を
簡略化するため、これらの１００個のサブセットのそれぞれと、関連する全ての
データとを別個の「実行」と呼ぶ。

【００３７】この実験の結果を図５にまとめる。右の２つの棒は、それぞれ、完全なＮＬＭ
およびＰＣ投影のストレスを表し、ニューラル近似の質を測定するための基準点
として機能を果たす。左にある５対の棒およびそれぞれのエラーバーは、特定の
サンプルサイズの各々について、トレーニングセットのＮＬＭ投影（ぬりつぶし
）、および全体的なデータセットのニューラル投影（斜線）のストレスの平均偏
差および標準偏差を表す。これらの結果は、我々の直感および予想と、完全に一
致する。まず、非線形マップの平均ストレスは、漸近的に、点の数と共に増大す
る。例えば、４００個の点（全体の１５％）の平均ストレスは、完全なＮＬＭの
ストレスに対して０．００１単位内であり、標準偏差は、０．００６に過ぎない
。より重要なことに、対応するニューラル投影のストレスは、同じ漸近性の、類
似するが反対の傾向を示す。予想されるように、ニューラルネットワークをトレ
ーニングするために用いられる情報がより多くなると、より予測的になり、潜在
的な真の変換をより良く近似するようになる。興味深いことに、たった１００個
の点でも、我々が試みた全ての単一のセットは、ＰＣＡで得られた近似より、よ
り良いニューラル近似が得られた。しかし、最も重大な観察結果は、ニューラル
ストレスの標準偏差が非常に小さく、許容誤差の限界内に十分に収まることであ
る。

【００３８】図５に、ストレスを、顔データセットのサンプルサイズの関数として示す。２
本の棒、およびそれぞれのエラーバーは、５個の異なるサンプルサイズについて
、１００回の実行にわたる、トレーニングセットのＮＬＭ投影（ぬりつぶし）、
および全体的なデータセットのニューラル投影（斜線）のストレスの平均偏差お
よび標準偏差を表す。それぞれの実行は、トレーニングセットを含む点の異なる
セットを表す。最後の２つの棒は、それぞれ、全てのデータセットのＮＬＭ投影
およびＰＣ投影のストレスを表す。

【００３９】構造のコンテキストにおいて、ストレス値が真に意味することをより良く理解
するため、図３Ｃに、「平均」４００個の点のサンプルでトレーニングされるニ
ューラルネットワークから得られ、０．１５８のストレスを有する非線形マップ
を示す。マップは、ＮＬＭによって得られるマップと、より「標準的」な形では
あるが、実質的に同一であり、前面および背面による顔つきを混合したものと同
じ特性を表す。実際に、事前のデータ解析の目的に関しては、２つのイメージは
、実質的に識別不可能である。

【００４０】最後に、異なる視点からひずみを見る。図６に、ランダムに１，０００対の点
を選択し、元の３−Ｄ空間における対応する距離対して固有の２−Ｄ空間におけ
る距離をプロットすることによって得られる３つの分散プロットを示す。図６Ａ
、６Ｂ、および６Ｃは、それぞれ、ＰＣＡ投影、ＮＬＭ投影、およびＮＮ投影に
対応する。ＰＣＡプロット（図６Ａ）において、全ての距離は、変換による次元
および線形性の低下に一致した対角線の下にある。しかし、ひずみは、プロット
の左側部分の下側でより顕著であり、短い対による距離の保存がずっと悪いこと
を意味する。ひずみが非線形マップにおいても明白であるにも関わらず、誤差は
より均等に分布し得るように見え、スペクトルの下側の端における距離には、偏
りがより少ない。通常、異なる対象が、充分に離れているように見える限り、互
いに密接に関係する対象の近似性を保存することにより関心が集まるので、これ
は重要な違いである。もう１度いうと、ＮＬＭおよびＮＮプロットは、実質的に
同一であり、ニューラル近似の質に関する上記の記述を裏付ける。

【００４１】図６に、顔データセットの実際の距離対投影の距離を示す。

【００４２】（Ｅ．組合せ化学）顔データは、有用なテストケースを提供するが、この方法が意図されているデ
ータセットと比較すると、サイズおよび次元の両方の面において、見劣りする。
我々にとって特に関心のある領域であり、大きいデータセットが普及している領
域は、組合せ化学である。近年、薬学および化学産業は、数百から数十万、場合
によっては数百万もの分子を含む大きな化学ライブラリの同時合成および生物学
的な評価を可能にする、新たな一組の技術を採り入れてきた。例えば、Ｔｈｏｍ
ｐｓｏｎ，Ｌ．Ａ．、Ｅｌｌｍａｎ，Ｊ．Ａ．、Ｃｈｅｍ．Ｒｅｖ．（１９９６
年）を参照のこと。この文献は、その全文を通じて、本明細書中で参考として援
用される。また、米国特許第５，４６３，５６４号を参照のこと。この特許は、
その全文を通じて、本明細書中で参考として援用される。

【００４３】組合せライブラリは、合成原理の所定のセットの構成単位への系統的な適用か
ら得られる、化学化合物のコレクションである。この同じ原理が、生物界の巨大
な多様性のもとであり、生物界のプロテオームは、ペプチド結合を介して無数の
組合せで互いに接続された２０個のアミノ酸に過ぎないものからなる。組合せラ
イブラリの設計および解析は、現代の薬物設計に欠かせない部分となってきてお
り、本当に驚異的なサイズのデータセットを含む。例えば、以下の文献を参照の
こと。

【００４４】Ａｇｒａｆｉｏｔｉｓ，Ｄ．Ｋ．ＤｉｖｅｒｓｉｔｙｏｆＣｈｅｍｉｃ
ａｌＬｉｂｒａｒｉｅｓ、ＴｈｅＥｎｃｙｃｌｏｐｅｄｉａｏｆＣｏｍ
ｐｕｔａｔｉｏｎａｌＣｈｅｍｉｓｔｒｙ、Ｓｃｈｌｅｙｅｒ，Ｐ．ｖ．Ｒ．
、Ａｌｌｉｎｇｅｒ，Ｎ．Ｌ．、Ｃｌａｒｋ，Ｔ．、Ｇａｓｔｅｉｇｅｒ，Ｊ．
、Ｋｏｌｌｍａｎ，Ｐ．Ａ．、ＳｃｈａｅｆｅｒＩＩＩ，Ｈ．Ｆ．、Ｓｃｈ
ｒｅｉｎｅｒ，Ｐ．Ｒ．編、ＪｏｈｎＷｉｌｅｙ＆Ｓｏｎｓ、Ｃｈｉｃｈ
ｅｓｔｅｒ、１９９８、Ｖｏｌ．１、７４２−７６１Ａｇｒａｆｉｏｔｉｓ，Ｄ．Ａ．、Ｍｙｓｌｉｋ，Ｊ．Ｃ．、Ｓａｌｅｍｍｅ
，Ｆ．Ｒ．、ＭｏｌｅｃｕｌａｒＤｉｖｅｒｓｉｔｙ、１９９８、４（１）、
１−２２、ＡｄｖａｎｃｅｓｉｎＤｉｖｅｒｓｉｔｙＰｒｏｆｉｌｉｎｇ
ａｎｄＣｏｍｂｉｎａｔｏｒｉａｌＳｅｒｉｅｓＤｅｓｉｇｎ、Ａｎｎ
ｕａｌＲｅｐｏｒｔｓｉｎＣｏｍｂｉｎａｔｏｒｉａｌＣｈｅｍｉｓｔ
ｒｙａｎｄＭｏｌｅｃｕｌａｒＤｉｅｒｓｉｔｙ、Ｐａｖｉａ，Ｍ．、Ｍ
ｏｏｓ，Ｗ．編、Ｋｌｕｗｅｒ、１９９９、２、７１−９２上記の文献は、両方とも、全文を通じて、本明細書中で参考として援用される。

【００４５】ライブラリ設計における非線形マッピングが、個々の細部を失うことなく、直
感的に複雑な関係を伝達する、並ぶ物のない能力のおかげで、重要であることを
、我々のグループが初めて実証した。例えば、Ａｇｒａｆｉｏｔｉｓ，Ｄ．Ｋ．
Ｓｔｏｃｈａｓｔｉｃａｌｇｏｒｉｔｈｍｓｆｏｒｍａｘｉｍｉｚｉｎ
ｇｍｏｌｅｃｕｌａｒ、Ｊ．Ｃｈｅｍ．Ｉｎｆｏ．Ｃｏｍｐｕｔ．Ｓｃｉ．（
１９９７年）を参照のこと。この文献は、その全文を通じて、本明細書中で参考
として援用される。この研究は、各々が一列に並べられた配列からなる３３９ア
ミノ酸を特性ベクターとして用い、３９０の複数の整列したタンパク質キナーゼ
ドメインの解析における、その以前の成功した適用例に続いている。例えば、Ａ
ｇｒａｆｉｏｔｉｓ，Ｄ．Ｋ．ＰｒｏｔｅｉｎＳｃｉｅｎｃｅ（１９９７年）
を参照のこと。この文献は、その全文を通じて、本明細書中で参考として援用さ
れる。実際に、非線形マップが距離マトリクスの不可欠な特徴を得ることができ
、これらのタンパク質の公知の基質特異性に一致したクラスターを表すというこ
とを見い出した。

【００４６】このセクションにおける残りの段落に、２つの組合せライブラリの多次元スケ
ーリングのためのニューラルネットワークの使用を記載する。第１の組合せライ
ブラリは、もともと、Ｇａｓｔｅｉｇｅｒによって開発され、ライブラリ設計の
視覚化が重要であることを最初に実証したものの代表である。例えば、Ｓａｄｏ
ｗｓｋｉ，Ｊ．、Ｗａｇｅｎｅｒ，Ｍ．、Ｇａｓｔｅｉｇｅｒ，Ｊ．、Ａｎｇｅ
ｗ．Ｃｈｅｍ．Ｉｎｔ．Ｅｄ．Ｅｎｇｌ．（１９９６年）を参照のこと。この文
献は、その全文を通じて、本明細書中で参考として援用される。データセットは
、３つの固い中央の構造（ｓｃａｆｆｏｌｄ）を１９のＬアミノ酸のセットで固
化することによって得られる３つのサブライブラリからなる。これらの構造は、
４つの酸塩化物基によって機能化される、クバン、アダマンタン、およびジメチ
ルキサンテンコアに基づく（図７）。（図７Ａは、キサンテン、図７Ｂは、クバ
ン、図７Ｃは、アダマンタンを表す。）対称性に起因して、この式からは、合計
で、８７，７２３種類の独自の化合物、あるいは、それぞれ、１１，１９１種類
のクバン誘導体、１１，１９１種類のアダマンタン誘導体、および６５，３４１
種類のキサンテン誘導体が得られる。

【００４７】各化合物は、１２次元空間自動相関ベクターによって記載される。１２次元空
間自動相関ベクターは、分子表面のファンデルワースの電位の分布を表す。この
ベクターは、分子の表面上に均等に分布された点セット上の電位（ＭＥＰ）を計
算し、これらの点間のペア毎の距離の全てを１２個の所定の間隔に分割し、式５
に従って、各間隔におけるペア全体にわたってＭＥＰ値を合計することによって
得られる。

【００４８】

【数７】ただし、ｐ_iおよびｐ_jは、ｉ番目およびｊ番目の表面点でのＭＥＰの値であり、
ｄ_ijは、これらの点間の距離であり、ｄ_lおよびｄ_uは、自動相関間隔の上限およ
び下限であり、Ｌは、［ｄ_l，ｄ_u］における距離の総数である。解析は、経験的
な手法から得られる部分的な原子の電荷を用いる、単一の低エネルギー構造およ
び単純なクーロンアプローチに基づく。例えば、Ｇａｓｔｅｉｇｅｒ，Ｊ．
Ｍａｒｓｉｌｉ，Ｍ．Ｔｅｔｒａｈｅｄｒｏｎ、１９８０、３６、３２１９
−３２２８、およびＡｎｇｅｗ．Ｃｈｅｍ．Ｉｎｔ．Ｅｄ．Ｅｎｇｌ．、１９８
５、２４、６８７−６８９を参照のこと。これらの文献は、その全文を通じて、
本明細書中で参考として援用される。Ｇａｓｔｅｉｇｅｒのオリジナルの出版物
においては、これらの自動相関ベクターは、コホネンのネットワークをトレーニ
ングするために用いられていた。コホネンのネットワークは、キサンテンを、構
造の３次元ジオメトリおよび４つのアミノ酸Ｒ基の相対的な配置と矛盾しないよ
うに、クバンおよびアダマンタン誘導体から分離することができた。

【００４９】このデータセットは、以前の例において用いられた解析と同じタイプの解析に
かけられる。特に、１００回の独立した実行が、５個の異なるサンプルサイズ（
１００、２００、４００、８００および１６００個の点）で実行され、それぞれ
が、トレーニングセットを含むランダムな点の異なるセットを含む。ネットワー
クは、１２個の入力ユニット、１０個の隠れたユニット、および２個の出力ユニ
ットからなり、合計で、１４０個の自由に調節可能なシナプス量を有する。同様
のトレーニングパラメータが用いられるが、それぞれ、１００および２００個の
点を含むサンプルについて、トレーニングエポックが１０，０００に限定され、
４００、８００、および１，６００個の点を含むサンプルについて、５，０００
、２，０００および１，０００に限定される点が異なる。各サンプルサイズにつ
いて、ストレス分布の平均偏差および標準偏差を、完全なＮＬＭおよびＰＣＡ投
影のストレスと共に、図８に示す。そのグラフは、顔データの解析において確立
された傾向と同様の傾向を示す。ランダムサンプルの平均ストレスは、サンプル
サイズと共に増大する。サンプル自体の組成は、全体の比率をよりはっきりと表
すようになるにつれて、重要度が低くなる。最も重要な違いは、小さいトレーニ
ングセットを有するネットワークのかなり低い性能である。実際、１００個の点
でトレーニングされたネットワークは、平均すると、ＰＣＡより僅かに良好に動
作するだけである。これは、ＰＣＡの平均ストレス０．２２１と比較して、平均
ストレスが、０．２０９であることから明らかである。２つの理由が、この問題
点の原因として挙げられる。第１に、トレーニングセットは、充分に表していな
いからであり、第２に、ネットワークが、１００個のトレーニングケースに対し
てのみ１４０個のシナプス量があるので、オーバーフィッティングの影響を非常
に受けやすいからである。オーバーフィッティングは、トレーニングケースの数
が増加するにつれて要因とはならなくなり、実際に、平均ストレスは、４００個
の点の場合、０．１６７±０．００５まで、１，６００個の点の場合、０．１６
０±０．００２まで下がる。これらのサンプルは、それぞれ、全体の収集の０．
４５％および１．８％を表す。

【００５０】図８に、Ｇａｓｔｅｉｇｅｒデータセットについてのサンプルサイズ関数とし
て、ストレスを表す。２本の棒、およびそれらのそれぞれのエラーバーは、５個
の異なるサンプルサイズの１００回の実行にわたる、トレーニングセットのＮＬ
Ｍ投影（ぬりつぶし）、およびデータセット全体のＮＮ投影（斜線）のストレス
の平均偏差および標準偏差を表す。それぞれの実行は、トレーニングセットを含
む点の異なるセットを表す。最後の２つの棒は、それぞれ、データセット全体の
ＮＬＭ投影およびＰＣ投影のストレスを表す。

【００５１】３つのライブラリのＰＣＡ、ＮＬＭおよびニューラルマップを、図９に示す。
ＰＣＡ、ＮＬＭおよびニューラルマップは、構造に従って、色分けされている（
キサンテンは青、クバンは緑、アダマンタンは赤）。図９Ｃのニューラルマップ
は、８００個の点でトレーニングされ、０．１６２のストレスを有するネットワ
ークから得られる。再度、ＮＬＭおよびＮＮマップは、実質的に識別できず、両
方とも、オリジナルの自己組織化マップにおいて観察された平面系と立体系との
間のはっきりした分離を反映する。さらに、非線形マップは、コホネンネットワ
ークによって捕らえられない、クバンライブラリとアダマンタンライブラリとの
間のより微妙な差を明らかにする。しかし、Ｇａｓｔｅｉｇｅｒ記述子セットは
、相当に冗長である。主な成分解析によって、データのばらつきの９９％が７Ｐ
Ｃ（表１）だけで回復できることが明らかになっている。最初の２つのＰＣだけ
で、ばらつきの８０％がカバーされる。このことは、主な成分投影の比較的低い
ストレス（０．２２）によって説明される。この低い有効な次元は、ＰＣＡマッ
プ自体（図９Ａ）において反映される。図９Ａの全体的な構造が、非線形投影の
構造と、劇的には異ならない。実際に、Ｇａｓｔｅｉｇｅｒデータセットは、数
値的には、より綿密な非線形方法の使用に対して、少なくとも予備的なデータ解
析について、より優勢なケースを構築しない。しかし、以前に指摘したように、
これらの方法の間の違いは、空間の次元が増大するにつれて、より明らかになる
。最後の例は、かなり高い次元の第２の組合せデータセットを用いて、この点を
実証する。

【００５２】データセットは、Ｃｒａｍｅｒらの研究から取った、３つの成分の組合せライ
ブラリである。例えば、Ｃｒａｍｅｒ，Ｒ．Ｄ、Ｐａｔｔｅｒｓｏｎ，Ｄ．Ｅ．
、Ｃｌａｒｋ，Ｒ．Ｄ．、Ｓｏｌｔａｎｓｈａｈｉ，Ｆ．、Ｌａｗｌｅｓｓ，Ｍ
．Ｓ．、Ｊ．Ｃｈｅｍ．Ｉｎｆｏ．Ｃｏｍｐｕｔ．Ｓｃｉ．（１９９８年）を参
照のこと。この文献は、その全文を通じて、本明細書中で参考として援用される
。２つの第１アミンまたは第２アミンを含むジアミン分子は、中央構造として役
割を果たし、還元型アニメーションの影響を受けやすい、アシル化剤、反応性ハ
ロゲン化物、または、カルボニル基を用いて、両方側で変性される。このライブ
ラリを生成するために必要な一連の合成は、アミンのうちの１つの選択的保護、
および第１の側鎖の導入、それに続く、脱保護および第２の側鎖の導入を含む（
図１０）。オリジナルの著者が述べているように、市販されている試薬のみ（１
９９６ＡｖａｉｌａｂｌｅＣｈｅｍｉｃａｌＤｉｒｅｃｔｏｒｙ、ＭＤＬ
ＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓ，Ｉｎｃ．（１４０Ｃａｔａｌｉ
ｎａＳｔｒｅｅｔ，ＳａｎＬｅａｎｄｒｏ，ＣＡ９４５７７）により
市販、タイプＨＮＸＮＨの試薬１７５０種類、タイプＲＸの試薬２６，７００種
類を有する）の使用によって、１０¹²を越える可能性のある生成物（全世界で蓄
積されている化学的な資料の５０，０００倍を越える！）が産出され得る。

【００５３】この研究の目的が、非線形マッピングアルゴリズムを有効にすることであるの
で、我々は、４２種類の市販のジアミン、ならびに３７種類の酸塩化物およびア
ルキル化剤を用いる、より小さい５７，４９８種類の化合物のライブラリを生成
した。各化合物は、分子グラフの本質的な特徴を捉えるように設計された１１７
種類の位相的指標によって記載される。分子グラフは、続いて、データの全体的
なばらつきの原因の９９％を占める、１６種類の直交主成分に低減された。これ
らの主成分は、上記の非線形次元低減技術への入力として用いられる。ＰＣＡ事
前処理工程は、グラフ理論記述子において典型的なデータの重複および冗長をな
くすために必要である。

【００５４】結果を図１１にまとめる。ネットワークは、１６個の入力ニューロン、１０
個の隠れたニューロン、および２個の出力ニューロン（すなわち、合計で１８０
このシナプス量）を有し、それぞれ、１００および２００個の点を含むトレーニ
ングセットについて、１０，０００エポックの間、トレーニングされ、４００、
８００、および１，６００個の点を含むトレーニングセットについて、５，００
０、２，０００、および１，０００エポックの間、トレーニングされる。驚くべ
きことに、ネットワークは、１つのトレーニングケース当たりほぼ２つのシナプ
スがある、１００個の点（ライブラリ全体の０．２％未満）のトレーニングセッ
トを用いる場合にさえ、オーバーフィッティングをしない。実際、我々がトレー
ニングしたネットワークは全て、ＰＣＡよりも大幅に性能が優れている。全体の
傾向として、２つの以前の例において観察された傾向と異ならない。サンプルサ
イズが増大すれば、より良好な近似が得られ、異なるサンプルにわたって、ばら
つきが低減する。４００個の点（ライブラリ全体の０．７％）のランダムなサン
プルによって、０．１９３±０．００６の平均ストレスを有するニューラルマッ
プが得られる。サンプルサイズが１，６００個の点（ライブラリ全体の２．８％
）まで増加すると、ストレスが、実際のＮＬＭストレス０．１６９近傍の０．１
８３±０．００２まで向上する。

【００５５】図１１に、ストレスを、ジアミンデータセットのサンプルサイズの関数として
示す。２本の棒およびそれぞれのエラーバーは、５つの異なるサンプルサイズに
ついて、１００回の実行にわたる、トレーニングセットのＮＬＭ投影（ぬりつぶ
し）、および全体的なデータセットのＮＮ投影（斜線）のストレスの平均偏差お
よび標準偏差を表す。それぞれの実行は、トレーニングセットを含む点の異なる
セットを表す。最後の２つの棒は、それぞれ、データセット全体のＮＬＭ投影お
よびＰＣ投影のストレスを表す。

【００５６】得られるマップ（図１２）（図１２Ａ、ジアミンデータセット、１２Ｂ、ＮＬ
Ｍ投影、１２Ｃ、ＮＮ投影、４００個の点のトレーニングセット）は、従来のマ
ッピングアルゴリズムとニューラル非線形マッピングアルゴリズムとの間に近い
一致を確認し、それらと、０．３３２のストレスを有するＰＣＡとの間の実質的
な違いを確認する。表１の主成分のばらつきを見ることによって（図２３）、こ
の場合において、なぜＰＣＡがこのように不十分な方法なのかが明らかになる。
第１の２ＰＣは、データの全体のばらつきの６９％の原因でしかなく、Ｇａｓｔ
ｅｉｇｅｒデータセットにおける第１の２ＰＣによるばらつきより１０％少なく
、顔データセットのそれぞれの成分におけるばらつきより、１４％少ない。この
不明の「残余の」ばらつきは、主成分マップにおいて、大幅なひずみになり、ジ
アミンライブラリがデータの真の構造のヒントを殆ど提供しない場合、２つの不
均等に占められたクラスタの存在によってのみ証明される。最後に、距離プロッ
ト（図１３）（ジアミンデータセット、実際の距離対投影された距離；１３Ａ、
ＰＣ投影；１３Ｂ、ＮＬＭ投影；１３Ｃ、ＮＮ投影；４００個の点データセット
）は、短距離が、ＰＣＡによってより激しくひずむことを示す。この問題点は、
顔データセット（図６）において、より少ない程度であった。反対に、非線形マ
ッピングは、全体にわたってより均一に誤差を分散し、それらの間にはわずかな
差しかない。

【００５７】上記の結果は、広範囲にわたる３つの全く違うデータセットの解析に基づくが
、この解析は、全てを網羅するものではない。２つの重要な観察が行われる必要
がある。第１に、特定のデータセットのそれぞれについて、ネットワークパラメ
ータを最適化するための試みがなされていない。この明細書における主な焦点は
、サンプリングに当てられており、ネットワークの位相がサンプルサイズの関数
として変化しないことを比較することを可能にすることである。トレーニングセ
ットは、サイズが大幅に異なり、オーバーフィッティングは、いくつかの結果、
特に、より小さいサンプルから得られる結果に寄与する要因である。第２に、特
定のサンプルサイズのそれぞれについて、１００回の実行が行われるが、ネット
ワークは、特定のサンプルサイズのそれぞれについて、１度しかトレーニングさ
れない。結果として、観察されたストレスのばらつきの一部は、シナプス量空間
における局所的な最低値から離れられない、不十分にしか最適化されていないネ
ットワークに起因し得る。事前の計算によって、実際には、最適化の実行ごとに
ばらつきがあり、何回か最適化を行い、特定のトレーニングセットのそれぞれに
ついて最適なネットワークを選択する場合に、結果が大幅に良くなることが確認
された。大幅な向上は、トレーニングエポックの数を増加させること、または、
学習スケジュールおよび運動量のような他のトレーニングパラメータを微調整す
ることによっても達成され得、特に大きいサンプルについて、隠れたニューロン
の数を増加させることによっても達成され得る。ニューラルネットワークが、非
線形マップを「学習」するために用いられ得る多くの異なる非線形デバイスのう
ちの１つであり、これらのデバイスの構造は、任意の複合的な形態を取り得るこ
とも述べなければならない。この方法の有効な応用は、複数のサブネットワーク
の使用を含み、それぞれのサブネットワークが、特徴空間の特定のドメイン専用
である。最後に、これらの例は全て、２次元投影に基づくが、提案されるアーキ
テクチャは、汎用性であり、任意の所望の次元の制約された表面を抽出するため
に用いられ得る。

【００５８】（ＩＩ．プロセスにおけるインプリメンテーション）次に、本発明が、ハードウェア、ソフトウェア、ファームウェアまたはこれら
の任意の組み合わせを用いる装置によって手動で、または自動で（あるいはこれ
らを組み合わせて）実行され得る一連の工程について説明される。図１４は、本
発明をインプリメントするプロセスフローチャート１４０２を示す。

【００５９】（Ａ．点サンプルの選択）プロセスは、ｎ次元のデータセットから点サンプルを選択することを含む工程
１４０４から始まる。ｎ次元のデータセットを本明細書中において多次元データ
セットと区別なく呼ぶ。

【００６０】多次元データセットは、例えば、１組の性質によって特徴付けられた化合物の
ような種々のタイプの多次元データのうち任意のデータを含み得る。性質は、化
学的性質、物理的性質、生物学的性質、電気的性質、コンピュータ化された性質
およびこれらの性質の組み合わせを含み得る。多次元データセットはまた、ある
いは、１組の性質によって特徴付けられたタンパク質配列、および／または１組
の性質によって特徴付けられた遺伝子配列を含み得る。典型的には、多次元デー
タは、数値フィールドを有するレコードのデータベースに格納される。

【００６１】工程１４０４は、種々の方法のうち任意の方法で実行され得る。例えば、点サ
ンプルは、ランダムに、または何らかの性質あるいはそれらの点に関連する性質
に従って、選択され得る。点サンプルは、多次元データセットの特徴を反映する
ように、または多次元データセットのサブセットの特徴を反映するように選択さ
れ得る。

【００６２】（Ｂ．点サンプルの非線形マッピング）工程１４０６は、ｎ次元の点サンプルをｍ次元空間に非線形マッピングするこ
とを含む。ここで、ｎおよびｍは、ｎがｍよりも大きな値を満たす限り任意の値
を取り得る。工程１４０６はまた、低次元化とも呼ばれる。これは、工程１４０
６によって、ｎ次元の点サンプルに関連する次元数をスケーリングまたは低減す
るためである。点サンプルは、１９９８年５月７日に出願された「Ｓｙｓｔｅｍ
，ＭｅｔｈｏｄａｎｄＣｏｍｐｕｔｅｒＰｒｏｇｒａｍＰｒｏｄｕｃ
ｔｆｏｒＲｅｐｒｅｓｅｎｔｉｎｇＰｒｏｘｉｍｉｔｙＤａｔａｉｎ
Ｍｕｌｔｉ−ＤｉｍｅｎｓｉｏｎａｌＳｐａｃｅ」と称される米国特許出願
第０９／０７３，８４５号に開示される技術（但しこれに限定されないが）を含
む種々の適切な従来のマッピング技術、または開発途中にあるマッピング技術、
あるいはこれらの組み合わせのうち任意の技術を用いて非線形マッピングされる
。

【００６３】（Ｃ．１つ以上の非線形関数の決定）工程１４０８は、マッピングされた点サンプルに基づいて１つ以上の非線形関
数を決定することを含む。すなわち、工程１４０８は、工程１４０４からのｎ次
元の点サンプルを工程１４０６から対応するｍ次元の点に相関させる１つ以上の
非線形関数を決定する。工程１４０８は、多層ニューラルネットワークおよび他
の検索および／または最適化技術（但しこれらに限定されないが）のような自己
学習または組織化技術を含む種々の技術のうち任意の技術を用いて実行され得る
。最適化技術には、モンテカルロ／ランダムサンプリング、グリーディ検索アル
ゴリズム、シミュレーションアニール、進化プログラミング、遺伝アルゴリズム
、遺伝プログラミング、グラディエント最小化法およびこれらの組み合わせを含
むが、これらの技術に限定されない。

【００６４】好ましくは、工程１４０８の１つ以上の非線形関数は、線形および／または非
線形の様態で組み合わされた線形および／または非線形関数の基本セットから導
出される。１実施形態において、線形および／または非線形関数の基本セットは
、分析関数、ルックアップテーブル、ソフトウェアモジュールおよび／またはサ
ブルーチン、ハードウェアおよびこれらの組み合わせを含み得るが、これらに限
定されない。

【００６５】（Ｄ．非線形関数を用いたさらなる点のマッピング）工程１４１０は、工程１４０８で決定された１つ以上の非線形関数を用いてさ
らなる点をマッピングすることを含む。すなわち、次に１つ以上の非線形関数を
用いて、さらなるｎ次元の点をｍ次元空間にマッピングする。さらなる点は、も
とのｎ次元のデータセットの残りの要素および／またはもとのｎ次元のデータセ
ットに含まれない新しい以前に見られなかった点を含み得る。

【００６６】（ＩＩＩ．システムにおけるインプリメンテーション）本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み
合わせでインプリメントされ得る。図１５Ａは、本発明をインプリメントするシ
ステム１５０２に含まれ得るモジュールおよびデータフローの例示的なブロック
図を示す。図１５Ａのブロック図は、本発明の理解を助けることを目的としてい
る。本発明は、図１５Ａのブロック図に示される例示的な実施形態に限定されな
い。

【００６７】システム１５０２は、多次元格納またはデータ生成デバイス１５０４、サンプ
ル点選択モジュール１５０６、非線形マッピングモジュール１５０８、非線形関
数モジュール１５１０および出力デバイス１５１２を含む。出力デバイス１５１
２は、例えば、ディスプレイ、プリンタ、格納デバイス等であり得る。

【００６８】動作において、多次元格納またはデータ生成デバイス１５０４は、ｎ次元のデ
ータセット１５０５をサンプル点選択モジュール１５０６に提供する。

【００６９】サンプル点選択モジュール１５０６は、工程１４０４において説明したように
、ｎ次元のデータセット１５０５から点サンプル１５０５を選択する。点サンプ
ル１５０５は、非線形マッピングモジュール１５０８に提供される。

【００７０】非線形マッピングモジュール１５０８は、工程１４０６において説明したよう
に、ｎ次元のサンプル点１５０７をｍ次元空間にマッピングする。非線形マッピ
ングモジュール１５０８は、ｍ次元のサンプル点１５０９を非線形関数モジュー
ル１５１０に提供する。

【００７１】非線形関数モジュール１５１０は、ｍ次元のサンプル点１５０９およびｎ次元
の点サンプル１５０７を受け取り、工程１４０８において説明したように、２つ
の間の１つ以上の関係を規定する１つ以上の非線形関数を決定する。ｍ次元の点
１５０９は、任意で、表示、印刷、格納等のための出力デバイス１５１２に提供
される。

【００７２】非線形関数モジュール１５１０は、１つ以上の非線形関数を決定した後、非線
形関数モジュール１５１０は、工程１４１０において説明したように、フィード
フォワードの様態で動作して、さらなるｎ次元の点１５１３をｍ次元空間にマッ
ピングする。さらなるｎ次元の点１５１３は、ｎ次元のデータセット１５０５の
残りの要素および／または他のソース１５１４からの新しい以前に見られなかっ
た点を含み得る。その結果をここではｍ次元のさらなる点１５１１として示す。
この結果は、任意で、出力デバイス１５１２に提供される。

【００７３】フィードフォワードモード動作において、非線形関数モジュール１５１０は、
非線形マッピングモジュール１５０８を用いることなくさらなるｎ次元の点１５
１３を多次元マッピングまたはスケーリングする。このことは、多くのさらなる
点が、非線形関数モジュールのうちの１つ以上の非線形関数によって効率的に処
理され得ることから重要である。一方、非線形マッピングモジュールに用いられ
る従来の非線形マッピング技術では、多くの多次元データセットを十分にスケー
リングしない。

【００７４】非線形関数モジュール１５１０は、ハードウェア、ソフトウェア、ファームウ
ェアまたはこれらの組み合わせを含み得る。図１５Ｂは、非線形関数決定モジュ
ール１５１８および非線形関数インプリメンテーションモジュール１５２０を含
む非線形関数モジュール１５１０の例示的なインプリメンテーションを示す。

【００７５】非線形関数決定モジュール１５１８は、工程１４０８において説明したように
、１つ以上の非線形関数１５１９を決定する。好ましくは、非線形関数決定モジ
ュール１５１８は、線形および／または非線形の様態で組み合わされた線形およ
び／または非線形関数の基本セットから１つ以上の非線形関数を決定または導出
する。１実施形態において、線形および／または非線形関数の基本セットは、分
析関数、ルックアップテーブル、ソフトウェアモジュールおよび／またはサブル
ーチン、ハードウェアおよびこれらの組み合わせを含み得るが、これらに限定さ
れない。

【００７６】１実施形態において、非線形関数決定モジュール１５１８は、多層ニューラル
ネットワークおよび他の検索および／または最適化技術（但しこれらに限定され
ないが）のような自己学習または組織化技術を含む種々の技術のうち任意の技術
を用いて１つ以上の非線形関数を決定または導出する。最適化技術には、モンテ
カルロ／ランダムサンプリング、グリーディ検索アルゴリズム、シミュレーショ
ンアニール、進化プログラミング、遺伝アルゴリズム、遺伝プログラミング、グ
ラディエント最小化法およびこれらの組み合わせを含むが、これらの技術に限定
されない。

【００７７】１つ以上の非線形関数１５１９は、非線形関数インプリメンテーションモジュ
ール１５２０に提供される。非線形関数インプリメンテーションモジュール１５
２０は、工程１４１０で説明したように、これら１つ以上の非線形関数１５１９
をフィードフォワード様態で用いて、さらなるｎ次元の点１５１３をマッピング
する。

【００７８】非線形関数モジュール１５１０が、多層ニューラルネットワークのような自己
学習または訓練システムを含む場合、非線形関数決定モジュール１５１８は自己
学習システムの訓練を表し、非線形関数インプリメンテーションモジュール１５
２０は、フィードフォワード（予測的な）様態で自己学習システムの動作を表す
。

【００７９】（ＩＶ．発明のさらなる特性）以下に、本発明のさらなる特性および任意のインプリメンテーション拡張が説
明される。

【００８０】（Ａ．複数の非線形関数）１実施形態において、ｎ次元の点に対する複数の非線形関数を決定するまたは
導く。１実施形態において、点の異なるサブセットに対する非線形関数を決定す
る。１実施形態において、点の１つ以上のサブセットが重複する。別の実施形態
において、点の複数のサブセットは相互に排他的である。

【００８１】図１６は、複数の非線形関数を決定し使用し、それによって多次元の点を非線
形マッピングする例示的なプロセスを示すプロセスフローチャート１６０２であ
る。プロセスは、前述のように工程１４０４および１４０６で始まる。工程１４
０６は、従来の、または古典的な非線形マッピング法、あるいは新しいおよび／
またはまだ未決定の方法により実行される。

【００８２】プロセスは、プロセスフローチャート１６０２において工程１６１０〜１６１
６として示される工程１４０８に進む。工程１６１０は、点の第１のサブセット
をサンプル点から選択する工程を包含する。工程１６１２は、点の第１のサブセ
ットに対する１つ以上の非線形関数の第１のセットを決定する工程を包含する。
工程１６１４は、点の第２のサブセットをサンプル点から選択する工程を包含す
る。工程１６１６は、点の第２のサブセットに対する１つ以上の非線形関数の第
２のサブセットを決定する工程を包含する。点のさらなるサブセットがサンプル
点から選択され得、点のさらなるサブセットに対する１つ以上の非線形関数のさ
らなるセットが決定され得、導かれ得る。１実施形態において、２つ以上のサブ
セットが重なる。別の実施形態において、点のサブセットは、相互に互いに排他
的である。

【００８３】工程１４１０は、フローチャート１６０２において工程１６１８として示され
る。工程１６１８は、１つ以上の非線形関数を使用し（すなわち、フィードフォ
ーワード、または予測的な様式（ｆｅｅｄ−ｆｏｒｗａｒｄ，ｏｒｐｒｅｄｉ
ｃｔｉｖｅｍａｎｎｅｒ）における非線形関数を演算し）、それによってさら
なるｎ次元の点をマッピングする工程を包含する。これは、工程１６１２および
１６１６において導かれる１つ以上の非線形関数にさらなる多次元の点を向ける
工程を包含する。これは、様々な方法において実行され得る。

【００８４】例示的な実施形態において、工程１６１２および１６１６で導かれた１つ以上
の非線形関数のセットそれぞれは、ｎ次元空間の点または領域に関連付けられる
。さらなるｎ次元の点が非線形にマッピングされる場合、非線形関数のセットの
１つが選択され、それにより非線形関数のセットに関連付けられた点または領域
とのさらなるｎ次元の点の近接さ（ｐｒｏｘｉｍｉｔｙ）に基づいてマッピング
を実行する。１実施形態において、さらなる点は、「最近接」の非線形関数（単
数または複数）によってマッピングされる。

【００８５】このプロセスは、図２０Ａのプロセスフローチャートにおいて示される。図１
７は、プロセスをインプリメンテーションする例示的な非線形関数モジュール１
７０１を示す。非線形関数モジュール１７０１は、図１５Ａの非線形関数モジュ
ール１５１０の例示的なインプリメンテーションである。図１７において、非線
形関数モジュール１７０１は、工程１６１２および１６１６において導かれる非
線形関数の複数のセットを表す複数のサブネット１７０２ａ〜１７０２ｎを含む
。各サブネット１７０２は、以前に説明されたように任意の非線形技術（ｎｏｎ
−ｌｉｎｅａｒｔｅｃｈｎｉｑｕｅ）または非線形技術の組み合せを含んでも
よいし、使用してもよい。

【００８６】非線形関数モジュール１７０１はまた、さらなるｎ次元の点１５１３を１つ以
上のサブネット１７０２に向けるディスパッチャ１７０４を含む。選択されるサ
ブネット１７０２は、さらなるｎ次元の点１５１３をｎ次元からｍ次元まで非線
形的にマッピングする。

【００８７】ディスパッチャ１７０４は、１つ以上のサブネット１７０２を任意の適切な様
式で選択する。１実施形態において、各サブネット１７０２は、ｎ次元空間の異
なる点または領域に関連付けられる。ディスパッチャ１７０４は、サブネット１
７０２に関連付けられた点または領域とさらなる点との近接さに基づいて１つ以
上のサブネット１７０２を選択する。通常、さらなる点１５１３に「最近接」す
るサブネット１７０２（単数または複数）を選択し、さらなる点を非線形的にマ
ッピングする。

【００８８】別の実施形態において、サブネット１７０２は、ｎ次元空間ではなくｍ次元空
間の点または領域に関連付けられる。ディスパッチャ１７０４は、サブネット１
７０２に関連付けられたｍ次元の点または領域と、さらなる点１５１３の近似的
なｍ次元座標との近接さに基づき、さらなるｎ次元の点１５１３を１つ以上のサ
ブネット１７０２に向ける。

【００８９】このプロセスは、図２０Ｂのプロセスフローチャートに示される。図１９は、
マスターネット１９０２を含む例示的な非線形関数モジュール１７０１を示す。
非線形関数モジュール１７０１は、さらなるｎ次元の点１５１３に対するｍ次元
座標、または点１９０４を推定する。マスターネット１９０２は、好適には、工
程１４０６のトレーニング段階（ｐｈａｓｅ）の間に決定されまたは導かれ得る
１つ以上の非線形関数を十分に使用する。例えば、マスターネット１９０２は、
サンプル点からまたはサンプル点のサブサンプルからトレーニングされ得る。

【００９０】ディスパッチャ１７０４は、サブネット１７０２に関連付けられたｍ次元の点
または領域と推定されたｍ次元座標１９０４との近接さに基づき、さらなるｎ次
元の点１５１３を１つ以上のサブネット１７０２に向ける。

【００９１】ディスパッチャ１７０４は、図１７および１９に示されるように、複数のサブ
ネット１７０２を選択し、それによってさらなる点１５１３を非線形マッピング
する場合、例えば、複数の選択されたサブネット１７０２の出力が適切な様式で
組み合わされ、それによってｍ次元座標、または点１５１１を生成する。

【００９２】図２１Ａおよび２１Ｂは、複数のサブネット１７０２の出力を組み合わせる例
示的なプロセスフローチャートを示す。図１８は、複数の選択されたサブネット
１７０２の出力を組み合わせる例示的なインプリメンテーションを示す。図１８
では、非線形関数モジュール１７０１は、複数の選択されたサブネット１７０２
からの出力をさらなる点１５１３に対して積算する（ａｃｃｕｍｕｌａｔｅｓ）
アキュムレータ１８０２を含む。アキュムレータは、適切な様式で複数のサブネ
ット１７０２からの出力を組み合せ、ｍ次元の点１５１１を出力する。１実施形
態において、アキュムレータ１８０２は、サブネット１７０２に関連付けられた
点または領域とさらなる点１５１３との近接さに基づき、複数のサブネット１７
０２の出力を重み付けまたは平均化する。

【００９３】（Ｖ．コンピュータプログラム製品のインプリメンテーション）本発明は、１つ以上のコンピュータを使用してインプリメンテーションされ得
る。図２２を参照すると、例示的なコンピュータ２２０２は、プロセッサ２２０
４等の１つ以上のプロセッサを含む。プロセッサ２２０４は、通信バス２２０６
に接続される。様々なソフトウェアの実施例がこの例示的なコンピュータシステ
ムという観点から説明される。この説明を読んだ後、当業者には、他のコンピュ
ータシステムおよび／またはコンピュータアーキテクチャを使用してどのように
本発明をインプリメンテーションをするかが明らかになる。

【００９４】コンピュータ２２０２はまた、主メモリ２２０８、好適にはランダムアクセス
メモリ（ＲＡＭ）、および１つ以上の２次記憶デバイス２２１０を含む。２次記
憶デバイス２２１０は、例えば、ハードディスクドライブ２２１２および／また
はリムーバル記憶ドライブ２２１４（例えば、フロッピー（Ｒ）ディスクドライ
ブ、磁気テープドライブ、光ディスクドライブ等）を含み得る。リムーバル記憶
ドライブ２２１４は、周知の様式でリムーバル記憶ユニット２２１６から読み込
みおよび／またはリムーバル記憶ユニット２２１６に書き込む。リムーバル記憶
ドライブ２２１４によって読み込みまれ、書き込まれるリムーバル記憶ユニット
２２１６は、フロッピィ（Ｒ）ディスク、磁気テープ、光ディスク等を意味する
。リムーバル記憶ユニット２２１６は、コンピュータ内にコンピュータソフトウ
ェアおよび／またはデータを格納するコンピュータ使用可能記憶媒体を含む。

【００９５】別の実施形態において、コンピュータ２２０２は、コンピュータプログラムま
たは他の命令がコンピュータ２２０２をロード可能にする他の類似手段を含み得
る。そのような手段は、例えば、リムーバル記憶ユニット２２２０およびインタ
ーフェース２２１８を含み得る。そのような例は、ビデオゲームデバイスに見ら
れるようなプログラムカートリッジおよびカートリッジインターフェース、ＥＰ
ＲＯＭ、またはＰＲＯＭ等のリムーバルメモリチップおよび関連ソケット、およ
び他のリムーバル記憶ユニット２２２０、ならびにリムーバル記憶ユニット２２
２０からコンピュータ２２０２にソフトウェアおよびデータを転送し得るインタ
ーフェース２２１８を含み得る。

【００９６】コンピュータ２２０２はまた、通信インターフェース２２２２を含み得る。通
信インターフェース２２２２は、コンピュータ２２０２と外部デバイスとの間に
ソフトウェアおよびデータを転送可能にする。通信インターフェース２２２２の
実施例は、モデムイーサネット（Ｒ）カード等のネットワークインターフェース
、通信ポート、ＰＣＭＣＩＡスロットおよびカード等を含むが、それらに限定さ
れない。通信インターフェース２２２２を介して転送されるソフトウェアおよび
データは、信号（通常、搬送波のデータ）の形式である。その信号は、電気信号
、電磁気信号、光信号または通信インターフェース２２２２によって受信可能な
他の信号である。

【００９７】本明細書において、「コンピュータプログラム製品」という用語は、通常、リ
ムーバル記憶ユニット２２１６、２２２０、ハードドライブ２２１２等のメディ
アを指すのに使用される。これらのメディアは、コンピュータ２２０２から取り
外すことが可能であり、通信インターフェース２２２２によって受信される信号
搬送ソフトウェア（ｓｉｇｎａｌｓｃａｒｒｙｉｎｇｓｏｆｔｗａｒｅ）で
ある。上記のコンピュータプログラム製品は、コンピュータ２２０２にソフトウ
ェアを提供する手段である。

【００９８】コンピュータ制御論理とも呼ばれるコンピュータプログラムは、主メモリおよ
び／または２次記憶デバイス２２１０に格納される。コンピュータプログラムは
また、通信インターフェース２２２２を介して受信され得る。そのようなコンピ
ュータプログラムが実行される場合に、コンピュータ２２０２は、本明細書中で
議論された本発明の特性を実行し得る。詳細には、コンピュータプログラムが実
行される場合、プロセッサ２２０４は、本発明の特性を実行し得る。従って、そ
のようなコンピュータプログラムはコンピュータ２２０２の制御を意味する。

【００９９】本発明が全体的または部分的にソフトウェアを用いてインプリメンテーション
される実施形態において、ソフトウェアは、コンピュータプログラム製品に格納
され、リムーバル記憶ドライブ２２１４、ハードドライブ２２１２、および／ま
たは通信インターフェース２２２２を使用してコンピュータ２２０２にロードさ
れ得る。制御論理（ソフトウェア）がプロセッサ２２０４によって実行される場
合、プロセッサ２２０４は、本明細書中で説明されるように本発明の機能を実行
する。

【０１００】別の実施形態において、本発明の自動的に実行される部分（ａｕｔｏｍａｔｅ
ｄｐｏｒｔｉｏｎ）は、例えば、用途特定集積回路（ＡＳＩＣｓ）等のハード
ウェア構成要素を使用して主にまたは全体的にインプリメンテーションされる。
本明細書中で説明される機能を実行するためのハードウェア状態マシンのインプ
リメンテーションは、当業者には明らかである。

【０１０１】さらに別の実施形態において、本発明は、ハードウェアおよびソフトウェアの
両方の組み合せを使用してインプリメンテーションされる。

【０１０２】コンピュータ２２０２は、グラフィカルユーザインターフェースおよびウィン
ドウ環境を支援するオペレーティングシステムを実行するコンピュータシステム
等の任意の適切なコンピュータであり得る。適切なコンピュータシステムは、Ｓ
ｉｌｉｃｏｎＧｒａｐｈｉｃｓ、Ｉｎｃ．（ＳＧＩ）ワークステーション／サ
ーバ、Ｓｕｎワークステーション／サーバ、ＤＥＣワークステーション／サーバ
、ＩＢＭワークステーション／サーバ、ＩＢＭ互換性ＰＣ、ＡｐｐｌｅＭａｃ
ｉｎｔｏｓｈ、またはＩｎｔｅｌＰｅｎｔｉｕｍ（Ｒ）ファミリー（ｆａｍ
ｉｌｙ）からの１つ以上のプロセッサ（例えば、Ｐｅｎｔｉｕｍ（Ｒ）Ｐｒｏ
またはＰｅｎｔｉｕｍ（Ｒ）ＩＩ）の１つ等を使用する任意の他の適切なコンピ
ュータシステムである。適切なオペレーティングシステムは、ＩＲＩＸ、ＯＳ／
Ｓｏｌａｒｉｓ、ＤｉｇｉｔａｌＵｎｉｘ（Ｒ）、ＡＩＸ、Ｍｉｃｒｏｓｏｆ
ｔＷｉｎｄｏｗｓ（Ｒ）９５／ＮＴ、ＡｐｐｌｅＭａｃＯＳ、または任意
の他のオペレーティングシステムである。例えば、例示的な実施形態において、
プログラムは、ＩＲＩＸ６．４オペレーティングシステムが起動し、Ｘウィンド
ウシステムに基づくＭｏｔｉｆグラフィカルユーザインターフェースを使用する
ＳｉｌｉｃｏｎＧｒａｐｈｉｃｓＯｃｔａｎｅワークステーション上でイン
プリメンテーションされ、実行され得る。

【０１０３】本実施形態において、システム１５０２は、コンピュータ２２０２において全
体的にまたは部分的にインプリメンテーションされる。

【０１０４】（ＶＩ．結論）本明細書は、新しい非線形マッピングシステム、方法、およびコンピュータプ
ログラム製品、詳細には大容量のデータセット用に設計され、小容量のデータセ
ットに有用であるコンピュータプログラム製品を説明する。本実施形態において
、本発明は、「従来の」非線形マッピング技術をフィードフォワードニューラル
ネットワークを組み合せ、従来の方法論を用いてアクセス可能な量より大きなオ
ーダーのデータセットの処理を可能にする。本実施形態は、１つ以上の古典的な
技術、またはそれらと等価な技術を使用し、小さなランダムサンプルであり得る
サンプルを多次元的にスケーリングし、次いで、マルチレイヤ認識等を使用して
１つ以上の重要な非線形変換を「学習する」。一旦トレーニングされると、ニュ
ーラルネットワークは、フィードファワード様式で使用され、母集団の残りのメ
ンバ（ｍｅｍｂｅｒｓ）および最小の歪みを備えた新しい、未知のサンプルを投
射する。この方法は、確率的サンプリング（ｐｒｏｂａｂｉｌｉｔｙｓａｍｐ
ｌｉｎｇ）の原理に基づいおり、ダイバースオリジン（ｄｉｖｅｒｓｅｏｒｉ
ｇｉｎ）、構造、および次元性に関する広範な様々なデータセットにわたって非
常によく作用する。このアプローチにより、大容量のデータセットを多次元的に
スケーリングすることが可能になり、解析関数（ａｎａｌｙｔｉｃａｌｆｕｎ
ｃｔｉｏｎｓ）の形式で非線形変換を取り込むことによって、この貴重な統計技
術を応用する新しい可能性を開く。

【０１０５】本発明は、特定の機能およびそれらの関係の実行を示す機能的な構築ブロック
によって上記で説明されてきた。これらの機能的な構築ブロックの境界は、説明
の利便性のために本明細書中で任意に定義されてきた。特定の機能およびそれら
の関係が適切に実行される限り、代替的な境界が定義され得る。従って、任意の
そのような代替的な境界は、請求項で述べられる発明の範囲および意図を逸脱す
ることはなく、当業者には明らかである。

【０１０６】これらの機能的な構築ブロックは、個別の要素、用途特定集積回路、適切なソ
フトウェアを実行するプロセッサおよびこれらの任意の組み合せ等によって、イ
ンプリメンテーションされ得る。適切なサーキットリーおよび／またはこれらの
機能的な構築ブロックを実行するためのソフトウェアを発展させることは、十分
に当該分野の範囲内である。

【０１０７】上記の説明および実施例に基づき、当業者は、広範な様々な用途において本発
明をインプリメンテーションし得る。その用途全てが本範囲の範囲内にある。

【０１０８】本発明の様々な実施形態が上記で説明されてきた一方で、それらが例示のみに
よって提供され、限定ではないことが理解されるべきである。従って、本発明の
大きさおよび範囲は、上記の例示的な実施形態によって限定されるべきではなく
、請求項およびその等価物に従ってのみ規定されるべきである。

【図面の簡単な説明】

【図１Ａ】図１Ａは、顔データセットの側面図である。

【図１Ｂ】図１Ｂは、顔データセットの正面図である。

【図２】図２は、顔データセットのサンプルサイズの関数として非線形マッピングの確
率応力を示す。

【図３Ａ】図３Ａは、顔データセットの二次元主成分投影を示す。

【図３Ｂ】図３Ｂは、顔データセットの二次元非線形マッピング投影を示す。

【図３Ｃ】図３Ｃは、顔データセットの二次元ニューラルネットワーク投影を示す。

【図４】図４は、主成分分析と非線形マッピングとの応力の比較を示す。

【図５】図５は、ニューラルネットワーク、非線形マッピングおよび主成分分析を用い
る投影についての応力の比較を示す。

【図６Ａ】図６Ａは、主成分分析を用いる顔データセットについての実際の距離対投影さ
れた距離を示す。

【図６Ｂ】図６Ｂは、非線形マッピングを用いる顔データセットについての実際の距離対
投影された距離を示す。

【図６Ｃ】図６Ｃは、ニューラルネットワーク投影を用いる顔データセットについての実
際の距離対投影された距離を示す。

【図７Ａ】図７Ａは、コンビナトリアル骨格を示す。

【図７Ｂ】図７Ｂは、コンビナトリアル骨格を示す。

【図７Ｃ】図７Ｃは、コンビナトリアル骨格を示す。

【図８】図８は、Ｇａｓｔｅｉｇｎｅｒデータセットについてのサンプルサイズの関数
としての応力を示す。

【図９Ａ】図９Ａは、Ｇａｓｔｅｉｇｎｅｒデータセットの主成分投影を示す。

【図９Ｂ】図９Ｂは、Ｇａｓｔｅｉｇｎｅｒデータセットの非線形マッピング投影を示す
。

【図９Ｃ】図９Ｃは、Ｇａｓｔｅｉｇｎｅｒデータセットのニューラルネットワーク投影
を示す。

【図１０】図１０は、ジアミン（ＤＩＡＭＩＮＥ）ライブラリの世代についての合成シー
ケンスを示す。

【図１１】図１１は、ジアミンデータセットについてのサンプルサイズの関数としての応
力を示す。

【図１２Ａ】図１２Ａは、ジアミンデータセットの主成分投影を示す。

【図１２Ｂ】図１２Ｂは、ジアミンデータセットの非線形マッピング投影を示す。

【図１２Ｃ】図１２Ｃは、ジアミンデータセットのニューラルネットワーク投影を示す。

【図１３Ａ】図１３Ａは、ジアミンデータセットの主成分投影についての実際の距離対投影
された距離を示す。

【図１３Ｂ】図１３Ｂは、ジアミンデータセットの主な非線形マッピングについての実際の
距離対投影された距離を示す。

【図１３Ｃ】図１３Ｃは、ジアミンデータセットのニューラルネットワーク投影についての
実際の距離対投影された距離を示す。

【図１４】図１４は、本発明の実施のための例示のプロセスのフローチャートを示す。

【図１５Ａ】図１５Ａは、本発明の実施のためのシステムおよびデータフローの例示のブロ
ック図を示す。

【図１５Ｂ】図１５Ｂは、本発明の実施のためのシステムおよびデータフローの例示のブロ
ック図を示す。

【図１６】図１６は、本発明に従う、複数の非線形関数の使用についての例示のプロセス
のフローチャートを示す。

【図１７】図１７は、本発明に従う、複数の非線形関数の実施についてのシステムおよび
データフローの例示のブロック図を示す。

【図１８】図１８は、本発明に従う、複数の非線形関数の実施についてのシステムおよび
データフローの例示のブロック図を示す。

【図１９】図１９は、本発明に従う、複数の非線形関数の実施についてのシステムおよび
データフローの例示のブロック図を示す。

【図２０Ａ】図２０Ａは、本発明に従う、複数の非線形関数の使用についての例示のプロセ
スのフローチャートを示す。

【図２０Ｂ】図２０Ｂは、本発明に従う、複数の非線形関数の使用についての例示のプロセ
スのフローチャートを示す。

【図２１Ａ】図２１Ａは、本発明に従う、複数の非線形関数の使用についての例示のプロセ
スのフローチャートを示す。

【図２１Ｂ】図２１Ｂは、本発明に従う、複数の非線形関数の使用についての例示のプロセ
スのフローチャートを示す。

【図２２】図２２は、本発明を実施するために使用され得る例示のコンピュータシステム
を示す。

【図２３】図２３は、顔、Ｇａｓｔｅｉｇｅｒおよびジアミンデータセットの主成分分析
を示す表を示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者ロバノフ，ビクターエス．アメリカ合衆国ペンシルベニア 19067，ヤードリー，コーナーストーンドライブ 24305 (72)発明者セイレム，フランシスアール．アメリカ合衆国ペンシルベニア 19067，ヤードリー，ティンバーレイクス 1970

Claims

【特許請求の範囲】

【請求項１】多次元のデータセットをマッピングする方法であって、（１）多次元のデータセットからサンプル点を非線形にマッピングする工程と
、（２）該非線形にマッピングされたサンプル点について非線形関数を決定する
工程と、（３）該非線形関数を用いて、さらなる点をマッピングする工程とを包含する、多次元のデータセットをマッピングする方法。
【請求項２】前記サンプル点をランダムに選択する工程をさらに包含する
、請求項１に記載の方法。
【請求項３】前記多次元のデータセットの特徴を反映するように、前記サ
ンプル点を選択する工程をさらに包含する、請求項１に記載の方法。
【請求項４】前記多次元のデータセットのサブセットの特徴を反映するよ
うに、前記サンプル点を選択する工程をさらに包含する、請求項１に記載の方法
。
【請求項５】前記工程（２）の非線形関数は、線形および／または非線形
の様式で組み合わされた線形関数および／または非線形関数の基本セットから導
出される、請求項１に記載の方法。
【請求項６】前記線形関数および／または非線形関数のセットは、１つ以上の解析関数と、１つ以上のルックアップテーブルと、１つ以上のソフトウェアモジュールおよび／またはサブルーチンと、ハードウェアとのうち１つ以上を含む、請求項５に記載の方法。
【請求項７】前記工程（２）の非線形関数は、システムによって決定され
、該システムは、所与の入力セットから所与の出力セットを実質的に再生するよ
うに構成され／トレーニングさせられ得る、請求項１に記載の方法。
【請求項８】前記工程（２）において組み合わされる前記線形関数または
非線形関数の様式は、検索プロセス／手順および／または最適化プロセス／手順
により決定される、請求項５に記載の方法。
【請求項９】前記工程（２）において組み合わされる前記線形関数または
非線形関数の様式は、モンテカルロプロセス／手順／ランダム検索プロセス
／手順により決定される、請求項８に記載の方法。
【請求項１０】前記工程（２）において組み合わされる前記線形関数また
は非線形関数の様式は、シミュレートされたアニーリングプロセス／手順により
決定される、請求項８に記載の方法。
【請求項１１】前記工程（２）において組み合わされる前記線形関数また
は非線形関数の様式は、進化的プログラミングプロセス／手順により決定される
、請求項８に記載の方法。
【請求項１２】前記工程（２）において組み合わされる前記線形関数また
は非線形関数の様式は、遺伝的アルゴリズムにより決定される、請求項８に記載
の方法。
【請求項１３】前記工程（２）において組み合わされる前記線形関数また
は非線形関数の様式は、遺伝的プログラミングプロセス／手順により決定される
、請求項８に記載の方法。
【請求項１４】前記工程（２）において組み合わされる前記線形関数また
は非線形関数の様式は、グラディエント最小化プロセス／手順により決定される
、請求項８に記載の方法。
【請求項１５】前記工程（２）の非線形関数は、ニューラルネットワーク
の形式でエンコードされる、請求項１に記載の方法。
【請求項１６】前記ニューラルネットワークのパラメータは、ニューラル
ネットワークトレーニングアルゴリズムにより決定される、請求項１５に記載の
方法。
【請求項１７】前記工程（２）の非線形関数は、複数のニューラルネット
ワークの形式でエンコードされる、請求項１に記載の方法。
【請求項１８】前記複数のニューラルネットワークのパラメータは、１つ
以上のニューラルネットワークトレーニングアルゴリズムにより決定される、請
求項１７に記載の方法。
【請求項１９】前記工程（３）は、前記工程（２）の非線形関数を用いて
、前記多次元のデータセットの１つ以上の残りの要素をマッピングする工程を包
含し、該１つ以上の残りの要素は、該元の多次元のデータセットの一部である、
請求項１に記載の方法。
【請求項２０】前記工程（３）は、前記工程（２）の非線形関数を用いて
、前記元の多次元のデータセットの一部でない、１つ以上の新しい、これまでに
見られなかった点をマッピングする工程を包含する、請求項１に記載の方法。
【請求項２１】前記多次元のデータセットは、数値フィールド有するデー
タベースレコードのセットを含む、請求項１に記載の方法。
【請求項２２】前記多次元のデータセットは、特性のセットにより特徴づ
けられる化合物を含む、請求項１に記載の方法。
【請求項２３】前記多次元のデータセットは、化学的特性と、物理的特性と、生物学的特性と、電気的特性と、計算された特性とのうち１つ以上により特徴づけられる化合物を含む、請求項１に記載の方法。
【請求項２４】前記多次元のデータセットは、特性のセットにより特徴づ
けられる化合物の集合体を含む、請求項１に記載の方法。
【請求項２５】前記多次元のデータセットは、特性のセットにより特徴づ
けられるタンパク質配列を含む、請求項１に記載の方法。
【請求項２６】前記多次元のデータセットは、特性のセットにより特徴づ
けられる遺伝子配列を含む、請求項１に記載の方法。
【請求項２７】多次元のデータセットをマッピングする方法であって、（１）多次元のデータセットからサンプル点を非線形にマッピングする工程と
、（２）該サンプル点から第１のサブセットの点を選択する工程と、（３）該第１のサブセットの点について第１の非線形関数を決定する工程と、（４）該サンプル点から第２のサブセットの点を選択する工程と、（５）該第２のサブセットの点について第２の非線形関数を決定する工程と、（６）該非線形関数の１つ以上を用いて、さらなる点をマッピングする工程とを包含する、多次元のデータセットをマッピングする方法。
【請求項２８】前記サンプル点からさらなるサブセットの点について前記
工程（４）および（５）を繰り返す工程をさらに包含する、請求項２７に記載の
方法。
【請求項２９】前記第１のサブセットの点の一部と前記第２のサブセット
の点の一部とが重なり合う、請求項２７に記載の方法。
【請求項３０】前記第１および第２のサブセットの点が互いに相互排反で
ある、請求項２７に記載の方法。
【請求項３１】前記工程（６）は、前記さらなる点のｎ次元座標に基づい
て該さらなる点をマッピングするように、前記非線形関数の１つ以上を選択する
工程を包含する、請求項２７に記載の方法。
【請求項３２】前記工程（６）は、前記さらなる点の近似ｍ次元座標に基
づいて該さらなる点をマッピングするように、前記非線形関数の１つ以上を選択
する工程を包含する、請求項２７に記載の方法。
【請求項３３】前記工程（６）は、（ａ）ｎ次元の点または領域を前記非線形関数のそれぞれと関連させる工程と
、（ｂ）さらなるｎ次元の点と該非線形関数と関連した該ｎ次元の点または領域
との間の近接を決定する工程と、（ｃ）該近接に基づいて該さらなるｎ次元の点を非線形にマッピングするよう
に、該非線形関数の１つ以上を選択する工程とを包含する、請求項２７に記載の方法。
【請求項３４】前記工程（６）は、（ａ）ｍ次元の点または領域を前記非線形関数のそれぞれと関連させる工程と
、（ｂ）非線形マッピング法を用いて、さらなるｎ次元の点についてｍ次元座標
を近似して求める工程と、（ｃ）該さらなるｎ次元の点の該ｍ次元座標と該非線形関数と関連した該ｍ次
元の点または領域との間の近接を決定する工程と、（ｄ）該近接に基づいて該さらなるｎ次元の点を非線形にマッピングするよう
に、該非線形関数の１つ以上を選択する工程とを包含する、請求項２７に記載の方法。