JP2005523533A - 混合型数字及び／又は非数字データの処理 - Google Patents

Abstract

選択したタスクに対して混合したデータを処理する装置及び方法を提供する。入力変換モジュールが混合したデータを変換したデータへ変換する。関数マッピングモジュールが該変換したデータを処理して選択したタスクに対する関数出力を供給する。選択したタスクはサーチ、リコール、予測、分類等を包含する多様な可能なタスクのうちの１つ又は組合わせとすることが可能である。例えば、選択したタスクはデータマイニング、データベースサーチ、ターゲットマーケティング、コンピュータウイルス検知等のためのものとすることが可能である。

Description

本願は、人工ニューラルネットワーク、クラスタ分析、自己組織化、視覚化及びその他のインテリジェントなデータ処理技術等の計算上インテリジェントなデータ処理技術に関するものである。特に、本願は、このような技術のうちの１つ又は組合わせを使用して、混合した数字及び／又は非数字のデータを処理するための方法及び装置に関するものである。

人工ニューラルネットワーク（ニューラルネット）及びその他の人工知能技術は雑多な応用分野においてパターンフォーマット化した情報及びデータを処理するために使用されている。ニューラルネットは数字パターンデータの処理に対して能率的に適用させることが可能であるがコンテクストに対しての特別及び複雑な適用なしで非数字データの処理に対して特に適したものではないことが言われている。

従来の記号処理技術は、通常、概念及び定性的関係に関するものであって、それは、部分的には、規則に基づくか又は事例に基づく推論システム等の非数字パターン内の構造を見分けることに依存している。然しながら、混合した数字及び／又は非数字データのボディー間の関係を識別し且つ表現することが望ましい多くの場合が存在している。例えば、混合した数字及び／又は非数字データの形態で表現された豊富な情報が、例えばインターネット（又はその他の有線又は無線コンピュータ／テレコミュニケーションネットワーク）上で電子的媒体において使用可能である。然しながら、従来の記号処理技術は、通常、このような混合したデータ形態の情報を処理するのに適したものではない。

更に、従来の数字又は記号処理技術は、しばしば、入ってくるデータを処理するために１つ又はそれ以上のパターン構造フォーマットを事前選択する。その結果、このような技術は事前選択した構造以外の構造を有する記号パターンを処理するのには適したものではない。

従来の記号処理技術の少なくとも上述した欠点を回避する記号処理方法及びシステムに対する必要性が存在している。

本願は選択したタスク即ち作業に対し混合した数字及び／又は非数字データ（以後「混合したデータ」と呼ぶ）を処理するための方法及び装置を提供している。一実施例に基づいて、選択したタスクに対して混合したデータを処理する方法は、混合したデータを変換したデータへ変換し、且つ該変換したデータを処理して該選択したタスクに対する関数出力を提供することを包含している。

一実施例に基づいて、選択したタスクに対して混合したデータを処理する本装置は、混合したデータを変換したデータへ変換すべく適合されている入力変換モジュール、及び該変換したデータを処理して該選択したタスクに対する関数出力を供給する関数マッピングモジュールを包含している。本装置は、コンピュータにより読取り可能な媒体上に格納されているコンピュータプログラム及び／又はコンピュータネットワーク又はその他の伝送媒体を介して伝送されるコンピュータプログラムとすることが可能である。

一実施例によれば、混合したデータはサインポスト（ｓｉｇｎｐｏｓｔ）変換を介して変換したデータへ変換される。クラスタ中心が基準点として設定され且つ混合したデータから夫々の基準点への距離が変換したデータ空間の次元に対応する。入力変換モジュールは、混合したデータのトレーニングセットのクラスタリングを介して訓練することが可能である。入力変換モジュールは、クラスタ中心を決定するために階層的ｋ−ｍｅａｎｓ方法又は階層的ｋ−ｍｅｄｏｉｄｓ方法を使用することが可能である。入力変換モジュールは、又、クラスタ構造を決定する場合に教師付き（ｓｕｐｅｒｖｉｓｅｄ）学習方法を使用することが可能である。

別の実施例によれば、混合したデータはエンコーディング方法を介して変換したデータへ変換される。混合したデータは消費者プロフィール情報を包含する場合がある。

入力変換モジュール及び関数マッピングモジュールはニューラルネットワークの夫々の層を有することが可能である。変換したデータは数字表現とすることが可能である。混合したデータはテキストに対応する場合がある。

入力変換モジュールは、非構造化データパターンを複数個のノードに対応するセットへ組織化させるべく学習することが可能であり、且つ該ノードの夫々の出力は変換したデータに対応する。その学習は教師無しとすることが可能である。各ノードは、関連するクラスタアノテーション関数を有することが可能である。

関数マッピングモジュールは少なくとも１個の基底関数を具備する計算モデルを包含することが可能であり、且つ該基底関数のパラメータは、関数マッピングモジュールが選択したタスクに対応するサンプルデータパターンのトレーニングセットを学習するに従い調節される。関数マッピングモジュールは基底関数のパラメータを調節するために回帰技術を使用することが可能である。基底関数は、シグモイド（ｓｉｇｍｏｉｄ）、ウエブレット（ｗａｖｅｌｅｔ）、ラジアル（ｒａｄｉａｌ）基底関数及び／又は多項式を包含することが可能である。

関数マッピングモジュールは関数リンクネット（ｆｕｎｃｔｉｏｎａｌ ｌｉｎｋ ｎｅｔ）を包含することが可能である。関数リンクネットは直交性とすることが可能である。関数マッピングモジュールによるラーニング即ち学習は教師付きとすることが可能である。関数マッピングモジュールは非線形フィードフォアワード（ｆｅｅｄ−ｆｏｒｗａｒｄ）ネットを包含することが可能であり、且つフィードフォアワードネットはエラーの後方伝播により学習することが可能である。代替的に、関数マッピングモジュールによる学習は直交最小二乗方法等の再帰的最小二乗推定方法によるものとすることが可能である。

選択したタスクは、視覚化、サーチ、リコール、予測、分類等を包含する多様な可能なタスクのうちの１つ又は組合わせとすることが可能である。例えば、選択したタスクはデータマイニング、データベースサーチ、ターゲットマーケティング及び／又はコンピュータウイルス検知に対して適用することが可能である。

本願はインテリジェント方法及びシステムを提供しており、それは選択したタスクに対して混合したデータを処理するための人工知能及びニューラルネット技術のうちの１つ又は結合を包含することが可能である。本願に基づく方法は、視覚化、サーチ、リコール、予測、分類等のタスクに使用することが可能である。このようなタスクは、情報管理、エンタプライズ管理、記憶管理、ネットワークインフラストラクチャー管理及びプロセス管理等のビジネス分野及び技術的分野において見出すことが可能である。本願は、又、例えばデータマイニング、コンピュータウイルス検知、ターゲットマーケティング、医学的診断、スピーチ及び手書き認識等のその他の技術的分野及びビジネス分野において配備することも可能である。

一実施例に基づいて選択したタスクに対して混合したデータを処理する装置について図１Ａ及び１Ｂを参照して説明する。装置１０は入力変換モジュール１１及び関数マッピングモジュール１３を包含している。装置１０はコンピュータにより読取り可能な媒体上のコンピュータシステムメモリ内に格納されており及び／又は１個又はそれ以上のセグメントでコンピュータネットワーク及び／又はその他の伝送媒体を介して伝送され、コンピュータシステム上で実行可能なコンピュータプログラムとすることが可能である。

図１Ｂは装置１０のソフトウエア実施例等のコンピュータにより実行可能なコードを実行し及び／又は常駐することが可能なコンピューティングシステム即ちコンピュータ１を例示している。コンピューティングシステム１はプロセッサ２、メモリ３、ハードディスク４、着脱自在な記憶ドライブ５［例えばフロッピーディスク、コンパクトディスク、デジタルバーサタイルディスク（ＤＶＤ）等の着脱自在な記憶媒体の読取り／アクセス用］、Ｉ／Ｏ装置６（例えば、ディスプレイ、キーボード、マウス、マイクロフォン、スピーカ等）、及びネットワーク７への有線又は無線接続を有している。ネットワーク７は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ストレッジエリアネットワーク（ＳＡＮ）、イントラネット、エクストラネット、インターネット、及び／又は任意のその他のコンピュータ及び／又はテレコミュニケーションネットワーク、及びこれらのネットワークの任意の組合わせとすることが可能である。コンピュータ１は、例えば、パソコン、ラップトップ、ワークステーションコンピュータ、メインフレームコンピュータ等当該技術分野において知られているコンピューティング装置／システムの何れかとすることが可能である。処理すべき混合したデータは、例えば、ハードディスク４及び／又は着脱自在の記憶ドライブ５を介して読取り／アクセスすることが可能な着脱自在の記憶媒体、及び／又はネットワーク７を介しての別のデータベース又はデータ供給源から検索することが可能である。又、装置１０はネットワーク７を介してコンピュータシステム１へダウンロードさせることが可能である。プロセッサ２、メモリ３、ハードディスク４は人工知能及びニューラルネット方法を実施するためのコンピューティング及び記憶能力を提供すべく適切に（且つ典型的に）コンフィギャ（ｃｏｎｆｉｇｕｒｅ）即ち形態特定することが可能である。装置１０以外のコンピューティングシステム１のコンポーネントは従来のものであり、従って、説明の便宜上、ここにおいて詳細に説明することはない。

一実施例においては、入力変換モジュール１１がデータ変換モードにおいて動作し、その場合に混合したデータが変換したデータへ変換される。入力変換モジュール１１は訓練可能な機能性を包含することが可能であり、それはクラスタリング構造又はその他の訓練可能なモジュールの形態とすることが可能である。例えば、訓練可能なモジュールはクラスタリング技術の１つ又は結合を使用することが可能である。クラスタリング技術を使用する入力変換モジュール１１の１つの実施例について以下に説明する。

モジュール１１が訓練可能な機能性を包含している場合には、該モジュールは２つのモード、即ちトレーニング即ち訓練モード及びデータ変換モードで動作することが可能である。訓練モードにおいては、入力変換モジュール１１は混合したデータのサンプルと該サンプルが変換された変換したデータとの間の変換関係（例えば、関数、マッピング等）を学習する。上述したように、データ変換モードにおいては、混合したデータが変換したデータへ変換される。これらのモードはより詳細に以下に説明する。

関数マッピングモジュール１３は特定の選択したタスクに対応する少なくとも１個の関数出力に対して変換したデータのマッピングの関数表現を与えるために１個又はそれ以上の関数Ｇ（ｘ）を使用する。このような関数の例は、線形、多項式、三角関数又はガウス関数を包含している。使用すべき特定の関数の選択は、少なくとも部分的に、特定のタスクに基づくことが可能である。

これらの関数は、好適には、直交性であり且つ関数マッピングモジュール１３が選択したタスクに対応するサンプルパターンのトレーニングセットを学習するに従い調節される。関数マッピングモジュール１３は、例えば、関数リンクネットワーク（ＦＬＮ）又は直交関数リンクネットワーク（ＯＦＬＮ）とすることが可能である。ＦＬＮの例は引用によりその全体を本明細書に取込む本願出願人が所有する米国特許第４，９７９，１２６号、第５，７３４，７９６号、第６，１３４，５３７号、第６，２１２，５０９号に記載されている。ＯＦＬＮの一例は本願出願人が所有する米国特許出願出願番号［代理人ドケット番号６５２０６−ＰＲＯ］発明の名称「自動的なニューラルネットモデル発生及びメインテナンス（ＡＵＴＯＭＡＴＩＣ ＮＥＵＲＡＬ−ＮＥＴ ＭＯＤＥＬ ＧＥＮＥＲＡＴＩＯＮ ＡＮＤ ＭＡＩＮＴＥＮＡＮＣＥ）」に記載されている。

変換したデータの関数出力へのマッピングの関数表現を与えるその他の技術も意図されている。このような代替的な技術の例は、ウエブレット及び多項式ネットワークを包含しており、それらは関数表現を与え、その中においてパラメータが推定される。

更に、関数マッピングモジュール１３に対して実現される機能性はラーニング即ち学習コンポーネントを包含することが可能である。例えば、関数マッピングモジュール１３は、トレーニングセットと共に、１つ又はそれ以上の関数のパラメータを調節する再帰的線形回帰技術を使用することが可能である。

本願の一実施例に基づいて、選択したタスクに対して混合したデータを処理する例示的な方法を図１及び２を参照して説明する。入力変換モジュール１１は混合したデータを変換したデータへ変換する（ステップＳ２１）。変換したデータは、次いで、関数マッピングモジュール１３により処理されて少なくとも１個の関数出力を与える（ステップＳ２３）。

実際的なアプローチにおいては、選択したタスクに対して有用な情報を抽出するために前兆として生の混合したデータの複雑性を減少させることが望ましい。混合したデータの複雑性を減少させるために、入力変換プロセスは種々の方法を使用することが可能である。例えば、入力変換プロセスは、データパターンを変換させるために、クラスタリング又は例えば自己組織化マップ（ＳＯＭ）等のその他の自己組織化技術を使用することが可能である。このような方法は、どのようにしてデータポイントが多次元データ空間内において分布されるかを推測するためにユークリッド距離又はデータポイント間の代替的なメトリックに基づく距離等の情報を使用することが可能である。これらの方法の結果はクラスタ特徴／属性又はデータパターンの分布に関連する何らかのその他の情報でもってより簡明に大量のデータパターンを記述する。入力変換プロセスのための方法は、その他の次元減少技術を包含することが可能である。次元減少技術の網羅的なものではないリストは、カルフーネン−ロエーブ（Ｋ−Ｌ）変換を介しての線形主成分分析（ＰＣＡ）、ＰＣＡのニューラルネットインプリメンテーション、ＳＯＭ、自動連想的マッピング技術、生成的トポグラフィックマッピング（ＧＴＭ）、非線形偏差保存（ＮＬＶＣ）マッピング及び等化直交マッピング（ＥＯＭ）、尚これらは本願出願人が所有する米国特許第５，７３４，７９６号、第６，１３４，５３７号、第６，２１２，５０９号に記載されており、それら全体を引用により本明細書に取込み、且つ非線形マッピング及びそのニューラルネットインプリメンテーション、及び距離比拘束型（ＤＲＣ）マッピングを包含することが可能である。

入力変換プロセスは、分類及び／又は特徴抽出の効果を有するか又は容易とさせることが可能である。分類のタスクは、典型的に、データパターン空間を別個の夫々のクラスに対応する別々の領域へ区画化することを包含している。クラスはある傾向、属性又は特性を共通に有する１組のパターンである（これらは、又、本明細書において「特徴（ｆｅａｔｕｒｅｓ）」、「傾向（ｔｒａｉｔｓ）」、「属性（ａｔｔｒｉｂｕｔｅｓ）」、「特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）」として単独で又は組合わせで言及する）。従って、１つの領域におけるデータパターンは対応するフィーチャ（ｆｅａｔｕｒｅ）即ち特徴を有するものとして分類することが可能である。更に、線形、二次、シグモイド及び／又はガウスに基づく関数等の差別関数を使用してクラス領域間の境界を定義することが可能である。従って、対応する差別関数をパターンに適用することによってそのパターンが選択したクラスに属するか否かを決定することが可能である。

特徴抽出方法は、典型的に、１個又は１組の抽出した特徴に対して選択したタスクに関連性のある対応でデータパターンを記述するための特徴の数を最小とさせることを包含している。好適には、抽出した特徴のセット即ち組は、データパターンの関連性のある傾向、属性及び／又は特性を適切に特性付ける。特徴抽出はデータ減少方法とみなすことが可能であり、それはデータパターンの重要な特徴を維持し、一方関係のない傾向、属性及び特性から不所望の干渉を取除き、そのことは下流側においての決定を行うプロセスを容易なものとする傾向がある。幾つかのインスタンスにおいて、クラスはクラスラベルとしてそれらの対応する特徴で注釈を付けることが可能である。

上述したように、入力変換モジュールは、一実施例に基づいて、トレーニングモードとデータ変換モードの少なくとも２つの動作モードを有する訓練可能なインテリジェントモジュールを包含することが可能である。

訓練モードにおいて、入力変換モジュール１１はデータパターンクラスを学習する。訓練期間中に、選択したタスクにおいて又はそうでない場合はそれに関連して遭遇する場合のあるデータパターンのタイプの代表的なサンプルの組がモジュール１１に対して提示される。その訓練が教師付きである場合には（例えば、サンプルパターンがトレーニングセットとして対応する予測される／所望のモジュール出力と共に供給される）、該代表的サンプルの組（ここでは「トレーニングセット」とも呼称する）における各サンプル（ここでは「トレーニングサンプル」とも呼称する）はサンプルデータパターン及び該サンプルパターンに対するクラスラベルアノテーション（又は該サンプルパターンに関連する例えば傾向、属性及び／又は特性等のその他の目標情報）を包含することが可能である。例えば入力変換モジュール１１がクラスタリング技術を使用する場合等の訓練が教師付きでない場合には、トレーニングセット内に特徴は供給されることはない。興味のあるクラス内の充分なサンプルパターンがトレーニングモード期間中に供給されると、モジュール１１はクラスを特性付けるために充分に学習し、従って、データ変換モードにおいて、モジュール１１へ入力される生のデータパターンはこれらのクラスに亘り信頼性及び再現性をもって分類することが可能である。

例えば、クラスタリング（又はその他の自己組織化）方法を使用する入力変換モジュール１１は、データパターンクラスをサンプルデータパターンのトレーニングセットで分類することを学習することが可能である。トレーニング即ち訓練の後に、入力変換モジュール１１はＭ個のクラスタを有しており、それらの各々は、典型的に（然しながら必ずしも必要ではないが）関連するアノテーション（傾向、属性及び／又は特性、又はその他の特徴の）を有している。そのアノテーションは、注釈付きトレーニングセットでの訓練を介して又は訓練完了後のクラスタのアノテーションにより得ることが可能である。

混合したデータパターンがデータ変換モードにある入力変換モジュール１１へ供給されると、データパターンはＭ個のクラスタの各々により評価され（例えば、各クラスタ中心への距離が決定され）、且つその評価の結果をＭ個のクラスタ評価に対応するＭ個の要素を有する構造型データとして出力することが可能である。従って、混合したデータパターンの空間は入力変換モジュール１１におけるＭ個のクラスタに対応する特徴により構成された第二空間内へ変換される。

次いで、Ｍ要素幅構造型データが関数マッピングモジュール１３へ供給される。ニューラルネット型関数マッピングモジュールは１個又はそれ以上の基底関数Ｇ（ｘ）を有することが可能である。その基底関数は線形、多項式、三角関数又はラジアル基底関数とすることが可能である。基底関数の選択はタスク特定的である。その基底関数は好適には直交性である。基底関数のパラメータは、関数マッピングモジュールが選択したタスクに対応するサンプルパターンのトレーニングセットを学習するに従い調節される。

関数マッピングモジュールは関数リンクネットとすることが可能であり、それは、例えば、米国特許第５，７３４，７９６号、第６，１３４，５３７号、第６，２１２，５０９号に記載されている。関数リンクネットは多くの機能性（及びタスク）をサポートすることが可能であるので適切なものである。パラメータが推定される関数表現（例えば、ウエブレット、多項式ネット等）を包含するその他の技術を使用することも可能である。このような技術は学習コンポーネントを有する場合がある。例えば、関数マッピングモジュールは基底関数のパラメータを調節するためのトレーニングセットを具備する再帰的線形回帰技術を使用することが可能である。

入力変換モジュール及び関数マッピングモジュールがニューラルネットワークの夫々の層を有する例示的な実施例を図３に示してある。

入力変換層はＮ個のクラスタノードｃ１．．．ｃＮを形成するために混合したデータのトレーニングセットのクラスタリングを介して訓練される。これらのクラスタノードは教師無しの学習方法を使用して形成することが可能である。各ノードは関連するクラスタアノテーション関数を有することが可能である。代替的に、これらのノードは、訓練を完了した後に注釈を付ける。データ変換モード期間中に、混合したデータのパターンｘがクラスタノードｃ１．．．ｃＮへ供給される。これらのクラスタノードはデータパターンｘをＮ成分変換データへ変換する。

変換したデータは関数リンクネットへ供給され、それはラジアル基底関数ノードｆ１．．．ｆＭを具備するフィードフォアワードフラット（単一層）ネットである。該基底関数のパラメータは、関数リンクネットが選択したタスクと関連するサンプルパターンのトレーニングセットを学習するに従い調節される。関数リンクネットによるラーニング即ち学習は、エラーの後方伝播によるか又は当該技術において知られている別の教師付き技術によることが可能である。代替的に、その学習は例えば直交最小二乗方法等の再帰的最小二乗推定方法によるか、又は当該技術において知られている別の教師付き学習技術によることが可能である。

上述したツール及び方法は幾つかのタスクの何れかに対して適応させることが可能である。

例えば、選択したタスクはＮ個のクラスにカテゴリ化されたデータベース又はＮ個のドメインにカテゴリ化された情報ネットワークのサーチ、又は非構造型入力項に基づく適宜のキーワード／項のリコールとすることが可能である。訓練中の入力変換モジュールは各サンプルトレーニングパターンを対応するクラス／ドメインと関連付けるために教師付きで訓練することが可能である。例えば、トレーニングセット内の各サンプルは関連するクラス／ドメインラベルを有することが可能である。データ変換モードにおいて、変換モジュールは混合データサーチパターンをＮ要素出力（変換データ）へ変換し、各出力要素はサーチパターンと出力要素と関連するクラス／ドメインとの間の類似性／関連性の大きさを表わしている。関数マッピングモジュールはＮ要素変換データを処理すべく訓練されており、且つ、例えば、サーチすべきそれと関連するＮ個のクラス／ドメイン又はキーワード／項のうちの１つ又はそれ以上を推奨する。

別の選択したタスクは、例えばターゲットマーケティングのための分類及び／又は予測とすることが可能である。例えば、入力変換モジュールは、消費者の購買パターンを包含するか又は記述する混合したデータのデータベースから抽出したトレーニングサンプルで訓練し、教師付きとするか、又は教師無しとすることが可能である。データ変換モードにおいて、入力変換モジュールは混合データ入力パターン（多分、主体の消費者のプロフィールと関連しているか又はそれから抽出されている）を訓練期間中にモジュールにより学習されたＮ個の購買性癖／傾向（例えば、製品グループと関連している）と比較し、且つ入力購買プロフィールパターンとＮ個の購買性癖／傾向との間の類似性及び／又は関連性の大きさ即ち量を表わすＮ要素出力（変換したデータ）を供給する。関数マッピングモジュールは、これらＮ要素変換データを処理し、且つ（ｉ）購買性癖／傾向のうちの１つ又はそれ以上の下での消費者のプロフィールの分類、及び／又は（ｉｉ）主体の消費者が購買する蓋然性のある、例えば、付加的な物品及び／又はサービスを予測すべく訓練することが可能である（従って、その物品／サービスの広告／マーケティングはその主体の顧客をターゲットとすることが可能である）。

更に別の例においては、該ツールはコンピュータウイルス検知ソフトウエアに対して適応させることが可能である。入力変換モジュールは、対応するウイルス性癖／特性を有するクラスタを形成するために、感染したコンピュータファイル／コード（例えば、ビジュアルベーシックスクリプトファイル、ＭＳワードマクロ等）の破壊された部分から抽出したサンプルの混合したデータのパターンで訓練することが可能である。データ変換モードにおいて、入力変換モジュールがスキャンしたファイル／コードから抽出した混合したデータの入力パターンを訓練期間中に該モジュールにより学習されたクラスタの各々と比較し、且つ該入力データパターンと夫々のウイルス性癖と関連するクラスタとの間の類似性及び／又は関連性の大きさを表わす出力（変換したデータ）を供給する。関数マッピングモジュールは、該変換したデータを処理し、且つ（ａ）抽出したデータパターンが１個又はそれ以上のウイルスによる感染に対応している蓋然性があるか、及び（ｂ）感染している場合には、そのウイルスの識別又は記述を決定すべく訓練されている。

混合したデータを次元がデータポイントとサインポストとの間の距離に対応している空間内の変換したデータへ変換するためのサインポスト（ｓｉｇｎｐｏｓｔ）変換を使用する別の例に基づいて、選択したタスクに対する混合した数字及び非数字（例えば、記号）のデータを処理する方法（図４に対応）は、以下のステップを包含することが可能である。

（ａ）データ空間内の任意の２つのポイントの間の距離を計算することを可能とする混合した数字及び非数字データによりカバーされるデータ空間に対する距離尺度を定義する［ステップＳ４１］、
（ｂ）定義した尺度に基づいて混合データのトレーニングセットをクラスタ化する（使用するクラスタリング技術、計算方法に依存して、各クラスタに対して、対応するセントロイドを定義することも可能な場合があり、クラスタリングからの結果は問題の性質に依存して直接的に使用することが可能な場合がある）［ステップＳ４２］、
（ｃ）１組の基準点としてクラスタ中心を使用し且つ１つの基準点への距離が変換した空間における１つのディメンション即ち、次元をスパンするように該基準点においてサインポストを立てる［ステップＳ４３］、
（ｄ）選択したタスクに対して変換した空間内において更に処理するためにニューラルネット及び／又はその他の人工知能型方法を使用する（例えば、データポイントの分類のためのモデルを構築するためにニューラルネットを使用することが可能である）［ステップＳ４４］。

２つのデータポイントの間の距離は、データ空間内の夫々のディメンション内の距離の結合により決定することが可能である。生のデータにおける各フィールドは、多くの場合において、１つのディメンションとして取扱うことが可能であるが、幾つかのフィールドは他のものよりもより近い関係を有しており且つそれらは単一のディメンションとして作用する複合フィールドを形成するために一体的にグループ化させることが可能である。一体的にフィールドを結合することはディメンションの数を減少させることが可能であり、且つ距離尺度の定義を助ける場合がある。例えば、地球上の位置間の相対的な距離を比較する場合に、２つの位置の間の相対的な距離の適切な大きさはこれら２つの位置の間の直線距離の代わりに、それらの位置の緯度値及び経度値に基づく大円距離とすることが可能である。

各ディメンション内の距離は１つのディメンションに対して偶発的により大きな重みを与えることを回避するためにスケールさせることが可能である。混合したデータの場合、１つの技術は、各ディメンションに対して、該ディメンション内の距離を間隔［０．０，１．０］へスケールさせることである。全ての夫々のディメンションにおける距離が２つのポイントの間の距離を計算するために結合されると、それらを他のものよりも強調させるためにあるディメンションに対して付加的な重みを割当てることが可能である。従って、複合フィールドであるディメンションは適切な取扱いを与えることが可能であり且つ選択したフィールドの相対的な重要性に関する前知識を適用することが可能である。

数字のディメンションの場合、距離尺度はデフォルトによりユークリッド距離へ設定することが可能であり、それは作業量を減少させるために最も頻繁に使用される距離尺度である。然しながら、数字データの性質に依存して、カスタム化した距離関数を使用することも可能である。上述した緯度−経度の例はこのような１つの場合である。代替的な尺度を使用することが可能な数字ディメンションのその他の例は、例えば、角度、日付、時間を包含している。

１つの注意すべきことは、幾つかの数字に見えるフィールド（例えば、ソーシャルセキュリティ番号）は、実際には、記号として考慮することが可能である。一般的に、番号の値ではなく数字のシーケンスが重要である場合には、そのフィールドは記号であると考えるべきである。

記号的データをカバーするディメンションの場合、最も蓋然性のある距離尺度は多分記号のマッチングに基づくものである。このディメンションに対応するデータポイントのフィールドが１つのセット即ち組として考えることが可能である場合には、２つの夫々のデータポイントから記号セットＡ及びＢの間の距離尺度として次式を使用することが可能である。

式（１）は距離尺度の数学的条件を満足するためにスケールさせた単純な記号マッチを表わしている。ディメンションが単純な公称値を有しているフィールドから構成されている場合にそれは良好に動作する（例えば、制限された数の色が製造業者から入手可能であるに過ぎない場合における自動車の内部の色及び外部の色により形成されるディメンション「自動車の色」）。

上の尺度（式１）は、フィールドの値を単純なセットとして考えることができない場合に、一般化させることが可能である。１つの例は、情報分類の問題におけるフリーテキストフィールドである。繰返される単語が存在しており且つ幾つかの単語は分類目的のためにより大きな重みを担っている場合があるので、各ユニークな記号に対する重みを導入することが可能である。重みを使用する１つの方法（それは式（１）と適合性があり、以下の如く式（２）において提案されている）。

尚、ｗ_Ai（及びｗ_Ak）は記号セットＡにおける記号Ａｉ（及びＡｋ）と関連する重みを表わしており、ｗ_Bj（及びｗ_Bk）は記号セットＢにおける記号Ｂｊ及びＢｋと関連する重みを表わしている。これらの重みの各々が１に等しい場合には、式（２）は次のように還元される。

式（３）は式（１）と等価である。何故ならば、次式が成立するからである。

テキスト処理のためにより込み入った距離尺度を使用することも可能である。例えば、テキスト情報のデータベースをサーチする場合に、鍵となる単語のシーケンスを維持することが所望される場合がある。この場合には、全ての鍵となる単語が存在する場合であっても、そのシーケンスが壊される場合にはペナルティが導入される場合がある。このことはより興味がないか又は全く関連性がないヒットの数を著しく減少させる場合がある。

妥当な距離尺度を定義することが可能である場合には、以下のステップはその他のタイプの非文字データに関して作業すべく容易に拡張することが可能である。

混合型の２つのデータポイントの間の距離を計算することが可能であると、このようなデータポイントのセット即ち組はクラスタリングにより分析することが可能である。ｋ−ｍｅｄｏｉｄｓ技術を直接的に使用することが可能である。この技術はｋ−ｍｅａｎｓ技術に類似している。その差は、ｋ−ｍｅａｎｓの場合にはクラスタの中心としてクラスタにおけるデータポイントの平均を使用するが、その代わりに、ｋ−ｍｅｄｏｉｄｓ技術はクラスタ中心としてクラスタ内の最も中心に位置されているデータポイントを使用する。最も中心に位置されているデータポイントは、クラスタ内のポイントの中で最小であるクラスタ内の全てのその他のデータポイントへの距離の和を有するデータポイントである。

ｋ−ｍｅｄｏｉｄｓ技術はクラスタリングを実施するためにデータポイント間の距離を使用し且つアウトライヤ即ち外れ値に対してより影響を受けないという利点を有している。然しながら、ｋ−ｍｅｄｏｉｄｓ技術は大きなデータセットに対して計算が集中的なものとなる。何故ならば、メドイド（ｍｅｄｏｉｄ）を識別するためのステップはＯ（ｎ²）の程度の複雑性だからである。大きなデータセットの場合、計算量を減少させるためにサンプリングを実施することが可能である。ＣＬＡＲＡ（Ｃｌｕｓｔｅｒｉｎｇ ＬＡＲｇｅ Ａｐｐｌｉｃａｔｉｏｎｓ）及びＣＬＡＲＡＮＳ（Ｃｌｕｓｔｅｒｉｎｇ Ｌａｒｇｅ Ａｐｐｌｉｃａｔｉｏｎｓ ｂａｓｅｄ ｕｐｏｎ ＲＡＮｄｏｍｉｚｅｄ Ｓｅａｒｃｈ）技術はｋ−ｍｅｄｏｉｄｓ技術に対するこのような拡張である。

セントロイドを計算するための方法を定義することが可能である場合には、より効率的なｋ−ｍｅａｎｓ技術をクラスタリングプロセスにおいて使用することが可能である。数字データのディメンションの場合、セントロイドはこのディメンション内の全てのフィールドの平均値とすることが可能である。記号データのディメンションの場合、セントロイドはそのクラスタを最も代表する選択したパターンとすることが可能である。最も代表するパターンを構成するものはそのデータの性質及びフォーマットに依存する場合がある。

全ての記号値から、式（１）が距離尺度として使用された場合に最も頻繁に発生するか、又は式（２）が距離尺度として使用された場合に最大のトータルの重みを有する記号値がそのデータを最も代表するものである。式（１）が適切な距離尺度である場合には、発生頻度がより低い記号値を捨て去るためにヒューリスティック（ｈｅｕｒｉｓｔｉｃ）を引出すことが可能である。そのヒューリスティックは、パターン又は頻度スレッシュホールド内に包含されている記号の平均数に関連している場合がある。式（２）が適切な距離尺度である場合には、重みを平均化させることが可能であるので、その値の記号的性質はそれほど問題ではない。しかし、例えばフリーテキストのように記号の数が大きい場合には、セントロイドの寸法が大きすぎることとなる場合がある。従って、記号値の相対的な重みに基づく何らかの種類のカットオフ基準を使用する場合がある。

ｋ−ｍｅａｎｓ及びｋ−ｍｅｄｏｉｄｓ技術のような区画化方法に加えて、例えば密度を基礎とした方法等のその他のクラスタリング技術を適用してクラスタリングを実施することが可能である。異なるクラスタリング技術は異なるパラメータを使用し且つクラスタリングの結果はパラメータの設定に極めて影響される場合があるので、特定の問題に対して特定のクラスタリング技術が他のものよりもより適している場合がある。

クラスタリングの結果はデータの構造、データ圧縮、連想的リコール、その他のタスクを理解するために（視覚化を介して）直接的に使用することが可能である。クラスタ結果は、又、数字的データに対する技術を以下に説明するように更なる処理のために使用することが可能であるように、記号データを数字形態へ変換するための基礎として使用することが可能である。

多くの技術は、数字入力のみをとる関数を包含しているために数字データに関してのみ動作する。スタンダードの隠れ層ニューラルネットはこのような１つの例である。リンクに対する重みは数字データに関してのみ動作し且つ活性化関数は数字入力のみをとるので、このタイプの技術は記号的データ、従って混合したデータに対して直接的に適用することは不可能である。

既存のニューラルネット技術を記号データ又は混合したデータへ適用するために、該データは数字形態へ変換される。この変換は、エンコーディングを介して実施することが可能である。１つの方法は、全ての記号値をディメンションへ変換し且つその記号がパターン内に表われることを表わすために１をそうでない場合を表わすために０を使用する。これは、可能な記号の数が小さい場合にはよく動作する。フリーテキストの場合におけるように記号の数が大きい場合には、ディメンションの数、従って問題の複雑性は取扱うことを困難なものとさせる場合がある。

サインポスト変換を変換プロセスにおいて適用することが可能であり、且つクラスタ中心はサインポストを配置するための自然的な位置である。次いで、サインポストの全てへのその距離を計算することにより各記号データポイントを数字へ変換させ、且つこれらの距離が変換した空間におけるこのデータポイントの座標を形成する。

エンコーディング技術と比較してこのサインポスト変換の主要な利点は、変換した空間におけるディメンションの数はデータセットにおける可能な記号の数とは独立しているということである。階層的クラスタリング又は異なるパラメータを有する幾つかの組のクラスタリング結果の場合、詳細のレベル、即ち変換した空間の複雑性をデータ経路において下流側の方法に対する必要性に適するように動的に調節することも容易である（本願出願人が所有する米国特許出願第［代理人ドケット番号６６２０９−ＰＲＯ］、発明の名称「階層的視覚化を介しての多次元データのビューイング（ＶＩＥＷＩＮＧ ＭＵＬＴＩ−ＤＩＭＥＮＳＩＯＮＡＬ ＤＡＴＡ ＴＨＲＯＵＧＨ ＨＩＥＲＡＲＣＨＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ）」を参照）。座標は距離であるから、この変換方法もデータセットの構造をキャプチャする。

エンコーディング技術と比較して、サインポスト変換は、それが通常不可逆的であり且つオリジナルの空間と変換した空間とが距離の定義について対照的なものではないという意味において不透明なものである。変換した空間における２つのポイントの間の距離はオリジナルの空間においての「サインポストへの距離の距離」である。この差は距離に基づく方法を記号クラスタリング結果により著しく影響させることがある。このような方法は、その意図するところがクラスタリング構造を検討する場合にのみ使用することが可能である。

然しながら、ニューラルネットのような非線形変換に基づく方法は、このような差を吸収することが可能であり且つそれから利点が得られる場合もある。ニューラルネットに関連して使用される場合には、サインポスト変換はニューラルネットの関数リンク層と等価である。混合したデータセットの教師付き学習が開始する前に、目標を数字形態へ変換することが可能である（目標が既にその形態にない場合）。その変換はこの場合には可逆的なものであるからこの目的のためにエンコーディング技術を使用することが可能である。

サインポスト変換の使用可能な動的制御をよりよく使用することが可能であるために、例えば直交最小二乗（ＯＬＳ）のような教師付き学習のための自己適応型技術を使用することが（必要なものではないが）好ましい。ＯＬＳ技術は、線形関数リンクネット構造へ適用することが可能であり且つ結果がある訓練基準を満足するまで動的にノードを付加することが可能である。例えば隠れ層ネット等のその他のタイプのネット構造の場合には、従来の後方伝播又は共役購買学習技術を使用することが可能であるが、これらの技術はネット構造が変化する場合には完全な再訓練を使用する。

教師付き学習モデルを構築することに加えて、視覚化等のその他のデータの研究もサインポスト変換の下流側において実施することが可能である。等化直交マッピング、距離比拘束型マッピング又は自動連想型マッピング等の幾つかの視覚化技術は特別にフォーマットした目標を有するニューラルネットを使用し、従ってそれらはサインポスト変換と共に容易に適用することが可能である。距離を使用する自己組織化マップ等の方法であっても使用することが可能である。何故ならば、クラスタリング構造、従ってデータを視覚化することがゴールだからである。

上述した技術を使用してデータ分析のプロセスを例示するために、保険会社からの１組の顧客プロフィール及び購買データを１つの例として使用することが可能である。これは混合した数字及び記号のデータセットである。数字フィールドは顧客年齢、年収及び退職プラン拠出金である。記号フィールドは性別及び顧客が購入した保険製品のリストである。そのゴールは、顧客が特定の新たな保険製品を購入することに興味があるか否かを予測することである。

パターンデータセット（例えば、８００人の顧客のレコード）をトレーニング即ち訓練用のデータセットとテストデータセットへ分割することが可能である（例えば、３分の２を訓練用で残りをテスト用）。このパターンデータセットは最初にデータをエンコードすることにより前処理することが可能である。フィールドの数を制限するために、最も人気のある製品の選択した数（例えば、１４）のみを識別し且つ残りは「その他」のフィールドの下に入れる（全部で製品フィールドは１５となる）。記号フィールド「顧客性別」は男性、女性、不知に対応する３つのフィールドへ変換される。ＯＬＳ方法等の数字モデリングアプローチを使用して顧客が新たな製品を購入するか否かを予測するためのエンコードしたデータに基づいてモデルを構築することが可能である。

データのエンコードした形態のみが使用可能であるので、混合したデータセットは３つの顧客性別フィールド及び１５の製品フィールドを１つへ減少させることにより形成される。このデータセットを最初にクラスタ化させる。各クラスタに対して、そのクラスタに関連する顧客の大部分が新製品を購入したか否かに基づいて、２つのカテゴリ（例えば、「購入」又は「購入せず」）のうちの１つで装飾する。このアノテーションは、クラスタリングの結果を予測のために間接的に使用することを可能とする。新たなパターンが１つのクラスタに該当する場合には、それはそのクラスタのカテゴリに割当てられる。

ＯＬＳ技術のような数字モデリング技術を使用してサインポスト変換と関連して混合したデータに関してモデルを直接的に構築することが可能である。この場合には、数字モデリング技術は手作業のエンコーディングを使用するものではなく、「その他」フィールドの下での製品の完全なリストが使用可能である場合に結果を改善することが可能である。

本明細書に記載した方法はエンタプライズモデルにおける予測及び推薦を行うことに適用することが可能である。図５は本願の別の実施例に基づいて選択したタスクに対して混合したデータを処理するシステムの重要な部分を示している。サブシステム５０は入力変換モジュール１１と関数マッピングモジュール１３とを包含しており、それは上述したような関数及び特徴を有している。サブシステム５０は、更に、階層的データベース５５、１つ又はそれ以上のデータ収集エージェント５６、データ供給源５７を包含している。データ収集エージェント５６はデータ供給源５７からのデータを収集し且つそのデータを階層的データベース５５内に格納する。データ収集は、連続的、周期的及び／又はコマンド（例えば、入力変換モジュールからの）によるものとすることが可能である。収集したデータは、全体的に又は部分的に、混合したデータを包含することが可能である。データ供給源は、エンタプライズモデルシステムにおいては、ローカルマシン及びプロキシ装置（例えば、ネットワークにおいて別の装置の同一性を採るネットワークにおけるルータ）及び外部供給源を包含することが可能である。

入力変換モジュール１１はデータ収集エージェント５６により収集され且つ階層的データベース５５内に格納されている履歴データに基づいて各装置の挙動を学習し且つその装置の挙動のモデルを開発する。入力変換モジュール１１は、好適には、適応的学習の特徴を有している。従って、その装置モデルは時間と共に付加的に収集されるデータで洗練化させることが可能である。

例えば、入力変換モジュール１１は外部の新たな供給源から受取った混合したデータを処理すべく訓練することが可能である。エンタプライズリソース使用における上昇及び下降は歴史的にあるカテゴリのヘッドラインニュース（例えば、切迫した戦争、金融市場崩壊等）の存在と結び付けることが可能である。従って、ネットワークリソースを割当てるための方策は、その日の電送ニュースヘッドラインをモニタすることを包含することが可能である。関連性のあるデータセットは、勿論、混合したデータにより表わされる。関連するエンタプライズリソース使用データを具備するサンプルヘッドラインのトレーニングセットは歴史的データにより表わされるように、エンタプライズ使用条件と関連するクラスタに分類することが可能である。クラスタリングはエンタプライズリソース使用に関して同じような効果を有する同様のキーワードを包含するヘッドラインの歴史的抵抗によりトリガされる。関連するネットワークリソース条件（例えば、サンプルヘッドライン混合データと関連するエンタプライズリソース使用データを使用して決定される）で注釈が付けられている場合のある特定のクラスタと関連するサンプルヘッドラインに基づいて、参照中のこのクラスタに該当するニュースヘッドラインは適切に分類することが可能であり且つ割当てるべきエンタプライズリソースのレベル／量に対する調節の推薦をネットワークアナリストに対してトリガすることが可能である。

本明細書に記載した方法、装置及びシステムは、本開示はその方法、装置及びシステムがタスクを選択するために適用された場合の二三の例示的実施例を記載するに過ぎないものであるが、混合したデータが処理される大きな種々雑多のタスクに対して適用することが可能である。記載した特定の実施例は例示的なものであり、且つ本開示の精神から又は特許請求の範囲から逸脱することなしにこれらの実施例に関して多くの変形例を導入することが可能である。異なる例示的実施例の要素及び／又は特徴は、本開示の範囲及び特許請求の範囲内において、互いに結合させ及び／又は互いに置換させることが可能である。

以下の米国仮特許出願を読むことにより付加的な変形例は当業者にとって自明なものであり、尚引用によりこれらを本明細書に取込む。

（ａ）出願番号第６０／３７４，０６４号、２００２年４月１９日出願、発明の名称「混合型数字及び／又は非数字データの処理（ＰＲＯＣＥＳＳＩＮＧ ＭＩＸＥＤ ＮＵＭＥＲＩＣ ＡＮＤ／ＯＲ ＮＯＮ−ＮＵＭＥＲＩＣ ＤＡＴＡ）」、
（ｂ）出願番号第６０／３７４，０２０号、２００２年４月１９日出願、発明の名称「自動的ニューラルネットモデル発生及びメインテナンス（ＡＵＴＯＭＡＴＩＣ ＮＥＵＲＡＬ−ＮＥＴ ＭＯＤＥＬ ＧＥＮＥＲＡＴＩＯＮ ＡＮＤ ＭＡＩＮＴＥＮＡＮＣＥ）」、
（ｃ）出願番号第６０／３７４，０２４号、２００２年４月１９日出願、発明の名称「階層的視覚化を介しての多次元データのビューイング（ＶＩＥＷＩＮＧ ＭＵＬＴＩ−ＤＩＭＥＮＳＩＯＮＡＬ ＤＡＴＡ ＴＨＲＯＵＧＨ ＨＩＥＲＡＲＣＨＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ）」、
（ｄ）出願番号第６０／３７４，０４１号、２００２年４月１９日出願、発明の名称「システム内の発展的変化を発見する方法及び装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＩＳＣＯＶＥＲＩＮＧ ＥＶＯＬＵＴＩＯＮＡＲＹ ＣＨＡＮＧＥＳ ＷＩＴＨＩＮ Ａ ＳＹＳＴＥＭ）」、
（ｅ）出願番号第６０／３７３，９７７号、２００２年４月１９日出願、発明の名称「ローカルネットを介しての自動的モデルメインテナンス（ＡＵＴＯＭＡＴＩＣ ＭＯＤＥＬ ＭＡＩＮＴＥＮＡＮＣＥ ＴＨＲＯＵＧＨ ＬＯＣＡＬ ＮＥＴＳ）」、
（ｆ）出願番号第６０／３７３，７８０号、２００２年４月１９日出願、発明の名称「データマイニングのためのニューラルネットワークの使用（ＵＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ ＦＯＲ ＤＡＴＡ ＭＩＮＩＮＧ）」。

本開示の一実施例に基づく選択したタスクに対して混合したデータを処理するための装置を示したブロック図。 図１Ａに示した装置のソフトウエア実施例が常駐し及び／又は実行することが可能な典型的なコンピューティングシステム又はコンピュータを示したブロック図。 本願の一実施例に基づいて選択したタスクに対して混合したデータを処理する方法を示したフローチャート。 本願の別の実施例に基づいて選択したタスクに対して混合したデータを処理するための装置を示したブロック図。 選択したタスクに対して混合したデータを処理する別の実施例に基づく方法を示したフローチャート。 本願の別の実施例に基づいて選択したタスクに対して混合したデータを処理するためのシステムの一部を示したブロック図。

Claims (40)

1. 選択したタスクに対して混合したデータを処理する装置において、
   前記混合したデータを変換したデータへ変換すべく適合されている入力変換モジュール、
   前記選択したタスクに対して関数出力を提供するために前記変換したデータを処理すべく適合されている関数マッピングモジュール、
   を有している装置。
2. 請求項１において、前記入力変換モジュールが前記混合したデータを変換したデータへ変換するためにサインポスト変換を使用する装置。
3. 請求項２において、クラスタ中心が基準点として設定され且つ混合したデータから夫々の基準点への距離が変換したデータ空間の次元に対応している装置。
4. 請求項２において、前記入力変換モジュールが混合したデータトレーニングセットのクラスタリングを介して訓練されている装置。
5. 請求項４において、前記入力変換モジュールが教師付き学習方法を使用する装置。
6. 請求項４において、前記入力変換モジュールがクラスタ中心を決定するためにｋ−ｍｅａｎｓ方法を使用する装置。
7. 請求項４において、前記入力変換モジュールがクラスタ中心を決定するためにｋ−ｍｅｄｏｉｄ方法を使用する装置。
8. 請求項１において、前記入力変換モジュールが前記混合したデータを変換したデータへ変換するためにエンコーディング方法を使用する装置。
9. 請求項１において、前記混合したデータが消費者プロフィール情報を包含している装置。
10. 請求項１において、前記変換したデータが数字で表現されている装置。
11. 請求項１において、前記混合したデータがテキストに対応している装置。
12. 請求項１において、前記入力変換モジュールが混合したデータパターンを複数個のノードに対応するセットに組織化するために学習し且つ前記ノードの夫々の出力が前記変換したデータに対応している装置。
13. 請求項１２において、各ノードが関連するクラスタアノテーション関数を有している装置。
14. 請求項１２において、前記学習が教師無しである装置。
15. 請求項１において、前記関数マッピングモジュールが少なくとも１個の基底関数を具備する計算モデルを包含しており、且つ前記少なくとも１個の基底関数のパラメータが、前記関数マッピングモジュールが前記選択したタスクと関連するサンプルパターンのトレーニングセットを学習する場合に調節される装置。
16. 請求項１５において、前記関数マッピングモジュールが関数リンクネットを包含している装置。
17. 請求項１５において、前記関数マッピングモジュールが直交関数リンクネットを包含している装置。
18. 請求項１５において、前記関数マッピングモジュールが前記少なくとも１個の基底関数のパラメータを調節するための回帰技術を使用する装置。
19. 請求項１８において、前記少なくとも１個の基底関数がシグモイドを包含している装置。
20. 請求項１８において、前記少なくとも１個の基底関数がウエーブレットを包含している装置。
21. 請求項１８において、前記少なくとも１個の基底関数がラジアル基底関数を包含している装置。
22. 請求項１８において、前記少なくとも１個の基底関数が多項式を包含している装置。
23. 請求項１５において、前記関数マッピングモジュールによる学習が、教師付き再帰的最小二乗推定方法によるものである装置。
24. 請求項１５において、前記関数マッピングモジュールがフィードフォアワードネットを包含している装置。
25. 請求項２４において、前記フィードフォアワードネットが非線形である装置。
26. 請求項２４において、前記フィードフォアワードネットがエラーの後方伝播により学習する装置。
27. 請求項１において、前記入力変換モジュール及び前記関数マッピングモジュールがニューラルネットワークの夫々の層を有している装置。
28. 請求項１において、前記選択したタスクがデータマイニングである装置。
29. 請求項１において、前記選択したタスクがデータベースサーチである装置。
30. 請求項１において、前記選択したタスクがターゲットマーケティングである装置。
31. 請求項１において、前記選択したタスクがコンピュータウイルス検知である装置。
32. 請求項１において、前記選択したタスクが視覚化、サーチ、リコール、予測及び分類のうちの１つである装置。
33. 選択したタスクに対して混合したデータを処理する方法において、
    混合したデータを変換したデータへ変換し、
    前記変換したデータを処理して前記選択したタスクに対する関数出力を提供する、
    ことを包含している方法。
34. 請求項３３において、前記混合したデータがサインポスト変換を介して変換したデータへ変換される方法。
35. 請求項３４において、クラスタ中心が基準点として設定され且つ混合したデータから前記夫々の基準点への距離が変換したデータ空間の次元に対応している方法。
36. 請求項３３において、前記混合したデータがエンコーディング方法を介して変換したデータへ変換される方法。
37. 請求項３６において、前記混合したデータが消費者プロフィール情報を包含している方法。
38. 伝送媒体内に実現されているコンピュータデータ信号において、請求項３３の方法を実施するためにコンピュータにより実行可能な命令を実現するコンピュータデータ信号。
39. マシンにより読取り可能なプログラム格納装置において、請求項３３の方法を実施するために前記マシンにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置。
40. コンピュータシステムにおいて、
    プロセッサ、
    前記コンピュータシステムにより読取り可能であり請求項３３の方法を実施するために前記プロセッサにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置、
    を有しているコンピュータシステム。

Images