JP2012514228A - パターン発見およびパターン認識のための方法 - Google Patents

Abstract

本発明は、パターン発見およびパターン認識のための方法に関し、概念に関連する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグが受けられ、遷移確率マトリックスが、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから得られ、各タグおよび各距離に対する遷移確率マトリックスが、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために習得される。また、本発明は、パターン発見およびパターン認識の方法を実行するコンピュータ・プログラム製品および装置に関する。

Description

本発明は、パターン発見およびパターン認識のための方法に関する。また、本発明は、パターン発見およびパターン認識のためのコンピュータ・プログラム製品に関する。さらに、本発明は、パターン発見およびパターン認識のための装置に関する。

すべてのパターン発見法における基本的な考え方は、生成された（学習された）モデルと解析されている現在のパターンとの間の１つまたは複数の類似点を測定するために、統計的規則性をモデル化し、モデルを実際の表示と比較することである。

シーケンス（sequence）の中のパターンをモデル化し、認識するために使用される、知られている方法および技術の１つは、モデル化されるべきシーケンスがマルコフ性（Markov property）を有することを仮定するマルコフ・モデルである。マルコフ性を有することは、現在の状態が与えられると、将来の状態は、過去の状態とは無関係であるということを意味する。言い換えれば、現在の状態のみの記述が、プロセスの将来の展開に影響を与えうるすべての情報を完全に保持する。将来の状態は、確定プロセスの代わりに確率プロセスを通して到達される。

各ステップにおいて、システムは、ある一定の確率分布にしたがって、現在の状態から別の状態にその状態を変えてよく、または同じ状態に留まってよい。状態の変化は遷移と呼ばれ、種々の状態変化に関連する確率は、遷移確率と呼ばれる。

多くの物理的プロセスと、その物理的プロセスによって生成される、対応する観測可能なシーケンスとが、高次の相関係数によって測定されうる時間構造（temporal structure）など、強い構造（strong structure）を有する。したがって、使用される時間分解能に応じて、生成されるシーケンスは、将来の状態が過去の状態とは無関係であるマルコフ連鎖によって正確にモデル化されえない、（時間または空間にわたる）広い構造（wide structure）を有してよい。

本発明の１つの目的は、パターン発見およびパターン認識のための方法、パターン発見およびパターン認識のためのコンピュータ・プログラム製品、ならびにパターン発見およびパターン認識のための装置を提供することにある。

本発明の目的は、概念に関連する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグが受けられ、遷移確率マトリックスが、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから得られ、各タグおよび各距離に対する遷移確率マトリックスが、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために習得される方法を提供することによって履行される。

また、本発明の目的は、概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグを受け、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから遷移確率マトリックスを得て、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために、各タグおよび各距離に対する遷移確率マトリックスを学習するコンピュータ・プログラム製品を提供することによって履行される。

さらに、本発明の目的は、概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグを受け、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから遷移確率マトリックスを得て、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために、各タグおよび各距離に対する遷移確率マトリックスを学習する装置を提供することによって履行される。

本発明の一実施形態は、独立請求項１による方法に関する。

加えて、本発明の一実施形態は、独立請求項１０によるコンピュータ・プログラム製品に関する。

また、本発明の一実施形態は、独立請求項１１による装置に関する。

さらに、実施形態は、従属請求項の中で定義される。

本発明の一実施形態によれば、方法は、概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび第１のシーケンスと関係づけられたタグを受けることと、第１のシーケンスの中の異なる距離における第１のシーケンス・シンボルの間の遷移の発生の頻度データを表示する遷移頻度マトリックスから遷移確率マトリックスを得ることと、第２のシーケンスの中で発生する概念を確定する活性化関数を得るために、各タグおよび各距離に対する遷移確率マトリックスを学習することとを含む。

本発明の実施形態による方法は、例えば、ソフトウェアがパターン発見およびパターン認識の処理を実行するコンピュータ・システム、ラップトップ、または携帯電話であってよい装置において実施されうる。第２に、パターン発見およびパターン認識の処理は、パターン発見およびパターン認識の処理を実施するように適合されているプロセッサ（例えば、ディジタル・シグナル・プロセッサ（ＤＳＰ）チップ）によって実行されうる。

用語「概念」（パターン）は、１シーケンスにおける（または２つの異なるシーケンスの間の）ある種の統計的規則性のことを言い、その概念は、他の概念（他の規則性）と異なり、すべてのノイズ状の不規則性と明確な対比をなす。

用語「タグ」は、あるシーケンスと関係づけられた徴候のことを言い、あるいはいくつかのタグが同じシーケンスと関係づけられ、これらの関連性が、概念と呼ばれる。

用語「遷移」は、シーケンス・シンボル（インデックス、ラベル）対のことを言う。シーケンス・シンボルは、シーケンスの基本的要素であり、シーケンス・シンボル対は、対の内部のシーケンス・シンボル間に距離を有する（言い換えれば、各シンボル対は、シーケンスの中にある一定の位置および相互の間隔（位置の違い）を有する）。

本発明の一実施形態によれば、前の一実施形態で開示される方法は、概念を含む第１の情報を受けることを含む。第１の情報は、例えばスピーチまたは画像であってよい。

本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、タグを第１のシーケンスと関係づけることを含む。

本発明の一実施形態によれば、前の一実施形態のいずれかで開示される方法は、概念を含む第１の情報を離散化することおよび量子化すること、ならびに第１の情報を１次元の（１Ｄ−）第１のシーケンスの形で表示することを含む。また、視覚的（空間的）２Ｄ情報は、１Ｄシーケンスを形成するために異なる方法でサンプリングされうる。このため、詳細な説明は、シーケンシャル（１Ｄ）情報のみに限定する。より複雑な場合では、１セットの１Ｄシーケンス、ならびにこれらのシーケンス間の関連性（例えば、聴覚的表示と視覚的表示との間の関連性）を処理することが可能である。

本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、第１のシーケンスにおけるシーケンス・シンボル間の遷移の発生の頻度データを収集することを含む。その方法は、各タグに対する、頻度データからなる、少なくとも１つのマトリックスを含むマトリックスの群で定式化される。群の中のマトリックスの数は、シーケンスから収集されたシンボル対の異なる距離の数、および概念に関連するタグの数に応じて決まる（例えば、マトリックスＭ（ａ、ｂ｜距離、タグ）、ここでａ×ｂがマトリックスのサイズを画定し、マトリックスの数は距離のタグ倍に等しい）。

本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、第１のシーケンスにおける遷移の発生の頻度データを、遷移頻度マトリックスに記憶することを含む。

本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、後で示す式（１）〜式（３）によって、遷移頻度マトリックスを遷移確率マトリックスに正規化することを含む。

本発明の一実施形態によれば、第２のシーケンス（複数可）が第２の実際の情報から処理される、前の実施形態のいずれかで開示される方法は、第２の情報を第２のシーケンス（複数可）の形で表示するために、第２の情報を離散化し、量子化することによる概念を含む。

本発明の一実施形態によれば、前の実施形態のいずれかで開示される方法は、例えばスピーチ認識または画像認識に関するパターン認識のために使用される。使用された、方法を実行するアルゴリズムは、離散的な量子化された形で与えられる情報ストリームを取り込む。情報は、任意の時変プロセス、例えば視聴覚信号によって生成されてよく、または、情報は、空間的に変化するだけの、例えば静止画像であってよい。

本発明の実施形態による方法は、装置、例えばコンピュータ・システム、ラップトップ、または携帯電話の中で実施されてよく、ソフトウェアが、パターン発見およびパターン認識の処理を実行する。

第２に、パターン発見およびパターン認識の処理は、パターン発見およびパターン認識の処理を実施するように適合された、プログラムされたプロセッサ（例えば、ディジタル・シグナル・プロセッサ（ＤＳＰ）チップ）によって実行されうる。

本発明の実施形態による方法を実行するアルゴリズムは、実際のシーケンスから証拠（evidence）を収集することによって統計を学習し、これらのシーケンスに対する統計モデルを構築し、それらの統計モデルをパターン発見およびパターン分類に適用する。

統計は、空間的事例では異なる空間距離において、または時間的事例では異なる遅延において見出されるシーケンス・シンボル対の頻度に基づく。時間シーケンスの事例では、シーケンス・シンボル対は、状態遷移として解釈されてよく、それらの対応する相対頻度は、対応する遷移確率を生じさせるために正規化されうる。異なるシーケンス・シンボル対の発生の数が、頻度マトリックスまたは表を形成するために収集されうる。あらゆる空間距離または時間的距離（遅延）は、それ自体のマトリックスまたは表を生成する。それに応じて、結合的統計が、２つの異なるシーケンスの間に生成されうる。

遷移統計が、マルチモーダル入力（タグ）の存在と結びつけられ、それにより、各タグが、タグに関連する時系列の中で１つの概念（パターン）を示す。モデルを訓練した後、前に学習された概念のうちの１つである知られていない概念が、新しいシーケンスから認識されうる。アルゴリズムは、シーケンスが高レベルの歪みおよびノイズで損なわれる状態において、および、事象の従属性が時間または空間にわたって分散され、それにより、隣接事象が、互いに従属するものと確実にみなすことができない状態において、特にパターン認識に対して調整される。

本発明の実施形態による方法とマルコフ連鎖との間の１つの違いは、本発明の実施形態による方法は、シーケンスから統計的証拠を収集し、最初に異なる距離において見出されるすべてのラベル対の数をカウントし、次いで、２つの異なる正規化（詳細な説明における式（１）および式（２））を実施し、活性化マトリックスの最終セットを導くために実行される第３の正規化の前に、これら２つの統計的表示を組み合わせることである。

導かれた表示のうちの１つだけ、遅延１の状態遷移マトリックスが、マルコフ連鎖法で知られる表示と同等である。活性化マトリックスの誘導において使用される他の２つの表示では、統計的証拠の取り扱いが、以前から知られている取り扱いとは大幅に異なる。

別の違いは、マルコフ連鎖は、典型的には１より大きい遅延にわたる統計を使用せず、マルコフ連鎖が使用するときは、統計は、単なるマトリックスの乗算（チャップマン−コルモゴロフの方程式）によって遅延１の遷移マトリックスから導かれうることである。本発明の実施形態による方法では、より大きな遅延にわたる統計が、シーケンスから直接取り込まれ、マトリックスの乗算によって近似値が求められる（概算される）ものではない。

本発明の実施形態による方法とマルコフ連鎖との間の第３の違いは、本発明の実施形態による方法は、あらゆる概念（式（２））および異なる距離のラベル対に対して得られたすべての活性化マトリックス（式（４））に対する２つの異なる表示を並列に使用することである。したがって、組み合わされた活性化パターンは、現在または前の状態に従属するばかりでなく、活性化マトリックスのセットによって説明されるシーケンスの中のすべての前の事象にも従属する。

本発明の実施形態による方法の利点は、外乱（disturbance）により、有限の時間窓または空間窓の中で元の情報が完全に壊されたかまたは著しく損なわれたデータを取り扱うときに明らかになる。元の情報は、モデルが、近隣にある利用可能な情報を利用できるときにのみ、さらには、モデルが、周辺にある損なわれていない情報に基づいて適切に連想することができるときにのみ、修復（訂正）されうる。

次に、本発明の態様が、例示的実施形態を添付の図面と併せて参照することによって、より詳細に説明される。

本発明の有利な一実施形態による、パターン発見およびパターン認識のための方法を示す例示的な概要流れ図である。 本発明の有利な一実施形態による、パターン発見のための方法を示す例示的流れ図である。 本発明の有利な一実施形態による、パターン認識のための方法を示す例示的流れ図である。 活性化のメジアン・フィルタをかけない時間の関数としての、発声における単語の表示の活性化を示す図である。 活性化のメジアン・フィルタリングをかけた時間の関数としての、発声における単語の表示の活性化を示す図である。 アルゴリズムの特徴学習曲線を示す図である。

図１は、本発明の実施形態によるパターン発見およびパターン認識の方法１００を説明する概要流れ図を表す。

最初に、ステップ１１０で、データ、例えばスピーチ認識処理においていくつかの単語を含む発声が収集される。

収集されたデータは、ステップ１２０の間に処理され、それにより、処理されたデータから統計的規則性（パターン）を見出すことができ、見出されたパターンに対する統計モデルが生成される。学習段階において、同時に存在する外部のタグが、パターンのセットのうちのどの１つ（後で認識される）が実際のシーケンスのどこかに存在するかを示す。

最後に、ステップ１３０で、生成されたパターンの統計モデルと実際のパターンとの間の類似性を発見するために、パターンの統計モデルが、新しい、以前には見られなかった実際のデータと比較される。

図２Ａは、より詳細な本発明の実施形態による発見方法２００を説明する流れ図を、単なる１つの例によって開示する。

ステップ２０５における方法の開始の間に、方法を実行するコンピュータおよび／またはアプリケーションがスイッチを入れられ、アプリケーションのセット・アップの定義、および異なる変数およびパラメータの初期化など、パターンの学習プロセス、発見および認識の前に必要な段階が提供される。

この場合は、ユーザが、パターンの学習、発見および認識を考慮してセット・アップ、変数およびパラメータを定義する。

次に、ステップ２１０で、人によって話された１つまたは複数の単語を含む発声など、学習（訓練）プロセスにおいて使用される情報が、受信器、例えばマイクロフォン、および受信された音響信号をパターン発見およびパターン認識のソフトウェアに適切な形に修正することができる信号処理ユニットを介して、パターン発見およびパターン認識のソフトウェアに導入される。

ステップ２１５で、受信された情報（サンプル）が離散化され量子化されて、その後、ステップ２２０で、離散する量子化された情報が、１Ｄ−シーケンスまたは複数のシーケンスの形で表される。

次いで、ステップ２２５で、シーケンス（複数可）と関係づけるいくつかの事象（パターン）が、例えば数字またはアルファベットでありうるタグによって特定される。

それで、システムへの入力は、離散要素の時系列、もしくは１Ｄ−シーケンスを形成するためにサンプリングされた空間情報、および訓練段階における、シーケンスに関連するいくつかの事象またはパターンを特定するタグからなる。いくつかの場合では、１つの情報モダリティが、別のモダリティに対するタグを提供してよい。シーケンスの基本的要素はラベルと呼ばれ、最も簡単な場合では、シーケンスの基本的要素は、ベクトル量子化コードブックにおける項目と呼ばれてよく、またはシーケンスの基本的要素は、時系列もしくは画像の任意の種類の量子化によって生み出されうる。より複雑な場合では、シーケンスの基本的要素は、情報のいくつかの高レベルの表示、例えば透明な定性的特性を反映することができる事象または項目と呼ばれてよい。１つの例は、株式市場および複雑な計量経済学的プロセスのモデリングでありうる。他の情報源（可能な別のモダリティ源）が、いわゆる概念タグｃの１セットによって表示される。

タグは、通常、時系列入力と関係づけられた別のプロセス（例えば、スピーチ認識の場合に別のモダリティ状の視覚または触知覚において実施されるカテゴリー化プロセス、または時系列に関連することが望まれる、手動で定義される事象のいくつかの他の群）の不変出力を表示する整数値である。

また、メカニズムは、反対方向に働くことができ、音響事象は、視覚的パターンを学習するためのタグとして働くことができる。１つのモダリティが、学習を助けるために他のモダリティに対するタグを形成することができる。より一般的には、方法は、異なるモダリティ間の統計的関連性の構築を可能にする。これは、（エージェントおよび人によって）意味の構成および学習をモデル化し理解する途上における主要な問題の１つである。

ステップ２３０で、概念（タグ）が活性化され、シーケンスが表示されるとき、アルゴリズムが、シーケンスの中の距離ｌにおけるラベル対（遷移）の発生の頻度データを収集し始める。

ステップ２３５で、アルゴリズムは、収集されたラベル対の発生の頻度データを、ヒストグラム表またはマトリックスＴ（遷移頻度マトリックス）に記憶する。元のラベルは、対応するラベル対の発生の数が必要なときに、Ｔに対するポインタとして使用されうる。

次のステップ２４０の間に、Ｔ内に収集されたヒストグラムは、次いで、別の表示Ｐを生み出すために使用される。

アルゴリズムの基幹（backbone）は、Ｎ_ｑ×Ｎ_ｑのサイズのマトリックスＰ_ｌ、ｃであり、ここでＮ_ｑは、遷移確率マトリックスに類似するが、明確に定義された確率を含まず、代わりに一種の累積確率合計を含む、コードブックのサイズである。コードブックは、概念ｃが同時に存在する中で、ラベルａ［ｔ−ｌ］からラベルａ［ｔ］までの正規化された遷移確率の記録を保持し、ここでｌ、ｃ、ｔ∈Ｚであり、ｌはセットｌ＝｛ｌ_１，ｌ_２，ｌ_３、．．．，ｌ_ｎ｝の１項（member）であり、ｃはセットｃ＝｛１，２，３，．．．，Ｎ_ｃ｝の１項である。言い換えれば、Ｎ_ｃはシステムに導入された概念の総数である。仮にＮ_ｌ＝‖ｌ‖と定義すれば、特定の遅延における各概念に対して１つの、合計Ｎ_ｐ＝Ｎ_ｌ＊Ｎ_ｃのＰマトリックスのインスタンス（instance）が存在する。マトリックスＴ_ｌ、ｃは、それが、概念ｃが存在する中で、ラベルａ［ｔ−ｌ］からラベルａ［ｔ］までの正規化された確率の代わりに遷移頻度の記録を保持することを除いて、Ｐ_ｌ、ｃと同様である。

Ｐの値は、３段階の正規化プロセスのために、０と１との間の範囲内の古典的確率ではないので、Ｐの値は活性化値と呼ばれ、Ｐは活性化マトリックスと呼ばれる。Ｐに記憶される活性化値は、Ｔに記憶される頻度情報を使用することによって計算される。

次に、訓練が方法の中にいかにして提供されるかが表示される。表記法を簡単にするために、マトリックスＰ_ｌ、ｃおよびＴ_ｌ、ｃの要素は、Ｐ（ａ_ｉ，ａ_ｊ｜ｌ，ｃ）およびＴ（ａ_ｉ，ａ_ｊ｜ｌ，ｃ）の形で表示され、ここで最初の２つの変数ａ_ｉおよびａ_ｊはラベルのマトリックス要素インデックス（ａ_ｉからａ_ｊへの遷移、またはａ_ｉおよびａ_ｊの共起）を定義し、一方、ｌは遅延を定義し、ｃは概念を定義する。

入力は、訓練シーケンスＳ＝｛ｓ_１，ｓ_２，．．．，ｓ_ｎ｝およびシーケンス関連の概念Ｖ＝｛ｖ_１，ｖ_２，．．．，ｖ_ｎ｝からなり、ここで各ｖ_ｉ＝｛ｃ_１，ｃ_２，．．．，ｃ_ｎ｝であり、ｖ∈ｃである。遅延ｌにおいて発生するシーケンスｓ_ｉの中のすべての遷移は、遷移頻度マトリックスＴ_ｌ、ｃに更新され、ここでｃはｓ_ｉに関連するｖ_ｉの１項である。このプロセスは、訓練材料の中ですべてのＳに対して繰り返される。

以下の疑似コードの例は、遷移頻度の収集プロセスを示す。
for i = 1:length{S}
s = S(i);
v = V(i)
for lag = 1:length(l)
for t = 1:length(s)
for c = 1:length(v)
T(s[t-lag],s[t] | lag,c) = T(s[t-lag],s[t]lag,c) +1;
end
end
end
end

ステップ２４０で、訓練材料の中で発生するすべての遷移が加算され、遷移頻度マトリックスＴに記憶されるので、遷移確率を各ラベルからすべての他のラベルΣ_ｘＰｒ（ａ_ｉ、ａ_ｘ）＝１に、
を行うことで正規化することによって、マトリックスが遷移確率マトリックスＰ’に正規化される。ここでＮ_ｑは、時系列におけるコードブックのサイズ、すなわち一意の要素の数である。

特定の遷移がすべての他の遷移に変わって１つのタグが存在する間に発生する確率が、Ｐ’ _ｌ、ｃに累積的に加算される。

このことが、概念の存在において非常に一般的なこれらの遷移の値を高める。マトリックスは、この時点で、次の状態の確率がマトリックスに加算されないという意味で、もはや明確に定義された遷移確率マトリックスではないことに留意されたい。それゆえ、Ｐの値は、今後は、（概念に固有の）活性化値と呼ばれ、認識プロセスの結果は概念活性化と呼ばれる。

最後に、任意の他の概念の代わりに１つの概念ｃ_ｋが存在する間に遷移が発生する確率が、
を行うことで最後の活性化マトリックスＰに組み入れられる。

言い換えれば、タグｃの場合にａ_ｉからａ_ｊへの遷移の累積確率が、すべての可能なタグｃの間に同じ遷移が発生する確率の合計で除される。仮に遷移が、すべての概念に対して等しい確度になり、それゆえ情報化値を含まないならば、遷移は、１／Ｎｃの確率を有することになる。それゆえ、すべてのマトリックスの中の各要素は、完全にランダムな場合に対してゼロ活性化を有するために、および他の概念の間により多く発生する遷移に対して負の値を有するために、その値から減算された１／Ｎ_ｃを有する。前述の１／Ｎ_ｃ減算は、必ずしも必要なステップではないが、１／Ｎ_ｃ減算は、プロセスをより便利にする。

訓練が完了したとき、方法は、ステップ２４５で終了する。

図２Ｂは、本発明の実施形態によるパターン認識法２６０を説明する流れ図を、単なる１つの例によって示す。

ステップ２６５での認識プロセスの開始は、発見プロセスの開始と同様である。

ステップ２７０で、プロセスは、第２の情報、実際の入力データをシステムに導入され、ステップ２７５および２８０の間に、第２の情報が、パターンを有する１つまたは複数のシーケンスの形で実際の入力データを提示するために、離散化および量子化することによって処理される。

次に、ステップ２８５で、実際の入力データからの概念が、シーケンス（複数可）の遷移を調査する（study）ことによって確定される。遷移は、各距離および各タグに関する遷移確率Ｐを有する。これらの確率は、学習段階の間に推定される。確率は、活性化関数Ａを生成するために組み合わされ、最高の活性化レベルを有する概念が認識される。

それゆえ、実際の入力シーケンスが与えられると、時間ｔにおける概念ｃ_ｉの活性化レベルは、入力シーケンスの後方履歴だけが含まれるときに、
として表現されうる。

パターン認識が完了したときに、ステップ２９０で、方法は終了する。

また、仮にシーケンスの中の最大遅延ｍａｘ（ｌ）までの後続のラベルが予め知られているならば、Ｐ（ｓ［ｔ］，ｓ［ｔ＋ｌ］｜ｌ_ｄ，ｃ_ｉ）活性化値を式（４）の合計に含めることによって、双方向認識プロセスを有することができる。このことが、認識された事象の局所化を強める。なぜなら、活性化曲線のピーク値は、特定の概念に対して主要な統計的支援が存在する一点に集中し、遷移確率に関してその点周りに対称に分布するようになるからである。

式（４）は、各概念の候補に対する局所活性化推定を提供するが、多くの用途では、認識されている事象は、後に続くいくつかの時間フレームにわたって広がるので、より大きな時間窓の中で活性化出力を考察することが有用である。このことを行うための１つの可能性は、より大きな時間窓の中で活性化曲線を、最初にローパス・フィルタまたはメジアン・フィルタにかけることである。次いで、これらの概念に関する時間的活性化曲線のそれぞれが、活性化値の最大累積合計を有する長さＬ_ｉ∈［Ｌ_ｍｉｎ，Ｌ_ｍａｘ］の部分列を探索される。各概念モデルｃに対してこれらの部分列が見出された後、最大の累積合計を有する部分列ｉが、概念仮説ｃ_ｉを画定する。

Ｌ_ｍｉｎは、認識決定プロセスの中に含まれる情報に対する最小の時間的制限を設定し、少なくとも最短の可能な事象が認識されるのと同じほどの長さであるべきである。同様に、Ｌ_ｍａｘは、情報の統合に対する時間的上限を画定し、少なくとも最長の可能な事象が認識されるのと同じほどの長さであるべきである。しかし、１事象の前後関係が、多くの場合、事象自体の手がかり（cue）を含み、遷移確率マトリックスに埋め込まれた統計は、この情報を考慮に入れるので、Ｌ_ｍａｘに対してさらに大きな値を有することが、いくつかの状況において有利でありうる。

上記の式（２）および式（４）における加算（一次結合）が、値１を有する重み付け係数によって実施される。しかし、１でない値を有する重み付け係数αを使用することが可能である。これらの値は、いくつかの付加的な基準に基づいて、例えば、反復的にパターン認識の成功に基づいて確定されうる。

さらに、いくつかの情報源を組み入れるために、いくつかの、同時に量子化された入力ストリームに対してすべてのアルゴリズムを並列に実行することも可能である。このことが、頻度マトリックスおよび活性化マトリックスを、Ｔ_Ψ（ａ_ｉ，ａ_ｊ｜ｌ，ｃ）およびＰ_Ψ（ａ_ｉ，ａ_ｊ｜ｌ，ｃ）の形に変換し、ここでΨは入力ストリームが処理された数を表示する。各遅延における各概念に対して、かつ各ストリームに対して別個の概念マトリックスを構築するために、訓練が、単一ストリームの条件に対して同様に実施される。試験段階において、すべてのストリームからの確率出力が組み合わされて、時間ｔにおける概念ｃ_ｉの確率
を得る。ここでω_Ψは、各入力ストリームに対して確定される重み付け係数である。

図３および図４に、説明されたパターン認識法に関する結果の例を示す。

概念マトリックスアルゴリズムが、教師なし単語学習実験に適用された。目的は、４人の話し手によってブリティッシュ・イングリッシュで話された４０００の発声（男性２人および女性２人、１０００発声／人）を含むコーパスから１１の異なるキーワードを学習することであった。各発声は、１つまたは２つのキーワードを含み、これらのキーワードの存在を別のモダリティでシミュレーションするメタタグを付帯する。約３０００の発声が訓練に割り当てられ、残りの１０００の発声が試験のために割り当てられるときに、１００％の認識精度が達成される。

スピーチ材料が、ｋ平均法クラスタ化アルゴリズムを用いて、１ストリームのベクトル量子化（ＶＱ）インデックス（フレーム長１０ｍｓ、コードブック・サイズＮ＝１５０）に量子化された。静的ＭＦＣＣベクトルのユークリッド距離が、距離の単位（measure）として使用された。訓練が、１回に１発声ずつ、その関連する概念タグを伴って実施された。試験段階では、発声のＶＱストリームだけが入力として使用され、システムは、どのキーワード（概念タグ）が発声の中に埋め込まれているかを認識しなければならなかった。活性化曲線が、１５０ｍｓで窓をかけられ、Ｌ_ｍｉｎが３５０ｍｓ、Ｌ_ｍａｘが４５０ｍｓに設定されて、メジアン・フィルタにかけられた。

図３は、発声「Ｄａｄｄｙ ｃｏｍｅｓ ｃｌｏｓｅｒ（父さんが近づいてくる）」における内部概念（すなわち単語）表示の活性化を、活性化のメジアン・フィルタをかけない時間の関数として例示する。図３の上側に、各概念の活動が、確率値を有する個別の曲線を示す時間の関数として示され、下側に、各概念に対して見出された部分列の最良の累積合計が示される。得られた（winning）概念の部分列の境界が、矢で指示される。

図４は、メジアン・フィルタをかけた同じプロセスを示す。正しいキーワード「ｄａｄｄｙ（父さん）」が、他の単語候補に対して明確なマージンを有して認識されることが、図から分かる。また、メジアン・フィルタリングは、より大きな時間窓にわたって情報を統合し、それゆえ、入力から連続的支援を受ける概念と、入力の中になんらかの知られている構造を単にランダムに見出す概念との間の違いを強める。上側に、各概念の活動が、確率値を有する個別の曲線を示す時間の関数として示され、下側に、各概念に対して見出された部分列の最良の累積合計が示される。得られた概念の部分列の境界が、矢で指示される。

図５は、アルゴリズムの特徴学習曲線を、訓練された発声の数を関数として表示する。学習曲線は、認識率が、ほんの数トークン（token）後に非常に速やかに増大し、３０００の発声において１００％の精度に到達することを示す。最初の５００の発声を、右下に詳細に示す。

本発明が、これまで、上述の実施形態を参照して上で説明され、本発明いくつかの利点が例示された。本発明が、これらの実施形態に限定されないばかりでなく、本発明の趣旨および範囲内の、考えられるすべての可能な実施形態、ならびに以下の特許請求の範囲を含むことは明らかである。

Claims (11)

1. 概念に関する第１のシーケンス・シンボルを含む第１のシーケンスおよび前記第１のシーケンスと関係づけられたタグを受けることと、
   前記第１のシーケンスの中の異なる距離における前記第１のシーケンス・シンボル間の遷移の発生の頻度データを表示する遷移頻度マトリックスから、遷移確率マトリックスを得ることと、
   第２のシーケンスの中で発生する前記概念を確定する活性化関数を得るために、各タグおよび各距離に対する前記遷移確率マトリックスを学習することと
   を含む、方法。
2. 前記概念を含む第１の情報を受けることをさらに含む、請求項１に記載の方法。
3. 前記タグを前記第１のシーケンスと関係づけることを含む、請求項１または２に記載の方法。
4. 前記概念を含む第１の情報を離散化することおよび量子化すること、ならびに前記第１の情報を前記第１のシーケンスの形で表示することをさらに含む、請求項１乃至３のいずれか１項に記載の方法。
5. 前記第１のシーケンスにおける前記遷移の前記発生の前記頻度データを収集することをさらに含む、請求項１乃至４のいずれか１項に記載の方法。
6. 前記第１のシーケンスにおける前記遷移の前記発生の前記収集された頻度データを、前記遷移頻度マトリックスに記憶することをさらに含む、請求項１乃至５のいずれか１項に記載の方法。
7. 前記遷移頻度マトリックスを前記遷移確率マトリックスに正規化することを含む、請求項１乃至６のいずれか１項に記載の方法。
8. 前記第２のシーケンスが、第２の情報を前記第２のシーケンスの形で表示するために、前記第２の情報を離散化することおよび量子化することによって、前記概念を含む前記第２の情報から処理される、請求項１乃至７のいずれか１項に記載の方法。
9. スピーチ認識または画像認識のために使用される、請求項１乃至８のいずれか１項に記載の方法。
10. コンピュータ・プログラム製品がコンピュータ内で実行されるときに、請求項１乃至９のいずれか１項の前記方法を実行するように構成されたコンピュータ・プログラム製品。
11. 請求項１乃至９のいずれか１項の前記方法を実行するように構成された装置。