JP2006162898A - 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、並びにプログラム - Google Patents

学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、並びにプログラム Download PDF

Info

Publication number
JP2006162898A
JP2006162898A JP2004353382A JP2004353382A JP2006162898A JP 2006162898 A JP2006162898 A JP 2006162898A JP 2004353382 A JP2004353382 A JP 2004353382A JP 2004353382 A JP2004353382 A JP 2004353382A JP 2006162898 A JP2006162898 A JP 2006162898A
Authority
JP
Japan
Prior art keywords
time
data
node
series
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004353382A
Other languages
English (en)
Other versions
JP4639784B2 (ja
Inventor
Katsuki Minamino
活樹 南野
Kazumi Aoyama
一美 青山
Hideki Shimomura
秀樹 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004353382A priority Critical patent/JP4639784B2/ja
Priority to EP05257427A priority patent/EP1667107A1/en
Priority to US11/294,696 priority patent/US7296005B2/en
Priority to KR1020050118290A priority patent/KR101182965B1/ko
Priority to CN2005101191859A priority patent/CN1808414B/zh
Publication of JP2006162898A publication Critical patent/JP2006162898A/ja
Application granted granted Critical
Publication of JP4639784B2 publication Critical patent/JP4639784B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G10L15/144—Training of HMMs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 時系列データの教師なし学習と、その学習結果を用いた時系列データの認識や生成を、容易に行う。
【解決手段】 記憶部５は、時系列データのパターンである時系列パターンを表現する、例えば、HMMなどの時系列パターンモデルを有する複数のノードNiから構成されるネットワークである時系列パターン記憶ネットワークを記憶しており、時系列パターン記憶ネットワークが、時系列データの観測値に基づいて、自己組織的に更新される。本発明は、例えば、ロボットなどに適用できる。
【選択図】図３

Description

本発明は、学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、並びにプログラムに関し、特に、例えば、音声のような時系列のデータである時系列データの教師なし学習、さらには、その学習結果を用いた時系列データの認識や生成を、容易に行うことができるようにする学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、並びにプログラムに関する。
パターンを学習して認識を行う技術は、一般にパターン認識（pattern recognition）と呼ばれ、パターン認識における学習は、教師あり学習（supervised learning）と、教師なし学習（unsupervised learning）とに分けることができる。
教師あり学習とは、各パターンの学習データがどのクラスに属するかの情報（これを正解ラベルと呼ぶ）を与えて、各パターンごとに、そのパターンに属する学習データを学習する方法であり、テンプレートマッチング、ニューラルネットワーク、HMM（Hidden Markov Model）などを用いた学習方法が数多く提案されている。
ここで、図１は、従来の教師あり学習の一例を示している。
教師あり学習では、学習に利用する学習データが、想定したカテゴリ（クラス）（例えば、各音素のカテゴリや、各音韻のカテゴリ、各単語のカテゴリなど）ごとに用意される。例えば、"A"，"B"，"C"という発声の音声データを学習する場合、"A"，"B"，"C"それぞれの多数の音声データが用意されることになる。
一方、学習に利用するモデル（各カテゴリの学習データを学習させるモデル）も、想定したカテゴリごとに用意される。ここで、モデルは、パラメータによって定義される。例えば、音声データの学習には、モデルとして、ＨＭＭなどが用いられるが、HMMは、ある状態から他の状態（元の状態を含む）に遷移する状態遷移確率や、HMMから出力される観測値の確率密度を表す出力確率密度関数などによって定義される。
教師あり学習では、各カテゴリ（クラス）のモデルの学習が、そのカテゴリの学習データのみを用いて行われる。即ち、図１では、カテゴリ"A"のモデルの学習は、カテゴリ"A"の学習データのみを用いて行われ、カテゴリ"B"のモデルの学習は、カテゴリ"B"の学習データのみを用いて行われる。同様に、カテゴリ"C"のモデルの学習も、カテゴリ"C"の学習データのみを用いて行われる。
教師あり学習においては、このように、各カテゴリの学習データを用いて、そのカテゴリのモデルの学習を行う必要があるため、カテゴリごとに、そのカテゴリの学習データを用意し、各カテゴリのモデルの学習に対して、そのカテゴリの学習データを与えて、カテゴリごとのモデルを得る。即ち、教師あり学習によれば、正解ラベルに基づき、クラスごとのテンプレート（正解ラベルが表すクラス（カテゴリ）のモデル）を得ることができる。
従って、認識時には、ある認識対象のデータに対し、その認識対象のデータに最も適合(match)するテンプレート（尤度が最も高いテンプレート）の正解ラベルを、認識結果として出力することができる。
一方、教師なし学習は、各パターンの学習データに正解ラベルが与えられない状況で行われる学習であり、例えば、テンプレートマッチングやニューラルネットなどを用いた学習方法があるが、正解ラベルが与えられないという点で、教師あり学習とは大きく異なる。
ところで、パターン認識は、そのパターン認識によって認識しようとする認識対象のデータ（信号）が観測される信号空間の量子化と見ることができる。特に、認識対象のデータがベクトルである場合のパターン認識は、ベクトル量子化（vector quantization）と呼ばれることもある。
ベクトル量子化の学習では、認識対象のデータが観測される信号空間上に、クラスに対応する代表的なベクトル（これをセントロイドベクトルと呼ぶ）が配置される。
ベクトル量子化の教師なし学習として代表的な手法の一つに、K-平均法（K-means clustering method）がある。K-平均法は、初期状態として、セントロイドベクトルを適当に配置し、学習データとしてのベクトルを、最も距離の近いセントロイドベクトルに割り当て、各セントロイドベクトルに割り当てられた学習データの平均ベクトルによってセントロイドベクトルを更新することを繰り返す学習手法である。
ここで、多数の学習データを蓄積し、そのすべてを用いて学習を行う方法は、バッチ学習（batch learning）と呼ばれ、K-平均法は、バッチ学習に分類される。バッチ学習に対して、学習データを観測するたびに、その学習データを用いて学習を行い、パラメータ（セントロイドベクトルのコンポーネントや、HMMを定義する出力確率密度関数など）を少しずつ更新する学習は、オンライン学習（on-line learning）と呼ばれる。
オンライン学習としては、コホネン(T.Kohonen)の提案したSOM（self-organization map）による学習が有名である。SOMによる学習では、入力層と出力層の結合重みが、オンライン学習により少しずつ更新（修正）されていく。
即ち、SOMにおいて、出力層は、複数のノードを有し、出力層の各ノードには、入力層との結合の度合いを表す結合重みが与えられる。この結合重みをベクトルとした場合、ベクトル量子化における学習を行うことができる。
具体的には、SOMの出力層のノードにおいて、結合重みとしてのベクトルと、学習データとしてのベクトルとの距離が最も近いノードが、勝者ノードとして決定され、その勝者ノードの結合重みとしてのベクトルが、学習データとしてのベクトルに近づくように更新される。さらに、勝者ノードの近傍のノードの結合重みも、学習データに少しだけ近づくように更新される。その結果、学習が進むにつれ、結合重みとしてのベクトルが類似したノードどうしは近くなるように、類似しないノードは遠くなるように、出力層の上に配置されていく。従って、出力層には、あたかも学習データに含まれるパターンに応じた地図が構成されていくことになる。このように、学習が進むにつれて、類似するノード（結合重みとしてのベクトルが類似するノード）どうしが近い位置に学習データに含まれるパターンに応じた地図が構成が構成されていく学習は、自己組織的または自己組織化（self-organization）と呼ばれる。
ここで、上述のような学習の結果として得られる結合重みのベクトルは、信号空間に配置されるセントロイドベクトルと見ることができる。K-平均法では、学習データに最も距離の近いベクトルのみが更新されることから、その更新方法はWTA(winner-take-all)と呼ばれる。一方、SOMによる学習では、学習データに最も距離の近いノード（勝者ノード）の結合重みだけでなく、勝者ノードの近傍のノードの結合重みも更新されるから、その更新方法はSMA(soft-max adaptation)と呼ばれる。WTAで学習を行うと学習結果が局所解に陥りやすいのに対して、SMAで学習を行うと、局所解に陥る問題を改善することができることが知られている。
SMAで学習を行う方法としては、SOM の他に、ニューラルガスアルゴリズム（Neural-Gas algorithm）が有名である。Neural-Gas algorithmでは、SOM で利用される出力層を使わないで、学習データとの距離に基づくランキングによって近傍を定義する。パラメータは、SOMと類似した方法によってオンライン学習される。
なお、上述の学習に関する分類については、例えば、非特許文献１に記載され、ＳＯＭに関しては、例えば、非特許文献２に記載され、Neural-Gas algorithm に関しては、例えば、非特許文献３に記載されている。
ところで、上述のSOM やNeural-Gas algorithmは、いわば静的な信号パターンであるベクトル、つまり一定の長さのデータを対象とした教師なし学習を提供する。従って、音声データのような時系列のデータ（時系列データ）、つまり長さが不定の、いわば動的な信号パターンに対して、SOM やNeural-Gas algorithmを、そのまま適用することはできない。
また、連続するベクトルの系列を連結し、高次元のベクトルを定義することで、時系列データとしての時系列のベクトルを、静的な信号パターンとして扱う方法が提案されているが、この方法も、音声データのように長さが固定されていない（不定の）時系列データに対して、そのまま通用することはできない。
一方、時系列データを自己組織的に学習する方法として、フィードバック回路を付け加えたリカレントニューラルネットワークを用いた方法が提案されている（例えば、特許文献１および２参照）。しかしながら、リカレントニューラルネットワークのパラメータの学習に広く利用されているバックプロパゲーション法は、リカレントニューラルネットワークの規模が大きくなると、計算量が飛躍的に増加し、その結果、学習に要する時間も非常に大になる。このため、１つのリカレントニューラルネットワークを、音声データなどのように、多様なパターン（クラス）が存在する時系列データの、その多様なパターンの学習に用いることは、実際問題として、有効な手段とは言い難い。
また、時系列データのパターン認識、即ち、例えば、音声データの認識（音声認識）で広く利用されている技術の１つに、HMMを用いるHMM法がある（例えば、非特許文献４参照）。
HMMは、状態遷移を有する確率モデルである状態遷移確率モデルの１つであり、上述したように、状態遷移確率と、各状態における出力確率密度関数で定義され、HMM法では、学習すべき時系列データの統計的な特性がHMMによってモデル化される。なお、HMMを定義する出力確率密度関数としては、例えば混合正規分布などが用いられる。また、HMMの学習、即ち、HMMのパラメータ（HMMを定義する状態遷移確率と出力確率密度関数）の推定の方法としては、Baum-Welch 法が広く使われている。
HMM法は、現在実用化されている孤立単語音声認識から大語彙連続音声認識にまで幅広く適用されているが、HMMの学習は、通常、教師あり学習であり、図１で説明したように、正解ラベルの付与された学習データを用いて行われる。即ち、例えば、ある単語を認識するHMMの学習は、その単語に対応する学習データ（その単語の発話によって得られる音声データ）を用いて行われる。
このように、HMMの学習は、通常、教師あり学習であり、正解ラベルの付与されていない学習データが与えられた場合にHMMの学習を行うこと、つまり、HMMの教師なし学習は、非常に難しい問題となる。
例えば、特許文献３では、正解ラベルが付与されていない音声データと、対応する画像データから、音声と画像の相互情報量を最大化するように、かつカテゴリ数が最小となるように、HMMの学習を行う方法が提案されている。しかしながら、この方法では、音声データに対応する画像が与えられないと、HMMの学習を行うことができないため、厳密な意味での教師なし学習とは言い難い。
また、不特定話者の音声データを用いて学習したHMMに対して、正解ラベルの付与されない音声データを用いてHMMのパラメータを適応する、いわゆる話者適応を行う方法がある（例えば、非特許文献５参照）。かかる話者適応は、正解ラベルの付与されない音声データを用いてHMMのパラメータを適応（更新）する点では、HMMの教師なし学習ということができるが、教師あり学習を行ったHMMが存在することが前提条件となるため、やはり、厳密な意味での教師なし学習とは言い難い。
特開平4-156610号公報 特開平6-231106号公報 特開2002-311988号公報 麻生英樹、津田宏治、村田昇、「パターン認識と学習の統計学」、岩波書店 T.コホネン、「自己組織化マップ」、シュプリンガー・フェアラーク東京 T.M. Martinetz, S.G. Berkovich, K.J. Schulten, "Neural-Gas" Network for Vector Quantization and its Application to Time-Series Prediction, IEEE Trans. Neural Networks, VOL. 4, NO. 4, pp558-569, 1999 Laurence Rabiner, Biing-Hwang Juang 共著、「音声認識の基礎（上・下）」、ＮＴＴアドバンステクノロジ株式会社 芳澤伸一, 馬場朗, 松浪加奈子, 米良祐一郎, 山田実一, 鹿野清宏、「充足統計量と話者距離を用いた音韻モデルの教師なし学習」、信学技報、SP2000-89, pp.83-88, 2000
以上のように、従来においては、SOMやNeural-Gas algorithmのような静的なパターンの教師なし学習や、HMMのような動的な時系列データの教師あり学習を実現する方法は提供されていたが、どちらも動的な時系列データの教師なし学習を実現するには不十分であった。また、リカレントニューラルネットワークでは、理論上は、動的な時系列データの教師なし学習を行うことが可能であるが、実用上は、大規模なリカレントニューラルネットワークが必要になるため、学習に要する計算量や時間に問題があった。
本発明は、このような状況に鑑みてなされたものであり、時系列データの教師なし学習、さらには、その学習結果を用いた時系列データの認識や生成を、容易に行うことができるようにするものである。
本発明の第１の学習装置は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、時系列データの観測値に基づいて、自己組織的に更新する学習手段を備えることを特徴とする。
本発明の第１の学習方法は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、時系列データの観測値に基づいて、自己組織的に更新する学習ステップを含むことを特徴とする。
本発明の第１のプログラムは、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、時系列データの観測値に基づいて、自己組織的に更新する学習ステップを含むことを特徴とする。
本発明の認識装置は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定手段と、勝者ノードを表す情報を、時系列データの観測値の認識結果として出力する出力手段とを備えることを特徴とする。
本発明の認識方法は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、勝者ノードを表す情報を、時系列データの観測値の認識結果として出力する出力ステップとを含むことを特徴とする。
本発明の第２のプログラムは、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、勝者ノードを表す情報を、時系列データの観測値の認識結果として出力する出力ステップとを含むことを特徴とする。
本発明の第１の生成装置は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定手段と、ノード決定手段において決定されたノードが有する時系列パターンモデルに基づいて、時系列データを生成する生成手段とを備えることを特徴とする。
本発明の第１の生成方法は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定ステップと、ノード決定ステップにおいて決定されたノードが有する時系列パターンモデルに基づいて、時系列データを生成する生成ステップとを含むことを特徴とする。
本発明の第３のプログラムは、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定ステップと、ノード決定ステップにおいて決定されたノードが有する時系列パターンモデルに基づいて、時系列データを生成する生成ステップとを含むことを特徴とする。
本発明の第２の学習装置は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークを、所定の制御対象に入力される時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、第２の時系列パターン記憶ネットワークを、所定の制御対象が入力データに対して出力する時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習手段と、第１の時系列パターン記憶ネットワークのノードのうちの、入力データの観測値に適合するノードである第１のノードと、第２の時系列パターン記憶ネットワークのノードのうちの、入力データに対応する出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新手段とを備えることを特徴とする。
本発明の第２の学習方法は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークを、所定の制御対象に入力される時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、第２の時系列パターン記憶ネットワークを、所定の制御対象が入力データに対して出力する時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習ステップと、第１の時系列パターン記憶ネットワークのノードのうちの、入力データの観測値に適合するノードである第１のノードと、第２の時系列パターン記憶ネットワークのノードのうちの、入力データに対応する出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新ステップとを含むことを特徴とする。
本発明の第４のプログラムは、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークを、所定の制御対象に入力される時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、第２の時系列パターン記憶ネットワークを、所定の制御対象が入力データに対して出力する時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習ステップと、第１の時系列パターン記憶ネットワークのノードのうちの、入力データの観測値に適合するノードである第１のノードと、第２の時系列パターン記憶ネットワークのノードのうちの、入力データに対応する出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新ステップとを含むことを特徴とする。
本発明の第２の生成装置は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークにおいて、時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定手段と、第２の時系列パターン記憶ネットワークにおいて、勝者ノードとの結合の度合いが強いノードを、他の時系列データを生成する生成ノードとして決定する生成ノード決定手段と、生成ノードが有する時系列パターンモデルに基づいて、他の時系列データを生成する生成手段とを備えることを特徴とする。
本発明の第２の生成方法は、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークにおいて、時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、第２の時系列パターン記憶ネットワークにおいて、勝者ノードとの結合の度合いが強いノードを、他の時系列データを生成する生成ノードとして決定する生成ノード決定ステップと、生成ノードが有する時系列パターンモデルに基づいて、他の時系列データを生成する生成ステップとを含むことを特徴とする。
本発明の第５のプログラムは、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークにおいて、時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、第２の時系列パターン記憶ネットワークにおいて、勝者ノードとの結合の度合いが強いノードを、他の時系列データを生成する生成ノードとして決定する生成ノード決定ステップと、生成ノードが有する時系列パターンモデルに基づいて、他の時系列データを生成する生成ステップとを含むことを特徴とする。
本発明の第１の学習装置、第１の学習方法、および第１のプログラムにおいては、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークが、時系列データの観測値に基づいて、自己組織的に更新される。
本発明の認識装置、認識方法、および第２のプログラムにおいては、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、時系列データの観測値に最も適合するノードである勝者ノードが決定され、その勝者ノードを表す情報が、時系列データの観測値の認識結果として出力される。
本発明の第１の生成装置、第１の生成方法、および第３のプログラムにおいては、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードが決定され、そのノードが有する時系列パターンモデルに基づいて、時系列データが生成される。
本発明の第２の学習装置、第２の学習方法、および第４のプログラムにおいては、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークが、所定の制御対象に入力される時系列データとしての入力データの観測値に基づいて、自己組織的に更新されるとともに、第２の時系列パターン記憶ネットワークが、所定の制御対象が入力データに対して出力する時系列データとしての出力データの観測値に基づいて、自己組織的に更新される。そして、第１の時系列パターン記憶ネットワークのノードのうちの、入力データの観測値に適合するノードである第１のノードと、第２の時系列パターン記憶ネットワークのノードのうちの、入力データに対応する出力データの観測値に適合するノードである第２のノードとの結合関係が更新される。
本発明の第２の生成装置、第２の生成方法、および第５のプログラムにおいては、時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける第１の時系列パターン記憶ネットワークにおいて、時系列データに最も適合するノードである勝者ノードが決定される。そして、第２の時系列パターン記憶ネットワークにおいて、勝者ノードとの結合の度合いが強いノードが、他の時系列データを生成する生成ノードとして決定され、その生成ノードが有する時系列パターンモデルに基づいて、他の時系列データが生成される。
本発明によれば、時系列データの教師なし学習、さらには、その学習結果を用いた時系列データの認識や生成を、容易に行うことができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の学習装置は、
時系列のデータである時系列データに基づき、学習を行う学習装置（例えば、図２のデータ処理装置）において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、前記時系列データの観測値に基づいて、自己組織的に更新する学習手段（例えば、図２の学習部４）を備える
ことを特徴とする。
請求項４に記載の学習装置は、
前記学習手段は、
前記時系列パターン記憶ネットワークを構成する複数のノードのうちの、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定手段（例えば、図８の勝者ノード決定部４２）と、
前記勝者ノードが有する前記時系列パターンモデルを、前記時系列データの観測値に基づいて更新するモデル更新手段（例えば、図８のモデル学習部４５）と
を有する
ことを特徴とする。
請求項６に記載の学習装置は、
前記学習手段は、前記ノードが有する前記時系列パターンモデルの更新によって、その時系列パターンモデルが受ける前記時系列データの観測値の影響の度合いを表す重みを、前記ノードに対して決定する重み決定手段（例えば、図８の重み決定部４３）をさらに有し、
前記モデル更新手段は、前記勝者ノードが有する前記時系列パターンモデルと、前記勝者ノード以外のノードが有する前記時系列パターンモデルとを、前記時系列データの観測値、および前記重みに基づいて更新する
ことを特徴とする。
請求項１１に記載の学習装置は、
前記ノードが有する前記時系列パターンモデルの学習に用いられる学習データを記憶する学習データ記憶手段（例えば、図４の学習データ記憶部２２）をさらに備え、
前記学習手段は、前記学習データ記憶手段に既に記憶されている前記学習データと、前記時系列データの観測値とを混合し、その混合結果を新たな学習データとして、前記学習データ記憶手段の記憶内容を更新する学習データ更新手段（例えば、図８の学習データ更新部４４）をさらに有し、
前記モデル更新手段は、前記新たな学習データを用いて、前記ノードが有する前記時系列パターンモデルの学習を行うことにより、その時系列パターンモデルを更新する
ことを特徴とする。
請求項１２に記載の学習装置は、
前記学習手段は、前記ノードが有する前記時系列パターンモデルの更新によって、その時系列パターンモデルが受ける前記時系列データの観測値の影響の度合いを表す重みを、前記ノードに対して決定する重み決定手段（例えば、図８の重み決定部４３）をさらに有し、
前記学習データ更新手段は、前記ノードについての前記学習データ記憶手段に既に記憶されている前記学習データと、前記時系列データの観測値とを、前記ノードに対する重みにしたがって混合し、その混合結果を新たな学習データとして、前記学習データ記憶手段の記憶内容を更新する
ことを特徴とする。
請求項１４に記載の学習方法は、
時系列のデータである時系列データに基づき、学習を行う学習方法において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、前記時系列データの観測値に基づいて、自己組織的に更新する学習ステップ（例えば、図１１のステップＳ３乃至Ｓ７）を含む
ことを特徴とする。
請求項１５に記載のプログラムは、
時系列のデータである時系列データに基づく学習を、コンピュータに行わせるプログラムにおいて、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、前記時系列データの観測値に基づいて、自己組織的に更新する学習ステップ（例えば、図１１のステップＳ３乃至Ｓ７）を含む
ことを特徴とする。
請求項１６に記載の認識装置は、
時系列のデータである時系列データの観測値を認識する認識装置（例えば、図２のデータ処理装置）において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定手段（例えば、図１３の勝者ノード決定部５２）と、
前記勝者ノードを表す情報を、前記時系列データの観測値の認識結果として出力する出力手段（例えば、図１３の出力部５３）と
を備えることを特徴とする。
請求項１９に記載の認識方法は、
時系列のデータである時系列データの観測値を認識する認識方法において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップ（例えば、図１４のステップＳ２３）と、
前記勝者ノードを表す情報を、前記時系列データの観測値の認識結果として出力する出力ステップ（例えば、図１４のステップＳ２４）と
を含むことを特徴とする。
請求項２０に記載のプログラムは、
時系列のデータである時系列データの観測値を認識する処理を、コンピュータに行わせるプログラムにおいて、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップ（例えば、図１４のステップＳ２３）と、
前記勝者ノードを表す情報を、前記時系列データの観測値の認識結果として出力する出力ステップ（例えば、図１４のステップＳ２４）と
を含むことを特徴とする。
請求項２１に記載の生成装置は、
時系列のデータである時系列データを生成する生成装置（例えば、図２のデータ処理装置）において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定手段（例えば、図１５の生成ノード決定部６１）と、
前記ノード決定手段において決定されたノードが有する前記時系列パターンモデルに基づいて、前記時系列データを生成する生成手段（例えば、図１５の時系列生成部６２）と
を備えることを特徴とする。
請求項２４に記載の生成方法は、
時系列のデータである時系列データを生成する生成方法において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定ステップ（例えば、図１６のステップＳ３２）と、
前記ノード決定ステップにおいて決定されたノードが有する前記時系列パターンモデルに基づいて、前記時系列データを生成する生成ステップ（例えば、図１６のステップＳ３３）と
を含むことを特徴とする。
請求項２５に記載のプログラムは、
時系列のデータである時系列データを生成する処理を、コンピュータに行わせるプログラムにおいて、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定ステップ（例えば、図１６のステップＳ３２）と、
前記ノード決定ステップにおいて決定されたノードが有する前記時系列パターンモデルに基づいて、前記時系列データを生成する生成ステップ（例えば、図１６のステップＳ３３）と
を含むことを特徴とする。
請求項２６に記載の学習装置は、
時系列のデータである時系列データに基づき、学習を行う学習装置において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetinまたは時系列パターン記憶ネットワークnetout）を、所定の制御対象に入力される前記時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、前記第２の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetoutまたは時系列パターン記憶ネットワークnetin）を、前記所定の制御対象が前記入力データに対して出力する前記時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習手段（例えば、図２９の学習処理部２２１）と、
前記第１の時系列パターン記憶ネットワークのノードのうちの、前記入力データの観測値に適合するノードである第１のノードと、前記第２の時系列パターン記憶ネットワークのノードのうちの、前記入力データに対応する前記出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新手段（例えば、図２９の結合重み更新部２２２）と
を備えることを特徴とする。
請求項２７に記載の学習方法は、
時系列のデータである時系列データに基づき、学習を行う学習方法において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetinまたは時系列パターン記憶ネットワークnetout）を、所定の制御対象に入力される前記時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、前記第２の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetoutまたは時系列パターン記憶ネットワークnetin）を、前記所定の制御対象が前記入力データに対して出力する前記時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習ステップ（例えば、図３０のステップＳ１０２およびＳ１０３）と、
前記第１の時系列パターン記憶ネットワークのノードのうちの、前記入力データの観測値に適合するノードである第１のノードと、前記第２の時系列パターン記憶ネットワークのノードのうちの、前記入力データに対応する前記出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新ステップ（例えば、図３０のステップＳ１０４）と
を含むことを特徴とする。
請求項２８に記載のプログラムは、
時系列のデータである時系列データに基づく学習を、コンピュータに行わせるプログラムにおいて、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetinまたは時系列パターン記憶ネットワークnetout）を、所定の制御対象に入力される前記時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、前記第２の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetoutまたは時系列パターン記憶ネットワークnetin）を、前記所定の制御対象が前記入力データに対して出力する前記時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習ステップ（例えば、図３０のステップＳ１０２およびＳ１０３）と、
前記第１の時系列パターン記憶ネットワークのノードのうちの、前記入力データの観測値に適合するノードである第１のノードと、前記第２の時系列パターン記憶ネットワークのノードのうちの、前記入力データに対応する前記出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新ステップ（例えば、図３０のステップＳ１０４）と
を含むことを特徴とする。
請求項２９に記載の生成装置は、
時系列のデータである時系列データに対して、他の時系列データを生成する生成装置（例えば、図２９のデータ処理装置）において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetinまたは時系列パターン記憶ネットワークnetout）において、前記時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定手段（例えば、図２９の勝者ノード決定部２３２）と、
前記第２の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetoutまたは時系列パターン記憶ネットワークnetin）において、前記勝者ノードとの結合の度合いが強いノードを、前記他の時系列データを生成する生成ノードとして決定する生成ノード決定手段（例えば、図２９の生成ノード決定部２３３）と、
前記生成ノードが有する前記時系列パターンモデルに基づいて、前記他の時系列データを生成する生成手段（例えば、図２９の時系列生成部２３４）と
を備えることを特徴とする。
請求項３０に記載の生成方法は、
時系列のデータである時系列データに対して、他の時系列データを生成する生成方法において、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetinまたは時系列パターン記憶ネットワークnetout）において、前記時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定ステップ（例えば、図３１のステップＳ１１３）と、
前記第２の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetoutまたは時系列パターン記憶ネットワークnetin）において、前記勝者ノードとの結合の度合いが強いノードを、前記他の時系列データを生成する生成ノードとして決定する生成ノード決定ステップ（例えば、図３１のステップＳ１１４）と、
前記生成ノードが有する前記時系列パターンモデルに基づいて、前記他の時系列データを生成する生成ステップ（例えば、図３１のステップＳ１１５）と
を含むことを特徴とする。
請求項３１に記載のプログラムは、
時系列のデータである時系列データに対して、他の時系列データを生成する処理を、コンピュータに行わせるプログラムにおいて、
前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetinまたは時系列パターン記憶ネットワークnetout）において、前記時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定ステップ（例えば、図３１のステップＳ１１３）と、
前記第２の時系列パターン記憶ネットワーク（例えば、図２８の時系列パターン記憶ネットワークnetoutまたは時系列パターン記憶ネットワークnetin）において、前記勝者ノードとの結合の度合いが強いノードを、前記他の時系列データを生成する生成ノードとして決定する生成ノード決定ステップ（例えば、図３１のステップＳ１１４）と、
前記生成ノードが有する前記時系列パターンモデルに基づいて、前記他の時系列データを生成する生成ステップ（例えば、図３１のステップＳ１１５）と
を含むことを特徴とする。
以下、図面を参照して、本発明の実施の形態について説明する。
図２は、本発明を適用したデータ処理装置の第１実施の形態の構成例を示すブロック図である。
信号入力部１には、後述する学習処理や認識処理の対象となるデータ（以下、処理対象データという）が入力される。ここで、処理対象データは、例えば、音や画像、LED(Light Emitting Diode)の明るさ、モータの回転角度や回転角速度などの観測値（外部から観測することができる値（信号））である。また、処理対象データは、例えば、図２のデータ処理装置が適用されるシステムの入力を受け付ける入力デバイス（センサ）が出力するデータ（入力データ）であっても良いし、何らかの出力を行う出力デバイスに対して与えられるデータ（出力データ）であっても良い。
即ち、図２のデータ処理装置が、例えば、２足歩行ロボットその他のロボットに適用され、その２足歩行ロボットが、外部の状況に応じて、何らかの処理を行う場合には、信号入力部１は、外部の状況をセンシングするセンサで構成することができる。具体的には、信号入力部１は、例えば、マイク（マイクロフォン）やカメラなどで構成することができる。
信号入力部１がマイクで構成される場合には、そのマイクに対して、外部で発生する音声（人間の音声の他、動物の鳴き声、物音、その他のあらゆる音を含む）が、２足歩行ロボット（データ処理装置が適用されているシステム）に対する入力データとして入力され、対応する音声データが、特徴抽出部２に供給される。また、信号入力部１がカメラで構成される場合には、そのカメラに対して、外部からの光が、２足歩行ロボットに対する入力データとして入力され、対応する画像データが、特徴抽出部２に供給される。
また、２足歩行ロボットが、例えば、手や足に相当する部分を、アクチュエータとしてのモータによって動かすことができる場合には、信号入力部１は、そのモータの回転角度や回転速度を計測する計測装置（回転角度や回転速度をセンシングするセンサ）で構成することができる。なお、２足歩行ロボットの手や足に相当する部分を動かすモータは、そのモータを回転駆動させる電気信号としての駆動信号を与える他、手や足に相当する部分に外部から力を加えて動かすことによっても回転するが、計測装置では、そのいずれの回転によって生じた回転角度や回転速度であっても計測することができる。
信号入力部１が計測装置で構成される場合には、その計測装置に対して、モータの回転角度や回転速度を表す信号が、２足歩行ロボットからの出力データとして入力されて計測され、その計測結果が、特徴抽出部２に供給される。
なお、信号入力部１に入力される処理対象データは、時間的な変化が一定の定常的なデータ（定常信号）であっても良いし、時間的な変化が一定でない非定常なデータ（非定常信号）であっても良い。
また、以下では、信号入力部１に対しては、例えば、時系列データの１つである音声が入力されるものとする。さらに、信号入力部１から特徴抽出部２に対しては、いわゆる音声区間の音声データだけが供給されるものとする。なお、音声区間の検出方法は、特に限定されるものではない。また、信号入力部１から特徴抽出部２に対して供給される音声データは、必ずしも、音声区間の長さである必要はなく、適切な長さに区切られていればよい。即ち、信号入力部１から特徴抽出部２に対して供給される音声データは、例えば、音素や音韻の単位であっても良いし、単語や文、ある句読点から次の句読点までであっても良い。
ここで、信号入力部１から特徴抽出部２に対して供給される処理対象データは、音声データに限定されるものではなく、その区間も、特に限定されるものではない。即ち、信号入力部１から特徴抽出部２に対しては、最も良い方法で適当な長さに区切られた処理対象データが供給されれば良い。なお、信号入力部１から特徴抽出部２に対して供給される処理対象データ（の区間）は、一定であっても良いし、一定でなくても良い。
特徴抽出部２は、信号入力部１からの処理対象データとしての時系列データである音声データから特徴量を抽出し、その結果得られる時系列データである時系列の特徴量を、認識部３と学習部４に供給する。即ち、特徴抽出部２は、信号入力部１からの音声データに対して一定時間間隔で周波数分析などの処理を施し、例えば、メルケプストラム（MFCC（Mel Frequency Cepstrum Coefficient））などの特徴量を抽出して、そのメルケプストラムの時系列データを、認識部３と学習部４に供給する。なお、特徴抽出部２から認識部３と学習部４に供給される時系列データも、外部から観測することができる観測値である。
認識部３は、記憶部５に記憶された、後述する時系列パターン記憶ネットワークに基づき、特徴抽出部２から供給される時系列データを認識し、その認識結果を出力する。
ここで、学習部４は、記憶部５に記憶された時系列パターン記憶ネットワークを、特徴抽出部２から供給される時系列データ（の観測値）に基づいて、自己組織的に更新する。即ち、学習部４は、特徴抽出部２から供給される時系列データに基づいて、記憶部５に記憶された時系列パターン記憶ネットワークのパラメータを更新する。なお、このパラメータの更新のことを学習と呼ぶ場合がある。
学習部４では、正解ラベルの付与されていない時系列データを繰り返し与えると、その与えられた時系列データの中の特徴的なパターン（時系列パターン）を自己組織的に獲得していく教師なし学習が実行される。その結果、記憶部５の時系列パターン記憶ネットワークには、代表的な時系列パターンが効率的に記憶される。即ち、特徴抽出部２が認識部３と学習部４に供給する時系列データは、幾つかのパターン（時系列パターン）に分類することができ、学習部４では、時系列パターン記憶ネットワークに、時系列データの代表的な時系列パターンを記憶させるための学習が行われる。
記憶部５は、時系列パターン記憶ネットワークを記憶しており、この時系列パターン記憶ネットワーク（のパラメータ）は、学習部４によって適宜更新される。
生成部６には、制御データが供給される。生成部６に供給される制御データは、記憶部５の時系列パターン記憶ネットワークが記憶している時系列パターンのうちのいずれかを表すもの（後述するノードラベル）で、生成部６は、記憶部５の時系列パターン記憶ネットワークに基づき、そこに供給される制御データが表す時系列パターンの時系列データを生成して出力する。
次に、図３は、図２の記憶部５に記憶される時系列パターン記憶ネットワークの例を模式的に示している。
時系列パターン記憶ネットワークは、時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークで、そのネットワーク全体で、ノードの数だけの（クラス分けを行う）時系列パターンを記憶する。
図３においては、時系列パターン記憶ネットワークは、ノードN1乃至N6の６つのノードから構成されている。
時系列パターン記憶ネットワークを構成する各ノードNi（図３では、ｉ＝１，２，・・・，６）は、時系列パターンを表現する時系列パターンモデルを有する。また、ノードNiは、他のノードNj（図３では、ｊ＝１，２，・・・，６）と結合関係を持つことができる。この結合関係をリンクと呼ぶ。図３では、例えば、ノードN1は、ノードN2，N3と直接の結合関係を有している。また、例えば、ノードN3は、ノードN1，N2，N5，N6と直接の結合関係を有しており、従って、ノードN5とN6は、ノードN3を介して、ノードN1と間接的な結合関係を有している。なお、２つのノードNiとNjとの結合関係としては、その２つのノードNiとNjとの最短の結合関係を考えるものとする。
時系列パターン記憶ネットワークの学習は、学習部４（図２）において、特徴抽出部２から供給される時系列データを、学習用の学習データとして行われるが、この学習データは、カテゴリの種類や、カテゴリの数が未知のもので、この点、時系列パターン記憶ネットワークの学習は、前述の図１で説明した教師あり学習と大きく異なる。また、時系列パターン記憶ネットワークの学習に用いられる学習データには、正解ラベルは付与されていない。このため、時系列パターン記憶ネットワークの学習には、前述の図１で説明した教師あり学習を適用することはできない。
このように、時系列パターン記憶ネットワークの学習には、教師あり学習を適用することができず、また、学習データは、そのカテゴリの種類も、カテゴリの数も未知である。そこで、時系列パターン記憶ネットワークの学習は、その全体（のノード）によって、学習データの特徴（時系列パターン）を適切に表現することができるように、自己組織的に行われる。
なお、時系列パターン記憶ネットワークの学習は、教師なし学習である。また、時系列パターン記憶ネットワークの学習は、ある１つのノードが、必ずしもある１つのカテゴリに対応するように行われるとは限らない。即ち、時系列パターン記憶ネットワークにおいては、１つのノードが１つのカテゴリに対応するように学習が行われる場合もあるし、複数のノードが１つのカテゴリに対応するように学習が行われる場合もある。さらに、１つのノードが複数のカテゴリに対応するように学習が行われる場合もある。従って、仮に、学習データが、明確にカテゴリ分けすることができないものであっても、時系列パターン記憶ネットワークによる学習は行うことができる。
次に、図４は、時系列パターン記憶ネットワークのノードNiの構成例を模式的に示している。
ノードNiは、時系列パターンを表現する時系列パターンモデル２１と、その時系列パターンモデル２１の学習に用いる学習データを記憶する学習データ記憶部２２とから構成される。
ここで、図４では、時系列パターンモデル２１として、状態確率遷移モデルの１つであるHMM（連続HMM）が採用されている。また、図４では、HMMは、自己ループと次状態（右隣の状態）への状態遷移だけを有するleft-to-right型の３状態S1，S2，S3を有するものとなっている。図４の時系列パターンモデル２１における○印は状態を表し、矢印は状態遷移を表している。なお、時系列パターンモデル２１としてのHMMは、left-to-right型や、３状態のもの等に限定されない。
時系列パターンモデル２１が、図４に示したようなHMMである場合、その時系列パターンモデル２１としてのHMMは、状態遷移確率と出力確率密度関数（HMMが離散HMMである場合には、スカラ量である離散的なシンボルが出力される確率）とで定義される。
状態遷移確率は、HMMにおいて、状態が遷移する確率で、図４の時系列パターンモデル２１における矢印で示した状態遷移それぞれに対して与えられる。出力確率密度関数は、状態遷移時に、HMMから観測される値の確率密度を表す。出力確率密度関数としては、例えば、混合正規分布などが採用される。これらのHMMのパラメータ（状態遷移確率と出力確率密度関数）は、例えば、Baum-Welch 法によって学習（推定）することができる。
ノードNiでは、学習データ記憶部２２に記憶された学習データの統計的な特性、即ち、学習データ記憶部２２に記憶された学習データの時系列パターンが、時系列パターンモデル２１において学習され、これにより、時系列パターンモデル２１と、学習データ記憶部２２に記憶された学習データとが、対応関係を持つことになる。
なお、時系列パターン記憶ネットワークの学習、ひいては、ノードNiの時系列パターンモデル２１の学習は、例えば、特徴抽出部２から学習部４に対して、（１区間の）時系列データが供給されるごとに学習を行うオンライン学習によって行われる。従って、時系列パターン記憶ネットワークのパラメータ、つまり、ノードNiの時系列パターンモデル２１のパラメータ（時系列パターンモデル２１がHMMである場合には、上述したように、状態遷移確率と出力確率密度関数）は、（１区間）の処理対象データが信号入力部１から特徴抽出部２に供給されるたびに、少しずつ更新される。
即ち、後述するように、時系列パターン記憶ネットワークの学習が進むにつれ、学習データ記憶部２２に記憶される学習データは、新たな時系列データ（新たな処理対象データが信号入力部１から特徴抽出部２に供給されることによって、特徴抽出部２から学習部４に供給される、その新たな処理対象データに対応する時系列の特徴量である新たな時系列データ）によって更新され、これにより、少しずつ変化する。そして、その少しずつ変化する学習データによって、時系列パターンモデル２１の学習が行われることにより、その時系列パターンモデル２１のパラメータも、少しずつ変化していく。
次に、図５は、図２の記憶部５に記憶される時系列パターン記憶ネットワークの他の例を模式的に示している。
図５では、時系列パターン記憶ネットワークは、９個のノードN1乃至N9で構成されており、この９個のノードN1乃至N9は、２次元的に配置されている。即ち、図５では、９個のノードN1乃至N9は、２次元平面上に、横×縦が３×３となるように配置されている。
さらに、図５では、２次元的に配置された９個のノードN1乃至N9の、横方向に隣接するノードどうしと、縦方向に隣接するノードどうしに対して、リンク（結合関係）が与えられている。なお、このようなリンクを与えることによって、時系列パターン記憶ネットワークを構成するノードには、空間的に、２次元的に配置される配置構造が与えられているということもできる。
時系列パターン記憶ネットワークでは、リンクによって与えられる空間的なノードの配置構造に基づき、その空間上でのある２つのノードどうしの距離を定義することができ、この２つのノードどうしの距離は、その２つのノードそれぞれが有する時系列パターンモデル２１が表現する時系列パターンのパターン間距離（時系列パターンどうしの類似性）として用いることができる。
なお、２つのノードどうしの距離によって表される時系列パターンのパターン間距離は、２つのノードの結合関係（リンク）に基づくパターン間距離ということができる。
２つのノードどうしの距離としては、例えば、その２つのノードどうしを結ぶ最短のパスを構成するリンクの数を採用することができる。この場合、あるノードに注目すると、その注目ノードとの直接のリンクを有するノード（図５では、注目ノードの横方向や縦方向に隣接するノード）は、注目ノードとの距離が最も近く、注目ノードとの直接のリンクを有するノードから先のリンクを辿っていくことで到達することができるノードは、到達するのに辿るリンクの数が多いほど、注目ノードとの距離が遠くなっていく。
なお、ノードに与えるリンクは、図３や図５に示したものに限定されるものではない。また、図３や図５に示したリンクは、ノードに対して、２次元的な配置構造を与えるが、リンクは、その他、１次元的な配置構造や３次元的な配置構造等を与えるリンクであっても良い。さらに、ノードには、必ずしもリンクを与える必要はない。
即ち、図６は、図２の記憶部５に記憶される時系列パターン記憶ネットワークのさらに他の例を模式的に示している。
図６では、時系列パターン記憶ネットワークは、図３における場合と同様に、６個のノードN1乃至N6で構成されているが、これらの６個のノードN1乃至N6は、いずれもリンクを有していない。従って、図６の時系列パターン記憶ネットワークを構成するノードN1乃至N6は、リンクによって与えられる空間的な配置構造は有していない。なお、空間的な配置構造は有していないということは、空間的な制約がない配置構造が与えられているということもできる。
ここで、ある２つのノードにリンクがない場合には、空間上でのその２つのノードどうしの距離を定義することはできないから、その２つのノードそれぞれが（有する時系列パターンモデル２１が）表現する時系列パターンのパターン間距離として、結合関係（リンク）に基づくパターン間距離は用いることができない。そこで、この場合には、例えば、ノードが、ある時系列データ（の観測値）に適合する度合いに基づく順位（以下、適宜、適合順位という）に対応する値を、パターン間距離として用いることができる。
即ち、ある時系列データが与えられた場合には、その時系列データに対して、ノードが表現する時系列パターンとの類似性を、そのノードが適合する度合いとして求めることができる。いま、時系列パターン記憶ネットワークを構成するノードのうち、ある時系列データに最も適合するノードを、勝者ノードということとすると、勝者ノードと、時系列パターン記憶ネットワークのあるノードのそれぞれが表現する時系列パターンのパターン間距離としては、そのノードが時系列データに適合する順位（適合順位）に対応する値を採用することができる。
具体的には、時系列パターン記憶ネットワークを構成するノードのうち、勝者ノードとなっているノードの適合順位は第１位であり、このノード（勝者ノード）と勝者ノードとの（それぞれが表現する時系列パターンの）パターン間距離は、例えば、その適合順位から１を減算した０とすることができる。
また、時系列パターン記憶ネットワークを構成するノードのうち、適合順位が第２位のノードと勝者ノードとのパターン間距離は、例えば、その適合順位から１を減算した１とすることができる。以下、同様に、ノードの適合順位から１を減算して得られる値を、そのノードと、勝者ノード（となっているノード）とのパターン間距離とすることができる。
なお、ノードがある時系列データに適合する度合いに基づく順位（適合順位）に対応する値によって表されるパターン間距離は、ノードが時系列データに適合する度合いに基づくパターン間距離ということができる。
次に、図７は、図２の学習部４の構成例を示している。
学習部４は、学習データ記憶部３１と学習処理部３２とから構成される。
学習データ記憶部３１には、特徴抽出部２から、（１区間の）新たな時系列データとしての特徴量の系列が供給される。学習データ記憶部３１は、特徴抽出部２からの新たな時系列データを、一時的に（学習処理部３２による新たな時系列データを用いた処理が終了するまで）記憶する。
学習処理部３２は、記憶部５に記憶された時系列パターン記憶ネットワークを、学習データ記憶部３１に記憶された新たな時系列データ（の観測値）に基づいて、自己組織的に更新する。
次に、図８は、図７の学習処理部３２の構成例を示している。
スコア計算部４１は、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノードについて、そのノードが、学習データ記憶部３１に記憶された時系列データ（の観測値）に適合する度合いをスコアとして求め、勝者ノード決定部４２に供給する。即ち、ノードが有する時系列パターンモデル２１が、例えば、図４に示したようにHMMである場合には、スコア計算部４１は、ノードが有する時系列パターンモデル２１としてのHMMから、学習データ記憶部３１に記憶された時系列データが観測される尤度を求め、そのノードのスコアとして、勝者ノード決定部４２に供給する。
勝者ノード決定部４２は、記憶部５に記憶された時系列パターン記憶ネットワークにおいて、学習データ記憶部３１に記憶された時系列データに最も適合するノードを求め、そのノードを、勝者ノードとして決定する。
即ち、勝者ノード決定部４２は、記憶部５に記憶された時系列パターン記憶ネットワークを構成するノードのうちの、スコア計算部４１からのスコアが最も高いノードを勝者ノードとして決定する。そして、勝者ノード決定部４２は、勝者ノードを表す情報を、重み決定部４３に供給する。
ここで、時系列パターン記憶ネットワークを構成するノードには、各ノードを識別するためのラベルであるノードラベルを付しておき、勝者ノードを表す情報、その他のノード表す情報としては、そのノードラベルを採用することができる。なお、ノードラベルは、ノード自体を識別するラベルであり、正解が何であるかを表す正解ラベルとは、何ら関係がない。
重み決定部４３は、勝者ノード決定部４２から供給されるノードラベルが表す勝者ノードに基づき、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノードについて、後述する更新重みを決定し、学習データ更新部４４に供給する。
即ち、重み決定部４３は、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノード（勝者ノードを含む）の更新重みを、そのノードと、勝者ノードとのパターン間距離に基づいて決定し、学習データ更新部４４に供給する。
ここで、ノードが有する時系列パターンモデル２１（図４）は、学習データ記憶部３１（図７）に記憶された新たな時系列データを用いて更新されるが、ノードの更新重みとは、そのノードが有する時系列パターンモデル２１の更新によって、その時系列パターンモデル２１が受ける新たな時系列データの影響の度合いを表す。従って、ノードの更新重みが０であれば、そのノードが有する時系列パターンモデル２１は、新たな時系列データの影響を受けない（更新されない）。
なお、重み決定部４３において、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノードの更新重みを決定する際のパターン間距離としては、時系列パターン記憶ネットワークのノードが、図３や図５に示したように、リンクを有する場合には、そのノードと勝者ノードとの結合関係に基づくパターン間距離を採用し、また、時系列パターン記憶ネットワークのノードが、図６に示したように、リンクを有しない場合には、そのノードが、学習データ記憶部３１（図７）に記憶された新たな時系列データに適合する度合いに基づくパターン間距離を採用することができる。
即ち、重み決定部４３は、記憶部５に記憶された時系列パターン記憶ネットワークを参照し、時系列パターン記憶ネットワークのノードそれぞれと、勝者ノード決定部４２からのノードラベルが表す勝者ノードとの結合関係に基づくパターン間距離を求め、そのパターン間距離に基づいて、時系列パターン記憶ネットワークのノードそれぞれの更新重みを決定する。
あるいは、重み決定部４３は、記憶部５に記憶された時系列パターン記憶ネットワークを参照し、時系列パターン記憶ネットワークのノードそれぞれについて、ノードが、学習データ記憶部３１に記憶された新たな時系列データに適合する度合いとして、例えば、スコア計算部４１が求めるのと同様のスコアを求める。さらに、重み決定部４３は、時系列パターン記憶ネットワークのノードそれぞれについて、ノードのスコアに基づく順位（適合順位）に対応する値を、新たな時系列データに適合する度合いに基づくパターン間距離として求め、そのパターン間距離に基づいて、時系列パターン記憶ネットワークのノードそれぞれの更新重みを決定する。
なお、ノードのスコアは、重み決定部４３で求めても良いが、スコア計算部４１から重み決定部４３に供給するようにしても良い。
学習データ更新部４４は、記憶部５に記憶された時系列パターン記憶ネットワークの各ノードが有する学習データ記憶部２２（図４）に記憶された学習データを更新する。
即ち、学習データ更新部４４は、ノードが有する学習データ記憶部２２に既に記憶されている学習データと、学習データ記憶部３１に記憶された時系列データとを、重み決定部４３からの、対応するノードの更新重みにしたがって混合し、その混合結果を、新たな学習データとして、学習データ記憶部２２に記憶させることで、その学習データ記憶部２２の記憶内容を更新する。
学習データ更新部４４は、以上のように、学習データ記憶部２２（図４）に記憶された学習データを、更新重みにしたがって更新すると、その更新が終了した旨の終了通知を、モデル学習部４５に供給する。
モデル学習部４５は、学習データ更新部４４から終了通知を受けると、その学習データ更新部４４による更新後の学習データ記憶部２２（図４）に記憶された学習データを用いて、時系列パターンに記憶ネットワークの各ノードが有する時系列パターンモデル２１の学習を行うことにより、その時系列パターンモデル２１を更新する。
従って、モデル学習部４５による、ノードが有する時系列パターンモデル２１の更新は、そのノードが有する学習データ記憶部２２（図４）に記憶されていた学習データ（の一部）と、学習データ記憶部３１に記憶された新たな時系列データとに基づいて行われる。なお、学習データ記憶部２２の記憶内容は、更新重みにしたがって更新されるから、モデル学習部４５による、時系列パターンモデル２１の更新は、更新重みに基づいて行われるということもできる。
次に、図９は、図８の重み決定部４３において更新重みを決定する決定方法を示している。
重み決定部４３は、例えば、図９に示すような、勝者ノードとのパターン間距離dの増加に対して更新重みαが減少する関係を表す曲線（以下、距離／重み曲線という）にしたがって、ノードに対する更新重み（ノードの更新重み）を決定する。距離／重み曲線によれば、勝者ノードとのパターン間距離dが近いノードほど、大きな更新重みαが決定され、パターン間距離dが遠いノードほど、小さな更新重みαが決定される。
図９の距離／重み曲線において、横軸（左から右方向）は、更新重みαを示しており、縦軸（上から下方向）は、パターン間距離dを示している。
図９では、パターン間距離dとして、例えば、ノードとの結合関係に基づくパターン間距離、即ち、勝者ノードからの距離が採用されており、縦軸に沿って、時系列パターン記憶ネットワークを構成する６つのノードN1乃至N6が、各ノードNiと勝者ノードとの距離に対応する位置（縦軸の位置）に記載されている。
図９では、時系列パターン記憶ネットワークを構成する６つのノードN1乃至N6が、その順で、勝者ノードとの距離が近くなっている。時系列パターン記憶ネットワークを構成する６つのノードN1乃至N6のうち、勝者ノードとの距離が最も近いノード、即ち、勝者ノードとの距離が０のノードであるノードN1は、勝者ノード（となっているノード）である。
ここで、時系列パターン記憶ネットワークが、例えば、図５に示したような２次元的な配置構造を有し、勝者ノードが、例えば、ノードN6であった場合には、勝者ノードN6とノードN6との距離は最も（１番）近い０であり、ノードN6と勝者ノードN6とのパターン間距離dも０となる。また、勝者ノードN6と、ノードN3，N5、またはN9それぞれとの距離は２番目に近い１であり、ノードN3，N5、またはN9それぞれと勝者ノードN6とのパターン間距離dも１となる。さらに、勝者ノードN6と、ノードN2，N4、またはN8それぞれとの距離は３番目に近い２であり、ノードN2，N4、またはN8それぞれと勝者ノードN6とのパターン間距離dも２となる。また、勝者ノードN6と、ノードN1またはN7それぞれとの距離は最も遠い（４番目に近い）３であり、ノードN1またはN7それぞれと勝者ノードN6とのパターン間距離dも３となる。
一方、ノードがリンクを有しない、例えば、図６に示した時系列パターン記憶ネットワークについては、ノードが新たな時系列データに適合する度合いに基づくパターン間距離、即ち、ノードが新たな時系列データに適合する度合いに基づく順位（適合順位）に対応する値が、そのノードと勝者ノードとのパターン間距離dとして求められる。即ち、この場合、スコアが最も高い（一番目に高い）ノード（勝者ノード）と勝者ノードとのパターン間距離dは０とされ、スコアが２番目に高いノードと勝者ノードとのパターン間距離dは１とされる。以下、同様に、スコアがk番目に高いノードと勝者ノードとのパターン間距離dはk-1とされる。
なお、以上のような、時系列パターン記憶ネットワークの各ノードと勝者ノードとのパターン間距離dの与え方は、SOMやNeural-Gas algorithmで利用されている距離の与え方と同様の方法である。
次に、更新重みαとパターン間距離dとの関係を表す、例えば、図９に示したような距離／重み曲線は、例えば、式（１）によって与えられる。
Figure 2006162898
 ・・・（１）
ここで、式（１）において、定数Gは、勝者ノードの更新重みを表す定数であり、γは、減衰係数で、０＜γ＜１の範囲の定数である。また、変数Δは、時系列パターン記憶ネットワークを更新する更新方法として、前述したSMAを採用した場合の、勝者ノードの近傍のノード（勝者ノードとのパターン間距離dが近いノード）の更新重みαを調整するための変数である。
上述したように、勝者ノードとなっているノードのパターン間距離dとして、０が与えられ、以下、他のノードのパターン間距離dとして、勝者ノードとの距離、または適合順位にしたがって、１，２，・・・が与えられる場合、式（１）において、例えば、G=8，γ=0.5，Δ=1であれば、勝者ノードとなっているノードの更新重みαとして、８(=G)が求められる。以下、勝者ノードとの距離、または適合順位が大になるにしたがって、ノードの更新重みαとしては、４，２，１，・・・と小さくなる値が求められる。
ここで、式（１）における減衰係数Δが大きな値である場合には、パターン間距離dの変化に対する更新重みαの変化は緩やかになり、逆に、減衰係数Δが０に近い値である場合には、パターン間距離dの変化に対する更新重みαの変化は急峻になる。
従って、減衰係数Δを、例えば、上述した１から少しずつ０に近づけていくように調整すると、パターン間距離dの変化に対する更新重みαの変化は急峻になっていき、更新重みαは、パターン間距離dが大きくなるにしたがって、より小さい値となる。そして、減衰係数Δが０に近くなると、勝者ノード（となっているノード）以外のノードの更新重みαは、ほとんど０となり、この場合、時系列パターン記憶ネットワークを更新する更新方法として、前述したWTAを採用した場合と（ほぼ）等価となる。
このように、減衰係数Δを調整することによって、時系列パターン記憶ネットワークを更新する更新方法としてSMAを採用した場合の、勝者ノードの近傍のノードの更新重みαを調整することができる。
減衰係数△は、例えば、時系列パターン記憶ネットワークの更新（学習）の開始時は大きな値にし、時間の経過とともに、即ち、更新の回数が増加するにしたがって小さな値にくなるようにすることができる。この場合、時系列パターン記憶ネットワークの更新の開始時は、パターン間距離dの変化に対する更新重みαの変化が緩やかな距離／重み曲線にしたがって、時系列パターン記憶ネットワークの各ノードの更新重みαが決定され、更新（学習）が進む（進行する）につれ、パターン間距離dの変化に対する更新重みαの変化が急峻になっていく距離／重み曲線にしたがって、時系列パターン記憶ネットワークの各ノードの更新重みαが決定される。
即ち、この場合、勝者ノードの更新は、学習（更新）の進行にかかわらず、学習データ記憶部３１（図８）に記憶された新たな時系列データの影響を強く受けるように行われる。一方、勝者ノード以外のノードの更新は、学習の開始時は、比較的広い範囲のノード（勝者ノードとのパターン間距離dが小のノードから、ある程度大のノード）に亘って、新たな時系列データの影響を受けるように行われる。そして、学習が進行するにつれ、勝者ノード以外のノードの更新は、徐々に狭い範囲のノードについてのみ、新たな時系列データの影響を受けるように行われる。
図８の重み決定部４３は、以上のようにして、時系列パターン記憶ネットワークの各ノードの更新重みαを決定し、学習データ更新部４４では、各ノードが有する学習データ記憶部２２に記憶される学習データが、そのノードの更新重みαに基づいて更新される。
次に、図１０を参照して、ノードが有する学習データ記憶部２２に記憶される学習データを更新する更新方法について説明する。
いま、あるノードNiが有する学習データ記憶部２２には、学習データが既に記憶されており、ノードNiの時系列パターンモデル２１は、学習データ記憶部２２に既に記憶されている学習データを用いて学習が行われたものであるとする。
学習データ更新部４４は、上述したように、ノードNiが有する学習データ記憶部２２に既に記憶されている学習データ（以下、適宜、旧学習データという）と、学習データ記憶部３１（図８）に記憶された新たな時系列データとを、重み決定部４３からのノードNiの更新重みαにしたがって混合し、その混合結果を、新たな学習データとして、学習データ記憶部２２に記憶させることで、その学習データ記憶部２２の記憶内容を、新たな学習データに更新する。
即ち、学習データ更新部４４は、旧学習データに対して、新たな時系列データを追加することで、旧学習データと新たな時系列データとを混合した新たな学習データとするが、旧学習データに対する新たな時系列データの追加（旧学習データと新たな時系列データとの混合）は、ノードNiの更新重みαに対応する比にしたがって行われる。
ここで、新たな時系列データと旧学習データとを、１：０の比率で混合すると、その混合によって得られる新たな学習データは、新たな時系列データだけとなる。逆に、新たな時系列データと旧学習データとを、０：１の比率で混合すると、その混合によって得られる新たな学習データは、旧学習データだけとなる。ノードNiの時系列パターンモデル２１（図４）の更新は、新たな学習データを用いた学習によって行われるため、新たな時系列データと旧学習データとを混合する比率を変えることによって、更新により時系列パターンモデル２１が受ける新たな時系列データの影響の度合い（強さ）を変えることができる。
ノードNiにおいて、新たな時系列データと旧学習データとを混合する比率としては、ノードNiの更新重みαに対応した値が採用され、例えば、更新重みαが大であるほど、新たな時系列データの比率が大となる（旧学習データの比率が小となる）ような値とされる。
具体的には、ノードNiの学習データ記憶部２２には、一定の数の時系列データ（学習データ）が記憶されるものとし、その一定の数をHとする。この場合、ノードNiの時系列パターンモデル２１の学習は、常に、H個の学習データ（時系列データ）を用いて行われる。
学習データ記憶部２２に、常に、一定の数Hの学習データが記憶される場合、新たな時系列データと旧学習データとの混合によって得られる新たな学習データの個数は、H個である必要があり、そのような、新たな時系列データと旧学習データとの混合を、ノードNiの更新重みαに対応した比率で行う方法としては、新たな時系列データと旧学習データとを、比率α:H-αで混合する方法がある。
新たな時系列データと旧学習データとを、比率α:H-αで混合する具体的な方法としては、図１０に示すように、H個の旧学習データのうちのH-α個の旧学習データに対して、α個の新たな時系列データを追加することにより、H個の新たな学習データを得る方法がある。
この場合、学習データ記憶部２２に記憶される時系列データの数Hが、例えば、１００であり、ノードNiの更新重みαが、例えば、８であれば、学習データ記憶部２２の記憶内容は、１００個の旧学習データのうちの９２個の旧学習データに対して、８個の新たな時系列データを追加することによって得られる１００個の新たな学習データに更新される。
H個の旧学習データのうちのH-α個の旧学習データに対する、α個の新たな時系列データの追加は、α個の新たな時系列データが得られるのを待って行う方法があるが、この方法では、１個の新たな時系列データが得られるごとに、学習データ記憶部２２の記憶内容を更新することができない。
そこで、学習データ記憶部２２の記憶内容の更新は、１個の新たな時系列データが得られるごとに、その新たな時系列データをα個だけ、H-α個の旧学習データに追加することにより行うことができる。即ち、１個の新たな時系列データをコピーしてα個の新たな時系列データとし、そのα個の新たな時系列データを、H個の旧学習データから古い順にα個を除外して残ったH-α個の旧学習データに追加することにより、学習データ記憶部２２の記憶内容の更新を行う。これにより、１個の新たな時系列データが得られるごとに、学習データ記憶部２２の記憶内容を更新することができる。
以上のように、学習データ記憶部２２の記憶内容の更新を行うことにより、学習データ記憶部２２には、常に、新しい順のＨ個の時系列データだけが、学習データとして保持されることになり、その学習データに占める新たな時系列データの割合（比率）は、更新重みαによって調整されることになる。
次に、図１１のフローチャートを参照して、図２のデータ処理装置で行われる、時系列パターン記憶ネットワークを学習する学習処理について説明する。
まず最初に、ステップＳ１において、学習部４（図８）の学習処理部３２は、記憶部５に記憶された時系列パターン記憶ネットワークのパラメータ、即ち、時系列パターン記憶ネットワークの各ノードが有する時系列パターンモデル２１（図４）としての、例えばHMMのパラメータを初期化する初期化処理を行う。この初期化処理により、HMMのパラメータ（状態遷移確率と出力確率密度関数）として、適切な初期値が与えられる。なお、初期化処理の詳細については、図１２を参照して後述する。
その後、ステップＳ２において、１個の処理対象データ、即ち、例えば、１の音声区間の音声データが、信号入力部１に入力されると、信号入力部１は、その処理対象データを、特徴抽出部２に供給する。特徴抽出部２は、処理対象データから特徴量を抽出し、その特徴量の時系列データ（１個の新たな時系列データ）を、学習部４に供給する。
学習部４（図７）は、特徴抽出部２からの新たな時系列データを、学習データ記憶部３１に一時記憶させ、以下、ステップＳ３乃至Ｓ７において、記憶部５に記憶された時系列パターン記憶ネットワークを、学習データ記憶部３１に記憶された新たな時系列データ（の観測値）に基づいて、自己組織的に更新（学習）する。
即ち、学習部４の学習処理部３２（図８）では、ステップＳ３において、スコア計算部４１が、学習データ記憶部３１に記憶された新たな時系列データを読み出し、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノードについて、そのノードが、新たな時系列データに適合する度合いを表すスコアとして求める。
具体的には、ノードが有する時系列パターンモデル２１（図４）が、例えばHMMである場合には、そのHMMから、新たな時系列データが観測される対数尤度が、スコアとして求められる。ここで、対数尤度の計算方法としては、例えば、ビタビアルゴリズム(Viterbi algorithm)を採用することができる。
スコア計算部４１は、時系列パターン記憶ネットワークが有するすべてのノードについて、新たな時系列データに対するスコアを計算すると、その各ノードについてのスコアを、勝者ノード決定部４２に供給する。
勝者ノード決定部４２は、ステップＳ４において、時系列パターン記憶ネットワークを構成するノードのうちの、スコア計算部４１からのスコアが最も高いノードを求め、そのノードを勝者ノードとして決定する。そして、勝者ノード決定部４２は、勝者ノードを表す情報としてのノードラベルを、重み決定部４３に供給する。
重み決定部４３は、ステップＳ５において、勝者ノード決定部４２からのノードラベルが表す勝者ノードを、いわば基準として、時系列パターン記憶ネットワークを構成する各ノードの更新重みを決定する。
即ち、重み決定部４３は、図９で説明したように、時系列パターン記憶ネットワークの更新（学習）が進むにつれ、パターン間距離dの変化に対する更新重みαの変化が急峻になっていく、式（１）で表される距離／重み曲線にしたがって、時系列パターン記憶ネットワークの各ノードの更新重みαを決定し、学習データ更新部４４に供給する。
学習データ更新部４４は、ステップＳ６において、時系列パターン記憶ネットワークの各ノードが有する学習データ記憶部２２（図４）に記憶された学習データを、重み決定部４３からの、対応するノードの更新重みにしたがって更新する。即ち、学習データ更新部４４は、図１０で説明したように、学習データ記憶部３１に記憶されている新たな時系列データと、ノードの学習データ記憶部２２に記憶されている旧学習データとを、そのノードの更新重みαに対応した比率α:H-αで混合することにより、H個の新たな学習データを得て、そのH個の新たな学習データによって、学習データ記憶部２２の記憶内容を更新する。
学習データ更新部４４は、時系列パターン記憶ネットワークのノードすべての学習データ記憶部２２（図４）の記憶内容を更新すると、その更新が終了した旨の終了通知を、モデル学習部４５に供給する。
モデル学習部４５は、学習データ更新部４４から終了通知を受けると、ステップＳ７において、時系列パターン記憶ネットワークのパラメータを更新する。
即ち、モデル学習部４５は、時系列パターン記憶ネットワークの各ノードについて、学習データ更新部４４による更新後の学習データ記憶部２２に記憶された新たな学習データを用いて、時系列パターンモデル２１の学習を行うことにより、その時系列パターンモデル２１を更新する。
具体的には、ノードが有する時系列パターンモデル２１が、例えばHMMである場合には、そのノードが有する学習データ記憶部２２に記憶された新たな学習データを用いて、HMMの学習が行われる。この学習では、例えば、HMMの現在の状態遷移確率と出力確率密度関数を初期値とし、新たな学習データを用いて、Baum-Welch法により、新たな状態遷移確率と出力確率密度関数がそれぞれ求められる。そして、その新たな状態遷移確率と出力確率密度関数によって、HMMの状態遷移確率と出力確率密度関数がそれぞれ更新される。
その後は、ステップＳ７からステップＳ２に戻り、次の処理対象データが、信号入力部１に入力されるのを待って、以下、同様の処理が繰り返される。
次に、図１２のフローチャートを参照して、図１１の学習処理におけるステップＳ１で行われる、時系列パターン記憶ネットワークのパラメータ（時系列パターン記憶ネットワークの各ノードが有する時系列パターンモデル２１のパラメータ）を初期化する初期化処理について説明する。
学習処理部３２（図８）の学習データ更新部４４は、まず最初に、ステップＳ１１において、記憶部５に記憶された時系列パターン記憶ネットワークの各ノードが有する学習データ記憶部２２（図４）の記憶内容を、学習データ（時系列データ）が１つもない状態にクリアする。
そして、ステップＳ１２において、学習処理部３２（図８）のモデル学習部４５は、時系列パターン記憶ネットワークのパラメータとして、ランダムな値を付与（設定）する。
即ち、時系列パターン記憶ネットワークの各ノードが有する時系列パターンモデル２１（図４）が、例えば、HMMである場合、そのHMMのパラメータとしては、状態遷移確率と各状態における出力確率密度関数があるが、ステップＳ１２では、この状態遷移確率と出力確率密度関数（を定義する、例えば、平均ベクトルや共分散行列）として、ランダムな値が与えられる。
その後、１個の処理対象データとしての、例えば、１の音声区間の音声データが、信号入力部１に入力されることにより、図１１で説明したように、その処理対象データに対応する１個の新たな時系列データ（特徴量の時系列データ）が、学習部４（図７）の学習データ記憶部３１に記憶されると、ステップＳ１３において、学習データ更新部４４は、時系列パターン記憶ネットワークを構成するノードの中から、ランダムに１または複数のノードを選択し、そのノードに、学習データ記憶部３１に記憶された新たな時系列データを分配する。
即ち、ステップＳ１３では、時系列パターン記憶ネットワークを構成するノードの中から、ランダムに１または複数のノードが選択され、そのノードが有する学習データ記憶部２２（図４）に、学習データ記憶部３１に記憶された新たな時系列データが、学習データとして記憶（追加）される。
ステップＳ１３での新たな時系列データの分配は、学習部４（図７）の学習データ記憶部３１に、新たな時系列データが記憶されるたびに、その新たな時系列データを対象として繰り返し行われ、時系列パターン記憶ネットワークを構成するすべてのノードが有する学習データ記憶部２２（図４）に、H個の学習データが記憶されると（あるいは、HMMの学習を行うことができるだけの十分な学習データが記憶されると）、モデル学習部４５は、時系列パターン記憶ネットワークを構成する各ノードの時系列パターンモデル２１としてのHMMの学習を、そのノードが有する学習データ記憶部２２に記憶されている学習データを用いて行う。この学習では、例えば、ステップＳ１２で設定されたランダムな値を、HMMの状態遷移確率と出力確率密度関数の初期値として、Baum-Welch 法により、新たな状態遷移確率と出力確率密度関数が求められる。そして、その新たな状態遷移確率と出力確率密度関数によって、HMMの状態遷移確率と出力確率密度関数（の初期値）が更新される。
以上のように、初期化処理では、時系列パターン記憶ネットワークのすべてのノードの学習データ記憶部２２に必要な学習データを記憶させ、その学習データを用いた学習により、HMMのパラメータの初期値が求められる。
図１１の学習処理によれば、１個の新たな時系列データが得られると、その新たな時系列データに対して、時系列パターン記憶ネットワークを構成するノードの中から、勝者ノードが決定される（ステップＳ４）。さらに、その勝者ノードを基準として、時系列パターン記憶ネットワークを構成する各ノードの更新重みが決定される（ステップＳ５）。そして、更新重みに基づいて、時系列パターン記憶ネットワークを構成する各ノードが有する時系列パターンモデル２１（図４）のパラメータが更新される。
即ち、図１１の学習処理では、１個の新たな時系列データに対して、時系列パターン記憶ネットワークを構成するノードのパラメータの更新が１回行われ、以下、同様に、新たな時系列データが得られるたびに、ノードのパラメータの更新が繰り返されることにより、自己組織的に学習が行われる。
そして、学習が十分に行われることにより、時系列パターン記憶ネットワークの各ノードが有する時系列パターンモデル２１は、ある時系列パターンを学習（獲得）する。時系列パターン記憶ネットワーク全体において学習される時系列パターンの数（種類）は、時系列パターン記憶ネットワークが有するノードの数と一致するので、時系列パターン記憶ネットワークが有するノードの数が、例えば１００である場合は、１００種類の時系列パターンが学習されることになる。この時系列パターンに基づき、認識部３（図２）では、時系列データ（処理対象データ）を認識する認識処理を行うことが可能となり、生成部６（図２）では、時系列データを生成する生成処理を行うことが可能となる。
なお、図１１の学習処理では、学習データ記憶部３１に記憶されている新たな時系列データと、ノードの学習データ記憶部２２に記憶されている旧学習データとを、そのノードの更新重みαに対応した比率α:H-αで混合することにより、H個の新たな学習データを得て、そのH個の新たな学習データを用いて、ノード（が有する時系列パターンモデル２１）の学習を行うことにより、そのノード（が有する時系列パターンモデル２１）のパラメータを更新するようにしたが、ノードのパラメータの更新の方法は、ここで説明した方法以外にも、更新重みαに応じて、新たな時系列データを、ノードのパラメータに反映させる方法であればどのような方法を用いても良い。
重要なのは、新たな時系列データが与えられるたびに、ノードのパラメータを少しずつ更新（修正）することと、その際に、ノードの更新重みに応じて、新たな時系列データがノードの学習に与える影響の強さを調整することである。
また、ノードの学習を適切に行うには、更新重み、つまり、新たな時系列データを用いたノードの学習によって各ノード（のパラメータ）が受ける新たな時系列データの影響の度合いを、時間の経過（ノードのパラメータの更新の回数）とともに適切に調整することが重要であり、本実施の形態では、式（１）における減衰定数Δによって、更新重みαを調整する方法を採用したが、要は、学習が進むにつれて、新たな時系列データの影響を受けるノードを、勝者ノードを基準とする広い範囲のノード（多数のノード）から徐々に狭い範囲のノード（少数のノード）へと調整していくことができれば良く、そのような調整をすることができれば、ノードの学習（ノードのパラメータの更新）は、どのように行っても良い。
ここで、勝者ノード（が有する時系列パターンモデル２１）のパラメータだけを更新する方法はWTAに対応し、勝者ノード以外のノード（が有する時系列パターンモデル２１）のパラメータをも更新する方法はSMAに対応する。図１１の学習処理では、SMAによってノードのパラメータが更新される。但し、ノードのパラメータの更新はWTAによって行うことも可能である。
なお、図１１の学習処理では、新たな時系列データが与えられると、その新たな時系列データを用いて、ノードの学習を行うオンライン学習を行うようにしたが、ノードの学習の方法としては、ある程度の数の新たな時系列データが得られてから、その新たな時系列データを用いて学習を行うバッチ学習を採用することも可能である。
次に、図１３は、図２の認識部３の構成例を示している。
認識部３には、図２で説明したように、特徴抽出部２から、（１個の）時系列データが供給され、この時系列データは、スコア計算部５１に供給される。
スコア計算部５１は、学習処理部３２（図８）のスコア計算部４１と同様に、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノードについて、そのノードが、特徴抽出部２からの時系列データ（の観測値）に適合する度合いを表すスコアを求め、勝者ノード決定部５２に供給する。即ち、ノードが有する時系列パターンモデル２１が、例えば、図４に示したようにHMMである場合には、スコア計算部５１は、ノードが有する時系列パターンモデル２１としてのHMMから、特徴抽出部２からの時系列データが観測される対数尤度を求め、そのノードのスコアとして、勝者ノード決定部５２に供給する。
勝者ノード決定部５２は、学習処理部３２（図８）の勝者ノード決定部４２と同様に、記憶部５に記憶された時系列パターン記憶ネットワークにおいて、特徴抽出部２からの時系列データに最も適合するノードを求め、そのノードを、勝者ノードとして決定する。
即ち、勝者ノード決定部５２は、記憶部５に記憶された時系列パターン記憶ネットワークを構成するノードのうちの、スコア計算部５１からのスコアが最も高いノードを勝者ノードとして決定する。そして、勝者ノード決定部５２は、勝者ノードを表す情報としてのノードラベルを、出力部５３に供給する。
出力部５３は、勝者ノード決定部５２からの勝者ノードを表すノードラベルを、特徴抽出部２からの特徴量の時系列データ、ひいては、その特徴量に対応する、信号入力部１に入力された処理対象データの認識結果として出力する。
なお、認識部３のスコア計算部５１と、学習処理部３２（図８）のスコア計算部４１とは、いずれか一方のスコア計算部で兼用することが可能である。認識部５１の勝者ノード決定部５２と、学習処理部３２（図８）の勝者ノード決定部４２についても、同様である。
次に、図１４のフローチャートを参照して、図２のデータ処理装置で行われる、時系列データを認識する認識処理について説明する。
ステップＳ２１において、１個の処理対象データ、即ち、例えば、１の音声区間の音声データ（時系列データ）が、信号入力部１に入力されると、信号入力部１は、その処理対象データを、特徴抽出部２に供給する。特徴抽出部２は、処理対象データである時系列データから特徴量を抽出し、その特徴量の時系列データを、認識部３に供給する。
認識部３（図１３）では、ステップＳ２２において、スコア計算部５１が、記憶部５に記憶された時系列パターン記憶ネットワークを構成する各ノードについて、そのノードが、特徴抽出部２からの時系列データに適合する度合いを表すスコアを求める。
具体的には、ノードが有する時系列パターンモデル２１（図４）が、例えばHMMである場合には、そのHMMから、特徴抽出部２からの時系列データが観測される対数尤度が、例えば、ビタビアルゴリズムによって求められる。スコア計算部５１は、時系列パターン記憶ネットワークが有するすべてのノードについて、特徴抽出部２からの時系列データに対するスコアを計算すると、その各ノードについてのスコアを、勝者ノード決定部５２に供給する。
勝者ノード決定部５２は、ステップＳ２３において、時系列パターン記憶ネットワークを構成するノードのうちの、スコア計算部５１からのスコアが最も高いノードを求め、そのノードを勝者ノードとして決定する。そして、勝者ノード決定部５２は、勝者ノードを表す情報としてのノードラベルを、出力部５３に供給する。
出力部５３は、勝者ノード決定部５２からのノードラベルを、特徴抽出部２からの時系列データ（信号入力部１に入力された処理対象データ）の認識結果として出力し、処理を終了する。
なお、出力部５３が出力するノードラベル（勝者ノードのノードラベル）は、例えば、制御データとして、生成部６に供給することができる。
以上のような、時系列パターン記憶ネットワークを用いた認識処理によれば、その時系列パターン記憶ネットワークのノードの数に応じた細かさの認識結果を得ることができる。
即ち、例えば、いま、時系列パターン記憶ネットワークの学習が、３つのカテゴリ"A"，"B"，"C"の発声それぞれにより得られた音声データを用いて行われたとする。
時系列パターン記憶ネットワークの学習に用いられた３つのカテゴリ"A"，"B"，"C"の音声データが、多数の話者の発話を含む場合には、例えば、カテゴリ"A"の音声データであっても、発話速度や、イントネーション、話者の年齢、性別などの違いによって、様々なバリエーションの音声データが存在する。
教師あり学習であれば、カテゴリ"A"，"B"，"C"の音声データを用いた学習は、カテゴリ"A"の音声データだけ、カテゴリ"B"の音声データだけ、カテゴリ"C"の音声データだけをそれぞれ用いて行われる。従って、各カテゴリの学習結果には、発話速度等の違いによるバリエーションは、生じ得ない。
一方、時系列パターン記憶ネットワークの学習では、カテゴリ"A"，"B"，"C"の音声データが、それらを区別（分類）することなく用いられる。そして、時系列パターン記憶ネットワークでは、上述したように、その時系列パターン記憶ネットワークが有するノードの数だけの時系列パターンが学習される。
従って、時系列パターン記憶ネットワークでは、例えば、それが有するノードの数が３より大であれば、１つのカテゴリ"A"の音声データであっても、そのカテゴリ"A"の音声データの中の、ある１つのバリエーション（の時系列パターン）が、ある１つのノードで学習され、他の１つのバリエーションが、他の１つのノードで学習されることがある。
そして、このように、複数のノードにおいて、カテゴリ"A"の音声データの様々なバリエーションが学習された場合、認識処理では、例えば、カテゴリ"A"の音声データが処理対象データとして入力されると、カテゴリ"A"の音声データが学習された複数のノードの中から、処理対象データに最も適合するノードが、勝者ノードとして決定され、その勝者ノードのノードラベルが、認識結果として出力される。
即ち、時系列パターン記憶ネットワークを用いた認識処理では、処理対象データが、カテゴリ"A"，"B"，"C"のうちのいずれのカテゴリの音声データであるかが決定されるのではなく、時系列パターン記憶ネットワークが学習によって獲得した、そのノードの数だけの時系列パターンのうちのいずれに最も適合するか（類似するか）かが決定される。
つまり、時系列パターン記憶ネットワークの学習では、時系列パターン記憶ネットワークが有するノードの数に応じた細かさで時系列パターンが獲得され、時系列パターン記憶ネットワークを用いた認識では、時系列パターン記憶ネットワークが有するノードの数に応じた細かさで、時系列データが分類（クラス分け）される。
なお、（十分な）学習が行われた時系列パターン記憶ネットワークの各ノードに対し、そのノードが獲得した時系列パターンに応じて、適切に、カテゴリ"A"，"B"，"C"の正解ラベルを付与すれば、時系列パターン記憶ネットワークを用いた認識処理において、時系列データ（処理対象データ）が、カテゴリ"A"，"B"，"C"のうちのいずれのカテゴリの音声データであるかの認識結果を得ることができる。
次に、図１５は、図２の生成部６の構成例を示している。
生成部６には、図２で説明したように、制御データが供給される。生成部６に供給される制御データは、記憶部５の時系列パターン記憶ネットワークが記憶している時系列パターン、ひいては、時系列パターン記憶ネットワークを構成するノードのうちのいずれかを表すもので、例えば、ノードラベルである。
生成部６に供給された制御データは、生成ノード決定部６１に供給される。生成ノード決定部６１は、記憶部５に記憶された時系列パターン記憶ネットワークにおいて、そこに供給される制御データが表すノードを、時系列データを生成するのに用いるノード（以下、適宜、生成ノードという）として決定し、その決定結果を、時系列生成部６２に供給する。
即ち、生成ノード決定部６１は、そこに供給される制御データとしてのノードラベルが表すノードを、生成ノードとして決定し、その決定結果を、時系列生成部６２に供給する。
時系列生成部６２は、生成ノード決定部６１からの決定結果にしたがい、生成ノードが有する時系列パターンモデル２１（図４）に基づいて、時系列データを生成し、出力部６３に供給する。
ここで、時系列パターンモデル２１が、例えば、HMMである場合には、時系列生成部６２は、生成ノードが有する時系列パターンモデル２１としてのHMMにおいて時系列データが観測される尤度を表す出力確率を最大にする時系列データを生成する。ここで、HMMを用いた時系列データの生成については、動的特徴量を利用することで滑らかに変化する時系列データを生成する方法があり、時系列生成部６２では、その方法によって、時系列データを生成することができる。このような時系列データの生成方法は、例えば、K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, T. Kitamura, "SPEECH PARAMETER GENERATION ALGORITHMS FOR HMM-BASED SPEECH SYNTHESIS", Proc. of ICASSP 2000, vol.3, pp.1315-1318, June 2000に記載されている。
なお、その他、例えば、HMMのパラメータを用いた確率的試行に基づく時系列データの生成を繰り返し行い、その平均をとることで、HMMから時系列データを生成する方法なども提案されており、その詳細については、例えば、稲邑哲也、谷江博昭、中村仁彦、「連続分布型隠れマルコフモデルを用いた時系列データのキーフレーム抽出とその復元」、日本機械学会ロボティクス・メカトロニクス講演会2003講演論文集、2P1-3F-C6，2003に記載されている。
出力部６３は、時系列生成部６２からの時系列データを、処理対象データに相当する時系列データに変換して出力する。即ち、時系列生成部６２において生成される時系列データは、ノードが有する時系列パターンモデル２１の学習に用いられた特徴量の時系列データであり、出力部６３は、その特徴量の時系列データを、処理対象データ（の時系列データ）に変換して出力する。
具体的には、例えば、処理対象データが音声データであり、特徴抽出部２が、音声データからメルケプストラムを特徴量として抽出し、また、時系列パターンモデル２１がHMMであるとする。この場合、メルケプストラムの時系列データが、時系列パターンモデル２１によって学習されるので、時系列生成部６２が生成ノードの時系列パターンモデル２１（図４）に基づいて生成する時系列データは、メルケプストラムの時系列データとなる。出力部６３は、時系列生成部６２において生成されるメルケプストラム（の時系列データ）を、処理対象データに相当する時系列データである音声データに変換する。
なお、メルケプストラムの時系列データを音声データ（時領域の音声）に変換する方法としては、例えば、MLSAフィルタ（メル対数スペクトル近似フィルタ）と呼ばれる合成フィルタによって、メルケプストラムの時系列データをフィルタリングする方法がある。MLSAフィルタの詳細については、例えば、今井聖、住田一男、古市千恵子、「音声合成のためのメル対数スペクトル近似(MLSA)フィルタ」、電子情報通信学会論文誌（Ａ）、J66-A, 2, pp.122-129, 1983や、徳田恵一、小林隆夫、斉藤博徳、深田俊明、今井聖、「メルケプストラムをパラメータとする音声のスペクトル推定」、電子情報通信学会論文誌（Ａ）、J74-A, 8, pp.1240-1248, 1991に記載されている。
次に、図１６のフローチャートを参照して、図２のデータ処理装置で行われる、時系列データ（処理対象データ）を生成する生成処理について説明する。
ステップＳ３１では、制御データが、生成部６に入力される。この制御データは、生成ノード決定部６１に供給される。生成ノード決定部６１は、記憶部５に記憶された時系列パターン記憶ネットワークを構成するノードのうちの、制御データとしてのノードラベルが表すノードを、生成ノードとして決定し、その決定結果を、時系列生成部６２に供給する。
時系列生成部６２は、ステップＳ３３において、生成ノード決定部６１からの決定結果にしたがい、記憶部５に記憶された時系列パターン記憶ネットワークを構成するノードのうちの生成ノードが有する時系列パターンモデル２１（のパラメータ）に基づいて、時系列データを生成し、出力部６３に供給する。出力部６３は、ステップＳ３４において、時系列生成部６２からの時系列データを、処理対象データに相当する時系列データに変換して出力する。
以上のような、時系列パターン記憶ネットワークを用いた生成処理によれば、その時系列パターン記憶ネットワークのノードの数に応じた（時系列パターンの）時系列データを生成することができる。
即ち、例えば、上述の認識処理で説明した場合と同様に、時系列パターン記憶ネットワークの学習が、３つのカテゴリ"A"，"B"，"C"の発声それぞれにより得られた音声データを用いて行われたとする。
時系列パターン記憶ネットワークの学習に用いられた３つのカテゴリ"A"，"B"，"C"の音声データが、多数の話者の発話を含む場合には、例えば、カテゴリ"A"の音声データであっても、発話速度や、イントネーション、話者の年齢、性別などの違いによって、様々なバリエーションの音声データが存在し、時系列パターン記憶ネットワークでは、カテゴリ"A"の音声データの中の、ある１つのバリエーション（の時系列パターン）が、ある１つのノードで学習され、他の１つのバリエーションが、他の１つのノードで学習されることがある。
そして、このように、複数のノードにおいて、カテゴリ"A"の音声データの様々なバリエーションが学習された場合、その複数のノードのうちのいずれかを表すノードラベルが、制御データとして与えられることにより、そのノードラベルが表すノードで学習されたバリエーションのカテゴリ"A"の音声データが出力される。従って、同一のカテゴリの音声データであっても、様々なバリエーションの音声データを出力することができる。
以上のように、時系列パターンモデル２１を有する複数のノードから構成される時系列パターン記憶ネットワークを、時系列データに基づいて、自己組織的に更新するようにしたので、長さが一定の時系列データは勿論、長さが一定でない時系列データの教師なし学習、つまり、時系列データの、いわば自律的な学習を、容易に（実用的に）行うことができる。
即ち、時系列パターン記憶ネットワークの各ノードは、時系列パターンモデル２１を有するから、時系列パターン記憶ネットワークの学習において、ノードの更新、つまり、そのノードが有する時系列パターンモデル２１の更新は、他のノードの更新に影響しない。従って、時系列パターン記憶ネットワークを構成するノードが１つ増えても、時系列パターン記憶ネットワークの学習に要する計算量は、単純には、１のノードの更新に要する計算量だけ増えるだけであり、時系列パターン記憶ネットワークの規模、つまり、時系列パターン記憶ネットワークを構成するノードの数を大にしても、時系列パターン記憶ネットワークの学習に要する計算量が飛躍的に増加することはない。従って、大規模な時系列パターン記憶ネットワークであっても、容易に、自己組織的に学習することができる。
さらに、かかる時系列パターン記憶ネットワークの学習によれば、各ノードに、時系列データの統計的な特性を表す時系列パターンが記憶されるので、その時系列パターンを用いて、時系列データの認識や生成を、容易に行うことができる。さらに、時系列パターン記憶ネットワークによれば、時系列データの分類や解析などを行うことが可能となる。
なお、学習処理、認識処理、生成処理は、例えば、音声データ、画像データ、モータを駆動する信号、その他の任意の時系列データを対象として行うことができる。具体的には、例えば、図２のデータ処理装置を自律型のロボットなどの自律システムに適用し、そのロボットの視覚や、聴覚、触覚に相当するセンサが出力する信号や、ロボットの手や足に相当する部分を駆動するアクチュエータを制御する信号、合成音を生成する装置や目に相当するLEDに対して与える信号等を、学習処理、認識処理、生成処理の対象とする時系列データとして採用することができる。
次に、図１７乃至図２０を参照して、時系列パターン記憶ネットワークの学習と認識の実験結果について説明する。
なお、実験では、学習に用いる時系列データとして、「あ」、「い」、「う」、「え」、「お」の５種類（カテゴリ）に関して、男性４名と女性４名の合計８名に、それぞれ１０回ずつ発話してもらい、その発話によって得られた４００発話の音声データを用意した。また、音声データの特徴量としては、メルケプストラム（係数）を採用し、４００発話の音声データから得られたメルケプストラム係数のベクトルの時系列データを、ランダムな順番で学習に用いた。
さらに、実験では、時系列パターン記憶ネットワークを、３０のノードで構成し、各ノードの時系列パターンモデル２１（図４）として、HMMを採用した。ここで、時系列パターンモデル２１としてのHMMは、left-to-right 型の１０状態のHMMとし、HMMの各状態の出力確率密度関数は、混合数が１のガウス分布とした。また、時系列パターン記憶ネットワークは、図６に示したように、リンクによって与えられる空間的な配置構造を有していないものとした。従って、更新重みαを決定するためのパターン間距離dは、上述したように、適合順位から１を減算した値、即ち、学習の対象となった新たな時系列データに対するスコアが高いノードの順に、０，１，２，・・・を与えることとした。
また、時系列パターン記憶ネットワークの各ノードの学習データ記憶部２２（図４）に保持する時系列データの個数Hは１００とし、ノードの更新重みαに応じて、新たな時系列データと旧学習データとの比が、α：H-αとなるように、学習データ記憶部２２の学習データを更新するようにした。即ち、学習データ記憶部２２の学習データの更新は、H個の旧学習データから、古い順にα個の旧学習データを削除し、残ったH-α個の旧学習データに対し、新たな時系列データをα個だけコピーして追加することにより行った。なお、学習データの更新に用いる更新重みαは、小数点以下を切り上げることで整数にした。
更新重みαは、式（１）にしたがって求めることとし、式（１）において、定数Ｇ＝６、減衰係数γ＝０．５とした。また、学習処理の開始時は、変数Δ＝１に設定し、学習の進行（時系列パターン記憶ネットワークの更新の回数）にしたがって、変数Δを少しずつ０に近づけることで、更新重みαを調整した。
時系列パターン記憶ネットワークの学習は、オンライン学習で行い、４００発話の音声データを繰り返し用いて、実験では、合計１４０００回のオンライン学習を行った。
なお、HMMのパラメータの学習にはBaum-Welch法を用い、スコアの計算にはViterbi algorithmを用いた。
さらに、実験では、認識に用いる時系列データとして、学習時とは異なる男性３名、女性３名の合計６名が、「あ」、「い」、「う」、「え」、「お」の５種類をそれぞれ１０回ずつ発話した３００発話の音声データを用意した。認識の評価方法としては、時系列パターン記憶ネットワークの各ノードに擬似的に、カテゴリ「あ」、「い」、「う」、「え」、または「お」を表す正解ラベルを付与し、認識用の音声データの入力に対して、正しい正解ラベル（入力された音声データのカテゴリを表す正解ラベル）のノードが勝者ノードとなった場合を「正解」としてカウントするとともに、誤った正解ラベル（入力された音声データのカテゴリでないカテゴリを表す正解ラベル）のノードが勝者ノードとなった場合を「不正解」としてカウントし、式（２）にしたがい、認識用の音声データの総数に対する「正解」の数の割合を、正しく認識が行われた正解率として求める方法を採用した。
正解率＝（「正解」の数／認識用の音声データの総数）×１００％
・・・（２）
なお、時系列パターン記憶ネットワークの各ノードには、次のようにして、「あ」、「い」、「う」、「え」、または「お」の正解ラベルを付与した。即ち、時系列パターン記憶ネットワークのノードが有する学習データ記憶部２２に記憶されている学習データとしての音声データのカテゴリを調査し、その学習データ記憶部２２に記憶されている音声データの割合が最も多いカテゴリを表す正解ラベルを、そのノードに付与した。
図１７は、学習の回数（時系列パターン記憶ネットワークの更新の回数）と、正解率との関係を示している。
図１７において、横軸は、学習の回数、つまり、学習用の音声データの入力回数を表しており、縦軸は、正解率を表している。図１７によれば、学習が進行するにしたがって、正解率が改善していくことを確認することができる。また、１４０００回のオンライン学習が終了した時点では、１００％に近い正解率が得られている。
図１８は、時系列パターン記憶ネットワークの各ノードが有する学習データ記憶部２２に保持された学習データ（音声データ）のカテゴリの割合を示している。
図１８において、横軸は、時系列パターン記憶ネットワークを構成するノードNiを特定するインデックス（ノードインデックス）iを表し、縦軸は、ノードNiの学習データ記憶部２２に記憶されている学習データのカテゴリ「あ」、「い」、「う」、「え」、「お」それぞれの割合を示している。
なお、図１８では、黒塗りの部分は、カテゴリ「あ」の学習データを示しており、横線を付してある部分は、カテゴリ「い」の学習データを示している。また、縦線を付してある部分は、カテゴリ「う」の学習データを、左上がり（右下がり）の斜め線を付してある部分は、カテゴリ「え」の学習データを、右上がり（左下がり）の斜め線を付してある部分は、カテゴリ「お」の学習データを、それぞれ示している。
図１８では、左側に、５０回のオンライン学習が終了した時点での各ノードNiの（学習データ記憶部２２に記憶された学習データの）カテゴリ「あ」、「い」、「う」、「え」、「お」の割合を示してあり、右側に、１４０００回のオンライン学習が終了した時点での各ノードNiの（学習データ記憶部２２に記憶された学習データの）カテゴリ「あ」、「い」、「う」、「え」、「お」の割合を示してある。
図１８の左側と右側とを比較することにより、学習の初期段階では、各ノードNiの学習データ記憶部２２には、様々なカテゴリの音声データが記憶されるが、学習が進行すると、各ノードNiの学習データ記憶部２２に記憶される音声データ（学習データ）が、特定のカテゴリになっていくことを確認することができる。
図１９は、１４０００回のオンライン学習の終了後の時系列パターン記憶ネットワークを用いて、認識用の３００発話の音声データを認識した認識結果を示している。
図１９において、横軸は、図１８における場合と同様に、ノードNiを特定するインデックスiを表し、縦軸は、ノードNiが勝者ノードとなった回数を表している。
なお、図１９では、黒塗りの部分は、カテゴリ「あ」の音声データの入力に対して勝者ノードとなった回数を示しており、横線を付してある部分は、カテゴリ「い」の音声データの入力に対して勝者ノードとなった回数を示している。また、縦線を付してある部分は、カテゴリ「う」の音声データの入力に対して勝者ノードとなった回数を、左上がり（右下がり）の斜め線を付してある部分は、カテゴリ「え」の音声データの入力に対して勝者ノードとなった回数を、右上がり（左下がり）の斜め線を付してある部分は、カテゴリ「お」の音声データの入力に対して勝者ノードとなった回数を、それぞれ示している。
図１９によれば、ほとんどのノードが、特定のカテゴリの音声データの入力に対して勝者ノードとなっていることを確認することができる。このことから、各ノードにおいて、特定のカテゴリの時系列パターンが学習（獲得）されたことが分かる。
次に、図２０は、図５に示したように、リンクによって、ノードが２次元的に配置される配置構造が与えられた時系列パターン記憶ネットワークの学習を行った結果を示している。
図２０では、横×縦が５×５となるように、横方向に隣接するノードどうしと、縦方向に隣接するノードどうしに対して、リンクが与えられており、従って、時系列パターン記憶ネットワークは、２５のノードで構成されている。
なお、その他の実験条件は、図１７乃至図１９における場合と同様である。但し、図２０では、時系列パターン記憶ネットワークのノードにリンクが与えられているので、更新重みαを決定するためのパターン間距離dとしては、勝者ノードにたどり着くまでに通るリンクの数を採用した。
図２０は、上述した学習用の１４０００発話の音声データを用いてオンライン学習を行い、上述したようにして、カテゴリ「あ」、「い」、「う」、「え」、または「お」を表す正解ラベルを各ノードに付与した状態の時系列パターン記憶ネットワークを模式的に示している。
図２０によれば、学習が行われた時系列パターン記憶ネットワークにおいて、同一のカテゴリ、即ち、類似する時系列パターンを獲得したノードが、空間的にまとまって配置されていることを確認することができる。
以上の実験から、時系列パターン記憶ネットワークによれば、正解ラベルを付与しない時系列データの学習（教師なし学習）が適切に機能すること、即ち、各ノードにおいて、特定の時系列パターン（統計的な特性）が獲得されることが分かる。
なお、実験では、学習用の音声データ（学習データ）や認識用の音声データが、カテゴリ「あ」、「い」、「う」、「え」、「お」のうちのいずれのカテゴリの音声データであるかを表す正解ラベルを利用したが、正解ラベルは、学習結果や認識結果を評価するために使用しただけであり、学習自体、あるいは認識自体には、正解ラベルは使用していない。
次に、上述の場合には、時系列パターン記憶ネットワークを構成するノードが有する時系列パターンモデル２１（図４）として、状態遷移確率モデルの１つであるHMMを採用することとしたが、時系列パターンモデル２１としては、他の状態遷移確率モデルを採用することが可能である。
時系列パターンモデル２１として採用することができる他の状態遷移確率モデルとしては、例えば、ベイジアンネットワークがある。
ベイジアンネットワークでは、変数間の依存関係をグラフ構造で表し、各ノードに条件付き確率を割り当てることでモデル化が行われるが、特に、時間軸に沿った状態遷移モデルを構築することで、時系列データをモデル化することが可能となる。
グラフ構造の決定は、例えば、学習データの尤度とグラフ構造の複雑さとを考慮したモデルを選択することにより行われ、条件付き確率の推定には、例えば、最尤推定法やEM(Expectation Maximaization)アルゴリズムなどが利用される。
時系列パターン記憶ネットワークの各ノードが有する時系列パターンモデル２１として、状態遷移確率モデルの１つであるベイジアンネットワークを用いても、ＨＭＭを用いた場合と同様に、時系列データの教師なし学習を行うことが可能となる。
なお、ベイジアンネットワークの詳細については、例えば、本村陽一、「不確実性モデリングのための情報表現：ベイジアンネット」、２００１年、ベイジアンネットチュートリアルなどに記載されている。
時系列パターンモデル２１（図４）としては、上述のように、HMMやベイジアンネットワークなどのような状態遷移確率モデルを採用することができる他、関数を近似するモデル（以下、適宜、関数近似モデルという）を採用することもできる。
関数近似モデルは、時系列パターンを、関数f()を用い、例えば、微分方程式｛x(t)｝'=f(x(t))や、差分方程式x(t+1)=f(x(t))などで表現するモデルで、関数f()が、時系列パターンを特徴づける。なお、tは時間（時刻）（サンプル点）を表し、x(t)は、時刻tの時系列データのサンプル値、または時刻（０から）tまでに観測された時系列データを表す。また、｛x(t)｝'は、時系列データx(t)の時間tに関する１次微分を表す。
学習データ（時系列データ）から、ある時系列パターンを表す（に対応する）関数f()を求めることを、関数近似と呼ぶと、関数近似の方法としては、例えば、多項式などを用いて関数 f() を表現し、その多項式の係数を、学習データから決定する方法や、ニューラルネットワークによって関数 f() を表現し、そのニューラルネットワークのパラメータを、学習データから決定する方法などがある。
多項式で表現された関数f()の関数近似において、その多項式の係数の決定（推定）は、例えば、最急降下法などによって行うことができる。また、ニューラルネットワークによって表現された関数f()の関数近似において、そのニューラルネットワークのパラメータの決定は、例えば、バックプロパゲーション法によって行うことができる。ここで、バックプロパゲーション法では、ニューラルネットワークに入力と出力のデータを与え、その入力と出力のデータの関係を満たすように、ニューラルネットワークのパラメータの学習が行われる。
図２１は、時系列パターン記憶ネットワークのノードが有する時系列パターンモデル２１として関数近似モデルを採用した場合の、その１つのノードNiの構成例を模式的に示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してある。
図２１では、時系列パターンモデル２１として、関数f()を用いた差分方程式x(t+1)=f(x(t))で時系列パターンを表現する関数近似モデルが採用されている。
図２２は、図２１の関数近似モデルにおいて、関数f()がニューラルネットワークによって表現される場合のノードNiの構成例を模式的に示している。
図２２では、ニューラルネットワークとして、リカレントニューラルネットワークが採用されており、入力層 x(t)、出力層 x(t+1)、およびその入力層x(t)と出力層x(t+1)をつなぐ中間層によって構成されている。
図２２において丸印で示されたユニットどうしをつなぐ矢印に付される重みが、ニューラルネットワークのパラメータであり、このパラメータが、学習データ記憶部２２に記憶された学習データ（時系列データ）によって学習される。パラメータの学習は、初期値を適当に与えて、バックプロパゲーション法により行われる。
図２２に示したように、関数f()がニューラルネットワークによって表現される時系列パターンモデル２１を有するノードNiで構成される時系列パターン記憶ネットワークの学習でも（認識を行う場合も同様）、上述のHMMを時系列パターンモデル２１として採用した場合と同様に、勝者ノードを決定する必要があり、勝者ノードの決定のためには、時系列パターン記憶ネットワークの各ノードNiの、新たな時系列データに対するスコアを計算する必要がある。
このスコアとしては、例えば、新たな時系列データの観測値（実際の値）と、関数f()がニューラルネットワークによって表現される時系列パターンモデル２１から求められる、新たな時系列データの理論値との差の二乗和などを採用することができる。この場合、スコアの値が最も小さいノードが、新たな時系列データに最も適合するノードである勝者ノードとして決定される。
勝者ノードの決定後は、各ノードの更新重みを決定し、以下、上述のHMMを時系列パターンモデル２１として採用した場合と同様の手順で、各ノードNi（が有するニューラルネットワーク）のパラメータを更新することができる。
以上のように、時系列パターンモデル２１として、状態遷移確率モデルの代わりに関数近似モデルを用いても、時系列データの教師なし学習を行うことが可能となる。
なお、時系列パターンモデル２１として、関数近似モデルを用いた場合、各ノードNiの関数近似モデルが任意の時系列データに適合する度合いであるスコアとして、上述したように、その時系列データと、関数近似モデル（関数f()）から求められる、その時系列データの理論値との差の二乗和を採用することにより、時系列パターンモデル２１として状態遷移確率モデルを用いた場合と同様に、認識処理を行うことができる。
また、微分方程式｛x(t)｝'=f(x(t))や、差分方程式x(t+1)=f(x(t))などで与えられる関数近似モデルによれば、初期値を与えれば、その初期値から順次、時系列データを生成することができる。即ち、関数近似モデルでも、状態遷移確率モデルと同様に、時系列データを生成することができる。なお、ノードNiが有する関数近似モデルによって時系列データを生成する場合の初期値としては、例えば、そのノードNiが有する学習データ記憶部２２に記憶されているすべての学習データの初期値（最初の値）の平均値などを採用することができる。
ここで、図２３乃至図２５を参照して、従来のリカレントニューラルネットワークでの複数の時系列パターンの学習と、リカレントニューラルネットワークを有するノードで構成される時系列パターン記憶ネットワークでの複数の時系列パターンの学習との違いについて説明する。
まず、従来のリカレントニューラルネットワークの学習の方法としては、図２３に示すように、例えば、複数のカテゴリ"A"，"B"，"C"の音声データを学習する場合に、カテゴリ"A"，"B"，"C"それぞれの多数の音声データを学習データとして用意するとともに、カテゴリ"A"，"B"，"C"それぞれ用のリカレントニューラルネットワーク（カテゴリ"A"，"B"，"C"それぞれの音声データを学習させるリカレントニューラルネットワーク）を用意し、各カテゴリの学習データによって、対応するカテゴリのリカレントニューラルネットワークの学習を、バックプロパゲーション法によって行う教師あり学習がある。
この場合、カテゴリ"A"用のリカレントニューラルネットワークでは、カテゴリ"A"の学習データ（音声データ）だけを用いて、そのカテゴリ"A"の時系列パターンが学習（獲得）される。同様に、カテゴリ"Ｂ"用のリカレントニューラルネットワークでは、カテゴリ"Ｂ"の時系列パターンが、カテゴリ"C"用のリカレントニューラルネットワークでは、カテゴリ"C"の時系列パターンが、それぞれ学習される。
従って、この場合、１つのリカレントニューラルネットワークでは、１つの時系列パターンだけの学習が行われるので、個々のリカレントニューラルネットワークの規模を、それほど大きくする必要がなく、バックプロパゲーション法による学習に要する計算量は、それほど大ではないので、学習に要する時間は、あまり問題とならない。
以上のように、教師あり学習を行う場合は、１つのリカレントニューラルネットワークに、１つの時系列パターンだけの学習を行わせることができるが、教師なし学習を行う場合には、学習すべき時系列パターンが不定であるため、つまり、幾つのカテゴリの学習データが入力されるかわからず、また、入力された学習データのカテゴリもわからないため、１つのリカレントニューラルネットワークに、（偶然に、１つのカテゴリの時系列データだけしか存在しない場合を除き）１つの時系列パターンだけの学習を行わせることはできない。
従って、従来のリカレントニューラルネットワークによって、教師なし学習を行う場合には、図２４に示すように、１つのリカレントニューラルネットワークに、不定の数の時系列パターンを学習させる必要がある。
ニューラルネットワークは、様々なパターンの処理を、各ニューロンの処理に分担させ、また、学習データには、明示的な正解ラベルを付与する必要はないことから、不定の数の時系列パターンを学習する学習教師なし学習を行うことは可能である。
しかしながら、１つのニューラルネットワークにおいて、音声のような多数のカテゴリ（時系列パターン）を適切に学習するには、そのような多数のカテゴリの数に応じた大規模なニューラルネットワークを用意する必要がある。そして、前述したように、ニューラルネットワークのパラメータの学習に利用されているバックプロパゲーション法は、ニューラルネットワークの規模が大きくなると、計算量が飛躍的に増加し、その結果、学習に要する時間も非常に大になり、実用上大きな問題となる。
これに対して、図２５に示すような、リカレントニューラルネットワークを有するノードで構成される時系列パターン記憶ネットワークの学習では、１のノードにおいて、１の時系列パターンが学習（獲得）される。即ち、１のノードが有するリカレントニューラルネットワークにおいて、１の時系列パターンが学習される。従って、１のノードが有するリカレントニューラルネットワークは、それほど規模を大きくする必要がないので、バックプロパゲーション法による学習に要する計算量は、図２４で説明した場合に比較して十分小さく、学習に要する時間は問題とならない。
次に、図２６は、本発明を適用したデータ処理装置の第２実施の形態の構成例を示すブロック図である。
図２６のデータ処理装置は、例えば、２足歩行型、あるいは４足歩行型のロボットに適用されており、入力部１０１、出力部１０２、およびデータ処理部１０３で構成されている。
入力部１０１は、ロボットに対する入力を受け付ける入力デバイス（センサ）で構成され、その入力に対応する時系列データである入力データを、データ処理部１０３に供給する。入力部１０１を構成する入力デバイスとしては、例えば、ロボットの聴覚（耳）としてのマイクや、視覚（目）としてのカメラ、ユーザによって操作されるキーボードやマウスなどがある。さらに、入力部１０１を構成する入力デバイスとしては、その他、例えば、触覚に対応する圧力センサなどを設けることができる。
出力部１０２は、ロボットが外部への働きかけ（出力）を行うための出力デバイスで構成され、データ処理部１０３から供給される時系列データである出力データにしたがって働きかけを行う。出力部１０２を構成する出力デバイスとしては、例えば、ロボットの口としてのスピーカや、ロボットの手足その他の身体の部分を動かす筋力としてのモータ（アクチュエータ）、画像による情報の表示を行うディスプレイなどがある。
データ処理部１０３は、時系列パターン記憶ネットワークを記憶しており、その時系列パターン記憶ネットワークを、入力部１０１が出力するのと同様の入力データや、出力部１０２に供給されるのと同様の出力データを用いて学習する（学習処理を行う）。また、データ処理部１０３は、入力部１０１から供給される入力データを、時系列パターン記憶ネットワークによって認識し（認識処理を行い）、さらに、その認識結果に応じ、時系列パターン記憶ネットワークを用いて、時系列データである出力データを生成し（生成処理を行い）、出力部１０２に供給する。
即ち、データ処理部１０３において、学習部１１１Ａには、時系列データである入力データが供給される。ここで、学習部１１１Ａに供給される入力データは、入力部１０１が出力するのと同様の入力データであり、例えば、マイクから出力される音声データ、カメラから出力される画像データ、キーボードやマウスから出力される、そのキーボードやマウスの操作に対応したデータ（操作信号）などである。
学習部１１１Ａは、図２の学習部４と同様に構成され、そこに供給される入力データを用いて、後述する記憶部１１２Ａに記憶された時系列パターン記憶ネットワークを学習する学習処理を行う。
学習部１１１Ｂには、時系列データである出力データが供給される。ここで、学習部１１１Ｂに供給される出力データは、出力部１０２に供給されるのと同様の出力データであり、例えば、スピーカに供給されて出力される音声データ、ディスプレイに供給されて表示される画像データ、モータを駆動するデータ（駆動信号）などである。
学習部１１１Ｂも、図２の学習部４と同様に構成され、そこに供給される出力データを用いて、後述する記憶部１１２Ｂに記憶された時系列パターン記憶ネットワークを学習する学習処理を行う。
記憶部１１２Ａと１１２Ｂは、いずれも、時系列パターン記憶ネットワークを記憶している。なお、記憶部１１２Ａに記憶されている時系列パターン記憶ネットワークは、学習部１１１Ａによって入力データを用いて学習が行われるもので、いわば入力用の時系列パターン記憶ネットワークである。また、記憶部１１２Ｂに記憶されている時系列パターン記憶ネットワークは、学習部１１１Ｂによって出力データを用いて学習が行われるもので、いわば出力用の時系列パターン記憶ネットワークである。
ここで、入力用と出力用の時系列パターン記憶ネットワークは、同一のノードとリンク（リンクがない場合を含む）を有するものであっても良いし、異なるノードまたはリンクを有する者であっても良い。また、入力用と出力用の時系列パターン記憶ネットワークのノードが有する時系列パターンモデル２１も、同一のモデルであっても良いし、異なるモデルであっても良い。
認識部１１３には、入力部１０１から入力データが供給されるようになっている。認識部１１３は、図２の認識部３と同様に構成され、入力部１０１からの入力データを、記憶部１１２Ａに記憶された入力用の時系列パターン記憶ネットワークを用いて認識し（認識処理を行い）、その認識結果としての勝者ノードのノードラベルを、入出力関係連想記憶部１１５に供給する。
生成部１１４には、入出力関係連想記憶部１１５から、生成処理を行うための制御データとしてのノードラベルが供給されるようになっている。生成部１１４は、図２の生成部６と同様に構成され、記憶部１１２Ｂに記憶された出力用の時系列パターン記憶ネットワークにおいて、入出力関係連想記憶部１１５からのノードラベルが表すノードを、生成ノードとして決定し、その生成ノードを用いて、時系列データである出力データを生成する（生成処理を行う）。そして、生成部１１４は、生成ノードを用いて生成した出力データを、出力部１０２に供給する。
入出力関係連想記憶部１１５は、記憶部１１２Ａに記憶された入力用の時系列パターン記憶ネットワークを構成する各ノードのノードラベル（以下、適宜、入力ラベルという）と、記憶部１１２Ｂに記憶された出力用の時系列パターン記憶ネットワークを構成する各ノードのノードラベル（以下、適宜、出力ラベルという）とを対応付けて記憶する。そして、入出力関係連想記憶部１１５は、認識部１１３から供給されるノードラベル、即ち、入力ラベルに対応付けられている出力ラベルを、生成部１１４に供給する。
なお、入出力関係連想記憶部１１５において対応付けられる入力ラベルと出力ラベルとは、１対１であっても良いし、１対多や、多対１、多対多であっても良い。
以上のように構成されるデータ処理装置では、学習部１１１Ａは、そこに新たな時系列データとしての入力データが供給されると、その入力データを用いて、記憶部１１２Ａに記憶された入力用の時系列パターン記憶ネットワークの学習（オンライン学習）を行う。同様に、学習部１１１Ｂも、そこに新たな時系列データとしての出力データが供給されると、その出力データを用いて、記憶部１１２Ｂに記憶された出力用の時系列パターン記憶ネットワークの学習処理を行う。
ここで、学習部１１１Ａへの入力データの供給と、学習部１１１Ｂへの出力データの供給とは、例えば、その入力データと出力データとを対応付ける形で行われる。即ち、例えば、学習部１１１Ａへの入力データの供給と、学習部１１１Ｂへの出力データの供給とが同時に行われ、あるいは、学習部１１１Ａに入力データが供給され、続けて、学習部１１１Ｂに出力データが供給される。
この場合、記憶部１１２Ａに記憶された入力用の時系列パターン記憶ネットワークを構成するノードの入力ラベルと、記憶部１１２Ｂに記憶された出力用の時系列パターン記憶ネットワークを構成するノードの出力ラベルとを対応付けることができ、入出力関係連想記憶部１１５は、その対応付けを記憶する。
即ち、学習部１１１Ａでは、入力用の時系列パターン記憶ネットワークのノードから、入力データに対する勝者ノードが決定され、学習部１１１Ｂでも、出力用の時系列パターン記憶ネットワークのノードから、出力データに対する勝者ノードが決定される。
入出力関係連想記憶部１１５は、入力用の時系列パターン記憶ネットワークにおいて、入力データに対する勝者ノードとなったノードのノードラベル（入力ラベル）を、認識部１１３を介して認識するとともに、出力用の時系列パターン記憶ネットワークにおいて、入力データに対応する出力データに対する勝者ノードとなったノードのノードラベル（出力ラベル）を、生成部１１４を介して認識し、その入力ラベルと出力ラベルとを対応付けて記憶する。
従って、例えば、ユーザの発話に応じてマイクから出力される音声データを、入力データとして、学習部１１１Ａに供給し、その発話に対するロボットの応答としての、合成音の音声データや、あるアクションを起こすためのモータの駆動信号などを、ユーザに指定してもらい、出力データとして、学習部１１１Ｂに供給すると、入出力関係連想記憶部１１５では、ユーザの発話に対応する入力データ（音声データ）に対する勝者ノードの入力ラベルと、その発話に対してロボットが行う応答に対応する出力データに対する勝者ノードの出力ラベルとが対応付けて記憶される。
その結果、その後、ユーザが発話を行い、その発話に対応する音声データとしての入力データが、入力部１０１からデータ処理部１０３に供給されると、データ処理部１０３では、ユーザがその発話に対して指定した出力データが、出力部１０２に供給され、これにより、ロボットでは、その出力データに対応する応答、つまり、例えば、合成音の出力やアクションが行われる。
即ち、ユーザが発話を行い、その発話に対応する音声データとしての入力データが、入力部１０１からデータ処理部１０３に供給されると、データ処理部１０３では、認識部１１３において、入力部１０１からの入力データが、記憶部１１２Ａに記憶された入力用の時系列パターン記憶ネットワークを用いて認識され、その認識結果としての勝者ノードの入力ラベルが、入出力関係連想記憶部１１５に供給される。
入出力関係連想記憶部１１５では、認識部１１３から供給された入力ラベルに対応付けられている出力ラベルが、生成部１１４に供給される。
生成部１１４では、記憶部１１２Ｂに記憶された出力用の時系列パターン記憶ネットワークにおいて、入出力関係連想記憶部１１５からの出力ラベルが表すノードが、生成ノードとして決定され、その生成ノードを用いて、時系列データである出力データが生成されて、出力部１０２に供給される。
そして、出力部１０２では、例えば、データ処理部１０３からの出力データに対応する合成音がスピーカから出力され、あるいは、ロボットが出力データに対応するアクションを行うように、モータが駆動される。
その他、入力部１０１のマイクや、カメラ、キーボード、マウス等の入力デバイスから得られる任意の入力データの学習部１１１Ａへの供給と、出力部１０２のスピーカや、ディスプレイ、モータ等の出力デバイスに供給される任意の出力データの学習部１１１Ｂへの供給とを、その入力データと出力データとを対応付ける形で行うことにより、入出力関係連想記憶部１１５では、入力用の時系列パターン記憶ネットワークのノードの入力ラベルと、出力用の時系列パターン記憶ネットワークのノードの出力ラベルとが対応付けて記憶され、これにより、データ処理部１０３では、入力部１０１のマイクや、カメラ、キーボード、マウス等の入力デバイスから供給される入力データに対応して、出力部１０２のスピーカや、ディスプレイ、モータ等の出力デバイスに対し、様々な出力データを供給するようになる。
なお、入出力関係連想記憶部１１５での入力ラベルと出力ラベルとの対応付けは、例えば、入力ラベルと出力ラベルとが対応付けられているか、またはいないかを表すフラグである１ビットの対応付けフラグを用いることによって行うこともできるし、入力ラベルと出力ラベルとの対応付けの程度（結合の程度）を表す結合重みを用いることによって行うこともできる。
即ち、入出力関係連想記憶部１１５では、例えば、入力用の時系列パターン記憶ネットワークにおいて、入力データに対する勝者ノードとなったノードの入力ラベルと、出力用の時系列パターン記憶ネットワークにおいて、入力データに対応する出力データに対する勝者ノードとなったノードの出力ラベルとの対応付けを表す対応付けフラグを、対応付けがされていないことを表す０から、対応付けがされていることを表す１とすることにより、入力ラベルと出力ラベルとを対応付けることができる。
あるいは、また、入出力関係連想記憶部１１５では、例えば、入力用の時系列パターン記憶ネットワークにおいて、入力データに対する勝者ノードとなったノードの入力ラベルと、出力用の時系列パターン記憶ネットワークにおいて、入力データに対応する出力データに対する勝者ノードとなったノードの出力ラベルとの結合の程度を表す結合重みを１だけインクリメントすることにより、入力ラベルと出力ラベルとを対応付ける（入力ラベルと出力ラベルとの結合の程度を強化する）ことができる。
入出力関係連想記憶部１１５において、対応付けフラグが用いられる場合には、例えば、認識部１１３からの入力ラベルとの対応付けフラグが１になっている出力ラベルのすべてが、生成部１１４に供給される。また、入出力関係連想記憶部１１５において、結合重みが用いられる場合には、例えば、認識部１１３からの入力ラベルとの結合重みが最も大きい出力ラベル、あるいは、認識部１１３からの入力ラベルとの結合重みが大きい順の複数の出力ラベルが、生成部１１４に供給される。そして、生成部１１４では、入出力関係連想記憶部１１５からの１以上の出力ラベルそれぞれが表す出力用の時系列パターン記憶ネットワークの１以上のノードに基づき、１以上の出力データが生成され、順次あるいは並列的に出力部１０２に供給される。
以上のように、例えば、ユーザから与えられる入力データと出力データを用いて、入力用と出力用の時系列パターン記憶ネットワークをそれぞれオンライン学習するとともに、入力ラベルと出力ラベルとの対応付けを行うことにより、様々な環境に応じて、入力データの認識と、その入力データに応答する出力データの生成とを行うことが可能となる。
即ち、データ処理装置（が適用されたロボット）が実際に使用される環境には、例えば、ユーザの声質や発話速度の違い、照明条件の違い等の様々な違いがある。このような環境の違いを考慮して、入力データや出力データを、あらかじめ学習しておくことは困難であり、これが教師あり学習の最も大きな問題である。
これに対して、時系列パターン記憶ネットワークによれば、データ処理装置が実際に使用される環境ごとに、入力データや出力データを学習することができる。
さらに、時系列パターン記憶ネットワークによれば、学習すべき時系列パターンが不定であっても、つまり、幾つのカテゴリの入力データや出力データが入力されるかわからなくても、自律的に、入力データや出力データを分類することができるので、データ処理装置を使用するユーザに対してきめ細かい対応を行うことが可能となる。
次に、時系列パターン記憶ネットワークは、例えば、順モデルや逆モデルの獲得に応用することができる。
図２７は、順モデルと逆モデルの概念を示している。
ある時系列データである入力データに対して、他の時系列データである出力データを出力する制御対象が与えられ、制御対象に関する詳細な情報はわからないが（制御対象の内部がわからないが）、制御対象に与えられる入力データと、その入力データに対して制御対象から得られる出力データは観測することができることとする。
ここで、制御対象に与えられる入力データと、その入力データに対して制御対象から得られる出力データは、観測することができれば、どのような物理量でも良い。また、制御対象は、入力データを与えることができ、かつ、その入力データに対応した出力データを得ることができるものであれば、どのような対象（もの）でも良い。
従って、例えば、ボールや、楽器、自動車、ガスヒータなどが、制御対象となり得る。即ち、例えば、ボールについては、入力データとしての力を加える（与える）ことで、その入力データに対応して変化する出力データとしてのボールの位置や速度が得られる。また、例えば、自動車については、入力データとしてのハンドルや、アクセル、ブレーキなどの操作をする（与える）ことで、その入力データに対応して変化する出力データとしての自動車の位置や速度を得ることができる。さらに、例えば、ガスヒータについては、入力データとしての火力を調整する操作をすることで、その入力データに対応して変化する出力データとしての部屋の温度を得ることができる。
以上のように、制御対象に入力データを与え、それに対応して出力データが得られる場合に、その制御対象をモデル化したものが順モデルである。
順モデルは、入力データを入力すると、その入力データに対して、制御対象から得られる出力データの推定値を出力する。従って、順モデルによれば、制御対象に対して、実際の入力データを与えなくても、その入力データに対して、制御対象から得られる出力データを推定することができる。
一方、制御対象から得られる出力データの目標値を決定し、その目標値となる出力データを得るために、制御対象に与えるべき入力データを推定することができるモデルが逆モデルである。順モデルは、入力データから出力データへの写像とみなすことができるが、この場合、その逆写像が逆モデルである。
ここで、逆モデルによって求められる、目標値となる出力データを得るために、制御対象に与えるべき入力データを、以下、適宜、制御データともいう。
順モデルおよび逆モデルのいずれも、観測することができる入力データと、その入力データに対する出力データだけを用いて求める（推定する）必要がある。
しかしながら、現実の制御対象は複雑であり、順モデルや逆モデルを、単純な線形システムとしてモデル化すると、出力データや制御データの推定誤差が大になり、高精度の推定を行うことができなくなる。
時系列パターン記憶ネットワークは、制御対象を、線形システムによって高精度の順モデルや逆モデルにモデル化することができる場合は勿論、制御対象を、線形システムによって高精度の順モデルや逆モデルにモデル化することができない場合であっても、非常に有効である。
即ち、時系列パターン記憶ネットワークは、順モデルや逆モデルに適用することができ、時系列パターン記憶ネットワークが適用された順モデルや逆モデルによれば、出力データや制御データを高精度に推定することができる。
図２８は、時系列パターン記憶ネットワークが適用された順モデルおよび逆モデルとしての結合ネットワークの構成例を模式的に示している。
結合ネットワークは、２つの時系列パターン記憶ネットワークnetinおよびnetoutで構成され、時系列パターン記憶ネットワークnetinの各ノードNi（i＝１，２，・・・，ノードの総数）と、時系列パターン記憶ネットワークnetoutの各ノードN'j（j＝１，２，・・・，ノードの総数）とは結合されている。
ここで、図２８において、時系列パターン記憶ネットワークnetinのノードNiと、時系列パターン記憶ネットワークnetoutのノードN'jとの間の矢印が、そのノードNiとN'jとの結合を表している。
なお、時系列パターン記憶ネットワークnetinおよびnetoutは、同一のノードとリンク（リンクがない場合を含む）を有するものであっても良いし、異なるノードまたはリンクを有する者であっても良い。また、時系列パターン記憶ネットワークnetinのノードNiが有する時系列パターンモデル２１（図４）と、時系列パターン記憶ネットワークnetoutのノードが有する時系列パターンモデル２１も、同一のモデルであっても良いし、異なるモデルであっても良い。
次に、図２９は、本発明を適用したデータ処理装置の第３実施の形態の構成例、即ち、図２８の結合ネットワークを扱うデータ処理装置の構成例を示すブロック図である。
図２９のデータ処理装置では、図２８の結合ネットワークによって制御対象を順モデルおよび逆モデルにモデル化し、さらに、その順モデルおよび逆モデルとしての結合ネットワークを用いて、制御対象から得られる出力データや、制御対象に与えるべき制御データ（入力データ）を推定する。
即ち、図２９において、データ処理装置は、記憶部２１１、学習部２１２、および認識生成部２１３から構成されている。
記憶部２１１は、図２８に示した結合ネットワークを記憶する。
学習部２１２には、モデル化しようとする制御対象に与えられた入力データ（の観測値）と、その入力データに対して制御対象から得られた出力データ（の観測値）とのセットである観測データが供給されるようになっている。ここで、観測データは、ある区間の時系列データ（ある時間に亘る時系列データ）である入力データと、その区間の時系列データに対して制御対象から得られる区間の他の時系列データである出力データとのセットである。
学習部２１２は、そこに供給される観測データを用い、結合ネットワークによって制御対象を順モデルおよび逆モデルにモデル化する、その結合ネットワークの学習を行う。
即ち、学習部２１２は、学習処理部２２１と結合重み更新部２２２から構成される。
学習処理部２２１は、図８に示した学習処理部３２と同様に構成され、学習部２１２に供給される観測データのうちの入力データに基づいて、記憶部２１１に記憶された結合ネットワーク（図２８）における時系列パターン記憶ネットワークnetinを、図２のデータ処理装置における場合と同様に、自己組織的に更新する。また、学習処理部２２１は、学習部２１２に供給される観測データのうちの出力データ（観測データにおいて、入力データとセットになっている出力データ）に基づいて、記憶部２１１に記憶された結合ネットワーク（図２８）における時系列パターン記憶ネットワークnetoutを、図２のデータ処理装置における場合と同様に、自己組織的に更新する。
さらに、学習処理部２２１は、時系列パターン記憶ネットワークnetinを更新するときに勝者ノードとなった、その時系列パターン記憶ネットワークnetinのノードNiのノードラベル（これも、以下、適宜、入力ラベルという）と、時系列パターン記憶ネットワークnetoutを更新するときに勝者ノードとなった、その時系列パターン記憶ネットワークnetoutのノードN'jのノードラベル（これも、以下、適宜、出力ラベルという）とをセットにしたラベルセットを、結合重み更新部２２２に供給する。
結合重み更新部２２２は、学習処理部２２１から供給されるラベルセットに基づき、記憶部２１１に記憶された結合ネットワーク（図２８）における時系列パターン記憶ネットワークnetoutのノードNiと、時系列パターン記憶ネットワークnetoutのノードN'jとの結合関係を更新する。
ここで、学習処理部２２１から結合重み更新部２２２に供給されるラベルセットは、入力ラベルと出力ラベルとのセットであり、入力ラベルは、観測データのうちの入力データに基づいて時系列パターン記憶ネットワークnetinを更新するときに勝者ノードとなった、その時系列パターン記憶ネットワークnetinのノードNiのノードラベルであるから、時系列パターン記憶ネットワークnetinにおいて、入力データに最も適合するノードNiのノードラベルである。
同様に、出力ラベルは、観測データのうちの出力データに基づいて時系列パターン記憶ネットワークnetoutを更新するときに勝者ノードとなった、その時系列パターン記憶ネットワークnetoutのノードN'jのノードラベルであるから、時系列パターン記憶ネットワークnetoutにおいて、出力データに最も適合するノードN'jのノードラベルである。
結合重み更新部２２２では、時系列パターン記憶ネットワークnetinのノードのうちの、観測データにおける入力データに最も適合するノードである勝者ノードNiと、時系列パターン記憶ネットワークnetoutのノードのうちの、観測データにおける出力データに最も適合するノードである勝者ノードN'jとの結合関係が更新される。
ここで、時系列パターン記憶ネットワークnetinのノードNiと、時系列パターン記憶ネットワークnetoutのノードN'jとの結合関係については、結合の度合いを表す結合重みが定義されており、ノードNiとN'jとの結合関係の更新では、そのノードNiとN'jとの結合の度合いを強めるように、結合重みが更新される。具体的には、例えば、ノードNiとN'jとの結合の度合いを表す結合重みが１だけインクリメントされる。
認識生成部２１３には、制御対象から得られる出力データを推定するための入力データ、または制御対象から得られる出力データをある目標値とするのに制御対象に与えるべき入力データ（制御データ）を推定するための出力データが供給される。
そして、認識生成部２１３は、入力データが供給された場合は、記憶部２１１に記憶された結合ネットワークにおける時系列パターン記憶ネットワークnetinにおいて、その入力データに最も適合する勝者ノードNiを決定し、その勝者ノードNiとの結合重みが最も強い、時系列パターン記憶ネットワークnetoutのノードを、その入力データに対する出力データの推定値としての時系列データを生成する生成ノードN'jとして決定する。さらに、認識生成部２１３は、生成ノードN'jが有する時系列パターンモデル２１（図４）に基づいて、出力データ（の推定値）を生成して出力する。
また、認識生成部２１３は、出力データが供給された場合は、記憶部２１１に記憶された結合ネットワークにおける時系列パターン記憶ネットワークnetoutにおいて、その出力データに最も適合する勝者ノードN'jを決定し、その勝者ノードN'jとの結合重みが最も強い、時系列パターン記憶ネットワークnetinのノードを、その出力データが得られるときに制御モデルに与えられる制御データ（入力データ）の推定値としての時系列データを生成する生成ノードNiとして決定する。さらに、認識生成部２１３は、生成ノードNiが有する時系列パターンモデル２１（図４）に基づいて、制御データ（の推定値）を生成して出力する。
即ち、認識生成部２１３は、スコア計算部２３１、勝者ノード決定部２３２、生成ノード決定部２３３、および時系列生成部２３４から構成される。
なお、スコア計算部２３１、勝者ノード決定部２３２、生成ノード決定部２３３、および時系列生成部２３４は、認識生成部２１３に供給されたデータが、入力データであるのか、または出力データであるのかを認識することができるようになっているものとする。即ち、認識生成部２１３に対しては、そこに供給されるデータとは別に、あるいは、そこに供給されるデータとともに、そのデータが、入力データまたは出力データのうちのいずれであるのかを表す情報が供給されるようになっており、これにより、スコア計算部２３１、勝者ノード決定部２３２、生成ノード決定部２３３、および時系列生成部２３４は、認識生成部２１３に供給されたデータが、入力データであるのか、または出力データであるのかを認識する。
スコア計算部２３１は、認識生成部２１３に供給されたデータに対して、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinの各ノードNi、または時系列パターン記憶ネットワークnetoutの各ノードN'jが適合する度合いであるスコアを、図１３の認識部３のスコア計算部２３１における場合と同様にして計算し、勝者ノード決定部２３２に供給する。
即ち、スコア計算部２３１は、認識生成部２１３に供給されたデータが入力データである場合、その入力データに対して、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinの各ノードNiのスコアを計算し、勝者ノード決定部２３２に供給する。また、スコア計算部２３１は、認識生成部２１３に供給されたデータが出力データである場合、その出力データに対して、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutの各ノードN'jのスコアを計算し、勝者ノード決定部２３２に供給する。
勝者ノード決定部２３２は、図１３の認識部３の勝者ノード決定部５２における場合と同様に、スコア計算部２３１から供給されるスコアが最も高いノードを勝者ノードに決定し、その勝者ノードを表すノードラベルを、生成ノード決定部２３３に供給する。
従って、認識生成部２１３に供給されたデータが入力データである場合、勝者ノード決定部２３２では、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinのノードの中で、スコア計算部２３１から供給される、入力データに対するスコアが最も高いノードが、勝者ノードNiに決定され、その勝者ノードNiを表す入力ラベルが、生成ノード決定部２３３に供給される。また、認識生成部２１３に供給されたデータが出力データである場合、勝者ノード決定部２３２では、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutのノードの中で、スコア計算部２３１から供給される、出力データに対するスコアが最も高いノードが、勝者ノードN'jに決定され、その勝者ノードN'jを表す出力ラベルが、生成ノード決定部２３３に供給される。
生成ノード決定部２３３は、勝者ノード決定部２３２から入力ラベルが供給された場合、即ち、認識生成部２１３に供給されたデータが入力データである場合、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutのノードの中で、勝者ノード決定部２３２からの入力ラベルが表すノードNiとの結合重みが最も強いノードN'jを生成ノードとして決定し、その生成ノードN'jを表す出力ラベルを、時系列生成部２３４に供給する。また、生成ノード決定部２３３は、勝者ノード決定部２３２から出力ラベルが供給された場合、即ち、認識生成部２１３に供給されたデータが出力データである場合、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinのノードの中で、勝者ノード決定部２３２からの出力ラベルが表すノードN'jとの結合重みが最も強いノードNiを生成ノードとして決定し、その生成ノードNiを表す入力ラベルを、時系列生成部２３４に供給する。
時系列生成部２３４は、生成ノード決定部２３３から出力ラベルが供給された場合、認識生成部２１３に供給されたデータが入力データである場合、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutのノードのうちの、生成ノード決定部２３３からの出力ラベルが表すノードN'jが有する時系列パターンモデル２１（図４）に基づいて、認識生成部２１３に供給された入力データに対する出力データの推定値としての時系列データを、図１５の生成部６の時系列生成部６２における場合と同様にして生成する。
また、時系列生成部２３４は、生成ノード決定部２３３から入力ラベルが供給された場合、認識生成部２１３に供給されたデータが出力データである場合、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinのノードのうちの、生成ノード決定部２３３からの入力ラベルが表すノードNiが有する時系列パターンモデル２１に基づいて、認識生成部２１３に供給された出力データに対する制御データ（入力データ）の推定値としての時系列データを、図１５の生成部６の時系列生成部６２における場合と同様にして生成する。
次に、図３０のフローチャートを参照して、図２９のデータ処理装置で行われる、結合ネットワークによる制御対象のモデル化、即ち、結合ネットワークの学習について説明する。
ステップＳ１０１において、入力データと出力データとのセットである観測データが、図２６のデータ処理装置に入力されると、その観測データは、学習部２１２の学習処理部２２１に供給される。
学習処理部２２１は、ステップＳ１０２において、観測データのうちの入力データに基づいて、記憶部２１１に記憶された結合ネットワーク（図２８）における時系列パターン記憶ネットワークnetinを、自己組織的に更新し、ステップＳ１０３に進む。ステップＳ１０３では、学習処理部２２１は、観測データのうちの出力データに基づいて、記憶部２１１に記憶された結合ネットワークにおける時系列パターン記憶ネットワークnetoutを、自己組織的に更新する。
そして、学習処理部２２１は、時系列パターン記憶ネットワークnetinを更新するときに勝者ノードとなった、その時系列パターン記憶ネットワークnetinのノードNiの入力ラベルと、時系列パターン記憶ネットワークnetoutを更新するときに勝者ノードとなった、その時系列パターン記憶ネットワークnetoutのノードN'jの出力ラベルとのセットであるラベルセットを、結合重み更新部２２２に供給する。
結合重み更新部２２２は、ステップＳ１０４において、学習処理部２２１から供給されるラベルセットに基づき、記憶部２１１に記憶された結合ネットワーク（図２８）における時系列パターン記憶ネットワークnetoutのノードNiと、時系列パターン記憶ネットワークnetoutのノードN'jとの結合重みを、そのノードN1とN'jとの結合を強める（強化する）ように更新する。
即ち、結合重みは、学習の開始時に、例えば、すべて０にリセットされるようになっており、結合重み更新部２２２は、ステップＳ１０４において、学習処理部２２１から供給されるラベルセットのうちの入力ラベルが表すノードNiと、出力ラベルが表すノードN'jとの結合重みを、１だけインクリメントする。
そして、ステップＳ１０４からＳ１０１に戻り、次の観測データが入力されるのを待って、以下、同様の処理が繰り返される。
多数の観測データが入力され、ステップＳ１０１乃至Ｓ１０４の処理が繰り返されることにより、記憶部２１１に記憶された結合ネットワークは、制御対象に対応する順モデルとなっていくとともに、逆モデルにもなっていく。
次に、図３１のフローチャートを参照して、順モデルおよび逆モデルとしての結合ネットワークを用いて、入力データに対する出力データや、出力データに対する制御データ（入力データ）を推定する処理について説明する。
まず、図２９のデータ処理装置において、入力データに対する出力データを推定する場合、ステップＳ１１１において、その入力データが、図２９のデータ処理装置に入力される。
データ処理装置に入力された入力データは、認識生成部２１３のスコア計算部２３１に供給される。
スコア計算部２３１は、ステップＳ１１２において、そこに供給された入力データに対して、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinの各ノードNiのスコアを計算し、勝者ノード決定部２３２に供給する。
勝者ノード決定部２３２は、ステップＳ１１３において、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinのノードの中で、スコア計算部２３１からのスコアが最も高いノードを、勝者ノードNiに決定し、その勝者ノードNiを表す入力ラベルを、生成ノード決定部２３３に供給する。
生成ノード決定部２３３は、ステップＳ１１４において、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutのノードの中で、勝者ノード決定部２３２からの入力ラベルが表すノードNiとの結合重みが最も強いノードN'jを生成ノードとして決定し、その生成ノードN'jを表す出力ラベルを、時系列生成部２３４に供給する。
時系列生成部２３４は、ステップＳ１１５において、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutのノードのうちの、生成ノード決定部２３３からの出力ラベルが表すノードN'jが有する時系列パターンモデル２１（図４）に基づいて、認識生成部２１３に供給された入力データに対する出力データの推定値としての時系列データを生成して、ステップＳ１１６に進み、その時系列データを出力する。
次に、図２９のデータ処理装置において、出力データに対する制御データ（入力データ）を推定する場合には、ステップＳ１１１において、その出力データが、図２９のデータ処理装置に入力される。
データ処理装置に入力された出力データは、認識生成部２１３のスコア計算部２３１に供給される。
スコア計算部２３１は、ステップＳ１１２において、そこに供給された出力データに対して、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutの各ノードN'jのスコアを計算し、勝者ノード決定部２３２に供給する。
勝者ノード決定部２３２は、ステップＳ１１３において、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetoutのノードの中で、スコア計算部２３１からのスコアが最も高いノードを、勝者ノードN'jに決定し、その勝者ノードN'jを表す出力ラベルを、生成ノード決定部２３３に供給する。
生成ノード決定部２３３は、ステップＳ１１４において、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinのノードの中で、勝者ノード決定部２３２からの出力ラベルが表すノードN'jとの結合重みが最も強いノードNiを生成ノードとして決定し、その生成ノードNiを表す入力ラベルを、時系列生成部２３４に供給する。
時系列生成部２３４は、ステップＳ１１５において、記憶部２１１に記憶された結合ネットワークを構成する時系列パターン記憶ネットワークnetinのノードのうちの、生成ノード決定部２３３からの入力ラベルが表すノードNiが有する時系列パターンモデル２１に基づいて、認識生成部２１３に供給された出力データに対する制御データ（入力データ）の推定値としての時系列データを生成して、ステップＳ１１６に進み、その時系列データを出力する。
以上のように、入力データと出力データとのセットを用いて、結合ネットワークの学習を行い、制御対象を順モデルおよび逆モデルにモデル化することにより、制御対象を精度良く表現し、高精度に、出力データや制御データ（入力データ）を推定することが可能となる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
従来の教師あり学習の一例を説明するための図である。 本発明を適用したデータ処理装置の第１実施の形態の構成例を示すブロック図である。 時系列パターン記憶ネットワークの第１の構成例を示す図である。 ノードの構成例を示す図である。 時系列パターン記憶ネットワークの第２の構成例を示す図である。 時系列パターン記憶ネットワークの第３の構成例を示す図である。 学習部４の構成例を示すブロック図である。 学習処理部３２の構成例を示すブロック図である。 更新重みを決定する決定方法を説明するための図である。 学習データ記憶部２２に記憶させる学習データを更新する更新方法を説明するための図である。 学習処理を説明するフローチャートである。 初期化処理を説明するフローチャートである。 認識部３の構成例を示すブロック図である。 認識処理を説明するフローチャートである。 生成部６の構成例を示すブロック図である。 生成処理を説明するフローチャートである。 学習の回数と、正解率との関係を示す図である。 各ノードが有する学習データ記憶部２２に保持された学習データのカテゴリの割合を示す図である。 音声データの認識結果を示す図である。 時系列パターン記憶ネットワークの学習結果を示す図である。 ノードの他の構成例を示す図である。 関数f()がニューラルネットワークによって表現されている場合のノードNiの構成例を示す図である。 リカレントニューラルネットワークの教師あり学習を説明するための図である。 リカレントニューラルネットワークの教師なし学習を説明するための図である。 リカレントニューラルネットワークを有するノードで構成される時系列パターン記憶ネットワークの学習を説明するための図である。 本発明を適用したデータ処理装置の第２実施の形態の構成例を示すブロック図である。 制御対象と、順モデルおよび逆モデルとを説明するための図である。 結合ネットワークの構成例を示す図である。 本発明を適用したデータ処理装置の第３実施の形態の構成例を示すブロック図である。 結合ネットワークの学習を説明するフローチャートである。 結合ネットワークを用いて、出力データまたは制御データを推定する処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１ 信号入力部， ２ 特徴抽出部， ３ 認識部， ４ 学習部， ５ 記憶部， ６ 生成部， ２１ 時系列パターンモデル， ２２，３１ 学習データ記憶部， ３２ 学習処理部， ４１ スコア計算部， ４２ 勝者ノード決定部， ４３ 重み決定部， ４４ 学習データ更新部， ４５ モデル学習部， ５１ スコア計算部， ５２ 勝者ノード決定部， ５３ 出力部， ６１ 生成ノード決定部， ６２ 時系列決定部， ６３ 出力部， １０１ 入力部， １０２ 出力部， １０３ データ処理部， １１１Ａ，１１１Ｂ 学習部， １１２Ａ，１１２Ｂ 記憶部， １１３ 認識部， １１４ 生成部， １１５ 入出力関係連想記憶部， ２１１ 記憶部， ２１２ 学習部， ２１３ 認識生成部， ２２１ 学習処理部， ２２２ 結合重み更新部， ２３１ スコア計算部， ２３２ 勝者ノード決定部， ２３３ 生成ノード決定部， ２３４ 時系列生成部， ３０１ バス， ３０２ CPU， ３０３ ROM， ３０４ RAM， ３０５ ハードディスク， ３０６ 出力部， ３０７ 入力部， ３０８ 通信部， ３０９ ドライブ， ３１０ 入出力インタフェース， ３１１ リムーバブル記録媒体

Claims (31)

  1. 時系列のデータである時系列データに基づき、学習を行う学習装置において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、前記時系列データの観測値に基づいて、自己組織的に更新する学習手段を備える
    ことを特徴とする学習装置。
  2. 前記時系列パターンモデルは、状態遷移を有する確率モデルである状態遷移確率モデル、または関数を近似する関数近似モデルである
    ことを特徴とする請求項１に記載の学習装置。
  3. 前記時系列パターンモデルは、HMM（Hidden Markov Model）である
    ことを特徴とする請求項１に記載の学習装置。
  4. 前記学習手段は、
    前記時系列パターン記憶ネットワークを構成する複数のノードのうちの、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定手段と、
    前記勝者ノードが有する前記時系列パターンモデルを、前記時系列データの観測値に基づいて更新するモデル更新手段と
    を有する
    ことを特徴とする請求項１に記載の学習装置。
  5. 前記モデル更新手段は、前記勝者ノード以外のノードが有する前記時系列パターンモデルも、前記時系列データの観測値に基づいて更新する
    ことを特徴とする請求項４に記載の学習装置。
  6. 前記学習手段は、前記ノードが有する前記時系列パターンモデルの更新によって、その時系列パターンモデルが受ける前記時系列データの観測値の影響の度合いを表す重みを、前記ノードに対して決定する重み決定手段をさらに有し、
    前記モデル更新手段は、前記勝者ノードが有する前記時系列パターンモデルと、前記勝者ノード以外のノードが有する前記時系列パターンモデルとを、前記時系列データの観測値、および前記重みに基づいて更新する
    ことを特徴とする請求項５に記載の学習装置。
  7. 前記重み決定手段は、前記勝者ノードからの所定の距離に対応して、前記ノードに対する重みを決定する
    ことを特徴とする請求項６に記載の学習装置。
  8. 前記重み決定手段は、前記勝者ノードとの結合関係に基づく前記所定の距離に対応して、前記ノードに対する重みを決定する
    ことを特徴とする請求項７に記載の学習装置。
  9. 前記重み決定手段は、前記ノードが前記時系列データの観測値に適合する度合いに基づく前記所定の距離に対応して、前記ノードに対する重みを決定する
    ことを特徴とする請求項７に記載の学習装置。
  10. 前記重み決定手段は、前記所定の距離の増加に対して前記重みが減少する、前記所定の距離と前記重みとの関係にしたがって、前記ノードに対する重みを決定し、
    前記所定の距離と前記重みとの関係は 前記時系列パターンモデルの更新の回数が増加するにしたがって、前記重みの変化が急峻になる
    ことを特徴とする請求項７に記載の学習装置。
  11. 前記ノードが有する前記時系列パターンモデルの学習に用いられる学習データを記憶する学習データ記憶手段をさらに備え、
    前記学習手段は、前記学習データ記憶手段に既に記憶されている前記学習データと、前記時系列データの観測値とを混合し、その混合結果を新たな学習データとして、前記学習データ記憶手段の記憶内容を更新する学習データ更新手段をさらに有し、
    前記モデル更新手段は、前記新たな学習データを用いて、前記ノードが有する前記時系列パターンモデルの学習を行うことにより、その時系列パターンモデルを更新する
    ことを特徴とする請求項５に記載の学習装置。
  12. 前記学習手段は、前記ノードが有する前記時系列パターンモデルの更新によって、その時系列パターンモデルが受ける前記時系列データの観測値の影響の度合いを表す重みを、前記ノードに対して決定する重み決定手段をさらに有し、
    前記学習データ更新手段は、前記ノードについての前記学習データ記憶手段に既に記憶されている前記学習データと、前記時系列データの観測値とを、前記ノードに対する重みにしたがって混合し、その混合結果を新たな学習データとして、前記学習データ記憶手段の記憶内容を更新する
    ことを特徴とする請求項１１に記載の学習装置。
  13. 前記重み決定手段は、前記勝者ノードからの所定の距離の増加に対して前記重みが減少する、前記所定の距離と前記重みとの関係にしたがって、前記ノードに対する重みを決定し、
    前記所定の距離と前記重みとの関係は 前記時系列パターンモデルの更新の回数が増加するにしたがって、前記重みの変化が急峻になる
    ことを特徴とする請求項１２に記載の学習装置。
  14. 時系列のデータである時系列データに基づき、学習を行う学習方法において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、前記時系列データの観測値に基づいて、自己組織的に更新する学習ステップを含む
    ことを特徴とする学習方法。
  15. 時系列のデータである時系列データに基づきく学習を、コンピュータに行わせるプログラムにおいて、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークを、前記時系列データの観測値に基づいて、自己組織的に更新する学習ステップを含む
    ことを特徴とするプログラム。
  16. 時系列のデータである時系列データの観測値を認識する認識装置において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定手段と、
    前記勝者ノードを表す情報を、前記時系列データの観測値の認識結果として出力する出力手段と
    を備えることを特徴とする認識装置。
  17. 前記時系列パターンモデルは、状態遷移を有する確率モデルである状態遷移確率モデル、または関数を近似する関数近似モデルである
    ことを特徴とする請求項１６に記載の認識装置。
  18. 前記時系列パターンモデルは、HMM（Hidden Markov Model）である
    ことを特徴とする請求項１６に記載の認識装置。
  19. 時系列のデータである時系列データの観測値を認識する認識方法において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、
    前記勝者ノードを表す情報を、前記時系列データの観測値の認識結果として出力する出力ステップと
    を含むことを特徴とする認識方法。
  20. 時系列のデータである時系列データの観測値を認識する処理を、コンピュータに行わせるプログラムにおいて、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、前記時系列データの観測値に最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、
    前記勝者ノードを表す情報を、前記時系列データの観測値の認識結果として出力する出力ステップと
    を含むことを特徴とするプログラム。
  21. 時系列のデータである時系列データを生成する生成装置において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定手段と、
    前記ノード決定手段において決定されたノードが有する前記時系列パターンモデルに基づいて、前記時系列データを生成する生成手段と
    を備えることを特徴とする生成装置。
  22. 前記時系列パターンモデルは、状態遷移を有する確率モデルである状態遷移確率モデル、または関数を近似する関数近似モデルである
    ことを特徴とする請求項２１に記載の生成装置。
  23. 前記時系列パターンモデルは、HMM（Hidden Markov Model）である
    ことを特徴とする請求項２１に記載の生成装置。
  24. 時系列のデータである時系列データを生成する生成方法において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定ステップと、
    前記ノード決定ステップにおいて決定されたノードが有する前記時系列パターンモデルに基づいて、前記時系列データを生成する生成ステップと
    を含むことを特徴とする生成方法。
  25. 時系列のデータである時系列データを生成する処理を、コンピュータに行わせるプログラムにおいて、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである時系列パターン記憶ネットワークにおいて、外部から入力される信号が表すノードを決定するノード決定ステップと、
    前記ノード決定ステップにおいて決定されたノードが有する前記時系列パターンモデルに基づいて、前記時系列データを生成する生成ステップと
    を含むことを特徴とするプログラム。
  26. 時系列のデータである時系列データに基づき、学習を行う学習装置において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワークを、所定の制御対象に入力される前記時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、前記第２の時系列パターン記憶ネットワークを、前記所定の制御対象が前記入力データに対して出力する前記時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習手段と、
    前記第１の時系列パターン記憶ネットワークのノードのうちの、前記入力データの観測値に適合するノードである第１のノードと、前記第２の時系列パターン記憶ネットワークのノードのうちの、前記入力データに対応する前記出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新手段と
    を備えることを特徴とする学習装置。
  27. 時系列のデータである時系列データに基づき、学習を行う学習方法において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワークを、所定の制御対象に入力される前記時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、前記第２の時系列パターン記憶ネットワークを、前記所定の制御対象が前記入力データに対して出力する前記時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習ステップと、
    前記第１の時系列パターン記憶ネットワークのノードのうちの、前記入力データの観測値に適合するノードである第１のノードと、前記第２の時系列パターン記憶ネットワークのノードのうちの、前記入力データに対応する前記出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新ステップと
    を含むことを特徴とする学習方法。
  28. 時系列のデータである時系列データに基づく学習を、コンピュータに行わせるプログラムにおいて、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワークを、所定の制御対象に入力される前記時系列データとしての入力データの観測値に基づいて、自己組織的に更新するとともに、前記第２の時系列パターン記憶ネットワークを、前記所定の制御対象が前記入力データに対して出力する前記時系列データとしての出力データの観測値に基づいて、自己組織的に更新する学習ステップと、
    前記第１の時系列パターン記憶ネットワークのノードのうちの、前記入力データの観測値に適合するノードである第１のノードと、前記第２の時系列パターン記憶ネットワークのノードのうちの、前記入力データに対応する前記出力データの観測値に適合するノードである第２のノードとの結合関係を更新する更新ステップと
    を含むことを特徴とするプログラム。
  29. 時系列のデータである時系列データに対して、他の時系列データを生成する生成装置において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワークにおいて、前記時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定手段と、
    前記第２の時系列パターン記憶ネットワークにおいて、前記勝者ノードとの結合の度合いが強いノードを、前記他の時系列データを生成する生成ノードとして決定する生成ノード決定手段と、
    前記生成ノードが有する前記時系列パターンモデルに基づいて、前記他の時系列データを生成する生成手段と
    を備えることを特徴とする生成装置。
  30. 時系列のデータである時系列データに対して、他の時系列データを生成する生成方法において、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワークにおいて、前記時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、
    前記第２の時系列パターン記憶ネットワークにおいて、前記勝者ノードとの結合の度合いが強いノードを、前記他の時系列データを生成する生成ノードとして決定する生成ノード決定ステップと、
    前記生成ノードが有する前記時系列パターンモデルに基づいて、前記他の時系列データを生成する生成ステップと
    を含むことを特徴とする生成方法。
  31. 時系列のデータである時系列データに対して、他の時系列データを生成する処理を、コンピュータに行わせるプログラムにおいて、
    前記時系列データのパターンである時系列パターンを表現する時系列パターンモデルを有する複数のノードから構成されるネットワークである第１と第２の時系列パターン記憶ネットワークのノードどうしを結合した結合ネットワークにおける前記第１の時系列パターン記憶ネットワークにおいて、前記時系列データに最も適合するノードである勝者ノードを決定する勝者ノード決定ステップと、
    前記第２の時系列パターン記憶ネットワークにおいて、前記勝者ノードとの結合の度合いが強いノードを、前記他の時系列データを生成する生成ノードとして決定する生成ノード決定ステップと、
    前記生成ノードが有する前記時系列パターンモデルに基づいて、前記他の時系列データを生成する生成ステップと
    を含むことを特徴とするプログラム。
JP2004353382A 2004-12-06 2004-12-06 学習装置および学習方法、並びにプログラム Expired - Fee Related JP4639784B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004353382A JP4639784B2 (ja) 2004-12-06 2004-12-06 学習装置および学習方法、並びにプログラム
EP05257427A EP1667107A1 (en) 2004-12-06 2005-12-02 Method and apparatus for learning data, method and apparatus for recognizing data, method and apparatus for generating data and computer program
US11/294,696 US7296005B2 (en) 2004-12-06 2005-12-05 Method and apparatus for learning data, method and apparatus for recognizing data, method and apparatus for generating data, and computer program
KR1020050118290A KR101182965B1 (ko) 2004-12-06 2005-12-06 데이터 학습용 방법 및 장치, 데이터 인식용 장치, 및 데이터 생성용 장치
CN2005101191859A CN1808414B (zh) 2004-12-06 2005-12-06 识别时序数据的观测值的识别设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004353382A JP4639784B2 (ja) 2004-12-06 2004-12-06 学習装置および学習方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006162898A true JP2006162898A (ja) 2006-06-22
JP4639784B2 JP4639784B2 (ja) 2011-02-23

Family

ID=36123926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004353382A Expired - Fee Related JP4639784B2 (ja) 2004-12-06 2004-12-06 学習装置および学習方法、並びにプログラム

Country Status (5)

Country Link
US (1) US7296005B2 (ja)
EP (1) EP1667107A1 (ja)
JP (1) JP4639784B2 (ja)
KR (1) KR101182965B1 (ja)
CN (1) CN1808414B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201665A (ja) * 2005-01-24 2006-08-03 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2006285882A (ja) * 2005-04-05 2006-10-19 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2008071255A (ja) * 2006-09-15 2008-03-27 Saga Univ 自己組織化マップを用いたパターン生成方法、そのプログラム及び装置
JP2008276290A (ja) * 2007-04-25 2008-11-13 Sony Corp データ処理装置、データ処理方法、及びプログラム
JP2009157119A (ja) * 2007-12-27 2009-07-16 Univ Of Ryukyus 音声単語自動獲得方法
US7725412B2 (en) 2006-04-06 2010-05-25 Sony Corporation Identifying temporal sequences using a recurrent self organizing map
US7783585B2 (en) 2006-04-06 2010-08-24 Sony Corporation Data processing device, data processing method, and program
JP2011086132A (ja) * 2009-10-16 2011-04-28 Tokyo Institute Of Technology 連想記憶装置、連想記憶方法、及びプログラム
US8195586B2 (en) 2008-05-28 2012-06-05 Sony Corporation Data processing apparatus, data processing method, and computer program for setting targets in a range and taking action to attain the target
US8645307B2 (en) 2010-08-12 2014-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating probabilistic graphical model based on time-space structure
CN105843978A (zh) * 2014-12-18 2016-08-10 达索系统西姆利亚公司 基于数据的交互式3d体验
US11100388B2 (en) 2016-11-22 2021-08-24 International Business Machines Corporation Learning apparatus and method for learning a model corresponding to real number time-series input data

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280054A (ja) * 2006-04-06 2007-10-25 Sony Corp 学習装置および学習方法、並びにプログラム
WO2009114649A2 (en) 2008-03-12 2009-09-17 Aptima, Inc. Probabilistic decision making system and methods of use
WO2009152459A1 (en) * 2008-06-12 2009-12-17 Numenta, Inc. Hierarchical temporal memory system with higher-order temporal pooling capability
US8762306B2 (en) * 2008-08-14 2014-06-24 The University Of Toledo Neural network for glucose therapy recommendation
US8572071B2 (en) * 2008-12-19 2013-10-29 Rutgers, The State University Of New Jersey Systems and methods for data transformation using higher order learning
JP2011059817A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP2011059816A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP2011059815A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5633734B2 (ja) * 2009-11-11 2014-12-03 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US8490056B2 (en) * 2010-04-28 2013-07-16 International Business Machines Corporation Automatic identification of subroutines from test scripts
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US20120109563A1 (en) * 2010-10-29 2012-05-03 President And Fellows Of Harvard College Method and apparatus for quantifying a best match between series of time uncertain measurements
CN102567397B (zh) * 2010-12-30 2014-08-06 高德软件有限公司 兴趣点、连锁店分店兴趣点关联标记的方法与装置
US10290221B2 (en) * 2012-04-27 2019-05-14 Aptima, Inc. Systems and methods to customize student instruction
US10552764B1 (en) 2012-04-27 2020-02-04 Aptima, Inc. Machine learning system for a training model of an adaptive trainer
US9311600B1 (en) 2012-06-03 2016-04-12 Mark Bishop Ring Method and system for mapping states and actions of an intelligent agent
WO2014055718A1 (en) 2012-10-04 2014-04-10 Aptima, Inc. Clinical support systems and methods
US10438156B2 (en) 2013-03-13 2019-10-08 Aptima, Inc. Systems and methods to provide training guidance
CN103246963B (zh) * 2013-05-24 2016-02-24 上海和伍信息技术有限公司 基于物联网的员工培训系统
US10867597B2 (en) * 2013-09-02 2020-12-15 Microsoft Technology Licensing, Llc Assignment of semantic labels to a sequence of words using neural network architectures
US9613619B2 (en) * 2013-10-30 2017-04-04 Genesys Telecommunications Laboratories, Inc. Predicting recognition quality of a phrase in automatic speech recognition systems
US20150228277A1 (en) * 2014-02-11 2015-08-13 Malaspina Labs (Barbados), Inc. Voiced Sound Pattern Detection
US10127901B2 (en) 2014-06-13 2018-11-13 Microsoft Technology Licensing, Llc Hyper-structure recurrent neural networks for text-to-speech
US10360498B2 (en) * 2014-12-18 2019-07-23 Facebook, Inc. Unsupervised training sets for content classification
US11464456B2 (en) 2015-08-07 2022-10-11 Aptima, Inc. Systems and methods to support medical therapy decisions
JP6611679B2 (ja) * 2016-06-30 2019-11-27 株式会社日立製作所 データ生成方法及び計算機システム
JP6814981B2 (ja) * 2016-07-21 2021-01-20 パナソニックＩｐマネジメント株式会社 学習装置、識別装置、学習識別システム、及び、プログラム
US20180113951A1 (en) * 2016-10-20 2018-04-26 Micron Technology, Inc. Graph traversal using automata processor
US10783801B1 (en) 2016-12-21 2020-09-22 Aptima, Inc. Simulation based training system for measurement of team cognitive load to automatically customize simulation content
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US10579689B2 (en) * 2017-02-08 2020-03-03 International Business Machines Corporation Visualization and augmentation of human knowledge construction during material consumption
CN110326004B (zh) * 2017-02-24 2023-06-30 谷歌有限责任公司 使用路径一致性学习训练策略神经网络
KR102068182B1 (ko) * 2017-04-21 2020-01-20 엘지전자 주식회사 음성 인식 장치, 및 음성 인식 시스템
CN107239628A (zh) * 2017-06-15 2017-10-10 清华大学 一种基于动态时序图的不确定性机车仿真模型系统构建方法
CN107526967B (zh) * 2017-07-05 2020-06-02 阿里巴巴集团控股有限公司 一种风险地址识别方法、装置以及电子设备
KR102110319B1 (ko) 2018-05-16 2020-05-13 두산중공업 주식회사 학습 데이터 생성 시스템
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
KR102501530B1 (ko) * 2018-12-31 2023-02-21 한국전자통신연구원 시계열 데이터 처리 장치 및 이의 동작 방법
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
DE102019107576A1 (de) * 2019-03-25 2020-10-01 Phoenix Contact Gmbh & Co. Kg Kombinatorik von digitalen Ausgangsdaten zur autonomen Ermittlung von Prozesszyklen und von einzelnen Prozessschritten
US20200364503A1 (en) * 2019-05-15 2020-11-19 International Business Machines Corporation Accurate ensemble by mutating neural network parameters
CN110313918A (zh) * 2019-07-17 2019-10-11 军事科学院系统工程研究院军需工程技术研究所 一种基于足底压力的步态相位识别方法及系统
US10656923B1 (en) * 2019-07-31 2020-05-19 Capital One Services, Llc Systems for determining regulatory compliance of smart contracts
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
KR102501525B1 (ko) * 2019-12-11 2023-02-22 한국전자통신연구원 시계열 데이터 처리 장치 및 이의 동작 방법
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11797827B2 (en) * 2019-12-11 2023-10-24 Inait Sa Input into a neural network
CN113807522B (zh) * 2021-03-03 2024-07-23 京东科技控股股份有限公司 贝叶斯网络结构的生成方法、装置、电子设备和存储介质
CN114268323B (zh) * 2021-12-24 2023-07-07 成都索贝数码科技股份有限公司 支持行存的数据压缩编码方法、装置及时序数据库
CN116028662B (zh) * 2023-02-15 2023-06-13 武汉理工大学三亚科教创新园 基于无监督交互式对齐的海洋遥感图像音频检索方法
CN116738191B (zh) * 2023-06-14 2024-07-26 苏州光格科技股份有限公司 时序数据的增强处理方法、装置和计算机设备
CN117951585A (zh) * 2024-03-27 2024-04-30 国网山东省电力公司曲阜市供电公司 一种电力设备运行状态实时检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122114A (ja) * 1997-10-16 1999-04-30 Sony Corp コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法
JP2005516282A (ja) * 2002-01-22 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 学習レートの非単調変化による性能の改善を伴う自己組織化特徴マップ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964507B2 (ja) * 1989-12-12 1999-10-18 松下電器産業株式会社 Ｈｍｍ装置
JP2558943B2 (ja) 1990-10-19 1996-11-27 富士通株式会社 ニューラルネットワークを用いた人間の動作自動認識装置
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
JPH06231106A (ja) 1993-01-29 1994-08-19 Hitachi Ltd リカレント型ニューラルネットワーク学習方法及び装置
US5724487A (en) * 1995-07-07 1998-03-03 Streit; Roy L. Neural network for maximum likelihood classification with supervised and unsupervised training capability
DE69941499D1 (de) * 1998-10-09 2009-11-12 Sony Corp Vorrichtungen und Verfahren zum Lernen und Anwenden eines Abstand-Transition-Modelles
JP2002311988A (ja) 2001-04-11 2002-10-25 Sony Corp プログラム、記録媒体、情報処理方法、および情報処理装置
WO2003012713A1 (en) * 2001-07-30 2003-02-13 Compudigm International Limited Data visualisation system and method
JP2004318700A (ja) * 2003-04-18 2004-11-11 Tsutomu Miyoshi 自己組織化ネットワークの特徴マップ形成制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122114A (ja) * 1997-10-16 1999-04-30 Sony Corp コードブック作成装置およびコードブック作成方法、並びにベクトル量子化装置およびベクトル量子化方法
JP2005516282A (ja) * 2002-01-22 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 学習レートの非単調変化による性能の改善を伴う自己組織化特徴マップ

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201665A (ja) * 2005-01-24 2006-08-03 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP4534769B2 (ja) * 2005-01-24 2010-09-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2006285882A (ja) * 2005-04-05 2006-10-19 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US7783585B2 (en) 2006-04-06 2010-08-24 Sony Corporation Data processing device, data processing method, and program
US7725412B2 (en) 2006-04-06 2010-05-25 Sony Corporation Identifying temporal sequences using a recurrent self organizing map
JP2008071255A (ja) * 2006-09-15 2008-03-27 Saga Univ 自己組織化マップを用いたパターン生成方法、そのプログラム及び装置
JP2008276290A (ja) * 2007-04-25 2008-11-13 Sony Corp データ処理装置、データ処理方法、及びプログラム
JP2009157119A (ja) * 2007-12-27 2009-07-16 Univ Of Ryukyus 音声単語自動獲得方法
US8195586B2 (en) 2008-05-28 2012-06-05 Sony Corporation Data processing apparatus, data processing method, and computer program for setting targets in a range and taking action to attain the target
JP2011086132A (ja) * 2009-10-16 2011-04-28 Tokyo Institute Of Technology 連想記憶装置、連想記憶方法、及びプログラム
US8645307B2 (en) 2010-08-12 2014-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating probabilistic graphical model based on time-space structure
CN105843978A (zh) * 2014-12-18 2016-08-10 达索系统西姆利亚公司 基于数据的交互式3d体验
JP2016146169A (ja) * 2014-12-18 2016-08-12 ダッソー システムズ シムリア コーポレイション データに基づくインタラクティブ３ｄエクスペリエンス
JP7133894B2 (ja) 2014-12-18 2022-09-09 ダッソー システムズ シムリア コーポレイション データに基づくインタラクティブ３ｄエクスペリエンス
US11100388B2 (en) 2016-11-22 2021-08-24 International Business Machines Corporation Learning apparatus and method for learning a model corresponding to real number time-series input data

Also Published As

Publication number Publication date
JP4639784B2 (ja) 2011-02-23
CN1808414A (zh) 2006-07-26
KR101182965B1 (ko) 2012-09-21
US7296005B2 (en) 2007-11-13
EP1667107A1 (en) 2006-06-07
US20060184471A1 (en) 2006-08-17
CN1808414B (zh) 2010-05-26
KR20060063752A (ko) 2006-06-12

Similar Documents

Publication Publication Date Title
JP4639784B2 (ja) 学習装置および学習方法、並びにプログラム
JP2006285899A (ja) 学習装置および学習方法、生成装置および生成方法、並びにプログラム
JP4201012B2 (ja) データ処理装置、データ処理方法、およびプログラム
US11386330B2 (en) Learning coach for machine learning system
US7499892B2 (en) Information processing apparatus, information processing method, and program
US11915152B2 (en) Learning coach for machine learning system
JP4169063B2 (ja) データ処理装置、データ処理方法、及びプログラム
JP4534769B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4825014B2 (ja) 評価用データ生成装置、認識性能分布情報生成装置およびシステム
JP2007280057A (ja) データ処理装置、データ処理方法、およびプログラム
JP2007280007A (ja) データ処理装置、データ処理方法、およびプログラム
Wu et al. Actions as contexts
JP2006285881A (ja) 学習装置、学習方法、およびプログラム
JP2007280009A (ja) データ処理装置、データ処理方法、およびプログラム
JP2007280056A (ja) データ処理装置、データ処理方法、およびプログラム
JP2009043122A (ja) データ処理装置、データ処理方法、及びプログラム
JP2007280008A (ja) データ処理装置、データ処理方法、およびプログラム
JP2008276290A (ja) データ処理装置、データ処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees