JP2002236904A - データ処理装置および方法、記録媒体、並びにプログラム - Google Patents
データ処理装置および方法、記録媒体、並びにプログラムInfo
- Publication number
- JP2002236904A JP2002236904A JP2001031788A JP2001031788A JP2002236904A JP 2002236904 A JP2002236904 A JP 2002236904A JP 2001031788 A JP2001031788 A JP 2001031788A JP 2001031788 A JP2001031788 A JP 2001031788A JP 2002236904 A JP2002236904 A JP 2002236904A
- Authority
- JP
- Japan
- Prior art keywords
- data
- neural network
- processing
- input
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 より複雑な時系列データを記憶し、想起でき
るようにする。 【解決手段】 上位の階層のリカレント型ニューラルネ
ットワーク（RNN）４２により、周期の長いパラメータ
ＸTを生成し、演算部４３を介して下位の階層のRNN４１
の入力層５１に供給させる。RNN４１は、この入力をパ
ラメータとして、周期の短い他の入力ｘtを演算する。
るようにする。 【解決手段】 上位の階層のリカレント型ニューラルネ
ットワーク（RNN）４２により、周期の長いパラメータ
ＸTを生成し、演算部４３を介して下位の階層のRNN４１
の入力層５１に供給させる。RNN４１は、この入力をパ
ラメータとして、周期の短い他の入力ｘtを演算する。
Description
【０００１】
【発明の属する技術分野】本発明は、データ処理装置お
よび方法、記録媒体、並びにプログラムに関し、特に、
複雑な時系列データを簡単かつ確実に記憶させ、想起さ
せることができるようにした、データ処理装置および方
法、記録媒体、並びにプログラムに関する。
よび方法、記録媒体、並びにプログラムに関し、特に、
複雑な時系列データを簡単かつ確実に記憶させ、想起さ
せることができるようにした、データ処理装置および方
法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】本出願人は、特開平１１−１２６１９８
号公報として、リカレント型ニューラルネットワークを
用いて、時系列データを発生させることを先に提案し
た。
号公報として、リカレント型ニューラルネットワークを
用いて、時系列データを発生させることを先に提案し
た。
【０００３】この提案においては、図１に示されるよう
に、装置が、基本的に、リカレント型ニューラルネット
ワーク（RNN）１−１乃至１−ｎを有する下位の階層の
ネットワークと、RNN１１−１乃至１１−ｎを有する上
位の階層のネットワークとで構成される。
に、装置が、基本的に、リカレント型ニューラルネット
ワーク（RNN）１−１乃至１−ｎを有する下位の階層の
ネットワークと、RNN１１−１乃至１１−ｎを有する上
位の階層のネットワークとで構成される。
【０００４】上位の階層のネットワークにおいては、RN
N１−１乃至１−ｎの出力が、それぞれ対応するゲート
２−１乃至２−ｎを介して、合成回路３に供給され、合
成される。
N１−１乃至１−ｎの出力が、それぞれ対応するゲート
２−１乃至２−ｎを介して、合成回路３に供給され、合
成される。
【０００５】上位の階層のネットワークにおいても、RN
N１１−１乃至１１−ｎの出力が、対応するゲート１２
−１乃至１２−ｎを介して合成回路１３に供給され、合
成される。そして、上位の階層の合成回路１３の出力に
基づいて、下位の階層のゲート２−１乃至２−ｎのオ
ン、オフが制御される。
N１１−１乃至１１−ｎの出力が、対応するゲート１２
−１乃至１２−ｎを介して合成回路１３に供給され、合
成される。そして、上位の階層の合成回路１３の出力に
基づいて、下位の階層のゲート２−１乃至２−ｎのオ
ン、オフが制御される。
【０００６】下位の階層のRNN１−１乃至１−ｎに、そ
れぞれパターンＰ１乃至Ｐｎを発生させ、上位の階層の
合成回路１３の出力に基づいて、下位の階層のゲート２
−１乃至２−ｎのうちの所定のものをオンまたはオフさ
せるようにすることで、合成回路３からRNN１−１乃至
１−ｎのうちの所定のものが発生したパターンＰ１乃至
Ｐｎのいずれかを選択的に出力させることができる。
れぞれパターンＰ１乃至Ｐｎを発生させ、上位の階層の
合成回路１３の出力に基づいて、下位の階層のゲート２
−１乃至２−ｎのうちの所定のものをオンまたはオフさ
せるようにすることで、合成回路３からRNN１−１乃至
１−ｎのうちの所定のものが発生したパターンＰ１乃至
Ｐｎのいずれかを選択的に出力させることができる。
【０００７】これにより、例えば、図２に示されるよう
に、所定の時間、パターンＰ１を発生させた後、次の所
定の時間、パターンＰ２を発生させ、さらに、その次の
所定の時間、再びパターンＰ１を発生させるなどして、
時系列的に変化するパターンを発生させることができ
る。
に、所定の時間、パターンＰ１を発生させた後、次の所
定の時間、パターンＰ２を発生させ、さらに、その次の
所定の時間、再びパターンＰ１を発生させるなどして、
時系列的に変化するパターンを発生させることができ
る。
【０００８】
【発明が解決しようとする課題】しかしながら、先の提
案は、ゲート２−１乃至２−ｎにより、いわゆるウィナ
ーテイクオール（Winner-take-all）の動作を実行させ
るようにしているため、複雑なパターンを記憶し、発生
させることが困難である課題があった。
案は、ゲート２−１乃至２−ｎにより、いわゆるウィナ
ーテイクオール（Winner-take-all）の動作を実行させ
るようにしているため、複雑なパターンを記憶し、発生
させることが困難である課題があった。
【０００９】本発明はこのような状況に鑑みてなされた
ものであり、複雑なパターンでも、簡単かつ確実に記憶
し、発生させることができるようにするものである。
ものであり、複雑なパターンでも、簡単かつ確実に記憶
し、発生させることができるようにするものである。
【００１０】
【課題を解決するための手段】本発明のデータ処理装置
は、入力端子から入力されるデータに対して非線形の所
定の関数を適用する処理を行う第１のリカレント型ニュ
ーラルネットワークを含み、第１のリカレント型ニュー
ラルネットワークの入力端子に、時系列データで構成さ
れる第１のデータと、時系列データで構成される第２の
データの入力を受けて処理する処理手段と、入力端子か
ら入力されるデータに対して非線形の所定の関数を適用
して第２のデータを生成する処理を行う第２のリカレン
ト型ニューラルネットワークを含む生成手段と、第２の
データと、第１のリカレント型ニューラルネットワーク
のエラーバックプロパゲーション処理により生成された
第３のデータとを演算し、第４のデータを生成する演算
手段とを備えることを特徴とする。
は、入力端子から入力されるデータに対して非線形の所
定の関数を適用する処理を行う第１のリカレント型ニュ
ーラルネットワークを含み、第１のリカレント型ニュー
ラルネットワークの入力端子に、時系列データで構成さ
れる第１のデータと、時系列データで構成される第２の
データの入力を受けて処理する処理手段と、入力端子か
ら入力されるデータに対して非線形の所定の関数を適用
して第２のデータを生成する処理を行う第２のリカレン
ト型ニューラルネットワークを含む生成手段と、第２の
データと、第１のリカレント型ニューラルネットワーク
のエラーバックプロパゲーション処理により生成された
第３のデータとを演算し、第４のデータを生成する演算
手段とを備えることを特徴とする。
【００１１】前記生成手段は、第１のデータに較べて、
より長い周期で変化する第２のデータを生成するように
することができる。
より長い周期で変化する第２のデータを生成するように
することができる。
【００１２】前記演算手段は、学習時、第１のリカレン
ト型ニューラルネットワークのバックプロパゲーション
処理により生成されたデータを用いて演算を行うように
することができる。
ト型ニューラルネットワークのバックプロパゲーション
処理により生成されたデータを用いて演算を行うように
することができる。
【００１３】前記演算手段は、シグモイド関数を用いて
演算を行うようにすることができる。
演算を行うようにすることができる。
【００１４】前記演算手段は、学習時、第１のリカレン
ト型ニューラルネットワークのバックプロパゲーション
処理により生成されたデータを利用した第１の演算と、
隣接する時空間におけるスムージングのための第２の演
算を含む演算を行うようにすることができる。
ト型ニューラルネットワークのバックプロパゲーション
処理により生成されたデータを利用した第１の演算と、
隣接する時空間におけるスムージングのための第２の演
算を含む演算を行うようにすることができる。
【００１５】前記演算手段は、将来の予測処理時、第２
のデータの第１の演算と、隣接する時空間におけるスム
ージングのための第２の演算を含む演算を行うようにす
ることができる。前記演算手段は、過去を想起すると
き、第２のデータの第１の演算、第１のリカレント型ニ
ューラルネットワークのバックプロパゲーション処理に
より生成されたデータを利用した第２の演算、並びに、
隣接する時空間におけるスムージングのための第３の演
算を含む演算を行うようにすることができる。
のデータの第１の演算と、隣接する時空間におけるスム
ージングのための第２の演算を含む演算を行うようにす
ることができる。前記演算手段は、過去を想起すると
き、第２のデータの第１の演算、第１のリカレント型ニ
ューラルネットワークのバックプロパゲーション処理に
より生成されたデータを利用した第２の演算、並びに、
隣接する時空間におけるスムージングのための第３の演
算を含む演算を行うようにすることができる。
【００１６】本発明のデータ処理方法は、入力端子から
入力されるデータに対して非線形の所定の関数を適用す
る処理を行う第１のリカレント型ニューラルネットワー
クの入力端子に、時系列データで構成される第１のデー
タと、時系列データで構成される第２のデータの入力を
受けて処理する処理ステップと、入力端子から入力され
るデータに対して非線形の所定の関数を適用して第２の
データを生成する処理を行う第２のリカレント型ニュー
ラルネットワークを含む生成ステップと、第２のデータ
と、第１のリカレント型ニューラルネットワークのエラ
ーバックプロパゲーション処理により生成された第３の
データとを演算し、第４のデータを生成する演算ステッ
プとを含むことを特徴とする。
入力されるデータに対して非線形の所定の関数を適用す
る処理を行う第１のリカレント型ニューラルネットワー
クの入力端子に、時系列データで構成される第１のデー
タと、時系列データで構成される第２のデータの入力を
受けて処理する処理ステップと、入力端子から入力され
るデータに対して非線形の所定の関数を適用して第２の
データを生成する処理を行う第２のリカレント型ニュー
ラルネットワークを含む生成ステップと、第２のデータ
と、第１のリカレント型ニューラルネットワークのエラ
ーバックプロパゲーション処理により生成された第３の
データとを演算し、第４のデータを生成する演算ステッ
プとを含むことを特徴とする。
【００１７】本発明の記録媒体のプログラムは、入力端
子から入力されるデータに対して非線形の所定の関数を
適用する処理を行う第１のリカレント型ニューラルネッ
トワークの入力端子に、時系列データで構成される第１
のデータと、時系列データで構成される第２のデータの
入力を受けて処理する処理ステップと、入力端子から入
力されるデータに対して非線形の所定の関数を適用して
第２のデータを生成する処理を行う第２のリカレント型
ニューラルネットワークを含む生成ステップと、第２の
データと、第１のリカレント型ニューラルネットワーク
のエラーバックプロパゲーション処理により生成された
第３のデータとを演算し、第４のデータを生成する演算
ステップとを含むことを特徴とする。
子から入力されるデータに対して非線形の所定の関数を
適用する処理を行う第１のリカレント型ニューラルネッ
トワークの入力端子に、時系列データで構成される第１
のデータと、時系列データで構成される第２のデータの
入力を受けて処理する処理ステップと、入力端子から入
力されるデータに対して非線形の所定の関数を適用して
第２のデータを生成する処理を行う第２のリカレント型
ニューラルネットワークを含む生成ステップと、第２の
データと、第１のリカレント型ニューラルネットワーク
のエラーバックプロパゲーション処理により生成された
第３のデータとを演算し、第４のデータを生成する演算
ステップとを含むことを特徴とする。
【００１８】本発明のプログラムは、入力端子から入力
されるデータに対して非線形の所定の関数を適用する処
理を行う第１のリカレント型ニューラルネットワークの
入力端子に、時系列データで構成される第１のデータ
と、時系列データで構成される第２のデータの入力を受
けて処理する処理ステップと、入力端子から入力される
データに対して非線形の所定の関数を適用して第２のデ
ータを生成する処理を行う第２のリカレント型ニューラ
ルネットワークを含む生成ステップと、第２のデータ
と、第１のリカレント型ニューラルネットワークのエラ
ーバックプロパゲーション処理により生成された第３の
データとを演算し、第４のデータを生成する演算ステッ
プとをコンピュータに実行させる。
されるデータに対して非線形の所定の関数を適用する処
理を行う第１のリカレント型ニューラルネットワークの
入力端子に、時系列データで構成される第１のデータ
と、時系列データで構成される第２のデータの入力を受
けて処理する処理ステップと、入力端子から入力される
データに対して非線形の所定の関数を適用して第２のデ
ータを生成する処理を行う第２のリカレント型ニューラ
ルネットワークを含む生成ステップと、第２のデータ
と、第１のリカレント型ニューラルネットワークのエラ
ーバックプロパゲーション処理により生成された第３の
データとを演算し、第４のデータを生成する演算ステッ
プとをコンピュータに実行させる。
【００１９】本発明のデータ処理装置および方法、並び
にプログラムにおいては、第２のリカレント型ニューラ
ルネットワークにより生成された第２のデータが、第１
のリカレント型ニューラルネットワークの入力端子に供
給され、第１のデータとともに処理される。
にプログラムにおいては、第２のリカレント型ニューラ
ルネットワークにより生成された第２のデータが、第１
のリカレント型ニューラルネットワークの入力端子に供
給され、第１のデータとともに処理される。
【００２０】
【発明の実施の形態】図３は、本発明を適用したデータ
処理装置の構成例を表している。この装置は、基本的
に、下位の階層のリカレント型ニューラルネットワーク
（RNN）４１と、上位の階層のRNN４２とで構成されてい
る。そして、RNN４１とRNN４２の間には、演算部４３が
配置されている。
処理装置の構成例を表している。この装置は、基本的
に、下位の階層のリカレント型ニューラルネットワーク
（RNN）４１と、上位の階層のRNN４２とで構成されてい
る。そして、RNN４１とRNN４２の間には、演算部４３が
配置されている。
【００２１】RNN４１は、任意の数のニューロンからな
る入力層５１を有し、この入力層５１に、処理対象とし
てのデータ（例えば、ロボットに装着されているセンサ
の状態に対応する入力や、モータの状態に対応する入
力）が、データｘtとして入力されている。
る入力層５１を有し、この入力層５１に、処理対象とし
てのデータ（例えば、ロボットに装着されているセンサ
の状態に対応する入力や、モータの状態に対応する入
力）が、データｘtとして入力されている。
【００２２】入力層５１にはまた、RNN４２により生成
されたデータＸTが、演算部４３を介して、データＸtと
して入力されている。
されたデータＸTが、演算部４３を介して、データＸtと
して入力されている。
【００２３】中間層５２は、入力層５１から入力された
データｘt，Ｘtに対して、所定の重み付け係数に対応す
る演算処理（非線形関数に基づく演算処理）を行った
後、任意の数のニューロンからなる出力層５３に供給さ
れ、出力層５３に出力する。出力層５３からは、RNN４
１により、所定の非線形関数に基づく処理が行われた演
算結果としての出力ｘ* t+1が出力される。
データｘt，Ｘtに対して、所定の重み付け係数に対応す
る演算処理（非線形関数に基づく演算処理）を行った
後、任意の数のニューロンからなる出力層５３に供給さ
れ、出力層５３に出力する。出力層５３からは、RNN４
１により、所定の非線形関数に基づく処理が行われた演
算結果としての出力ｘ* t+1が出力される。
【００２４】出力層５３の出力の一部は、RNN４１の内
部状態を表すコンテキスト（context）Ｃt+1として、入
力層５１にフィードバックされる。
部状態を表すコンテキスト（context）Ｃt+1として、入
力層５１にフィードバックされる。
【００２５】この出力ｘ* t+1は、必要に応じて、誤差演
算部６１に供給される。誤差演算部６１は、出力ｘ* t+1
と、図示せぬ装置から供給される教師データｘt+1の差
分を演算して、予測誤差成分を生成する。誤差演算部６
１により生成された予測誤差成分は、出力層５３から、
中間層５２を介して入力層５１に供給される（いわゆる
エラーバックプロパゲーション法による処理が行われ
る）。このときの入力層５１からの出力Ｘtは、演算部
４３に供給される。
算部６１に供給される。誤差演算部６１は、出力ｘ* t+1
と、図示せぬ装置から供給される教師データｘt+1の差
分を演算して、予測誤差成分を生成する。誤差演算部６
１により生成された予測誤差成分は、出力層５３から、
中間層５２を介して入力層５１に供給される（いわゆる
エラーバックプロパゲーション法による処理が行われ
る）。このときの入力層５１からの出力Ｘtは、演算部
４３に供給される。
【００２６】RNN４２も、基本的にRNN４１と同様に構成
されており、入力層７１より入力されたデータＸTは、
中間層７２により、所定の重み付け係数に基づく演算
（非線形関数に基づく演算）が施された後、出力層７３
から出力Ｘ* T+1として出力される。
されており、入力層７１より入力されたデータＸTは、
中間層７２により、所定の重み付け係数に基づく演算
（非線形関数に基づく演算）が施された後、出力層７３
から出力Ｘ* T+1として出力される。
【００２７】出力層７３の出力の一部は、コンテキスト
ＣT+1として、入力層７１にフィードバックされる。
ＣT+1として、入力層７１にフィードバックされる。
【００２８】また、誤差演算部８１は、必要に応じて、
演算部４３より供給されるデータＸ T+1を、出力層７３
の出力Ｘ* T+1から減算して、予測誤差成分を生成する。
この予測誤差成分は出力層７３から、中間層７２を介し
て入力層７１に供給される（エラーバックプロパゲーシ
ョン法による処理が行われる）。
演算部４３より供給されるデータＸ T+1を、出力層７３
の出力Ｘ* T+1から減算して、予測誤差成分を生成する。
この予測誤差成分は出力層７３から、中間層７２を介し
て入力層７１に供給される（エラーバックプロパゲーシ
ョン法による処理が行われる）。
【００２９】演算部４３においては、第１項乃至第３項
の演算を含む式（１）に基づいた演算（最急降下法によ
る演算）が行われる。第１項は、RNN４２により生成さ
れたデータＸTに基づく演算である。第２項は、RNN１の
エラーバックプロパゲーションにより生成された成分Ｘ
bptを含む演算である。第３項は、隣接する時空間にお
けるスムージングのための（フィルタリングのための）
演算である。
の演算を含む式（１）に基づいた演算（最急降下法によ
る演算）が行われる。第１項は、RNN４２により生成さ
れたデータＸTに基づく演算である。第２項は、RNN１の
エラーバックプロパゲーションにより生成された成分Ｘ
bptを含む演算である。第３項は、隣接する時空間にお
けるスムージングのための（フィルタリングのための）
演算である。
【００３０】
【数１】
【００３１】式（１）におけるＸＵtは、式（２）で表
され、式（２）におけるＸＵtを、式（３）のシグモイ
ド関数に従って処理することで、Ｘtが求められる。
され、式（２）におけるＸＵtを、式（３）のシグモイ
ド関数に従って処理することで、Ｘtが求められる。
【００３２】
【数２】
【００３３】
【数３】
【００３４】次に、この装置を用いて、例えばロボット
装置９１（後述する図８）を制御する場合の動作につい
て説明する。この場合の処理は、過去を想起するリグレ
ッション（regression）処理と、その後に実行される将
来を予測する処理とで構成される。最初に図４のフロー
チャートを参照して、regression処理について説明す
る。
装置９１（後述する図８）を制御する場合の動作につい
て説明する。この場合の処理は、過去を想起するリグレ
ッション（regression）処理と、その後に実行される将
来を予測する処理とで構成される。最初に図４のフロー
チャートを参照して、regression処理について説明す
る。
【００３５】ステップＳ１において、RNN４１は、所定
の時刻（タイミング）ｔの入力ｘtを取り込む。また、
このとき、演算部４３より出力されるデータＸtが同時
に取り込まれる。このデータＸtは、演算部４３がRNN４
２の出力層７３から出力されたデータＸTを、そのまま
出力したものである。すなわち、この場合、Ｘt＝ＸTで
ある。
の時刻（タイミング）ｔの入力ｘtを取り込む。また、
このとき、演算部４３より出力されるデータＸtが同時
に取り込まれる。このデータＸtは、演算部４３がRNN４
２の出力層７３から出力されたデータＸTを、そのまま
出力したものである。すなわち、この場合、Ｘt＝ＸTで
ある。
【００３６】RNN４１は、ステップＳ２において、入力
されたデータｘtとＸtを演算し、予測値ｘ* t+1を演算す
る。
されたデータｘtとＸtを演算し、予測値ｘ* t+1を演算す
る。
【００３７】すなわち、このとき、RNN４１は、式
（４）で表されるように、Ｘtをパラメータとして、デ
ータｘtに対して、所定の非線形の関数ｆを適用する。
（４）で表されるように、Ｘtをパラメータとして、デ
ータｘtに対して、所定の非線形の関数ｆを適用する。
【００３８】
【数４】
【００３９】なお、上記した式（４）においては、予測
値であることを表す＊のマークは省略されている。
値であることを表す＊のマークは省略されている。
【００４０】次に、ステップＳ３において、RNN４１の
誤差演算部６１は、次の時刻（タイミング）の入力ｘ
t+1を教師データとして取り込み、ステップＳ４におい
て、ステップＳ２の処理で演算された予測値ｘ* t+1と、
ステップＳ３の処理で取り込まれた教師データｘt+1と
の差分を演算することで、予測誤差を生成する。
誤差演算部６１は、次の時刻（タイミング）の入力ｘ
t+1を教師データとして取り込み、ステップＳ４におい
て、ステップＳ２の処理で演算された予測値ｘ* t+1と、
ステップＳ３の処理で取り込まれた教師データｘt+1と
の差分を演算することで、予測誤差を生成する。
【００４１】RNN４１は、ステップＳ５において、ステ
ップＳ４の処理で演算された予測誤差を利用して、いわ
ゆるエラーバックプロパゲーション法に基づく処理を行
う。すなわち、予測誤差が出力層５３から取り込まれ、
中間層５２で、所定の係数の重み付け処理が行われた
後、入力層５１から出力される。このエラーバックプロ
パゲーションによる演算結果として、データｄＸ
bptが、演算部４３に供給される。
ップＳ４の処理で演算された予測誤差を利用して、いわ
ゆるエラーバックプロパゲーション法に基づく処理を行
う。すなわち、予測誤差が出力層５３から取り込まれ、
中間層５２で、所定の係数の重み付け処理が行われた
後、入力層５１から出力される。このエラーバックプロ
パゲーションによる演算結果として、データｄＸ
bptが、演算部４３に供給される。
【００４２】RNN４２は、ステップＳ６において、演算
部４３から供給されたデータＸTを取り込むと、ステッ
プＳ７において、予測値Ｘ* T+1を演算する。
部４３から供給されたデータＸTを取り込むと、ステッ
プＳ７において、予測値Ｘ* T+1を演算する。
【００４３】すなわち、このときRNN４２は、データＸT
に対して、式（５）で表される非線形の関数Ｆを適用し
て、データＸT+1を演算する。
に対して、式（５）で表される非線形の関数Ｆを適用し
て、データＸT+1を演算する。
【００４４】
【数５】
【００４５】なお、上記式（５）においては、予測値で
あること表す＊のマークは省略されている。
あること表す＊のマークは省略されている。
【００４６】ステップＳ８において、演算部４３は、入
力層５１から入力された演算結果ｄＸbptに対して、式
（３）で示されるような、シグモイド関数を適用して、
１または０のデータで構成されるデータＸTを演算し、R
NN４２の誤差演算部８１に供給する。
力層５１から入力された演算結果ｄＸbptに対して、式
（３）で示されるような、シグモイド関数を適用して、
１または０のデータで構成されるデータＸTを演算し、R
NN４２の誤差演算部８１に供給する。
【００４７】ステップＳ８において、演算部４３は、RN
N４１から供給された、ステップＳ５の処理の結果得ら
れたデータｄｘbptと、ステップＳ７の処理で演算され
た予測値Ｘ* T+1とに基づいて、式（１）を用いてｄＸｕ
tを演算する。このとき、式（１）の第１項乃至第３項
のすべてが用いられる。
N４１から供給された、ステップＳ５の処理の結果得ら
れたデータｄｘbptと、ステップＳ７の処理で演算され
た予測値Ｘ* T+1とに基づいて、式（１）を用いてｄＸｕ
tを演算する。このとき、式（１）の第１項乃至第３項
のすべてが用いられる。
【００４８】演算部４３は、さらに式（２）を用いて最
急降下法により演算を行い、Ｘtを求める。
急降下法により演算を行い、Ｘtを求める。
【００４９】演算部４３は、次に、ステップＳ９におい
て、時系列のデータＸtに対して、式（３）で示される
シグモイド関数を適用して文節化し（１と０のデータに
変換し）、時系列データＸTを求める。
て、時系列のデータＸtに対して、式（３）で示される
シグモイド関数を適用して文節化し（１と０のデータに
変換し）、時系列データＸTを求める。
【００５０】例えば、０．５を閾値とした場合、時系列
データｘtとしてのデータ（０．２，０．４，０．３，
０．６，０．７，０．８，０．４，０．３）は、時系列
データＸTとしてのデータ（０，０，０，１，１，１，
０，０）となる。
データｘtとしてのデータ（０．２，０．４，０．３，
０．６，０．７，０．８，０．４，０．３）は、時系列
データＸTとしてのデータ（０，０，０，１，１，１，
０，０）となる。
【００５１】以上のようなステップＳ１乃至ステップＳ
９の処理が繰り返し実行される。
９の処理が繰り返し実行される。
【００５２】過去を想起するregression処理が完了する
と、次に、将来を予測するplan処理が実行される。この
予測処理も基本的に、図４に示した場合と同様の処理と
なるが、エラーバックプロパゲーション処理は行われな
い。従って、ステップＳ３乃至Ｓ５の処理はスキップさ
れる。また、ステップＳ８の処理では、RNN４２の予測
値Ｘ* T+1だけを用いた（RNN４１のエラーバックプロパ
ゲーションの演算結果ｄＸbptは用いずに）演算が行わ
れる。すなわち、式（１）の第１項と第３項を用いた処
理が行われる（第２項の演算は行われない）。
と、次に、将来を予測するplan処理が実行される。この
予測処理も基本的に、図４に示した場合と同様の処理と
なるが、エラーバックプロパゲーション処理は行われな
い。従って、ステップＳ３乃至Ｓ５の処理はスキップさ
れる。また、ステップＳ８の処理では、RNN４２の予測
値Ｘ* T+1だけを用いた（RNN４１のエラーバックプロパ
ゲーションの演算結果ｄＸbptは用いずに）演算が行わ
れる。すなわち、式（１）の第１項と第３項を用いた処
理が行われる（第２項の演算は行われない）。
【００５３】図５は、ステップＳ９の処理を模式的に表
している。図５Ａに示されるデータｘtは、時刻ｔ毎に
所定の値に変化するが、データＸTは、図５Ｂに示され
るように、データｘtを所定の値で閾値処理すること
で、１または０の値に変換される。
している。図５Ａに示されるデータｘtは、時刻ｔ毎に
所定の値に変化するが、データＸTは、図５Ｂに示され
るように、データｘtを所定の値で閾値処理すること
で、１または０の値に変換される。
【００５４】図６は、RNN４１により生成されるデータ
ｘの変化（図６における実線）と、RNN４２において生
成されるデータＸT（図６における点線）を模式的に表
している。同図に示されるように、データｘtは、比較
的短い周期で変化するが、データＸTは、比較的長い周
期で変化する。すなわち、比較的長い周期を有する関数
（パラメータ）をRNN４２で規定し、比較的短い周期を
有する関数をRNN４１で規定することができ、両者によ
り、複雑な時系列パターンを記憶させることができる。
ｘの変化（図６における実線）と、RNN４２において生
成されるデータＸT（図６における点線）を模式的に表
している。同図に示されるように、データｘtは、比較
的短い周期で変化するが、データＸTは、比較的長い周
期で変化する。すなわち、比較的長い周期を有する関数
（パラメータ）をRNN４２で規定し、比較的短い周期を
有する関数をRNN４１で規定することができ、両者によ
り、複雑な時系列パターンを記憶させることができる。
【００５５】すなわち、図３の例においては、上位の階
層の処理モジュールとしてのRNN４２で生成されたデー
タＸTが、下位の階層の処理モジュールとしてのRNN４１
の入力端子に直接供給されているので、RNN４１とRNN４
２により、より複雑なパターンを学習、記憶させること
が可能になる。
層の処理モジュールとしてのRNN４２で生成されたデー
タＸTが、下位の階層の処理モジュールとしてのRNN４１
の入力端子に直接供給されているので、RNN４１とRNN４
２により、より複雑なパターンを学習、記憶させること
が可能になる。
【００５６】この点、図１に示した従来の例において
は、上位の階層の出力が、下位の階層の処理モジュール
としてのRNNに供給されるのではなく、RNNの出力を選択
するゲート制御するのに用いられるだけなので、複雑な
パターンを学習、記憶させることが困難であるのと対比
的である。
は、上位の階層の出力が、下位の階層の処理モジュール
としてのRNNに供給されるのではなく、RNNの出力を選択
するゲート制御するのに用いられるだけなので、複雑な
パターンを学習、記憶させることが困難であるのと対比
的である。
【００５７】次に、図７のフローチャートを参照して、
図３の装置の学習処理について説明する。そのステップ
Ｓ２１乃至Ｓ２７と、ステップＳ３１，Ｓ３２の処理
は、基本的に、図４のステップＳ１乃至Ｓ９の処理と同
様の処理である。ただし、ステップＳ２５の処理で、RN
N４１は、エラーバックプロパゲーション法により学習
を行う。
図３の装置の学習処理について説明する。そのステップ
Ｓ２１乃至Ｓ２７と、ステップＳ３１，Ｓ３２の処理
は、基本的に、図４のステップＳ１乃至Ｓ９の処理と同
様の処理である。ただし、ステップＳ２５の処理で、RN
N４１は、エラーバックプロパゲーション法により学習
を行う。
【００５８】さらに、図７では、ステップＳ２７とＳ３
１の間に、ステップＳ２８乃至Ｓ３０の処理が挿入され
ている。この処理は、RNN４２の学習のための処理であ
る。
１の間に、ステップＳ２８乃至Ｓ３０の処理が挿入され
ている。この処理は、RNN４２の学習のための処理であ
る。
【００５９】すなわち、ステップＳ２８において、RNN
４２の誤差演算部８１は、次の時刻の入力ＸT+1を教師
データとして、演算部４３から取り込む。
４２の誤差演算部８１は、次の時刻の入力ＸT+1を教師
データとして、演算部４３から取り込む。
【００６０】そして、ステップＳ２９において、誤差演
算部８１は、教師データとしての入力ＸT+1と、予測値
Ｘ* T+1の誤差を演算する。ステップＳ３０において、RN
N４２は、ステップＳ２９の処理で生成された予測誤差
をエラーバックプロパゲーション法により学習する。
算部８１は、教師データとしての入力ＸT+1と、予測値
Ｘ* T+1の誤差を演算する。ステップＳ３０において、RN
N４２は、ステップＳ２９の処理で生成された予測誤差
をエラーバックプロパゲーション法により学習する。
【００６１】このようなステップＳ２１乃至Ｓ３２の処
理が繰り返されて、RNN４１，４２の各ニューロンの重
み付け係数が所定の値に設定され、式（４）と式（５）
に示される関数ｆ，Ｆが規定される。
理が繰り返されて、RNN４１，４２の各ニューロンの重
み付け係数が所定の値に設定され、式（４）と式（５）
に示される関数ｆ，Ｆが規定される。
【００６２】図８は、本発明を適用したロボット装置の
構成例を表している。このロボット装置９１は、上述し
た図３に示されるデータ処理装置を内部に有する制御部
１０１、物体に作用するアーム１０２、アーム１０２を
駆動するモータ群１０３、並びにアーム１０２が保持す
る物体をモニタするモニタ部１０４により構成される。
構成例を表している。このロボット装置９１は、上述し
た図３に示されるデータ処理装置を内部に有する制御部
１０１、物体に作用するアーム１０２、アーム１０２を
駆動するモータ群１０３、並びにアーム１０２が保持す
る物体をモニタするモニタ部１０４により構成される。
【００６３】モータ群１０３は、モータ１２１−１乃至
１２−４の４個のモータを内蔵しており、これらのモー
タにより、アーム１０２の各部を駆動する。
１２−４の４個のモータを内蔵しており、これらのモー
タにより、アーム１０２の各部を駆動する。
【００６４】アーム１０２は、その先端に、ハンド１０
２Ａ（図９）を有し、そこには、物体１５１（図９）に
接触したことを検出する左右のセンサ１１２−１，１１
２−２が取り付けられている。アーム１０２のハンド１
０２Ａにはまた、物体１５１を撮像するビデオカメラ１
１３を有している。ビデオカメラ１１３により取り込ま
れた画像上における物体１５１のｘ座標とｙ座標の位置
は、センサ１１１−１とセンサ１１１−２により検出さ
れる。
２Ａ（図９）を有し、そこには、物体１５１（図９）に
接触したことを検出する左右のセンサ１１２−１，１１
２−２が取り付けられている。アーム１０２のハンド１
０２Ａにはまた、物体１５１を撮像するビデオカメラ１
１３を有している。ビデオカメラ１１３により取り込ま
れた画像上における物体１５１のｘ座標とｙ座標の位置
は、センサ１１１−１とセンサ１１１−２により検出さ
れる。
【００６５】モニタ部１０４は、物体１５１をモニタす
るビデオカメラ１３２と、ビデオカメラ１３２により取
り込まれた物体１５１の画像のｘ座標とｙ座標を検出す
るセンサ１３１−１と１３１−２を有している。
るビデオカメラ１３２と、ビデオカメラ１３２により取
り込まれた物体１５１の画像のｘ座標とｙ座標を検出す
るセンサ１３１−１と１３１−２を有している。
【００６６】図９に示されるように、図８に示される構
成のうち、ハンド１０２Ａを有するアーム１０２以外の
部分は、本体１４１に内蔵されている。アーム１０２
は、モータ群１０３により駆動され、その先端のハンド
１０２Ａにより、物体１５１を保持し、本体１４１の方
向に引き寄せる動作を行う。この動作が、図３に示され
る構成を内蔵する制御部１０１により制御される。
成のうち、ハンド１０２Ａを有するアーム１０２以外の
部分は、本体１４１に内蔵されている。アーム１０２
は、モータ群１０３により駆動され、その先端のハンド
１０２Ａにより、物体１５１を保持し、本体１４１の方
向に引き寄せる動作を行う。この動作が、図３に示され
る構成を内蔵する制御部１０１により制御される。
【００６７】図１０と図１１は、図８と図９に示したロ
ボット装置９１によるテストの動作結果を表している。
図１０は、第１のシーケンスの処理の例を表し、図１１
は、それと異なる第２のシーケンスの処理の例を表して
いる。
ボット装置９１によるテストの動作結果を表している。
図１０は、第１のシーケンスの処理の例を表し、図１１
は、それと異なる第２のシーケンスの処理の例を表して
いる。
【００６８】これらの図において、横軸はいずれも時刻
（time）を表している。縦軸のhighは、RNN４２により
生成されたデータＸTを表している。この例の場合、デ
ータＸ Tは、４ビットで表されており、highの各行は、
各ビットの値が１であるのか０であるのかを表してい
る。
（time）を表している。縦軸のhighは、RNN４２により
生成されたデータＸTを表している。この例の場合、デ
ータＸ Tは、４ビットで表されており、highの各行は、
各ビットの値が１であるのか０であるのかを表してい
る。
【００６９】lowは、RNN４２のコンテキストＣTを表し
ている。この例の場合、コンテキストは１０ビットで表
されている。
ている。この例の場合、コンテキストは１０ビットで表
されている。
【００７０】motorには、４個のモータ１２１−１乃至
１２１−４の動作が４本の線でそれぞれ表されている。
１２１−４の動作が４本の線でそれぞれ表されている。
【００７１】sensoryには、センサ１１１−１，１１１
−２，１１２−１，１１２−２，１３１−１，１３１−
２の６個のセンサの出力が、６本の線で、それぞれ表さ
れている。
−２，１１２−１，１１２−２，１３１−１，１３１−
２の６個のセンサの出力が、６本の線で、それぞれ表さ
れている。
【００７２】motorとsensoryは、具体的には、RNN４１
の出力層５３から出力されるものである。
の出力層５３から出力されるものである。
【００７３】cnter to objは、アーム１０２が、テーブ
ル（図示せず）のセンタに配置されている物体１５１に
近づいて行く動作を表し、push objは、ハンド１０２Ａ
が、物体１５１を押圧する動作を表し、drawは、アーム
１０２が物体１５１を本体１４１の方向に引き寄せる動
作を表し、homingは、アーム１０２がテーブルの端部の
ホームポジションに移動する動作を表し、centering
は、アーム１０２が中心に移動する処理を表している。
Ｃは、アーム１０２がアルファベット文字Ｃのような形
状になることを表し、invCは、文字Ｃと逆の形状になる
ことを表している。touch objは、ハンド１０２Ａが物
体１５１に接触する動作を表している。
ル（図示せず）のセンタに配置されている物体１５１に
近づいて行く動作を表し、push objは、ハンド１０２Ａ
が、物体１５１を押圧する動作を表し、drawは、アーム
１０２が物体１５１を本体１４１の方向に引き寄せる動
作を表し、homingは、アーム１０２がテーブルの端部の
ホームポジションに移動する動作を表し、centering
は、アーム１０２が中心に移動する処理を表している。
Ｃは、アーム１０２がアルファベット文字Ｃのような形
状になることを表し、invCは、文字Ｃと逆の形状になる
ことを表している。touch objは、ハンド１０２Ａが物
体１５１に接触する動作を表している。
【００７４】図１０と図１１に示されるいずれのシーケ
ンスの場合にも、特に、その６個のセンサの出力から明
らかなように、cnter to obj，push obj，draw，homin
g，centering，Ｃ，invC，touch objといった、比較的
長い周期の処理単位毎に文節化が行われていることがわ
かる。
ンスの場合にも、特に、その６個のセンサの出力から明
らかなように、cnter to obj，push obj，draw，homin
g，centering，Ｃ，invC，touch objといった、比較的
長い周期の処理単位毎に文節化が行われていることがわ
かる。
【００７５】また、それにより、RNN４１はそのままと
し（新たな学習はせず）、RNN４２だけを再学習させる
ことで、過去にRNN４１に学習させた動きを組み合わせ
て、新たな動きを行うことが可能となる。
し（新たな学習はせず）、RNN４２だけを再学習させる
ことで、過去にRNN４１に学習させた動きを組み合わせ
て、新たな動きを行うことが可能となる。
【００７６】RNN４１とRNN４２に、上述したような関数
ｆと関数Ｆをそれぞれ規定すると、実際の処理を行わず
に、想起または予測処理だけを行うことが可能である。
図１２は、この場合の処理例を表している。図１２の例
においては、未来（future）の処理の予測と、過去（pa
st）の処理の想起が行われている。この例の場合、過去
の処理で、制御の途中で、新たなセンサモータデータの
教師データ（seOutTch）が供給され、目標が変更されて
いる（図１２において、Goal changeとしてこのタイミ
ングが図示されている）。
ｆと関数Ｆをそれぞれ規定すると、実際の処理を行わず
に、想起または予測処理だけを行うことが可能である。
図１２は、この場合の処理例を表している。図１２の例
においては、未来（future）の処理の予測と、過去（pa
st）の処理の想起が行われている。この例の場合、過去
の処理で、制御の途中で、新たなセンサモータデータの
教師データ（seOutTch）が供給され、目標が変更されて
いる（図１２において、Goal changeとしてこのタイミ
ングが図示されている）。
【００７７】上述したように、過去の想起処理は、上記
した式（１）の第１項、第２項、および第３項を利用し
て行われるが、未来の予測処理は、第１項と第３項のみ
を利用して行われる。
した式（１）の第１項、第２項、および第３項を利用し
て行われるが、未来の予測処理は、第１項と第３項のみ
を利用して行われる。
【００７８】また、式（１）を用いて演算処理を行うよ
うにすると、動作の途中で外乱が発生したような場合に
おいても制御処理が破綻するようなことが抑制される。
うにすると、動作の途中で外乱が発生したような場合に
おいても制御処理が破綻するようなことが抑制される。
【００７９】すなわち、通常、予期せぬ外乱が発生する
と、それ以後の制御動作が不可能になってしまうことが
多い。しかしながら、上記した式（１）に基づいた制御
処理が行われると、例えば、アーム１０２で、物体１５
１を引き寄せる制御処理を実行している最中に、人間が
アーム１０２を手でもって、その動作を妨害したような
場合においても、物体１５１を引き寄せる処理は、なお
実行するように制御が行われる。このとき、アーム１０
２が人間により保持されているため、結果的に、それを
実現することができない。しかしながら、人間がアーム
１０２を解放すると、再び、物体１５１を引き寄せる操
作を再開することが可能である。
と、それ以後の制御動作が不可能になってしまうことが
多い。しかしながら、上記した式（１）に基づいた制御
処理が行われると、例えば、アーム１０２で、物体１５
１を引き寄せる制御処理を実行している最中に、人間が
アーム１０２を手でもって、その動作を妨害したような
場合においても、物体１５１を引き寄せる処理は、なお
実行するように制御が行われる。このとき、アーム１０
２が人間により保持されているため、結果的に、それを
実現することができない。しかしながら、人間がアーム
１０２を解放すると、再び、物体１５１を引き寄せる操
作を再開することが可能である。
【００８０】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。この場合、例えば、図１３に示さ
れるようなパーソナルコンピュータ１６０が用いられ
る。
り実行させることもできるが、ソフトウエアにより実行
させることもできる。この場合、例えば、図１３に示さ
れるようなパーソナルコンピュータ１６０が用いられ
る。
【００８１】図１３において、CPU（Central Processin
g Unit）１６１は、ROM（Read OnlyMemory）１６２に記
憶されているプログラム、または記憶部１６８からRAM
（Random Access Memory）１６３にロードされたプログ
ラムに従って各種の処理を実行する。RAM１６３にはま
た、CPU１６１が各種の処理を実行する上において必要
なデータなども適宜記憶される。
g Unit）１６１は、ROM（Read OnlyMemory）１６２に記
憶されているプログラム、または記憶部１６８からRAM
（Random Access Memory）１６３にロードされたプログ
ラムに従って各種の処理を実行する。RAM１６３にはま
た、CPU１６１が各種の処理を実行する上において必要
なデータなども適宜記憶される。
【００８２】CPU１６１、ROM１６２、およびRAM１６３
は、バス１６４を介して相互に接続されている。このバ
ス１６４にはまた、入出力インタフェース１６５も接続
されている。
は、バス１６４を介して相互に接続されている。このバ
ス１６４にはまた、入出力インタフェース１６５も接続
されている。
【００８３】入出力インタフェース１６５には、キーボ
ード、マウスなどよりなる入力部１６６、CRT，LCDなど
よりなるディスプレイ、並びにスピーカなどよりなる出
力部１６７、ハードディスクなどより構成される記憶部
１６８、モデム、ターミナルアダプタなどより構成され
る通信部１６９が接続されている。通信部１６９は、ネ
ットワークを介しての通信処理を行う。
ード、マウスなどよりなる入力部１６６、CRT，LCDなど
よりなるディスプレイ、並びにスピーカなどよりなる出
力部１６７、ハードディスクなどより構成される記憶部
１６８、モデム、ターミナルアダプタなどより構成され
る通信部１６９が接続されている。通信部１６９は、ネ
ットワークを介しての通信処理を行う。
【００８４】入出力インタフェース１６５にはまた、必
要に応じてドライブ１７０が接続され、磁気ディスク１
７１、光ディスク１７２、光磁気ディスク１７３、或い
は半導体メモリ１７４などが適宜装着され、それらから
読み出されたコンピュータプログラムが、必要に応じて
記憶部１６８にインストールされる。
要に応じてドライブ１７０が接続され、磁気ディスク１
７１、光ディスク１７２、光磁気ディスク１７３、或い
は半導体メモリ１７４などが適宜装着され、それらから
読み出されたコンピュータプログラムが、必要に応じて
記憶部１６８にインストールされる。
【００８５】一連の処理をソフトウエアにより実行させ
る場合には、そのソフトウエアを構成するプログラム
が、パーソナルコンピュータ１５１に、ネットワークや
記録媒体からインストールされる。
る場合には、そのソフトウエアを構成するプログラム
が、パーソナルコンピュータ１５１に、ネットワークや
記録媒体からインストールされる。
【００８６】この記録媒体は、図１３に示すように、装
置本体とは別に、ユーザにプログラムを提供するために
配布される、プログラムが記録されている磁気ディスク
１７１（フロッピディスクを含む）、光ディスク１７２
（CD-ROM(Compact Disk-ReadOnly Memory),DVD(Digital
Versatile Disk)を含む）、光磁気ディスク１７３（Ｍ
Ｄ（Mini-Disk）を含む）、もしくは半導体メモリ１７
４などよりなるパッケージメディアにより構成されるだ
けでなく、装置本体に予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROM１６２
や、記憶部１６８に含まれるハードディスクなどで構成
される。
置本体とは別に、ユーザにプログラムを提供するために
配布される、プログラムが記録されている磁気ディスク
１７１（フロッピディスクを含む）、光ディスク１７２
（CD-ROM(Compact Disk-ReadOnly Memory),DVD(Digital
Versatile Disk)を含む）、光磁気ディスク１７３（Ｍ
Ｄ（Mini-Disk）を含む）、もしくは半導体メモリ１７
４などよりなるパッケージメディアにより構成されるだ
けでなく、装置本体に予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROM１６２
や、記憶部１６８に含まれるハードディスクなどで構成
される。
【００８７】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【００８８】
【発明の効果】以上の如く、本発明のデータ処理装置お
よび方法、並びにプログラムによれば、第２のリカレン
ト型ニューラルネットワークで生成した第２のデータ
を、第１のリカレント型ニューラルネットワークの入力
端子に供給し、第１のデータとともに処理させるように
したので、複雑な時系列パターンを学習、記憶させ、想
起させることが可能となる。
よび方法、並びにプログラムによれば、第２のリカレン
ト型ニューラルネットワークで生成した第２のデータ
を、第１のリカレント型ニューラルネットワークの入力
端子に供給し、第１のデータとともに処理させるように
したので、複雑な時系列パターンを学習、記憶させ、想
起させることが可能となる。
【図１】従来のデータ処理装置の構成を示すブロック図
である。
である。
【図２】図１の装置において発生するパターンの変化の
例を示す図である。
例を示す図である。
【図３】本発明を適用したデータ処理装置の構成を示す
ブロック図である。
ブロック図である。
【図４】図３の装置の動作を説明するフローチャートで
ある。
ある。
【図５】文節化を説明する図である。
【図６】図３の装置の動作を模式的に表す図である。
【図７】図３の装置の学習時の動作を説明するフローチ
ャートである。
ャートである。
【図８】本発明を適用したロボット装置の構成を示すブ
ロック図である。
ロック図である。
【図９】図８のロボット装置の形状を説明する図であ
る。
る。
【図１０】図８のロボット装置のテストの結果の例を示
す図である。
す図である。
【図１１】図８のロボット装置のテストの結果の例を示
す図である。
す図である。
【図１２】図８のロボット装置のテストの結果の例を示
す図である。
す図である。
【図１３】本発明を適用したパーソナルコンピュータの
構成を示すブロック図である。
構成を示すブロック図である。
４１，４２ リカレント型ニューラルネットワーク，
４３ 演算部， ５１入力層， ５２ 中間層， ５３
出力層， ６１ 誤差演算部， ７１ 入力層， ７
２ 中間層， ７３ 出力層， ８１ 誤差演算部
４３ 演算部， ５１入力層， ５２ 中間層， ５３
出力層， ６１ 誤差演算部， ７１ 入力層， ７
２ 中間層， ７３ 出力層， ８１ 誤差演算部
Claims (10)
- 【請求項１】 入力端子から入力されるデータに対して
非線形の所定の関数を適用する処理を行う第１のリカレ
ント型ニューラルネットワークを含み、前記第１のリカ
レント型ニューラルネットワークの前記入力端子に、時
系列データで構成される第１のデータと、時系列データ
で構成される第２のデータの入力を受けて処理する処理
手段と、 入力端子から入力されるデータに対して非線形の所定の
関数を適用して前記第２のデータを生成する処理を行う
第２のリカレント型ニューラルネットワークを含む生成
手段と、 前記第２のデータと、前記第１のリカレント型ニューラ
ルネットワークのエラーバックプロパゲーション処理に
より生成された第３のデータとを演算し、第４のデータ
を生成する演算手段とを備えることを特徴とするデータ
処理装置。 - 【請求項２】 前記生成手段は、前記第１のデータに較
べて、より長い周期で変化する前記第２のデータを生成
することを特徴とする請求項１に記載のデータ処理装
置。 - 【請求項３】 前記演算手段は、学習時、前記第１のリ
カレント型ニューラルネットワークのバックプロパゲー
ション処理により生成されたデータを用いて演算を行う
ことを特徴とする請求項１に記載のデータ処理装置。 - 【請求項４】 前記演算手段は、シグモイド関数を用い
て演算を行うことを特徴とする請求項１に記載のデータ
処理装置。 - 【請求項５】 前記演算手段は、学習時、前記第１のリ
カレント型ニューラルネットワークのバックプロパゲー
ション処理により生成されたデータを利用した第１の演
算と、隣接する時空間におけるスムージングのための第
２の演算を含む演算を行うことを特徴とする請求項１に
記載のデータ処理装置。 - 【請求項６】 前記演算手段は、将来の予測処理時、前
記第２のデータの第１の演算と、隣接する時空間におけ
るスムージングのための第２の演算を含む演算を行うこ
とを特徴とする請求項１に記載のデータ処理装置。 - 【請求項７】 前記演算手段は、過去を想起するとき、
前記第２のデータの第１の演算、前記第１のリカレント
型ニューラルネットワークのバックプロパゲーション処
理により生成されたデータを利用した第２の演算、並び
に、隣接する時空間におけるスムージングのための第３
の演算を含む演算を行うことを特徴とする請求項１に記
載のデータ処理装置。 - 【請求項８】 入力端子から入力されるデータに対して
非線形の所定の関数を適用する処理を行う第１のリカレ
ント型ニューラルネットワークの前記入力端子に、時系
列データで構成される第１のデータと、時系列データで
構成される第２のデータの入力を受けて処理する処理ス
テップと、 入力端子から入力されるデータに対して非線形の所定の
関数を適用して前記第２のデータを生成する処理を行う
第２のリカレント型ニューラルネットワークを含む生成
ステップと、 前記第２のデータと、前記第１のリカレント型ニューラ
ルネットワークのエラーバックプロパゲーション処理に
より生成された第３のデータとを演算し、第４のデータ
を生成する演算ステップとを含むことを特徴とするデー
タ処理方法。 - 【請求項９】 入力端子から入力されるデータに対して
非線形の所定の関数を適用する処理を行う第１のリカレ
ント型ニューラルネットワークの前記入力端子に、時系
列データで構成される第１のデータと、時系列データで
構成される第２のデータの入力を受けて処理する処理ス
テップと、 入力端子から入力されるデータに対して非線形の所定の
関数を適用して前記第２のデータを生成する処理を行う
第２のリカレント型ニューラルネットワークを含む生成
ステップと、 前記第２のデータと、前記第１のリカレント型ニューラ
ルネットワークのエラーバックプロパゲーション処理に
より生成された第３のデータとを演算し、第４のデータ
を生成する演算ステップとを含むことを特徴とするコン
ピュータが読み取り可能なプログラムが記録されている
記録媒体。 - 【請求項１０】 入力端子から入力されるデータに対し
て非線形の所定の関数を適用する処理を行う第１のリカ
レント型ニューラルネットワークの前記入力端子に、時
系列データで構成される第１のデータと、時系列データ
で構成される第２のデータの入力を受けて処理する処理
ステップと、 入力端子から入力されるデータに対して非線形の所定の
関数を適用して前記第２のデータを生成する処理を行う
第２のリカレント型ニューラルネットワークを含む生成
ステップと、 前記第２のデータと、前記第１のリカレント型ニューラ
ルネットワークのエラーバックプロパゲーション処理に
より生成された第３のデータとを演算し、第４のデータ
を生成する演算ステップとをコンピュータに実行させる
プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001031788A JP2002236904A (ja) | 2001-02-08 | 2001-02-08 | データ処理装置および方法、記録媒体、並びにプログラム |
| US10/072,333 US6792413B2 (en) | 2001-02-08 | 2002-02-06 | Data processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001031788A JP2002236904A (ja) | 2001-02-08 | 2001-02-08 | データ処理装置および方法、記録媒体、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002236904A true JP2002236904A (ja) | 2002-08-23 |
Family
ID=18895819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001031788A Withdrawn JP2002236904A (ja) | 2001-02-08 | 2001-02-08 | データ処理装置および方法、記録媒体、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6792413B2 (ja) |
| JP (1) | JP2002236904A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005056340A (ja) * | 2003-08-07 | 2005-03-03 | Sony Corp | 情報処理装置および方法、プログラム格納媒体、並びにプログラム |
| JP2018067039A (ja) * | 2016-10-17 | 2018-04-26 | 日本電信電話株式会社 | 学習装置、学習方法および学習プログラム |
| CN113627496A (zh) * | 2021-07-27 | 2021-11-09 | 交控科技股份有限公司 | 道岔转辙机故障预测方法、装置、电子设备和可读存储介质 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024795A (ja) * | 2000-07-04 | 2002-01-25 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
| US8127075B2 (en) * | 2007-07-20 | 2012-02-28 | Seagate Technology Llc | Non-linear stochastic processing storage device |
| JP4710933B2 (ja) * | 2008-07-09 | 2011-06-29 | ソニー株式会社 | 学習装置、学習方法、およびプログラム |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9818431B2 (en) * | 2015-12-21 | 2017-11-14 | Microsoft Technoloogy Licensing, LLC | Multi-speaker speech separation |
| US20180218262A1 (en) * | 2017-01-31 | 2018-08-02 | Panasonic Intellectual Property Corporation Of America | Control device and control method |
| US10853724B2 (en) | 2017-06-02 | 2020-12-01 | Xerox Corporation | Symbolic priors for recurrent neural network based semantic parsing |
| DE102020200165B4 (de) * | 2020-01-09 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Robotersteuereinrichtung und Verfahren zum Steuern eines Roboters |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5182794A (en) * | 1990-07-12 | 1993-01-26 | Allen-Bradley Company, Inc. | Recurrent neural networks teaching system |
| US5485545A (en) * | 1991-06-20 | 1996-01-16 | Mitsubishi Denki Kabushiki Kaisha | Control method using neural networks and a voltage/reactive-power controller for a power system using the control method |
| US5828812A (en) * | 1993-03-24 | 1998-10-27 | National Semiconductor Corporation | Recurrent neural network-based fuzzy logic system and method |
| US5649065A (en) * | 1993-05-28 | 1997-07-15 | Maryland Technology Corporation | Optimal filtering by neural networks with range extenders and/or reducers |
| KR20000052725A (ko) * | 1996-10-23 | 2000-08-25 | 제이. 알. 드로우일래드 | 비트-시리얼에 근거한 회귀성 뉴로프로세서를 포함하는 차량용 엔진 불발 감지 장치 |
| US5732382A (en) * | 1996-11-06 | 1998-03-24 | Ford Global Technologies, Inc. | Method for identifying misfire events of an internal combustion engine |
| US6611824B1 (en) * | 1997-01-31 | 2003-08-26 | The United States Of America As Represented By The Secretary Of The Navy | System for bearing-only contact state estimation using recurrent neural networks |
| JP2996926B2 (ja) * | 1997-03-11 | 2000-01-11 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 音素シンボルの事後確率演算装置及び音声認識装置 |
| US6434084B1 (en) * | 1999-11-22 | 2002-08-13 | Halliburton Energy Services, Inc. | Adaptive acoustic channel equalizer & tuning method |
| US7324980B2 (en) * | 2002-05-10 | 2008-01-29 | Sony Corporation | Information processing apparatus and method |
-
2001
- 2001-02-08 JP JP2001031788A patent/JP2002236904A/ja not_active Withdrawn
-
2002
- 2002-02-06 US US10/072,333 patent/US6792413B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005056340A (ja) * | 2003-08-07 | 2005-03-03 | Sony Corp | 情報処理装置および方法、プログラム格納媒体、並びにプログラム |
| JP2018067039A (ja) * | 2016-10-17 | 2018-04-26 | 日本電信電話株式会社 | 学習装置、学習方法および学習プログラム |
| CN113627496A (zh) * | 2021-07-27 | 2021-11-09 | 交控科技股份有限公司 | 道岔转辙机故障预测方法、装置、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020178131A1 (en) | 2002-11-28 |
| US6792413B2 (en) | 2004-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6499025B1 (en) | System and method for tracking objects by fusing results of multiple sensing modalities | |
| CN108363978B (zh) | 采用深度学习和ukf的基于肢体语言的情感感知方法 | |
| EP1922696B1 (en) | System and method of analyzing the movement of a user | |
| JP2018152004A (ja) | 情報処理装置及びプログラム | |
| US20200397346A1 (en) | Annotation method, annotation device, storage medium, and identification system | |
| JP2002236904A (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| US20050197984A1 (en) | Information processing apparatus and method, and recording medium | |
| JP7443002B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
| JPH07168943A (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| CN111259735B (zh) | 基于多级预测特征增强卷积神经网络的单人姿态估计方法 | |
| WO2022114822A1 (ko) | 인공 신경망을 활용하여 혈관 초음파 영상에 대한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치 | |
| CN114967937A (zh) | 一种虚拟人运动生成方法与系统 | |
| CN117671787A (zh) | 一种基于Transformer的康复动作评估方法 | |
| Setiyadi et al. | Human Activity Detection Employing Full-Type 2D Blazepose Estimation with LSTM | |
| JP7137150B2 (ja) | 動作分析装置、動作分析方法及び動作分析プログラム | |
| Li et al. | A shape tracking algorithm for visual servoing | |
| JP2005056340A (ja) | 情報処理装置および方法、プログラム格納媒体、並びにプログラム | |
| Gaikwad et al. | Review and Trends on Hand Gesture Recognition of Sign Language based on Deep Learning Approaches | |
| WO2024029411A1 (ja) | 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム | |
| CN118366225B (zh) | 基于图像处理的手部康复锻炼监控方法及系统 | |
| JP2000122992A (ja) | 情報処理装置および方法、並びに提供媒体 | |
| WO2024135885A1 (ko) | 품질이 검증된 생체 데이터 확보를 위한 인공지능 기반의 생체 데이터 품질 평가 방법, 장치 및 컴퓨터프로그램 | |
| CN113255408B (zh) | 行为识别方法、装置、电子设备及存储介质 | |
| Zhang et al. | Shape predictions of a flexible rope manipulated by a robot arm | |
| US20240257304A1 (en) | Tactile pattern super resolution reconstruction method and acquisition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080513 |