JP2001239485A - 音楽反応型ロボツト、音声反応型ロボツトおよび通信・放送融合ロボットシステム - Google Patents
音楽反応型ロボツト、音声反応型ロボツトおよび通信・放送融合ロボットシステムInfo
- Publication number
- JP2001239485A JP2001239485A JP2000136717A JP2000136717A JP2001239485A JP 2001239485 A JP2001239485 A JP 2001239485A JP 2000136717 A JP2000136717 A JP 2000136717A JP 2000136717 A JP2000136717 A JP 2000136717A JP 2001239485 A JP2001239485 A JP 2001239485A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- robot
- voice
- command
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Electrophonic Musical Instruments (AREA)
- Toys (AREA)
Abstract
(57)【要約】
【目的】 音楽や音声を音響信号として空間に送出し、
ロボットに該音響信号に応じた動作や音声出力を行わせ
る技術に関し、テレビ受像機からの音声出力によって、
ロボットを動作させたり、音声を発声させたりすること
の可能なロボットの実現を目的とする。 【構成】 楽音信号と、ロボット制御信号とを、電気的
に合成して、直接またはテレビ放送などを通じて音響信
号として出力する手段を設け、ロボット側で該手段から
出力された音響信号を受信して該音響信号（合成電気信
号）からロボット制御信号を抽出し、抽出されたロボッ
ト制御信号を解読して機械動作信号、あるいは音声出力
信号に変換してロボットを制御するように構成する。
ロボットに該音響信号に応じた動作や音声出力を行わせ
る技術に関し、テレビ受像機からの音声出力によって、
ロボットを動作させたり、音声を発声させたりすること
の可能なロボットの実現を目的とする。 【構成】 楽音信号と、ロボット制御信号とを、電気的
に合成して、直接またはテレビ放送などを通じて音響信
号として出力する手段を設け、ロボット側で該手段から
出力された音響信号を受信して該音響信号（合成電気信
号）からロボット制御信号を抽出し、抽出されたロボッ
ト制御信号を解読して機械動作信号、あるいは音声出力
信号に変換してロボットを制御するように構成する。
Description
【０００１】
【発明の属する技術】本発明は、発信側において、音楽
や音声を音響信号として空間に送出し、受信側におい
て、該音響信号に埋め込まれているロボット動作信号を
抽出し、これによってロボットの動作を制御する技術お
よびその応用に関するものである。
や音声を音響信号として空間に送出し、受信側におい
て、該音響信号に埋め込まれているロボット動作信号を
抽出し、これによってロボットの動作を制御する技術お
よびその応用に関するものである。
【０００２】
【従来の技術】音楽に合わせて踊るロボット玩具は、従
来から存在する。例えば、通常ダンシングフラワーと呼
ばれる玩具は、見かけ上音楽に合わせて踊っているかの
ごとく見える。すなわち、音楽に対応して造花や人形が
体を揺り動かす。
来から存在する。例えば、通常ダンシングフラワーと呼
ばれる玩具は、見かけ上音楽に合わせて踊っているかの
ごとく見える。すなわち、音楽に対応して造花や人形が
体を揺り動かす。
【０００３】これは、音楽などを、造花や人形に内蔵さ
れたマイクロフォンで受けて電気信号に変換し、その振
幅に対応してダンシングフラワー内のアクチュエータを
駆動することにより造花や人形を運動させる構造に依っ
ている。そのため、このようなものは、音楽のメロディ
ーやリズムなどには関係なく、体を揺り動かすだけであ
り、ワンパターンの動作を単調に繰り返すだけであっ
た。
れたマイクロフォンで受けて電気信号に変換し、その振
幅に対応してダンシングフラワー内のアクチュエータを
駆動することにより造花や人形を運動させる構造に依っ
ている。そのため、このようなものは、音楽のメロディ
ーやリズムなどには関係なく、体を揺り動かすだけであ
り、ワンパターンの動作を単調に繰り返すだけであっ
た。
【０００４】
【発明が解決しようとする課題】ロボットの踊りという
パフォーマンスを芸術的な領域まで高めるには、音楽の
メロディーとリズムに代表される曲調に合わせ、きめ細
かい体の動作、すなわち振りを指定する必要がある。
パフォーマンスを芸術的な領域まで高めるには、音楽の
メロディーとリズムに代表される曲調に合わせ、きめ細
かい体の動作、すなわち振りを指定する必要がある。
【０００５】従来このような要求に対しては、舞踊音楽
とは別に、振りの情報を電波や有線等を用いてロボット
に伝達する必要があった。従って、情報のチャンネルが
２つ必要になり、その分だけ装置全体の構成が複雑化す
るという課題があった。このことは、音楽だけでは無
く、人の言葉の意味に応じて、動作したり、音声を発す
るようなロボットを実現する場合にも同様であった。
とは別に、振りの情報を電波や有線等を用いてロボット
に伝達する必要があった。従って、情報のチャンネルが
２つ必要になり、その分だけ装置全体の構成が複雑化す
るという課題があった。このことは、音楽だけでは無
く、人の言葉の意味に応じて、動作したり、音声を発す
るようなロボットを実現する場合にも同様であった。
【０００６】本発明は、このような従来の課題に鑑み、
簡潔な構成の伝達手段によって、舞踊音楽や音声と同時
にロボットを制御する情報を送信することが可能で、そ
のため、経済的に実現することが可能な音楽反応型ロボ
ットあるいは音声反応型ロボットを実現することを目的
としている。
簡潔な構成の伝達手段によって、舞踊音楽や音声と同時
にロボットを制御する情報を送信することが可能で、そ
のため、経済的に実現することが可能な音楽反応型ロボ
ットあるいは音声反応型ロボットを実現することを目的
としている。
【０００７】また、音声をロボットに直接伝えるのでは
なく、テレビ放送などを通じて、テレビ受像機からの音
声出力によって伝えることにより、ロボットを動作させ
たり、音声を発声させたりすることの可能なロボットを
実現することを目的とする。そして、このようなロボッ
トにおいて、更に、テレビ放送などの視聴者がロボット
を通じて自己の意思を放送局側にフィードバックするこ
とのできるシステムの実現を目的とする。
なく、テレビ放送などを通じて、テレビ受像機からの音
声出力によって伝えることにより、ロボットを動作させ
たり、音声を発声させたりすることの可能なロボットを
実現することを目的とする。そして、このようなロボッ
トにおいて、更に、テレビ放送などの視聴者がロボット
を通じて自己の意思を放送局側にフィードバックするこ
とのできるシステムの実現を目的とする。
【０００８】
【課題を解決するための手段】本発明によれば、上述の
課題は前記特許請求の範囲に記載した手段によって実現
される。すなわち、請求項１の発明は、楽音信号（１）
と、ロボット動作信号（２）とを、電気的に合成する信
号合成手段と、該信号合成手段により生成された合成電
気信号を外界に音響信号として出力する手段とを備えた
発信装置と、
課題は前記特許請求の範囲に記載した手段によって実現
される。すなわち、請求項１の発明は、楽音信号（１）
と、ロボット動作信号（２）とを、電気的に合成する信
号合成手段と、該信号合成手段により生成された合成電
気信号を外界に音響信号として出力する手段とを備えた
発信装置と、
【０００９】該発信装置から出力された音響信号を受信
して合成電気信号に変換する変換手段と、該変換手段に
より得られた合成電気信号から信号（２）を抽出する信
号抽出手段とを備えた受信装置と、該信号抽出手段で抽
出された信号２を解読して機械動作信号に変換する制御
装置を有し、該機械動作信号に従って動作する音楽反応
型ロボットである。
して合成電気信号に変換する変換手段と、該変換手段に
より得られた合成電気信号から信号（２）を抽出する信
号抽出手段とを備えた受信装置と、該信号抽出手段で抽
出された信号２を解読して機械動作信号に変換する制御
装置を有し、該機械動作信号に従って動作する音楽反応
型ロボットである。
【００１０】請求項２の発明は、前記請求項１記載の音
楽反応型ロボットにおいて、発信装置の合成電気信号を
外界に音響信号として出力する手段はスピーカーであ
り、受信装置の音響信号を電気信号に変換する手段はマ
イクロフォンであるように構成したものである。
楽反応型ロボットにおいて、発信装置の合成電気信号を
外界に音響信号として出力する手段はスピーカーであ
り、受信装置の音響信号を電気信号に変換する手段はマ
イクロフォンであるように構成したものである。
【００１１】請求項３の発明は、前記請求項１又は請求
項２に記載の音楽反応型ロボットにおいて、楽音信号
（１）と、ロボット動作信号（２）とを、電気的に合成
する手段として、データ・ハイディング技術を用いるよ
うに構成したものである。
項２に記載の音楽反応型ロボットにおいて、楽音信号
（１）と、ロボット動作信号（２）とを、電気的に合成
する手段として、データ・ハイディング技術を用いるよ
うに構成したものである。
【００１２】請求項４の発明は、前記請求項１〜請求項
３のいずれか１項に記載の音楽反応型ロボットにおい
て、ロボット動作信号（２）は楽音信号（１）のテンポ
に同期した舞踊動作信号であるように構成したものであ
る。
３のいずれか１項に記載の音楽反応型ロボットにおい
て、ロボット動作信号（２）は楽音信号（１）のテンポ
に同期した舞踊動作信号であるように構成したものであ
る。
【００１３】請求項５の発明は、前記請求項４記載の音
楽反応型ロボットにおいて、舞踊動作信号は舞踊動作パ
ターンを表現するコード信号であるように構成したもの
である。
楽反応型ロボットにおいて、舞踊動作信号は舞踊動作パ
ターンを表現するコード信号であるように構成したもの
である。
【００１４】請求項６の発明は、前記請求項４又は請求
項５に記載の音楽反応型ロボットにおいて、ロボット動
作信号（２）は楽音信号（１）のテンポに同期した舞踊
動作信号であり、発信側において、ロボット動作信号
（２）を楽音信号（１）より先行させて送出するように
構成したものである。
項５に記載の音楽反応型ロボットにおいて、ロボット動
作信号（２）は楽音信号（１）のテンポに同期した舞踊
動作信号であり、発信側において、ロボット動作信号
（２）を楽音信号（１）より先行させて送出するように
構成したものである。
【００１５】請求項７の発明は、前記請求項１〜請求項
６のいずれか１項に記載の音楽反応型ロボットにおい
て、楽音信号（１）は、ＭＩＤＩ信号であり、ロボット
動作信号（２）は該楽音信号（１）に付随するＭＩＤＩ
イベント信号であるように構成したものである。
６のいずれか１項に記載の音楽反応型ロボットにおい
て、楽音信号（１）は、ＭＩＤＩ信号であり、ロボット
動作信号（２）は該楽音信号（１）に付随するＭＩＤＩ
イベント信号であるように構成したものである。
【００１６】請求項８の発明は、送信側に、送信音源
（１ａ）と該送信音源とは別の２値信号（２）とを電気
的に合成して合成電気信号を生成し、無線通信用搬送波
を該合成電気信号によって変調した無線信号を送信する
手段を設けると共に、受信側に、該無線信号を受信して
検波することにより前記合成電気信号を復調して、これ
をスピーカから音響信号として出力する手段と、出力さ
れた該音響信号をマイクロホンによって集音して、これ
により得られた合成電気信号から前記２値信号（２）を
順次抽出して、２値信号列とする手段と、該２値信号列
の内容に従って、ロボットを制御する手段とを設けた音
声反応型ロボットである。
（１ａ）と該送信音源とは別の２値信号（２）とを電気
的に合成して合成電気信号を生成し、無線通信用搬送波
を該合成電気信号によって変調した無線信号を送信する
手段を設けると共に、受信側に、該無線信号を受信して
検波することにより前記合成電気信号を復調して、これ
をスピーカから音響信号として出力する手段と、出力さ
れた該音響信号をマイクロホンによって集音して、これ
により得られた合成電気信号から前記２値信号（２）を
順次抽出して、２値信号列とする手段と、該２値信号列
の内容に従って、ロボットを制御する手段とを設けた音
声反応型ロボットである。
【００１７】請求項９の発明は、請求項８記載の音声反
応型ロボットにおいて、送信側が、テレビまたはラジオ
の放送局であり、送信音源（１ａ）は、放送内容、もし
くはコマーシャル内容であり、２値信号（２）は、該２
値信号列によって示されるコマンド情報であって、受信
側はテレビ放送、またはラジオ放送を通じて音響信号を
受信して合成音信号を出力し、該合成音信号をマイクロ
ホンによって集音して、これにより得られた合成電気信
号から前記２値信号（２）を順次抽出して、２値信号列
と成し、該２値信号列で示されるコマンドの内容に従っ
て、ロボットを制御するように構成したものである。
応型ロボットにおいて、送信側が、テレビまたはラジオ
の放送局であり、送信音源（１ａ）は、放送内容、もし
くはコマーシャル内容であり、２値信号（２）は、該２
値信号列によって示されるコマンド情報であって、受信
側はテレビ放送、またはラジオ放送を通じて音響信号を
受信して合成音信号を出力し、該合成音信号をマイクロ
ホンによって集音して、これにより得られた合成電気信
号から前記２値信号（２）を順次抽出して、２値信号列
と成し、該２値信号列で示されるコマンドの内容に従っ
て、ロボットを制御するように構成したものである。
【００１８】請求項１０の発明は、請求項９に記載の音
声反応型ロボットにおいて、コマンドは、ロボットの運
動を制御するためのコマンドであって、ロボットが該コ
マンドの指示に従って、予め定められた運動動作をする
ように構成したものである。請求項１１の発明は、請求
項９に記載の音声反応型ロボットにおいて、コマンド
は、ロボット音声出力を制御するためのコマンドであっ
て、ロボットが該コマンドの指示に従って、予め定めら
れた内容の音声を合成して出力するように構成したんも
のである。
声反応型ロボットにおいて、コマンドは、ロボットの運
動を制御するためのコマンドであって、ロボットが該コ
マンドの指示に従って、予め定められた運動動作をする
ように構成したものである。請求項１１の発明は、請求
項９に記載の音声反応型ロボットにおいて、コマンド
は、ロボット音声出力を制御するためのコマンドであっ
て、ロボットが該コマンドの指示に従って、予め定めら
れた内容の音声を合成して出力するように構成したんも
のである。
【００１９】請求項１２の発明は、請求項９に記載の音
声反応型ロボットにおいて、ロボットの運動を制御する
ためのコマンドと、ロボットの音声出力を制御するため
のコマンドとを同時にシリアルにロボットに伝え、ロボ
ットがこれを分離して、当該コマンドの指示に従って、
予め定められた運動動作をすると共に、予め定められた
内容の音声を合成して出力するように構成したものであ
る。
声反応型ロボットにおいて、ロボットの運動を制御する
ためのコマンドと、ロボットの音声出力を制御するため
のコマンドとを同時にシリアルにロボットに伝え、ロボ
ットがこれを分離して、当該コマンドの指示に従って、
予め定められた運動動作をすると共に、予め定められた
内容の音声を合成して出力するように構成したものであ
る。
【００２０】請求項１３の発明は、請求項９〜請求項１
２のいずれか１項に記載の音声反応型ロボットにおい
て、コマンドは簡潔な記号で示され、ロボットが、自装
置内に保持する記号対ロボットの運動動作、あるいは記
号対ロボットの発声内容を記したテーブルをサーチして
動作内容を決定するように構成したものである。
２のいずれか１項に記載の音声反応型ロボットにおい
て、コマンドは簡潔な記号で示され、ロボットが、自装
置内に保持する記号対ロボットの運動動作、あるいは記
号対ロボットの発声内容を記したテーブルをサーチして
動作内容を決定するように構成したものである。
【００２１】請求項１４の発明は、送信側に、放送音源
（１ａ）と該放送音源とは別の２値信号（２）とを電気
的に合成して合成電気信号を生成し、無線通信用搬送波
を該合成電気信号によって変調した無線信号を送信する
手段と、ネットワークを通じて受信側からの情報を受信
し、これを出力する送信側通信制御装置と、該送信側通
信制御装置の出力を受けて、受信側からの情報の少なく
とも一部を集計する集計装置と、該集計装置の出力を表
示する表示装置とを設けると共に、
（１ａ）と該放送音源とは別の２値信号（２）とを電気
的に合成して合成電気信号を生成し、無線通信用搬送波
を該合成電気信号によって変調した無線信号を送信する
手段と、ネットワークを通じて受信側からの情報を受信
し、これを出力する送信側通信制御装置と、該送信側通
信制御装置の出力を受けて、受信側からの情報の少なく
とも一部を集計する集計装置と、該集計装置の出力を表
示する表示装置とを設けると共に、
【００２２】受信側に、該無線信号を受信して検波する
ことにより前記合成電気信号を復調して、これをスピー
カから音響信号として出力する手段と、出力された該音
響信号をマイクロホンによって集音して、これにより得
られた合成電気信号から前記２値信号（２）を順次抽出
して、２値信号列とする手段と、該２値信号列の内容に
従って、ロボットを制御する手段と、スイッチなどを用
いた信号の入力手段と、該信号と、前記合成電気信号か
ら抽出した２値信号列とを対応付けた信号を生成して出
力する制御装置と、該制御装置の出力をネットワークに
送出する受信側通信制御装置とを設けた通信・放送融合
ロボットシステムである。
ことにより前記合成電気信号を復調して、これをスピー
カから音響信号として出力する手段と、出力された該音
響信号をマイクロホンによって集音して、これにより得
られた合成電気信号から前記２値信号（２）を順次抽出
して、２値信号列とする手段と、該２値信号列の内容に
従って、ロボットを制御する手段と、スイッチなどを用
いた信号の入力手段と、該信号と、前記合成電気信号か
ら抽出した２値信号列とを対応付けた信号を生成して出
力する制御装置と、該制御装置の出力をネットワークに
送出する受信側通信制御装置とを設けた通信・放送融合
ロボットシステムである。
【００２３】上述のように、本発明においては、踊り用
の楽音とその振りの情報を例えば、データハイディング
技術（日経エレクトロニクス，No.683(1997),pp.99-162
参照）を用いて一元化し、合成音として、これをスピー
カーから流して、受信側ではマイクでその音を受け取
り、振りの情報を抽出して、ロボット動作を制御させる
ものである。
の楽音とその振りの情報を例えば、データハイディング
技術（日経エレクトロニクス，No.683(1997),pp.99-162
参照）を用いて一元化し、合成音として、これをスピー
カーから流して、受信側ではマイクでその音を受け取
り、振りの情報を抽出して、ロボット動作を制御させる
ものである。
【００２４】本発明は、また、楽音だけでは無くその他
の音声、例えば人の声に２値信号を合成して合成電気信
号を生成し、これをスピーカーから流して、受信側では
マイクでその音を受け取り、振りの情報を抽出して、ロ
ボット動作を制御することもできる。
の音声、例えば人の声に２値信号を合成して合成電気信
号を生成し、これをスピーカーから流して、受信側では
マイクでその音を受け取り、振りの情報を抽出して、ロ
ボット動作を制御することもできる。
【００２５】そして、上記合成電気信号で、無線周波数
の搬送波を変調してこれをアンテナから例えばテレビ電
波として送出し、受信側では、これをテレビ受像機で、
受信し、検波して合成電気信号を再生してスピーカーか
ら流し、マイクでその音を受け取り、２値信号を抽出し
て解読し、その内容に応じてロボット動作を制御するこ
ともできる。
の搬送波を変調してこれをアンテナから例えばテレビ電
波として送出し、受信側では、これをテレビ受像機で、
受信し、検波して合成電気信号を再生してスピーカーか
ら流し、マイクでその音を受け取り、２値信号を抽出し
て解読し、その内容に応じてロボット動作を制御するこ
ともできる。
【００２６】更に、ロボットに、例えばタッチセンサや
マイクロスイッチなどの簡単な入力手段を備え、テレビ
受像機から放送される音声に応じて、視聴者がこの入力
手段を用いて意思表示を行い、これが、放送局側で埋め
込んだ２値信号と対応付けられて放送局側にフィードバ
ックされ、放送局側でこれを集計して表示するようにし
ている。
マイクロスイッチなどの簡単な入力手段を備え、テレビ
受像機から放送される音声に応じて、視聴者がこの入力
手段を用いて意思表示を行い、これが、放送局側で埋め
込んだ２値信号と対応付けられて放送局側にフィードバ
ックされ、放送局側でこれを集計して表示するようにし
ている。
【００２７】この系によれば、放送内容に対する視聴者
の反応をリアルタイムで知ることができる。前記放送局
側で埋め込む２値信号としては、放送局や番組の識別の
ためのＩＤ、視聴者の入力が放送内容のどの部分に対応
するものであるかを識別するための情報などがある。
の反応をリアルタイムで知ることができる。前記放送局
側で埋め込む２値信号としては、放送局や番組の識別の
ためのＩＤ、視聴者の入力が放送内容のどの部分に対応
するものであるかを識別するための情報などがある。
【００２８】
【発明の実施の形態】図１は本発明の実施の形態の第１
の例を示す図であって、（ａ）は送信側、（ｂ）は受信
側を示している。この実施の形態の例は請求項１の発明
に対応している。同図（ａ）において、数字符号１は楽
音信号、２は舞踊動作信号、３は合成音電気信号を表し
ている。
の例を示す図であって、（ａ）は送信側、（ｂ）は受信
側を示している。この実施の形態の例は請求項１の発明
に対応している。同図（ａ）において、数字符号１は楽
音信号、２は舞踊動作信号、３は合成音電気信号を表し
ている。
【００２９】また、４は合成装置、５は増幅器（図では
ＡＭＰと記載している）、６はスピーカー、７は合成
音、８は人間を表している。同図（ｂ）において、数字
符号９はマイクロホン、１０は抽出装置、１１はロボッ
ト制御部、１２はアクチュエータ指令信号、１３は人型
ロボット、１４はロボットの動作機構部を表しており、
その他の数字符号は（ａ）の場合と同様である。
ＡＭＰと記載している）、６はスピーカー、７は合成
音、８は人間を表している。同図（ｂ）において、数字
符号９はマイクロホン、１０は抽出装置、１１はロボッ
ト制御部、１２はアクチュエータ指令信号、１３は人型
ロボット、１４はロボットの動作機構部を表しており、
その他の数字符号は（ａ）の場合と同様である。
【００３０】図１（ｂ）に示す受信側の構成図では、各
部を人型ロボット１３と分離して描いているが、これら
受信側の各構成部は人型ロボット１３の体内に内蔵させ
たり、又は、人型ロボット１３が乗る台（図示せず）の
中に収容したりすることができることは言うまでもな
い。
部を人型ロボット１３と分離して描いているが、これら
受信側の各構成部は人型ロボット１３の体内に内蔵させ
たり、又は、人型ロボット１３が乗る台（図示せず）の
中に収容したりすることができることは言うまでもな
い。
【００３１】次に図１における信号の大まかな流れを説
明する。まず、送信側では、楽音信号１と、伝達すべき
該楽音信号１とは別の舞踊動作信号２とを、例えばデー
タハイディング技術を用いることにより、舞踊動作信号
２の聴覚的存在を人間には知覚し得ない状態で電気的に
合成し、増幅器５を通してスピーカー６から合成音とし
て空中に放射する。
明する。まず、送信側では、楽音信号１と、伝達すべき
該楽音信号１とは別の舞踊動作信号２とを、例えばデー
タハイディング技術を用いることにより、舞踊動作信号
２の聴覚的存在を人間には知覚し得ない状態で電気的に
合成し、増幅器５を通してスピーカー６から合成音とし
て空中に放射する。
【００３２】この合成音を近傍の人間８は自分の耳で聴
く。一方受信側では、放射された音をマイクロホン９で
収音し、増幅器５を通して合成音電気信号３に変換す
る。この合成音電気信号３から舞踊動作信号２が抽出さ
れる。
く。一方受信側では、放射された音をマイクロホン９で
収音し、増幅器５を通して合成音電気信号３に変換す
る。この合成音電気信号３から舞踊動作信号２が抽出さ
れる。
【００３３】次にその舞踊動作信号２は、ロボット制御
部に入力されてロボット内各アクチュエータ指令信号
（または指令値）が生成され、その指令値に従って人型
ロボットは動作を行う。その様子を周りの人間が目で見
て、耳で舞踊音楽を聞くことにより、ロボットの舞踊パ
フォーマンスを楽しむことができるのである。
部に入力されてロボット内各アクチュエータ指令信号
（または指令値）が生成され、その指令値に従って人型
ロボットは動作を行う。その様子を周りの人間が目で見
て、耳で舞踊音楽を聞くことにより、ロボットの舞踊パ
フォーマンスを楽しむことができるのである。
【００３４】次に、楽音（音楽）と振りを対応させる方
法について説明する。すなわち、これは、楽音１と舞踊
動作信号２の時系列的な対応関係を定義することであ
る。ここでは一例として、図２における楽譜で表現され
る楽音を用いて、図１の人型ロボットを、図３の４つの
舞踊動作パタンの組み合わせて舞踊させる場合について
説明する。
法について説明する。すなわち、これは、楽音１と舞踊
動作信号２の時系列的な対応関係を定義することであ
る。ここでは一例として、図２における楽譜で表現され
る楽音を用いて、図１の人型ロボットを、図３の４つの
舞踊動作パタンの組み合わせて舞踊させる場合について
説明する。
【００３５】この曲のリズムは４ビートであるので、１
小節当たり４つの舞踊動作を定義する場合を考えるもの
とする。第ｉ小節の第ｊ拍に対応する舞踊動作コードを
Ｃijと表現すれば、この曲の舞踊動作コードの流れ、す
なわちコードシーケンスは第１小節より順に、Ｃ11Ｃ12
Ｃ13Ｃ14Ｃ21Ｃ22Ｃ23Ｃ24……のように表現される。
小節当たり４つの舞踊動作を定義する場合を考えるもの
とする。第ｉ小節の第ｊ拍に対応する舞踊動作コードを
Ｃijと表現すれば、この曲の舞踊動作コードの流れ、す
なわちコードシーケンスは第１小節より順に、Ｃ11Ｃ12
Ｃ13Ｃ14Ｃ21Ｃ22Ｃ23Ｃ24……のように表現される。
【００３６】次にロボットの舞踊動作の姿勢、すなわち
舞踊動作パターンの例として、図３のような４つの姿勢
Ａ，Ｂ，Ｃ，Ｄを考える。すなわち、Ａは両腕を上げた
姿勢、Ｂは両腕を下げた姿勢、Ｃは右手をあげて左手を
下げた姿勢、Ｄは左手をあげて右手を下げた姿勢であ
る。
舞踊動作パターンの例として、図３のような４つの姿勢
Ａ，Ｂ，Ｃ，Ｄを考える。すなわち、Ａは両腕を上げた
姿勢、Ｂは両腕を下げた姿勢、Ｃは右手をあげて左手を
下げた姿勢、Ｄは左手をあげて右手を下げた姿勢であ
る。
【００３７】以下では説明の簡略化のため、一例とし
て、第２小節での動作について説明する。例えば、Ｄ，
Ｃ，Ｂ，Ａの順に踊らせたい場合には、“数１”のよう
に設定すれば良い。
て、第２小節での動作について説明する。例えば、Ｄ，
Ｃ，Ｂ，Ａの順に踊らせたい場合には、“数１”のよう
に設定すれば良い。
【００３８】
【数１】
【００３９】楽音１とこれらの舞踊動作コードは、合成
装置で合成されるが、このとき、先に、本願発明者によ
って提案され、本願出願人によって出願された特願平１
１−３２９９１４号の技術を用いれば、容易に合成音電
気信号を生成することができる。
装置で合成されるが、このとき、先に、本願発明者によ
って提案され、本願出願人によって出願された特願平１
１−３２９９１４号の技術を用いれば、容易に合成音電
気信号を生成することができる。
【００４０】受信側では、上記“数１”と同一の舞踊動
作コードが抽出され、ロボットコントローラはこのコー
ドを順に受け取り、人型ロボットにこのコードに対応し
たアクチュエータ指令値を送る。なお、曲のテンポが相
対的に速い場合、ロボット制御動作の遅れや伝送時間の
遅れにより、振りが音楽に遅れて見えてしまう場合も考
えられる。
作コードが抽出され、ロボットコントローラはこのコー
ドを順に受け取り、人型ロボットにこのコードに対応し
たアクチュエータ指令値を送る。なお、曲のテンポが相
対的に速い場合、ロボット制御動作の遅れや伝送時間の
遅れにより、振りが音楽に遅れて見えてしまう場合も考
えられる。
【００４１】このような場合は、舞踊動作コードシーケ
ンス全体を、音楽のテンポよりも早めに対応させた複合
音を合成すれば良い。こうすることにより受信側では、
音楽が流れているある時刻において、その時刻に対応す
ベき本来の動作パターンコードが、既にロボット制御部
に伝達されているので、時間遅れの問題を生ずることな
く、音楽に完全に同期したロボット舞踊動作が実現され
る。
ンス全体を、音楽のテンポよりも早めに対応させた複合
音を合成すれば良い。こうすることにより受信側では、
音楽が流れているある時刻において、その時刻に対応す
ベき本来の動作パターンコードが、既にロボット制御部
に伝達されているので、時間遅れの問題を生ずることな
く、音楽に完全に同期したロボット舞踊動作が実現され
る。
【００４２】図４は本発明の実施の形態の合成装置の構
成の例を示す図であって、数字符号１は楽音信号（この
場合は音楽）、２は舞踊動作信号（ここでは舞踊動作コ
ード）、３は合成音、１５は音楽動作編集部、１６はコ
ード埋め込み処理部を表している。
成の例を示す図であって、数字符号１は楽音信号（この
場合は音楽）、２は舞踊動作信号（ここでは舞踊動作コ
ード）、３は合成音、１５は音楽動作編集部、１６はコ
ード埋め込み処理部を表している。
【００４３】同図において、音楽１と舞踊動作コード２
は、音楽動作編集部１５において編集され、コード埋め
込み処理部１６で合成されて合成音電気信号３として出
力される。以下、この合成装置の動作について４／４拍
子の場合を例にとって説明する。
は、音楽動作編集部１５において編集され、コード埋め
込み処理部１６で合成されて合成音電気信号３として出
力される。以下、この合成装置の動作について４／４拍
子の場合を例にとって説明する。
【００４４】Ｎを総小節数、また記号「；」、
「｛ ｝」は時系列を表すものとすると、楽音信号波形
は“数２”のように表せる。
「｛ ｝」は時系列を表すものとすると、楽音信号波形
は“数２”のように表せる。
【００４５】
【数２】
【００４６】また、舞踊動作信号のベクトルは“数３”
のように表せる。
のように表せる。
【００４７】
【数３】
【００４８】更に、合成された楽音信号波形は“数４”
のように表せる。
のように表せる。
【００４９】
【数４】
【００５０】ＰijへのＣijの合成信号波形を“数５”の
ように表記すると、
ように表記すると、
【００５１】
【数５】
【００５２】前記“数４”中の「ｍhyper(i)（ｔ）」は
“数６”のように表せる。
“数６”のように表せる。
【００５３】
【数６】
【００５４】上記“数５”の生成方法は、図４のコード
埋め込み処理部１６によって実現される。そしてこの生
成方法は、先にも述べた特願平１１−３２９９１４号に
も詳細に述べられている。
埋め込み処理部１６によって実現される。そしてこの生
成方法は、先にも述べた特願平１１−３２９９１４号に
も詳細に述べられている。
【００５５】“数２”で示した楽音信号波形Ｍ
org （ｔ）と“数３”で示した舞踊動作信号ベクトルと
から“数４”で示した合成された楽音信号波形Ｍhyper
（ｔ）を求める処理を「処理１」とすると、その論理は
図５に示す流れ図のようになる。同図中の（Ｓ−１）〜
（Ｓ−９）の表示は、処理のステップを表すもので、下
記説明中の同じ表示と対応している。
org （ｔ）と“数３”で示した舞踊動作信号ベクトルと
から“数４”で示した合成された楽音信号波形Ｍhyper
（ｔ）を求める処理を「処理１」とすると、その論理は
図５に示す流れ図のようになる。同図中の（Ｓ−１）〜
（Ｓ−９）の表示は、処理のステップを表すもので、下
記説明中の同じ表示と対応している。
【００５６】同図において、先ず、ｉを初期値１に設定
する（Ｓ−１）。次にｊを初期値１に設定する（Ｓ−
２）。Ｐij（ｔ）へのＣijの合成信号波形を生成する
（Ｓ−３）。ｊが４を越えたか否かを調べる（Ｓ−
４）。若しｊが４より小さければｊに“１”を加算して
（Ｓ−３）の処理に戻る（Ｓ−５）。
する（Ｓ−１）。次にｊを初期値１に設定する（Ｓ−
２）。Ｐij（ｔ）へのＣijの合成信号波形を生成する
（Ｓ−３）。ｊが４を越えたか否かを調べる（Ｓ−
４）。若しｊが４より小さければｊに“１”を加算して
（Ｓ−３）の処理に戻る（Ｓ−５）。
【００５７】次に、ｉがＮを越えたか否かを調べる（Ｓ
−６）。若しｉがＮより小さければｉに“１”を加算し
て（Ｓ−２）の処理に戻る（Ｓ−７）。そしてＭhyper
（ｔ）を出力して（Ｓ−８）処理を終了する。または、
（Ｓ−９）に示すように、１小節ごとにｍhyper(i)(t)
を出力することも可能であり、そうすることにより、埋
め込みと送出を実時間で行える。
−６）。若しｉがＮより小さければｉに“１”を加算し
て（Ｓ−２）の処理に戻る（Ｓ−７）。そしてＭhyper
（ｔ）を出力して（Ｓ−８）処理を終了する。または、
（Ｓ−９）に示すように、１小節ごとにｍhyper(i)(t)
を出力することも可能であり、そうすることにより、埋
め込みと送出を実時間で行える。
【００５８】図６は本発明の受信側の構成の例を示す図
であって、抽出装置、ロボット制御部、ロボットの機械
動作部の一部を含む構成を示している。同図において、
数字符号２は舞踊動作信号（この場合は舞踊動作コー
ド）、３は合成音電気信号、５は増幅器（図では略号に
てＡＭＰと表示）、７は合成音、９はマイクロホン、１
０は抽出装置、１９は舞踊動作コード／関節角度変換部
を表している。
であって、抽出装置、ロボット制御部、ロボットの機械
動作部の一部を含む構成を示している。同図において、
数字符号２は舞踊動作信号（この場合は舞踊動作コー
ド）、３は合成音電気信号、５は増幅器（図では略号に
てＡＭＰと表示）、７は合成音、９はマイクロホン、１
０は抽出装置、１９は舞踊動作コード／関節角度変換部
を表している。
【００５９】また、２０は音楽テンポ取得部、２１は音
楽テンポ信号、２２−１はθ1 目標値信号、２２−２は
θ2 目標値信号、２３−１はモータ１の回転角サーボ機
構、２３−２はモータ２の回転角サーボ機構、２４−１
はモータ１、２４−２はモータ２、２５−１、２５−２
はモータ駆動電流、１３は人型ロボット、１４はロボッ
ト動作機構部、２６−１は人型ロボット１３の右腕角度
（θ1 ）、２６−２は人型ロボット１３の左腕角度（θ
2 ）を表している。
楽テンポ信号、２２−１はθ1 目標値信号、２２−２は
θ2 目標値信号、２３−１はモータ１の回転角サーボ機
構、２３−２はモータ２の回転角サーボ機構、２４−１
はモータ１、２４−２はモータ２、２５−１、２５−２
はモータ駆動電流、１３は人型ロボット、１４はロボッ
ト動作機構部、２６−１は人型ロボット１３の右腕角度
（θ1 ）、２６−２は人型ロボット１３の左腕角度（θ
2 ）を表している。
【００６０】同図において、送信側からの合成音は、マ
イクロホン９で集音され、増幅器５で増幅されて、その
出力である合成音電気信号３が抽出装置１０に入力され
る。また、該合成音電気信号３は音楽テンポ取得部２１
にも入力される。抽出装置１０は、合成音電気信号３か
ら舞踊動作コード２を抽出して出力する。
イクロホン９で集音され、増幅器５で増幅されて、その
出力である合成音電気信号３が抽出装置１０に入力され
る。また、該合成音電気信号３は音楽テンポ取得部２１
にも入力される。抽出装置１０は、合成音電気信号３か
ら舞踊動作コード２を抽出して出力する。
【００６１】音楽テンポ取得部２０は合成音電気信号３
から音楽テンポ信号２１を生成して出力する。舞踊動作
コード／関節角度変換部１９は、舞踊動作コード２から
θ1目標値信号２２−１、θ2 目標値信号２２−２を生
成して、音楽テンポ信号２１に同期して出力する。
から音楽テンポ信号２１を生成して出力する。舞踊動作
コード／関節角度変換部１９は、舞踊動作コード２から
θ1目標値信号２２−１、θ2 目標値信号２２−２を生
成して、音楽テンポ信号２１に同期して出力する。
【００６２】上記θ1 は同図中に示した人型ロボット１
３の右腕角度２６−１であり、θ2は同図中に示した人
型ロボット１３の左腕角度２６−２である。モータ１の
回転角サーボ機構２３−１は、上記θ1 の目標値信号２
２−１を受けてモータ１（２４−１）の回転角を制御す
る。モータ２の回転角サーボ機構２３−２は、上記θ 2
の目標値信号２２−２を受けてモータ２（２４−２）の
回転角を制御する。
３の右腕角度２６−１であり、θ2は同図中に示した人
型ロボット１３の左腕角度２６−２である。モータ１の
回転角サーボ機構２３−１は、上記θ1 の目標値信号２
２−１を受けてモータ１（２４−１）の回転角を制御す
る。モータ２の回転角サーボ機構２３−２は、上記θ 2
の目標値信号２２−２を受けてモータ２（２４−２）の
回転角を制御する。
【００６３】前記ロボット動作機構部１４は、主として
上述のモータ１の回転角サーボ機構２３−１、モータ２
の回転角サーボ機構２３−２、モータ１（２４−１）、
モータ２（２４−２）によって構成される機械的動作部
である。
上述のモータ１の回転角サーボ機構２３−１、モータ２
の回転角サーボ機構２３−２、モータ１（２４−１）、
モータ２（２４−２）によって構成される機械的動作部
である。
【００６４】以上説明した実施の形態の例では、送信側
でスピーカーにより送出した合成音を受信側でマイクロ
ホンで受けて、その合成音電気信号から人型ロボットの
動作信号を抽出する例について述べているが、送信側か
ら有線伝送路を用いて受信側に合成音電気信号を転送
し、受信側で該合成音電気信号から人型ロボットの動作
信号を抽出するするようにしても目的を達成できるもの
であることは言うまでもない。
でスピーカーにより送出した合成音を受信側でマイクロ
ホンで受けて、その合成音電気信号から人型ロボットの
動作信号を抽出する例について述べているが、送信側か
ら有線伝送路を用いて受信側に合成音電気信号を転送
し、受信側で該合成音電気信号から人型ロボットの動作
信号を抽出するするようにしても目的を達成できるもの
であることは言うまでもない。
【００６５】図７は本発明の実施の形態の第２の例を説
明する図である。この例は合成音をテレビ放送を通じて
伝送する例である。同図において、数字符号３０はテレ
ビ受像機、３１はテレビの画面、３２はテレビの画面上
のタレントの顔、３３はテレビ受像機から出力される音
声、３５はロボット、３６はロボットから出力される音
声、３７はロボットの動作を表している。
明する図である。この例は合成音をテレビ放送を通じて
伝送する例である。同図において、数字符号３０はテレ
ビ受像機、３１はテレビの画面、３２はテレビの画面上
のタレントの顔、３３はテレビ受像機から出力される音
声、３５はロボット、３６はロボットから出力される音
声、３７はロボットの動作を表している。
【００６６】図８は、図７に示したロボットの機能ブロ
ック図であって、数字符号４１はマイクロホン、４２は
情報抽出装置、４３は運動制御装置、４４はロボット動
作コマンド対応表、４５は駆動機構、４６は音声制御装
置、４７はロボットセリフコマンド対応表、４８はスピ
ーカーを表している。図７、図８は請求項９の発明に対
応する。
ック図であって、数字符号４１はマイクロホン、４２は
情報抽出装置、４３は運動制御装置、４４はロボット動
作コマンド対応表、４５は駆動機構、４６は音声制御装
置、４７はロボットセリフコマンド対応表、４８はスピ
ーカーを表している。図７、図８は請求項９の発明に対
応する。
【００６７】以下、これらの図に基づいて、本発明の実
施の形態の第２の例について説明する。この場合のテレ
ビ受像機から出力される音声３３は、テレビに登場する
タレントの声であり、「元気ですか」という自然言語で
ある。このテレビ受像機から出力される音声３３は、実
は合成音電気信号であり、この「元気ですか」という自
然言語には、元々のタレントの声（情報１）にロボット
の制御信号（情報２）が埋め込まれている。
施の形態の第２の例について説明する。この場合のテレ
ビ受像機から出力される音声３３は、テレビに登場する
タレントの声であり、「元気ですか」という自然言語で
ある。このテレビ受像機から出力される音声３３は、実
は合成音電気信号であり、この「元気ですか」という自
然言語には、元々のタレントの声（情報１）にロボット
の制御信号（情報２）が埋め込まれている。
【００６８】そして、テレビ受像機から出力される音声
３３のタレントの言葉にあたかも応えるような言葉と動
作の情報を情報２として、情報１に埋め込み、ロボット
に伝えるのである。この例では、情報２は「元気だよ」
という言葉情報と「右手を振る」という動作情報とす
る。
３３のタレントの言葉にあたかも応えるような言葉と動
作の情報を情報２として、情報１に埋め込み、ロボット
に伝えるのである。この例では、情報２は「元気だよ」
という言葉情報と「右手を振る」という動作情報とす
る。
【００６９】ロボットには、予め表１に示すような「コ
マンドと動作の対応表」と、表２に示すような「コマン
ドとセリフの対応表」、が準備されている。すなわち、
表１は、コマンドを示す記号“Ａ”または“Ｂ”によっ
てロボットがどのような動作をするかを示す対応表であ
る。表２は、コマンドを示す記号“０”または“１”に
よってロボットがどのような発声をするかを示す対応表
である。これらの対応表は実際にはロボット内にテーブ
ルとして記憶されている。
マンドと動作の対応表」と、表２に示すような「コマン
ドとセリフの対応表」、が準備されている。すなわち、
表１は、コマンドを示す記号“Ａ”または“Ｂ”によっ
てロボットがどのような動作をするかを示す対応表であ
る。表２は、コマンドを示す記号“０”または“１”に
よってロボットがどのような発声をするかを示す対応表
である。これらの対応表は実際にはロボット内にテーブ
ルとして記憶されている。
【００７０】
【表１】
【００７１】
【表２】
【００７２】上の例の場合のようにロボットに「元気だ
よ」という発声と「右手を振る」という動作を行わせる
場合には、放送局側で、タレントの「元気ですか」とい
う声の中に、情報２を“Ａ”“０”として埋め込んで放
送する。受信側では、テレビ受像機３０でこれを受信
し、タレントの「元気ですか」という音声を出力する。
よ」という発声と「右手を振る」という動作を行わせる
場合には、放送局側で、タレントの「元気ですか」とい
う声の中に、情報２を“Ａ”“０”として埋め込んで放
送する。受信側では、テレビ受像機３０でこれを受信
し、タレントの「元気ですか」という音声を出力する。
【００７３】ロボット３５は、この音声出力をマイクロ
フォン４１で受けてこれを合成音電気信号として出力す
る。情報抽出装置４２では、この合成音電気信号に埋め
込まれている２値信号を抽出し、運動制御装置４３と音
声制御装置４６に渡す。運動制御装置４３では該２値信
号から“Ａ”または“Ｂ”が検出されたら、これに基づ
いてロボット動作コマンド対応表４４をサーチして動作
の内容（この場合の動作は「右手を振る」）を知り、当
該動作に対応する信号を駆動機構４５に渡す。駆動機構
４５はこれに基づいてロボットの「右手を振る」動作を
行う。
フォン４１で受けてこれを合成音電気信号として出力す
る。情報抽出装置４２では、この合成音電気信号に埋め
込まれている２値信号を抽出し、運動制御装置４３と音
声制御装置４６に渡す。運動制御装置４３では該２値信
号から“Ａ”または“Ｂ”が検出されたら、これに基づ
いてロボット動作コマンド対応表４４をサーチして動作
の内容（この場合の動作は「右手を振る」）を知り、当
該動作に対応する信号を駆動機構４５に渡す。駆動機構
４５はこれに基づいてロボットの「右手を振る」動作を
行う。
【００７４】音声制御装置４６では該２値信号から
“０”または“１”が検出されたら、これに基づいてロ
ボットセリフコマンド対応表４７をサーチして発声する
音声の内容を知り、該当する音声を合成してスピーカー
から音声信号として出力する。別の例として、ロボット
に「元気だよ」と共に左手を振らせたい場合には、情報
２を“Ｂ”“０”とすれば良い。
“０”または“１”が検出されたら、これに基づいてロ
ボットセリフコマンド対応表４７をサーチして発声する
音声の内容を知り、該当する音声を合成してスピーカー
から音声信号として出力する。別の例として、ロボット
に「元気だよ」と共に左手を振らせたい場合には、情報
２を“Ｂ”“０”とすれば良い。
【００７５】上記記述では、表２が予めロボットに登録
されていることとして説明しているが、これとは別に、
このような表を用いずに、セリフテキストを直接情報２
として埋め込む方法も有り得る。上の例では、情報２と
して“Ａ”“ＧＥＮＫＩＤＡＹＯ”とすれば良い。この
場合、ロボットは“ＧＥＮＫＩＤＡＹＯ”を抽出した
後、音声合成により「元気だよ」と発音させる。
されていることとして説明しているが、これとは別に、
このような表を用いずに、セリフテキストを直接情報２
として埋め込む方法も有り得る。上の例では、情報２と
して“Ａ”“ＧＥＮＫＩＤＡＹＯ”とすれば良い。この
場合、ロボットは“ＧＥＮＫＩＤＡＹＯ”を抽出した
後、音声合成により「元気だよ」と発音させる。
【００７６】図９は本発明の実施の形態の第３の例を説
明する図である。同図において、数字符号３０〜３２，
３５，３７は図７と同様であり、３４はテレビ受像機か
ら出力される音声、３８はロボットから出力される音声
３９ａ，３９ｂはタッチセンサを表している。図１０
は、図９に示したロボットの機能ブロック図であって、
数字符号４１〜４８は図８と同様であり、４９は入力装
置、５０は制御装置、５１は通信制御装置を表してい
る。
明する図である。同図において、数字符号３０〜３２，
３５，３７は図７と同様であり、３４はテレビ受像機か
ら出力される音声、３８はロボットから出力される音声
３９ａ，３９ｂはタッチセンサを表している。図１０
は、図９に示したロボットの機能ブロック図であって、
数字符号４１〜４８は図８と同様であり、４９は入力装
置、５０は制御装置、５１は通信制御装置を表してい
る。
【００７７】図１１は通信・放送融合システムを実現す
るための、放送とネットワークの関係を示すブロック図
であって、数字符号５２はロボット、５３はネットワー
ク、５４は通信制御装置、５５は集計装置、５６は表示
装置、５７は出演者、５８は放送設備、５９はテレビ受
像機を表している。
るための、放送とネットワークの関係を示すブロック図
であって、数字符号５２はロボット、５３はネットワー
ク、５４は通信制御装置、５５は集計装置、５６は表示
装置、５７は出演者、５８は放送設備、５９はテレビ受
像機を表している。
【００７８】以下これらの図を参照して本発明の実施の
形態の第３の例について説明する。この例において、情
報１は、ＴＶに登場するタレントの声であり、「この意
見に賛成の人、右手を押して、反対の人、左手を押し
て」という自然言語である。このタレントの言葉にあた
かも応えるような言葉と動作の情報を情報２として、情
報１に埋め込んで、ロボットに伝えるのである。この例
では、情報２は「どっち」という言葉情報と両手を振る
動作情報とする。
形態の第３の例について説明する。この例において、情
報１は、ＴＶに登場するタレントの声であり、「この意
見に賛成の人、右手を押して、反対の人、左手を押し
て」という自然言語である。このタレントの言葉にあた
かも応えるような言葉と動作の情報を情報２として、情
報１に埋め込んで、ロボットに伝えるのである。この例
では、情報２は「どっち」という言葉情報と両手を振る
動作情報とする。
【００７９】ロボットには、予め表３、表４のデータが
準備されている。表３は、ロボット動作コマンドとその
記号の対応表である。表４は、ロボットセリフコマンド
とその記号の対応表である。この例のように、ロボット
に「どっち」という言葉を発声させ、両手を振る動作を
行わせるには、情報２を「Ａ」「０」とすれば良い。こ
れらの対応表は実際にはロボット内にテーブルとして記
憶されていることは先に述べたとおりである。
準備されている。表３は、ロボット動作コマンドとその
記号の対応表である。表４は、ロボットセリフコマンド
とその記号の対応表である。この例のように、ロボット
に「どっち」という言葉を発声させ、両手を振る動作を
行わせるには、情報２を「Ａ」「０」とすれば良い。こ
れらの対応表は実際にはロボット内にテーブルとして記
憶されていることは先に述べたとおりである。
【００８０】
【表３】
【００８１】
【表４】
【００８２】別の例として、ロボットに「こんにちは」
と発声させると共に挨拶をさせたい場合には、情報２を
「Ｂ」「１」とすれば良い。上の例では、表４が予めロ
ボットに登録されている場合であるが、これとは別に、
このような表を用いずに、セリフテキストを直接情報２
として埋め込む方法も有り得る。、上の例では、情報２
として「Ａ」『ＤＯＣＣＨＩ］とすれば良い。
と発声させると共に挨拶をさせたい場合には、情報２を
「Ｂ」「１」とすれば良い。上の例では、表４が予めロ
ボットに登録されている場合であるが、これとは別に、
このような表を用いずに、セリフテキストを直接情報２
として埋め込む方法も有り得る。、上の例では、情報２
として「Ａ」『ＤＯＣＣＨＩ］とすれば良い。
【００８３】この場合、ロボットは［ＤＯＣＣＨＩ」を
抽出した後、音声合成により「どっち」と発音させるよ
うにすれば良い。その後、ロボットは、両手に設けられ
たタッチセンサ３９ａ，３９ｂ（機能ブロック図では入
力装置４９）の入力を受け付けるようになる。視聴者
は、番組の内容に併せて、ロボットの右手、もしくは左
手のタッチセンサ３９ａあるいは３９ｂを押す。
抽出した後、音声合成により「どっち」と発音させるよ
うにすれば良い。その後、ロボットは、両手に設けられ
たタッチセンサ３９ａ，３９ｂ（機能ブロック図では入
力装置４９）の入力を受け付けるようになる。視聴者
は、番組の内容に併せて、ロボットの右手、もしくは左
手のタッチセンサ３９ａあるいは３９ｂを押す。
【００８４】その入力は、制御装置５０によって、情報
抽出装置４２の出力の一部の情報と対応付けが成されて
通信制御装置５１を経て、ネットワーク５３に送出され
る。前記情報抽出装置４２の出力の一部の情報とは、ネ
ットワークのアドレス（電話番号など）および放送局
や、番組あるいは、該当する出演者の言葉などを識別す
ることのできる情報である。すなわち、視聴者の入力が
放送のどの部分に対して行われたかを判断するための情
報である。
抽出装置４２の出力の一部の情報と対応付けが成されて
通信制御装置５１を経て、ネットワーク５３に送出され
る。前記情報抽出装置４２の出力の一部の情報とは、ネ
ットワークのアドレス（電話番号など）および放送局
や、番組あるいは、該当する出演者の言葉などを識別す
ることのできる情報である。すなわち、視聴者の入力が
放送のどの部分に対して行われたかを判断するための情
報である。
【００８５】このようにして、多くの視聴者から入力さ
れてネットワーク５３に送出された情報は、集計装置５
５にて集計され、表示装置５６にその結果が表示され
る。テレビ番組の出演者５７や、テレビ番組の担当者な
どは、表示装置５６に提示された数値を見て、視聴者と
のコミュニケーションを図ることができる。
れてネットワーク５３に送出された情報は、集計装置５
５にて集計され、表示装置５６にその結果が表示され
る。テレビ番組の出演者５７や、テレビ番組の担当者な
どは、表示装置５６に提示された数値を見て、視聴者と
のコミュニケーションを図ることができる。
【００８６】
【発明の効果】以上説明したように、本発明によれば、
信号を伝送する手段として可聴音信号を用いるので発信
手段はスピーカーを用いれば良く、また、受信側はマイ
クでこれを受信すれば良いので、無線装置あるいは、赤
外線送受信装置等の音以外のメディアによる通信手段は
不必要であり、装置を簡潔なものとすることができる。
信号を伝送する手段として可聴音信号を用いるので発信
手段はスピーカーを用いれば良く、また、受信側はマイ
クでこれを受信すれば良いので、無線装置あるいは、赤
外線送受信装置等の音以外のメディアによる通信手段は
不必要であり、装置を簡潔なものとすることができる。
【００８７】従って、特別な発信装置が無くてもスピー
カーで音を出すだけで、予めプログラムされた木目細か
い舞踊を行う舞踊ロボットが実現することができる。ま
た、一度複合音を合成し録音すれば、ラジオ、テレビ、
テープレコーダ、ＣＤプレイヤーなど様々な音楽再生装
置が、そのまま送信装置として利用可能である。
カーで音を出すだけで、予めプログラムされた木目細か
い舞踊を行う舞踊ロボットが実現することができる。ま
た、一度複合音を合成し録音すれば、ラジオ、テレビ、
テープレコーダ、ＣＤプレイヤーなど様々な音楽再生装
置が、そのまま送信装置として利用可能である。
【００８８】そしてそれらのコンテンツは、放送、イン
ターネット等の公衆網を使って配信が可能であるし、そ
の際、合成音電気信号にＭＰ３等の圧縮技術を適用する
こともできる。ＣＤやＭＤ等のメディアを使って物理的
な流通も容易である。
ターネット等の公衆網を使って配信が可能であるし、そ
の際、合成音電気信号にＭＰ３等の圧縮技術を適用する
こともできる。ＣＤやＭＤ等のメディアを使って物理的
な流通も容易である。
【００８９】また、請求項９〜１３の発明によれば、視
聴者はＴＶのタレントの言葉に対し、ロボットが本当に
反応しているように感じ取ることができる。一方、この
ようなロボットを必要としない視聴者は通常の放送とし
て視聴することが可能であり、２値信号が埋め込まれて
いることがその視聴を阻害することはない。
聴者はＴＶのタレントの言葉に対し、ロボットが本当に
反応しているように感じ取ることができる。一方、この
ようなロボットを必要としない視聴者は通常の放送とし
て視聴することが可能であり、２値信号が埋め込まれて
いることがその視聴を阻害することはない。
【００９０】更に、請求項１４の発明によれば、テレビ
局あるいは出演者が放送に対する視聴者の反応を知るこ
とが可能となり、親しみやすい双方向番組の実現が可能
となる利点がある。
局あるいは出演者が放送に対する視聴者の反応を知るこ
とが可能となり、親しみやすい双方向番組の実現が可能
となる利点がある。
【図１】本発明の実施の形態の第１の例を示す図であ
る。
る。
【図２】楽音信号と舞踊動作コードと楽譜の時系列的な
関係の例を示す図である。
関係の例を示す図である。
【図３】ロボットの舞踊動作の姿勢とそれに対応する舞
踊動作コードを示す図である。
踊動作コードを示す図である。
【図４】本発明の合成装置の構成の例を示す図である。
【図５】本発明の合成装置の処理の例を示す流れ図であ
る。
る。
【図６】本発明の受信側の構成の例を示す図である。
【図７】本発明の実施の形態の第２の例を説明する図で
ある。
ある。
【図８】ロボットの機能ブロック図である。
【図９】本発明の実施の形態の第３の例を説明する図で
ある。
ある。
【図１０】ロボットの機能ブロック図である。
【図１１】通信・放送融合システムを実現するための、
放送とネットワークの関係を示すブロック図である。
放送とネットワークの関係を示すブロック図である。
１ 楽音信号 ２ 舞踊動作信号 ３ 合成音電気信号 ４ 合成装置 ５ 増幅器 ６ スピーカー ７ 合成音 ８ 人間 ９ マイクロホン １０ 抽出装置 １１ ロボット制御部 １２ アクチュエータ指令信号 １３ 人型ロボット １４ ロボット動作機構部 １５ 音楽動作編集部 １６ コード埋め込み処理部 １９ 舞踊動作コード／関節角度変換部 ２０ 音楽テンポ取得部 ２１ 音楽テンポ信号 ２２−１ θ1 目標値信号 ２２−２ θ2 目標値信号 ２３−１ モータ１の回転角サーボ機構 ２３−２ モータ２の回転角サーボ機構 ２４−１ モータ１ ２４−２ モータ２ ２５−１ モータ１駆動電流 ２５−２ モータ２駆動電流 ２６−１ 人型ロボット１３の右腕角度（θ1 ） ２６−２ 人型ロボット１３の左腕角度（θ2 ） ３０ テレビ受像機 ３１ テレビの画面 ３２ テレビの画面上のタレントの顔 ３３，３４ テレビ受像機から出力される音声 ３５ ロボット ３６，３８ ロボットから出力される音声 ３７ ロボットの動作 ３９ａ，３９ｂ タッチセンサー ４１ マイクロホン ４２ 情報抽出装置 ４３ 運動制御装置 ４４ ロボット動作コマンド対応表 ４５ 駆動機構 ４６ 音声制御装置 ４７ ロボットセリフコマンド対応表 ４８ スピーカー ４９ 入力装置 ５０ 制御装置 ５１ 通信制御装置 ５２ ロボット ５３ ネットワーク ５４ 通信制御装置 ５５ 集計装置 ５６ 表示装置 ５７ 出演者 ５８ 放送設備 ５９ テレビ受像機
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｈ 1/00 Ｇ１０Ｈ 1/00 Ｂ Ｚ Ｇ１０Ｌ 15/10 Ａ６３Ｈ 13/04 Ｂ 15/00 Ｇ１０Ｌ 3/00 ５３１Ｎ // Ａ６３Ｈ 13/04 ５５１Ｈ (72)発明者 町野 保 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 北岸 郁雄 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2C150 BA06 BA11 CA01 CA02 DA24 DA26 DA27 DA28 DF02 DF04 DF06 DF31 ED42 ED52 EF16 EF23 EF29 EF36 3F059 AA00 BA02 BB06 BC07 DA09 DD08 DD18 FA03 FB22 FB26 FC02 FC13 FC14 3F060 AA00 BA07 CA14 CA26 GA05 GA13 GB06 GB21 GD12 GD13 5D015 AA06 KK01 5D378 KK01 QQ01
Claims (14)
- 【請求項１】 楽音信号（１）と、ロボット動作信号
（２）とを、電気的に合成する信号合成手段と、 該信号合成手段により生成された合成電気信号を外界に
音響信号として出力する手段とを備えた発信装置と、 該発信装置から出力された音響信号を受信して合成電気
信号に変換する変換手段と、 該変換手段により得られた合成電気信号から信号（２）
を抽出する信号抽出手段とを備えた受信装置と、 該信号抽出手段で抽出された信号２を解読して機械動作
信号に変換する制御装置を有し、該機械動作信号に従っ
て動作することを特徴とする音楽反応型ロボット。 - 【請求項２】 発信装置の合成電気信号を外界に音響信
号として出力する手段はスピーカーであり、受信装置の
音響信号を電気信号に変換する手段はマイクロフォンで
ある請求項１記載の音楽反応型ロボット。 - 【請求項３】 楽音信号（１）と、ロボット動作信号
（２）とを、電気的に合成する手段として、データ・ハ
イディング技術を用いる請求項１又は請求項２に記載の
音楽反応型ロボット。 - 【請求項４】 ロボット動作信号（２）は楽音信号
（１）のテンポに同期した舞踊動作信号である請求項１
〜請求項３のいずれか１項に記載の音楽反応型ロボッ
ト。 - 【請求項５】舞踊動作信号は舞踊動作パターンを表現す
るコード信号である請求項４記載の音楽反応型ロボッ
ト。 - 【請求項６】 ロボット動作信号（２）は楽音信号
（１）のテンポに同期した舞踊動作信号であり、発信側
において、ロボット動作信号（２）を楽音信号（１）よ
り先行させて送出する請求項４又は請求項５に記載の音
楽反応型ロボット。 - 【請求項７】 楽音信号（１）は、ＭＩＤＩ信号であ
り、ロボット動作信号（２）は該楽音信号（１）に付随
するＭＩＤＩイベント信号である請求項１〜請求項６の
いずれか１項に記載の音楽反応型ロボット。 - 【請求項８】 送信側に、 送信音源（１ａ）と該送信音源とは別の２値信号（２）
とを電気的に合成して合成電気信号を生成し、無線通信
用搬送波を該合成電気信号によって変調した無線信号を
送信する手段を設けると共に、 受信側に、 該無線信号を受信して検波することにより前記合成電気
信号を復調して、これをスピーカから音響信号として出
力する手段と、 出力された該音響信号をマイクロホンによって集音し
て、これにより得られた合成電気信号から前記２値信号
（２）を順次抽出して、２値信号列とする手段と、 該２値信号列の内容に従って、ロボットを制御する手段
とを設けたことを特徴とする音声反応型ロボット。 - 【請求項９】 送信側が、テレビまたはラジオの放送局
であり、 送信音源（１ａ）は、放送内容、もしくはコマーシャル
内容であり、 ２値信号（２）は、該２値信号列によって示されるコマ
ンド情報であって、 受信側はテレビ放送、またはラジオ放送を通じて音響信
号を受信して合成音信号を出力し、 該合成音信号をマイクロホンによって集音して、これに
より得られた合成電気信号から前記２値信号（２）を順
次抽出して、 ２値信号列と成し、該２値信号列で示されるコマンドの
内容に従って、ロボットを制御する請求項８記載の音声
反応型ロボット。 - 【請求項１０】 コマンドは、ロボットの運動を制御す
るためのコマンドであって、ロボットが該コマンドの指
示に従って、予め定められた運動動作をするように構成
した請求項９に記載の音声反応型ロボット。 - 【請求項１１】 コマンドは、ロボットの音声出力を制
御するためのコマンドであって、ロボットが該コマンド
の指示に従って、予め定められた内容の音声を合成して
出力するように構成した請求項９に記載の音声反応型ロ
ボット。 - 【請求項１２】 ロボットの運動を制御するためのコマ
ンドと、ロボットの音声出力を制御するためのコマンド
とを同時にシリアルにロボットに伝え、ロボットがこれ
を分離して、当該コマンドの指示に従って、予め定めら
れた運動動作をすると共に、予め定められた内容の音声
を合成して出力する請求項９に記載の音声反応型ロボッ
ト。 - 【請求項１３】 コマンドは簡潔な記号で示され、ロボ
ットが、自装置内に保持する記号対ロボットの運動動
作、あるいは記号対ロボットの発声内容を記したテーブ
ルをサーチして動作内容を決定する請求項９〜請求項１
２のいずれか１項に記載の音声反応型ロボット。 - 【請求項１４】 送信側に、 放送音源（１ａ）と該放送音源とは別の２値信号（２）
とを電気的に合成して合成電気信号を生成し、無線通信
用搬送波を該合成電気信号によって変調した無線信号を
送信する手段と、 ネットワークを通じて受信側からの情報を受信し、これ
を出力する送信側通信制御装置と、 該送信側通信制御装置の出力を受けて、受信側からの情
報の少なくとも一部を集計する集計装置と、 該集計装置の出力を表示する表示装置とを設けると共
に、 受信側に、 該無線信号を受信して検波することにより前記合成電気
信号を復調して、これをスピーカから音響信号として出
力する手段と、 出力された該音響信号をマイクロホンによって集音し
て、これにより得られた合成電気信号から前記２値信号
（２）を順次抽出して、２値信号列とする手段と、 該２値信号列の内容に従って、ロボットを制御する手段
と、 スイッチなどを用いた信号の入力手段と、 該信号と、前記合成電気信号から抽出した２値信号列と
を対応付けた信号を生成して出力する制御装置と、 該制御装置の出力をネットワークに送出する受信側通信
制御装置とを設けたことを特徴とする通信・放送融合ロ
ボットシステム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000136717A JP3621020B2 (ja) | 1999-12-24 | 2000-05-10 | 音楽反応型ロボットおよび発信装置 |
| US09/712,945 US6947893B1 (en) | 1999-11-19 | 2000-11-16 | Acoustic signal transmission with insertion signal for machine control |
| US11/200,225 US20060020467A1 (en) | 1999-11-19 | 2005-08-08 | Acoustic signal transmission method and acoustic signal transmission apparatus |
| US11/200,288 US7657435B2 (en) | 1999-11-19 | 2005-08-08 | Acoustic signal transmission method and apparatus with insertion signal |
| US12/372,735 US7949519B2 (en) | 1999-11-19 | 2009-02-17 | Information communication apparatus, transmission apparatus and receiving apparatus |
| US13/071,401 US8635072B2 (en) | 1999-11-19 | 2011-03-24 | Information communication using majority logic for machine control signals extracted from audible sound signals |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-366345 | 1999-12-24 | ||
| JP36634599 | 1999-12-24 | ||
| JP2000136717A JP3621020B2 (ja) | 1999-12-24 | 2000-05-10 | 音楽反応型ロボットおよび発信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001239485A true JP2001239485A (ja) | 2001-09-04 |
| JP3621020B2 JP3621020B2 (ja) | 2005-02-16 |
Family
ID=26581779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000136717A Expired - Fee Related JP3621020B2 (ja) | 1999-11-19 | 2000-05-10 | 音楽反応型ロボットおよび発信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3621020B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6782308B2 (en) | 2001-10-04 | 2004-08-24 | Yamaha Corporation | Robot performing dance along music |
| JP2005523827A (ja) * | 2002-04-30 | 2005-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 一組の可動部分を有するロボット用のアニメートシステム |
| JP2006297158A (ja) * | 2006-08-10 | 2006-11-02 | Bandai Co Ltd | 運動体制御システム、運動体及びそのプログラム |
| JP2012022612A (ja) * | 2010-07-16 | 2012-02-02 | Nissan Motor Co Ltd | 生産設備制御システムおよび生産設備制御方法 |
| JP2013068899A (ja) * | 2011-09-26 | 2013-04-18 | Yamaha Corp | 楽音再生装置及び情報処理装置、並びにプログラム |
| JP2014044436A (ja) * | 2013-11-08 | 2014-03-13 | Yamaha Corp | 情報処理装置及びプログラム |
| JP2017196675A (ja) * | 2016-04-25 | 2017-11-02 | 株式会社Ｓｏｋｅｎ | 動作制御装置 |
| US10456921B2 (en) | 2016-12-27 | 2019-10-29 | Fanuc Corporation | Industrial-robot control device |
| JP2019191336A (ja) * | 2018-04-24 | 2019-10-31 | 培雄 唐沢 | 任意信号挿入方法及び任意信号挿入システム |
| CN111903055A (zh) * | 2018-03-22 | 2020-11-06 | 雅马哈株式会社 | 音响设备、服务器、音响系统、音响设备的控制方法以及程序 |
-
2000
- 2000-05-10 JP JP2000136717A patent/JP3621020B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6782308B2 (en) | 2001-10-04 | 2004-08-24 | Yamaha Corporation | Robot performing dance along music |
| JP2005523827A (ja) * | 2002-04-30 | 2005-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 一組の可動部分を有するロボット用のアニメートシステム |
| JP2006297158A (ja) * | 2006-08-10 | 2006-11-02 | Bandai Co Ltd | 運動体制御システム、運動体及びそのプログラム |
| JP4537982B2 (ja) * | 2006-08-10 | 2010-09-08 | 株式会社バンダイ | 運動体制御システム、運動体及びそのプログラム |
| JP2012022612A (ja) * | 2010-07-16 | 2012-02-02 | Nissan Motor Co Ltd | 生産設備制御システムおよび生産設備制御方法 |
| JP2013068899A (ja) * | 2011-09-26 | 2013-04-18 | Yamaha Corp | 楽音再生装置及び情報処理装置、並びにプログラム |
| JP2014044436A (ja) * | 2013-11-08 | 2014-03-13 | Yamaha Corp | 情報処理装置及びプログラム |
| JP2017196675A (ja) * | 2016-04-25 | 2017-11-02 | 株式会社Ｓｏｋｅｎ | 動作制御装置 |
| US10456921B2 (en) | 2016-12-27 | 2019-10-29 | Fanuc Corporation | Industrial-robot control device |
| CN111903055A (zh) * | 2018-03-22 | 2020-11-06 | 雅马哈株式会社 | 音响设备、服务器、音响系统、音响设备的控制方法以及程序 |
| JP2019191336A (ja) * | 2018-04-24 | 2019-10-31 | 培雄 唐沢 | 任意信号挿入方法及び任意信号挿入システム |
| JP7343268B2 (ja) | 2018-04-24 | 2023-09-12 | 培雄 唐沢 | 任意信号挿入方法及び任意信号挿入システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3621020B2 (ja) | 2005-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5270480A (en) | Toy acting in response to a MIDI signal | |
| US5636994A (en) | Interactive computer controlled doll | |
| JP4595555B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
| DK2165531T3 (en) | Audio Animation System | |
| JP4247626B2 (ja) | 再生装置および再生方法 | |
| WO2014169700A1 (zh) | 一种电子乐器、音乐演奏方法 | |
| CN101983403A (zh) | 演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器 | |
| CN105915849A (zh) | 一种虚拟现实体育赛事播放方法及系统 | |
| KR20080003738A (ko) | 쌍방향 비디오·오디오 플레이 시스템 및 그 방법 | |
| CN102172433A (zh) | 通过超声波控制的电动玩具及其控制方法 | |
| US11036305B2 (en) | Signal processing apparatus and signal processing method | |
| JP3621020B2 (ja) | 音楽反応型ロボットおよび発信装置 | |
| CN104378695A (zh) | 卡拉ok互动节拍特效系统 | |
| KR20080075275A (ko) | 음악에 따라 춤을 추는 로봇 | |
| US7715693B2 (en) | Control apparatus and control method | |
| TWI402784B (zh) | Music detection system based on motion detection, its control method, computer program products and computer readable recording media | |
| US20200164522A1 (en) | Mobile terminal and music play-back system comprising mobile terminal | |
| JP6346245B2 (ja) | 玩具システム、玩具体の制御方法、及びプログラム | |
| CN113596353B (zh) | 体感互动数据处理方法、装置及体感互动设备 | |
| JP5486941B2 (ja) | 聴衆に唱和をうながす気分を楽しむカラオケ装置 | |
| JP6603734B2 (ja) | ゲームプログラムおよびゲーム装置 | |
| JP4531916B2 (ja) | 情報提供システム及び発声人形 | |
| WO2024202979A1 (ja) | パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラム | |
| CN113450748A (zh) | 一种基于midi技术的电子口哨 | |
| WO2021210338A1 (ja) | 再生制御方法、制御システムおよびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3621020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |