JP2006246438A - ネットワーク基盤のロボットシステムで動作含みのマルチメディアコンテンツを再生するための処理方法 - Google Patents

Abstract

【課題】本発明はネットワーク基盤のロボット用動作含みのマルチメディアコンテンツを再生するための処理方法に関するものである。
【解決手段】ロボット端末機などとこの端末機を制御するサービスサーバーを含むネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法において、サービスサーバーが、マルチメディアコンテンツファイルに端末機用動作制御データを挿入し、動作含みのマルチメディアコンテンツデータパケットなどを形成して貯蔵する段階；ユーザーが、特定端末機で特定コンテンツを再生しろと命令をすれば、この命令が前記サービスサーバーへ伝送される段階；前記命令により、前記サービスサーバーが前記コンテンツに対応するデータパケットを読み出し、順に前記端末機へ伝送する段階；前記端末機が、前記データパケットを順に貯蔵し、順に読み出して再生する段階を含むことを特徴とする。
【選択図】図１

Description

本発明はネットワーク基盤のロボットシステムで、動作制御情報が含まれたマルチメディアコンテンツを再生するための処理方法に関するものである。

未来にはさまざまなホームロボットが各家庭ごと補給され、ホームロボットを用いてさまざまな機能を行うことになるが、その代表的な利用分野の一つが口演童話の聞かせ、英語教育などの音声及び映像コンテンツ（以下、マルチメディアコンテンツ）の再生による教育分野である。

しかし、このような従来のホームロボットシステムにおいて、ユーザーがホームロボットまたはＰＣを通じてサービスサーバーに接続しホームページで特定の口演童話や英語学習コンテンツを有料または無料で購買すれば、このサービスサーバーに貯蔵されたこのコンテンツのための文章／音声ファイルと映像ファイルの全体がホームロボットでダウンされてホームロボットに貯蔵されている途中、ユーザーが所望の時期に、ホームロボットで文章をＴＴＳエンジンを用いて音声ファイルへ変換して発声したり、伝達された音声ファイルで発声しながら映像ファイルを再生し、口演童話や英語学習コンテンツを再生してくれるので、このようなダウンされた大容量の音声及び映像を再生するためにはホームロボットには殆どＰＣ級の大容量の処理装置と貯蔵装置（メモリ、ＨＤＤなど）が必要であってホームロボットの単価が上昇することになる。

また、このような口演童話及び英語学習用音声と映像再生の時にホームロボットは音声及び映像再生のみをするだけ、この音声及び映像に関連された動作（例えば、”おはよう？”または”ＨＥＬＬＯ”という文章が出ると、ホームロボットがあいさつする動作をしたり、文章を発声する時、文章に合うように口を開閉する動作など）をしなくて、口演童話や英語学習用コンテンツを用いる幼児及び子供に興味を誘発させることができない。

結局、現在のホームロボットシステムでは、音声及び映像コンテンツを用いるためにはホームロボットに大容量の中央処理装置と貯蔵装置が必要であり、音声及び映像に対応する動作なしに興味を誘発させることができない。

本発明は前記の従来技術の問題点を勘案して、安値のホームロボットの提供が可能になり、ホームロボットでは音声／映像再生と同期された動作が行われるようになる。

以上のような本発明の課題を達成するための本発明の実施例では、ネットワークに連結されたロボット端末機などと、このロボット端末機などを制御するサービスサーバーを含むネットワーク基盤（Network Based Robot System）のロボット制御システムを用いて動作含みのマルチメディアコンテンツ（Multimedia Contents Having Motion Information）を再生するための処理方法において、前記サービスサーバーが、パケット再生時間間隙で分割されたマルチメディアコンテンツファイルに、同期されるロボット端末機用動作制御データを挿入し、動作含みのマルチメディアコンテンツデータパケットなどを形成し貯蔵する段階；ユーザーが、特定ロボット端末機で特定動作含みのマルチメディアコンテンツを再生しろと命令すれば、この命令が前記サービスサーバーへ伝送される段階；前記伝送された命令により、前記サービスサーバーが前記特定動作含みのマルチメディアコンテンツに対応する動作含みのマルチメディアコンテンツデータパケットなどを読み出し、パケット段位で順に前記特定ロボット端末機のバッファへ伝送する段階；前記特定ロボット端末機が、前記受信される動作含みのマルチメディアコンテンツデータパケットなどをバッファに順に貯蔵し、前記パケット再生時間間隙で順に読み出して再生する段階を含むことを特徴とする。

以上のような本発明を用いれば、安値のホームロボットの提供が可能になり、ホームロボットでは音声／映像再生と同期された動作が行われるようになる。

まず、安値のホームロボットを達成するための本発明のシステムの全体的な構成及び動作を図１を参考にして説明する。

そして、本発明によるホームロボットは再生と駆動のための基本的な構成だけを有しているから、コンピューターシステムで端末機のような役目をするので、以下ではロボット端末機と称する。

各家庭のロボット端末機（１−１、１−２...１−Ｎ）には唇や関節、輪を駆動するためのモーター／リレー（２−１、２−２...２−Ｎ）と、モーター及びリレー（２−１、２−２...２−Ｎ）を駆動するための駆動回路（３−１、３−２...３−Ｎ）と、マイクなどのセンサーなど（４−１、４−２...４−Ｎ）と、センサーなど（４−１、４−２...４−Ｎ）からのセンシング信号をサーバー（７）へ伝送してサーバー（７）からのデータをロボット端末機（１−１、１−２...１−Ｎ）から受信するための送受信装置（５−１、５−２...５−Ｎ）と、サーバー（７）から伝達される音声ファイルを発声するためのＤ／Ａ変換機（６−１、６−２...６−Ｎ）とスピーカー（１０−１、１０−２...１０Ｎ）、ロボット端末機（１−１、１−２...１−Ｎ）に映像再生用モニター（図示せず）を有する時伝達される映像ファイルをモニターに表示するための映像表示制御装置（図示せず）を含んでいる。

このような各々のロボット端末機（１−１、１−２...１−Ｎ）の送受信装置（５−１、５−２...５−Ｎ）は無線で各々にＩＰ住所が割り当てられたホームゲートウェー（８−１、８−２...８−Ｎ）に連結し、ホームゲートウェー（８−１、８−２...８−Ｎ）はサーバー（７）に接続される。

サーバー（７）はホームゲートウェー（８−１、８−２...８−Ｎ）を通じて、各ロボット端末機（１−１、１−２...１−Ｎ）の各種センサー（４−１、４−２...４−Ｎ）からのセンシング信号を受信し要する処理と分析をして、ロボット端末機（１−１、１−２...１−Ｎ）へ音声及び映像ファイルを伝送し、この音声／映像ファイルと同期される動作制御データ（下で説明する各々のパケット再生時間間隙の間、唇及び各関節の動きを制御するモーターまたはリレーの駆動制御データ）を送信する。

そのため、送受信装置（５−１、５−２...５−Ｎ）を通じて動作制御データを受信したロボット端末機（１−１、１−２...１−Ｎ）は、この動作制御データを唇、関節または輪用モーター／リレー駆動回路（３−１、３−２...３−Ｎ）へ送り、このモーター／リレー駆動回路（３−１、３−２...３−Ｎ）でモーター／リレー（２−１、２−２...２−Ｎ）を駆動してロボット端末機（１−１、１−２...１−Ｎ）が適切な動作をするようにする。

また、サーバー（７）はＴＴＳエンジン（９）により文字を音声ファイルに変換したり録音をして音声ファイルを形成し、形成された音声ファイルをロボット端末機（１−１、１−２...１−Ｎ）へ伝送すれば、この音声ファイルを受信したロボット端末機（１−１、１−２...１−Ｎ）がＤ／Ａ変換機（６−１、６−２...６−Ｎ）によって音声ファイルをアナログ音声信号に変換してスピーカー（１０−１、１０−２...１０−Ｎ）により発声をするようになる。

なお、動作または発声関連の映像がある場合には、受信された映像ファイルを映像表示制御装置へ送信してロボット端末機（１−１、１−２...１−Ｎ）のモニターに関連映像を表示する。

以上のように、ロボット端末機（１−１、１−２...１−Ｎ）にはサーバー（７）とのデータ送受信のための送受信装置（５−１、５−２...５−Ｎ）と、マイクなどのセンサーなど（４−１、４−２...４−Ｎ）と、モーター／リレー（２−１、２−２...２−Ｎ）と、モーター／リレー駆動回路（３−１、３−２...３−Ｎ）と、Ｄ／Ａ変換機（６−１、６−２...６−Ｎ）と、スピーカー（１０−１、１０−２...１０−Ｎ）及び／または映像表示制御装置とモニターのみを設け、ロボット端末機（１−１、１−２...１−Ｎ）の動作のための動作制御データの形成、音声ファイル及び／または映像ファイルの形成のための大容量のデータ処理はサービスサーバー（７）で行われるようにしたら、ロボット端末機（１−１、１−２...１−Ｎ）には大容量の中央処理装置やメモリが要しなくなり安値のホームロボットを提供することが可能になる。

さて、本発明のために用いられるホームゲートウェー（８）に対してより詳しく察して見るようにする。

ホームゲートウェー（８）はさまざまな形態で連結されることができる。例えば、Ｅｔｈｅｒｎｅｔ（登録商標） ＬＡＮ方式やその他電力線通信、ホームＰＮＡなどの有線方式が可能である。

本発明のロボット端末機（１）は図１に示したとおり、基本的に無線でホームゲートウェー（８）との通信が可能でなければなりません。若し、ホームネットワークが設けられなくてホームゲートウェー（８）がない家庭では、ホームゲートウェー（８）の代りに、高速インターネット回線に連結されるＡＰ（Ａｃｃｅｓｓ Ｐｏｉｎｔ）を通じて無線ラン装置（図示せず）を経てロボット端末機（１）と無線通信をする。この場合、ロボット端末機（１）はサービスサーバー（７）に直接連結が可能なインターネットプロトコルと無線ラン（ＩＥＥＥ ８０２.１１x）を内臓しなければならない。

無線ラン（ＩＥＥＥ ８０２.１１x）の以外に、ホームネットワーク用で開発された無線通信装置には、ＨｏｍｅＲＦ、Ｂｌｕｅｔｏｏｔｈ、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄｗｉｄｔｈ）、無線１３９４、ＺｉｇＢｅｅ、Ｗｉｒｅｌｅｓｓ ＵＳＢなどがある。

さて、本発明のロボット端末機（１）がサービスサーバー（７）に接続する方法に対して説明する。

本発明のロボット端末機（１）は自体的に有する機能が非常に限定されているので、サービスサーバー（７）の助けが絶対的に必要である。

従って、ロボット端末機（１）に電源が投入されば、先ずネットワークに接続してサービスサーバー（７）との通信が行われなければならない。

ロボット端末機（１）に電源が投入される時、ロボット端末機（１）がサービスサーバー（７）に接続される過程を図２を参考にして説明する。この時、家内のＡＰ（Ａｃｃｅｓｓ Ｐｏｉｎｔ）を通じてインターネットでサービスサーバー（７）に接続される場合に対して説明する。

１．ロボット端末機（１）がＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を通じてローカルＩＰ住所を得てＡＰと通信を始める。

２．ロボット端末機（１）がＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｅｒｖｉｃｅ）を用いてサービスサーバー（７）のドメインのＩＰ住所を分かる。

３．ロボット端末機（１）がセッションサーバーに接続してロボット端末機（１）が適法であることを認証（Ａｕｔｈｅｎｔｉｃａｔｉｏｎ）受ける。

４．保安のために暗号化方式を用いて要するデータを取り交わす。

次に、音声及び／または映像と同期された動作を行うために、本発明で行われるサービスサーバー（７）とロボット端末機（１）との間のデータの送受信方法に対して説明する。

一般的なロボットと異なり、ネットワークに連結されたロボット端末機（１）をサービスサーバー（７）で遠隔制御するためには、二つの側面が考慮されなければならない。

一つ目、ネットワークを通じてデータを伝送する時発生する時間の遅延と到着時間の不均一性であり、二つ目は、ロボット端末機（１）が移動したり、人間との相互作用の時、実時間的に反応して要する動作をするように処理する問題である。

例えば、ロボット端末機（１）が発声をしながら該当する動作をするためには、サービスサーバー（７）のＴＴＳエンジン（９）によって音声ファイルに変換された音声情報と、動作制御データファイルである動作情報（例えば、唇及び関節の動きのための動作制御データ）を別々に伝送すれば、音声情報と動作情報の到着時間が時間的に不一致することになるので、発声をしながら動作をするようにできない。

これを防止するために、大きなバッファメモリをロボット端末機（１）の内部に設け、音声情報と動作情報の全体を受信及び貯蔵してから、発声をしながら動作をするようにする方法も考えることができるのに、この方法は音声情報と動作情報の全体を受信した後再生する方法を用いるので、実時間的に反応することができない短所がある。

従って、本発明では、ロボット端末機（１）とサービスサーバー（７）との間のデータを同期データ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄａｔａ）と非同期データ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｄａｔａ）に区分し、各データの特性に相応しい図３のような複合伝送方式を用いる。

ここで、同期データはロボット端末機（１）の動作及び発声と映像表示を連続的に絶えることがないようにするためのデータであり、動作（唇の動きや顔の表情、身の動作など）データと、この動作データと一致する発声及び／または映像表示をするための音声データ及び／または映像データなど（これらを総称してマルチメディアデータという）をいう。

また、同期データは周りの環境または人間との相互作用でなく、予め作られてサービスサーバー（７）に貯蔵されている資料を意味する。

非同期データは予め貯蔵されたマルチメディアデータでなく、実時間的に伝送されるセンサー（４）の出力などと、サービスサーバー（７）から早急に伝送される実時間制御データであるシステムコマンド（Ｓｙｓｔｅｍ Ｃｏｍｍａｎｄ）を指称する。

システムコマンドは伝送され次第に実行されなければならない。システムコマンドの種類を大きく分類すれば、次のとおりである。

１．ネットワークに関連する命令: ＭＡＣ住所、無線動作モード、ＡＰ 関連データなど。

２．認証及び保安関連データ。

３．マルチメディアの再生に関連する命令: 再生速度、画面のサイズ、ＭＯＮＯ／ＳＴＥＲＥＯなど。

４．バッファ制御命令: バッファ内容消し、満たし、現在残っているサイズ、バッファサイズの調節など。

５．センサーテーブルの設定:感知しようとするセンサーの種類及び伝送周期を設定。

図４には図３の通信方式のための伝送データパケットの形態が示されている。

ここで、ヘッダー領域（領域（Ｖ）ないし領域（ＸＬ））には、この動作含みのマルチメディアデータパケットデータのプロトコルバージョン番号（Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ Ｎｕｍｂｅｒ）を示すバージョン番号領域（Ｖ）と、パケットに含まれたデータのタイプなど（オーディオデータ、ビデオデータ、動作データ、システムコマンド、ＡＣＫなど）を示すデータタイプ領域（ＤＴ）と、このパケットが伝送される順序を示すシークエンス領域（ＳＥＱ）と、このパケットが伝送される時間を示すタイムスタンプ領域（ＴＳ）と、現在通信中であるセッションの区別及び保安のためのセッションＩＤ領域（ＳＩＤ）と、下で説明するダウンパケット伝送の時、動作制御データの長さ領域（ＭＬ）またはアップパケット伝送の時にロボット端末機（１）にある距離センサーなどの各種センサー値の長さ領域（ＳＬ）、音声データの長さ領域（ＡＬ）、映像データの長さ領域（ＶＬ）と、システムコマンドなどのその他データの長さを示す補助データの長さ領域（ＸＬ）がある。

また、動作制御データ領域（ＭＤ）またはセンサーデータ領域（ＳＤ）にはロボット端末機（１）の所望の動作を行うための各モーター／リレーなどの動作制御データまたはロボット端末機（１）のセンサーなどから測定されたセンサー値などが入り、音声データ領域（ＡＤ）には動作をしながら発声する場合または動作なしに発声のみをする場合のように発声のための音声データまたはロボット端末機（１）のマイクで入力された音声に対する音声データが入って、映像データ領域（ＶＤ）には動作及び／または発声とともにモニターに示されなければならない映像データまたはロボット端末機（１）のカメラで検出された映像データが入り、補助データ領域（ＸＤ）にはシステムコマンドなどのその他データが入る。

最終に、前記動作データ（ＭＤ）／センサーデータ（ＳＤ）と音声データ（ＡＤ）、映像データ（ＶＤ）、補助データ（ＸＤ）の有効性を示すチェックサム（Ｃｈｅｃｋ-Ｓｕｍ：ＣＳ）が入る。

一方、動作制御データ領域（ＭＤ）は図５で示されたとおり、各駆動装置（モーター／リレーなど）を示すＩＤと、この駆動装置を制御する命令データ（Ｃｏｎｔｒｏｌ Ｄａｔａ：ＣＤ）と各駆動装置などを区分する区分子（ＳＴ）の繰り返しからなる。

もう図３に戻って、サービスサーバー（７）から伝送されるデータはダウンストリームパケット（ｄｏｗｎ ｓｔｒｅａｍ ｐａｃｋｅｔ）形態で、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ ｐｒｏｔｏｃｏｌでロボット端末機（１）へ伝達され、ロボット端末機（１）の処理装置（図示せず）では各々のパケットが伝達される時ごと、パケットのヘッダーでデータタイプ（ＤＴ）を読取り、このパケットに同期データ（オーディオ／ビデオ／動作データ）が含まれていれば、この同期データは順にバッファ（ｄｏｗｎ）（バッファの一つのサイズは与えられたパケット再生時間（Ｔｓ）内に再生が終わるようにサイズが決まっている）に貯蔵し、このパケットに非同期データ（システムコマンド）が含まれていれば、この非同期データであるシステムコマンドはバッファ（ｄｏｗｎ）に貯蔵されなく、すぐに伝達してロボット端末機（１）がシステムコマンドに対応する作動を行うことになる。

このようにパケット単位でバッファ（ｄｏｗｎ）に貯蔵された同期データは、ロボット端末機（１）の処理装置によりバッファ（ｄｏｗｎ）でパケット再生時間間隙（Ｔｓ）ごと一つずつ読み出され、ヘッダーに含まれたデータサイズ領域（ＭＬ、ＡＬ、ＶＬ）を検査して動作、音声、映像データが共に含まれたのであれば、動作データ領域（ＭＤ）、音声データ領域（ＡＤ）、映像データ領域（ＶＤ）で該当するデータを読み出し、動作データ（ＭＤ）はモーター／リレー駆動回路（３）へ伝達されモーター／リレー（２）を駆動して動作を実現するようにし、音声データ（ＡＤ）はデコーダーとＤ／Ａ変換機（６）を経てアナログ音声信号に変換されてスピーカー（１０）で発声をし、映像データ（ＶＤ）はデコーダーと映像表示制御装置を経てモニターに示されるようになる。

結局、各々のパケット再生時間間隙（Ｔｓ）ごと再生を要する発声／映像表示／動作制御データがバッファ（ｄｏｗｎ）で一つずつ読み出し再生されるので、音声と映像、動作が同期された動作含みのマルチメディアの再生が可能になる。

さて、ロボット端末機（１）をＴｓ＝４０ｍｓ（秒当たり２５回）周期で動作させ、音声データ（ＡＤ）は１６ ｂｉｔ、１６,０００Ｈｚ（秒当たり３２,０００ｂｙｔｅｓ）のＡＤＰＣＭ（Ａｄａｐｔｉｖｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅｄ Ｍｏｄｕｌａｔｉｏｎ）データにし、映像データ（ＶＤ）はなく、５０個のバッファを有する場合を想定してより詳しく説明する。

ロボット端末機（１）のバッファ（ｄｏｗｎ）は４０ｍｓx５０＝２.０秒の同期データの貯蔵が可能であるので、予期することができない２秒以内の通信障害を克服して切られることがない動作及び発声を保障する。

この時、必要な音声データ用メモリのサイズは圧縮率１／４のＡＤＰＣＭ アルゴリズムを用いれば、バッファの一つに３２,０００ｂｙｔｅｓ／４／２５＝８,０００／２５＝３２０ｂｙｔｅｓの音声データが貯蔵されるので、３２０ｂｙｔｅｓx５０＝１６Ｋｂｙｔｅｓである。この音声データ（ＡＤ）のサイズは通信の状態、音声データの質などにより加減されなければならない。

次に、システムコマンド（ＳＣ）による動作を例えば説明する。

ロボット端末機（１）がモノの口演童話の音声を再生している途中、ステレオで口演童話の音声を再生するという時を想定して見ると、次の二つの方法が可能である。

１．サービスサーバー（７）では、バッファに残っているサイズを伝送しろというシステムコマンド（ＳＣ）をロボット端末機（１）へ送ってバッファの残るサイズを受信し、この受信された値が０になれば、ステレオで再生機能を変更しろというシステムコマンド（ＳＣ）をロボット端末機（１）へ送ってロボット端末機（１）がオーディオ再生モードをステレオに変更した後、新しいステレオオーディオデータが含まれた同期データを伝送し始める。

２．サービスサーバー（７）でバッファ内容消しというシステムコマンド（ＳＣ）をロボット端末機（１）へ送信しロボット端末機（１）がバッファ内容を削除すれば、オーディオ再生モードをステレオに変更しろというシステムコマンド（ＳＣ）をロボット端末機（１）へ送ってロボット端末機（１）がオーディオ再生モードをステレオに変更した後、新しいステレオオーディオデータが含まれた同期データを伝送し始める。

次に、ロボット端末機（１−１、１−２...１−Ｎ）でサービスサーバー（７）へのアップストリームパケット（ｕｐ ｓｔｒｅａｍ ｐａｃｋｅｔ）に対して説明すれば、マイク（Ｍｉｃ）で入力されるアナログ音声データ（命令音声データなど）はＡ／Ｄ変換機（図示せず）によりデジタルデータ形態で変換してインコーダーにより圧縮され、各種センサー（Ｓ１...Ｓｋ）（移動の時、障害物認知センサーなど）での出力とともに、バッファ（ｕｐ）（前記のダウンストリーム（ｄｏｗｎ ｓｔｒｅａｍ）の時のバッファに比べては非常に小さいサイズである）に貯蔵した後、図４のフォーマットでパケットストリーム形態でサービスサーバー（７）へ伝送される。

さて、ロボット端末機（１）でサービスサーバー（７）へ伝送されるアップストリームパケット（ｕｐ ｓｔｒｅａｍ ｐａｃｋｅｔ）のセンサー値に対して詳しく説明する。

ネットワークによって制御される通常のロボット遠隔制御システムでは、命令を送り届けた後、それに反応するセンサーの値を確認するようになる。

しかし、この方法ではネットワーク時間の遅延により、受信されたセンサー値が現在のセンサー値と差があるようになり、例えばロボットが移動中に予想する事が出来ない障害物がある場合にはこのようなネットワーク時間の遅延に受信されたセンサー値による緊急な措置（例えば、サービスサーバーで緊急停止命令をロボットへ下す）を取ってもロボットが障害物に衝突してしまった後になる可能性がある。

また、ロボットが円を描いて移動する場合、センサー値の到着時間が一定しなく、正確な軌道追従が行われなくなる。

本発明では、このような従来技術での問題点を改善しようと、サービスサーバー（７）の要請と関係なく特定したセンサー値は周期的に伝送するようになる。

言い換えようとすると、サービスサーバー（７）の指示なしにも要すると判断される特定のセンサー値、例えば、移動の時には距離／超音波／人体感知センサー値を決まった周期で連続的に伝送することになる。

この方式は通信帯域幅を続けて占有する短所があるが、予想する事が出来ない障害物に手早い対処が可能である。

一方、ＴＣＰ通信方式の代りにＵＤＰ通信方式を用いれば、受信の要否に関係なく続けて送信をするので、若干のパケットが損失される可能性があるが、伝送周期が短いから、このような若干の損失があっても大きな問題が発生しない。

結局、センサー値を非常に短く、予め決まった周期で伝送するので、次の周期のセンサー値または損失された値を予測することが非常に容易になる。

実用的にセンサーの伝送周期は２０ｍｓから１００ｍｓの以下が適切であり、この伝送周期は通信状態、ロボット端末機（１）の動作速度と精密度により可変されなければならない。

なお、ロボット端末機（１）内に装着された各種センサーのすべての変化値を前記のように早い周期で伝送すれば非常に非効率的であるから、温度、湿度など環境センサーはその変化が遅いから伝送周期を遅くして、距離センサー、音源関連のセンサーは特性上非常に早い伝送周期とする。

本発明ではサービスサーバー（７）で要するセンサー値の種類と、センサー値の伝送周期をシステムコマンド（ＳＣ）を用いてロボット端末機（１）に設定し、ロボット端末機（１）にセンサーテーブル（ｓｅｎｓｏｒ ｔａｂｌｅ）の形態でサービスサーバー（７）が要するセンサーなどの種類と伝送周期が貯蔵されるようになる。

ロボット端末機（１）はこのセンサーテーブルを通じてサービスサーバー（７）へセンサー値を伝送しなければならないセンサーなどと該当の伝送周期を把握して該当センサーで該当伝送周期にセンサー値を読み取ってサービスサーバー（７）へ伝送するようになる。設定されたセンサーテーブルは次の設定がある前まで持続的に有効である。

次に、以上のようにパケット単位で動作含みのマルチメディアファイルをサーバー（７）でロボット端末機（１）へ送受信するために、サーバ−（７）またはロボット端末機（１）で動作含みのマルチメディアファイルパケットをどのように形成するかを”おはよう？”という発声／映像とともに関連動作をする実施例である図６、７を参考にして察して見る。

まず、ビデオカメラなどの映像撮影手段による実際映像またはコンピューターグラフィック映像に音声をダビングして形成される口演童話や学習映像、音楽（童謡）ビデオのような既存の一般的なマルチメディアコンテンツファイル（相互同期される音声ファイルと映像ファイルからなる）を入手し（Ｓ１）、パケット単位で伝送し動作データを結合させるために、パケット再生時間間隙（Ｔｓ=４０ｍｓ）単位で音声ファイル（ＡＤ）と映像ファイル（ＶＤ）を切断し、全体音楽ファイル（ＡＤ）がＡＤ１、ＡＤ２...ＡＤｎで分離され、全体映像ファイル（ＶＤ）がＶＤ１、ＶＤ２...ＶＤｎで分離される（Ｓ２）。

さて、例えば“おはよう？”というあいさつ語に対応する音声及び映像（２秒位）が各々ＡＤ１...ＡＤ５０とＶＤ１...ＶＤ５０に対応し、このような“おはよう？”というロボット端末機（１）での発声と映像表示をしながら、ロボット端末機（１）があいさつ動作（口を開閉する動作とともに、頭を下げて腕を中に集めてあいさつ動作を始めて頭をあげるあいさつ動作）をするようにするためには、サーバー（７）では５０個のパケット再生時間（Ｔｓ=４０ｍｓ）各々に対して口と頭、腕を駆動するモーターまたはリレーがどのように制御されなければならないかに対する、各々の動作制御データ（ＭＤ１...ＭＤ５０）を形成して各々のＡＤ１...ＡＤ５０とＶＤ１...ＶＤ５０に付加させる（Ｓ３）。

各々の対（（ＡＤ１、ＶＤ１、ＭＤ１）...（ＡＤ５０／ＶＤ５０／ＭＤ５０））に対してヘッダー部分とチェックサム領域を形成して付加させ（Ｓ４）、図６のような５０個のパケットを形成する（Ｓ５）。

以上のような方式で動作データの挿入を要する音声及び映像部分ごと動作データを結合させパケットストリーム伝送のための動作含みのマルチメディアコンテンツデータパケットなどを形成すれば、全体の動作含みのマルチメディアコンテンツデータが形成され、これをサーバー（７）の貯蔵装置（図示せず）に貯蔵する。

このような方式をさまざまなマルチメディアコンテンツに対して繰り返せば、サーバー（７）の貯蔵装置にはさまざまな動作含みのマルチメディアコンテンツデータが貯蔵される。

この時、ロボット端末機（１）が一種類でなくさまざまな種類が存在すれば、各々のさまざまな種類別のモデル名により動作制御データが形成され、マルチメディアコンテンツに同期するように挿入され、完成されたモデル別の動作含みのマルチメディアコンテンツデータがサーバー（７）に貯蔵されなければならない。

次に、ユーザーがＰＣ（図示せず）を通じてサーバー（７）に接続し、自分のロボット端末機（１）で聞きたい動作含みの口演童話などの動作含みのマルチメディアコンテンツを購買し、購入した動作含みの口演童話を聞く過程を図８を参考にして説明する。

ユーザーがＰＣを通じてサーバー（７）のホームページに初め接続して加入手続の時にＩＤを受けて（Ｓ１０）、加入段階または追って接続段階で自分が所有しているロボット端末機など（１）のモデル名とシリアル番号など（総称して、ロボット端末機の認識情報）を識別名称（例えば、“ロボット１”、“ロボット２”...）とともに入力をすれば（Ｓ１１）、サーバー（７）には図９のようにＩＤとパースワードとともに認識情報及び識別名称がユーザーのＤＢに貯蔵される。

さて、このホームページで提供する動作含みの口演童話中で特定動作含みの口演童話を購買するために、サーバー（７）のホームページに接続してＩＤとパースワードを入力して認証手続を終えた後（Ｓ１２）、このホームページで提示する動作含みの口演童話リストと自分が所有しているロボット名称リストを見ながら、特定ロボット名称（例えば、“ロボット１”）と自分のロボット端末機（１）で聞きたい特定動作含みの口演童話（例えば、“兎と亀”）を選択すれば（Ｓ１３）、有償購買の時には購買手続（決済など）をもっと行い、この口演童話の商品コードが貯蔵され、“ロボット１”が“兎と亀”という動作含みの口演童話を行うための選択及び購買手続が完了される。同一である“ロボット１”に対して追加的購買を所望したり、その他“ロボット２”に対しても購買を所望する時には以上のような過程を繰り返せばよい。以上のようにすれば、図９のようなユーザーのＤＢが完成される。

さて、ユーザーがこの動作含みの口演童話を聞きたく、ロボット端末機（１）（ロボット１）またはロボット端末機（１）用リモコンにある動作含みの口演童話の再生ボタンを押したり、音声により命令（“口演童話の再生”）をすれば（Ｓ１４）、この命令（ボタン情報または命令音声ファイル）とともにこのロボット端末機（１）の認識情報（モデル名とシリアル番号に対する情報）がサーバー（７）へ伝達され、サーバー（７）では音声命令の場合には音声認識をして命令が口演童話を再生すると認識して口演童話のボタンを押す場合にはそのまま認識し（Ｓ１５）、ユーザーのＤＢから伝達された認識情報（モデル名とシリアル番号）に対応する動作含みの口演童話リストをロボット端末機（１）へ送信する（Ｓ１６）。

ロボット端末機（１）はモニターがある場合にはモニターに購買した口演童話リストを示してユーザーが選択するようにし、モニターがない場合には購買した口演童話の題目を例えば、“兎と亀は１番、白雪姫と七一寸法師は２番を選択下さい。”と発声をする（Ｓ１７）。

さて、リストがロボット端末機（１）のモニターに示された場合にはユーザーがタッチスクリーン機能を用いたり、ロボット端末機（１）の番号ボタンまたはリモコンの番号ボタンを押し、音声発声の場合にはユーザーがロボット端末機（１）の番号ボタンまたはリモコンの番号ボタンを押したり、音声により番号を選択すれば（Ｓ１８）、この選択した番号情報がサーバー（７）へ伝達され、サーバー（７）では選択番号を認識して選択した口演童話用動作含みのマルチメディアデータパケットストリームが図３のようにロボット端末機（１）へ伝達されバッファ（ｄｏｗｎ）に貯蔵する（Ｓ１９）。

この時、サービスサーバー（７）は一つまたは幾つの動作含みのマルチメディアデータパケットをバッファ（ｄｏｗｎ）へ伝送する時ごとバッファ（ｄｏｗｎ）の状態を検査してバッファがあふれないように送信パケットの数を調節する。

さて、ロボット端末機（１）の処理装置（図示せず）によりこのバッファ（ｄｏｗｎ）に貯蔵された動作含みのマルチメディアデータパケットがパケット再生時間間隙（Ｔｓ）で一つずつ読み出され、ヘッダーに含まれたデータサイズ領域（ＭＬ、ＡＬ、ＶＬ）を検査して動作、音声、映像データが全部含まれたのであれば動作制御データ領域（ＭＤ）、音声データ領域（ＡＤ）、映像データ領域（ＶＤ）で該当するデータを読み出し、動作データ（ＭＤ）はモーター／リレー駆動回路（３）へ伝達されてモーター／リレー（２）を駆動し動作を実現するようにし、音声データ（ＡＤ）はデコーダーとＤ／Ａ変換機（６）を経てアナログ音声信号に変換されてスピーカー（１０）で発声をし、映像データ（ＶＤ）はデコーダー及び映像表示制御装置を経てモニターに示すようにされ（Ｓ２０）、口演童話を読んでくれながらモニターでは関連映像を示さながら関連動作を行うようになって、より興味津津な動作を含む口演童話の提供が可能になる。

以上では、本発明の好ましい実施例を説明したが、本発明はこの実施例に限定されることでなく、本発明の精神を脱しない範囲内ではさまざまな変形が可能であることを留意しなければならない。

例えば、以上では、事前に加工され存在する口演童話などのマルチメディアコンテンツを対象に動作含みのマルチメディアファイルを形成してサービスサーバー（７）に貯蔵し、ユーザーが特定動作含みのマルチメディアファイルを選択すれば、指定された時間にロボット端末機（１）へ伝送して再生する方法に対して説明したが、本発明は事前に加工され存在しなく、実時間に提供されるラジオ放送とかＴＶ放送または電話通話（総称して、マルチメディアコンテンツの提供媒体と称する）のように音声及び／または映像が実時間にロボット端末機（１）で再現されなければならない場合にも適用が可能である。

この場合には例えば、前記の選択段階（Ｓ１３）でユーザーが特定ラジオチャンネルの音声を聞くのを選択し、実時間的にラジオ受信機で入力されるアナログ音声信号をサンプリングとＡ／Ｄ変換過程を経てデジタル音声信号に変換してサービスサーバー（７）へ入力し、このデジタル音声信号を前記のパケット再生時間間隙（Ｔｓ=４０ｍｓ）の間集めてここにロボット端末機（１）用動作制御データ（簡単には、口を開閉する位の動作制御データ）を付加し、動作含みのマルチメディアパケットデータなどを毎４０ｍｓ間隙ごと形成して更新する過程を繰り返す。

さて、ユーザーが特定ロボット端末機（１）で動作含みのラジオ放送の聞き取りがほしければ、実時間的に形成される動作含みのラジオ音声パケットがロボット端末機（１）のバッファ（ｄｏｗｎ）へ伝送・貯蔵し、ロボット端末機がパケット再生時間間隙（Ｔｓ）ごとバッファ（ｄｏｗｎ）で導出して再生するようにする。

この時、実時間に提供されるマルチメディアコンテンツの場合には、実際放送または通話とタイミングが殆ど一致するようにロボット端末機（１）で再生しなければならないので、事前に加工され存在するマルチメディアコンテンツのように５０個位の領域を有するバッファ（ｄｏｗｎ）を置くことは好ましくない。

なぜなら、実時間の放送または通話の場合にはバッファ（ｄｏｗｎ）のサイズが５０個位（２秒位の動作含みのマルチメディアコンテンツの再生時間に当る）であると、最大２秒前の放送または通話をロボット端末機（１）で再生することになり、実時間の放送または通話の意味が色焼けされるからである。

特に、電話通話の場合には双方の通話であるので、最大２秒の時間遅延は通話を不便にする。

従って１０個以下のバッファ領域を置けば、このような時間遅延の問題は減るが、このようなバッファ領域の個数はネットワークインフラのＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）により最終的に決定されるようになる。

一方、以上では動作含みのマルチメディアの選択及び購買がＰＣを通じて行われることで記載したが、このような選択と購買がＰＤＡ、携帯電話などのネットワーク接続が可能な情報端末機を通じて行われることも可能である。

また、ロボット端末機の自分を用いても可能であるが、この時にはホームページに接続する手数を減らすことができる。

また、図４のようなフォーマットの動作含みのマルチメディアコンテンツパケットデータは必要によりバージョン番号（Ｖ）、タイムスタンプ（ＴＳ）が除いた形態で簡略化してサーバーに貯蔵されることもある。

この時には各パケットを区別する区別子が各パケットの間に存在しなければならない。

一方、以上ではマルチメディアコンテンツファイルをパケット伝送時間間隙で分割して各々に動作制御データを挿入して動作含みのマルチメディアコンテンツパケットデータなどを形成しサーバー（７）に貯蔵している途中、ユーザーが購買または選択して再生を要請する時に、関連動作含みのマルチメディアコンテンツパケットデータなどをロボット端末機（１）へ伝送する方式を用いるが、各パケットごとの動作制御データを生成する過程がサーバー（７）で実時間的に実行可能な場合（例えば、生成しなければならない動作制御データが唇の動作データ位で簡単であり、サーバー（７）が動作制御データの生成に所要される時間が少ない場合）には、原本マルチメディアファイルのみをサーバー（７）に貯蔵し、再生するためにロボット端末機（１）へ伝送する時に実時間の放送のようにサーバー（７）で動作制御データを形成して原本マルチメディアファイルに挿入しロボット端末機（１）へ送信する方式を用いれば、動作含みのマルチメディアコンテンツパケットデータなどをサーバー（７）に事前に貯蔵する必要がなくなってサーバー（７）の貯蔵装置の容量を非常に減らすことができる。

しかし、このように動作制御データなどを実時間的に生成するのが困難な場合には、事前に原本マルチメディアファイルとこれに対応する動作データをサーバー（７）に別途に貯蔵している途中、再生のためにロボット端末機（１）へ送信の時に集めて伝送するようにすれば、動作制御データなどを実時間的に生成する場合に比べては若干もっと貯蔵空間を要するが、サーバー（７）の貯蔵装置の容量を大きく減らすことができる。

本発明の全体的な構成図。 本発明でロボット端末機に電源投入の時、サービスサーバーに接続する過程を示す。 本発明のための複合通信方式を示す。 図３の本発明で用いられるパケットデータの形態を示す。 動作制御データの形態を示す。 本発明の動作含みのマルチメディアコンテンツデータパケットなどを示す。 本発明で動作含みのマルチメディアコンテンツパケットデータなどを形成する過程を示す。 本発明を適用して動作含みの口演童話を選択して再生する過程を示す。 サーバーに貯蔵されたユーザーＤＢの構造を示す。

Claims (11)

1. ネットワークに連結されたロボット端末機などと、このロボット端末機などを制御するサービスサーバーを含むネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法において、
   前記サービスサーバーが、パケット再生時間間隙で分割されたマルチメディアコンテンツファイルに、同期されるロボット端末機用動作制御データを挿入し、動作含みのマルチメディアコンテンツデータパケットなどを形成し貯蔵する段階；
   ユーザーが、特定ロボット端末機で特定動作含みのマルチメディアコンテンツを再生しろと命令をすれば、この命令が前記サービスサーバーへ伝送される段階；
   前記伝送された命令により、前記サービスサーバーが前記特定動作含みのマルチメディアコンテンツに対応する動作含みのマルチメディアコンテンツデータパケットなどを読み出し、パケット形態で順に前記特定ロボット端末機のバッファへ伝送する段階；
   前記特定ロボット端末機が、前記受信される動作含みのマルチメディアコンテンツデータパケットなどをバッファに順に貯蔵し、前記パケット再生時間間隙で順に読み出して再生する段階を含むことを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
2. ネットワークに連結されたロボット端末機などと、このロボット端末機などを制御するサービスサーバーを含むネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法において、
   ユーザーが、特定ロボット端末機で特定動作含みのマルチメディアコンテンツを再生しろと命令をすれば、この命令が前記サービスサーバーへ伝送される段階；
   前記伝送された命令により、前記サービスサーバーが、パケット再生時間間隙で分割された、前記特定動作含みのマルチメディアコンテンツ用マルチメディアコンテンツファイルに、同期されるロボット端末機用動作制御データを挿入し、動作含みのマルチメディアコンテンツデータパケットなどを形成し、パケット形態で順に前記特定ロボット端末機のバッファへ伝送する段階；
   前記特定ロボット端末機が、前記受信される動作含みのマルチメディアコンテンツデータパケットなどをバッファに順に貯蔵し、前記パケット再生時間間隙で順に読み出して再生する段階を含むことを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
3. 第１項または第２項において、
   前記ユーザーが前記サービスサーバーに接続し、自分が所有しているロボット端末機などの認識情報と自分が選択した動作含みのマルチメディアコンテンツ情報を前記サービスサーバーに貯蔵させる段階をもっと含むことを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアのコンテンツを再生するための処理方法。
4. 第３項において、
   前記ユーザーのサービスサーバーへの接続はＰＣを通じて行われることを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
5. 第１項または第２項において、
   前記マルチメディアコンテンツは口演童話であることを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
6. 第１項または第２項において、
   前記マルチメディアコンテンツは学習用コンテンツであることを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
7. 第１項または第２項において、
   前記動作含みのマルチメディアコンテンツデータパケットなどの伝送は、前記サービスサーバーがロボット端末機のバッファの状態を検査し、空いている個数位のパケットを連続して伝送することを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
8. 第１項または第２項において、
   前記バッファのサイズはネットワークの遅延によって動作含みのマルチメディアンテンツデータパケットなどの到着が遅延されても十分に切られることがない再生ができるほどであることを特徴とするネットワーク基盤のロボット制御システムを用いて動作含みのマルチメディアコンテンツを再生するための処理方法。
9. ネットワークに連結されたロボット端末機などと、このロボット端末機などを制御するサービスサーバーを含むネットワーク基盤のロボット制御システムを用いてマルチメディアコンテンツの提供媒体用動作含みのマルチメディアコンテンツを実時間に再生するための処理方法において、
   ユーザーが選択したマルチメディアの提供媒体で実時間に提供するマルチメディアコンテンツをパケット再生時間間隙で集めてマルチメディアコンテンツデータパケットを形成し、前記形成されたマルチメディアコンテンツデータパケットに、同期されるロボット端末機用動作制御データを挿入して動作含みのマルチメディアコンテンツデータパケットなどをサービスサーバーが形成する段階；
   前記サービスサーバーが前記動作含みのマルチメディアコンテンツデータパケットなどをパケット形態で順に前記ロボット端末機のバッファへ伝送する段階；
   前記特定ロボット端末機が、前記受信される動作含みのマルチメディアコンテンツデータパケットなどをバッファに順に貯蔵し、前記パケット再生時間間隙で順に読み出して再生する段階を含むことを特徴とするネットワーク基盤のロボット制御システムを用いてマルチメディアコンテンツの提供媒体用動作含みのマルチメディアコンテンツを実時間に再生するための処理方法。
10. 第９項において、
    前記マルチメディアの提供媒体は、ラジオ放送であることを特徴とするネットワーク基盤のロボット制御システムを用いてマルチメディアコンテンツの提供媒体用動作含みのマルチメディアコンテンツを実時間に再生するための処理方法。
11. 第９項において、
    前記マルチメディアの提供媒体は、電話であることを特徴とするネットワーク基盤のロボット制御システムを用いてマルチメディアコンテンツの提供媒体用動作含みのマルチメディアコンテンツを実時間に再生するための処理方法。

Images