JP2005236706A - 映像音声再生システム、装置及び端末 - Google Patents

Abstract

【課題】
表示システムで表示する映像と、携帯端末に配信した音声データとを同期を取って再生することを可能とする表示システムを提供する。
【解決手段】
携帯端末２０５とディスプレイステーション２０１は、無線通信を行う電波とは異なる電波を用いて、内部時計１０５、１１８を同期させおき、配信サーバ２２３から受信した映像、音声をデコードプログラム１１０でデコードし音声と映像に分け、現在時刻に音声データの再エンコード時間、無線通信に要する時間、携帯端末でのデコード時間の総和より大きい時間を加算して再生開始時刻とし、再エンコードした音声データに付加して携帯端末２０５に再配信し、携帯端末２０５で、音声データをデコードし、再生開始時刻になったら、再生を開始する。
【選択図】図１

Description

本発明は、サーバから受信された映像を表示装置で再生・表示し、サーバから表示装置を介して受信された音声を端末で再生するシステム及び方法に係り、特に、表示装置の映像と端末の音声の同期を取るシステム及び方法に関する。

従来の技術として、特許文献１には、再生映像信号の基本単位である映像フレームを符号化した映像符号化データと、該映像フレームの再生映像信号を出力すべき時刻を示す映像表示時刻のデータと、再生音声信号の基本単位である音声フレームを符号化した音声符号化データと、該音声フレームの再生音声信号を出力すべき時刻を示す音声表示時刻のデータと、システム時刻のデータと、がパケット化された多重化ビットストリームを入力とし、上記多重化ビットストリームから上記映像符号化データ，上記音声符号化データ，上記映像表示時刻データ，上記音声表示時刻データ，上記システム時刻データを分離するシステム多重化分離手段と、上記映像符号化データを復号化し、再生映像信号を得る映像信号復号化手段と、上記音声符号化データを復号化し、再生音声信号を得る音声信号復号化手段とを備え、映像信号と音声信号を同期させながら再生する同期再生装置であって、再生映像信号と再生音声信号の出力を開始する起動動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記システム時刻を選択し、起動動作の後の、再生映像信号と再生音声信号の出力を連続的に行う通常動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記音声表示時刻を選択する選択手段と、上記起動動作時には、上記選択手段が出力する上記システム時刻を参照して自身の時刻を設定し、上記通常動作時には、上記選択手段が出力する上記音声表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生する内部時計と、上記起動動作時，及び上記通常動作時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力する映像表示時刻比較手段と、上記起動動作時，及び上記通常動作時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力する音声表示時刻比較手段と、上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御する映像制御手段と、上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御する音声制御手段と、を具備する同期再生装置が記載されている。

また、特許文献２には、複数種類の広告画像を順次表示する表示画面と表示画面の近傍にあって固有の連絡番号が表示された筐体とを有し、表示画面に複数の広告画像を順次表示させるとともに、連絡番号によってアクセスしてきた広告受給者の携帯型端末に広告画像に対応した音声情報を供給し、さらに、広告画像を流すだけでなく表示内容に連動した音声を携帯電話等で聞くことができるサービスを提供することが記載されている。

特開平１０−６６０６９号公報 特開２００２−３２６５２号公報

特許文献１では、映像再生装置と音声再生装置が物理的に分離する場合、特に、映像再生装置から音声再生装置へ再生音声信号を無線通信により配信する場合までは考慮されていない。

特許文献２では、広告画像と音声との同期をとることまでは考慮されていない。

本発明の目的は、表示装置が端末へ音声データを配信する場合に、表示装置で表示される映像と端末で出力される音声のずれを抑制したシステム及び方法を提供することである。

本発明は、映像を再生する映像表示装置と音声を再生する携帯端末、携帯電話などの内部時計を電波時計または映像装置から発する電波などにより同期を取り、サーバから送られてきた映像と音声を含むデータを映像表示装置で音声と映像に分離し、音声データの配信に要する時間や、音声データの復号および再生準備に要する時間など合わせた時間よりも十分大きい時間を、現在時刻に加算した再生開始時間（絶対時間）を付加して、音声情報に付加して再送し、表示装置では音声データに付加した再生開始時間まで待って映像の再生を始める。また、携帯端末では、受け取った音声データに付加された再生開始時間を待って、音声データを再生することにより、２つの異なる装置間での音声と映像の同期した再生を可能とするものである。

本発明よると、前記複合データから前記音声データを分離してから前記端末が前記音声データを出力するまでに要する時間分、表示装置での映像データの表示を遅らせることにより、表示装置で表示される映像と端末で出力される音声を同期することができ、両者のずれを抑制することができる。

また、本発明によると、映像を再生する映像表示装置と音声を再生する携帯端末、携帯電話などの内部時計を電波時計または映像装置から発する電波などにより同期を取り、サーバから送られてきた映像と音声を含むデータを映像表示装置で音声と映像に分離し、音声データの配信に要する時間や、音声データの復号および再生準備に要する時間など合わせた時間よりも十分大きい時間を、現在時刻に加算した再生開始時間（絶対時間）を付加して、音声情報に付加して再送し、表示装置では音声データに付加した再生開始時間まで待って映像の再生を始め、また携帯端末では、受け取った音声データに付加された再生開始時間を待って、音声データを再生するので、２つの異なる装置間での音声と映像の同期した再生が可能となる。

また本発明によると、携帯端末は配信音声再生時には、ディスプレイと時刻同期をとり、ディスプレイから配信された音声再生後、時刻データを元に戻す機能を有するので、ディスプレイの時刻がずれている場合でも、音声再生後の動作に影響を及ぼさない。

また本発明によると、携帯端末からディレイ情報を得ることにより、各端末の能力に応じた再生開始時刻を設定できるので、接続機器に応じた最適なディレイ値を設定できる。

本発明は、映像を再生する映像表示装置と音声を再生する携帯端末、携帯電話などの内部時計を電波時計または映像装置から発する電波などにより同期を取り、サーバから送られてきた映像と音声を含むデータを映像表示装置で音声と映像に分離し、音声データの配信に要する時間や、音声データの復号および再生準備に要する時間など合わせた時間よりも十分大きい時間を、現在時刻に加算した再生開始時間（絶対時間）を付加して、音声情報に付加して再送し、表示装置では音声データに付加した再生開始時間まで待って映像の再生を始める。また、携帯端末では、受け取った音声データに付加された再生開始時間を待って、音声データを再生することにより、２つの異なる装置間での音声と映像の同期した再生を可能とするものである。

また本発明は、携帯端末において、配信音声再生時にはディスプレイと時刻同期をとり、ディスプレイから配信された音声再生終了後、時刻データを元に戻す機能を有することにより、ディスプレイの時刻がずれている場合でも、音声再生後の動作に影響を及ぼさないようにするものである。

また本発明は、携帯端末からディレイ情報を得ることにより、現在接続している端末の中で最もディレイさせることが必要な端末に合わせた再生開始時刻を設定する機能を持つものである。このようにすることにより、大きなディレイ値を必要とする携帯端末が接続された場合には、ディレイ値を自動的に大きくとり、小さなディレイ値のみを必要とする携帯端末だけが接続された場合には、ディレイ値を自動的に小さくとる機能を持つ。

以下、本発明の実施例１を図１、図２、図４、図６、図７を用いて説明する。

図４は、本発明の１つの応用例を示す図である。本応用例は、本システムのイメージをより明確に説明するためのものであり、本応用例により本発明が制約を受けないことは明白である。本応用例は、レンタルＣＤ店などに置かれるプロモーション映像ダウンロードシステムである。複数のディスプレイステーション２０１ａ〜２０１ｈが１つの配信サーバ２２３にＬＡＮ２０４により接続され、それぞれのディスプレイは配信サーバ２２３の配信するそれぞれ異なるプロモーション映像を順次表示している。配信サーバとディスプレイステーション間の接続は無線ＬＡＮでも良い。ユーザーは、事前登録してあるＰＤＡ２０５ａａ〜２０５ａｃ、携帯電話２１２ａ〜２１２ｃなどを該ディスプレイ２０１ａ〜２０１ｈの前に持っていくと、ＰＤＡ２０５ａａ〜２０５ａｃ、携帯電話２１２ａ〜２１２ｃから、各ディスプレイの右上に書いてある番号を指定することにより、各ディスプレイステーション上で再生されているプロモーション映像に同期した音楽、音声をＰＤＡ２０５ａａ〜２０５ａｃ、携帯電話２１２ａ〜２１２ｃを用いて視聴することができる。また、該携帯電話やＰＤＡに、気に入ったプロモーション映像をダウンロードして持ち帰ることができる。本応用例は、プロモーション映像の配信システムとして書いたが、映画などでも良い。またインディーズなど無名のアーティストの紹介コーナーとして街角などに設置してもよい。

図２は、本発明のシステム全体構成を説明する図である。２０１ａ、２０１ｂは映像（動画）と音声を含む複合データを受信し映像を表示すると共に音声を送信するディスプレイステーションであり、２０２ａはディスプレイステーション２０１ａ、２０１ｂを接続する無線通信網である。２０２ｂも無線通信網であり、ディスプレイステーション２０１ｂと隣接するディスプレイステーション２０１ｃ（図示せず）を接続する。２０３はＷｅｂカメラであり、２０４はＬＡＮである。Ｗｅｂカメラ２０３はＬＡＮ２０４を介してディスプレイステーション２０１ａに接続する。２０５ａａ、２０５ａｂ、２０５ｂａ、２０５ｂｂはユーザの携帯端末であり、２０６ａａ、２０６ａｂ、２０６ｂａ、２０６ｂｂは無線通信網である。無線通信網２０６ａａ、２０６ａｂ、２０６ｂａ、２０６ｂｂは、携帯端末２０５ａａ、２０５ａｂ、２０５ｂａ、２０５ｂｂと、ディスプレイステーション２０１ａ、２０１ｂと接続する。２０７はＷｅｂカメラ２０３を含む複数のディスプレイステーション２０１ａ、２０１ｂから構成するディスプレイステーション群であり、２０８は複数の携帯端末２０５ａａ、２０５ａｂ、２０５ｂａ、２０５ｂｂから構成する携帯端末群である。従って、拠点Ａは、ディスプレイステーション群２０７と携帯端末群２０８で構成する。同様に拠点Ｂは、２０９のディスプレイステーション群と、２１０の携帯端末群から構成する。２１１は携帯キャリアサーバであり、２１２ａ、２１２ｂは各々携帯電話であり、携帯キャリアサーバ２１１と携帯電話２１２ａ、２１２ｂは、無線通信網２２７ａ，２２７ｂにより接続される。２１３はインターネット網であり、２１４はルータであり、２１５はＬＡＮであり、２１６はファイアウォールであり、２１７は携帯サーバである。２１８は携帯キャリアサーバ２１１、携帯電話２１２ａ、２１２ｂ、ファイアウォール２１６、携帯サーバ２１７で構成する携帯電話制御システムである。２１９はメールサーバであり、２２０はイントラネット網であり、２２１はルータであり、２２２はメールサーバ２１９、イントラネット網２２０で構成する社内システムである。２２６はカメラであり、２２３は映像及び音声を含む複合データを配信する配信サーバであり、２２４はメインサーバであり、２２５は受付端末である。

次に図１、図６、図７を用いて、本発明の概要を説明する。図１は、実施例１のブロック図、図６はディスプレイステーション２０１ａの音声再配信プログラム（モジュール）１００のフロ−チャート、図７は携帯端末の音声再生プログラム（モジュール）のフローチャートである。

ディスプレイステーション２０１ａは、配信サーバ２２３とＬＡＮ２０４により接続される。配信サーバ２２３は、映像と音声を含む複合データをストリーミングによってディスプレイステーション２０１ａに配信する。ディスプレイステーション２０１ａおよび携帯端末２０５ａａは、電波時計を内蔵しており、電波時計の基地局１２２から発信される時刻データに内部時計を同期させる。時間の信号は、基地局１２２より毎秒を立ち上がりエッジとするパルスで送られ、パルスの幅で“０”または”１”をあらわす。６０ｂｉｔが１つの時刻データの送信単位となっており、１分で１時刻データが送信される。基地局１２２は、この時刻データを毎分送出している。ディスプレイステーション２０１ａおよび携帯端末２０５ａａはそれぞれ、電波時計装置１０２，１１５内のアンテナで基地局の発信した時刻データの載った電波を受信し、受信機１０４、１１７で受信した電波を時刻データに変換し、その時間を内部時計１０５、１１８が示す時刻と比較し、異なる場合は受信した時刻データをセットする。このようにすることにより、ディスプレイステーション２０１ａおよび携帯端末２０５ａａの内部時計１０５、１１８は、基地局１２２と時刻を同期することができる。よって、ディスプレイステーション２０１ａの内部時計１０５と携帯端末２０５ａａの内部時計１１８の同期を取ることができる。

次に、配信サーバ２２３が映像と音声を含む複合データをストリーミングによりディスプレイステーション２０１ａに配信し始めると、ディスプレイステーション２０１ａは、音声再配信プログラム１００を起動する（６０１）。次にデコードプログラムを起動して（６０２）、送られてきた複合データを音声再配信プログラム１００内のデコードプログラム１１０にて音声データと映像データに分離する（６０３）。次に、音声エンコードプログラムを起動して（６０４）、音声１２３をエンコードプログラム１１１により、エンコードする（６０５）。次に、メモリ格納プログラムを起動して（６０６）、分離後の映像をメモリ１１２に格納する（６０７）。次に、音声再配信プログラム１００は、内部時計が示している時刻を読み込み（６０８）、メモリ１０８に記録された一定の時刻も読み込む（６０９）。この２つの時刻値を加算器１０９にて加算し、再生開始時刻を生成する（６１０）。音声送信プログラムを起動し（６１１）、エンコードしたデータの先頭（ヘッダ）に再生開始時刻を付加して（６１２）送出する（６１３）。先記メモリ１０８に記録されている一定の時刻は、ディスプレイステーション２０１ａでの音声のエンコードにかかる最大時間とディスプレイステーション２０１ａと携帯端末２０５ａａ間の無線通信にかかる最大時間および携帯端末２０５ａａで受信した音声データをデコードし再生するまでに要する最大時間の総和と同等又は総和より大きく設定するのが好ましい。この音声再生開始時刻は、加算器１０９内に保存される。総和より大きく設定するのは、他の要因により、複合データから音声データを分離してから、音声データの再生開始までの時間が長くなる恐れがあるからである。好ましくは、総和よりも数秒程度大きくする。

次に、音声再配信プログラム１００では、映像再生プログラムを起動し（６１４）、比較器１１３にて、加算器１０９内に蓄えられた音声再生開始時刻と、内部時計１０５が示す時刻を比較し（６１５）、両時刻が一致したら、メモリに格納された映像データを読み出し、表示部１１４にて映像を再生する（６１６）。配信サーバからの配信が終了したら、終了する。配信サーバからの配信が続くときはステップ６０２から繰り返す（６１７）。

携帯端末２０５ａａでは、図７に示すように、無線ＬＡＮから、音声データを受け取ると（７０１）デコードプログラムにて、音声データの先頭に付加されている再生開始時刻を分離した後（７０２）、デコードプログラムを起動し（７０３）、音声データに復号し（７０４）、メモリ１２０に格納する（７０５）。次に、音声再生プログラムを起動する（７０６）。比較器１２１では、分離された再生開始時刻と内部時計１１８が示す時刻を比較し（７０７）、両時刻が一致した場合に、メモリ１２０から音声データを読み出し、音声データを再生し、出力部１０１（例えば、スピーカ、ヘッドフォン）から出力する（７０８）。

このようにディスプレイステーション２０１ａと携帯端末２０５ａａが動作することにより、ディスプレイステーション２０１ａで再生する映像と携帯端末２０５ａａで再生する音声データを同期して再生することができる。

次に実施例２に関して、図３を参照して説明する。実施例２は、携帯端末２０５ａａの時刻の同期を電波時計の基地局により発信されている時刻データを含んだ電波により同期するのではなく、ディスプレイステーション２０１ａが発信する時刻データを含んだ電波により同期する点が第１の実施例と異なっている。実施例２では、ディスプレイステーション２０１ａは、時計同期用電波発生装置３０２内に、内部時計１０５を持っている。内部時計１０５には、発信器３０３が接続され、内部時計が示す時刻データを符号化して、アンテナ３０４から時刻同期用電波３０５を送信している。携帯端末２０５ａａでは、通常時はアンテナ１１６を用いて電波時計の基地局の発信する時刻データを受信し受信機１１７にて時刻データに変換して内部時計のデータを基地局の発信する時刻データに同期している。携帯端末２０５ａａは、アンテナ３０１を用いて、常にディスプレイステーション２０１ａからの時刻同期用電波３０５の電界強度をチェックしている。ディスプレイステーション２０１ａに十分近づき、ディスプレイステーションからの時刻同期用電波３０５の電界強度が十分強くなったら、受信機１１７は、受信する時刻同期用電波をディスプレイステーション２０１ａからのものに変更し，内部時計１１８をディスプレイステーション２０１ａの内部時計１０５に同期させる。このようにすることにより、ディスプレイステーション２０１ａと携帯端末２０５ａａの内部時計は同期を取ることができ、実施例１と同じようにすることにより、ディスプレイステーション２０１ａで再生する映像と携帯端末２０５ａａで再生する音声データを同期して再生することができる。

また、実施例２では、携帯端末２０５ａａがディスプレイステーション２０１ａから十分遠ざかり、ディスプレイステーションからの時刻同期用電波３０５の電界強度が十分弱くなったら、受信機１１７は、受信する時刻同期用電波を電波時計基地局からのものに変更し，内部時計１１８を電波時計基地局の内部時計１０５に同期させる。このようにすることにより、ディスプレイステーション２０１ａの時刻がずれている場合でも、ディスプレイステーションから携帯端末２０５ａａが離れたあと、携帯端末２０５ａａで動作に問題が起こらないようにできる。

次に実施例３について、図５および図８を参照して説明する。実施例３は、携帯端末２０５ａａの時刻の同期を通常時、電波時計の基地局により発信されている時刻データを含んだ電波により同期するのではなく、携帯端末内部でユーザなどにより設定された時刻データを用いていることが第２の実施例と異なっている。実施例３では、実施例２と同様に内部時計１０５が示す時刻データを符号化して、アンテナ３０４から時刻同期用電波３０５を送信している。携帯端末２０５ａａで、音声再生プログラムが開始されたら（８０１）、音声再生受信機１１７は、ディスプレイステーション２０１ａからの時刻同期用電波の受信状況を確認し（８０２）、受信信号を時刻データに変換し、内部時計１１８が示す時刻と比較し、差分をメモリ５０１に格納する（８０３）。たとえば、ディスプレイステーションン２０１ａからの時刻同期用電波が示す時刻がａ，内部時計の示す時刻がｂであるとすると、ｂ−ａをメモリ５０１に格納する。それから、内部時計１１８にディスプレイステーション２０１ａの内部時計１０５から送られた値をセットする（８０４）。このようにすることにより、ディスプレイステーション２０１ａと携帯端末２０５ａａの内部時計は同期を取ることができ、実施例１と同じようにすることにより、ディスプレイステーション２０１ａで再生する映像と携帯端末２０５ａａで再生する音声データを同期して再生することができる。

また、本実施例３では、映像同期用音声再生プログラムが終了したら、メモリ５０１に格納してあった値を内部時計１１８の示している時間に加算し、内部時計１１８にセットする（８０５）。たとえば、映像同期用音声再生プログラムの開始から時間がｃだけ経過し、内部時計の示す値がａ＋ｃになっていたとすると、（ａ＋ｃ）＋（ｂ−ａ）＝ｂ＋ｃとなり、もともと設定してあった時刻に戻すことができる。このようにすることにより、ディスプレイステーション２０１ａの時刻がずれている場合でも、ディスプレイステーションから携帯端末２０５ａａが離れたあと、携帯端末２０５ａａで動作に問題が起こらないようにできる。

次に、実施例４について、図９、図１０、図１１を参照して説明する。実施例４では、複数種類の携帯端末２０５ａａがディスプレイステーション２０１ａから音声配信を受ける場合に、すべての携帯端末でディスプレイステーション２０１ａで再生している映像と同期した音声を再生することが可能である。携帯端末２０５ａａは、ＣＰＵ能力も音声データのデコード方法もさまざまであり、その能力差はまちまちである。したがって、携帯端末２０５ａａは、音声データの受信とデコードによるＭＡＸ遅延時間をメモリ９０２内に保持し、音声再生プログラム起動時にディスプレイステーション２０１ａに通知する。ディスプレイステーションは受信した遅延時間のもっとも大きい携帯端末に合わせて再生開始時刻を設定することで、すべての携帯端末で映像と同期した音声を再生することが可能となる。

次に、図１１を用いて、携帯端末２０５ａａの動作を説明する。携帯端末２０５ａａでは、音声再生プログラムが起動されると、ディスプレイステーション２０１ａにメモリ９０２内に保持している音声データの受信とデコードによるＭＡＸ遅延時間“Ｋ”を送信する。（１１０１）そのあとは、実施例３と同様な動作を行う。

次に、図１０を用いて、ディスプレイステーション２０１ａ側の動作について詳細に説明する。ディスプレイステーション２０１ａは、音声再配信プログラム１００を起動したら、携帯端末状況感知プログラムを起動する（１００１）。携帯端末からのアクセスをチェックし（１００２）、携帯端末からのアクセスがあったら、メモリ１０８内に保持している、携帯端末２０５ａａとディスプレイステーション２０１ａ間の無線通信に要する最大時間“Ｍ”と、音声の再エンコードに要する時間“Ｄ”を読み出し携帯端末から通知された、携帯端末側での最大遅延時間“Ｋ”の和を計算する（１００３）。この計算結果Ｓ＝Ｍ＋Ｄ＋Ｋをメモリ１０８内に格納されている一定値Ｔと比較し（１００４）、Ｔ＜Ｓのとき、格納値をＳに更新する（１００５）。あとの動作は、実施例３と同様であるので説明は省略する。

このように、携帯端末から再生するのに要する最大遅延時間を報告してもらうことにより、不特定多数の機器を対象とする場合でも、遅延時間を世の中にあるすべての機器を対象とした、いたずらに大きな遅延時間とする必要がなくなり、携帯端末２０５ａａ、ディスプレイステーション２０１ａでのメモリ容量を軽減することができる。

また、ここまでに説明した実施例においては、音声のみの配信に関して説明したが、図１２に示すように、音声と映像をともに配信する場合でも、同様に構成できることは言うまでもない。

本発明は、街角に設置された共有の表示装置で、レンタルＣＤ店などに置かれるプロモーション映像を表示すると共に、ユーザの端末でプロモーション映像の音声を再生するのに利用できる。

本発明の実施例１の音声再配信システムを示すブロック図である。 本発明のシステム構成図である。 本発明の実施例２の音声再配信システムを示すブロック図である。 本発明の応用例を示す図である。 本発明の実施例３の音声再配信システムを示すブロック図である。 本発明の実施例１と実施例２のディスプレイステーションの音声再配信プログラムの概要を示すフローチャートである。 本発明の実施例１と実施例２の携帯端末の音声再生プログラムの概要を示すフローチャートである。 本発明の実施例３の携帯端末の音声再生プログラムの概要を示すフローチャートである。 本発明の実施例４の音声再配信システムを示すブロック図である。 本発明の実施例４のディスプレイステーションの音声再配信プログラムの概要を示すフローチャートである。 本発明の実施例４の携帯端末の音声再生プログラムの概要を示すフローチャートである。 本発明の実施例５の音声・映像再配信システムを示すブロック図である。

符号の説明

１００ 音声再配信プログラム
１０１ 出力部
１２２ 基地局
１０２，１１５ 電波時計装置
１０３、１１６ アンテナ
１０４，１１７ 受信機
１０５、１１８ 内部時計
１０８、１１２、１２０ メモリ
１０９：加算器
１１０、１１９：デコーダ
１１１：エンコーダ
１１３、１２１：比較器
１１４ 表示部
２０１ａ、２０１ｂ：ディスプレイステーション
２０２ａ、２０２ｂ：無線通信網
２０３：Ｗｅｂカメラ
２０４：ＬＡＮ
２０５ａａ、２０５ａｂ、２０５ｂａ、２０５ｂｂ：携帯端末
２０６ａａ、２０６ａｂ、２０６ｂａ、２０６ｂｂ：無線通信網
２０７、２０９：ディスプレイステーション群
２０８、２１０：携帯端末群
２１１：携帯キャリアサーバ
２１２ａ、２１２ｂ 携帯電話
２２７ａ、２２７ｂ 無線通信網
２１３ インターネット網
２１４ ルータ
２１５ ＬＡＮ
２１６ ファイアウォール
２１７ 携帯サーバ
２１８ 携帯電話制御システム
２１９ メールサーバ
２２０ イントラネット網
２２１ ルータ
２２２ 社内システム
２２３ 配信サーバ
２２４ メインサーバ
２２５ 受付端末
２２６ カメラ

Claims (15)

1. 映像を表示する表示装置と音声を出力する端末とが、それぞれ内部時計を持ち、該内部時計が電波時計から発する電波により同期を取っているシステムにおいて、
   前記表示装置は、サーバから送られてきた映像と音声を含む複合データを音声データと映像データに分離する分離手段と、前記音声データの当該表示装置から前記端末への配信に要する時間及び前記端末での前記音声データの復号および再生準備に要する時間を含む時間よりも大きい所要時間を前記内部時計の時刻に加算して、開始時刻を算出する算出手段と、前記開始時刻を前記音声データと共に前記端末へ配信する配信手段と、前記開始時刻に前記映像データの再生を開始する再生手段とを備え、
   前記端末は、前記音声データを受信する受信手段と、前記開始時刻に前記音声データの再生を開始する再生手段を備えたことを特徴とするシステム。
2. 前記表示装置は、前記内部時計の情報を基にした、時刻同期用電波を発生し、
   前記端末は、前記電波時計から発する電波の代わりに、前記表示装置が発した前記時刻同期用電波を元に、前記内部時計をセットしなおす設定手段を備えたことを特徴とする請求項１に記載のシステム。
3. 前記端末は、前記音声データを前記表示装置から受信してから再生するまでの時間の最大値を検出し、前記前記音声データを前記表示装置から受信してから再生するまでの時間の最大値を前記表示装置へ送信し、
   前記表示装置は、前記端末での前記音声データの復号および再生準備に要する時間として、前記音声データを前記表示装置から受信してから再生するまでに要する時間を用いることを特徴とする請求項２又は３に記載のシステム。
4. 映像を再生する再生手段と、電波時計から発する電波により端末の内部時計と同期する内部時計とを備えた表示装置において、
   サーバから送られてきた映像と音声を含む複合データを前記音声データと映像データに分離する分離手段と、
   前記音声データの当該表示装置から前記端末への配信に要する時間及び前記端末での前記音声データの復号および再生準備に要する時間を含む時間よりも大きい所要時間を前記内部時計の時刻に加算して、開始時刻を算出する算出手段と、
   前記開始時刻を前記音声データと共に前記端末へ配信する配信手段と、
   前記開始時刻に前記映像の再生を開始する再生手段とを備えたことを特徴とする表示装置。
5. 前記表示装置は、前記内部時計の情報を基にした、時刻同期用電波を発生し、
   前記端末は、前記電波時計から発する電波の代わりに、前記表示装置が発した前記時刻同期用電波を元に、前記内部時計をセットしなおす設定手段を備えたことを特徴とする請求項４に記載の表示装置。
6. 前記端末は、前記音声データを前記表示装置から受信してから再生するまでの時間の最大値を検出し、前記前記音声データを前記表示装置から受信してから再生するまでの時間の最大値を前記表示装置へ送信し、
   前記表示装置は、前記端末での前記音声データの復号および再生準備に要する時間として、前記音声データを前記表示装置から受信してから再生するまでに要する時間を用いることを特徴とする請求項４又は５に記載の表示装置。
7. 音声を再生する再生手段と、電波時計から発する電波により表示装置の内部時計と同期する内部時計とを備えた端末において、
   前記表示装置は、サーバから送られてきた映像と音声を含む複合データを音声データと映像データに分離し、前記音声データの当該表示装置から前記端末への配信に要する時間及び前記端末での前記音声データの復号および再生準備に要する時間を含む時間よりも大きい時間に前記内部時計の時刻を加算して、開始時刻を算出し、前記開始時刻を前記音声データと共に前記端末へ配信し、前記開始時刻に前記映像の再生を開始し、
   前記端末は、前記音声データと共に前記開始時刻を受信する受信手段を備え、
   前記再生手段は、前記開始時刻に、前記音声データを再生することを特徴とする端末。
8. 前記表示装置は、前記内部時計の情報を基にした、時刻同期用電波を発生し、
   前記端末は、前記電波時計から発する電波の代わりに、前記表示装置が発した前記時刻同期用電波を元に、前記内部時計をセットしなおす設定手段を備えたことを特徴とする請求項７に記載の端末。
9. 前記音声データの再生開始時に、当該端末の内部時計の示す時刻と前記表示装置から受信した前記時刻同期用電波の時刻との差分値を格納するメモリを備え、
   前記内部時計をセットしなおす設定手段は、前記音声データの再生終了時に、前記メモリに格納した差分値を前記端末の内部時計の示す時刻に加算して、前記端末の内部時計にセットすることにより、前記内部時計をセットしなおすことを特徴とする請求項８に記載の端末。
10. 前記音声データの再生開始時に、当該端末が前記音声データを受信してから前記音声データを再生するまでに要する時間を検出する検出手段と、
    前記音声データを受信してから前記音声データを再生するまでに要する時間を前記表示装置へ送信する送信手段とを備えたことを特徴とする請求項７〜９の何れかに記載の端末。
11. サーバから受信した映像データを表示すると共に、前記サーバから前記映像データと共に受信した音声データを端末へ送信する表示装置において、
    前記映像データと前記音声データを含む複合データを前記サーバから受信する受信手段と、
    前記複合データから前記映像データと前記音声データを分離する分離手段と、
    前記映像データを表示する表示手段と、
    前記音声データを前記端末へ送信する送信手段とを備え、
    前記表示手段は、前記複合データから前記音声データを分離してから前記端末が前記音声データを出力するまでに要する時間を経過した後に、前記映像データの表示を開始することを特徴とする表示装置。
12. 内部時計と、
    前記複合データから前記音声データを分離してから前記端末が前記音声データを出力するまでに要する時間を保持する保持手段と、
    前記内部時計の時刻に、前記前記複合データから前記音声データを分離してから前記端末が前記音声データを出力するまでに要する時間を加算して、開始時刻を算出する算出手段とを備え、
    前記表示手段は、前記開始時刻に、前記映像データの表示を開始し、
    前記送信手段は、前記音声データと共に前記開始時刻を前記へ送信することを特徴とする請求項１１に記載の表示装置。
13. 前記映像データを格納するメモリを備え、
    前記表示手段は、前記複合データから前記音声データを分離してから前記端末が前記音声データを出力するまでに要する時間を経過した後に、前記メモリから前記映像データを読み出し、表示することを特徴とする請求項１１に記載の表示装置。
14. 前記音声データをエンコードするエンコード手段を備え、
    前記複合データから前記音声データを分離してから前記端末が前記音声データを出力するまでに要する時間は、前記エンコード手段によって前記音声データをエンコードするのに要する時間と、当該表示装置から前記端末へ前記音声データが伝送されるのに要する時間と、前記端末によって前記音声データをデコードするのに要する時間とを含むことを特徴とする請求項１１に記載の表示装置。
15. 前記複合データを他の表示装置へ送信する送信手段を備えたことを特徴とする請求項１２〜１４に記載の表示装置。
    

Images