以下、図面を参照して、本発明の一実施形態による情報再生システムを説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号10は、日本に2箇所ある電波送信所の中の一の電波送信所(標準周波数局)であり、10万年に1秒の誤差といわれるセシウム原子電波時計をもとに標準電波を送信する。符号20は再生する情報の配信を行う配信サーバである。符号30はインターネット等の広域ネットワーク(以下、ネットワークA30と称する)である。符号40、50、Nは配信された情報の再生を行う再生端末である。再生端末は、マスタ再生端末40と、スレーブ再生端末(50,N)とに論理的に分類されており、マスタ再生端末40は1台で、スレーブ再生端末(50,N)は複数の場合もある。符号80は家庭LAN(Local Area Network)や社内LANの様な特定の建物内、敷地内で使用する限られた範囲内のネットワーク(以下、ネットワークB80と称する)である。配信サーバ20と再生端末(40,50,N)は、ネットワークA30を介して接続されている。符号60は、限定範囲ネットワークである。
配信サーバ20は、受信部21と、再生データ保存部22と、送信部23とで構成される。受信部21は、ネットワークA30を介して、再生端末(40,50,N)から要求を受信し、受信した要求を再生データ保存部22に通知する。再生データ保存部22は、受信部21からの要求を受け取り、受信部21から受け取った、要求された符号化データを再生データ保存部22から読み出し、送信部23に送る。符号化データには、見たい領域を全体または部分的に自由に選択するためのナビゲーション符号化映像データ、選択した領域を再生するためのメイン符号化映像データ、音声符号化データ(音声がない場合もある)の3つがあり、これらは、1つの符号化データとして再生データ保存部22に蓄積されている。なお、メイン符号化映像データは、ナビゲーション符号化映像データよりも解像度が高い映像データである。送信部23は、再生データ保存部22から読み出したデータを受け取り、ユニキャストでネットワークA30を介して再生端末(40,50,N)へ配信する。
マスタ再生端末40は、スレーブ再生端末(50,N)を支配し、スレーブ再生端末(50,N)との間との同期再生制御を行う。マスタ再生端末40は、再生開始、停止を行い、スレーブ再生端末(50,N)は、これに同期してマスタ再生端末40の動作に従う。ここでは、マスタ再生端末40、スレーブ再生端末(50,N)ともにジャンプ再生は行わないものとする。また、マスタ再生端末40、スレーブ再生端末(50,N)とも、映像全体を再生しているナビゲーション映像から見たい領域を選択することができる。
マスタ再生端末40、スレーブ再生端末(50,N)は、自再生端末の選択領域情報をネットワークB80を介してマルチキャストで他再生端末へ送信する。マスタ再生端末40、スレーブ再生端末(50,N)は、他の再生端末の選択領域映像を再生する。マスタ再生端末40、スレーブ再生端末(50,N)の電波時計(47,57)は、電波送信所10から発信される標準電波を自動受信して各再生端末の日時修正を行い、各端末は復号化開始時刻(T)になった時、一斉に復号化開始を行う。なお、自再生端末の選択領域情報とは、ナビゲーション映像の中から全体または部分的に選択した領域であるが、この自再生端末の選択領域情報については後述する。
また、復号化開始時刻(T)は、全てのスレーブ再生端末(50,N)から再生開始準備完了通知受領直後のマスタ再生端末40の電波時計時刻(T1)と、マスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)とを加算することにより得られる時刻である。マスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)は、予め設定されている。この設定方法としては、マスタ再生端末40からスレーブ再生端末(50,N)へテストパケットを送信し、各スレーブ再生端末(50,N)からマスタ再生端末40へ回答パケットが戻る時間を計測して設定すればよい。
マスタ再生端末40は、再生要求部41と、同期再生制御部42と、送信部43と、受信部44と、復号部45と、表示部46と、電波時計47とで構成される。マスタ再生端末40は、全スレーブ再生端末(50,N)とネットワークB80を介してTCP/IP接続を行う。これは、コンテンツURL、復号化開始時刻(T)、再生停止を送信、全スレーブ再生端末(50,N)からは、再生準備完了通知、受け取り返信を受信するために用いる。再生情報(選択領域情報と再生端末ID)、確認した再生時間はマルチキャストでスレーブ再生端末(50,N)へ送信する。マスタ再生端末40は、TCP/IP接続後、全再生端末の識別子(ID:identifier)を付与し、全スレーブ再生端末(50,N)に各再生端末の識別子(図16参照)を通知する。
ユーザは、マスタ再生端末40の再生要求部41から、コンテンツURLを入力する。マスタ再生端末40の再生要求部41は、入力されたコンテンツURLをマスタ再生端末40の同期再生制御部42へ送る。コンテンツURLは、ネットワーク上に存在する符号化データの場所を指している。また、マスタ再生端末40の再生要求部41は、ユーザが、表示部46に再生中のナビゲーション映像から選択した領域に関する選択領域情報をマスタ再生端末40の同期再生制御部42へ送る。選択領域情報については後述する。また、マスタ再生端末40の再生要求部41は、ユーザが、表示部46に再生中の自・他端末サムネイル映像の中からどのサムネイルを選んだかのサムネイル選択情報をマスタ再生端末40の同期再生制御部42へ送る。また、マスタ再生端末40の再生要求部41は、ユーザが実行した再生・停止を、マスタ再生端末40の同期再生制御部42へ送る。
マスタ再生端末40の同期再生制御部42は、再生要求部41と、受信部44と、復号部45からの要求制御と、受信部44と、復号部45と、送信部43への要求制御を行う。マスタ再生端末40の同期再生制御部42は、全スレーブ再生端末のIPアドレス一覧と、各再生端末IDを保持している。なお、同期再生制御部42の動作については後述する。
マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42からの要求を受け取り、要求内容によって配信サーバ20、またはスレーブ再生端末(50,N)へ要求を送信する。配信サーバ20へは、ネットワークA30を介して、符号化データ配信要求、配信停止要求を送信する。また、全スレーブ再生端末(50,N)へは、ネットワークB80を介して、TCP/IPで少なくともコンテンツURL、復号化開始時刻(T)、再生停止を送信する。再生情報(選択領域情報と再生端末ID)、確認した再生時間は、ネットワークB80を介してマルチキャストでスレーブ再生端末へ送信する。
マスタ再生端末40の受信部44は、配信サーバ20と、スレーブ再生端末(50,N)からのデータを受信し、受信したデータが符号化データの場合はマスタ再生端末40の復号部45へ送り、それ以外はマスタ再生端末40の同期再生制御部42へ送る。
マスタ再生端末40の復号部45は、マスタ再生端末40の受信部44から符号化データを受け取り、受け取った符号化データのナビゲーション符号化映像データとメイン符号化映像データ、音声符号化データ(音声がない場合もある)をそれぞれ1GOP(Group Of Picture)単位で並列して復号化し、復号化したナビゲーション映像と、復号化したメイン映像から選択領域情報を元に切り出した選択領域映像、音声をマスタ再生端末40の表示部46へ送る。なお、1GOPは、一般的に15フレーム、0.5秒であるが、必ずしもその必要はない。マスタ再生端末40の再生開始時の選択領域情報は、予め設定した値を用いる。
また、マスタ再生端末40の復号部45は、再生開始時のマスタ再生端末40のサムネイル映像として、復号化したナビゲーション映像から、予め設定した選択領域情報を元に、マスタ再生端末40の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末の選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。対応情報には、少なくとも、端末ID、選択領域情報、サムネイルIDとが対応付けられて保存される。
また、マスタ再生端末40の復号部45は、スレーブ再生端末(50,N)の再生情報をマスタ再生端末40の同期再生制御部42から受け取り、復号化したナビゲーション映像から、受け取ったスレーブ再生端末(50,N)の再生情報の選択領域情報を元に、スレーブ再生端末(50,N)の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したスレーブ再生端末の選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、とサムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。
また、マスタ再生端末40の復号部45は、どのサムネイルを選んだかのサムネイル選択情報をマスタ再生端末40の同期再生制御部42から受け取り、対応情報とサムネイル選択情報が一致する選択領域情報を基にメイン符号化映像データを復号化し、復号化したメイン映像から選択領域映像を切り出し、この選択領域映像をマスタ再生端末40の表示部46へ送る。これにより、選択したサムネイル映像をメイン映像で再生できる。この時、マスタ再生端末40の復号部45は、対応情報のマスタ再生端末の選択領域情報を更新する。
マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声が無い場合もある)を受け取り、ストリーム再生を行う。マスタ再生端末40の電波時計47は、電波送信所10から発信される標準電波を自動受信してマスタ再生端末40の電波時計の日時修正を行う。この日時を用いて復号化開始時刻(T)になった時、各端末ともに一斉に復号化を開始する。
スレーブ再生端末(50,N)は、再生要求部51と、同期再生制御部52と、送信部53と、受信部54と、復号部55と、表示部56と、電波時計57とで構成される。再生要求部51は、ユーザが表示部56に再生中のナビゲーション映像から選択した領域に関する選択領域情報を、スレーブ再生端末(50,N)の同期再生制御部52へ送る。また、再生要求部51は、ユーザが表示部56に再生中の自・他端末サムネイル映像の中からどのサムネイルを選んだかのサムネイル選択情報を、スレーブ再生端末(50,N)の同期再生制御部52へ送る。同期再生制御部52は、再生要求部51と、受信部54と、復号部55からの要求制御と、受信部54と、復号部55と、送信部53への要求制御を行う。なお、同期再生制御52の動作については後述する。
スレーブ再生端末(50,N)の送信部53は、スレーブ再生端末(50,N)の同期再生制御部52からの要求を受け取り、要求内容によって配信サーバ20、マスタ再生端末40、他スレーブ再生端末へ要求を送信する。配信サーバ20へは、ネットワークA30を介して、符号化データ配信要求、配信停止要求を送信する。マスタ再生端末40へは、ネットワークB80を介してTCP/IPで再生準備完了通知、マスタ再生端末からの情報受け取り返信を送信する。再生情報(選択領域情報と再生端末ID)は、ネットワークB80を介してマルチキャストでマスタ再生端末、他スレーブ再生端末へ送信する。
スレーブ再生端末(50,N)の受信部54は、配信サーバ20、マスタ再生端末40、他スレーブ再生端末からのデータを受信し、受信したデータが符号化データの場合はスレーブ再生端末(50,N)の復号部55へ送り、それ以外はスレーブ再生端末(50,N)の同期再生制御部52へ送る。スレーブ再生端末(50,N)の復号部55は、スレーブ再生端末(50,N)の受信部54から符号化データを受け取り、受け取った符号化データのナビゲーション符号化映像データとメイン符号化映像データ、音声符号化データ(音声がない場合もある)をそれぞれ1GOP単位で並列して復号化し、復号化したナビゲーション映像、復号化したメイン映像から選択領域情報を元に切り出した選択領域映像、音声をスレーブ再生端末(50,N)の表示部56へ送る。スレーブ再生端末の再生開始時の選択領域情報は、予め設定した値を用いる。
また、スレーブ再生端末(50,N)の復号部55は、再生開始時のスレーブ再生端末(50,N)のサムネイル映像として、復号化したナビゲーション映像から、予め設定した選択領域情報を元に、スレーブ再生端末(50,N)の選択領域映像を切り出し、さらにサムネイル化して、サムネイル化したスレーブ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。対応情報には、少なくとも、端末ID、選択領域情報、サムネイルIDとが対応付けられて保存される。
また、スレーブ再生端末(50,N)の復号部55は、マスタ再生端末40、他スレーブ再生端末の(選択領域情報と再生端末ID)をスレーブ再生端末(50,N)の同期再生制御部52から受け取り、復号化したナビゲーション映像から、受け取ったマスタ再生端末40、他スレーブ再生端末(50,N)の再生情報の選択領域情報を元に、マスタ再生端末40、他スレーブ再生端末の選択領域映像をそれぞれ切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末、他スレーブ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、端末ID、選択領域情報、サムネイルIDとを対応付けし、この対応情報(図17参照)を保持する。
また、スレーブ再生端末(50,N)の復号部55は、どのサムネイルを選んだかのサムネイル選択情報をスレーブ再生端末(50,N)の同期再生制御部52から受け取り、対応情報とサムネイル選択情報が一致する選択領域情報を基にメイン符号化映像データを復号化し、復号化したメイン映像から選択領域映像を切り出し、この選択領域映像をマスタ再生端末50の表示部56へ送る。これにより、選択したサムネイル映像をメイン映像で再生できる。この時、スレーブ再生端末50の復号部55は、対応情報のスレーブ再生端末(50,N)の選択領域情報を更新する。
スレーブ再生端末(50,N)の表示部56は、スレーブ再生端末(50,N)の復号部55から復号したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声が無い場合もある)を受け取りストリーム再生を行う。スレーブ再生端末(50,N)の電波時計57は、電波送信所10から発信される標準電波を自動受信してスレーブ再生端末の電波時計の日時修正を行う。この日時を用いて復号化開始時刻(T)になった時、各端末ともに一斉に復号化を開始する。
次に、図2を参照して、図1に示す再生端末(40,50,N)の表示部(46,56)に表示される表示内容について説明する。マスタ再生端末40およびスレーブ再生端末(50,N)の表示部(46,56)には、自再生端末のナビゲーション映像、ナビゲーション映像から、全体または部分的に選択した領域に対応するメイン映像の選択領域映像と、自・他端末のサムネイル化した選択領域映像(サムネイル映像)が再生される。ナビゲーション映像は、映像の全体をストリーム再生する。図2において破線で示す破線の選択領域は、ナビゲーション映像の中から部分的に選択した領域を示しており、選択領域情報は、左上頂点座標0からの距離(X、Y)と、幅、高さで表される。自端末メイン映像(選択領域映像)は、破線で囲まれた選択領域の解像度の高い映像であり、表示部(46,56)のナビゲーション映像とは別の場所でストリーム再生される映像である。自・他端末のサムネイル化した選択領域映像(サムネイル映像)は、自・他端末の選択領域映像をサムネイル画像(多数の画像を一覧表示するために縮小された画像)でストリーム再生される映像である。
次に、図1を参照して、マスタ再生端末40の同期再生制御部42の動作を説明する。
<再生要求部41からの要求>
まず、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から入力されたコンテンツURLを受け取り、受け取ったコンテンツURLをマスタ再生端末40の送信部43に送る。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から、ユーザが再生中のナビゲーション映像から全体または部分的に選択した選択領域情報を受け取り、この選択領域情報をマスタ再生端末40の復号部45へ送る。また、同期再生制御部42は、再生要求部41から択領域情報を受け取り、マスタ再生端末40の送信部43に再生情報(選択領域情報と再生端末ID)をスレーブ再生端末へ送る指示を出す。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から、ユーザが表示部46に再生中の自・他端末サムネイル映像の中から選んだサムネイル選択情報を受け取り、マスタ再生端末40の復号部45へ送る。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から再生停止を受け取ると、再生停止を、マスタ再生端末40の受信部44と、復号部45へ送り、さらに、マスタ再生端末40の送信部43に全スレーブ再生端末(50,N)へ再生停止を送信する指示と、配信サーバ20へ符号化データの配信停止を送信する指示を出す。
<受信部44からの要求>
まず、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から配信要求した符号化データの受信開始通知を受け取ると、マスタ再生端末40の送信部43に、再生要求部41から入力されたコンテンツURLと同じコンテンツURLをTCP/IP接続した全スレーブ再生端末(50,N)へ通知する指示を送る。また、各再生端末IDを復号部45へ送る。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から全てのスレーブ再生端末(50,N)から再生開始準備完了を受け取ると、電波時計47の時刻を確認し、その確認した時刻(T1)にマスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)を加えた復号化開始時刻(T=T1+T2)を算出し、さらに、マスタ再生端末40の送信部43へこの復号化開始時刻(T)を全スレーブ再生端末(50,N)へ送る指示を出す。
さらに、電波時計47を確認し、復号化開始時刻(T)になった時、マスタ再生端末40の復号部45へナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)を1GOP単位で並列して復号化を開始する指示を送る。一方、マスタ再生端末40の受信部44へ符号化データをマスタ再生端末40の復号部45へ送信開始の指示を出す。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44からスレーブ再生端末の再生情報(選択領域情報と再生端末ID)を受け取り、この再生情報をマスタ再生端末40の復号部45へ送る。
<復号部45からの要求>
マスタ再生端末40の同期再生制御部42は、選択したマスタ再生端末40の新しい選択領域情報を復号部45から受け取ると、マスタ再生端末40の送信部43にマスタ再生端末の再生情報(選択領域情報と再生端末ID)を全スレーブ再生端末(50,N)へ送る指示を出す。マスタ再生端末40の同期再生制御部42は、指定した時間毎に確認した時の電波時計時間とその時の復号化したメイン映像の再生時間を復号部から受け取り、マスタ再生端末送信部へ送る。
次に、図1を参照して、スレーブ再生端末(50,N)の同期再生制御部52の動作を説明する。
<再生要求部51からの要求>
まず、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の再生要求部51から、ユーザが再生中のナビゲーション映像から全体または部分的に選択した選択領域情報を受け取り、この選択領域情報をスレーブ再生端末(50,N)の復号部45へ送る。同期再生制御部52は、再生要求部51から受け取った選択領域情報を、スレーブ再生端末(50,N)の送信部53に再生情報(選択領域情報と再生端末ID)をマスタ再生端末、他スレーブ再生端末へ送る指示を出す。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の再生要求部51から、ユーザが再生中の自・他端末サムネイル映像の中から選んだサムネイル選択情報を受け取り、このサムネイル選択情報をスレーブ再生端末(50,N)の復号部55へ送る。
<受信部54からの要求>
まず、スレーブ再生端末(50,N)の同期再生制御部52は、マスタ再生端末40から送信されたコンテンツURLをスレーブ再生端末(50,N)の受信部54から受け取り、受け取ったコンテンツURLをスレーブ再生端末(50,N)の送信部53に送る。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から配信要求した符号化データの受信開始通知を受け取り、再生開始準備完了をスレーブ再生端末(50,N)の送信部53へ送る。また、各再生端末IDを復号部55へ送る。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から復号化開始時刻(T)を受け取ると、電波時計57を確認し、復号化開始時刻(T)になった時、スレーブ再生端末(50,N)の復号部55へナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)を1GOP単位で並列して復号化を開始する指示を送る。一方、スレーブ再生端末(50,N)の受信部54へ、符号化データをスレーブ再生端末(50,N)の復号部55へ送信開始の指示を出す。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末50(50,N)の受信部54からマスタ再生端末40、他のスレーブ再生端末の再生情報(選択領域情報と再生端末ID)を受け取り、この再生情報をスレーブ再生端末(50,N)の復号部55へ送る。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54からマスタ再生端末の確認した時の電波時計の時間とその時のメイン映像の再生時間を受け取り、マスタ端末とスレーブ再生端末の確認した時の電波時計の時間からメイン映像の再生時間を比較し、その結果をスレーブ再生端末復号部へ送る。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から再生停止を受け取ると、再生停止を、スレーブ再生端末(50,N)の受信部54と、復号部55へ送り、さらに、スレーブ再生端末(50,N)の送信部53に配信サーバ20へ符号化データの配信停止を送る。
<復号部55からの要求>
スレーブ再生端末(50,N)の同期再生制御部52は、選択したスレーブ再生端末(50,N)の新しい選択領域情報を復号部55から受け取り、スレーブ再生端末(50,N)の送信部53にスレーブ再生端末(50,N)の再生情報(選択領域情報と再生端末ID)をマスタ再生端末、他スレーブ再生端末へ送る指示を出す。スレーブ再生端末(50,N)の同期再生制御部52は、確認した時の電波時計時間とその時のメイン映像の再生時間を復号部55から受け取り、これを保持する。
次に、図3〜図15を参照して、図1に示す同期再生システムの動作を説明する。始めに、図3〜図5を参照して、複数の再生端末(40,50,N)で同期して同一の映像を再生する処理動作を説明する。図3〜図5は、同期再生システムにおいて、複数の再生端末(40,50,N)で同期して同一の映像を再生する処理動作を示すフローチャートである。
まず、マスタ再生端末40は、マスタ再生端末40の同期再生制御部42が保持しているスレーブ再生端末IPアドレス一覧表にあるスレーブ再生端末とネットワークB80を介してTCP/IP(Transmission Control Protocol/Internet Protocol)接続を行う。また、マスタ再生端末40は、TCP/IP接続後、全再生端末にID(identifier)を付与し、これをマスタ再生端末40の同期再生制御部42に保持する。また、マスタ再生端末40は、ネットワークB80を介してTCP/IPで全スレーブ再生端末(50,N)に各再生端末IDを通知する。各同期再生制御部は、各再生端末IDを保持する(ステップS501)。
次に、ユーザがコンテンツURLを入力すると、マスタ再生端末40の再生要求部41は、入力されたコンテンツURLをマスタ再生端末40の同期再生制御部42に送る(ステップS502)。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から入力されたコンテンツURLを受け取り、受け取ったコンテンツURLをマスタ再生端末40の送信部43へ送る(ステップS503)。マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42からコンテンツURLを受け取り、受け取ったコンテンツURLを、ネットワークA30を介して配信サーバ20へ送信する(ステップS504)。
次に、配信サーバ20の受信部21は、ネットワークA30を介してマスタ再生端末40から送信されたコンテンツURLを受信し、受け取ったコンテンツURLを再生データ保存部22へ送る(ステップS505)。再生データ保存部22は、配信サーバ20の受信部21からコンテンツURLを受け取り、受け取ったコンテンツURLから符号化データを読み出し、読み出した符号化データを配信サーバ20の送信部23へ送る(ステップS506)。再生データ保存部22には、ナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)が1つの符号化データで保存されている。配信サーバ20の送信部23は、再生データ保存部22から符号化データを受け取り、受け取った符号化データをネットワークA30を介してユニキャストでマスタ再生端末40へ送信する(ステップS507)。
次に、マスタ再生端末40の受信部44は、配信サーバ20の送信部23から送信された符号化データを、ネットワークA30を介して受け取り、マスタ再生端末40の受信部44は、符号化データ受信開始をマスタ再生端末40の同期再生制御部42へ通知する。さらに、マスタ再生端末40の受信部44は、マスタ再生端末40の復号部45へ符号化データのナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)をそれぞれ1GOPのみ送る(ステップS508)。この時、マスタ再生端末40の復号部45は、まだ復号しない。また、マスタ再生端末40の受信部44はバッファ残量から配信制御を行っているため、受信バッファが溢れる事はない。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から符号化データ受信開始通知を受け取ると、ステップS502と同じコンテンツURLをステップS501でTCP/IP接続した全スレーブ再生端末(50,N)へ通知する指示をマスタ再生端末40の送信部43へ送る(ステップS509)。また、同期再生制御部42は、全再生端末IDを復号部45へ送る。復号部45は、これを保持する。
次に、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から(ステップS502と同じコンテンツURLをTCP/IP接続されている全スレーブ再生端末(50,N)へ通知する指示を受け取り、受け取ったコンテンツURLをネットワークB80を介してTCP/IPで全スレーブ再生端末(50,N)へ送信する(ステップS510)。
次に、スレーブ再生端末(50,N)の受信部54は、ネットワークB80を介してマスタ再生端末40からコンテンツURLを受け取り、受け取ったコンテンツURLをスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS511)。続いて、スレーブ再生端末(50,N)の同期再生制御部52は、コンテンツURLをスレーブ再生端末(50,N)の受信部54から受け取り、受け取ったコンテンツURLをスレーブ再生端末(50,N)の送信部53へ送る(ステップS512)。さらに、スレーブ再生端末(50,N)の送信部53は、スレーブ再生端末(50,N)の同期再生制御部52から受け取ったコンテンツURLをネットワークA30を介して配信サーバ20へ送る(ステップS513)。
次に、配信サーバ20の受信部21は、ネットワークA30を介して全スレーブ再生端末(50,N)からコンテンツURLを受信し、受け取ったコンテンツURLを再生データ保存部22へ送る(ステップS514)。続いて、再生データ保存部22は、配信サーバ20の受信部21からコンテンツURLを全スレーブ再生端末数受け取り、受け取ったコンテンツURLから符号化データを全スレーブ再生端末数読み出し、読み出した符号化データを配信サーバ20の送信部23へ全スレーブ再生端末数を送る(ステップS515)。また、配信サーバ20の送信部23は、再生データ保存部22から読み出した符号化データを全スレーブ再生端末数受け取り、受け取った全スレーブ再生端末数の符号化データをネットワークA30を介してユニキャストで配信要求元の全スレーブ再生端末(50,N)へそれぞれ送信する(ステップS516)。
次に、スレーブ再生端末(50,N)の受信部54は、配信サーバ20の送信部23から送信された符号化データを、ネットワークA30を介して受け取り、スレーブ再生端末(50,N)の受信部54は、符号化データの受信開始をスレーブ再生端末(50,N)の同期再生制御部52へ通知する。さらに、スレーブ再生端末(50,N)の受信部54は、スレーブ再生端末(50,N)の復号部55へ符号化データのナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)それぞれ1GOPのみ送る(ステップS517)。この時、スレーブ再生端末(50,N)の復号部55は、まだ復号しない。また、スレーブ再生端末(50,N)の受信部54はバッファ残量から配信制御を行っているため、受信バッファが溢れる事はない。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から符号化データ受信開始通知を受け取ると、再生開始準備完了をマスタ再生端末40へ通知する指示をスレーブ再生端末(50,N)の送信部53へ送る(ステップS518)。また、同期再生制御部52は、各再生端末IDを復号部55へ送る。復号部55は、これを保持する。続いて、スレーブ再生端末(50,N)の送信部53は、スレーブ再生端末(50,N)の同期再生制御部52から再生開始準備完了をマスタ再生端末40へ通知する指示を受け取り、受け取った再生開始準備完了をネットワークB80を介してTCP/IPでマスタ再生端末40へ送る(ステップS519)。
次に、マスタ再生端末40の受信部44は、スレーブ再生端末(50,N)からネットワークB80を介して再生開始準備完了を受け取り、受け取った再生開始準備完了をマスタ再生端末40の同期再生制御部42へ送る(ステップS520)。続いて、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44からスレーブ再生端末(50,N)の再生開始準備完了を受け取り、マスタ再生端末40の同期再生制御部42は、全てのスレーブ再生端末(50,N)から再生開始準備完了を受け取ると、電波時計47の時刻を確認し、確認したその時刻(T1)にマスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)を加えた復号化開始時刻(T=T1+T2)を算出し、さらに、送信部43へ復号化開始時刻(T) を全スレーブ再生端末(50,N)へ送る指示を出す(ステップS521)。スレーブ再生端末(50,N)はステップS525へ移行する。
なお、マスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)は、予め設定されているものとする。この設定方法としては、マスタ再生端末40からスレーブ再生端末(50,N)へテストパケットを送信し、各スレーブ再生端末(50,N)からマスタ再生端末40へ回答パケットが戻る時間を計測して設定する。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の電波時計47を確認し、復号化開始時刻(T)になった時、マスタ再生端末40の復号部45へ復号化を開始する指示を送る。さらに、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44へ、符号化データの復号部45への送信開始指示を出す(ステップS522)。続いて、マスタ再生端末40の復号部45は、マスタ再生端末40の同期再生制御部42から復号化開始指示を受け取り、1GOP単位でナビゲーション符号化映像データ、選択領域情報を元にメイン符号化映像データ、音声符号化データ(音声がない場合もある)の復号化を並列して開始する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、復号部45は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像と、復号化したナビゲーション映像、音声(音声がない場合もある)をマスタ再生端末40の表示部46へ送る。再生開始時は、予め設定した選択領域情報を用いる。
さらに、マスタ再生端末40の復号部45は、復号化したナビゲーション映像から、マスタ再生端末40の予め設定した選択領域情報を元に、マスタ再生端末40の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末の選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する(ステップS523)。続いて、マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、再生を開始する(ステップS524)。
一方、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から全再生端末(40,50,N)の電波時計47が、復号化開始時刻(T)になった時に復号化開始を復号部へ出す指示を受け取り、全再生端末(40,50,N)が復号化開始時刻(T)になった時に復号化開始を復号部へ出す指示をTCP/IPでネットワークB80を介して全スレーブ再生端末(50,N)へ送信する(ステップS525)。続いて、スレーブ再生端末(50,N)の受信部54は、マスタ再生端末40からネットワークB80を介して復号化開始時刻(T)になった時に復号化開始を復号部55へ出す指示を受け取り、受け取った前記指示をスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS526)。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から復号化開始時刻(T)になった時に復号化開始を復号部55へ出す指示を受け取ると、スレーブ再生端末(50,N)の電波時計57を確認し、電波時計57が復号化開始時刻(T)になった時、スレーブ再生端末(50,N)の復号部55へ復号化を開始する指示を送る。さらに、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54へ、符号化データの復号部55への送信開始指示を出す(ステップS527)。
次に、スレーブ再生端末(50,N)の復号部55は、スレーブ再生端末(50,N)の同期再生制御部52から復号化開始指示を受け取り、1GOP単位でナビゲーション符号化映像データと、選択領域情報を元にメイン符号化映像データ、音声符号化データ(音声がない場合もある)の復号化を並列して開始する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、復号部55は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像と、復号化したナビゲーション映像、音声(音声がない場合もある)をスレーブ再生端末(50,N)の表示部56へ送る。再生開始時は、予め設定した選択領域情報を用いる。
また、スレーブ再生端末(50,N)の復号部55は、復号化したナビゲーション映像から、スレーブ再生端末(50,N)の予め設定した選択領域情報を元に、スレーブ再生端末(50,N)の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したスレーブ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する(ステップS528)。
次に、スレーブ再生端末(50,N)の表示部56は、スレーブ再生端末(50,N)の復号部55から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、再生を開始する(ステップS529)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS530)。
次に、図6を参照して、選択した領域を同期して再生するための処理動作を説明する。図6は、同期再生システムにおいて、選択した領域を同期して再生するための処理動作を示すフローチャートである。
まず、再生要求部(41,51)は、ユーザが、表示部(46,56)に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報を同期再生制御部(42,52)へ送る(ステップS601)。同期再生制御部(42,52)は、再生要求部(41,51)から選択領域情報を受け取り、受け取った選択領域情報を復号部(45,55)へ送る(ステップS602)。続いて、復号部(45,55)は、同期再生制御部(42,52)から選択領域情報を受け取り、受け取った選択領域情報を元に、メイン符号化映像データを復号化する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、復号部(45,55)は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像を表示部(46,56)へ送る。
また、復号部(45,55)は、並列して復号化したナビゲーション映像から、受け取った選択領域情報を元に、選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した選択領域映像を表示部(46,56)に送る。この時、復号部(45,55)は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、同じ再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS603)。
次に、表示部(46,56)は、復号部(45,55)からナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、受け取ったナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を表示部(46,56)で再生する(ステップS604)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS605)。
次に、図7を参照して、マスタ再生端末40の選択領域映像を、全スレーブ再生端末(50,N)で再生するための処理動作を説明する。図7は、同期再生システムにおいて、マスタ再生端末40の選択領域映像を、全スレーブ再生端末(50,N)で再生するための処理動作を示すフローチャートである。
まず、マスタ再生端末40の再生要求部41は、ユーザが、マスタ再生端末40の表示部46に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報をマスタ再生端末40の同期再生制御部42へ送る(ステップS701)。マスタ再生端末40の同期再生制御部42は、再生要求部41から選択領域情報を受け取り、受け取った選択領域情報をマスタ再生端末40の復号部45へ送る。また、マスタ再生端末40の同期再生制御部42は、受け取った選択領域情報にマスタ再生端末IDを含めた再生情報(選択領域情報と再生端末ID)を全スレーブ再生端末へ送る指示をマスタ再生端末40の送信部43に出す(ステップS702)。
続いて、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から再生情報を受け取り、受け取った再生情報をマルチキャストでネットワークB80を介して全スレーブ再生端末(50,N)へ送信する(ステップS703)。また、スレーブ再生端末(50,N)の受信部54は、ネットワークB80を介してマスタ再生端末40からマスタ再生端末40の再生情報を受け取り、受け取ったマスタ再生端末40の再生情報をスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS704)。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54からマスタ再生端末40の再生情報を受け取り、受け取った再生情報をスレーブ再生端末(50,N)の復号部55に送る(ステップS705)。続いて、スレーブ再生端末(50,N)の復号部55は、スレーブ再生端末(50,N)の同期再生制御部52からマスタ再生端末40の再生情報を受け取り、復号化したスレーブ再生端末(50,N)のナビゲーション映像から、受け取った再生情報の選択領域情報を元に、マスタ再生端末40の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、マスタ再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、マスタ再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS706)。また、スレーブ再生端末(50,N)の表示部56は、復号部55からマスタ再生端末40が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、スレーブ再生端末(50,N)の表示部56に再生する(ステップS707)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS708)。
次に、図8を参照して、スレーブ再生端末50の選択領域映像を、マスタ再生端末40、他スレーブ再生端末Nで再生するための処理動作を説明する。図8は、同期再生システムにおいて、スレーブ再生端末50の選択領域映像を、マスタ再生端末40、他スレーブ再生端末Nで再生するための処理動作を示すフローチャートである。
まず、スレーブ再生端末50の再生要求部51は、ユーザが、スレーブ再生端末50の表示部56に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報をスレーブ再生端末50の同期再生制御部52へ送る(ステップS801)。スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50の再生要求部51から選択領域情報を受け取り、受け取った選択領域情報をマスタ再生端末50の復号部55へ送る。また、受け取った選択領域情報にスレーブ再生端末50のIDを含めた再生情報(選択領域情報と再生端末ID)をマスタ再生端末40、他スレーブ再生端末Nへ送る指示を出す(ステップS802)。続いて、スレーブ再生端末50の送信部53は、スレーブ再生端末50の同期再生制御部52からスレーブ再生端末50の再生情報を受け取り、受け取った再生情報をネットワークB80を介してマルチキャストでマスタ再生端末40、他スレーブ再生端末Nへ送信する(ステップS803)。他スレーブ再生端末NはステップS808へ移行する。
次に、マスタ再生端末40の受信部44は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の同期再生制御部42へ送る(ステップS804)。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の復号部45に送る(ステップS805)。
次に、マスタ再生端末40の復号部45は、マスタ再生端末40の同期再生制御部42からスレーブ再生端末50の再生情報を受け取り、復号化したマスタ再生端末40のナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50の再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS806)。続いて、マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、マスタ再生端末40の表示部46にストリーム再生する(ステップS807)。
次に、他スレーブ再生端末Nの受信部は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの同期再生制御部へ送る(ステップS808)。他スレーブ再生端末Nの同期再生制御部は、他スレーブ再生端末Nの受信部から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの復号部に送る(ステップS809)。
次に、他スレーブ再生端末Nの復号部は、他スレーブ再生端末Nの同期再生制御部から、スレーブ再生端末50の再生情報を受け取り、復号化した他スレーブ再生端末Nのナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像を他スレーブ再生端末Nの表示部に送る。この時、他スレーブ再生端末Nの復号部は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50対応情報がある場合は、選択領域情報のみを更新する(ステップS810)。
次に、他スレーブ再生端末Nの表示部は、他スレーブ再生端末Nの復号部からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、他スレーブ再生端末Nの表示部に再生する(ステップS811)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS812)。
次に、図9〜図11を参照して、選択したサムネイル映像をメイン映像(選択領域映像)で再生する動作を説明する。図9〜図11は、同期再生システムにおいて、選択したサムネイル映像をメイン映像(選択領域映像)で再生する動作を示すフローチャートである。ここでは、スレーブ再生端末50を例にして説明するが、他の再生端末でも処理動作は同じである。
まず、ユーザが、スレーブ再生端末50の表示部56に再生中のサムネイル映像(自・他再生端末選択領域映像)の中から1つを選択すると、スレーブ再生端末50の再生要求部51は、どのサムネイル選択したかのサムネイル選択情報をスレーブ再生端末50の同期再生制御部52へ送る(ステップS901)。ここでは、マスタ再生端末40のサムネイル映像が選択されたものとする。
スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50の再生要求部51からマスタ再生端末40のサムネイルを選択した情報を受け取り、受け取ったサムネイル選択情報をスレーブ再生端末50の復号部55へ送る(ステップS902)。続いて、スレーブ再生端末50の復号部55は、スレーブ再生端末50の同期再生制御部52からサムネイル選択情報を受け取り、スレーブ再生端末50の復号部55は、保持している対応情報(図17参照)とサムネイル選択情報を対照する。本実施例では、対応情報のマスタ再生端末40に一致する。このマスタ再生端末40の選択領域情報を元にメイン符号化映像データを復号化する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、スレーブ再生端末50の復号部55は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像をスレーブ再生端末50の表示部56へ送る。
また、スレーブ再生端末50の復号部55は、並列して復号化したナビゲーション映像から、受け取った選択領域情報を元に、選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した選択領域映像をスレーブ再生端末50の表示部56に送る。この時、スレーブ再生端末50の復号部55は、サムネイル映像にIDを付与し、対応情報のスレーブ再生端末50の選択領域情報を、一致したマスタ再生端末40の選択領域情報に更新し、この対応情報(図17参照)を保持する。スレーブ再生端末50とマスタ再生端末40の選択領域情報が同じになる。また、スレーブ再生端末50の新しい選択領域情報を他再生端末送信用にスレーブ再生端末50の同期再生制御部52へ送る(ステップS903)。マスタ再生端末40と他スレーブ再生端末は、ステップ905へ移行する。
次に、スレーブ再生端末50の表示部56は、スレーブ再生端末50の復号部55からナビゲーション映像、マスタ再生端末40と同じ選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、受け取ったナビゲーション映像、マスタ再生端末40と同じ選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)をスレーブ再生端末50の表示部56で再生する(ステップS904)。また、スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50の送信部53へ受け取った選択領域情報にスレーブ再生端末50のIDを含めた再生情報(選択領域情報と再生端末ID)をマスタ再生端末40、他スレーブ再生端末Nへ送る指示を出す(ステップS905)。続いて、スレーブ再生端末50の送信部53は、スレーブ再生端末50の同期再生制御部52からスレーブ再生端末50の再生情報を受け取り、受け取った再生情報をネットワークB80を介してマルチキャストでマスタ再生端末40、他スレーブ再生端末Nへ送信する(ステップS906)。
次に、マスタ再生端末40の受信部44は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の同期再生制御部42へ送る(ステップS907)。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の復号部45に送る(ステップS908)。
次に、マスタ再生端末40の復号部45は、マスタ再生端末40の同期再生制御部42からスレーブ再生端末50の再生情報を受け取り、復号化したマスタ再生端末40のナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50の再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS909)。続いて、マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、マスタ再生端末40の表示部46にストリーム再生する(ステップS910)。
次に、他スレーブ再生端末Nの受信部は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの同期再生制御部へ送る(ステップS911)。他スレーブ再生端末Nの同期再生制御部は、他スレーブ再生端末Nの受信部から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの復号部に送る(ステップS912)。
次に、他スレーブ再生端末Nの復号部は、他スレーブ再生端末Nの同期再生制御部から、スレーブ再生端末50の再生情報を受け取り、復号化した他スレーブ再生端末Nのナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像を他スレーブ再生端末Nの表示部に送る。この時、他スレーブ再生端末Nの復号部は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50対応情報がある場合は、選択領域情報のみを更新する(ステップS913)。
次に、他スレーブ再生端末Nの表示部は、他スレーブ再生端末Nの復号部からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、他スレーブ再生端末Nの表示部に再生する(ステップS914)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS915)。
次に、図12、図13を参照して、再生端末間の同期再生動作を説明する。図12、図13は、同期再生システムにおいて、再生端末間の同期再生動作を示すフローチャートである。
まず、同期再生制御部(42,52)は、電波時計(47,57)を確認し、復号化開始時刻(T)になった時、復号部(45,55)へ復号化開始を送る。さらに、同期再生制御部(42,52)は、受信部(44,54)へ、符号化データの復号部への送信開始指示を送る(ステップS1001)。復号部(45,55)は、同期再生制御部(42,52)から復号化開始を受け取り、ナビゲーション符号化映像データ、選択領域情報を基にメイン符号化映像データ、音声符号化データ(音声がない場合もある)の復号化を1GOP単位で並列して開始する(ステップS1002)。そして、復号部(45,55)は、電波時計(47,57)を確認し、電波時計の指定した時間毎に復号化したメイン映像の再生時間を確認し、確認した時の電波時計時間とその時のメイン映像の再生時間を同期再生制御部(42,52)へ送る(ステップS1003)。確認時間の間隔は、事前に設定しておく。再生時間とは、指定時間の時に復号部(45,55)から表示部(46、56)へ送ったメイン映像の再生時間である。再生時間の確認は、ナビゲーション符号化映像データとメイン符号化映像データは1GOP単位で並列して復号化を行っているため、どちらの映像を用いてもよい。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の復号部45から確認した時の電波時計の時間とメイン映像の再生時間を受け取り、マスタ再生端末40の送信部43へ送る。また、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の復号部55から確認した時の電波時計の時間とメイン映像の再生時間を受け取り、これを保持する(ステップS1004)。続いて、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から確認した時の電波時計の時間とメイン映像の再生時間を受け取り、ネットワークB80を介してマルチキャストで全スレーブ再生端末(50,N)へ送信する(ステップS1005)。スレーブ再生端末(50,N)の受信部54は、マスタ再生端末40からネットワークB80を介して確認した時の電波時計の時間とその時のメイン映像の再生時間を受け取り、スレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS1006)。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54からマスタ再生端末40の確認した時の電波時計の時間とメイン映像の再生時間を受け取ると、マスタ端末40とスレーブ再生端末(50,N)の確認した時の電波時計の時間からメイン映像の再生時間を比較し、その結果をスレーブ再生端末(50,N)の復号部55へ送る(ステップS1007)。スレーブ再生端末(50,N)の復号部55は、比較結果を受け取り、受け取った比較結果がマスタ再生端末と再生時間が同じならば、そのまま復号化を続ける。また、比較結果がマスタ再生端末より再生遅れの場合、遅れている時間分ジャンプして復号化する。または、比較結果がマスタ再生端末より再生が進んでいる場合、先に進んでいる時間分停止し、その後、復号化を再開する(ステップS1008)。
次に、スレーブ再生端末(50,N)の表示部56はスレーブ再生端末(50,N)の復号部55から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、再生する(ステップS1009)。そして、ステップS1003へ戻るか、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS1010)。
次に、図14を参照して、マスタ再生端末40の再生停止の処理動作を説明する。図14は、同期再生システムにおいて、マスタ再生端末40の再生停止の処理動作を示すフローチャートである。
まず、ユーザは、マスタ再生端末40の再生要求部41に再生停止を入力し、マスタ再生端末40の再生要求部41は、入力された再生停止をマスタ再生端末40の同期再生制御部42に送る(ステップS1101)。続いて、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から再生停止を受け取ると、マスタ再生端末40の受信部44へ符号化データの復号部45への送信停止を送る(ステップS1102)。マスタ再生端末40の受信部44は、マスタ再生端末40の同期再生制御部42から復号部45へ符号化データの送信停止を受け取ると、マスタ再生端末40の受信部44は送信を停止する(ステップS1103)。
一方、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の復号部45へ再生停止を送る(ステップS1104)。マスタ再生端末40の復号部45は、再生停止を受け取ると復号化を停止し、さらに、マスタ再生端末40の復号部45はマスタ再生端末40の表示部46に再生停止を送る(ステップS1105)。マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45から再生停止を受け取るとストリーム再生を停止する(ステップS1106)。
また、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から再生停止を受け取ると、マスタ再生端末40の送信部43に全スレーブ再生端末(50,N)へ再生停止を送る指示と、配信サーバ20への符号化データの配信停止を送る指示を出す(ステップS1107)。マスタ再生端末40の送信部43は、全スレーブ再生端末(50,N)へネットワークB80を介してTCP/IPで再生停止を送信し、また、マスタ再生端末40の送信部43は、配信サーバ20へネットワークA30を介して符号化データの配信停止を送信する(ステップS1108)。そして、マスタ再生端末40は、符号化データの受信と再生を停止する(ステップS1109)。
次に、図15を参照して、スレーブ再生端末(50,N)の再生停止の処理動作を説明する。図15は、同期再生システムにおいて、スレーブ再生端末(50,N)の再生停止の処理動作を示すフローチャートである。
まず、スレーブ再生端末(50,N)の受信部54は、マスタ再生端末40からネットワークB80を介して再生停止を受け取り、受け取った再生停止をスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS1201)。スレーブ再生端末(50,N)の同期再生制御部52は、再生停止を受け取ると、スレーブ再生端末(50,N)の受信部54に、符号化データの復号部55への送信停止を出す(ステップS1202)。スレーブ再生端末(50,N)の受信部54は、スレーブ再生端末(50,N)の同期再生制御部52から復号部55へ符号化データの送信停止を受け取ると、マスタ再生端末(50,N)の受信部54は送信を停止する(ステップS1203)。
一方、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の復号部55へ再生停止を送る(ステップS1204)。スレーブ再生端末(50,N)の復号部55は、再生停止を受け取ると復号化を停止し、さらに、スレーブ再生端末(50,N)の復号部55はスレーブ再生端末(50,N)の表示部56に再生停止を送る(ステップS1205)。スレーブ再生端末(50,N)の表示部56は、スレーブ再生端末(50,N)の復号部55から再生停止を受け取るとストリーム再生を停止する(ステップS1206)。
また、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の送信部53に配信サーバ20への配信停止を送る指示を出す(ステップS1207)。スレーブ再生端末(50,N)の送信部53は、配信サーバ20へネットワークA30を介して符号化データの配信停止を送信する(ステップS1208)。スレーブ再生端末(50,N)は、符号化データ受信と再生を停止する(ステップS1209)。
以上説明したように、配信サーバにマルチキャスト対応の手を加えずに、マスタ再生端末とスレーブ再生端末に分類し、スレーブ再生端末はマスタ再生端末の支配下に置かれるように構成し、電波時計を使って、各再生端末の電波時計を正確にあわせておき、各再生端末の電波時計が復号化開始時刻(T)になった時、各再生端末は一斉に復号化開始を実行するようにした。また、復号化開始時刻(T)は、全てのスレーブ再生端末から再生開始準備完了受領直後のマスタ再生端末の電波時計の時刻(X)+マスタ再生端末からスレーブ再生端末へ復号化開始指示が届くまでの最大の時間(Y)を加えたものである。また、ナビゲーション符号化映像データとメイン符号化映像データと音声符号化データ(音声がない場合もある)を1つの符号化データで配信する。ナビゲーション符号化映像データとメイン符号化映像データと音声符号化データ(音声がない場合もある)は、1GOP単位で復号する。コンテンツ配信は広域ネットワーク、再生端末間の再生制御は限定範囲内ネットワークに分ける。コンテンツ配信はユニキャストで行う。限定範囲内ネットワーク下の再生端末間再生制御は、マルチキャストに対応している。
これにより、ユニキャストのみをサポートする配信サーバにおいても、複数端末間で同一映像を同期して視聴することができる。また、他端末がどこの領域を視聴しているか知ることができるとともに、他端末の再生領域と同じ領域を再生することができる。また、1GOP(Group Of Picture)単位で復号するため、再生のずれが発生しにくく、限定範囲のネットワーク環境により、再生端末間再生制御が容易になる。
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報配信処理及び同期再生処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。