JP2011228784A - 同期再生システム、同期再生方法及び同期再生プログラム - Google Patents

同期再生システム、同期再生方法及び同期再生プログラム Download PDF

Info

Publication number
JP2011228784A
JP2011228784A JP2010094018A JP2010094018A JP2011228784A JP 2011228784 A JP2011228784 A JP 2011228784A JP 2010094018 A JP2010094018 A JP 2010094018A JP 2010094018 A JP2010094018 A JP 2010094018A JP 2011228784 A JP2011228784 A JP 2011228784A
Authority
JP
Japan
Prior art keywords
playback
terminal
slave
master
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010094018A
Other languages
English (en)
Other versions
JP5394307B2 (ja
Inventor
Yoshie Yamaguchi
好江 山口
Hideaki Kimata
英明 木全
Katsuhiko Fukazawa
勝彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010094018A priority Critical patent/JP5394307B2/ja
Publication of JP2011228784A publication Critical patent/JP2011228784A/ja
Application granted granted Critical
Publication of JP5394307B2 publication Critical patent/JP5394307B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】複数端末間で同一映像を同期して視聴する。
【解決手段】マスタ再生端末は、配信サーバからユニキャストにより配信された符号化コンテンツデータを受信し、配信要求した符号化コンテンツのURLをスレーブ再生端末に対して送信し、スレーブ端末から再生開始準備完了情報を受信した際に、符号化コンテンツデータの復号化開始時刻を算出して、スレーブ再生端末に対して送信し、復号化開始時刻になった際に、符号化コンテンツデータを再生する。スレーブ再生端末は、マスタ再生端末から送信された符号化コンテンツのURLに基づき配信サーバからユニキャストにより配信された符号化コンテンツデータを受信し、再生開始準備が完了した際に、マスタ再生端末に対して、再生開始準備完了情報を送信し、マスタ再生端末から復号化開始時刻情報を受信し、復号化開始時刻になった際に、符号化コンテンツデータを再生する。
【選択図】図1

Description

本発明は、パノラマ映像の複数端末同期再生方法と他再生端末の選択領域映像再生方法に関する。
従来から、複数のメンバーが共通した映像の配信を受けて再生すると共に、各メンバー間で、その共通の映像に基づいて音声や文字によるコミュニケーションを楽しむことができるシステムが考えられている。このようなシステムでは、複数のメンバーがお互いに同じ場面を共有しながらコミュニケーションを行うために、再生映像の同時性が重要となる。このため、情報の送信あるいは受信を行う各装置の電波時計の時刻を統一的に管理し、IP(internet protocol)マルチキャスト技術を用いて、共通の映像データを複数のメンバーにリアルタイムで配信し、映像データを含むパケットの、配信から到着までの時間を各端末装置毎に算出し、算出結果を相互に比較して最大の遅延時間を検出し、この最大遅延時間が経過するまで、各メンバーのIP端末装置における映像再生を待たせることにより、各メンバー間で映像の同時再生を可能とするシステムが知られている(特許文献1参照)。
特開2003−235027号公報
特許文献1の映像配信システムは、各端末が共有する映像データを、映像配信サーバからIPマルチキャストによって各端末に配送しているが、IPマルチキャストに対応するには、ネットワークに対応のプロトコルが必要であって、ほとんどのネットワークでは、単純な汎用性のあるユニキャストのみをサポートし、マルチキャストに対応していない。このため、従来から存在する映像配信サーバでは、一つの端末から指定された映像を指定された経過時間から配信する、いわゆるユニキャストの機能のみをサポートすることが一般的である。したがって、このような映像配信サーバでは、マルチキャストによる映像配信サービスの提供が困難であって端末間で映像を同期して共有することができないという問題がある。
本発明は、このような事情に鑑みてなされたもので、ユニキャストのみをサポートする配信サーバにおいても、複数端末間で同一映像を同期して視聴することができる同期再生システム、同期再生方法及び同期再生プログラムを提供することを目的とする。
本発明は、マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムであって、前記マスタ再生端末は、配信サーバに対して前記符号化コンテンツデータの配信要求を送信し、前記配信サーバからユニキャストにより配信された前記符号化コンテンツデータを受信するデータ受信手段と、前記配信要求した前記符号化コンテンツのURLを前記スレーブ再生端末に対して送信するURL送信手段と、前記スレーブ再生端末から再生開始準備完了情報を受信した際に、前記符号化コンテンツデータの復号化開始時刻を算出して、前記スレーブ再生端末に対して復号化開始時刻情報を送信する時刻送信手段と、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生手段とを備え、前記スレーブ再生端末は、前記マスタ再生端末から送信された前記符号化コンテンツのURLに基づき前記配信サーバからユニキャストにより配信された符号化コンテンツデータを受信するデータ受信手段と、前記符号化コンテンツデータを受信して、再生開始準備が完了した際に、前記マスタ再生端末に対して、再生開始準備完了情報を送信する準備完了情報送信手段と、前記マスタ再生端末から復号化開始時刻情報を受信し、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生手段とを備えたことを特徴とする。
本発明は、前記時刻送信手段は、前記再生開始準備完了情報を受信した時刻に前記復号化開始時刻情報が前記スレーブ再生端末に届くまでの最大時間を加算することにより前記復号化開始時刻を算出することを特徴とする。
本発明は、前記マスタ再生端末の再生手段は、前記マスタ再生端末の選択領域情報を基にメイン映像から切り出した選択領域映像と、前記マスタ再生端末の選択領域情報を基にナビゲーション映像からサムネイル化した前記マスタ再生端末のサムネイル映像と、前記スレーブ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記スレーブ再生端末のサムネイル映像を再生することを特徴とする。
本発明は、前記スレーブ再生端末の再生手段は、前記スレーブ再生端末の選択領域情報を基にメイン映像から切り出した選択領域映像と、前記スレーブ再生端末の選択領域情報を基にナビゲーション映像からサムネイル化した前記スレーブ再生端末のサムネイル映像と、前記マスタ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記マスタ再生端末のサムネイル映像を再生することを特徴とする。
本発明は、他の前記スレーブ再生端末の再生手段は、前記他のスレーブ再生端末の選択領域情報を基にメイン映像から切り出した選択領域映像と、前記他のスレーブ再生端末の選択領域情報を基にナビゲーション映像からサムネイル化した前記他のスレーブ再生端末のサムネイル映像と、前記マスタ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記マスタ再生端末のサムネイル映像と、前記スレーブ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記スレーブ再生端末のサムネイル映像を再生することを特徴とする。
本発明は、前記マスタ再生端末及び前記複数のスレーブ再生端末は、再生中の前記ナビゲーション映像から前記選択領域を選択操作する選択領域指定手段を備え、該選択領域指定手段によって選択された選択領域の選択領域情報を前記マスタ再生端末及び前記複数のスレーブ再生端末の間で共有して、前記選択領域映像を切り出すことを特徴とする。
本発明は、前記マスタ再生端末及び前記複数のスレーブ再生端末は、複数の前記サムネイル映像の中から1つのサムネイル映像を選択するサムネイル選択手段を備え、該サムネイル選択手段によって選択されたサムネイル映像の選択情報を前記マスタ再生端末及び前記複数のスレーブ再生端末の間で共有して、前記サムネイル映像の再生を行うことを特徴とする。
本発明は、前記マスタ再生端末は、所定の時間間隔で前記再生手段による前記符号化コンテンツデータの再生時間と、測定時のマスタ再生端末の時刻とを取得し、該再生時間と測定時刻とを前記複数のスレーブ再生端末に対して送信する再生時間送信手段を備え、前記スレーブ再生端末は、前記再生時間と測定時のマスタ再生端末の時刻とを受信し、前記スレーブ再生端末上の前記再生手段で再生されている前記符号化コンテンツデータの再生時間と測定時刻と、前記受信した再生時刻と測定時刻とを比較し、前記スレーブ再生端末上の前記再生手段で再生されている前記符号化コンテンツデータの再生が前記マスタ再生端末上の再生手段で再生されている前記符号化コンテンツデータの再生より遅れている場合に、遅れている時間分読み飛ばして再生し、前記スレーブ再生端末上の前記再生手段で再生されている前記符号化コンテンツデータの再生が前記マスタ再生端末上の再生手段で再生されている前記符号化コンテンツデータの再生より進んでいる場合に、進んでいる時間分再生を停止した後に再生を再開する再生同期手段を備えることを特徴とする。
本発明は、前記マスタ再生端末及び前記複数のスレーブ再生端末は、再生停止を操作する再生停止操作手段を備え、該再生停止操作手段によって再生停止の操作情報を前記マスタ再生端末及び前記複数のスレーブ再生端末の間で共有して、前記マスタ再生端末及び前記複数のスレーブ再生端末それぞれの前記再生手段による前記符号化コンテンツデータの再生を停止することを特徴とする。
本発明は、マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムにおける同期再生方法であって、前記マスタ再生端末が、配信サーバに対して前記符号化コンテンツデータの配信要求を送信し、前記配信サーバからユニキャストにより配信された前記符号化コンテンツデータを受信するデータ受信ステップと、前記マスタ再生端末が、前記配信要求した前記符号化コンテンツのURLを前記スレーブ再生端末に対して送信するURL送信ステップと、前記スレーブ再生端末が、前記マスタ再生端末から送信された前記符号化コンテンツのURLに基づき前記配信サーバからユニキャストにより配信された符号化コンテンツデータを受信するデータ受信ステップと、前記スレーブ再生端末が、前記符号化コンテンツデータを受信して、再生開始準備が完了した際に、前記マスタ再生端末に対して、再生開始準備完了情報を送信する準備完了情報送信ステップと、前記マスタ再生端末が、前記スレーブ端末から再生開始準備完了情報を受信した際に、前記符号化コンテンツデータの復号化開始時刻を算出して、前記スレーブ再生端末に対して復号化開始時刻情報を送信する時刻送信ステップと、前記マスタ再生端末が、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップと、前記スレーブ再生端末が、前記マスタ再生端末から復号化開始時刻情報を受信し、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップとを有することを特徴とする。
本発明は、マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムにおける前記マスタ再生端末上のコンピュータで動作する同期再生プログラムであって、前記配信サーバに対して前記符号化コンテンツデータの配信要求を送信し、前記配信サーバからユニキャストにより配信された前記符号化コンテンツデータを受信するデータ受信ステップと、前記配信要求した前記符号化コンテンツのURLを前記スレーブ再生端末に対して送信するURL送信ステップと、前記スレーブ端末から再生開始準備完了情報を受信した際に、前記符号化コンテンツデータの復号化開始時刻を算出して、前記スレーブ再生端末に対して復号化開始時刻情報を送信する時刻送信ステップと、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップとを前記コンピュータに行わせることを特徴とする。
本発明は、マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムにおける前記スレーブ再生端末上のコンピュータで動作する同期再生プログラムであって、前記マスタ再生端末から送信された前記符号化コンテンツのURLに基づき前記配信サーバからユニキャストにより配信された符号化コンテンツデータを受信するデータ受信ステップと、前記符号化コンテンツデータを受信して、再生開始準備が完了した際に、前記マスタ再生端末に対して、再生開始準備完了情報を送信する準備完了情報送信ステップと、前記マスタ再生端末から復号化開始時刻情報を受信し、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップとを前記コンピュータに行わせることを特徴とする。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ再生端末が配信サーバに符号化データを広範囲ネットワークを介して配信要求し、マスタ再生端末は配信サーバからユニキャストで配信された符号化データを受信する。受信した符号化データをマスタ再生端末復号部に1GOPのみ送り、次に、マスタ再生端末は、全スレーブ再生端末にマスタ再生端末が配信要求したコンテンツURLを限られた範囲内のネットワークを介して通知する。スレーブ再生端末は、マスタ再生端末から受け取ったコンテンツURLを広範囲ネットワークを介して配信サーバに送信し、スレーブ再生端末は配信サーバからユニキャストで配信された符号化データを受信する。受信した符号化データをスレーブ再生端末復号部に1GOPのみ送り、スレーブ再生端末はマスタ再生端末へ再生開始準備完了を範限られた範囲内のネットワークを介して通知する。さらに、マスタ再生端末は全てのスレーブ端末から再生開始準備完了を受け取ると、マスタ再生端末は復号化開始時刻(T)を算出し、復号化開始時刻(T)を全てのスレーブ再生端末へ限られた範囲内のネットワークを介して送信し、マスタ再生端末、全スレーブ再生端末の時計が復号化開始時刻(T)になった時、マスタ再生端末、全スレーブ再生端末が一斉に復号化を開始する。また、マスタ再生端末、全スレーブ再生端末の受信部から復号部へ符号化データの送信を開始し、マスタ再生端末と全スレーブ再生端末の映像が同期して再生する。さらに、マスタ再生端末が再生停止を実行し、マスタ再生端末は全スレーブ再生端末に再生停止を通知し、全スレーブ再生端末が再生停止する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ再生端末が全再生端末に識別子を付与し、全スレーブ再生端末に限られた範囲のネットワークを介して各再生端末の識別子を通知する。各再生端末の識別子をマスタ再生端末同期再生制御部が保持している。マスタ再生端末再生要求部にコンテンツURLを入力し、マスタ再生端末再生要求部は、入力されたコンテンツURLをマスタ再生端末同期再生制御部に送り、マスタ再生端末同期再生制御部は、マスタ再生端末再生要求部から受け取ったコンテンツURLをマスタ再生端末送信部へ送る。マスタ再生端末送信部は、マスタ再生端末同期再生制御部から受け取ったコンテンツURLを広範囲ネットワークを介して配信サーバへ送信する。マスタ再生端末受信部は、符号化データをユニキャストで広範囲ネットワークを介して配信サーバから受け取り、マスタ再生端末受信部は、配信サーバから受信した符号化データを1GOPのみをマスタ再生端末復号部へ送る。一方、マスタ再生端末受信部は、マスタ再生端末同期再生制御部へ受信開始を通知し、マスタ再生端末同期再生制御部は、マスタ再生端末が配信要求したコンテンツURLを全スレーブ再生端末へ通知する指示をマスタ再生端末送信部へ送り、マスタ再生端末送信部は全スレーブ再生端末へマスタ再生端末が配信サーバへ配信要求したコンテンツURLを限られた範囲内のネットワークを介して送信する。また、マスタ再生端末受信部は、限られた範囲内のネットワークを介してスレーブ再生端末から再生開始準備完了通知を受け取り、受け取った再生開始準備完了通知をマスタ再生端末同期再生制御部へ送り、マスタ再生端末同期再生制御部は、再生開始準備完了通知を受け取ると、マスタ再生端末の時計を確認し、その確認した時刻(X)にマスタ再生端末からスレーブ再生端末へ復号化開始指示が届くまでの最大の時間(Y)を加えた復号化開始時刻(T)を算出し、さらに、マスタ再生端末送信部へ復号化開始時刻(T)を全スレーブ再生端末へ送る指示を出し、マスタ再生端末送信部は全スレーブ再生端末へ復号化開始時刻(T)を限られた範囲内のネットワークを介して送信する。さらに、マスタ再生端末同期再生制御部は、マスタ再生端末の時計を確認し、復号化開始時刻(T)になった時、マスタ再生端末復号部へ符号化データの復号化開始を指示し、さらに、マスタ再生端末同期再生制御部は、マスタ再生端末受信部にマスタ再生端末復号部へ符号化データの送信開始を指示する。また、マスタ再生端末同期再生制御部は、各再生端末の識別子をマスタ再生端末復号部へ送る。さらに、前記マスタ再生端末の復号部は、ナビゲーション符号化映像データと、マスタ再生端末の選択領域情報を元にメイン符号化映像データを復号化し、さらに復号化したメイン映像から選択領域情報を元に切り出した選択領域映像とを前記マスタ再生端末の表示部へ送るとともに、復号化したナビゲーション映像から、前記マスタ再生端末の選択領域情報を元に、前記マスタ再生端末の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した前記マスタ再生端末の選択領域映像を前記マスタ再生端末の表示部に送る。さらに、前記マスタ再生端末復号部は、前記サムネイル映像に識別子を付与し、前記マスタ再生端末、前記選択領域情報、前記サムネイル映像とを対応付けし、この対応情報を保持する。マスタ再生端末表示部にナビゲーション映像、マスタ再生端末の選択領域映像、サムネイル化したマスタ再生端末の選択領域映像を再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、スレーブ再生端末は、マスタ再生端末から各再生端末の識別子を受け取り、受け取った各再生端末の識別子をスレーブ再生端末同期再生制御部が保持している。スレーブ再生端末受信部は、マスタ再生端末からマスタ再生端末が配信要求したコンテンツURLを限られた範囲内のネットワークを介して受け取り、スレーブ再生端末受信部は、受け取ったコンテンツURLをスレーブ再生端末同期再生制御部へ送り、スレーブ再生端末同期再生制御部は受け取ったコンテンツURLをスレーブ再生端末送信部へ送る。スレーブ再生端末送信部は、広範囲ネットワークを介して配信サーバへコンテンツURLを送信する。スレーブ再生端末の受信部は、符号化データをユニキャストで広範囲ネットワークを介して配信サーバから受け取り、スレーブ再生端末受信部は、配信サーバから受信した符号化データを1GOPのみをマスタ再生端末復号部へ送る。一方、スレーブ再生端末の受信部は、スレーブ再生端末同期再生制御部へ受信開始を通知し、スレーブ再生端末同期再生制御部は、受信開始を受け取ると、マスタ再生端末へ再生開始準備完了を通知する指示をスレーブ再生端末送信部へ送り、スレーブ再生端末送信部はマスタ再生端末へ再生開始準備完了を限られた範囲内のネットワークを介して通知する。また、スレーブ再生端末受信部は、マスタ再生端末から限られた範囲内のネットワークを介して復号化開始時刻(T)を受け取ると、スレーブ再生端末同期再生制御部へ復号化開始時刻(T)を送り、スレーブ再生端末同期再生制御部は、復号化開始時刻(T)を受け取ると、スレーブ再生端末の時計を確認し、復号化開始時刻(T)になった時、スレーブ再生端末復号部へ符号化データの復号化開始を指示し、さらに、スレーブ再生端末同期再生制御部は、スレーブ再生端末受信部にスレーブ再生端末復号部へ符号化データの送信開始を指示する。また、スレーブ再生端末同期再生制御部は、各再生端末の識別子をスレーブ再生端末復号部へ送る。さらに、前記スレーブ再生端末の復号部は、ナビゲーション符号化映像データと、スレーブ再生端末の選択領域情報を元にメイン符号化映像データを復号化し、さらに復号化したメイン映像から選択領域情報を元に切り出した選択領域映像とを前記マスタ再生端末の表示部へ送るとともに、復号化したナビゲーション映像から、前記スレーブ再生端末の選択領域情報を元に、前記スレーブ再生端末の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した前記スレーブ再生端末の選択領域映像を前記スレーブ再生端末の表示部に送る。さらに、前記スレーブ再生端末復号部は、前記サムネイル映像に識別子を付与し、前記スレーブ再生端末、前記選択領域情報、前記サムネイル映像とを対応付けし、この対応情報を保持する。前記スレーブ再生端末表示部にナビゲーション映像、スレーブ再生端末の選択領域映像、サムネイル化した前記スレーブ再生端末の選択領域映像を再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、スレーブ再生端末は、マスタ再生端末から各再生端末の識別子を受け取り、受け取った各再生端末の識別子をスレーブ再生端末同期再生制御部が保持している。マスタ再生端末同期再生制御部は、マスタ再生端末再生要求部、または、マスタ再生端末復号部のいずれからかマスタ再生端末の選択領域情報を受け取り、受け取った選択領域情報とマスタ再生端末の識別子とを含めた再生情報をマスタ再生端末送信部に全スレーブ端末へ送る指示を出し、マスタ再生端末送信部は、全スレーブ再生端末へマスタ再生端末の再生情報を限られた範囲内のネットワークを介して送信する。スレーブ再生端末受信部は限られた範囲内のネットワークを介してマスタ再生端末からマスタ再生端末の再生情報を受け取り、スレーブ再生端末受信部は、受け取ったマスタ再生端末の再生情報をスレーブ再生端末同期再生制御部へ送り、スレーブ再生端末同期再生制御部は、受け取ったマスタ再生端末の再生情報をスレーブ再生端末復号部に送る。スレーブ再生端末復号部は、復号化したスレーブ再生端末のナビゲーション映像から受け取ったマスタ再生端末の選択領域情報を元に、マスタ再生端末の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末のサムネイル選択領域映像をスレーブ再生端末表示部へ送る。さらに、前記スレーブ再生端末復号部は、前記サムネイル映像に識別子を付与し、前記マスタ再生端末、前記選択領域情報、前記サムネイル映像とを対応付けし、この対応情報を保持する。スレーブ再生端末表示部は、スレーブ再生端末復号部から受け取ったマスタ再生端末のサムネイル化した選択領域映像をスレーブ再生端末表示部でストリーム再生する。スレーブ再生端末が、マスタ再生端末の選択領域映像をサムネイル映像でストリーム再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ再生端末同期再生制御部は、各再生端末の識別子を保持している。また、スレーブ再生端末は、マスタ再生端末から各再生端末の識別子を受け取り、受け取った各再生端末の識別子をスレーブ再生端末同期再生制御部が保持している。スレーブ再生端末同期再生制御部は、スレーブ再生端末再生要求部、または、スレーブ再生端末復号部のいずれからかスレーブ再生端末の選択領域情報を受け取り、受け取った選択領域情報とスレーブ再生端末の識別子とをを含めた再生情報をスレーブ再生端末送信部にマスタ再生端末、他スレーブ再生端末へ送る指示を出し、スレーブ再生端末送信部はマスタ再生端末、他スレーブ再生端末へ限られた範囲のネットワークを介してスレーブ再生端末の再生情報を送信する。マスタ再生端末受信部は、限られた範囲のネットワークを介してスレーブ再生端末からスレーブ再生端末の再生情報を受け取り、マスタ再生端末受信部は、受け取ったスレーブ再生端末の再生情報をマスタ再生端末同期再生制御部へ送り、マスタ再生端末同期再生制御部は、受け取ったスレーブ再生端末の再生情報をマスタ再生端末復号部に送る。マスタ再生端末復号部は、受け取ったスレーブ再生端末の選択領域情報を元に、復号化したマスタ再生端末のナビゲーション映像からスレーブ再生端末の選択領域映像をサムネイル化して切り出し、切り出したスレーブ再生端末のサムネイル化した選択領域映像をマスタ再生端末表示部へ送る。さらに、前記マスタ再生端末復号部は、前記サムネイル映像に識別子を付与し、前記スレーブ再生端末、前記選択領域情報、前記サムネイル映像とを対応付けし、この対応情報を保持する。マスタ再生端末表示部は、マスタ再生端末復号部から受け取ったスレーブ再生端末のサムネイル化した選択領域映像をマスタ再生端末表示部でストリーム再生する。また、他スレーブ再生端末受信部は限られた範囲のネットワークを介してスレーブ再生端末からスレーブ再生端末の再生情報を受け取り、他スレーブ再生端末受信部は、受け取ったスレーブ再生端末の再生情報を他スレーブ再生端末同期再生制御部へ送り、他スレーブ再生端末同期再生制御部は、受け取ったスレーブ再生端末の再生情報を他スレーブ再生端末復号部に送る。他スレーブ再生端末復号部は、受け取ったスレーブ再生端末の選択領域情報を元に、復号化した他スレーブ再生端末のナビゲーション映像からスレーブ再生端末の選択領域映像をサムネイル化して切り出し、切り出したスレーブ再生端末のサムネイル化した選択領域映像を他スレーブ再生端末表示部へ送る。さらに、前記他スレーブ再生端末復号部は、前記サムネイル映像に識別子を付与し、前記スレーブ再生端末、前記選択領域情報、前記サムネイル映像とを対応付けし、この対応情報を保持する。他スレーブ再生端末表示部は、他スレーブ再生端末復号部から受け取ったスレーブ再生端末のサムネイル化した選択領域映像を他スレーブ再生端末表示部でストリーム再生する。マスタ再生端末、他スレーブ再生端末が、スレーブ再生端末の選択領域映像をサムネイル映像でストリーム再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ再生端末同期再生制御部は、各再生端末の識別子を保持している。また、スレーブ再生端末は、マスタ再生端末から各再生端末の識別子を受け取り、受け取った各再生端末の識別子をスレーブ再生端末同期再生制御部が保持している。マスタ(スレーブ)再生端末の再生要求部は、ユーザが、マスタ(スレーブ)再生端末の表示部に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報をマスタ(スレーブ)再生端末の同期再生制御部へ送る。マスタ(スレーブ)再生端末の同期再生制御部は、マスタ(スレーブ)再生端末の再生要求部から選択領域情報を受け取り、受け取った選択領域情報をマスタ(スレーブ)再生端末の復号部へ送る。また、マスタ(スレーブ)再生端末の同期再生制御部は、マスタ(スレーブ)再生端末の再生要求部から受け取った選択領域情報にマスタ再生端末IDを含めた再生情報(選択領域情報と再生端末ID)をスレーブ(マスタ)再生端末へ送る指示を出す。マスタ(スレーブ)再生端末の復号部は、マスタ(スレーブ)再生端末の同期再生制御部から選択領域情報を受け取り、選択領域情報を元にメイン符号化映像データを復号化し、さらに復号化したメイン映像から選択領域情報を元に切り出した選択領域映像を前記マスタ再生端末の表示部へ送る。また、マスタ(スレーブ)再生端末の復号部は、並列して復号化したナビゲーション映像から、受け取った選択領域情報を元に、選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した選択領域映像をマスタ(スレーブ)再生端末の表示部に送る。この時、マスタ(スレーブ)再生端末の復号部は、サムネイル映像に識別子を付与し、前記再生端末、前記選択領域情報、前記サムネイル映像とを対応付けし、この対応情報を保持する。マスタ(スレーブ)再生端末の表示部は、マスタ(スレーブ)再生端末の復号部からナビゲーション映像、選択領域映像、サムネイル化した選択領域映像を受け取り、受け取ったナビゲーション映像、選択領域映像、サムネイル化した選択領域映像をマスタ(スレーブ)再生端末の表示部で再生する。選択した領域を同期して再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ再生端末同期再生制御部は、各再生端末の識別子を保持している。また、スレーブ再生端末は、マスタ再生端末から各再生端末の識別子を受け取り、受け取った各再生端末の識別子をスレーブ再生端末同期再生制御部が保持している。マスタ(スレーブ)再生端末再生要求部は、どのサムネイル映像を選択したかのサムネイル選択情報をマスタ(スレーブ)再生端末同期再生制御部へ送る。マスタ(スレーブ)再生端末同期再生制御部は、マスタ(スレーブ)再生端末再生要求部からサムネイル選択情報を受け取り、受け取ったサムネイル選択情報をマスタ(スレーブ)再生端末復号部へ送る。マスタ(スレーブ)再生端末復号部は、マスタ(スレーブ)再生端末同期再生制御部からサムネイル選択情報を受け取り、マスタ(スレーブ)再生端末復号部は、保持している対応情報とサムネイル選択情報を対照し、サムネイル情報と一致した選択領域情報を元にメイン符号化映像データを復号化する。さらに復号化したメイン映像から選択領域情報を元に切り出した選択領域映像と、メイン映像と並列して復号化したナビゲーション映像から、前記選択領域情報を元に、選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した選択領域映像をマスタ(スレーブ)再生端末表示部に送る。また、マスタ(スレーブ)再生端末復号部は、サムネイル映像に識別子を付与し、前記マスタ(スレーブ)再生端末、新しい前記選択領域情報、サムネイル映像を対応付けし、この対応情報を保持する。また、マスタ(スレーブ)再生端末復号部は、新しい選択領域情報を他再生端末送信用にマスタ(スレーブ)再生端末同期再生制御部へ送る。マスタ(スレーブ)再生端末の同期再生制御部は、マスタ(スレーブ)再生端末の復号部から受け取った選択領域情報にマスタ再生端末IDを含めた再生情報(選択領域情報と再生端末ID)をスレーブ(マスタ)再生端末へ送る指示を出す。マスタ(スレーブ)再生端末表示部は、マスタ(スレーブ)再生端末復号部からナビゲーション映像、新しい選択領域映像、新しいサムネイル化した選択領域映像を受け取り、受け取ったナビゲーション映像、選択領域映像、サムネイル化した選択領域映像をマスタ(スレーブ)再生端末表示部で再生する。選択したサムネイル映像を選択領域映像(メイン映像)で再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ(スレーブ)再生端末同期再生制御部は、電波時計を確認し、復号化開始時刻(T)になった時、マスタ(スレーブ)再生端末復号部へ復号化開始を送る。さらに、マスタ(スレーブ)再生端末同期再生制御部は、マスタ(スレーブ)再生端末受信部へ、マスタ(スレーブ)再生端末復号部への符号化データの送信開始を送る。マスタ(スレーブ)再生端末復号部は、マスタ(スレーブ)再生端末同期再生制御部から復号化開始を受け取り、ナビゲーション符号化映像データ、選択領域情報を基にメイン符号化映像データの復号化を開始する。マスタ(スレーブ)再生端末復復号部は、指定した時間毎に復号化した映像の再生時間を確認し、確認した時の電波時計時間とその時の映像の再生時間をマスタ(スレーブ)再生端末復同期再生制御部へ送る。マスタ再生端末の場合、マスタ再生端末同期再生制御部は、マスタ再生端末復号部から確認した時の電波時計の時間と映像の再生時間を受け取り、マスタ再生端末送信部へ送る。また、スレーブ再生端末の場合、スレーブ再生端末同期再生制御部は、スレーブ再生端末復号部から確認した時の電波時計の時間と映像の再生時間を受け取り、これを保持する。マスタ再生端末送信部は、マスタ再生端末同期再生制御部から確認した時の電波時計の時間と映像の再生時間を受け取り、限られた範囲のネットワークを介して全スレーブ再生端末へ送信する。全スレーブ再生端末受信部は、マスタ再生端末から限られた範囲のネットワークを介して確認した時の電波時計の時間とその時の映像の再生時間を受け取り、スレーブ再生端末同期再生制御部へ送る。全スレーブ再生端末同期再生制御部は、スレーブ再生端末受信部からマスタ再生端末の確認した時の電波時計の時間と映像の再生時間を受け取り、マスタ端末とスレーブ再生端末の確認した時の電波時計の時間から映像の再生時間を比較し、その結果をスレーブ再生端末復号部へ送る。スレーブ再生端末復号部は、比較結果を受け取り、受け取った比較結果がマスタ再生端末と再生時間が同じならば、そのまま復号化を続ける。また、比較結果がマスタ再生端末より再生遅れの場合、遅れている時間分ジャンプして復号化する。または、比較結果がマスタ再生端末より再生が進んでいる場合、先に進んでいる時間分停止し、その後、復号化を再開する。スレーブ再生端末表示部は以上の結果内容に応じて、ナビゲーション映像、選択領域映像、サムネイル化した選択領域映像を再生する。マスタ再生端末、スレーブ再生端末が同期してストリーム再生する。
本発明は、複数の再生端末と配信サーバとが広範囲ネットワークを介して接続され、前記配信サーバは、ユニキャストで符号化データを前記再生端末へ配信し、前記再生端末は、マスタ再生端末とスレーブ再生端末に分類され、前記マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークを介して接続され、前記スレーブ再生端末は、前記マスタ再生端末の支配下に置かれて同期再生を行う同期再生方法であって、マスタ再生端末再生要求部に再生停止を入力し、マスタ再生端末再生要求部は、入力された再生停止をマスタ再生端末同期再生制御部に送り、マスタ再生端末同期再生制御部は、マスタ再生端末受信部へ符号化データを復号部へ送信の停止を出す。一方、マスタ再生端末同期再生制御部は、再生停止をマスタ再生端末復号部へ送り、マスタ再生端末復号部は再生停止を受け取ると復号化を停止し、さらに、マスタ再生端末復号部は、マスタ再生端末表示部に再生停止を送り、マスタ再生端末表示部は、スレーブ再生端末復号部から再生停止を受け取るとストリーム再生を停止する。一方、マスタ再生端末同期再生制御部は、マスタ再生端末送信部に全スレーブ再生端末へ再生停止を送る指示と配信サーバへ配信停止指示を出し、マスタ再生端末送信部は、全スレーブ再生端末へ限られた範囲のネットワークを介して再生停止を送信し、また、マスタ再生端末送信部は、配信サーバへ広範囲ネットワークを介して符号化データ配信停止を送信し、また、スレーブ再生端末受信部は、マスタ再生端末から限られた範囲のネットワークを介して再生停止を受け取り、スレーブ再生端末受信部は、受け取った再生停止をスレーブ再生端末同期再生制御部へ送り、スレーブ再生端末同期再生制御部は、スレーブ再生端末受信部へ符号化データを復号部へ送信の停止を出す。一方、スレーブ再生端末同期再生制御部は、再生停止をスレーブ再生端末復号部へ送り、スレーブ再生端末復号部は、再生停止を受け取ると復号化を停止し、さらに、スレーブ再生端末復号部はスレーブ再生端末表示部に再生停止を送り、スレーブ再生端末表示部は、スレーブ再生端末復号部から再生停止を受け取るとストリーム再生を停止する。一方、スレーブ再生端末同期再生制御部は、スレーブ再生端末送信部に配信サーバへ符号化データ配信停止を送信する指示を出し、スレーブ再生端末送信部は、配信サーバへ符号化データ配信停止を広範囲ネットワークを介して送信する。
本発明によれば、ユニキャストのみをサポートする配信サーバにおいても、複数端末間で同一映像を同期して視聴することができる。また、他端末がどこの領域を視聴しているか知ることができるとともに、他端末の再生領域と同じ領域を再生することができる。また、1GOP(Group Of Picture)単位で復号するため、再生のずれが発生しにくく、限定範囲のネットワーク環境により、再生端末間再生制御が容易になるという効果が得られる。
本発明の一実施形態の全体構成を示すブロック図である。 図1に示す表示部46、56の選択領域情報を示す説明図である。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 図1に示す装置の処理動作を示すフローチャートである。 各再生端末の識別子情報の構成を示す説明図である。 端末ID、選択領域情報、サムネイルIDとを対応付けした対応情報の構成を示す説明図である。
以下、図面を参照して、本発明の一実施形態による情報再生システムを説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号10は、日本に2箇所ある電波送信所の中の一の電波送信所(標準周波数局)であり、10万年に1秒の誤差といわれるセシウム原子電波時計をもとに標準電波を送信する。符号20は再生する情報の配信を行う配信サーバである。符号30はインターネット等の広域ネットワーク(以下、ネットワークA30と称する)である。符号40、50、Nは配信された情報の再生を行う再生端末である。再生端末は、マスタ再生端末40と、スレーブ再生端末(50,N)とに論理的に分類されており、マスタ再生端末40は1台で、スレーブ再生端末(50,N)は複数の場合もある。符号80は家庭LAN(Local Area Network)や社内LANの様な特定の建物内、敷地内で使用する限られた範囲内のネットワーク(以下、ネットワークB80と称する)である。配信サーバ20と再生端末(40,50,N)は、ネットワークA30を介して接続されている。符号60は、限定範囲ネットワークである。
配信サーバ20は、受信部21と、再生データ保存部22と、送信部23とで構成される。受信部21は、ネットワークA30を介して、再生端末(40,50,N)から要求を受信し、受信した要求を再生データ保存部22に通知する。再生データ保存部22は、受信部21からの要求を受け取り、受信部21から受け取った、要求された符号化データを再生データ保存部22から読み出し、送信部23に送る。符号化データには、見たい領域を全体または部分的に自由に選択するためのナビゲーション符号化映像データ、選択した領域を再生するためのメイン符号化映像データ、音声符号化データ(音声がない場合もある)の3つがあり、これらは、1つの符号化データとして再生データ保存部22に蓄積されている。なお、メイン符号化映像データは、ナビゲーション符号化映像データよりも解像度が高い映像データである。送信部23は、再生データ保存部22から読み出したデータを受け取り、ユニキャストでネットワークA30を介して再生端末(40,50,N)へ配信する。
マスタ再生端末40は、スレーブ再生端末(50,N)を支配し、スレーブ再生端末(50,N)との間との同期再生制御を行う。マスタ再生端末40は、再生開始、停止を行い、スレーブ再生端末(50,N)は、これに同期してマスタ再生端末40の動作に従う。ここでは、マスタ再生端末40、スレーブ再生端末(50,N)ともにジャンプ再生は行わないものとする。また、マスタ再生端末40、スレーブ再生端末(50,N)とも、映像全体を再生しているナビゲーション映像から見たい領域を選択することができる。
マスタ再生端末40、スレーブ再生端末(50,N)は、自再生端末の選択領域情報をネットワークB80を介してマルチキャストで他再生端末へ送信する。マスタ再生端末40、スレーブ再生端末(50,N)は、他の再生端末の選択領域映像を再生する。マスタ再生端末40、スレーブ再生端末(50,N)の電波時計(47,57)は、電波送信所10から発信される標準電波を自動受信して各再生端末の日時修正を行い、各端末は復号化開始時刻(T)になった時、一斉に復号化開始を行う。なお、自再生端末の選択領域情報とは、ナビゲーション映像の中から全体または部分的に選択した領域であるが、この自再生端末の選択領域情報については後述する。
また、復号化開始時刻(T)は、全てのスレーブ再生端末(50,N)から再生開始準備完了通知受領直後のマスタ再生端末40の電波時計時刻(T1)と、マスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)とを加算することにより得られる時刻である。マスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)は、予め設定されている。この設定方法としては、マスタ再生端末40からスレーブ再生端末(50,N)へテストパケットを送信し、各スレーブ再生端末(50,N)からマスタ再生端末40へ回答パケットが戻る時間を計測して設定すればよい。
マスタ再生端末40は、再生要求部41と、同期再生制御部42と、送信部43と、受信部44と、復号部45と、表示部46と、電波時計47とで構成される。マスタ再生端末40は、全スレーブ再生端末(50,N)とネットワークB80を介してTCP/IP接続を行う。これは、コンテンツURL、復号化開始時刻(T)、再生停止を送信、全スレーブ再生端末(50,N)からは、再生準備完了通知、受け取り返信を受信するために用いる。再生情報(選択領域情報と再生端末ID)、確認した再生時間はマルチキャストでスレーブ再生端末(50,N)へ送信する。マスタ再生端末40は、TCP/IP接続後、全再生端末の識別子(ID:identifier)を付与し、全スレーブ再生端末(50,N)に各再生端末の識別子(図16参照)を通知する。
ユーザは、マスタ再生端末40の再生要求部41から、コンテンツURLを入力する。マスタ再生端末40の再生要求部41は、入力されたコンテンツURLをマスタ再生端末40の同期再生制御部42へ送る。コンテンツURLは、ネットワーク上に存在する符号化データの場所を指している。また、マスタ再生端末40の再生要求部41は、ユーザが、表示部46に再生中のナビゲーション映像から選択した領域に関する選択領域情報をマスタ再生端末40の同期再生制御部42へ送る。選択領域情報については後述する。また、マスタ再生端末40の再生要求部41は、ユーザが、表示部46に再生中の自・他端末サムネイル映像の中からどのサムネイルを選んだかのサムネイル選択情報をマスタ再生端末40の同期再生制御部42へ送る。また、マスタ再生端末40の再生要求部41は、ユーザが実行した再生・停止を、マスタ再生端末40の同期再生制御部42へ送る。
マスタ再生端末40の同期再生制御部42は、再生要求部41と、受信部44と、復号部45からの要求制御と、受信部44と、復号部45と、送信部43への要求制御を行う。マスタ再生端末40の同期再生制御部42は、全スレーブ再生端末のIPアドレス一覧と、各再生端末IDを保持している。なお、同期再生制御部42の動作については後述する。
マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42からの要求を受け取り、要求内容によって配信サーバ20、またはスレーブ再生端末(50,N)へ要求を送信する。配信サーバ20へは、ネットワークA30を介して、符号化データ配信要求、配信停止要求を送信する。また、全スレーブ再生端末(50,N)へは、ネットワークB80を介して、TCP/IPで少なくともコンテンツURL、復号化開始時刻(T)、再生停止を送信する。再生情報(選択領域情報と再生端末ID)、確認した再生時間は、ネットワークB80を介してマルチキャストでスレーブ再生端末へ送信する。
マスタ再生端末40の受信部44は、配信サーバ20と、スレーブ再生端末(50,N)からのデータを受信し、受信したデータが符号化データの場合はマスタ再生端末40の復号部45へ送り、それ以外はマスタ再生端末40の同期再生制御部42へ送る。
マスタ再生端末40の復号部45は、マスタ再生端末40の受信部44から符号化データを受け取り、受け取った符号化データのナビゲーション符号化映像データとメイン符号化映像データ、音声符号化データ(音声がない場合もある)をそれぞれ1GOP(Group Of Picture)単位で並列して復号化し、復号化したナビゲーション映像と、復号化したメイン映像から選択領域情報を元に切り出した選択領域映像、音声をマスタ再生端末40の表示部46へ送る。なお、1GOPは、一般的に15フレーム、0.5秒であるが、必ずしもその必要はない。マスタ再生端末40の再生開始時の選択領域情報は、予め設定した値を用いる。
また、マスタ再生端末40の復号部45は、再生開始時のマスタ再生端末40のサムネイル映像として、復号化したナビゲーション映像から、予め設定した選択領域情報を元に、マスタ再生端末40の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末の選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。対応情報には、少なくとも、端末ID、選択領域情報、サムネイルIDとが対応付けられて保存される。
また、マスタ再生端末40の復号部45は、スレーブ再生端末(50,N)の再生情報をマスタ再生端末40の同期再生制御部42から受け取り、復号化したナビゲーション映像から、受け取ったスレーブ再生端末(50,N)の再生情報の選択領域情報を元に、スレーブ再生端末(50,N)の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したスレーブ再生端末の選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、とサムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。
また、マスタ再生端末40の復号部45は、どのサムネイルを選んだかのサムネイル選択情報をマスタ再生端末40の同期再生制御部42から受け取り、対応情報とサムネイル選択情報が一致する選択領域情報を基にメイン符号化映像データを復号化し、復号化したメイン映像から選択領域映像を切り出し、この選択領域映像をマスタ再生端末40の表示部46へ送る。これにより、選択したサムネイル映像をメイン映像で再生できる。この時、マスタ再生端末40の復号部45は、対応情報のマスタ再生端末の選択領域情報を更新する。
マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声が無い場合もある)を受け取り、ストリーム再生を行う。マスタ再生端末40の電波時計47は、電波送信所10から発信される標準電波を自動受信してマスタ再生端末40の電波時計の日時修正を行う。この日時を用いて復号化開始時刻(T)になった時、各端末ともに一斉に復号化を開始する。
スレーブ再生端末(50,N)は、再生要求部51と、同期再生制御部52と、送信部53と、受信部54と、復号部55と、表示部56と、電波時計57とで構成される。再生要求部51は、ユーザが表示部56に再生中のナビゲーション映像から選択した領域に関する選択領域情報を、スレーブ再生端末(50,N)の同期再生制御部52へ送る。また、再生要求部51は、ユーザが表示部56に再生中の自・他端末サムネイル映像の中からどのサムネイルを選んだかのサムネイル選択情報を、スレーブ再生端末(50,N)の同期再生制御部52へ送る。同期再生制御部52は、再生要求部51と、受信部54と、復号部55からの要求制御と、受信部54と、復号部55と、送信部53への要求制御を行う。なお、同期再生制御52の動作については後述する。
スレーブ再生端末(50,N)の送信部53は、スレーブ再生端末(50,N)の同期再生制御部52からの要求を受け取り、要求内容によって配信サーバ20、マスタ再生端末40、他スレーブ再生端末へ要求を送信する。配信サーバ20へは、ネットワークA30を介して、符号化データ配信要求、配信停止要求を送信する。マスタ再生端末40へは、ネットワークB80を介してTCP/IPで再生準備完了通知、マスタ再生端末からの情報受け取り返信を送信する。再生情報(選択領域情報と再生端末ID)は、ネットワークB80を介してマルチキャストでマスタ再生端末、他スレーブ再生端末へ送信する。
スレーブ再生端末(50,N)の受信部54は、配信サーバ20、マスタ再生端末40、他スレーブ再生端末からのデータを受信し、受信したデータが符号化データの場合はスレーブ再生端末(50,N)の復号部55へ送り、それ以外はスレーブ再生端末(50,N)の同期再生制御部52へ送る。スレーブ再生端末(50,N)の復号部55は、スレーブ再生端末(50,N)の受信部54から符号化データを受け取り、受け取った符号化データのナビゲーション符号化映像データとメイン符号化映像データ、音声符号化データ(音声がない場合もある)をそれぞれ1GOP単位で並列して復号化し、復号化したナビゲーション映像、復号化したメイン映像から選択領域情報を元に切り出した選択領域映像、音声をスレーブ再生端末(50,N)の表示部56へ送る。スレーブ再生端末の再生開始時の選択領域情報は、予め設定した値を用いる。
また、スレーブ再生端末(50,N)の復号部55は、再生開始時のスレーブ再生端末(50,N)のサムネイル映像として、復号化したナビゲーション映像から、予め設定した選択領域情報を元に、スレーブ再生端末(50,N)の選択領域映像を切り出し、さらにサムネイル化して、サムネイル化したスレーブ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。対応情報には、少なくとも、端末ID、選択領域情報、サムネイルIDとが対応付けられて保存される。
また、スレーブ再生端末(50,N)の復号部55は、マスタ再生端末40、他スレーブ再生端末の(選択領域情報と再生端末ID)をスレーブ再生端末(50,N)の同期再生制御部52から受け取り、復号化したナビゲーション映像から、受け取ったマスタ再生端末40、他スレーブ再生端末(50,N)の再生情報の選択領域情報を元に、マスタ再生端末40、他スレーブ再生端末の選択領域映像をそれぞれ切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末、他スレーブ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、端末ID、選択領域情報、サムネイルIDとを対応付けし、この対応情報(図17参照)を保持する。
また、スレーブ再生端末(50,N)の復号部55は、どのサムネイルを選んだかのサムネイル選択情報をスレーブ再生端末(50,N)の同期再生制御部52から受け取り、対応情報とサムネイル選択情報が一致する選択領域情報を基にメイン符号化映像データを復号化し、復号化したメイン映像から選択領域映像を切り出し、この選択領域映像をマスタ再生端末50の表示部56へ送る。これにより、選択したサムネイル映像をメイン映像で再生できる。この時、スレーブ再生端末50の復号部55は、対応情報のスレーブ再生端末(50,N)の選択領域情報を更新する。
スレーブ再生端末(50,N)の表示部56は、スレーブ再生端末(50,N)の復号部55から復号したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声が無い場合もある)を受け取りストリーム再生を行う。スレーブ再生端末(50,N)の電波時計57は、電波送信所10から発信される標準電波を自動受信してスレーブ再生端末の電波時計の日時修正を行う。この日時を用いて復号化開始時刻(T)になった時、各端末ともに一斉に復号化を開始する。
次に、図2を参照して、図1に示す再生端末(40,50,N)の表示部(46,56)に表示される表示内容について説明する。マスタ再生端末40およびスレーブ再生端末(50,N)の表示部(46,56)には、自再生端末のナビゲーション映像、ナビゲーション映像から、全体または部分的に選択した領域に対応するメイン映像の選択領域映像と、自・他端末のサムネイル化した選択領域映像(サムネイル映像)が再生される。ナビゲーション映像は、映像の全体をストリーム再生する。図2において破線で示す破線の選択領域は、ナビゲーション映像の中から部分的に選択した領域を示しており、選択領域情報は、左上頂点座標0からの距離(X、Y)と、幅、高さで表される。自端末メイン映像(選択領域映像)は、破線で囲まれた選択領域の解像度の高い映像であり、表示部(46,56)のナビゲーション映像とは別の場所でストリーム再生される映像である。自・他端末のサムネイル化した選択領域映像(サムネイル映像)は、自・他端末の選択領域映像をサムネイル画像(多数の画像を一覧表示するために縮小された画像)でストリーム再生される映像である。
次に、図1を参照して、マスタ再生端末40の同期再生制御部42の動作を説明する。
<再生要求部41からの要求>
まず、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から入力されたコンテンツURLを受け取り、受け取ったコンテンツURLをマスタ再生端末40の送信部43に送る。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から、ユーザが再生中のナビゲーション映像から全体または部分的に選択した選択領域情報を受け取り、この選択領域情報をマスタ再生端末40の復号部45へ送る。また、同期再生制御部42は、再生要求部41から択領域情報を受け取り、マスタ再生端末40の送信部43に再生情報(選択領域情報と再生端末ID)をスレーブ再生端末へ送る指示を出す。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から、ユーザが表示部46に再生中の自・他端末サムネイル映像の中から選んだサムネイル選択情報を受け取り、マスタ再生端末40の復号部45へ送る。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から再生停止を受け取ると、再生停止を、マスタ再生端末40の受信部44と、復号部45へ送り、さらに、マスタ再生端末40の送信部43に全スレーブ再生端末(50,N)へ再生停止を送信する指示と、配信サーバ20へ符号化データの配信停止を送信する指示を出す。
<受信部44からの要求>
まず、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から配信要求した符号化データの受信開始通知を受け取ると、マスタ再生端末40の送信部43に、再生要求部41から入力されたコンテンツURLと同じコンテンツURLをTCP/IP接続した全スレーブ再生端末(50,N)へ通知する指示を送る。また、各再生端末IDを復号部45へ送る。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から全てのスレーブ再生端末(50,N)から再生開始準備完了を受け取ると、電波時計47の時刻を確認し、その確認した時刻(T1)にマスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)を加えた復号化開始時刻(T=T1+T2)を算出し、さらに、マスタ再生端末40の送信部43へこの復号化開始時刻(T)を全スレーブ再生端末(50,N)へ送る指示を出す。
さらに、電波時計47を確認し、復号化開始時刻(T)になった時、マスタ再生端末40の復号部45へナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)を1GOP単位で並列して復号化を開始する指示を送る。一方、マスタ再生端末40の受信部44へ符号化データをマスタ再生端末40の復号部45へ送信開始の指示を出す。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44からスレーブ再生端末の再生情報(選択領域情報と再生端末ID)を受け取り、この再生情報をマスタ再生端末40の復号部45へ送る。
<復号部45からの要求>
マスタ再生端末40の同期再生制御部42は、選択したマスタ再生端末40の新しい選択領域情報を復号部45から受け取ると、マスタ再生端末40の送信部43にマスタ再生端末の再生情報(選択領域情報と再生端末ID)を全スレーブ再生端末(50,N)へ送る指示を出す。マスタ再生端末40の同期再生制御部42は、指定した時間毎に確認した時の電波時計時間とその時の復号化したメイン映像の再生時間を復号部から受け取り、マスタ再生端末送信部へ送る。
次に、図1を参照して、スレーブ再生端末(50,N)の同期再生制御部52の動作を説明する。
<再生要求部51からの要求>
まず、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の再生要求部51から、ユーザが再生中のナビゲーション映像から全体または部分的に選択した選択領域情報を受け取り、この選択領域情報をスレーブ再生端末(50,N)の復号部45へ送る。同期再生制御部52は、再生要求部51から受け取った選択領域情報を、スレーブ再生端末(50,N)の送信部53に再生情報(選択領域情報と再生端末ID)をマスタ再生端末、他スレーブ再生端末へ送る指示を出す。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の再生要求部51から、ユーザが再生中の自・他端末サムネイル映像の中から選んだサムネイル選択情報を受け取り、このサムネイル選択情報をスレーブ再生端末(50,N)の復号部55へ送る。
<受信部54からの要求>
まず、スレーブ再生端末(50,N)の同期再生制御部52は、マスタ再生端末40から送信されたコンテンツURLをスレーブ再生端末(50,N)の受信部54から受け取り、受け取ったコンテンツURLをスレーブ再生端末(50,N)の送信部53に送る。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から配信要求した符号化データの受信開始通知を受け取り、再生開始準備完了をスレーブ再生端末(50,N)の送信部53へ送る。また、各再生端末IDを復号部55へ送る。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から復号化開始時刻(T)を受け取ると、電波時計57を確認し、復号化開始時刻(T)になった時、スレーブ再生端末(50,N)の復号部55へナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)を1GOP単位で並列して復号化を開始する指示を送る。一方、スレーブ再生端末(50,N)の受信部54へ、符号化データをスレーブ再生端末(50,N)の復号部55へ送信開始の指示を出す。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末50(50,N)の受信部54からマスタ再生端末40、他のスレーブ再生端末の再生情報(選択領域情報と再生端末ID)を受け取り、この再生情報をスレーブ再生端末(50,N)の復号部55へ送る。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54からマスタ再生端末の確認した時の電波時計の時間とその時のメイン映像の再生時間を受け取り、マスタ端末とスレーブ再生端末の確認した時の電波時計の時間からメイン映像の再生時間を比較し、その結果をスレーブ再生端末復号部へ送る。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から再生停止を受け取ると、再生停止を、スレーブ再生端末(50,N)の受信部54と、復号部55へ送り、さらに、スレーブ再生端末(50,N)の送信部53に配信サーバ20へ符号化データの配信停止を送る。
<復号部55からの要求>
スレーブ再生端末(50,N)の同期再生制御部52は、選択したスレーブ再生端末(50,N)の新しい選択領域情報を復号部55から受け取り、スレーブ再生端末(50,N)の送信部53にスレーブ再生端末(50,N)の再生情報(選択領域情報と再生端末ID)をマスタ再生端末、他スレーブ再生端末へ送る指示を出す。スレーブ再生端末(50,N)の同期再生制御部52は、確認した時の電波時計時間とその時のメイン映像の再生時間を復号部55から受け取り、これを保持する。
次に、図3〜図15を参照して、図1に示す同期再生システムの動作を説明する。始めに、図3〜図5を参照して、複数の再生端末(40,50,N)で同期して同一の映像を再生する処理動作を説明する。図3〜図5は、同期再生システムにおいて、複数の再生端末(40,50,N)で同期して同一の映像を再生する処理動作を示すフローチャートである。
まず、マスタ再生端末40は、マスタ再生端末40の同期再生制御部42が保持しているスレーブ再生端末IPアドレス一覧表にあるスレーブ再生端末とネットワークB80を介してTCP/IP(Transmission Control Protocol/Internet Protocol)接続を行う。また、マスタ再生端末40は、TCP/IP接続後、全再生端末にID(identifier)を付与し、これをマスタ再生端末40の同期再生制御部42に保持する。また、マスタ再生端末40は、ネットワークB80を介してTCP/IPで全スレーブ再生端末(50,N)に各再生端末IDを通知する。各同期再生制御部は、各再生端末IDを保持する(ステップS501)。
次に、ユーザがコンテンツURLを入力すると、マスタ再生端末40の再生要求部41は、入力されたコンテンツURLをマスタ再生端末40の同期再生制御部42に送る(ステップS502)。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から入力されたコンテンツURLを受け取り、受け取ったコンテンツURLをマスタ再生端末40の送信部43へ送る(ステップS503)。マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42からコンテンツURLを受け取り、受け取ったコンテンツURLを、ネットワークA30を介して配信サーバ20へ送信する(ステップS504)。
次に、配信サーバ20の受信部21は、ネットワークA30を介してマスタ再生端末40から送信されたコンテンツURLを受信し、受け取ったコンテンツURLを再生データ保存部22へ送る(ステップS505)。再生データ保存部22は、配信サーバ20の受信部21からコンテンツURLを受け取り、受け取ったコンテンツURLから符号化データを読み出し、読み出した符号化データを配信サーバ20の送信部23へ送る(ステップS506)。再生データ保存部22には、ナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)が1つの符号化データで保存されている。配信サーバ20の送信部23は、再生データ保存部22から符号化データを受け取り、受け取った符号化データをネットワークA30を介してユニキャストでマスタ再生端末40へ送信する(ステップS507)。
次に、マスタ再生端末40の受信部44は、配信サーバ20の送信部23から送信された符号化データを、ネットワークA30を介して受け取り、マスタ再生端末40の受信部44は、符号化データ受信開始をマスタ再生端末40の同期再生制御部42へ通知する。さらに、マスタ再生端末40の受信部44は、マスタ再生端末40の復号部45へ符号化データのナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)をそれぞれ1GOPのみ送る(ステップS508)。この時、マスタ再生端末40の復号部45は、まだ復号しない。また、マスタ再生端末40の受信部44はバッファ残量から配信制御を行っているため、受信バッファが溢れる事はない。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から符号化データ受信開始通知を受け取ると、ステップS502と同じコンテンツURLをステップS501でTCP/IP接続した全スレーブ再生端末(50,N)へ通知する指示をマスタ再生端末40の送信部43へ送る(ステップS509)。また、同期再生制御部42は、全再生端末IDを復号部45へ送る。復号部45は、これを保持する。
次に、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から(ステップS502と同じコンテンツURLをTCP/IP接続されている全スレーブ再生端末(50,N)へ通知する指示を受け取り、受け取ったコンテンツURLをネットワークB80を介してTCP/IPで全スレーブ再生端末(50,N)へ送信する(ステップS510)。
次に、スレーブ再生端末(50,N)の受信部54は、ネットワークB80を介してマスタ再生端末40からコンテンツURLを受け取り、受け取ったコンテンツURLをスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS511)。続いて、スレーブ再生端末(50,N)の同期再生制御部52は、コンテンツURLをスレーブ再生端末(50,N)の受信部54から受け取り、受け取ったコンテンツURLをスレーブ再生端末(50,N)の送信部53へ送る(ステップS512)。さらに、スレーブ再生端末(50,N)の送信部53は、スレーブ再生端末(50,N)の同期再生制御部52から受け取ったコンテンツURLをネットワークA30を介して配信サーバ20へ送る(ステップS513)。
次に、配信サーバ20の受信部21は、ネットワークA30を介して全スレーブ再生端末(50,N)からコンテンツURLを受信し、受け取ったコンテンツURLを再生データ保存部22へ送る(ステップS514)。続いて、再生データ保存部22は、配信サーバ20の受信部21からコンテンツURLを全スレーブ再生端末数受け取り、受け取ったコンテンツURLから符号化データを全スレーブ再生端末数読み出し、読み出した符号化データを配信サーバ20の送信部23へ全スレーブ再生端末数を送る(ステップS515)。また、配信サーバ20の送信部23は、再生データ保存部22から読み出した符号化データを全スレーブ再生端末数受け取り、受け取った全スレーブ再生端末数の符号化データをネットワークA30を介してユニキャストで配信要求元の全スレーブ再生端末(50,N)へそれぞれ送信する(ステップS516)。
次に、スレーブ再生端末(50,N)の受信部54は、配信サーバ20の送信部23から送信された符号化データを、ネットワークA30を介して受け取り、スレーブ再生端末(50,N)の受信部54は、符号化データの受信開始をスレーブ再生端末(50,N)の同期再生制御部52へ通知する。さらに、スレーブ再生端末(50,N)の受信部54は、スレーブ再生端末(50,N)の復号部55へ符号化データのナビゲーション符号化映像データ、メイン符号化映像データ、音声符号化データ(音声がない場合もある)それぞれ1GOPのみ送る(ステップS517)。この時、スレーブ再生端末(50,N)の復号部55は、まだ復号しない。また、スレーブ再生端末(50,N)の受信部54はバッファ残量から配信制御を行っているため、受信バッファが溢れる事はない。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から符号化データ受信開始通知を受け取ると、再生開始準備完了をマスタ再生端末40へ通知する指示をスレーブ再生端末(50,N)の送信部53へ送る(ステップS518)。また、同期再生制御部52は、各再生端末IDを復号部55へ送る。復号部55は、これを保持する。続いて、スレーブ再生端末(50,N)の送信部53は、スレーブ再生端末(50,N)の同期再生制御部52から再生開始準備完了をマスタ再生端末40へ通知する指示を受け取り、受け取った再生開始準備完了をネットワークB80を介してTCP/IPでマスタ再生端末40へ送る(ステップS519)。
次に、マスタ再生端末40の受信部44は、スレーブ再生端末(50,N)からネットワークB80を介して再生開始準備完了を受け取り、受け取った再生開始準備完了をマスタ再生端末40の同期再生制御部42へ送る(ステップS520)。続いて、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44からスレーブ再生端末(50,N)の再生開始準備完了を受け取り、マスタ再生端末40の同期再生制御部42は、全てのスレーブ再生端末(50,N)から再生開始準備完了を受け取ると、電波時計47の時刻を確認し、確認したその時刻(T1)にマスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)を加えた復号化開始時刻(T=T1+T2)を算出し、さらに、送信部43へ復号化開始時刻(T) を全スレーブ再生端末(50,N)へ送る指示を出す(ステップS521)。スレーブ再生端末(50,N)はステップS525へ移行する。
なお、マスタ再生端末40からスレーブ再生端末(50,N)へ復号化開始指示が届くまでの最大の時間(T2)は、予め設定されているものとする。この設定方法としては、マスタ再生端末40からスレーブ再生端末(50,N)へテストパケットを送信し、各スレーブ再生端末(50,N)からマスタ再生端末40へ回答パケットが戻る時間を計測して設定する。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の電波時計47を確認し、復号化開始時刻(T)になった時、マスタ再生端末40の復号部45へ復号化を開始する指示を送る。さらに、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44へ、符号化データの復号部45への送信開始指示を出す(ステップS522)。続いて、マスタ再生端末40の復号部45は、マスタ再生端末40の同期再生制御部42から復号化開始指示を受け取り、1GOP単位でナビゲーション符号化映像データ、選択領域情報を元にメイン符号化映像データ、音声符号化データ(音声がない場合もある)の復号化を並列して開始する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、復号部45は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像と、復号化したナビゲーション映像、音声(音声がない場合もある)をマスタ再生端末40の表示部46へ送る。再生開始時は、予め設定した選択領域情報を用いる。
さらに、マスタ再生端末40の復号部45は、復号化したナビゲーション映像から、マスタ再生端末40の予め設定した選択領域情報を元に、マスタ再生端末40の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末の選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する(ステップS523)。続いて、マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、再生を開始する(ステップS524)。
一方、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から全再生端末(40,50,N)の電波時計47が、復号化開始時刻(T)になった時に復号化開始を復号部へ出す指示を受け取り、全再生端末(40,50,N)が復号化開始時刻(T)になった時に復号化開始を復号部へ出す指示をTCP/IPでネットワークB80を介して全スレーブ再生端末(50,N)へ送信する(ステップS525)。続いて、スレーブ再生端末(50,N)の受信部54は、マスタ再生端末40からネットワークB80を介して復号化開始時刻(T)になった時に復号化開始を復号部55へ出す指示を受け取り、受け取った前記指示をスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS526)。スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54から復号化開始時刻(T)になった時に復号化開始を復号部55へ出す指示を受け取ると、スレーブ再生端末(50,N)の電波時計57を確認し、電波時計57が復号化開始時刻(T)になった時、スレーブ再生端末(50,N)の復号部55へ復号化を開始する指示を送る。さらに、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54へ、符号化データの復号部55への送信開始指示を出す(ステップS527)。
次に、スレーブ再生端末(50,N)の復号部55は、スレーブ再生端末(50,N)の同期再生制御部52から復号化開始指示を受け取り、1GOP単位でナビゲーション符号化映像データと、選択領域情報を元にメイン符号化映像データ、音声符号化データ(音声がない場合もある)の復号化を並列して開始する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、復号部55は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像と、復号化したナビゲーション映像、音声(音声がない場合もある)をスレーブ再生端末(50,N)の表示部56へ送る。再生開始時は、予め設定した選択領域情報を用いる。
また、スレーブ再生端末(50,N)の復号部55は、復号化したナビゲーション映像から、スレーブ再生端末(50,N)の予め設定した選択領域情報を元に、スレーブ再生端末(50,N)の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したスレーブ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する(ステップS528)。
次に、スレーブ再生端末(50,N)の表示部56は、スレーブ再生端末(50,N)の復号部55から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、再生を開始する(ステップS529)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS530)。
次に、図6を参照して、選択した領域を同期して再生するための処理動作を説明する。図6は、同期再生システムにおいて、選択した領域を同期して再生するための処理動作を示すフローチャートである。
まず、再生要求部(41,51)は、ユーザが、表示部(46,56)に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報を同期再生制御部(42,52)へ送る(ステップS601)。同期再生制御部(42,52)は、再生要求部(41,51)から選択領域情報を受け取り、受け取った選択領域情報を復号部(45,55)へ送る(ステップS602)。続いて、復号部(45,55)は、同期再生制御部(42,52)から選択領域情報を受け取り、受け取った選択領域情報を元に、メイン符号化映像データを復号化する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、復号部(45,55)は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像を表示部(46,56)へ送る。
また、復号部(45,55)は、並列して復号化したナビゲーション映像から、受け取った選択領域情報を元に、選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した選択領域映像を表示部(46,56)に送る。この時、復号部(45,55)は、サムネイル映像にIDを付与し、再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、同じ再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS603)。
次に、表示部(46,56)は、復号部(45,55)からナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、受け取ったナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を表示部(46,56)で再生する(ステップS604)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS605)。
次に、図7を参照して、マスタ再生端末40の選択領域映像を、全スレーブ再生端末(50,N)で再生するための処理動作を説明する。図7は、同期再生システムにおいて、マスタ再生端末40の選択領域映像を、全スレーブ再生端末(50,N)で再生するための処理動作を示すフローチャートである。
まず、マスタ再生端末40の再生要求部41は、ユーザが、マスタ再生端末40の表示部46に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報をマスタ再生端末40の同期再生制御部42へ送る(ステップS701)。マスタ再生端末40の同期再生制御部42は、再生要求部41から選択領域情報を受け取り、受け取った選択領域情報をマスタ再生端末40の復号部45へ送る。また、マスタ再生端末40の同期再生制御部42は、受け取った選択領域情報にマスタ再生端末IDを含めた再生情報(選択領域情報と再生端末ID)を全スレーブ再生端末へ送る指示をマスタ再生端末40の送信部43に出す(ステップS702)。
続いて、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から再生情報を受け取り、受け取った再生情報をマルチキャストでネットワークB80を介して全スレーブ再生端末(50,N)へ送信する(ステップS703)。また、スレーブ再生端末(50,N)の受信部54は、ネットワークB80を介してマスタ再生端末40からマスタ再生端末40の再生情報を受け取り、受け取ったマスタ再生端末40の再生情報をスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS704)。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54からマスタ再生端末40の再生情報を受け取り、受け取った再生情報をスレーブ再生端末(50,N)の復号部55に送る(ステップS705)。続いて、スレーブ再生端末(50,N)の復号部55は、スレーブ再生端末(50,N)の同期再生制御部52からマスタ再生端末40の再生情報を受け取り、復号化したスレーブ再生端末(50,N)のナビゲーション映像から、受け取った再生情報の選択領域情報を元に、マスタ再生端末40の選択領域映像を切り出し、さらにサムネイル化し、サムネイル化したマスタ再生端末の選択領域映像をスレーブ再生端末(50,N)の表示部56に送る。この時、スレーブ再生端末(50,N)の復号部55は、サムネイル映像にIDを付与し、マスタ再生端末ID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、マスタ再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS706)。また、スレーブ再生端末(50,N)の表示部56は、復号部55からマスタ再生端末40が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、スレーブ再生端末(50,N)の表示部56に再生する(ステップS707)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS708)。
次に、図8を参照して、スレーブ再生端末50の選択領域映像を、マスタ再生端末40、他スレーブ再生端末Nで再生するための処理動作を説明する。図8は、同期再生システムにおいて、スレーブ再生端末50の選択領域映像を、マスタ再生端末40、他スレーブ再生端末Nで再生するための処理動作を示すフローチャートである。
まず、スレーブ再生端末50の再生要求部51は、ユーザが、スレーブ再生端末50の表示部56に再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、この選択した領域情報をスレーブ再生端末50の同期再生制御部52へ送る(ステップS801)。スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50の再生要求部51から選択領域情報を受け取り、受け取った選択領域情報をマスタ再生端末50の復号部55へ送る。また、受け取った選択領域情報にスレーブ再生端末50のIDを含めた再生情報(選択領域情報と再生端末ID)をマスタ再生端末40、他スレーブ再生端末Nへ送る指示を出す(ステップS802)。続いて、スレーブ再生端末50の送信部53は、スレーブ再生端末50の同期再生制御部52からスレーブ再生端末50の再生情報を受け取り、受け取った再生情報をネットワークB80を介してマルチキャストでマスタ再生端末40、他スレーブ再生端末Nへ送信する(ステップS803)。他スレーブ再生端末NはステップS808へ移行する。
次に、マスタ再生端末40の受信部44は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の同期再生制御部42へ送る(ステップS804)。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の復号部45に送る(ステップS805)。
次に、マスタ再生端末40の復号部45は、マスタ再生端末40の同期再生制御部42からスレーブ再生端末50の再生情報を受け取り、復号化したマスタ再生端末40のナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50の再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS806)。続いて、マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、マスタ再生端末40の表示部46にストリーム再生する(ステップS807)。
次に、他スレーブ再生端末Nの受信部は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの同期再生制御部へ送る(ステップS808)。他スレーブ再生端末Nの同期再生制御部は、他スレーブ再生端末Nの受信部から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの復号部に送る(ステップS809)。
次に、他スレーブ再生端末Nの復号部は、他スレーブ再生端末Nの同期再生制御部から、スレーブ再生端末50の再生情報を受け取り、復号化した他スレーブ再生端末Nのナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像を他スレーブ再生端末Nの表示部に送る。この時、他スレーブ再生端末Nの復号部は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50対応情報がある場合は、選択領域情報のみを更新する(ステップS810)。
次に、他スレーブ再生端末Nの表示部は、他スレーブ再生端末Nの復号部からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、他スレーブ再生端末Nの表示部に再生する(ステップS811)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS812)。
次に、図9〜図11を参照して、選択したサムネイル映像をメイン映像(選択領域映像)で再生する動作を説明する。図9〜図11は、同期再生システムにおいて、選択したサムネイル映像をメイン映像(選択領域映像)で再生する動作を示すフローチャートである。ここでは、スレーブ再生端末50を例にして説明するが、他の再生端末でも処理動作は同じである。
まず、ユーザが、スレーブ再生端末50の表示部56に再生中のサムネイル映像(自・他再生端末選択領域映像)の中から1つを選択すると、スレーブ再生端末50の再生要求部51は、どのサムネイル選択したかのサムネイル選択情報をスレーブ再生端末50の同期再生制御部52へ送る(ステップS901)。ここでは、マスタ再生端末40のサムネイル映像が選択されたものとする。
スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50の再生要求部51からマスタ再生端末40のサムネイルを選択した情報を受け取り、受け取ったサムネイル選択情報をスレーブ再生端末50の復号部55へ送る(ステップS902)。続いて、スレーブ再生端末50の復号部55は、スレーブ再生端末50の同期再生制御部52からサムネイル選択情報を受け取り、スレーブ再生端末50の復号部55は、保持している対応情報(図17参照)とサムネイル選択情報を対照する。本実施例では、対応情報のマスタ再生端末40に一致する。このマスタ再生端末40の選択領域情報を元にメイン符号化映像データを復号化する。選択領域情報を元に復号化したメイン映像は、図2で示すX、Y、幅、高さより大きいサイズとなる。そのため、スレーブ再生端末50の復号部55は、復号化したメイン映像から、さらに選択領域情報と同じサイズの選択領域映像を切り出し、この選択領域映像をスレーブ再生端末50の表示部56へ送る。
また、スレーブ再生端末50の復号部55は、並列して復号化したナビゲーション映像から、受け取った選択領域情報を元に、選択領域映像を切り出し、さらにサムネイル化し、サムネイル化した選択領域映像をスレーブ再生端末50の表示部56に送る。この時、スレーブ再生端末50の復号部55は、サムネイル映像にIDを付与し、対応情報のスレーブ再生端末50の選択領域情報を、一致したマスタ再生端末40の選択領域情報に更新し、この対応情報(図17参照)を保持する。スレーブ再生端末50とマスタ再生端末40の選択領域情報が同じになる。また、スレーブ再生端末50の新しい選択領域情報を他再生端末送信用にスレーブ再生端末50の同期再生制御部52へ送る(ステップS903)。マスタ再生端末40と他スレーブ再生端末は、ステップ905へ移行する。
次に、スレーブ再生端末50の表示部56は、スレーブ再生端末50の復号部55からナビゲーション映像、マスタ再生端末40と同じ選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、受け取ったナビゲーション映像、マスタ再生端末40と同じ選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)をスレーブ再生端末50の表示部56で再生する(ステップS904)。また、スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50の送信部53へ受け取った選択領域情報にスレーブ再生端末50のIDを含めた再生情報(選択領域情報と再生端末ID)をマスタ再生端末40、他スレーブ再生端末Nへ送る指示を出す(ステップS905)。続いて、スレーブ再生端末50の送信部53は、スレーブ再生端末50の同期再生制御部52からスレーブ再生端末50の再生情報を受け取り、受け取った再生情報をネットワークB80を介してマルチキャストでマスタ再生端末40、他スレーブ再生端末Nへ送信する(ステップS906)。
次に、マスタ再生端末40の受信部44は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の同期再生制御部42へ送る(ステップS907)。マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の受信部44から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報をマスタ再生端末40の復号部45に送る(ステップS908)。
次に、マスタ再生端末40の復号部45は、マスタ再生端末40の同期再生制御部42からスレーブ再生端末50の再生情報を受け取り、復号化したマスタ再生端末40のナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像をマスタ再生端末40の表示部46に送る。この時、マスタ再生端末40の復号部45は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50の再生端末の対応情報がある場合は、選択領域情報のみを更新する(ステップS909)。続いて、マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、マスタ再生端末40の表示部46にストリーム再生する(ステップS910)。
次に、他スレーブ再生端末Nの受信部は、ネットワークB80を介してスレーブ再生端末50から、スレーブ再生端末50の再生情報(選択領域情報と再生端末ID)を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの同期再生制御部へ送る(ステップS911)。他スレーブ再生端末Nの同期再生制御部は、他スレーブ再生端末Nの受信部から、スレーブ再生端末50の再生情報を受け取り、受け取ったスレーブ再生端末50の再生情報を他スレーブ再生端末Nの復号部に送る(ステップS912)。
次に、他スレーブ再生端末Nの復号部は、他スレーブ再生端末Nの同期再生制御部から、スレーブ再生端末50の再生情報を受け取り、復号化した他スレーブ再生端末Nのナビゲーション映像から、受け取ったスレーブ再生端末50の再生情報の選択領域情報を元に、スレーブ再生端末50の選択領域映像を切り出し、さらにサムネイル化し、スレーブ再生端末50のサムネイル化した選択領域映像を他スレーブ再生端末Nの表示部に送る。この時、他スレーブ再生端末Nの復号部は、サムネイル映像にIDを付与し、スレーブ再生端末50のID、選択領域情報、サムネイル映像とを対応付けし、この対応情報(図17参照)を保持する。既に、スレーブ再生端末50対応情報がある場合は、選択領域情報のみを更新する(ステップS913)。
次に、他スレーブ再生端末Nの表示部は、他スレーブ再生端末Nの復号部からスレーブ再生端末50が再生しているのと同じ領域のサムネイル化した選択領域映像を受け取り、他スレーブ再生端末Nの表示部に再生する(ステップS914)。そして、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS915)。
次に、図12、図13を参照して、再生端末間の同期再生動作を説明する。図12、図13は、同期再生システムにおいて、再生端末間の同期再生動作を示すフローチャートである。
まず、同期再生制御部(42,52)は、電波時計(47,57)を確認し、復号化開始時刻(T)になった時、復号部(45,55)へ復号化開始を送る。さらに、同期再生制御部(42,52)は、受信部(44,54)へ、符号化データの復号部への送信開始指示を送る(ステップS1001)。復号部(45,55)は、同期再生制御部(42,52)から復号化開始を受け取り、ナビゲーション符号化映像データ、選択領域情報を基にメイン符号化映像データ、音声符号化データ(音声がない場合もある)の復号化を1GOP単位で並列して開始する(ステップS1002)。そして、復号部(45,55)は、電波時計(47,57)を確認し、電波時計の指定した時間毎に復号化したメイン映像の再生時間を確認し、確認した時の電波時計時間とその時のメイン映像の再生時間を同期再生制御部(42,52)へ送る(ステップS1003)。確認時間の間隔は、事前に設定しておく。再生時間とは、指定時間の時に復号部(45,55)から表示部(46、56)へ送ったメイン映像の再生時間である。再生時間の確認は、ナビゲーション符号化映像データとメイン符号化映像データは1GOP単位で並列して復号化を行っているため、どちらの映像を用いてもよい。
次に、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の復号部45から確認した時の電波時計の時間とメイン映像の再生時間を受け取り、マスタ再生端末40の送信部43へ送る。また、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の復号部55から確認した時の電波時計の時間とメイン映像の再生時間を受け取り、これを保持する(ステップS1004)。続いて、マスタ再生端末40の送信部43は、マスタ再生端末40の同期再生制御部42から確認した時の電波時計の時間とメイン映像の再生時間を受け取り、ネットワークB80を介してマルチキャストで全スレーブ再生端末(50,N)へ送信する(ステップS1005)。スレーブ再生端末(50,N)の受信部54は、マスタ再生端末40からネットワークB80を介して確認した時の電波時計の時間とその時のメイン映像の再生時間を受け取り、スレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS1006)。
次に、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の受信部54からマスタ再生端末40の確認した時の電波時計の時間とメイン映像の再生時間を受け取ると、マスタ端末40とスレーブ再生端末(50,N)の確認した時の電波時計の時間からメイン映像の再生時間を比較し、その結果をスレーブ再生端末(50,N)の復号部55へ送る(ステップS1007)。スレーブ再生端末(50,N)の復号部55は、比較結果を受け取り、受け取った比較結果がマスタ再生端末と再生時間が同じならば、そのまま復号化を続ける。また、比較結果がマスタ再生端末より再生遅れの場合、遅れている時間分ジャンプして復号化する。または、比較結果がマスタ再生端末より再生が進んでいる場合、先に進んでいる時間分停止し、その後、復号化を再開する(ステップS1008)。
次に、スレーブ再生端末(50,N)の表示部56はスレーブ再生端末(50,N)の復号部55から復号化したナビゲーション映像、選択領域映像、サムネイル化した選択領域映像、音声(音声がない場合もある)を受け取り、再生する(ステップS1009)。そして、ステップS1003へ戻るか、マスタ再生端末40が再生停止を実行すると、全スレーブ再生端末(50,N)も再生を停止する(ステップS1010)。
次に、図14を参照して、マスタ再生端末40の再生停止の処理動作を説明する。図14は、同期再生システムにおいて、マスタ再生端末40の再生停止の処理動作を示すフローチャートである。
まず、ユーザは、マスタ再生端末40の再生要求部41に再生停止を入力し、マスタ再生端末40の再生要求部41は、入力された再生停止をマスタ再生端末40の同期再生制御部42に送る(ステップS1101)。続いて、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から再生停止を受け取ると、マスタ再生端末40の受信部44へ符号化データの復号部45への送信停止を送る(ステップS1102)。マスタ再生端末40の受信部44は、マスタ再生端末40の同期再生制御部42から復号部45へ符号化データの送信停止を受け取ると、マスタ再生端末40の受信部44は送信を停止する(ステップS1103)。
一方、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の復号部45へ再生停止を送る(ステップS1104)。マスタ再生端末40の復号部45は、再生停止を受け取ると復号化を停止し、さらに、マスタ再生端末40の復号部45はマスタ再生端末40の表示部46に再生停止を送る(ステップS1105)。マスタ再生端末40の表示部46は、マスタ再生端末40の復号部45から再生停止を受け取るとストリーム再生を停止する(ステップS1106)。
また、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40の再生要求部41から再生停止を受け取ると、マスタ再生端末40の送信部43に全スレーブ再生端末(50,N)へ再生停止を送る指示と、配信サーバ20への符号化データの配信停止を送る指示を出す(ステップS1107)。マスタ再生端末40の送信部43は、全スレーブ再生端末(50,N)へネットワークB80を介してTCP/IPで再生停止を送信し、また、マスタ再生端末40の送信部43は、配信サーバ20へネットワークA30を介して符号化データの配信停止を送信する(ステップS1108)。そして、マスタ再生端末40は、符号化データの受信と再生を停止する(ステップS1109)。
次に、図15を参照して、スレーブ再生端末(50,N)の再生停止の処理動作を説明する。図15は、同期再生システムにおいて、スレーブ再生端末(50,N)の再生停止の処理動作を示すフローチャートである。
まず、スレーブ再生端末(50,N)の受信部54は、マスタ再生端末40からネットワークB80を介して再生停止を受け取り、受け取った再生停止をスレーブ再生端末(50,N)の同期再生制御部52へ送る(ステップS1201)。スレーブ再生端末(50,N)の同期再生制御部52は、再生停止を受け取ると、スレーブ再生端末(50,N)の受信部54に、符号化データの復号部55への送信停止を出す(ステップS1202)。スレーブ再生端末(50,N)の受信部54は、スレーブ再生端末(50,N)の同期再生制御部52から復号部55へ符号化データの送信停止を受け取ると、マスタ再生端末(50,N)の受信部54は送信を停止する(ステップS1203)。
一方、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の復号部55へ再生停止を送る(ステップS1204)。スレーブ再生端末(50,N)の復号部55は、再生停止を受け取ると復号化を停止し、さらに、スレーブ再生端末(50,N)の復号部55はスレーブ再生端末(50,N)の表示部56に再生停止を送る(ステップS1205)。スレーブ再生端末(50,N)の表示部56は、スレーブ再生端末(50,N)の復号部55から再生停止を受け取るとストリーム再生を停止する(ステップS1206)。
また、スレーブ再生端末(50,N)の同期再生制御部52は、スレーブ再生端末(50,N)の送信部53に配信サーバ20への配信停止を送る指示を出す(ステップS1207)。スレーブ再生端末(50,N)の送信部53は、配信サーバ20へネットワークA30を介して符号化データの配信停止を送信する(ステップS1208)。スレーブ再生端末(50,N)は、符号化データ受信と再生を停止する(ステップS1209)。
以上説明したように、配信サーバにマルチキャスト対応の手を加えずに、マスタ再生端末とスレーブ再生端末に分類し、スレーブ再生端末はマスタ再生端末の支配下に置かれるように構成し、電波時計を使って、各再生端末の電波時計を正確にあわせておき、各再生端末の電波時計が復号化開始時刻(T)になった時、各再生端末は一斉に復号化開始を実行するようにした。また、復号化開始時刻(T)は、全てのスレーブ再生端末から再生開始準備完了受領直後のマスタ再生端末の電波時計の時刻(X)+マスタ再生端末からスレーブ再生端末へ復号化開始指示が届くまでの最大の時間(Y)を加えたものである。また、ナビゲーション符号化映像データとメイン符号化映像データと音声符号化データ(音声がない場合もある)を1つの符号化データで配信する。ナビゲーション符号化映像データとメイン符号化映像データと音声符号化データ(音声がない場合もある)は、1GOP単位で復号する。コンテンツ配信は広域ネットワーク、再生端末間の再生制御は限定範囲内ネットワークに分ける。コンテンツ配信はユニキャストで行う。限定範囲内ネットワーク下の再生端末間再生制御は、マルチキャストに対応している。
これにより、ユニキャストのみをサポートする配信サーバにおいても、複数端末間で同一映像を同期して視聴することができる。また、他端末がどこの領域を視聴しているか知ることができるとともに、他端末の再生領域と同じ領域を再生することができる。また、1GOP(Group Of Picture)単位で復号するため、再生のずれが発生しにくく、限定範囲のネットワーク環境により、再生端末間再生制御が容易になる。
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報配信処理及び同期再生処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
ユニキャストのみをサポートする配信サーバによって配信された情報を、複数端末間で同一映像を同期して視聴することが不可欠な用途に適用できる。
10・・・電波送信所、20・・・配信サーバ、21・・・受信部、22・・・再生データ保存部、23・・送信部、30・・・ネットワークA(広域ネットワーク)、40・・・マスタ再生端末、41・・・再生要求部、42・・・同期再生制御部、43・・・送信部、44・・・受信部、45・・・復号部、46・・・表示部、47・・・電波時計、50、N・・・スレーブ再生端末、51・・・再生要求部、52・・・同期再生制御部、53・・・送信部、54・・・受信部、55・・・復号部、56・・・表示部、57・・・電波時計、80・・・ネットワークB

Claims (12)

  1. マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムであって、
    前記マスタ再生端末は、
    配信サーバに対して前記符号化コンテンツデータの配信要求を送信し、前記配信サーバからユニキャストにより配信された前記符号化コンテンツデータを受信するデータ受信手段と、
    前記配信要求した前記符号化コンテンツのURLを前記スレーブ再生端末に対して送信するURL送信手段と、
    前記スレーブ再生端末から再生開始準備完了情報を受信した際に、前記符号化コンテンツデータの復号化開始時刻を算出して、前記スレーブ再生端末に対して復号化開始時刻情報を送信する時刻送信手段と、
    前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生手段とを備え、
    前記スレーブ再生端末は、
    前記マスタ再生端末から送信された前記符号化コンテンツのURLに基づき前記配信サーバからユニキャストにより配信された符号化コンテンツデータを受信するデータ受信手段と、
    前記符号化コンテンツデータを受信して、再生開始準備が完了した際に、前記マスタ再生端末に対して、再生開始準備完了情報を送信する準備完了情報送信手段と、
    前記マスタ再生端末から復号化開始時刻情報を受信し、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生手段とを備えた
    ことを特徴とする同期再生システム。
  2. 前記時刻送信手段は、前記再生開始準備完了情報を受信した時刻に前記復号化開始時刻情報が前記スレーブ再生端末に届くまでの最大時間を加算することにより前記復号化開始時刻を算出することを特徴とする請求項1に記載の同期再生システム。
  3. 前記マスタ再生端末の再生手段は、前記マスタ再生端末の選択領域情報を基にメイン映像から切り出した選択領域映像と、前記マスタ再生端末の選択領域情報を基にナビゲーション映像からサムネイル化した前記マスタ再生端末のサムネイル映像と、前記スレーブ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記スレーブ再生端末のサムネイル映像を再生することを特徴とする請求項1に記載の同期再生システム。
  4. 前記スレーブ再生端末の再生手段は、前記スレーブ再生端末の選択領域情報を基にメイン映像から切り出した選択領域映像と、前記スレーブ再生端末の選択領域情報を基にナビゲーション映像からサムネイル化した前記スレーブ再生端末のサムネイル映像と、前記マスタ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記マスタ再生端末のサムネイル映像を再生することを特徴とする請求項1に記載の同期再生システム。
  5. 他の前記スレーブ再生端末の再生手段は、前記他のスレーブ再生端末の選択領域情報を基にメイン映像から切り出した選択領域映像と、前記他のスレーブ再生端末の選択領域情報を基にナビゲーション映像からサムネイル化した前記他のスレーブ再生端末のサムネイル映像と、前記マスタ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記マスタ再生端末のサムネイル映像と、前記スレーブ再生端末から送信された選択領域情報を基に、ナビゲーション映像からサムネイル化した前記スレーブ再生端末のサムネイル映像を再生することを特徴とする請求項1に記載の同期再生システム。
  6. 前記マスタ再生端末及び前記複数のスレーブ再生端末は、再生中の前記ナビゲーション映像から前記選択領域を選択操作する選択領域指定手段を備え、該選択領域指定手段によって選択された選択領域の選択領域情報を前記マスタ再生端末及び前記複数のスレーブ再生端末の間で共有して、前記選択領域映像を切り出すことを特徴とする請求項3から5のいずれかに記載の同期再生システム。
  7. 前記マスタ再生端末及び前記複数のスレーブ再生端末は、複数の前記サムネイル映像の中から1つのサムネイル映像を選択するサムネイル選択手段を備え、前記マスタ再生端末及び前記複数のスレーブ再生端末は、該サムネイル選択手段によって選択されたサムネイル映像の選択情報を基にメイン映像から選択領域映像を切り出し、該サムネイル選択手段によって選択されたサムネイル映像の選択情報を前記マスタ再生端末及び前記複数のスレーブ再生端末の間で共有して、前記サムネイル映像の再生を行うことを特徴とする請求項3から5のいずれかに記載の同期再生システム。
  8. 前記マスタ再生端末は、所定の時間間隔で前記再生手段による前記符号化コンテンツデータの再生時間と、測定時のマスタ再生端末の時刻とを取得し、該再生時間と測定時刻とを前記複数のスレーブ再生端末に対して送信する再生時間送信手段を備え、
    前記スレーブ再生端末は、前記再生時間と測定時のマスタ再生端末の時刻とを受信し、前記スレーブ再生端末上の前記再生手段で再生されている前記符号化コンテンツデータの再生時間と測定時刻と、前記受信した再生時刻と測定時刻とを比較し、
    前記スレーブ再生端末上の前記再生手段で再生されている前記符号化コンテンツデータの再生が前記マスタ再生端末上の再生手段で再生されている前記符号化コンテンツデータの再生より遅れている場合に、遅れている時間分読み飛ばして再生し、
    前記スレーブ再生端末上の前記再生手段で再生されている前記符号化コンテンツデータの再生が前記マスタ再生端末上の再生手段で再生されている前記符号化コンテンツデータの再生より進んでいる場合に、進んでいる時間分再生を停止した後に再生を再開する再生同期手段を備える
    ことを特徴とする請求項1または2に記載の同期再生システム。
  9. 前記マスタ再生端末及び前記複数のスレーブ再生端末は、再生停止を操作する再生停止操作手段を備え、該再生停止操作手段によって再生停止の操作情報を前記マスタ再生端末及び前記複数のスレーブ再生端末の間で共有して、前記マスタ再生端末及び前記複数のスレーブ再生端末それぞれの前記再生手段による前記符号化コンテンツデータの再生を停止することを特徴とする請求項1または2に記載の同期再生システム。
  10. マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムにおける同期再生方法であって、
    前記マスタ再生端末が、配信サーバに対して前記符号化コンテンツデータの配信要求を送信し、前記配信サーバからユニキャストにより配信された前記符号化コンテンツデータを受信するデータ受信ステップと、
    前記マスタ再生端末が、前記配信要求した前記符号化コンテンツのURLを前記スレーブ再生端末に対して送信するURL送信ステップと、
    前記スレーブ再生端末が、前記マスタ再生端末から送信された前記符号化コンテンツのURLに基づき前記配信サーバからユニキャストにより配信された符号化コンテンツデータを受信するデータ受信ステップと、
    前記スレーブ再生端末が、前記符号化コンテンツデータを受信して、再生開始準備が完了した際に、前記マスタ再生端末に対して、再生開始準備完了情報を送信する準備完了情報送信ステップと、
    前記マスタ再生端末が、前記スレーブ端末から再生開始準備完了情報を受信した際に、前記符号化コンテンツデータの復号化開始時刻を算出して、前記スレーブ再生端末に対して復号化開始時刻情報を送信する時刻送信ステップと、
    前記マスタ再生端末が、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップと、
    前記スレーブ再生端末が、前記マスタ再生端末から復号化開始時刻情報を受信し、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップと
    を有することを特徴とする同期再生方法。
  11. マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムにおける前記マスタ再生端末上のコンピュータで動作する同期再生プログラムであって、
    前記配信サーバに対して前記符号化コンテンツデータの配信要求を送信し、前記配信サーバからユニキャストにより配信された前記符号化コンテンツデータを受信するデータ受信ステップと、
    前記配信要求した前記符号化コンテンツのURLを前記スレーブ再生端末に対して送信するURL送信ステップと、
    前記スレーブ端末から再生開始準備完了情報を受信した際に、前記符号化コンテンツデータの復号化開始時刻を算出して、前記スレーブ再生端末に対して復号化開始時刻情報を送信する時刻送信ステップと、
    前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップと
    を前記コンピュータに行わせることを特徴とする同期再生プログラム。
  12. マスタ再生端末とスレーブ再生端末に分類された複数の再生端末と、ユニキャストで符号化コンテンツデータを前記再生端末へ配信する配信サーバとがネットワークを介して接続された同期再生システムにおける前記スレーブ再生端末上のコンピュータで動作する同期再生プログラムであって、
    前記マスタ再生端末から送信された前記符号化コンテンツのURLに基づき前記配信サーバからユニキャストにより配信された符号化コンテンツデータを受信するデータ受信ステップと、
    前記符号化コンテンツデータを受信して、再生開始準備が完了した際に、前記マスタ再生端末に対して、再生開始準備完了情報を送信する準備完了情報送信ステップと、
    前記マスタ再生端末から復号化開始時刻情報を受信し、前記復号化開始時刻になった際に、前記符号化コンテンツデータの復号化を行い、該符号化コンテンツデータを再生する再生ステップと
    を前記コンピュータに行わせることを特徴とする同期再生プログラム。
JP2010094018A 2010-04-15 2010-04-15 同期再生システム、同期再生方法及び同期再生プログラム Expired - Fee Related JP5394307B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010094018A JP5394307B2 (ja) 2010-04-15 2010-04-15 同期再生システム、同期再生方法及び同期再生プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010094018A JP5394307B2 (ja) 2010-04-15 2010-04-15 同期再生システム、同期再生方法及び同期再生プログラム

Publications (2)

Publication Number Publication Date
JP2011228784A true JP2011228784A (ja) 2011-11-10
JP5394307B2 JP5394307B2 (ja) 2014-01-22

Family

ID=45043670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010094018A Expired - Fee Related JP5394307B2 (ja) 2010-04-15 2010-04-15 同期再生システム、同期再生方法及び同期再生プログラム

Country Status (1)

Country Link
JP (1) JP5394307B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090187A (ja) * 2011-10-19 2013-05-13 Toyota Motor Corp 通信端末装置及び通信方法
JP2013229858A (ja) * 2012-03-29 2013-11-07 Ntt Docomo Inc 携帯端末、情報再生システムおよび情報再生方法
JP2014072608A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 情報処理システム、情報処理装置、表示装置、及びプログラム
JP2015100085A (ja) * 2013-11-20 2015-05-28 ヤマハ株式会社 同期再生システム及び同期再生装置
KR101682978B1 (ko) * 2016-07-26 2016-12-07 쿨사인 주식회사 Precision Time Protocol를 이용한 영상 재생 동기화 시스템 및 방법
US11288032B2 (en) 2017-07-28 2022-03-29 National Institute Of Advanced Industrial Science And Technology Platform for control in synchronization with music and control method therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198228A (ja) * 1996-01-17 1997-07-31 Nippon Telegr & Teleph Corp <Ntt> 共有ビュー表示方法
JP2003101991A (ja) * 2001-09-20 2003-04-04 Fuji Xerox Co Ltd 映像処理方法および装置並びにプログラム
JP2008096756A (ja) * 2006-10-12 2008-04-24 Sharp Corp 多画面表示システムおよびその表示方法
JP2008252422A (ja) * 2007-03-30 2008-10-16 Sony Corp 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198228A (ja) * 1996-01-17 1997-07-31 Nippon Telegr & Teleph Corp <Ntt> 共有ビュー表示方法
JP2003101991A (ja) * 2001-09-20 2003-04-04 Fuji Xerox Co Ltd 映像処理方法および装置並びにプログラム
JP2008096756A (ja) * 2006-10-12 2008-04-24 Sharp Corp 多画面表示システムおよびその表示方法
JP2008252422A (ja) * 2007-03-30 2008-10-16 Sony Corp 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090187A (ja) * 2011-10-19 2013-05-13 Toyota Motor Corp 通信端末装置及び通信方法
JP2013229858A (ja) * 2012-03-29 2013-11-07 Ntt Docomo Inc 携帯端末、情報再生システムおよび情報再生方法
JP2014072608A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 情報処理システム、情報処理装置、表示装置、及びプログラム
JP2015100085A (ja) * 2013-11-20 2015-05-28 ヤマハ株式会社 同期再生システム及び同期再生装置
WO2015076273A1 (ja) * 2013-11-20 2015-05-28 ヤマハ株式会社 同期再生システム、同期再生装置及び制御方法
US9940090B2 (en) 2013-11-20 2018-04-10 Yamaha Corporation Synchronized playback system, synchronized playback apparatus, and control method
KR101682978B1 (ko) * 2016-07-26 2016-12-07 쿨사인 주식회사 Precision Time Protocol를 이용한 영상 재생 동기화 시스템 및 방법
US11288032B2 (en) 2017-07-28 2022-03-29 National Institute Of Advanced Industrial Science And Technology Platform for control in synchronization with music and control method therefor

Also Published As

Publication number Publication date
JP5394307B2 (ja) 2014-01-22

Similar Documents

Publication Publication Date Title
JP5727385B2 (ja) 複数のアプリケーション間におけるプレゼンテーション状態の同期化
JP5394307B2 (ja) 同期再生システム、同期再生方法及び同期再生プログラム
WO2016197859A1 (zh) 一种同步播放多媒体数据的方法及装置
CN104244075B (zh) 一种媒体信息分享方法和系统
JP2014519729A (ja) ディスプレイデバイス上のコンテンツの再生制御
KR20170074866A (ko) 수신 장치, 송신 장치, 및 데이터 처리 방법
JP2007057767A (ja) コンテンツ受信装置およびコンテンツ受信方法
CN103957218A (zh) 共享媒体播放的方法和系统
JP2014007603A (ja) コンテンツ再生装置、コンテンツ再生システム、及びコンテンツ再生方法
EP3571848A1 (en) Content streaming system and method
JP5183591B2 (ja) 同期再生方法、他再生端末選択領域映像再生方法、同期再生停止方法、同期再生システムおよびプログラム
JP5060649B1 (ja) 情報再生装置及び情報再生方法
JP2008085934A (ja) リモート映像再生システムおよびレジューム再生方法
JP2004350178A (ja) 複合コンテンツ同期配信方法、サーバ及びプログラム
JP2011091754A (ja) 映像処理装置及び映像処理方法
JP5455594B2 (ja) 映像分割再生方法、映像分割再生装置、及びプログラム
JP5420863B2 (ja) シンクライアントシステム、アプリケーションサーバ、端末制御サーバ、通信方法
JP5121941B2 (ja) 番組コンテンツ視聴システムおよびコンテンツ受信記録再生装置
JP2008135985A (ja) コンテンツ再生機器、コンテンツ再生制御装置、コンテンツ再生方法
JP2010004136A (ja) 通信端末装置、通信制御方法、およびプログラム
JP2014127213A (ja) 同期再生制御装置及び同期再生制御方法
JP2006135846A (ja) コンテンツ配信システム
JP2006279294A (ja) コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム
JP5899718B2 (ja) 情報処理システム、情報処理装置及び情報処理プログラム
JP2013066045A (ja) 情報処理システム、情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121029

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131016

R150 Certificate of patent or registration of utility model

Ref document number: 5394307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees