JP2011023992A - コンテンツ配信システム、再生装置、及び配信サーバ - Google Patents

コンテンツ配信システム、再生装置、及び配信サーバ Download PDF

Info

Publication number
JP2011023992A
JP2011023992A JP2009167494A JP2009167494A JP2011023992A JP 2011023992 A JP2011023992 A JP 2011023992A JP 2009167494 A JP2009167494 A JP 2009167494A JP 2009167494 A JP2009167494 A JP 2009167494A JP 2011023992 A JP2011023992 A JP 2011023992A
Authority
JP
Japan
Prior art keywords
display
content
time
buffer
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009167494A
Other languages
English (en)
Inventor
Hitoshi Hayakawa
仁 早川
Hideki Kamimaki
秀樹 神牧
Nobuhiro Sekimoto
信博 関本
Hiroo Miyamoto
啓生 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2009167494A priority Critical patent/JP2011023992A/ja
Publication of JP2011023992A publication Critical patent/JP2011023992A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】同期ずれがより小さな同期を可能にし、かつ時刻同期不要なコンテンツ同期再生システムの提供。
【解決手段】配信サーバと複数の再生装置とを備えるシステムであって、配信サーバは、コンテンツにタイムスタンプを付加し、それを各再生装置に配信し、各再生装置は、コンテンツを蓄積するバッファを備え、配信されたコンテンツのタイムスタンプを配信サーバに送信し、配信サーバは、送信されたタイムスタンプに基づいて、コンテンツを表示するために必要な各再生装置における遅延時間を算出し、第1と第2との再生装置における遅延時間から、それらの再生装置においてコンテンツを表示するタイミングを各々指定された時刻とするための、第1と第2との再生装置のバッファに蓄積される各々のバッファ量を算出し、それらのバッファ量を、各々第1と第2との再生装置に指示し、それらの再生装置は各々指示されたバッファ量に基づいて、バッファを設定する。
【選択図】図1

Description

本発明は、コンテンツ配信システムに関し、特に複数のコンテンツ再生装置においてコンテンツ再生を同期するコンテンツ配信システムに関する。
近年、コンテンツ配信システムとして、複数のコンテンツ再生装置、例えば、街頭ディスプレイと携帯端末とにおいて同期されたコンテンツを再生するシステムが提案されている(例えば、特許文献1参照)。
また、指定時刻にコンテンツを再生するメディア再生装置が提案されている(例えば、特許文献2参照)。
一方、操作対象をスイッチで切り替えることによって、複数の機器を操作する遠隔操作装置が提案されている(例えば、特許文献3参照)。
特開2006−244060号公報 特開2006−190213号公報 特開2000−261690号公報
特許文献1は、街頭の大画面モニタなどに表示するコンテンツのメディアデータを、公共端末とユーザ端末との間で同期しながら再生できるコンテンツ同期配信システムが記載されている。この特許文献1に記載されるコンテンツ同期配信システムは、同期の実現方法として、公共端末とユーザ端末との間で時刻を同期し、コンテンツ配信装置から時刻に関する指示を、端末に送信することによって、コンテンツの同期と再生とを行う。
しかしながら、特許文献1に記載されるコンテンツ同期配信システムは、公共端末とユーザ端末との間で時刻を同期するための仕組みを必要とする。また、各コンテンツ配信装置における時刻を基準に再生を制御するため、各コンテンツ配信装置における時刻を管理する必要があり、特許文献1に記載された各コンテンツ配信装置は複雑となってしまう。また、特許文献1に記載されるコンテンツ同期配信システムは、公共端末とユーザ端末とにおいてコンテンツを再生するためにかかる処理時間に関しては考慮されていない。
特許文献2は、所定の再生時刻にコンテンツを再生するため、コンテンツを再生するための処理時間が機器において異なっても、所定の再生時刻にメディアを再生するためにメディアデータを蓄積するバッファ制御を行うメディア再生装置が記載されている。
しかしながら、複数のメディア再生装置において、各装置における「所定の再生時刻」を決定する基準となる時刻(時計)を同期するために、共通クロックを用いる方法しか特許文献2に開示されていない。このため、特許文献2に記載される方法を用いた場合、ネットワークを介して接続された各メディア再生装置に対して共通クロックをずれなく配信することはできない。また、各装置における時刻を管理する必要があるため、メディア再生装置が複雑となってしまう。
特許文献3は、制御対象機器を回転板の回転操作によって選択する遠隔制御装置が記載されている。しかしながら、あらかじめ選択対象機器に関する種類又は位置の知識がなくては、操作対象機器を正しく選択することが困難であった。
本発明は、以上の課題を鑑みてなされたものである。すなわち、コンテンツ再生装置において時刻管理をする必要がなく、コンテンツ再生に必要な処理時間が考慮され、同期ずれがより小さな同期が可能なコンテンツ同期再生システム、サーバ、コンテンツ再生装置、及び、選択対象装置に関して、事前知識なく選択を行うことのできるコンテンツ再生装置選択システムを提供することを目的とする。
本発明の代表的な一例を示せば以下の通りである。すなわち、コンテンツを配信する配信サーバと、ネットワークを介して配信サーバからコンテンツを配信され、コンテンツを表示する複数の再生装置とを備えるコンテンツ配信システムであって、配信サーバは、コンテンツにタイムスタンプを付加し、タイムスタンプが付加されたコンテンツを、各再生装置に配信し、各再生装置は、配信されたコンテンツを蓄積するバッファを備え、配信されたコンテンツに付加されたタイムスタンプを抽出し、抽出されたタイムスタンプを配信サーバに送信し、配信サーバは、送信されたタイムスタンプに基づいて、コンテンツを表示するために必要な各再生装置における遅延時間を算出し、第1の再生装置における遅延時間と、第2の再生装置における遅延時間とに基づいて、第1の再生装置と第2の再生装置とにおいてコンテンツを表示するタイミングを指定された時刻とするための、第1の再生装置に備わるバッファに蓄積されるデータ量を示す第1のバッファ量と、第2の再生装置に備わるバッファに蓄積されるデータ量を示す第2のバッファ量とを算出し、算出された第1のバッファ量を第1の再生装置に、算出された第2のバッファ量を第2の再生装置に各々指示し、第1の再生装置及び第2の再生装置は、各々指示された第1のバッファ量及び第2のバッファ量に基づいて、各々に備わるバッファを設定する。
本発明の一実施形態によると、コンテンツを再生するために装置間を同期するシステムにおいて、同期ずれがより小さいコンテンツ再生の同期を行い、かつ時刻を同期する必要がないコンテンツ配信システムを提供できる。
本発明の第1の実施形態のシステム構成を示す説明図である。 本発明の第1の実施形態の配信/同期サーバのハードウェア構成を示すブロック図である。 本発明の第1の実施形態のディスプレイのハードウェア構成を示すブロック図である。 本発明の第1の実施形態の配信/同期サーバの処理手順を示すフローチャートである。 本発明の第1の実施形態のディスプレイにおける映像ストリーム受信時の処理フローを示すフローチャートである。 本発明の第1の実施形態のディスプレイにおける映像同期の処理フローを示すフローチャートである。 本発明の第1の実施形態のタイムスタンプ付映像ストリームの配信を示すシーケンス図である。 本発明の第1の実施形態のバッファ情報とタイムスタンプ情報とによる映像同期を示すシーケンス図である。 本発明の第1の実施形態の配信/同期サーバとディスプレイの間で送受信されるタイムスタンプ付映像ストリームのパケット形式を示す説明図である。 本発明の第1の実施形態の配信/同期サーバとディスプレイの間で送受信されるタイムスタンプ付映像ストリーム以外のパケット形式を示す説明図である。 本発明の第1の実施形態の配信/同期サーバのソフトウェアの機能を示すブロック図である。 本発明の第1の実施形態のディスプレイのソフトウェアの機能を示すブロック図である。 本発明の第1の実施形態の配信/同期サーバが受信するタイムスタンプ通知の遅延時間を説明する図である。 本発明の第1の実施形態のバッファ情報管理部における格納データを示す説明図である。 本発明の第2の実施形態のシステム構成を示す説明図である。 本発明の第2の実施形態の操作端末におけるディスプレイ選択の処理手順を示すフローチャートである。 本発明の第2の実施形態の配信/同期サーバにおけるディスプレイ選択の処理手順を示すフローチャートである。
以下、本発明を実施するための最良の形態を、図を用いて説明する。
(ハードウェア構成)
図1は、本発明の第1の実施形態のシステム構成を示す説明図で、本発明を実施する場合のシステム構成例を示している。本実施形態において、配信/同期サーバ101が配信するコンテンツは、映像ストリームであるが、後述するように、音声データ、又はWebページなどでもよい。
本実施形態のコンテンツ配信システムにおいて、配信/同期サーバ101は、ネットワーク104を介して、ディスプレイ102及びディスプレイ103に接続される。なお、配信/同期サーバ101に接続されるディスプレイは、ディスプレイ102及びディスプレイ103に限られず、複数であってもよい。以後、ディスプレイ102及びディスプレイ103を含めた本実施形態における複数のディスプレイを総称する場合、単に「ディスプレイ」と記載する。
本発明のシステムにおいて、配信/同期サーバ101は、映像ストリームを配信し、配信された映像ストリームは、ネットワーク104を通り、ディスプレイ102及びディスプレイ103は、配信された映像ストリームを受信する。そして、ディスプレイ102及びディスプレイ103は、受信した映像ストリームを表示する。
この本発明におけるコンテンツ配信システムは、ディスプレイ102及びディスプレイ103において表示される映像ストリームを同期する。特に、本実施形態のコンテンツ配信システムは、映像ストリームが同じ時刻に同じ映像(画面)を表示するようにディスプレイ102及びディスプレイ103を同期する。
そのため、本発明は、図1に示すように、映像ストリームを同期するため、タイムスタンプ付きの映像ストリームとバッファに関する情報とを、ディスプレイ102及びディスプレイ103と配信/同期サーバ101との間で送受信することを特徴とする。
なお、各ディスプレイは、全てが同一の種類の機器である必要はなく、例えばテレビ受像機と携帯端末とのように、異なる種類の機器であってもよい。異なる機器である場合、本発明は、例えば、やや離れた街頭テレビの映像を、そのまま手元の携帯端末によって確認するというような利用が可能となる。
また、各ディスプレイにおいて表示される映像ストリームの内容は、必ずしも同一である必要はない。例えば、本発明は、ある対象についての複数の方向から撮影した映像を一つのストリームに含ませて配信し、ディスプレイによって表示される映像を変えることができるため、ディスプレイの位置及びユーザに合わせた映像などの視聴方法を、ユーザに選択させることが可能となる。
(ハードウェア構成:サーバ)
図2は、本発明の第1の実施形態の配信/同期サーバ101のハードウェア構成を示すブロック図である。
図2に示すCPU201は、中央演算装置(Central Processing Unit)であり、プログラムに従ってデータを処理する装置である。記憶装置202は、プログラム及びデータを記憶する装置であり、例えば、メモリ、ハードディスク、又は光ディスク等のデータを記憶できる装置(遠隔地に設置され、ネットワーク104を介して通信される装置を含む)、或いはこれらの組み合わせによって実装される。
通信部203は、ネットワーク104と接続され、外部とデータを送受信する。これらの構成要素(CPU201、記憶装置202及び通信部203)は、共有バス204を介して相互に接続され、データを送受信する。
なお、共有バス204は、各構成要素間の通信を行うための例であり、各構成要素間で必要な通信を行えるようになっていれば、例えば、直接接続をする方法など、共有バス204を用いる以外の方法によって接続されてもよい。共有バス204以外の方法が用いられる場合、配信/同期サーバ101は、各要素間の接続方法が最適化されることによって、処理に必要な消費電力を減らしたり、処理効率を上げたりすることが可能となる。
本発明において、配信/同期サーバ101におけるプログラムは、CPU201によって図2に示す記憶装置202から参照される。CPU201は、参照されたプログラムを処理し、通信部203を通してネットワーク104上の他の装置と通信する。
(ハードウェア構成:ディスプレイ)
図3は、本発明の第1の実施形態のディスプレイのハードウェア構成を示すブロック図である。
図3は、図1に示すディスプレイ102及び103のハードウェア構成を示す。図3に示すCPU301は、中央演算装置(Central Processing Unit)であり、プログラムに従ってデータを処理する装置である。記憶装置302は、プログラム及びデータを記憶する装置であり、例えば、メモリ、ハードディスク、又は光ディスク等のデータを記憶できる装置(遠隔地に設置され、ネットワーク104を介して通信される装置を含む)、或いはこれらの組み合わせによって実装される。
記憶装置302には、バッファが含まれる。ディスプレイ102及びディスプレイ103は、配信された映像を、バッファに一時的に保存する。
通信部303は、ネットワーク104と接続され、外部とデータを送受信する。表示部304は、受信した映像ストリームを表示する装置である。デコーダ305は、符号化された映像ストリームを復号(デコード)し、表示部304において表示できるフォーマットに変換する装置である。なお、復号(デコード)処理がCPU301において行われる場合は、デコーダ305は省略されてもかまわない。入力部306は、ユーザからの入力を受信する装置であり、例えばスイッチ、キーボード、リモコン、又はタッチパネルなどである。
これら、CPU301、記憶装置302、通信部303、表示部304、デコーダ305、及び入力部306は、共有バス307を介して相互に接続され、データを送受信する。
なお、共有バス307は、各構成要素間の通信を行うための例であり、各構成要素間で必要な通信を行えるようになっていれば、共有バス307を用いる以外の方法によって接続されてもよい。例えば、ディスプレイは、構成要素間を個別に接続させることによって、処理効率を向上させることも可能である。
本発明においてディスプレイ102及びディスプレイ103におけるプログラムは、CPU301によって、図3に示す記憶装置302から参照される。CPU301は、参照されたプログラムを処理し、通信部303を通してネットワーク上の他の装置と通信し、デコーダ305及び表示部304を用いて映像を表示する。
なお、本実施形態におけるディスプレイとは、コンピュータのディスプレイに限るものではなく、携帯端末、又はテレビ受像機など、図3に示すハードウェア構成を持つ、映像ストリームを受信して表示することのできる装置であれば、どのような形態でもよい。また、例えば表示部304を別の機器にするなど、構成要素の一部が別の機器による実装であっても、全体として図3に示す構成であれば、いかなる実装でもよい。
また、表示部304は、必ずしもハードウェアである必要はない。例えばコンピュータの画面上の一つのウィンドウのように、ソフトウェアによって表示部304が実装されてもよい。この場合、本発明は、例えば、一つの画面上に複数の表示部304を表示させることによって、複数の映像を表示させたり、映像の配置を変更させたりすることができる。
(ハードウェア構成:ネットワーク)
なお、本実施形態のネットワーク104は、イーサネット(登録商標、以下同じ)であるが、配信/同期サーバ101とディスプレイ102及びディスプレイ103とが通信できる方法であればどのような方法でもよい。例えば、ネットワーク104が赤外線通信である場合、本発明は、通信可能な範囲のみにコンテンツを同期する処理を限定することも可能である。
(ソフトウェア構成)
以下に、本発明において開示する、映像ストリームを前述の装置を用いて同期する手順及びプログラムの構成について述べる。前述の通り、プログラムは、配信/同期サーバ101及びディスプレイの各々の記憶装置内に保存され、配信/同期サーバ101及びディスプレイの各々のCPUによって参照されて処理される。なお、処理の効率をあげるため、プログラムの一部又は全部の機能は、ハードウェアとして実装されてもよい。
また、プログラムによる機能の構成は、後述する構成に限るものではなく、後述する構成のうちの複数の機能が統合される構成、又は一つの機能が複数に分割される構成でもよい。また、機能の処理の順序も、後述する順序に限るものではなく、順序が入れ替わってもよい。例えば、複数の機能を一つのチップに実装することによって、処理効率をあげたり、順序を入れ替えることによって待ち時間を減らしたりすることが可能となる。
(ソフトウェア処理フロー)
まず、配信/同期サーバ101及びディスプレイにおける処理の順序をフローチャートによって説明する。配信/同期サーバ101及びディスプレイが各処理を行う構成は、機能ブロック図によって後述する。
(ソフトウェア処理フロー:サーバ)
図4は、本発明の第1の実施形態の配信/同期サーバ101の処理手順を示すフローチャートである。
配信/同期サーバ101は、まず、ディスプレイ102及びディスプレイ103に映像ストリームを配信し、それからディスプレイ102及びディスプレイ103の間を同期する。
まず、配信/同期サーバ101は、開始状態(S611)において配信を停止している状態である。ディスプレイ102又はディスプレイ103から配信開始要求612を受信した場合、配信/同期サーバ101における状態を配信中状態に変更する(S607)。配信/同期サーバ101は、配信中状態において、配信終了要求619を受信した場合、配信/同期サーバ101における状態を配信中状態から配信停止状態に変更する(S609)。
そして、配信/同期サーバ101は、配信停止状態であるかを判定し(S608)、配信停止状態である場合、配信を終了する(S613)。また、S608において配信中状態である場合、タイムスタンプ付映像ストリーム615を、配信を要求したディスプレイ102又はディスプレイ103に配信する(S603)。
配信/同期サーバ101は、S603においてタイムスタンプ付映像ストリーム615を配信されたディスプレイ102又はディスプレイ103から、タイムスタンプ通知(受信タイムスタンプ及び表示タイムスタンプ)616を受信(タイムスタンプ通知受信S601)した場合、後述する方法によって配信の遅延時間を算出する(S602)。
そして、配信/同期サーバ101は、同期したいディスプレイ102とディスプレイ103との間で、S602において算出された遅延時間からディスプレイ102とディスプレイ103とにおいて表示ずれがあるかを算出する。算出された表示ずれが指定した値以下である場合、配信/同期サーバ101は、S609に戻って同じ処理を繰り返す(S605)。S605において算出された表示ずれが指定した値より大きい場合、配信/同期サーバ101は、S610に進む。
そして、配信/同期サーバ101は、S602においてタイムスタンプ通知616を配信/同期サーバ101に送信したディスプレイ102又はディスプレイ103から、バッファ情報通知618を受信し(S610)、受信したバッファ情報通知628に基づいて後述する方法によってバッファサイズの調整量を算出する(S604)。
そして、配信/同期サーバ101は、バッファサイズ変更指示617を、同期したいディスプレイに送信する(S606)。バッファサイズ変更指示617は、ディスプレイの同期に必要なディスプレイにのみ送信されてもよい。そして、配信/同期サーバ101は、S609に戻って同じ処理を繰り返す。
前述において、配信終了要求受信(S609)、及びその判定(S608)を固定された位置(処理順)としたが、これらの処理は、配信中状態であればいつでも行われてよく、配信中状態において行われる処理と非同期に行われてもよい。また、タイムスタンプ通知受信(S601)、バッファ情報受信(S610)も、配信中状態であればいつでも行われてよく、非同期に行われてもよい。S609及びS608、並びに、S601及びS610が非同期に行われることによって、例えば、配信/同期サーバ101における処理の応答性をよくしたり、処理を分散したりすることが可能となる。
(ソフトウェア処理フロー:ディスプレイ)
図5は、本発明の第1の実施形態のディスプレイにおける映像ストリーム受信時の処理フローを示すフローチャートである。
まず、ディスプレイは、開始状態(S701)から、配信/同期サーバ101に配信開始要求612を送信し、映像ストリームの配信を要求する。また、配信/同期サーバ101にバッファ情報通知618としてディスプレイのバッファ情報を送信する(S713)。そして、配信/同期サーバ101からタイムスタンプ付映像ストリーム615を受信してバッファに蓄積する(S702)。
続いて、ディスプレイは、タイムスタンプ付映像ストリーム615から受信タイムスタンプを抽出し(S703)、抽出されたタイムスタンプを受信タイムスタンプ通知718として配信/同期サーバ101に送信する(S705)。並行して、バッファに蓄積したタイムスタンプ付映像ストリーム615を参照して表示部304に表示できる形式にデコードする(S706)。
続いて、ディスプレイは、S706においてデコードされた映像を表示部304に表示する(S709)。同時に、表示された映像に対応するタイムスタンプ付映像ストリーム615のタイムスタンプを検出し(S707)、配信/同期サーバ101に表示タイムスタンプ通知717を送信する(S708)。
さらに、ディスプレイは、受信を継続するか否かを判定し(S711)、継続する場合はS713に戻る。S711において受信を継続しない場合は、配信終了要求619を配信/同期サーバ101に送信し(S712)、受信を終了する(S710)。
前述において、バッファ情報送信S713は、配信開始要求送信(S704)又は受信継続(S711)に続けて行われたが、必ずしも図5に示す順序によって行われる必要はなく、非同期に行われてもよい。バッファ情報送信(S713)が、非同期に行われることによって、ディスプレイは、応答性を高めることができる。
また、映像表示(S709)に続く受信継続(S711)から配信終了要求送信(S712)、受信終了(S710)への流れも、配信開始要求送信(S704)以降であれば、必ずしも図5に示す順序(映像表示(S709)の後)によって行われる必要はなく、非同期に行われてもよい。S709、S711、S712、及びS710が非同期に行われることによって、例えば、処理効率を改善したり応答性を高めたりすることができる。
また、受信継続(S711)の判定基準は、ユーザによってディスプレイに入力(ボタン操作等)された受信を継続するか否かを示す指示に基づいてもよいし、配信/同期サーバ101からの通知(配信終了通知)によって、遠隔地から制御されてもよい。このような判定基準の多様化でユーザの利便性を向上できる。
図6は、本発明の第1の実施形態のディスプレイにおける映像同期の処理フローを示すフローチャートである。
タイムスタンプ付映像ストリーム615を受信する状態において、ディスプレイ間で同期する場合、ディスプレイは、配信/同期サーバ101からバッファサイズ変更指示617を受信し(S802)、バッファサイズを変更する(S803)。
(送受信データ)
次に、配信/同期サーバ101とディスプレイ102及びディスプレイ103との間のデータの送受信について後述する。
(シーケンス)
図7は、本発明の第1の実施形態のタイムスタンプ付映像ストリーム615の配信を示すシーケンス図である。
図7において、配信/同期サーバ101は、ディスプレイに映像ストリームを配信する。まず、ディスプレイは、配信開始要求612を配信/同期サーバ101に送信する。配信/同期サーバ101は、ディスプレイに、配信開始要求612に対応したタイムスタンプ付映像ストリーム615の配信を開始する。以後、配信/同期サーバ101は、配信終了要求619を受信し、配信を終了するまで配信を継続する。
ディスプレイから配信/同期サーバ101に配信終了要求619が送信されると、配信/同期サーバ101は、タイムスタンプ付映像ストリーム615の配信を終了する。
図8は、本発明の第1の実施形態のバッファ情報とタイムスタンプ情報とによる映像同期を示すシーケンス図である。
図8において、配信/同期サーバ101は、映像ストリームが配信されているディスプレイ102と同じ映像ストリームが配信されているディスプレイ103に表示される映像を同期する。
まず、ディスプレイ102及びディスプレイ103は、配信/同期サーバ101にバッファ情報通知618−1及びバッファ情報通知618−2をそれぞれ送信する。次に、ある同一のタイムスタンプを持ったタイムスタンプ付映像ストリーム615−1及びタイムスタンプ付映像ストリーム615−2が、配信/同期サーバ1001からディスプレイ102及びディスプレイ103にそれぞれ送信される。
ディスプレイ102は、タイムスタンプ付映像ストリーム615−1を受信すると、タイムスタンプ付映像ストリーム615−1に含まれるタイムスタンプを抽出し、受信タイムスタンプ通知718−1を配信/同期サーバ101に送信する。さらに、タイムスタンプ付映像ストリーム615−1をデコードし、デコードされた映像ストリームを画面に表示すると同時に、表示タイムスタンプ通知717−2を配信/同期サーバ101に送信する。
一方、ディスプレイ103はタイムスタンプ付映像ストリーム615−2を受信すると、タイムスタンプ付映像ストリーム615−2に含まれるタイムスタンプを抽出し、受信タイムスタンプ通知718−2を配信/同期サーバ101に送信する。さらに、タイムスタンプ付映像ストリーム615−2をデコードし、デコードされた映像ストリームを画面に表示すると同時に、表示タイムスタンプ通知717−1を配信/同期サーバ101に送信する。
図8に示すディスプレイ102とディスプレイ103とによる各々のタイムスタンプ通知616の送信時刻がずれる理由は、ディスプレイ102及びディスプレイ103と配信/同期サーバ101との間のネットワーク遅延、及び、ディスプレイ102及びディスプレイ103におけるデコード遅延の時間が、各々異なるためである。
配信/同期サーバ101は、これらのネットワーク遅延及びデコード遅延を、後述する方法によって計算する。そして、これらを吸収するバッファサイズを、ディスプレイ102及びディスプレイ103それぞれについて計算し、それぞれ、バッファサイズ変更指示617−1及びバッファサイズ変更指示617−2としてディスプレイ102及びディスプレイ103に送信する。
ディスプレイ102及びディスプレイ103は、バッファサイズ変更指示617−1及びバッファサイズ変更指示617−2に基づいてバッファサイズを変更し、結果として映像ストリームが表示される時刻がディスプレイ102とディスプレイ103とにおいて同期する。
(送受信データ)
図9Aは、本発明の第1の実施形態の配信/同期サーバ101とディスプレイの間で送受信されるタイムスタンプ付映像ストリーム615のパケット形式を示す説明図である。
図9Bは、本発明の第1の実施形態の配信/同期サーバ101とディスプレイの間で送受信されるタイムスタンプ付映像ストリーム615以外のパケット形式を示す説明図である。
図9A及び図9Bは、前述の配信/同期サーバ101とディスプレイ102及びディスプレイ103との間で送受信されるパケットの形式を示す。なお、送信先アドレス、及び送信元アドレスなどパケットの送受信自体に必要な情報は、パケットのヘッダに含まれ、図9A及び図9Bにおいては、このヘッダに関する記載は省略され、ペイロード部分のみが示される。しかし、当然ながら、これらの送受信自体に必要な情報が、ペイロードに含まれてもよい。
また、パケットに含まれる情報の順序は、図9A及び図9Bに示す順序に限るものではなく、異なる順序でもよい。また、タイムスタンプを前のパケットのタイムスタンプから推定するなどによって、他のデータから推定が可能な情報は、省略されてもよい。他のデータから推定が可能な情報を省略することによって、例えば、パケットの転送量が低減される。
タイムスタンプ付映像ストリーム615−1及びタイムスタンプ付映像ストリーム615−2は、タイムスタンプ1101を映像データ1102に付加したパケットである。図9Aに示すタイムスタンプ1101は、映像データ1102と分離された形式であるが、映像データ1102に含まれてもよい。なお、タイムスタンプ1101の構成方法は、後述する機能ブロック構成において示される。
次に、図9Bを用いて、タイムスタンプ付映像ストリーム615以外のパケットの形式を述べる。タイムスタンプ付映像ストリーム615以外のパケットは、機器ID1103、種別1104、及び値1105を含む。
機器ID1103は、パケットの送信元又は送信先のディスプレイを示す識別子であり、例えば、機器名、アドレス、及び番号などである。種別1104は、パケットの種類を示す。図9Bに示す種別1104は、種類1108に示すパケットの種類を一意に識別する識別子が含まれる。
値1105は、配信/同期サーバ101とディスプレイとの間で、送受信される通知に含まれるタイムスタンプ又はバッファサイズの値を示す。値1105のタイムスタンプは、タイムスタンプの値を示すシリアルナンバーでもよいし、時刻を示せばいかなる形式でもよい。
図9Bに示す備考1106は、本実施形態におけるパケットの種類を示す。備考1106は、パケット内容には含まれない。方向1107は、パケットの送受信の方向を示し、種類1108は、パケットの種類を示す。方向1107及び種類1108は、それぞれ、図7及び図8に示される配信/同期サーバ101とディスプレイとの間の通信の方向及び種類に一致する。
(ソフトウェア構成:サーバ)
図10は、本発明の第1の実施形態の配信/同期サーバ101のソフトウェアの機能を示すブロック図である。
図10に、配信/同期サーバ101のプログラムにおける機能ブロック構成を示す。配信/同期サーバ101を用いて同期する場合、まず、配信/同期サーバ101は、ディスプレイ102及びディスプレイ103に映像ストリームの配信を開始し、その後、ディスプレイ102及びディスプレイ103を同期する。以下に、その同期の際の配信/同期サーバ101における機能を説明する。
まず、映像ストリームを配信するために、制御情報418が、ディスプレイ102及び/又はディスプレイ103から送信され、制御通信部401を介して配信/同期サーバ101全体の機能を制御する全体制御部402に配信制御情報424として伝えられる。制御情報418は、配信開始要求612及び配信終了要求619を含む。
全体制御部402は、制御情報418、すなわち配信制御情報424に含まれる要求内容に従って、映像記憶部404から映像ストリーム423を参照し、タイムスタンプ付加部405によって、参照された映像ストリーム423にタイムスタンプ情報を付加する。全体制御部402は、タイムスタンプ情報を付加された映像ストリーム423(タイムスタンプ付映像ストリーム422)を配信部406に送り、配信部406からタイムスタンプ付映像ストリーム615としてディスプレイ102及び/又はディスプレイ103に配信する。
ここで配信部406は、一定のビットレートによってデータを送信するなど、タイムスタンプ付映像ストリーム615が正しくディスプレイ102及び/又はディスプレイ103に配信されるように、配信を制御する。
また、タイムスタンプ付加部405は、タイムスタンプ生成部403から送られた送信側タイムスタンプ421を映像ストリーム423に付加する。タイムスタンプ生成部403は、映像ストリーム423がどの時刻に配信されたかを特定する時刻情報をタイムスタンプとして生成する。タイムスタンプ生成部403は、時刻情報として、例えば、配信/同期サーバ101の時計情報、又は、一定の周期においてカウントアップするカウンタの値を用いる。なお、送信側タイムスタンプ421は、遅延時間計算部409にも送られる。
前述の手順に従って映像ストリームが配信される状態において、配信/同期サーバ101は、ディスプレイ102及びディスプレイ103を同期する。ディスプレイ102及びディスプレイ103は、前述のタイムスタンプ付映像ストリーム615を受信した際に、受信された映像ストリームに含まれるタイムスタンプ情報を受信タイムスタンプ通知718、すなわちタイムスタンプ通知616として配信/同期サーバ101にそれぞれ送信する。
また、ディスプレイ102及びディスプレイ103は、映像が表示された際も、表示された映像に対応する映像ストリームに含まれるタイムスタンプ情報を表示タイムスタンプ通知717、すなわちタイムスタンプ通知616として配信/同期サーバ101にそれぞれ送信する。
配信/同期サーバ101は、このようにディスプレイ102及びディスプレイ103から送信されたタイムスタンプ通知616を、タイムスタンプ受信部408において受信する。そして、タイムスタンプ生成部403からの送信側タイムスタンプ421とタイムスタンプ受信部408からの各機器のタイムスタンプ416とを用いて、遅延時間計算部409によって各機器の遅延情報415(各ディスプレイのネットワーク遅延時間及びデコード遅延時間)を後述する方法によって算出する。
また、ディスプレイ102及びディスプレイ103は、バッファ情報通知618(バッファの最小サイズ、最大サイズ、及び現在のサイズなど)をバッファ情報受信部407に送信する。配信/同期サーバ101は、送信されたバッファ情報通知618をバッファ情報受信部407において受信し、受信したバッファ情報通知618を、バッファ情報管理部410に各機器のバッファ情報420として送る。
バッファ情報管理部410は、各機器のバッファ情報420と各機器の遅延情報415を管理する。バッファ情報管理部410は、各機器のバッファ情報420と、遅延時間計算部409によって算出された各機器の遅延情報415とに基づいて、後述する方法によって、ディスプレイ102及びディスプレイ103が同期するようなバッファサイズを各ディスプレイについて算出する。そして、算出したバッファサイズを、各機器バッファサイズ417としてバッファ制御指示送信部411に送る。バッファ制御指示送信部411は、送られた各機器バッファサイズ417をバッファサイズ変更指示617としてディスプレイ102及びディスプレイ103に送信する。
なお、本実施形態においては、映像ストリームへのタイムスタンプの付加の処理は、タイムスタンプ付加部405において行われたが、配信部406において行われてタイムスタンプ付加部405を省略してもよい。
また、配信/同期サーバ101は、あらかじめ配信する映像ストリームにタイムスタンプ情報を記録しておき、配信部406においてタイムスタンプ付映像ストリーム422から送信側タイムスタンプ421を抽出して、抽出した送信側タイムスタンプ421を遅延時間計算部409に送ってもよい。この場合、タイムスタンプ生成部403及びタイムスタンプ付加部405を省略した構成(タイムスタンプ生成省略構成)でもよい。この場合、例えばタイムスタンプ付映像ストリーム615を配信する既存の配信ソフトウェアを利用し、同期処理を行うソフトウェアを追加することによって本実施形態の同期システムは構成されてもよい。
また、図10に示す、バッファ情報受信部407、タイムスタンプ受信部408、遅延時間計算部409、バッファ情報管理部410、及びバッファ制御指示送信部411を、その他の機能とは別の装置において実装し、映像ストリームの配信とディスプレイ間の同期とを、別の装置において実施する構成(配信/同期分離構成)としてもよい。
配信/同期分離構成によって、配信する機能を持つ既存のサーバ装置に、同期用の装置を付加することで本実施形態を構成することができる。
また、配信/同期分離構成によって、本実施形態のシステムは、応答性が改善され、分散処理を行うことが可能となる。
配信/同期分離構成において、タイムスタンプ生成部403は、配信装置と同期装置とのどちらに実装されてもよい。配信/同期分離構成において、配信装置及び同期装置は、タイムスタンプ生成部403が置かれた装置から置かれなかった装置にタイムスタンプ情報を通知する機能(タイムスタンプ生成部403が置かれた装置にタイムスタンプ情報通知部、置かれなかった装置にはタイムスタンプ情報受信部)を追加される。
配信/同期分離構成を、前述のタイムスタンプ生成省略構成において実施する場合には、配信装置において配信部406がタイムスタンプ生成部403に代わってタイムスタンプ情報を生成し、追加されたタイムスタンプ情報通知部を用い、同期装置にタイムスタンプ情報を通知する。そして、同期装置側では追加されたタイムスタンプ情報受信部によって同期装置から通知されたタイムスタンプ情報を受信し、タイムスタンプ生成部403に代わって遅延時間計算部409に送る。
また、映像ストリームに含まれるタイムスタンプ情報としては、既存のものに、地上デジタルテレビジョン放送におけるMPEG−2 TS(Transport Stream)パケットに含まれるPCR(Program Clock Reference)の情報、又は通信回線を用いたデジタル放送におけるMPEG−2 TTS(Timestamped Transport Stream)パケットに含まれるタイムスタンプ情報があるが、これらを本実施形態における映像ストリームに含まれるタイムスタンプ情報として用いてもよい。既存のタイムスタンプ情報を用いることによって、既存システムから本実施形態のシステムへの変更コストを減らすことができる。
(ソフトウェア構成:ディスプレイ)
図11は、本発明の第1の実施形態のディスプレイのソフトウェアの機能を示すブロック図である。
ディスプレイ102とディスプレイ103との映像を同期するには、まず配信/同期サーバ101は、ディスプレイ102及びディスプレイ103に映像ストリームの配信を開始し、その後、ディスプレイ102及びディスプレイ103を同期する。以下、図10と同じく、配信及び同期をする際のディスプレイ102又はディスプレイ103における動作について説明する。以下では簡単のため、ディスプレイ102を例に説明するが、ディスプレイ103においても同じ処理をする。
まず、ユーザからの操作指示(ユーザ入力529)は、図3に示す入力部306を通して入力受付部527において受け付けられる。受け付けられた操作ユーザ入力529は、制御情報528(操作指示)として全体を制御する全体制御部501に送られる。全体制御部501は、ユーザ入力529に含まれる操作指示に従って、ディスプレイ102を制御する。すなわち、ユーザはディスプレイを操作することができる。
そして、映像ストリームを受信する場合は、まず、映像ストリームの配信を開始するため、全体制御部501が配信制御情報525(配信開始要求612を含む)を制御通信部502に送る。制御通信部502は、配信制御情報525を、制御情報418として配信/同期サーバ101に送信する。制御情報418は、配信開始要求612及び配信終了要求619を含む。
配信/同期サーバ101は、前述のように、ディスプレイ102から通知された制御情報418に対応した、タイムスタンプ付映像ストリーム615の配信を開始する。
タイムスタンプ付映像ストリーム615をディスプレイ102が受信すると、ディスプレイ102は、映像ストリームのデータを蓄積するバッファ503にタイムスタンプ付映像ストリーム615を蓄積する。
バッファ503は、タイムスタンプ付映像ストリーム615から受信タイムスタンプ526を抽出し、抽出された受信タイムスタンプ526をバッファ制御部506に送る。バッファ制御部506は、送られた受信タイムスタンプ526を、受信タイムスタンプ516としてタイムスタンプ送信部508に送る。タイムスタンプ送信部508は、送られた受信タイムスタンプ516を、受信タイムスタンプ通知718、すなわちタイムスタンプ616として配信/同期サーバ101に送信する。
バッファ503は、受信したタイムスタンプ付映像ストリーム615の蓄積したデータの量をバッファ状態511として適宜、バッファ制御部506に送る。バッファ制御部506は、送られたバッファ制御部506に基づいて、バッファ503にバッファ制御指示512を、デコード処理部504にデコード指示519を送り、バッファ503からデコード処理部504へ蓄積しているタイムスタンプ付映像ストリーム523を送らせる。
デコード処理部504は、送られたタイムスタンプ付映像ストリーム523を復号し、表示部505によって表示できる映像データ形式に変換し、復号されたタイムスタンプ付映像ストリーム523をデコード済み映像ストリーム524として表示部505に送る。そして、デコード状況に従って、バッファの読み出し要求518をバッファ制御部506に送る。表示部505は、デコード処理部504から送られたデコード済み映像ストリーム524を表示する。
デコード処理部504は、表示部505にデコード済み映像ストリーム524を送る際に、送る映像データに対応する、元の映像ストリーム(タイムスタンプ付映像ストリーム523)のデータのタイムスタンプ情報を抽出し、表示タイムスタンプ510としてタイムスタンプ送信部508に送る。そして、タイムスタンプ送信部508は、表示タイムスタンプ通知717、すなわちタイムスタンプ通知616を配信/同期サーバ101に送信する。
以上によって、ディスプレイ102は、配信/同期サーバ101から映像ストリームを受信し、受信タイムスタンプ718及び表示タイムスタンプ717を配信/同期サーバ101に送信する。
ディスプレイ102は、さらに、バッファに関する情報を配信/同期サーバ101と送受信する。ディスプレイ102は、バッファ503からバッファ制御部506に送られたバッファ状態511を、バッファ情報517としてバッファ情報送信部507に送る。また、ディスプレイ102は、バッファ情報送信部507を介してバッファ情報517をバッファ情報通知618として配信/同期サーバ101に送信する。
バッファ状態511は、例えば、バッファの最大サイズ、最小サイズ、及び現在のサイズを含む。配信/同期サーバ101は、ディスプレイ102から送信されたバッファ情報通知618に対応したバッファサイズ変更指示617を、ディスプレイ102に送信する。ディスプレイ102は、バッファ制御指示受信部509を介してバッファ情報通知617を受信し、受信したバッファ情報通知617をバッファサイズ変更指示522としてバッファ制御部506に送る。
バッファ制御部506は、送られたバッファサイズ変更指示522に基づいてバッファ503に蓄積する映像ストリームデータのサイズをバッファ制御指示512によって変更する。また、同時に、バッファ制御部506は、バッファ503からデコード処理部504へタイムスタンプ付映像ストリーム523を送るタイミング、デコード処理部504においてデコードするタイミング、及び、表示部505へデコード済み映像ストリーム524を送るタイミングを変更する。
これらのバッファ制御部506による変更によって、結果として、表示部505において映像が表示されるタイミングが変更される。すなわち、バッファ制御部506は、バッファサイズ変更指示617に基づいて、表示部505における映像の表示タイミングを変更する。
タイミングを変更する際の映像の表示方法には、タイミングを遅らす場合、映像を一時停止させる方法、又は、あらかじめ定められたフレーム(画面)、前後近隣のフレーム、及び前後近隣のフレームから合成したフレームを挿入させる方法などがある。また、タイミングを早める場合、フレームをスキップさせる方法がある。
これらのように、表示するタイミングを変更する方法を、様々な方法から選択することによって、本実施形態は、同期処理をユーザから気づかれにくくし、快適な映像の視聴を実現したり、機器に要求される性能を減らすことによってコストを削減したり、ディスプレイの構成方法に柔軟性を増したりすることができる。
本実施形態における発明は、バッファサイズ変更指示617に基づいて表示時刻を調整する機能を持った処理部を持つこと、及び受信タイムスタンプ516と表示タイムスタンプ510とを抽出又は合成する処理部を持つことを特徴としており、機能ブロックの構成は、本実施形態において示す構成に限らない。例えば、デコード処理部504は、バッファ503又はバッファ制御部506を含んでもよいし、デコード処理部504は、受信タイムスタンプ526を抽出してもよい。
また、例えば、複数の処理部を一つのチップにハードウェアとして実装することによってディスプレイにおける処理の効率を改善することもできる。
また、受信タイムスタンプ516及び表示タイムスタンプ510の抽出は、結果として映像ストリームを受信する時及び表示する時に対応するタイムスタンプ情報が抽出されていればよく、例えば、受信タイムスタンプとディスプレイ内の時計から表示タイムスタンプ510を算出するなど、タイムスタンプ情報を合成することによって取得されてもよい。また、タイムスタンプ情報は、必ずしも受信した映像ストリームに含まれる形式そのままである必要はなく、例えば映像ストリームから抽出したタイムスタンプ情報の上位ビット又は下位ビットを切り出す、定数倍するなど、不要な情報の除去又は情報圧縮などによって加工されてもよい。タイムスタンプ情報が加工される場合、必要な通信量を抑制することが可能である。
(同期方法)
(同期方法:表示ずれの計算方法)
前述の構成によって、図1に示す配信/同期サーバ101が、ディスプレイ102とディスプレイ103との同期をどのように取るかについて述べる。
図12は、本発明の第1の実施形態の配信/同期サーバ101が受信するタイムスタンプ通知616の遅延時間を説明する図である。
まず、図12を用い、ディスプレイ102及びディスプレイ103において、どのくらい映像の表示がずれているかを検知する方法を説明する。図12に示す下向きの矢印は時間経過を示す。
タイムスタンプ付映像ストリーム615−1は、配信/同期サーバ101を時刻t0(1226)にディスプレイ102に送信され、時刻t0(1226)のタイムスタンプを含み、ネットワーク伝送遅延Δtn1(1204)を経過してからディスプレイ102に届く。ディスプレイ102は、受信したタイムスタンプ付映像ストリーム615−1に含まれる時刻t0(1226)のタイムスタンプを、受信タイムスタンプ通知718−1として配信/同期サーバ101に送信する。受信タイムスタンプ通知718−1は、ネットワーク伝送遅延Δtn1(1208)経過した時刻tn1(1210)に配信/同期サーバ101に届く。
また、ディスプレイ102は、タイムスタンプ付映像ストリーム615−1をデコードし、デコード遅延Δtd1(1201)経過後の映像表示時刻(1)1202に、ディスプレイ102の表示部304に映像を表示する。映像を表示するのと同時に、ディスプレイ102は、タイムスタンプ付映像ストリーム615−1に含まれる時刻t0(1226)のタイムスタンプを表示タイムスタンプ通知717−1として配信/同期サーバ101に送信する。表示タイムスタンプ通知717−1は、ネットワーク伝送遅延Δtn1(1208)経過した時刻td1(1212)に配信/同期サーバ101に届く。
同様に、タイムスタンプ付映像ストリーム615−2は、配信/同期サーバ101を時刻t0(1226)にディスプレイ103に送信され、時刻t0(1226)のタイムスタンプを含み、ネットワーク伝送遅延Δtn1(1204)と同じとは限らないネットワーク伝送遅延Δtn2(1207)経過後にディスプレイ103に届く。ディスプレイ103は、受信したタイムスタンプ付映像ストリーム615−2に含まれる時刻t0(1226)のタイムスタンプを、受信タイムスタンプ通知718−2として配信/同期サーバ101に送信する。受信タイムスタンプ通知718−2は、ネットワーク伝送遅延Δtn2(1203)経過した時刻tn2(1209)に配信/同期サーバ101に届く。
また、ディスプレイ103は、タイムスタンプ付映像ストリーム615−2をデコードし、デコード遅延Δtd1(1201)と同じとは限らないデコード遅延Δtd2(1205)経過後に映像表示時刻(2)1206に、ディスプレイ103の表示部304に映像を表示する。映像を表示するのと同時に、タイムスタンプ付映像ストリーム615−2に含まれる時刻t0(1226)のタイムスタンプを表示タイムスタンプ通知717−2として配信/同期サーバ101に送信する。表示タイムスタンプ通知717−2は、ネットワーク伝送遅延Δtn2(1203)経過した時刻td2(1211)に配信/同期サーバ101に届く。
なお、ネットワーク伝送遅延の短時間における変化は、無視できる程度に小さいと仮定し、ネットワーク伝送遅延Δtn1(1208)=ネットワーク伝送遅延Δtn1(1204)、ネットワーク伝送遅延Δtn2(1207)=ネットワーク伝送遅延Δtn2(1203)であるとする。また、デコード遅延Δtd1(1201)とデコード遅延Δtd2(1205)は、それぞれのディスプレイにおけるバッファリングの時間も含むものとする。
配信/同期サーバ101は、配信/同期サーバ101において得られる情報である時刻t0(1226)、tn1(1210)、td1(1212)、tn2(1209)、及びtd2(1211)に基づいて、ネットワーク伝送遅延、及びデコード遅延に加え、ディスプレイ102における映像表示時刻(1)1202とディスプレイ103における映像表示時刻(2)1206との時刻のずれΔt(1213)を、以下のように算出できる。
ネットワーク伝送遅延Δtn1(1208)=(tn1(1210)−t0(1226))/2
デコード遅延Δtd1(1201)=td1(1212)−tn1(1210)
ネットワーク伝送遅延Δtn2(1207)=(tn2(1209)−t0(1226))/2
デコード遅延Δtd2(1205)=td2(1211)−tn2(1209)
従って、
Δt(1213)=(td1(1212)−tn1(1210)/2)−(td2(1211)−tn2(1209)/2)
よって、配信/同期サーバ101及びディスプレイは、Δt(1213)が0となるように調整すれば、ディスプレイ102とディスプレイ103との映像の表示を同期できる。図10に示す遅延時間計算部409がこれらを算出し、各機器の遅延情報415としてバッファ情報管理部410に保存する。
各機器の遅延情報415のうち、ネットワーク伝送遅延及びデコード遅延は、各ディスプレイにおいて同一の映像ストリームから算出される必要はなく、例えばディスプレイ102においてはある映像ストリームから、ディスプレイ103においては別の映像ストリームからそれぞれ算出されてもよい。これは、例えば、同期させたい二つのディスプレイの組み合わせが変更された場合に、それぞれのディスプレイにおいて、以前に適当な映像ストリーム(ディスプレイ毎に異なってよい)によって算出された各機器の遅延情報415を用いて、映像を配信する前から表示タイミングのおよその同期を行うことができることを意味する。
(同期方法:表示ずれの補正方法)
図11に示したように、ディスプレイ102及びディスプレイ103は、配信/同期サーバ101からバッファサイズ変更指示617を送信されることによって、映像が表示されるタイミングをずらすことができる。これは、図12に示すデコード遅延Δtd1(1201)及びデコード遅延Δtd2(1205)の大きさを、バッファサイズ変更指示617によって変えることができることを意味する。
また、図10に示したように、各ディスプレイは、バッファ情報通知618を図9に示した形式によって配信/同期サーバ101に送信しており、配信/同期サーバ101は、各機器のバッファ情報420としてバッファ情報管理部410にバッファ情報通知618を保存する。すなわち、配信/同期サーバ101は、ディスプレイ102及びディスプレイ103においてどの程度バッファサイズを変更することができるかの情報を保管する。
そのため、配信/同期サーバ101は、各ディスプレイにおいてバッファサイズを変更できる範囲内で、バッファを変更し、その後、デコード遅延Δtd1(1201)及びデコード遅延Δtd2(1205)を算出することによって、バッファサイズの変更量とデコード遅延の変化量との対応を取得することができる。
バッファサイズを増やす場合、バッファにためられる映像ストリームの量が増えるため、映像ストリームが平均的に一定であれば、バッファサイズの変更量と遅延の変化量すなわち映像が表示されるタイミングの変化量とは、比例する。従って、あらかじめこのバッファサイズの変更量と遅延の変化量との比率をディスプレイ毎に算出して、配信/同期サーバ101に保管しておけば、ディスプレイ102における映像表示時刻(1)1202とディスプレイ103における映像表示時刻(2)1206との時刻のずれΔt(1213)が与えられた場合に、各ディスプレイのバッファサイズをどの程度変更すればその後のΔt(1213)を0にできるかを見積もることができる。
そして、配信/同期サーバ101は、バッファサイズ変更指示617をディスプレイ102及びディスプレイ103に送信して、ディスプレイ毎に見積もったバッファサイズに変更することによって、Δt(1213)を0にすることができる。すなわち、ディスプレイ102とディスプレイ103とにおいて表示される映像を同期できる。
なお、Δt(1213)を0ではない一定の値にして、映像を表示する時刻をずらすように同期してもよい。一定の値、時刻をずらすことによって、例えば、電車等において移動時に、窓の外の複数のディスプレイによって同一映像を継続的に視聴すること、又は街頭ディスプレイにおいて見逃した映像の部分を、手元の携帯端末のディスプレイによって確認するといったことが可能になる。
図13は、本発明の第1の実施形態のバッファ情報管理部410における格納データを示す説明図である。
前述の通り、配信/同期サーバ101は、図13に示す情報を取得することができ、図10に示すバッファ情報管理部410において保管することによって、ディスプレイ102とディスプレイ103とにおいて表示される映像を同期できる。
図13に示す機器ID1301は、ディスプレイを区別するための識別子であり、ネットワーク伝送遅延1302は、そのディスプレイまでのネットワーク伝送遅延時間であり、デコード遅延1303は、そのディスプレイにおけるバッファリング時間を含めたデコード遅延時間であり、遅延時間/バッファサイズ変化率は、前述したバッファサイズの変更量と遅延の変化量との比率である。また、最大バッファサイズ1305、現在バッファサイズ1306、及び最小バッファサイズ1307は、バッファ情報通知618されたそのディスプレイのバッファに関する情報である。
なお、映像ストリームのビットレートが変化する場合など、バッファサイズの変更量とデコード遅延の変化量すなわち映像が表示されるタイミングの変化量とは比例しない場合は、配信/同期サーバ101は、ディスプレイに任意の量のバッファサイズ変更指示617(たとえば100キロバイトなど)を送り、そのときのデコード遅延時間の変化量を、次のバッファサイズ変更指示617の量にフィードバックすることによって、徐々にΔt(1213)を0に近づけることができる。
(同期方法:複数台のディスプレイ)
前述によって、2台のディスプレイの間の映像を同期する方法を説明したが、3台以上のディスプレイの間であっても、どれか一つのディスプレイの映像表示時刻、又は、その映像表示時刻から一定時間ずれた時刻を基準にし、その基準とした時刻に、全てのディスプレイにおいて表示が始まる時刻が同期されるように、前述の同期方法を用いれば、本発明は、全てのディスプレイにおける表示を同期することができる。
このように3台以上のディスプレイを同期する場合、バッファ情報通知618によって通知されるバッファに関する情報に基づいて、配信/同期サーバ101は、どのディスプレイからどれだけずれた時刻を基準にするかを各々のディスプレイにおいて選択してもよい。この場合、本発明は、各ディスプレイにおいて調整できる時刻の範囲が、バッファ情報通知618によって通知されるバッファに関する情報によって限定されるので、全てのディスプレイにおいてもっとも実現しやすい基準時刻を選択することができる。
さらに、一部のディスプレイにおける基準時刻が、調整できる時刻の範囲から外れている場合は、全てのディスプレイにおいて表示を同期させるのではなく、1台又は複数台のディスプレイから構成されるグループに基準時刻を一つ設定し、一つ又は複数のグループが他のグループと異なる基準時刻に表示を同期させる構成でもよい。このようにすることによって、ある空間的な範囲において表示が同期できるような、ディスプレイの場所にあわせた同期をすることができる。
(デコード遅延が無視できる場合)
各ディスプレイにおけるデコード遅延が無視できる程度に小さい場合、ディスプレイは配信/同期サーバ101に、一回のみタイムスタンプ通知616を送信すればよい。すなわち、表示タイムスタンプ通知717の送信タイミングと、受信タイムスタンプ通知718とが、ほぼ一致するため、タイムスタンプ通知616は、受信タイムスタンプ通知718のみとみなすことができる。
そして、図12に示す記号を用いて、Δtは、以下の計算式によって算出される。
Δt≒(tn1(1210)−tn2(1209))/2
このため、デコード遅延が無視できる程度に小さい場合、配信/同期サーバ101は、上記のΔtが一定の時間となる、各々のディスプレイのバッファサイズを取得し、各々のディスプレイにバッファサイズ変更指示617を送信する。
以下に、第1の実施形態の効果を説明する。
第1の実施形態によれば、各ディスプレイにおける時刻を合わせる必要なく、複数のディスプレイ間で映像を同期することができる。このため、ディスプレイの時計を基準にした同期システムに比べ、同期の前提において必要となるディスプレイ及び配信/同期サーバ101における時刻同期処理をなくすことができる。また、配信/同期サーバ101の時計のみを基準にした同期であるため、各装置での時計のばらつきによる悪影響をなくすことができる。さらにタイムスタンプを用いた同期であるので、ディスプレイにおいて同期のための時計が不要となる。
また、ディスプレイ側において映像を表示するタイミングを調整して同期するため、マルチキャストのようなサーバ送出タイミングをディスプレイ毎に変えることができないような配信方法にも対応可能となる。
さらに、各ディスプレイにおけるネットワーク遅延時間及びデコード遅延時間をサーバが把握する効果があり、これらの情報を用いて、配信方法(符号化方法、ビットレート又は配信経路)を変更したり、ネットワーク状況及び視聴状況を調査したりすることが可能となる。
また、ディスプレイにおける映像を表示するタイミングを配信/同期サーバ101側によって設定できるため、一部のディスプレイの表示を他のディスプレイからずらすこともでき、ネットワーク、ディスプレイ周辺状況、及びユーザの要求などに合わせた多様な映像表示が可能となる。
<第2の実施形態>
第2の実施形態は、前述の第1の実施形態を利用して、複数のディスプレイの中から、ユーザが操作したいディスプレイを選択するものである。
図14は、本発明の第2の実施形態のシステム構成を示す説明図である。
図1に示すシステム構成とは異なり、図14に示すシステム構成は、ディスプレイの数を増やし、操作端末1402が追加された構成である。
配信/同期サーバ1401と操作端末1402と、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405とは、ネットワーク1406を通して接続される。ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405は、第1の実施形態において説明した方法によって操作端末1402の画面内の一部分の表示と同期される。第1の実施形態と異なり、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405の間は、必ずしも同期される必要はない。
なお、図14において、操作端末1402には携帯型の端末を用いることを想定し、ネットワーク1406との接続には無線イーサネット接続を用いることを想定した。しかし、第1の実施形態と同じく、ネットワーク1406の接続方法は、例えば有線接続を用いるなど、無線イーサネット接続を用いることに限定されない。
なお、ここで操作端末1402、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405は、第1の実施形態に示すディスプレイ102、ディスプレイ103と同様のハードウェア及びソフトウェア構成をとる装置とし、配信/同期サーバ1401も、第1の実施形態に示す配信/同期サーバ101と同様の構成である。第2の実施形態の各装置が、第1の実施形態の装置から変更又は拡張が必要な部分を、後述に示す。
第2の実施形態は、操作端末1402の使用方法に特徴がある。図14に示す操作端末1402の画面構成について示す。
操作端末1402の画面は、左右に分割されており、左側に操作用画面、右側に第1の実施形態に示す方法を用いてディスプレイ1403、ディスプレイ1404、及びディスプレイ1405の画面と同期した映像が表示される。操作端末1402の画面の右側は、操作する対象となるディスプレイを選択するための画面である。
まず、ユーザは、操作端末1402の画面の右側に表示された、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405と同期した映像を用いて、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405のいずれを操作するかを選択する。そして、ユーザは、画面の左側の操作用画面を用いて、選択されたディスプレイを操作する。
なお、この操作用画面を省略し、操作端末1402の入力装置(キーボード等)を用いる構成をとることによって、ユーザにとって使いやすくしてもよく、また、操作端末を作成するためのコストが削減されてもよい。また、操作端末1402は、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405すべての映像を表示するのではなく、一部のディスプレイの映像を同期して表示し、ユーザにとって興味がある映像にだけ同期処理を用いることによって、通信帯域を節約してもよい。
図15は、本発明の第2の実施形態の操作端末1402におけるディスプレイ選択の処理手順を示すフローチャートである。
図16は、本発明の第2の実施形態の配信/同期サーバ1401におけるディスプレイ選択の処理手順を示すフローチャートである。
以下、操作端末1402と配信/同期サーバ1401とにおける処理について、図15及び図16、さらに図10及び図11を用いて説明する。
開始状態(S1501、S1601)から前述の画面選択及び操作を行う場合、まず、操作端末1402は、操作端末情報1513を配信/同期サーバ1401に送信する(S1502)。操作端末情報1513は、図11に示す全体制御部501、及び制御通信部502によって制御情報418として送信される。配信/同期サーバ1401は、図10に示す制御通信部401及び全体制御部402によって、操作端末情報1513、すなわち制御情報418を受信する(S1602)。以下、操作端末1402から配信/同期サーバ1401への情報は、特に言及しない限り同じ経路によって送信される。
図10に示す配信/同期サーバ1401において、全体制御部402は、バッファ情報管理部410を参照し、操作端末1402の操作対象の選択肢となるディスプレイを決定する(S1603)。
このディスプレイを決定する方法としては、例えば、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405全てを選択する方法でもよい。
また、ディスプレイを決定する別の方法としては、操作端末1402にユーザをあらかじめ登録し、登録されたユーザが選択対象にするディスプレイをあらかじめ選択対象情報として保存しておくことによって、登録されたユーザが用いられた際に選択対象情報を読み出して指定されているディスプレイが選択対象とされてもよい。
この方法を採る場合、操作端末1402は、ユーザを登録するためのユーザ情報、及び選択対象情報を保存する処理部を、図11に示すシステム構成の他に追加される必要がある。
また、ディスプレイを決定する別の方法としては、操作端末1402が、操作端末情報1513に位置情報を含め、操作端末情報1513を配信/同期サーバ1401に送信し、配信/同期サーバ1401が、あらかじめ登録してあるディスプレイの位置情報と照合して近いもの、すなわち操作端末1402を用いているユーザの目に入るものに限定してもよい。
この方法を採る場合、操作端末1402は、図3及び図11に示す装置及び機能を備えるだけではなく、位置情報を取得する装置及び機能を備える必要がある。また、ディスプレイも、図10に示す機能だけではなく、位置情報を記憶する機能が必要となる。
なお、これらのディスプレイを決定する方法を用いるために、配信/同期サーバ1401、図11に示す機能だけではなく、それぞれの方法によってディスプレイを決定する処理部が必要である。
配信/同期サーバ1401における全体制御部402は、このようにして決定されたディスプレイをディスプレイ情報1514として、制御通信部401を介して制御情報418として操作端末1402に送信する(S1604)。操作端末1402は、制御通信部502を介して、全体制御部501によって受信する(S1503)。以下、配信/同期サーバ1401から操作端末1402への情報は、特に言及しない限り同じ経路によって送信される。
操作端末1402と配信/同期サーバ1401とは、受信したディスプレイ情報1514に基づいて、第1の実施形態に示す同期処理を行う(S1505、S1605)。操作端末1402は、それらの同期処理の結果に基づいて、操作端末1402に表示する画面を構成する(S1506)。
なお、操作端末1402と配信/同期サーバ1401とは、同期処理(S1505、S1605)において、主に操作端末1402側のバッファを調整することによって、ディスプレイにおける映像表示への影響を減らしてもよい。また、同期処理は、必ずしもこのS1505における処理のみによって完結する必要はなく、画面構成処理(S1506)の前に適宜行われるようにし、これによって同期にかかる時間を節約してもよい。
後述するディスプレイ操作結果1515が、操作端末1402によって受信(S1504)された場合、操作端末1402は、ディスプレイ操作結果1515を、画面構成処理(S1506)に反映する。なお、画面構成処理(S1506)のため、操作端末1402は、図11に示すデコード処理部504と表示部505との間に、画面の構成及び配置を決定する画面構成処理部を追加で備える必要がある。
この画面構成処理(S1506)は、ディスプレイの表示部304に複数の映像を配置して表示する処理であり、例えば画面を同じ大きさに分割して、分割した画面それぞれに映像を表示するほか、それぞれの映像の大きさを変えることによって重要度を表現したり、空間的な配置に同期したディスプレイとの位置関係を、映像に反映させたり、映像をオーバーラップさせて重要度、又はディスプレイとの位置関係などを表現したりしてもよい。
また、画面の表示方法は、画像を画面に描画するプログラムが作成されることによって実現される方法、又はインターネットブラウザによるWebページとして実現される方法など、いずれの方法でもよい。
続いて、操作端末1402は、後述する処理(S1511)によって終了状態になっているか否かを判定し(S1507)、終了状態である場合、処理を終了する(S1512)。終了状態でない場合、操作端末1402は、S1502に戻ると同時に、ユーザからの入力を受け付ける。操作端末1402は、ユーザからの入力として、ディスプレイ選択/操作情報1516を受け付ける(S1508)。そして、操作端末1402は、ディスプレイ1403、ディスプレイ1404、及びディスプレイ1405のいずれへの操作であるかと、どのような操作であるかとを、ディスプレイ操作情報1517として配信/同期サーバ1401に送信する(S1509)。
配信/同期サーバ1401は、ディスプレイ操作情報1517を受信する(S1606)。配信/同期サーバ1401は、ディスプレイ操作処理を行い(S1607)、操作端末1402にディスプレイ操作結果1515を送信する(S1608)。操作端末1402は、ディスプレイ操作結果1515を受信する(S1504)。
操作端末1402は、ユーザからの入力として、ディスプレイ操作終了指示1518を受け付ける(S1510)と、ディスプレイ操作終了通知1519を配信/同期サーバ1401に送信するとともに、操作端末1402の状態を終了状態にする(S1511)。そして、操作端末1402は、S1507の判定によって処理を終了する(S1512)。
S1510におけるユーザからの入力は、S1502〜S1508の処理が実行されている間、常に受けつけられていてよく、S1502〜S1508の処理と非同期であってよい。
配信/同期サーバ1401はディスプレイ操作終了通知1519を受信すると(S1611)、操作端末1402への配信を終了し、終了状態にする(S1612)。なお、配信/同期サーバ1401は、ディスプレイ操作結果送信(S1608)の後に終了状態判定を行い(S1609)、終了状態である場合、処理を終了し(S1610)、終了状態でない場合、S1602に戻って処理を継続する。
なお、ディスプレイ操作処理(S1607)は、ディスプレイ1403、ディスプレイ1404又はディスプレイ1405へのユーザ入力によって実行されてもよい。この場合、配信/同期サーバ1401は、ディスプレイに操作情報を送信する操作送信部を追加される必要がある。また、ディスプレイは、配信/同期サーバ1401から送信された操作情報を受信する操作受信部を追加される必要がある。ディスプレイにおける操作受信部は、ネットワーク1406から操作情報を受信し、入力受付部527と同じ動作をする。
また、配信/同期サーバ1401は、映像配信終了及び関連情報取得などを操作してもよい。この場合、配信/同期サーバ1401は、映像配信終了及び関連情報取得などの処理を行う部分を追加される必要がある。
以下に、第2の実施形態の効果を説明する。
ディスプレイを選択する場合に、ディスプレイの表示への影響をなく(又は少なく)することができるため、他のユーザが見ているディスプレイを選択する方法として好適である。また、画面に表示されている内容に基づいて、ディスプレイを選択するため、ディスプレイについての位置又は名前などの事前情報がない状態においても、対象ディスプレイを確認できる。また、直接対象ディスプレイを視認できない場合においても、ディスプレイの状態を確認することができ、選択することができる。
なお、第1及び第2の実施形態は、映像ストリームをコンテンツとして記述したが、当然ながら音声ストリーム、及びWebページ等、他のコンテンツであっても本発明は適用可能であり、本発明は映像ストリームに限った発明ではない。
<本発明が適用される具体例>
本発明を用いることで実現できる具体的なコンテンツ配信システムの例を挙げる。
一つの例として、スポーツスタジアムにおいて、大画面のディスプレイとユーザの携帯端末とにおいて、本発明を適用する。スポーツスタジアムにおいて、従来の大画面には例えばフィールド、選手、応援席、及び監督の様子などさまざまな映像が順番に、又は、画面分割されて一部分に表示される。しかしながら、ユーザの視聴したい映像は、一人一人異なるため、常にユーザの視聴したい映像が大画面に見やすく表示されるとは限らない。
そこで、本発明を適用した場合、ユーザは全体の様子を大画面によって確認しつつ、大画面と同期したユーザの選択した映像を、ユーザが持つ携帯端末によって視聴できるようになる。例えば大画面が視聴しづらい位置にいるユーザが、大画面の内容を携帯端末によって確認したり、ある特定のアングルから見た映像を選択したり、それら複数を携帯端末に表示して見比べたりすることができる。
また、大画面から一定時間ずれた映像を携帯端末において表示することによって、見逃したシーンを手元の端末によって見直すというような利用が可能となる。また、第2の実施形態に示す画面による選択を使用することによって、ユーザは、各映像の番号又は名前を意識することなく、視聴したい映像を携帯端末によって観ることができるため、先に挙げたような映像選択の手間を削減することができる。
別の例として、街頭ディスプレイを用いた広告配信(デジタルサイネージ)において本発明を適用する。ネットワークから映像配信を受けている街頭ディスプレイにおいて、近隣の複数のディスプレイにおいて、映像を同期することができるため、複数のディスプレイは、ある一つのコンテンツの各部分を分担して再生し、全体として一つのコンテンツを再生することができる。
また、一部のディスプレイの表示タイミングを変更することができるため、たとえばエスカレータにおいてユーザの位置が移動するのに合わせて、コンテンツが連続的に視聴できるように表示を調整することができる。
また、別の例として、街頭ディスプレイにユーザが持つ携帯端末を組み合わせてもよい。例えば、前方のディスプレイにおいて表示されている映像と、同一コンテンツの別の映像(例えば、別言語の映像、別の方向から撮影した映像、画面の一部分を切り出した映像、複数分割画面のうちの一つなど)をユーザが持つ携帯端末に同期して表示することによって、本発明のコンテンツ配信システムは、ユーザの興味に合わせたコンテンツを視聴させことができる。
また、表示タイミングをずらすことによって、例えば、前方のディスプレイの映像をユーザが持つ携帯端末に同期して表示し、必要な場合に巻き戻して見逃した部分を個別に見ることも可能になる。また、第2の実施形態に示す選択方法によって、周辺ディスプレイの映像から興味のある映像を選択して関連情報を選択することも可能となる。また、周辺のディスプレイの映像を視聴者の携帯端末上に複数再現し、自分の興味のある映像(例えば飲食店の宣伝)を選択して視聴し、そのディスプレイのある位置(例えば飲食店の建物の入り口)を探すことも可能となる。この場合、例えば利用者の位置情報からの相対的な各ディスプレイの位置に対応するように携帯端末の画面上に複数映像を同期表示することで、よりディスプレイを確認しやすくすることもできる。
家庭内において本発明を適用することもできる。家庭内においては、同一コンテンツを複数のディスプレイにおいて分割して表示(デュアルディスプレイ)したり、先に述べた同一コンテンツの別の映像(別言語など)を携帯端末において視聴することが可能となるほか、同期をずらすことによって見逃したシーンを携帯端末において確認したりすることができる。
また、別の部屋に移動するときに同期した映像をディスプレイ(移動元及び移動先)と携帯端末とにおいて表示することによって、連続的な視聴が可能となる。さらに、第2の実施形態に示す方法を用いることによって、家庭内の他のディスプレイの使用状況を確認したり、使われていないディスプレイを選択したりすることが可能となる。
また、第2の実施形態の方法を用いることによって、例えば、ノート型コンピュータの表示の出力先ディスプレイを、ディスプレイの型番等を調べることなく選択できるほか、そのディスプレイに設定することもできる。また、複数のディスプレイへのリモコンとして、操作対象のディスプレイを選択することもできる。
また、第2の実施形態において、映像ストリームではなく音声ストリームを用いて、外部の音声再生と同期して音声を再生する操作端末に、本発明を適用することができる。この場合、操作端末においては、ステレオスピーカ又はヘッドホン等によって再生された音声が聞こえる方向によって、外部の音声再生を選択するという方法、又は、外部の音声再生と同期して時分割によって再生された音声により時刻によって外部の音声再生を選択するという方法などが用いられる。
このような構成においては、前述の画面構成処理部に替えて複数再生音声配置部、表示部に代えて音声提示部(スピーカー又はヘッドホン等)を用いる。なお、複数再生音声配置部においては、前述の同期した複数の再生音声を、仮想的に空間上に配置して、ユーザが再生を聞いたときに、ユーザが音の聞こえるように感じる方向をそれぞれの再生音声によって変更したり、時間的に分割して再生する処理を行う。もちろん、映像ストリームに追加で、前述の音声に対しての処理を行ってもよく、結果として、画面を省略した構成をとったコンパクトな操作端末、及び、画面を必ずしも見る必要のない使いやすい操作端末を実現できる。
101…配信/同期サーバ
102…ディスプレイ
103…ディスプレイ
104…ネットワーク
201…CPU
202…記憶装置
203…通信部
204…共有バス
301…CPU
302…記憶装置
303…通信部
304…表示部
305…デコーダ
306…入力部
307…共有バス

Claims (14)

  1. コンテンツを配信する配信サーバと、ネットワークを介して前記配信サーバから前記コンテンツを配信され、前記コンテンツを表示する複数の前記再生装置とを備えるコンテンツ配信システムであって、
    前記配信サーバは、
    前記コンテンツにタイムスタンプを付加し、
    前記タイムスタンプが付加されたコンテンツを、前記各再生装置に配信し、
    前記各再生装置は、
    前記配信されたコンテンツを蓄積するバッファを備え、
    前記配信されたコンテンツに付加されたタイムスタンプを抽出し、
    前記抽出されたタイムスタンプを前記配信サーバに送信し、
    前記配信サーバは、
    前記送信されたタイムスタンプに基づいて、前記コンテンツを表示するために必要な前記各再生装置における遅延時間を算出し、
    第1の前記再生装置における遅延時間と、第2の前記再生装置における遅延時間とに基づいて、前記第1の再生装置と前記第2の再生装置とにおいて前記コンテンツを表示するタイミングをそれぞれ指定された時刻とするための、前記第1の再生装置に備わるバッファに蓄積されるデータ量を示す第1のバッファ量と、前記第2の再生装置に備わるバッファに蓄積されるデータ量を示す第2のバッファ量とを算出し、
    前記算出された第1のバッファ量を前記第1の再生装置に、前記算出された第2のバッファ量を前記第2の再生装置に、各々指示し、
    前記第1の再生装置及び前記第2の再生装置は、各々指示された前記第1のバッファ量及び前記第2のバッファ量に基づいて、各々に備わる前記バッファを設定することを特徴とするコンテンツ配信システム。
  2. 前記配信サーバは、前記第1の再生装置と前記第2の再生装置とにおいて前記コンテンツを表示するタイミングを同じ時刻とするための、前記第1の再生装置に備わるバッファに蓄積される第1のバッファ量と、前記第2の再生装置に備わるバッファに蓄積される第2のバッファ量とを算出することを特徴とする請求項1に記載のコンテンツ配信システム。
  3. 前記再生装置は、
    前記配信サーバによって配信されたコンテンツを受信した時に、前記抽出されたタイムスタンプを第1のタイムスタンプとして前記配信サーバに送信し、
    前記配信されたコンテンツを表示した時に、前記抽出されたタイムスタンプを第2のタイムスタンプとして前記配信サーバに送信し、
    前記配信サーバは、前記送信された第1のタイムスタンプおよび第2のタイムスタンプが示す時刻と、前記第1のタイムスタンプを受信した時刻と、前記第2のタイムスタンプを受信した時刻とに基づいて、前記再生装置における遅延時間を算出することを特徴とする請求項1に記載のコンテンツ配信システム。
  4. 前記配信サーバは、前記送信されたタイムスタンプが示す時刻と、前記配信サーバが前記送信されたタイムスタンプを受信した時刻との差によって、前記再生装置における遅延時間を算出することを特徴とする請求項1に記載のコンテンツ配信システム。
  5. 前記配信サーバは、
    前記再生装置における遅延時間と、前記再生装置に備わるバッファに蓄積されるバッファ量との、対応関係を保持し、
    前記指定された時刻に前記コンテンツを表示するために、必要な前記遅延時間を算出し、
    前記算出された遅延時間に対応する前記バッファ量を、前記対応関係から取得し、
    前記取得されたバッファ量を、前記再生装置に指示することを特徴とする請求項1に記載のコンテンツ配信システム。
  6. 前記再生装置は、
    前記バッファ量を指示された複数の再生装置におけるコンテンツを表示し、
    前記表示されたコンテンツが選択されることによって、前記選択されたコンテンツを表示する再生装置を選択することを特徴とする請求項1に記載のコンテンツ配信システム。
  7. ネットワークを介して配信サーバからタイムスタンプを付加されて配信されたコンテンツを表示する再生装置であって、
    前記配信されたコンテンツを蓄積するバッファを備え、
    前記配信されたコンテンツに付加されたタイムスタンプを抽出し、
    前記配信されたコンテンツを表示する時に、前記抽出されたタイムスタンプを前記配信サーバに送信し、
    前記タイムスタンプに基づいて算出された、前記バッファに蓄積されるデータ量を示すバッファ量を、前記配信サーバから指示され、
    前記指示されたバッファ量に基づいて、前記バッファを設定することを特徴とする再生装置。
  8. 前記配信サーバは、当該再生装置と他の前記再生装置とにおいて前記コンテンツを表示するタイミングを同じ時刻とするための、当該再生装置に備わるバッファに蓄積される第1のバッファ量と、他の再生装置に備わるバッファに蓄積される第2のバッファ量とを、当該再生装置から送信されたタイムスタンプと他の再生装置から送信されたタイムスタンプとに基づいて、算出し、
    前記再生装置は、前記算出された第1のバッファ量に基づいて、前記バッファを設定することを特徴とする請求項7に記載の再生装置。
  9. 前記再生装置は、
    前記配信サーバによって配信されたコンテンツを受信した時に、前記抽出されたタイムスタンプを第1のタイムスタンプとして前記配信サーバに送信し、
    前記配信されたコンテンツを表示した時に、前記抽出されたタイムスタンプを第2のタイムスタンプとして前記配信サーバに送信し、
    前記配信サーバによって、前記タイムスタンプが示す時刻と、前記第1のタイムスタンプを受信した時刻と、前記第2のタイムスタンプを受信した時刻とに基づいて算出された前記バッファ量を、指示されることを特徴とする請求項7に記載の再生装置。
  10. 前記再生装置は、
    前記バッファ量を指示された再生装置におけるコンテンツを表示し、
    前記表示されたコンテンツが選択されることによって、前記選択されたコンテンツを表示する再生装置を選択することを特徴とする請求項9に記載の再生装置。
  11. コンテンツを再生する複数の再生装置とネットワークを介して接続され、前記再生装置に前記コンテンツを配信する配信サーバであって、
    前記配信サーバは、
    前記コンテンツにタイムスタンプを付加し、
    前記タイムスタンプが付加されたコンテンツを、前記各再生装置に配信し、
    前記各再生装置によって、前記コンテンツから抽出されたタイムスタンプに基づいて、前記コンテンツを表示するために必要な前記各再生装置における遅延時間を算出し、
    第1の前記再生装置における遅延時間と、第2の前記再生装置における遅延時間とに基づいて、前記第1の再生装置と前記第2の再生装置とにおいて前記コンテンツを表示するタイミングをそれぞれ指定された時刻とするための、前記第1の再生装置に備わるバッファに蓄積されるデータ量を示す第1のバッファ量と、前記第2の再生装置に備わるバッファに蓄積されるデータ量を示す第2のバッファ量とを算出し、
    前記算出された第1のバッファ量を前記第1の再生装置に、前記算出された第2のバッファ量を前記第2の再生装置に、各々指示することを特徴とする配信サーバ。
  12. 前記配信サーバは、前記第1の再生装置と前記第2の再生装置とにおいて前記コンテンツを表示するタイミングを同じ時刻とするための、前記第1の再生装置に備わるバッファに蓄積される第1のバッファ量と、前記第2の再生装置に備わるバッファに蓄積される第2のバッファ量とを算出することを特徴とする請求項11に記載の配信サーバ。
  13. 前記配信サーバは、前記タイムスタンプが示す時刻と、前記配信サーバが前記タイムスタンプを受信した時刻との差に基づいて、前記再生装置における遅延時間を算出することを特徴とする請求項11に記載の配信サーバ。
  14. 前記配信サーバは、
    前記再生装置における遅延時間と、前記再生装置に備わるバッファに蓄積されるバッファ量との、対応関係を保持し、
    前記指定された時刻に前記コンテンツを表示するために、必要な前記遅延時間を算出し、
    前記算出された遅延時間に対応する前記バッファ量を、前記対応関係から取得し、
    前記取得されたバッファ量を、前記再生装置に指示することを特徴とする請求項11に記載の配信サーバ。
JP2009167494A 2009-07-16 2009-07-16 コンテンツ配信システム、再生装置、及び配信サーバ Pending JP2011023992A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009167494A JP2011023992A (ja) 2009-07-16 2009-07-16 コンテンツ配信システム、再生装置、及び配信サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009167494A JP2011023992A (ja) 2009-07-16 2009-07-16 コンテンツ配信システム、再生装置、及び配信サーバ

Publications (1)

Publication Number Publication Date
JP2011023992A true JP2011023992A (ja) 2011-02-03

Family

ID=43633666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009167494A Pending JP2011023992A (ja) 2009-07-16 2009-07-16 コンテンツ配信システム、再生装置、及び配信サーバ

Country Status (1)

Country Link
JP (1) JP2011023992A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120763A1 (ja) * 2011-03-09 2012-09-13 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
WO2013018262A1 (ja) * 2011-07-29 2013-02-07 株式会社ソニー・コンピュータエンタテインメント 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
JP2013062621A (ja) * 2011-09-12 2013-04-04 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム
JP2013085148A (ja) * 2011-10-11 2013-05-09 Toshiba Corp コンテンツ処理装置、及びコンテンツ同期方法
JP2013090187A (ja) * 2011-10-19 2013-05-13 Toyota Motor Corp 通信端末装置及び通信方法
JP2014110564A (ja) * 2012-12-03 2014-06-12 Konami Digital Entertainment Co Ltd 出力タイミング制御装置、出力タイミング制御システム、出力タイミング制御方法、およびプログラム
JP2014109732A (ja) * 2012-12-03 2014-06-12 Konami Digital Entertainment Co Ltd 出力タイミング制御装置、出力タイミング制御システム、出力タイミング制御方法、およびプログラム
JP2014531142A (ja) * 2011-08-16 2014-11-20 デスティニーソフトウェアプロダクションズ インク スクリプトをベースとするビデオ・レンダリング
KR20150067348A (ko) * 2012-10-10 2015-06-17 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
WO2016080428A1 (ja) * 2014-11-19 2016-05-26 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP2018502533A (ja) * 2015-10-29 2018-01-25 シャオミ・インコーポレイテッド メディア同期方法、装置、プログラム及び記録媒体
WO2019159893A1 (ja) * 2018-02-15 2019-08-22 日本電気株式会社 データ配信装置、システム、方法および記録媒体
KR20200029149A (ko) * 2018-09-10 2020-03-18 주식회사 찬율 다수의 사이니지의 영상 동기화 방법
WO2020060966A1 (en) * 2018-09-18 2020-03-26 Roku, Inc. Wireless audio synchronization using a spread code
JP2020136704A (ja) * 2019-02-13 2020-08-31 アルパイン株式会社 コンテンツ受信システム
US10958301B2 (en) 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
US10992336B2 (en) 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152699A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 動画像を同期して再生する方法及びそのシステム
JP2005294941A (ja) * 2004-03-31 2005-10-20 Nippon Telegraph & Telephone West Corp 映像コンテンツ再生システム、その再生制御方法、クライアント端末、同期サーバ及びそのプログラム
JP2006190213A (ja) * 2005-01-07 2006-07-20 Nippon Hoso Kyokai <Nhk> メディア再生装置
JP2007104193A (ja) * 2005-10-03 2007-04-19 Nec Corp 映像配信システム、映像配信方法および映像同期共有装置
WO2009011087A1 (ja) * 2007-07-13 2009-01-22 Panasonic Corporation 映像音声配信サーバ、映像表示装置、音声出力装置、映像音声提供システムおよび映像音声同期方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152699A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 動画像を同期して再生する方法及びそのシステム
JP2005294941A (ja) * 2004-03-31 2005-10-20 Nippon Telegraph & Telephone West Corp 映像コンテンツ再生システム、その再生制御方法、クライアント端末、同期サーバ及びそのプログラム
JP2006190213A (ja) * 2005-01-07 2006-07-20 Nippon Hoso Kyokai <Nhk> メディア再生装置
JP2007104193A (ja) * 2005-10-03 2007-04-19 Nec Corp 映像配信システム、映像配信方法および映像同期共有装置
WO2009011087A1 (ja) * 2007-07-13 2009-01-22 Panasonic Corporation 映像音声配信サーバ、映像表示装置、音声出力装置、映像音声提供システムおよび映像音声同期方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120763A1 (ja) * 2011-03-09 2012-09-13 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
WO2013018262A1 (ja) * 2011-07-29 2013-02-07 株式会社ソニー・コンピュータエンタテインメント 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
US9185269B2 (en) 2011-07-29 2015-11-10 Sony Corporation Imaging device, information processing device, information processing method, and method for synchronizing frame data output
TWI513321B (zh) * 2011-07-29 2015-12-11 新力電腦娛樂股份有限公司 An image processing apparatus, an information processing apparatus, an information processing system, and a frame data output synchronization method
US9432726B2 (en) 2011-08-16 2016-08-30 Destiny Software Productions Inc. Script-based video rendering
US10645405B2 (en) 2011-08-16 2020-05-05 Destiny Software Productions Inc. Script-based video rendering
JP2014531142A (ja) * 2011-08-16 2014-11-20 デスティニーソフトウェアプロダクションズ インク スクリプトをベースとするビデオ・レンダリング
US9571886B2 (en) 2011-08-16 2017-02-14 Destiny Software Productions Inc. Script-based video rendering
US9432727B2 (en) 2011-08-16 2016-08-30 Destiny Software Productions Inc. Script-based video rendering
JP2013062621A (ja) * 2011-09-12 2013-04-04 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム
JP2013085148A (ja) * 2011-10-11 2013-05-09 Toshiba Corp コンテンツ処理装置、及びコンテンツ同期方法
JP2013090187A (ja) * 2011-10-19 2013-05-13 Toyota Motor Corp 通信端末装置及び通信方法
US10382515B2 (en) 2012-10-10 2019-08-13 Samsung Electronics Co., Ltd. Method and apparatus for media data delivery control
KR102107716B1 (ko) * 2012-10-10 2020-05-08 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
JP2015536592A (ja) * 2012-10-10 2015-12-21 サムスン エレクトロニクス カンパニー リミテッド メディアデータ配信制御のための方法及び装置
KR20150067348A (ko) * 2012-10-10 2015-06-17 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
US11381622B2 (en) 2012-10-10 2022-07-05 Samsung Electronics Co., Ltd. Method and apparatus for media data delivery control
KR102411983B1 (ko) 2012-10-10 2022-06-22 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
US10356143B2 (en) 2012-10-10 2019-07-16 Samsung Electronics Co., Ltd. Method and apparatus for media data delivery control
KR20210142767A (ko) * 2012-10-10 2021-11-25 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
KR102328556B1 (ko) 2012-10-10 2021-11-19 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
KR20200146045A (ko) * 2012-10-10 2020-12-31 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
KR102196710B1 (ko) 2012-10-10 2020-12-31 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
KR20200049900A (ko) * 2012-10-10 2020-05-08 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
JP2014109732A (ja) * 2012-12-03 2014-06-12 Konami Digital Entertainment Co Ltd 出力タイミング制御装置、出力タイミング制御システム、出力タイミング制御方法、およびプログラム
JP2014110564A (ja) * 2012-12-03 2014-06-12 Konami Digital Entertainment Co Ltd 出力タイミング制御装置、出力タイミング制御システム、出力タイミング制御方法、およびプログラム
WO2016080428A1 (ja) * 2014-11-19 2016-05-26 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JPWO2016080428A1 (ja) * 2014-11-19 2017-08-17 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US10372632B2 (en) 2014-11-19 2019-08-06 Nec Corporation Information processing system, information processing method and information processing device
JP2018502533A (ja) * 2015-10-29 2018-01-25 シャオミ・インコーポレイテッド メディア同期方法、装置、プログラム及び記録媒体
WO2019159893A1 (ja) * 2018-02-15 2019-08-22 日本電気株式会社 データ配信装置、システム、方法および記録媒体
KR20200029149A (ko) * 2018-09-10 2020-03-18 주식회사 찬율 다수의 사이니지의 영상 동기화 방법
KR102131741B1 (ko) * 2018-09-10 2020-07-08 주식회사 찬율 다수의 사이니지의 영상 동기화 방법
US10958301B2 (en) 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
US10992336B2 (en) 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code
US10931909B2 (en) 2018-09-18 2021-02-23 Roku, Inc. Wireless audio synchronization using a spread code
WO2020060966A1 (en) * 2018-09-18 2020-03-26 Roku, Inc. Wireless audio synchronization using a spread code
US11438025B2 (en) 2018-09-18 2022-09-06 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
US11558579B2 (en) 2018-09-18 2023-01-17 Roku, Inc. Wireless audio synchronization using a spread code
US11671139B2 (en) 2018-09-18 2023-06-06 Roku, Inc. Identifying electronic devices in a room using a spread code
JP2020136704A (ja) * 2019-02-13 2020-08-31 アルパイン株式会社 コンテンツ受信システム
JP7114193B2 (ja) 2019-02-13 2022-08-08 アルパイン株式会社 コンテンツ受信システム

Similar Documents

Publication Publication Date Title
JP2011023992A (ja) コンテンツ配信システム、再生装置、及び配信サーバ
US10805894B2 (en) Synchronizing media presentation at multiple devices
CN101800899B (zh) 内容服务器、信息处理装置/方法、网络设备、内容发布方法/系统
US8468569B2 (en) Content delivery system and method, and server apparatus and receiving apparatus used in this content delivery system
CN105453580A (zh) 接收方法、发送方法、接收装置及发送装置
KR102156467B1 (ko) 2 개의 전자 디바이스들에서의 재생들을 동기화하기 위한 방법 및 장치
JP2008113301A (ja) ビデオ送信装置及びビデオ送信方法
JP5841715B2 (ja) 映像音声出力装置、および映像音声出力システム、およびマスタ装置
KR20140091021A (ko) 제어 방법 및 그를 이용한 장치
WO2013190787A1 (ja) 受信装置およびその同期処理方法
US20130166769A1 (en) Receiving device, screen frame transmission system and method
WO2005081528A1 (ja) 情報配信システム及び方法とその情報配信装置、受信端末、情報中継装置
JP4735666B2 (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
JP5060649B1 (ja) 情報再生装置及び情報再生方法
JP5997500B2 (ja) 放送通信連携受信装置
JP2003319097A (ja) 2画面連動映像配信システム及び装置
JP2013074534A (ja) 記録装置、配信装置、記録方法、プログラム、及び記録媒体
JP2022095777A (ja) 放送サービス通信ネットワーク配信装置および方法
JP2011091754A (ja) 映像処理装置及び映像処理方法
JP6738639B2 (ja) 配信システム、ミッドロールサーバ、端末装置、広告発火装置、情報処理方法、およびプログラム
WO2018142515A1 (ja) コンテンツ配信方法、コンテンツ取得方法および情報処理端末
JP6324829B2 (ja) 映像提供システムおよびプロラム
JP5581437B1 (ja) 映像提供システムおよびプロラム
KR102651584B1 (ko) 개인 방송 서비스를 제공하는 iptv 시스템 및 방법
KR101810883B1 (ko) 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130521