JP2011114681A - 映像情報再生方法及びシステム、並びに映像情報コンテンツ - Google Patents

Abstract

【課題】ＰＣＲを利用してシステムクロックの補正ができない情況で、蓄積メディアからデータを読み出して再生したり、ネットワーク配信でデータを受信して再生したりした場合において、複数の再生装置（４２）における再生を同期させる。
【解決手段】コンテンツの本編の最後のフレームと同じ内容の映像を表示するためのＩ又はＰピクチャーを、再生同期調整用のフレームとして、本編の最後のフレームの後に複数枚追加しておき、基準となる再生装置よりも再生が進んでいる場合は、より多くの同期調整用フレームを再生し（ＳＴ１１）、再生が遅れている場合には、より少ない同期調整用フレームを再生する（ＳＴ９）。
【選択図】図１０

Description

本発明は、ネットワーク経由で配信された符号化されたデータや、蓄積メディアから読み出された符号化されたデータの再生を行う映像情報再生方法及び映像情報再生システムに関するものである。本発明はまたネットワーク経由で配信される、或いは蓄積メディアから読み出されるコンテンツに関する。

複数の再生装置に対して配信されたコンテンツを、バッファメモリがアンダーフローや、オーバーフローさせることなく再生同期をとる方法としては、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）に含まれる、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を利用することが一般的である（例えば、特許文献１参照）。

特開２００８−９６７５６号公報

地上波デジタル放送などのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を使った放送では、データ送信側から定められたビットレートでデータが送られてくるため、デコーダのシステムクロックが正規の２７ＭＨｚに完全に一致していないと、バッファメモリが空になってしまったり、あるいはバッファメモリがオーバーフローしてしまったりしてしまい、正常に再生できなくなってしまう。この問題を回避するために、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を使って、デコーダのシステムクロックを定期的に補正する仕組みが用意されている。このようにシステムクロックがＴＳを受信したすべての再生装置において、同一の時刻に調整されるため、複数の再生装置をならべて表示を行わせた場合、すべての表示装置間で完全に同期がとれた状態となる。

一方、ＤＶＤやＢｌｕ−ｒａｙプレーヤーなどの、ＭＰＥＧデータを再生する機器は、デコーダのバッファがアンダーフローや、オーバーフローを起こさないよう、蓄積メディアから、データの読み出しを行うため、一般にはＰＣＲを使ったシステムクロックを使った時刻補正は必要では無い。そのため、例えば、これらの蓄積メディアから読み出されたデータを複数の再生装置に送り、該複数の再生装置で表示を行った場合、数時間後には、システムクロックのばらつきのため、同期がずれてしまうことがある。

同様のことが、ネットワーク配信による再生においても起こりうる。ネットワーク経由の配信も、放送のように定められたビットレートでデータが送出されないため、再生装置側で大きなバッファメモリを保有して再生を行うことが一般的であり、ＤＶＤなどと同様にＰＣＲを使ったシステムクロックの補正はできない。そのため、長時間再生を行うと表示装置間で同期がずれてしまうことがある。

例えば、サイネージ用途では、一斉配信されたコンテンツは、すべての再生装置において再生同期することが求められるが、以上のように、蓄積メディアからデータを読み出したり、ネットワークでデータを配信したりする場合、ＰＣＲが利用できないため、複数の表示装置で長時間再生を行っていると、それぞれの表示が少しずつずれてしまい、そのことが問題となる。

そこで、本発明は、上記の課題を解決するためになされたものであり。その目的は、ＰＣＲを利用してシステムクロックの補正ができない情況で、蓄積メディアからデータを読み出して複数の映像情報再生装置で再生したり、ネットワーク配信されたデータを複数の映像情報再生装置で受信して再生したりする場合において、再生装置間で再生の同期が取れるようにすることにある。

本発明の映像情報再生方法は、
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生方法であって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する検出ステップと、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する調整ステップと
を有することを特徴とする。

本発明によれば、ＰＣＲを使ったデコーダの再生時刻調整ができない、ストリーミング配信されたデータや、蓄積メディアから読み出したデータの再生においても、各再生装置で再生するコンテンツの総フレーム数を、それぞれの再生装置で個別に設定できるため、複数の映像情報再生装置間で再生時刻を高精度に同期させることができるという効果が得られる。

本発明の実施の形態１に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。 図１の係る映像情報再生装置と該映像情報再生装置にネットワークを介して接続されるコンテンツサーバーを含む映像情報再生システム全体の構成を概念的に示す図である。 図１の映像情報再生装置のバッファメモリの残量の遷移の一例を示す図である。 一般的なＴＳストリームのパケットの構成の一例を示す図である。 図２の映像情報再生システム内の再生時刻が最も進んだ再生装置と、最も遅れた再生装置のバッファメモリの残量の遷移の一例を示す図である。 本発明の実施の形態１に係るＭＰＥＧデータのＰＥＳパケットの構成の一例を示す図である。 発明の実施の形態１に係るＴＳストリームのパケットの構成の一例を示す図である。 図７の同期調整用パケットのシンタックスの一例を示す図である。 本発明の実施の形態１に係る映像情報再生方法を示すフローチャートである。 図９のステップＳＴ７の詳細を示すフローチャートである。 本発明の実施の形態１における、同期調整のために、再生装置ごとに異なる数のフレームを追加再生する様子を示す図である。 一般的なＭＰＥＧ２データの、デコードされる順番と、表示される順番との関係の一例を示す図である。 本発明の実施の形態１に係る同期調整用に追加されたフレームの、デコードされる順番と、表示される順番との関係の一例を示す図である。 本発明の実施の形態２に係る映像情報再生方法を示すフローチャートである。

実施の形態１．
図１は、本発明の実施の形態１に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。図示の映像情報再生装置は、コンテンツサーバーからネットワークを経由して配信されるコンテンツを再生する装置である。

図２は、図１の映像情報再生装置とコンテンツサーバーを含む映像情報再生システム全体を概略的に示すブロック図である。コンテンツサーバー４１から、例えばイーサネット(登録商標)で構成されるネットワーク４３を経由して各映像情報再生装置４２に、データは配信される。以下では、ネットワーク４３上に、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を使ったブロードキャスト配信によりデータを配信することを前提として説明を行う。

図２に示される映像情報再生装置４２は、例えば図１に示されるように構成される。
図１に示される映像情報再生装置は、コンテンツサーバー４１から配信されたデータの再生手段としての再生部１０と、装置全体の制御を実行する再生制御手段としてのＣＰＵ２１とを有する。再生部１０は、コンテンツサーバー４１からの配信されたデータを受信する、データ受信部１１と、データ受信部１１で受信されたデータを一時的に蓄積しておくバッファメモリ１２と、バッファメモリ１２から読み出されたデータを、映像情報、音声情報の各情報に分離するデマルチプレクサ１３と、映像情報をデコードするビデオデコーダ１４と、音声情報をデコードするオーディオデコーダ１５とを有する。ビデオデコーダ１４から出力される映像信号は、外部表示装置３１に送られ、外部表示装置３１によって映像が表示される。オーディオデコーダ１５から出力される音声信号は、音声出力装置（図示せず）に送られ、音声が出力される。

本実施の形態において、データ受信部１１に配信されるデータは、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を想定している。この場合、映像情報、音声情報は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットに分割された上で、さらにＴＳパケットに分割され、映像情報、音声情報が重畳された状態で配信される。

ＰＥＳパケットは、ＭＰＥＧ２や、Ｈ．２６４等で符号化されたＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）に、ＰＥＳヘッダ情報が付加されたものである。ＰＥＳパケットは、再生の時間管理を行なう単位でパケット化したものであり、映像情報は、例えば、１枚の画像フレーム（ピクチャー）が１つのＰＥＳパケットとされる。ＰＥＳパケットのヘッダ情報には、タイムスタンプ、例えば再生を行なう時刻情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が含まれる。

ＴＳパケットは固定長（１８８バイト）のものであり、それぞれのＴＳパケットのヘッダ部分には、それぞれのデータ種別に固有のＰＩＤ（Ｐａｃｋｅｔ ＩＤ）が付与されている。このＰＩＤにより、映像情報であるか、音声情報であるか、システム情報（再生制御情報など）であるかの識別が可能である。デマルチプレクサ１３では、ＰＩＤを読み取り、映像情報であるか、音声情報であるかを識別し、それぞれのデコーダにデータを振り分ける。

なお、本実施の形態においては、１８８バイトのＴＳパケットに分割されているものとして説明をしているが、映像情報であるか、音声情報であるかを識別することが可能な、データフォーマットであればＴＳ以外のフォーマットでもよい。また、音声情報が無く、映像情報のみのデータが配信されるような場合は、ＴＳパケットに分割せずＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）のままでもよい。この場合、再生部１０のデマルチプレクサ１３、オーディオデコーダ１５は必要がない。

本実施の形態の映像情報再生装置においては、ＣＰＵ２１は、バッファメモリ１２の容量を常時監視し、バッファメモリ１２がアンダーフローやオーバーフローを起こさないように制御を行う、受信データの制御手段として動作する。

図３はバッファメモリ１２の容量の遷移を示す図である。ＣＰＵ２１はバッファメモリ１２の容量を常にモニターしており、バッファメモリ１２の残量を逐次コンテンツサーバー４１に通知している。
コンテンツサーバー４１がデータの送信を行なっていない状態で、再生装置が再生を行ない、その結果バッファメモリ１２のデータ残量が下限値（第１の所定の閾値）ＳＲ１まで減少すると、コンテンツサーバー４１は再生装置４２に対してデータの送信を開始（再開）し、バッファメモリ１２の残量が上限値（第２の所定の閾値）ＳＲ２に達すると、コンテンツサーバー４１は再生装置４２に対するデータの送信を停止する。
次にバッファメモリ１２の残量が下限値１２まで減少すると、コンテンツサーバー４１はデータの送信を再開する。
以上の動作を繰り返すことで、バッファメモリ１２のデータ残量が上限値ＳＲ２と下限値ＳＲ１との間に収まるよう送信データの制御を行う。

また、ＣＰＵ２１は、同じ再生装置４２内のビデオデコーダ１４の再生時刻を監視し、コンテンツサーバー４１にその時刻を通知するとともに、コンテンツサーバー４１から知らされる基準となる再生時刻に対する、同じ再生装置４２内のビデオデコーダ１４の再生時刻のずれに従い、コンテンツサーバー４１からバッファメモリ１２に転送するデータサイズを増減させて制御する手段としても動作する。

コンテンツサーバー４１は、標準となる再生装置４２の再生時刻からのずれ量を、各再生装置４２に通知する。ＣＰＵ２１は、再生装置４２の再生時刻が標準となる再生装置４２の再生時刻より進んでいる場合は、データ受信部１２で受信したデータから、バッファメモリ１２に蓄積するデータ量を多くし、標準となる再生装置４２の再生時刻より遅れている場合は、バッファメモリ１２に蓄積するデータ量を少なくするよう、データの制御を行う。バッファメモリ１２に蓄積するデータ量の制御の詳細な説明は後述する。

図４は、コンテンツサーバー４１から配信されるＴＳデータの、データ構成を示す図である。ＴＳデータは、映像情報と音声情報は、１８８バイト単位のパケット（ＴＳパケット）に分割され、映像データ格納されたビデオパケット、音声データが格納されたオーディオパケット、ＰＡＴ・ＰＭＴ等のシステム情報が格納されたＰＳＩ／ＳＩパケットが、映像、音声の再生がとぎれることが無いよう重畳されている。

次に、コンテンツサーバー４１から配信されたコンテンツが再生されるまでのシーケンスについて説明を行う。ユーザーから、コンテンツサーバー４１に対して再生開始の要求（再生のためのデータ送信の要求）が出されると、コンテンツサーバー４１は、各再生装置４２に対する、ＴＳデータのブロードキャストでの送信を開始する。（この再生開始の要求は、再生装置のいずれかから信号を送ることにより行なわれる場合もあり、また図示しない別個の制御機器により与えられることもある。）

各再生装置４２は、配信されたＴＳデータをデータ受信部１２で受信し、バッファメモリ１３へ蓄積を開始する。この時、コンテンツサーバー４１は、全再生装置４２の中から、代表の装置を任意に決め、代表とした再生装置４２のバッファメモリ１３のデータ残量を逐次モニターをする。コンテンツサーバー４１は、バッファメモリ１２の残量が、図３の下限値ＳＲ１より大きく、上限値ＳＲ２より小さい第３の所定の閾値（初期再生開始値）ＳＲ３を超えたことを検知すると、全再生装置４２に対して再生の開始（再生装置における表示、出力の開始）を指示する。

コンテンツサーバー４１から再生指示が出されると、各再生装置４２において、バッファメモリ１２のＴＳデータのそれぞれのパケットはデマルチプレクサ１３に送出され、該パケットのＰＩＤに従って映像情報、音声情報、ＳＰＩ／ＳＩ情報とに分離される。分離された映像情報はビデオデコーダ１４へ送出され、デコードされた映像信号は、外部表示装置３１に出力される。また分離された音声情報は、オーディオデコーダ１５へ送出され、デコードされた音声信号は音声出力装置（図示せず）に送られ、音声が出力される。映像と音声の再生が開始された後も、コンテンツサーバー４１からデータの送信が続けられる限り、バッファメモリ１２内の残量は時間とともに増加していく。但し、増加の速度は、再生装置で再生を行なっていないときに比べると遅くなり、そのため、再生時刻より後の残量曲線の傾きは小さくなる。

先にも述べたように、ＣＰＵ２１はバッファメモリ１２の残量を逐次コンテンツサーバー４１に通知しており、バッファメモリ１２の残量が上限値ＳＲ２に達したことを、コンテンツサーバー４１が検知すると、コンテンツサーバー４１は、データの転送を停止する。
データの転送が停止されると、各再生装置４２のバッファメモリ１２の残量は、デコーダでデータが消費されるに従って次第に減少する。代表となっている再生装置４２のバッファメモリ１２の残量が下限値ＳＲ１に達したことをコンテンツサーバー４１が検知すると、コンテンツサーバー４１はデータの配信を再開する。

以上の動作を繰り返すことで、バッファメモリ１２がアンダーフローやオーバーフローを起こして音声や映像が途切れることなく、再生が継続される。
但し、各コンテンツの最後の部分では、バッファメモリ１２の残量が下限値ＳＲ１に達したことが検知されても、それ以上送信すべきデータが存在しないので、図３に点線ＥＯＣで示すように、残量はさらに少なくなり、最後はゼロに達する。

閾値ＳＲ１、ＳＲ２、ＳＲ３の値については、バッファメモリ１２の容量、再生するビットレート等により最適な値に設定されるべきであるが、本出願には直接関わる値でないため、特に閾値の値については言及しない。

以上の手順で、全再生装置４２で一斉に再生が開始されるが、ビデオデコーダ１４の基準時刻を生成している、クロック回路２２内の水晶発振器の発振周波数は全く同一ではなく、再生装置４２間で発振周波数に差異がある。デコードした映像の出力時刻は、この基準時刻を元に映像情報中の（ＰＥＳパケットのヘッダ情報に含まれる）ＰＴＳに従って制御されている。即ち、各ＰＥＳは、該ＰＥＳのヘッダ情報に含まれるＰＴＳで指定された時刻（コンテンツの先頭を再生する時刻に対する相対時刻）になったことを、再生装置４２内の水晶発振器から発生されるクロックパルスのカウント結果との比較により、検知しながら、デコードを行なったり、デコード後の時間調整（遅延）を行なったりしながら、各ＰＥＳの画像を、当該ＰＥＳのヘッダ情報に含まれるＰＴＳで指定された時刻（コンテンツの再生開始からの相対時刻）に再生出力を行なうようにしている。上記の再生時刻のずれとは、あるＰＴＳを含むＰＥＳパケットの一つの再生装置における再生を、当該一つの再生装置内のクロック回路２２で計時した時刻と、同じＰＴＳを含むＰＥＳパケットの、別の再生装置における再生を、当該別の再生装置内のクロック回路２２で計時した時刻との差を意味する。

上記の構成であるため、水晶発振器の周波数の誤差が原因となり、時間とともに各再生装置４２の再生時刻にずれが生じてくる。例えば、水晶発振器の精度が±２０ｐｐｍとし、最も表示の進んだ再生装置４２と、最も表示の遅れた再生装置４２との間には、４０ｐｐｍの誤差が生じ、２４時間連続して再生を続けると仮定すると、約３秒弱の時間のずれが生じる可能性がある。

また、コンテンツサーバー４１は、全再生装置４２の中の、一つを代表の再生装置４２として、そのバッファメモリ１２内のデータ残量をモニターしながら、データ配信の制御を行っているため、最も誤差の大きい再生装置４２を代表とした場合、他の再生装置４２のバッファメモリ１２でバッファのアンダーフローやオーバーフローが発生する可能性が高くなる。

図５は、再生を開始して２０時間後の、当該最も時刻の進みが早い映像再生装置４２が代表で選択されている場合の、最も時刻の進みの早い再生装置（Ｆ）と、最も遅い再生装置（Ｓ）のバッファの残量の遷移を示す。最も早い再生装置（Ｆ）の残量が下限値ＳＲ１になった時刻Ｔ１より、コンテンツサーバー４１からのデータ配信が再開されるが、この時、最も遅い再生装置の残量（Ｓ）は、データがより多く残っている。

例えば、映像の符号化ビットレートが１０Ｍｂｐｓとすると、上記の時間のずれにより、再生装置（Ｓ）には再生装置（Ｆ）よりも、３．５Ｍbitも多くデータが残っている。
バッファメモリ１２の容量が１０Ｍbit、下限値ＳＲ１が３Ｍbit、上限値ＳＲ２が６Ｍbitとすると、再生装置（Ｆ）の残量が６Ｍbitになった時点で、再生装置（Ｓ）の残量は、９．５Ｍbitとなり、バッファメモリの容量の限界に近づいている。このまま再生（そのためのデータの送信）をさらに継続すると、再生装置（Ｓ）のバッファメモリ１２の容量を超えたときに、再生すべきデータが捨てられ、一部フレームの抜けた映像が表示されることになる。

上記に説明したように、水晶発振器の周波数のばらつきが原因で、長時間再生を継続することで、各映像情報表示装置間の表示の同期がとれなくなり、最悪の場合バッファメモリのオーバーフローや、アンダーフローが発生し、再生の途切れや中断が発生するという問題があった。

図６は、本発明の実施の形態に係る映像情報再生方法を実施するために、改良された映像情報におけるＰＥＳパケットの配列の一例を示す図である。
ＰＥＳパケットのうち、符号「Ｉ」で示すものはＩピクチャーで構成されたもの、符号「Ｐ」はＰピクチャーで構成されたもの、符号「Ｂ」はＢピクチャーで構成されたものを示す。符号「Ｉ」、「Ｐ」、「Ｂ」に付された添え字「１」、「２」、「３」などはそれぞれＩ、Ｐ、Ｂピクチャー同士を区別するためのものであり、再生の順序をも示す。

Ｉピクチャーはフレーム内符号化された画像情報（フレーム内符号化画像情報）であり、単独にデコード可能である。Ｐピクチャーはそれより前のピクチャー（Ｉピクチャー又は他のＰピクチャー）を参照して順方向動き補償予測符号化された画像情報（フレーム間順方向予測符号化画像情報）であり、Ｂピクチャーは、それより前のピクチャー及びそれより後のピクチャー（Ｉピクチャー、Ｐピクチャー又は他のＢピクチャー）を参照して双方向動き補償予測符号化された画像情報（フレーム間双方向予測符号化画像）である。

ここでＴＳデータの再生時間が６０ｓｅｃで、フレームレートが３０ｆｐｓとすると、ＴＳデータは合計１８００（６０ｘ３０＝１８００）のＰＥＳパケットとなるが、本実施の形態では、上記の１８００のＰＥＳパケットで構成される本編部分（本発明の同期調整をおこなわない場合にもＴＳデータを構成する部分として含まれる部分）に、再生同期調整用に、さらに１０フレーム分のＰＥＳパケットが追加され、合計１８１０のＰＥＳパケットにより構成される。この追加された１０フレームの映像は、６０ｓｅｃの最終フレームの映像と同じものを繰り返し表示するよう符号化されている。図示の例では、最終フレームの映像と同じ映像のデータからなる１フレームのＩピクチャーデータと、それに続き同じ映像を引き続き表示するための９フレームのＰピクチャーデータとで同期調整用フレーム（群）が構成されている。

このように同期調整用のフレームの追加は、あらかじめコンテンツサーバー４１にオーサリングされた形態で保持してもよいし、またＭＰＥＧのダミーピクチャーを利用して、コンテンツサーバー４１上で配信時に付加してもよい。

追加されたＰＥＳパケットの先頭のＰＥＳパケットは、Ｉピクチャー（Ｈ．２６４の場合はＩＤＲピクチャーであるが、これもフレーム内符号化された画像情報である）であり、続くＰＥＳパケットは、Ｂピクチャーを含まない、ＰピクチャーまたはＩピクチャー（ＩＤＲピクチャー）により構成されている。Ｂピクチャーを含まないため、追加された同期調整用の１０フレーム分のピクチャーは、表示される順番と、データの配列の順番とが一致することになる。これに対して、例えば、図６のＴＳデータの先頭部分は、「Ｉ_１」、「Ｐ_１」、「Ｂ_１」、「Ｂ_２」、の順にＰＥＳパケットが配列されているが、実際に表示される順番は、「Ｉ_１」、「Ｂ_１」、「Ｂ_２」、「Ｐ_１」であり、配列順と表示順が異なる。

図７は、実施の形態に係る映像情報再生方法を実施するために、改良されたＴＳデータのＴＳパケットの配列を示す図である。図４のＴＳデータとの違いは、追加された１０フレーム分の各ＰＥＳパケットの先頭のＴＳパケットが、ＴＳデータの先頭から何パケット目に存在するかを示す調整パケット情報が記述された調整情報パケットが重畳されている点である。

図８は、前記の同期調整用パケットのシンタックスを示す図である。
“ｎｕｍ＿ｏｆ＿ＰＥＳ”は、本編に追加された同期調整用に利用できるＰＥＳ（フレーム）の総数である。次のループは、“ｎｕｍ＿ｏｆ＿ＰＥＳ”の数だけ繰り返される。１０フレームある場合は“ｎｕｍ＿ｏｆ＿ＰＥＳ”＝１０となる。
“ＰＴＳ＿ｆｏｒ＿ａｄｊｕｓｔ（ｉ）”は、同期調整用に利用できるＰＥＳパケットの各々の先頭のＰＴＳ値を示す。
“ＳＰＮ＿ｆｏｒ＿ａｄｊｕｓｔ（ｉ）”は、“ＰＴＳ＿ｆｏｒ＿ａｄｊｕｓｔ（ｉ）”が指し示すＰＥＳパケットの先頭を含むＴＳパケットが、ＴＳデータの先頭から何パケット目であるかを示す値である。
なお、本実施の形態では、調整パケット情報をＴＳパケットに重畳して再生装置４２に送っているが、必ずしもＴＳパケットに重畳する必要は無く、独自のコマンドに調整パケット情報を載せて、再生装置４２に送ってもよい。

コンテンツサーバー４１には、図７のように構成されたＴＳデータが複数存在し、各映像情報再生装置４２に対して、連続して配信される。ユーザーからコンテンツサーバー４１に対して、再生の指示が出されると、あらかじめ指示された順番で、コンテンツサーバー４１のＴＳデータの配信が開始される。
通常再生時においては、ＣＰＵ２１では、ＴＳデータに含まれる調整情報パケットのデータをから、追加された１０フレームのＰＥＳパケットが含まれるＴＳパケットが来るのを監視し、ＳＰＮ＿ｆｏｒ＿ａｄｊｕｓｔ（０）”以降のＴＳパケットは破棄し、バッファメモリ１３に蓄積を行わない。

図９は、映像情報再生装置４２間の再生を同期させるための処理のシーケンスを示す図である。ステップＳＴＳＴ５，ＳＴ６は、コンテンツサーバー４１における処理を示し、他のステップは、再生装置４２における処理を示す。

通常再生を行っている時は、コンテンツの本編の再生が完了しても、前述の様に追加された１０フレーム分の表示は行われない（ＳＴ１）。前述した通り、水晶発振器の周波数は２０ｐｐｍ程度の精度であるため、数分再生した程度では、同期ずれは視認されない程度である。コンテンツサーバー４１からは、数十分に１回程度（即ち所定時間が経過するごとに（ＳＴ２）、各再生装置４２に対して、現在の再生時刻の確認が行われる(ＳＴ３）。

コンテンツサーバー４１からの再生時刻の確認に対して、各再生装置４２からは、現在の再生時刻をコンテンツサーバー４１に通知する（ＳＴ４）。

コンテンツサーバー４１では、通知された時刻を集計し、再生時刻の同期調整を行う必要があるかどうかを判断する（ＳＴ５）。そのため、最も進んでいる再生時刻と最も遅れている再生時刻の差が所定値以上、例えば１フレーム以上かどうかの判断を行なう。
再生時刻の差が１フレーム以上あり、調整の必要性があると判断された場合、再生時刻の中の平均値を持つ再生装置４２を基準となる再生装置４２とし、その再生時刻を基準時刻として全再生装置４２に対して通知する（ＳＴ６）。
基準時刻を受け取った各再生装置４２は、先ほど自身で通知した再生時刻と、コンテンツサーバー４１から通知された基準時刻との差から、基準の再生装置４２から、遅れて再生しているのか、進んで再生をしているかを認識し再生時刻を調整する（ＳＴ７）。

コンテンツサーバー４１から通知された基準再生時刻との差が１フレーム以内であるかどうかを判定し、再生時刻の差が１フレーム以内である場合、再生装置４２は同期調整用に追加された１０フレームの内、５フレーム目までを再生し、ＣＰＵ２１はＳＰＮ＿ｆｏｒ＿ａｄｊｕｓｔ（５）以降のデータを破棄する。よって、現在再生中のＴＳデータの総再生時間は、本編＋５フレームとなり、最後の６フレームは本編最終のフレームが連続して表示されることになる。付加された前半５フレーム分を再生した後は、引き続き次のコンテンツのＴＳデータの再生を継続する。

図１０は、図９のステップＳＴ７の調整シーケンスを詳細に示す図である。まず、基準とする再生装置４２の再生時刻（基準時刻）から、１フレーム以上遅れて再生しているかどうかを判別する（ＳＴ８）。
基準時刻から１フレーム以上遅れていると判断した再生装置４２は、基準時刻と、自らの再生時刻から遅れ時間を算出し、遅れ時間に相当するフレーム数を割り出し、５フレームから遅れ時間に相当するフレーム数を減算することで、バッファメモリ１２に蓄積するべきデータサイズを計算する。例えば遅れ時間が６０ｍｓｅｃ（２フレーム分）であった場合、ＴＳデータの終端に付加された１０フレームの内、前半の３フレーム分だけをバッファメモリ１２に蓄積し、ＳＰＮ＿ｆｏｒ＿ａｄｊｕｓｔ（３）以降のデータを破棄する（ＳＴ９）。
この結果、現在再生中のＴＳデータの総再生時間は、本編＋３フレームとなり、最後の４フレームは本編最終のフレームが連続して表示されることになる。付加された前半３フレーム分を再生した後、引き続き次のコンテンツのＴＳデータの再生を継続する。

ステップＳＴ１０では、基準となっている再生装置４２の再生時刻から１フレーム以上進んでいるかどうかを判断する。１フレーム以上進んでいると判断した再生装置４２は、基準時刻と、自らの再生時刻から、進み時間を算出し、進み時間に相当するフレーム数を割り出し、５フレームに進み時間に相当するフレーム数を加算することで、バッファメモリ１２に蓄積すべきデータサイズを計算する（ＳＴ１１）。例えば進み時間が９０ｍｓｅｃ（３フレーム分）であった場合、ＴＳデータの終端に付加された１０フレームの内、前半の８フレーム分だけをバッファメモリ１２に蓄積し、ＳＰＮ＿ｆｏｒ＿ａｄｊｕｓｔ（８）以降のデータを破棄する。よって、現在再生中のＴＳデータの総再生時間は、本編＋８フレームとなり、最後の９フレームは本編最終のフレームが連続して表示されることになる。付加された前半８フレーム分を再生した後、引き続き次のコンテンツのＴＳデータの再生を継続する。

ステップＳＴ１０で、進み時間が１フレーム以内と判断した再生装置４２は、ＴＳデータの終端に付加された１０フレームの内、５フレーム目までを再生し、ＳＰＮ＿ｆｏｒ＿ａｄｊｕｓｔ（５）以降のデータを破棄する（ＳＴ１２）。よって、現在再生中のＴＳデータの総再生時間は、本編＋５フレームとなり、最後の６フレームは本編最終のフレームが連続して表示されることになる。付加された前半５フレーム分を再生した後は、引き続き次のコンテンツのＴＳデータの再生を継続する。

上記の場合、基準時刻から遅れた再生装置４２の、現在再生中のコンテンツの総再生時間は、基準となっている再生装置４２に対して、２フレーム分だけ短くなり、再生時刻が進んだ再生装置４２の、現在再生中のコンテンツの総再生時間は、基準となっている再生装置４２に対して、２フレーム分だけ長くなる。

図１１は、コンテンツの切り替わり前後の、各再生装置４２の再生時刻の遷移を表した図である。上記のシーケンスに従って再生を行うと、基準時刻に対して、遅れている再生装置４２は、現在再生しているＴＳデータの総再生時間を、遅れた分だけ基準となっている再生装置４２より短くし、進んでいる再生装置４２は、現在再生しているＴＳデータの総再生時間を、遅れた分だけ基準となっている再生装置４２より長くすることで、次のコンテンツのＴＳデータの再生の開始タイミングを１フレーム以内の時間差以下にあわせることが可能となる。

以上の様に、ＴＳデータの再生時刻を、各再生装置４２で高精度に調整可能とするために、付加された調整用のＴＳデータにはいくつかの制約条件が必要となる。図１２は一般的なＭＰＥＧのフレームの並びを示した図である。この場合、コンテンツサーバー４１からは、「Ｉ_１」、「Ｐ_１」、「Ｂ_１」、「Ｂ_２」、…の順にデータが配信されるが、表示の順番は、「Ｉ_１」、「Ｂ_１」、「Ｂ_２」、「Ｐ_１」、…となっている。図１２の様に、追加データが配列されている場合において、「Ｂ_１」までを再生したい場合、データは「Ｉ_１」、「Ｐ_１」、「Ｂ_１」、「Ｂ_２」の４フレーム分をバッファメモリ１２に入力する必要がある。デコーダ１４では、「Ｉ_１」、「Ｂ_１」、「Ｂ_２」、「Ｐ_１」の４フレームが再生されてしまうため、本来表示させたいフレーム数を２フレーム超えてしまう。

同様に、「Ｂ_２」まで表示させたい場合も、「Ｐ_１」まで再生させたい場合も、「Ｉ_１」、「Ｂ_１」、「Ｂ_２」、「Ｐ_１」の４フレームが再生されてしまう。このように、Ｂフレームが含まれるよう符号化すると、図１２に示す場合には最大２フレームの誤差が発生するため、同期精度が落ちてしまう。

図１３は、フレーム単位で、１フレームの精度で同期をあわせるために考慮されたフレームの並びである。図１２との違いはＢフレームを使わずに符号化を行っている点である。このように符号化した場合、フレームの配列順と再生順とが一致している。このため、３フレーム分だけ再生したい場合は、「Ｉ_１」、「Ｐ_１」、「Ｐ_２」の３フレーム分のデータをバッファメモリに蓄積し、以降のフレームを破棄すればよい。この様にＢフレームを使用しないことで、フレーム精度の同期調整が可能となる。但し、Ｂフレームを使わずに符号化した場合、符号化効率が下がるため、Ｂフレームを使った場合と同じ画質を確保するためには、データサイズが大きくなってしまう。これを回避するには、本編部分はＢフレームを使って符号化を行い、調整用のフレームについては、Ｂフレームを使わずに符号化を行う方法が望ましいが、本編と調整用のフレームとを別の規則で符号化することは、符号化が複雑になる問題点もある。よって、同期精度が求められるシステムに対して、調整用のフレームにＢフレームを使わずに符号化し、高い同期精度を求めない場合は、Ｂフレームを使用した符号化を行うとよい。

以上、説明したように、終端に再生時刻の同期調整するためのフレームを追加されたＴＳデータを使い、基準となっている再生装置４２の再生時刻からの、相対的な再生時刻差情報から、バッファメモリに蓄積する追加された同期調整用のＴＳデータ量を調整することで、高精度に表示装置間の再生の同期を図ることが可能となる。

なお、本実施の形態の説明では、再生時刻が全再生装置４２の再生時刻の平均値に近い再生装置４２の再生時刻を基準時刻に設定しているが、平均値に近い値である必要はなく、例えば、中央値としても良く、また最も再生時刻の進んだ再生装置４２を基準とし、最も再生時刻の進んだ再生装置４２には、追加された１０フレームすべてを再生させ、それ以外の再生装置４２には、基準となっている再生時刻との誤差の大きさに従って、追加再生するフレーム数を１０フレームから減らして再生させても、全く同じ効果が得られる。同様に、最も再生時刻の遅れた再生装置４２を基準とし、最も再生時刻の遅れた再生装置４２には、追加フレームは再生させず、それ以外の再生装置４２には、基準の再生時刻との誤差の大きさに従って、追加再生するフレームを増やして再生させることでも、全く同様の効果が得られる。

本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示を行なう表示装置に適用することができ、複数の表示装置間の再生時刻を高精度に同期させることができるという効果が得られる。

実施の形態２．
実施の形態１では、各再生装置４２間の再生時刻のばらつきが調整用に用意されたフレーム数以内に収まっている場合の調整方法について説明をおこなった。しかし、再生装置４２内でＣＰＵ２１に急な負荷がかったり、また電気的なノイズの影響で再生装置４２にリセットがかかってしまったりして、再生準備可能となる前に、コンテンツサーバー４１からのデータ配信が開始されてしまった場合、大幅に再生同期がずれてしまう場合がある。この場合、ずれ時間が、数秒間にもなるため、実施の形態１の調整方法で、同期がとれるまでに、数十分から数時間を要する場合がある。

図１４は、このように大幅に再生時刻がずれてしまった時に、短時間に調整を行うために改良されたシーケンス図である。同図において、ステップＳＴ１８及びＳＴ１９は、コンテンツサーバー４１で行なわれる処理であり、その他のステップは、各再生装置４２で行なわれる処理である。
まず、基準となっている再生装置４２の再生時刻に対して、実施の形態１で説明した調整方法で、同期化が可能な範囲内のずれ量かどうか（実施の形態１で説明した方法で調整が可能な範囲内かどうか）を判断する（ＳＴ１３）。

同期化が可能な範囲内であると判断された場合は、ステップＳＴ１４へ進み、通常の調整（図１０を参照して説明した調整）を行う。ステップＳＴ１４での調整の詳細については、実施の形態１で詳細に説明を行ったので省略する。
再生時刻のずれ量が、同期化が可能な範囲外であると判断されると、現在再生中のコンテンツの再生を中断し、バッファメモリ１３に蓄積されているすべてのデータをクリアする（ＳＴ１５）。

再生を中断した再生装置４２は、現在再生中のコンテンツのＴＳデータの配信が完了し、次のコンテンツの先頭のＴＳパケットの先頭パケットが配信されるのを待つ（ＳＴ１６）。次のコンテンツの先頭のＴＳパケットを検出すると、ＣＰＵ２１は、データのバッファメモリ１３への蓄積を開始する（ＳＴ１７）。

次に、コンテンツサーバー４１は、基準となっている再生装置４２に対して、次のコンテンツの先頭のフレームの再生が開始されたら、コンテンツサーバー４１に通知するよう指示し、基準となっている再生装置４２から、次のコンテンツの再生が開始されたことが、コンテンツサーバー４１に通知される（ＳＴ１８）と、コンテンツサーバー４１は、再生を中断した再生装置４２に対して、再生開始指示を出し（ＳＴ１９）、再生を中断した再生装置４２におけるコンテンツの再生が再開される。

基準となっている再生装置４２から、コンテンツサーバー４１に再生開始が通知され、コンテンツサーバー４１から、再生を中断した再生装置４２に再生開始指示が伝わるまで、ネットワークによる遅延、ソフトウェアの処理時間による遅延、ビデオデコーダ１４に再生指示を出してから最初のフレームが表示されるまでの遅延があるため、この時点では、再生を中断した再生装置４２の再生時刻は、他の再生装置４２に対し数フレーム遅れた状態にある。しかし、この遅れは通常の同期を調整するシーケンスで調整可能な範囲内であるため、次回の調整シーケンスで同期を一致させることが可能である。

以上説明したように、再生時刻が大幅にずれた再生装置４２に対しては、一旦再生を中断し、基準となっている再生装置４２が、次のコンテンツの先頭フレームを再生開始するタイミングで、再生を再開することで、次のコンテンツの調整で速やかに再生時刻の同期を図ることが可能となる。

本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示する表示装置に適用することができ、複数の表示装置間の再生時刻の同期を短時間に合わせることができるという効果が得られる。

１０ 再生部、 １１ データ受信部、 １２ バッファメモリ、 １３ デマルチプレクサ、 １４ ビデオデコーダ、 １５ オーディオデコーダ、 ２１ ＣＰＵ（判別手段、再生制御手段）、 ３１ 外部表示装置、 ４１ コンテンツサーバー、 ４２ 再生装置、 ４３ ネットワーク。

Claims (14)

1. ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生方法であって、
   複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する検出ステップと、
   基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する調整ステップと
   を有することを特徴とする映像情報再生方法。
2. 前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻の映像情報再生装置を基準とすることを特徴とする請求項１に記載の映像情報再生方法。
3. 前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻の映像情報再生装置を基準とすることを特徴とする請求項１に記載の映像情報再生方法。
4. 前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻の映像情報再生装置を基準とすることを特徴とする請求項１に記載の映像情報再生方法。
5. 前記検出ステップで検出された再生時刻の誤差が、前記調整ステップによる調整により同期化が可能な範囲内のものかどうか判断する判断ステップと、
   上記判断ステップで同期化が可能な範囲内のものではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄ステップと、
   再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積ステップと、
   次のコンテンツを、基準となる映像情報再生装置が再生を開始したタイミングを、前記再生を中断した映像情報再生装置がコンテンツサーバーから通知を受け、その通知を受けたら、次のコンテンツの再生を開始する開始制御ステップと
   をさらに有することを特徴とする請求項１に記載の映像情報再生方法。
6. 前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がＭＰＥＧ２またはＨ．２６４で符号化されたものであることを特徴とする請求項１乃至５のいずれかに記載の映像情報再生方法。
7. ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生システムであって、
   複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段と、
   基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する手段と、
   を有することを特徴とする映像情報再生システム。
8. 前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻の映像情報再生装置を基準とすることを特徴とする請求項７に記載の映像情報再生システム。
9. 前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻の映像情報再生装置を基準とすることを特徴とする請求項７に記載の映像情報再生システム。
10. 前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻の映像情報再生装置を基準とすることを特徴とする請求項７に記載の映像情報再生システム。
11. 前記検出手段で検出された再生時刻の誤差が、前記調整手段による調整により同期化が可能な範囲内のものかどうか判断する判断手段と、
    上記判断手段で同期化が可能な範囲内のものではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
    再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
    次のコンテンツを、基準となる映像情報再生装置が再生を開始したタイミングを、前記再生を中断した映像情報再生装置がコンテンツサーバーから通知を受けたら、次のコンテンツの再生を開始する開始制御手段と
    をさらに有することを特徴とする請求項７に記載の映像情報再生システム。
12. 前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がＭＰＥＧ２またはＨ．２６４で符号化されたものであることを特徴とする請求項７乃至１１のいずれかに記載の映像情報再生システム。
13. ネットワークで接続されたコンテンツサーバーから配信される、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツであって、
    前記本編の最後のフレームと同じ内容の映像を表示するためのフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報が、再生同期調整用のフレームとして、本編の最後のフレームの後に複数枚追加されている
    ことを特徴とする映像情報コンテンツ。
14. 前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がＭＰＥＧ２またはＨ．２６４で符号化されたものであることを特徴とする請求項１３に記載の映像情報コンテンツ。

Images