JP2004208308A - オーディオフレームおよび／またはビデオフレームの再生を同期化する方法と装置、ビデオドライバ回路、デコーダボックス - Google Patents

Abstract

【課題】 オーディオフレームおよび／またはビデオフレームの再生のうまい同期化方法を提供する。
【解決手段】 オーディオフレームおよび／またはビデオフレームの再生を同期化する方法は、フレームのストリームにおいて再生タイムスタンプ（ＰＴＳ）を検出することを含む。タイムスタンプによって示される再生時刻（ｔ（ＰＴＳ））は、局部基準クロック（２）によって示される時刻（ｔ（ＩＰＣＲ））と比較される。再生時刻と上記クロックによって示される対応した時刻の間の偏差値の分散値（Ｖ）と分散値の平均値（Ｍ）に応じて、上記クロックがタイムスタンプによって示される再生時刻にしたがって初期化されるか（１０７）、フレームの再生が調整される（１０９、１１０）。
【選択図】 図２

Description

本発明は、ビデオフレームおよび／またはオーディオフレームの再生時刻を示すタイムスタンプを含むデータストリームから生成される上記フレームの再生を同期化する方法と装置に関する。本発明は、特に、大容量ディジタル記録媒体上で読み取られる圧縮データストリームに適用される。この圧縮データストリームは、本明細書において以下ＭＰＥＧ規格と呼ぶＭＰＥＧ−２規格（ＩＳＯ／ＩＥＣ １３８１２−２）にしたがって圧縮されたデータストリームであってもよい。

ビデオフレームおよび／またはオーディオフレームは、放送源によるＭＰＥＧデータストリームライブ放送（衛星放送、ケーブル放送、ディジタル地上波放送、ＤＶＢ（「ディジタルビデオ放送」））から、ＭＰＥＧデコーダによって生成される。上記フレームは、１つの音声・映像プログラムまたはデータストリーム中の多重化されたいくつかの音声・映像プログラムに含まれている。

上記フレームは、その再生の直前に、放送源によって送信され、データストリームに含まれている時間基準から生成されたクロックに対して同期化される。この時間基準は、ＭＰＥＧ規格では「プログラムクロック基準」またはＰＣＲと呼ばれている。この時間基準は、上記フレームのＭＰＥＧ符号化を調整するクロックと同期させた状態で、ＭＰＥＧデータストリーム中に挿入されている。この時間基準によって、ＰＬＬ（「位相同期ループ」）回路などによる支援を受け、プログラムに関連する基準クロックを復号側で生成することができる。以下の説明において、このクロックをプログラムクロックと呼ぶ。

データストリームは、上記フレームの再生のそれぞれの時刻を示すプレゼンテーションタイムスタンプも含んでいる。このタイムスタンプによって、上記フレームの再生をプログラムクロックに対して同期化することができる。このタイムスタンプは、ＭＰＥＧ規格では「プレゼンテーションタイムスタンプ」またはＰＴＳと呼ばれている。そして、上記フレームの復号と表示は、上記フレームがプログラムクロックに対してＰＴＳによって定められる時刻において再生されるように、リアルタイムの制限に従うことによって行われる。ビデオ復号とオーディオ復号は別個の処理であるが、各ビデオフレームと各オーディオフレームは、同一の所定の時刻において再生されるようにプログラムクロックと同期化される。つまり、ビデオフレームとオーディオフレームは、それぞれプログラムクロックと同期し、かつ、相互にも同期している。

上記フレームが生成されるデータストリームがリアルタイムに受信されるのではなく、ハードディスクまたはＤＶＤ（「ディジタルビデオディスク」）のような大容量ディジタル記録媒体上で読み取られるとき、リアルタイムという概念は失われる。具体的には、たとえ媒体上に基本ストリーム（すなわちＥＳ）、または、パケット化された基本ストリーム（すなわちＰＥＳ）の形で保存されているデータストリームが、なおＰＣＲとＰＴＳを含んでいても、復号処理は全く異なった方法で行われる。具体的には、リアルタイム復号の場合よりもはるかに大容量のバッファ処理が必要になる。さらに、データの出力に関しても大きな違いがある。具体的には、データの出力速度がはるかに高速で、かつ、バーストモードにある。以上の違いは、データストリームの部分読み取りに関して、ハードディスクにアクセスを行う独特の方法に起因する。

さらに、同期は、早送りや巻き戻しのような高度な読み取りモード（「トリックモード」）にしたがって読み取りが行われる間にも、ハードディスクへのランダムアクセスが必要なときにも、維持されなければならない。また、同期は、リアルタイムに受信されたプログラムの再生からハードディスク上で読み取られたプログラムの再生に移行するとき、または、その逆のとき、あるいは、ハードディスク上で読み取られた第１のプログラムの再生から第２のプログラムの再生に移行するとき、広告またはその他のシーケンスをプログラムの再生に挿入する（「シームレス・スプライシング」）間にも、維持されなければならない。

本発明の第１の態様は、ビデオフレームまたはオーディオフレームの再生を互いに独立に同期化することに関する。ビデオを同期化するために、本発明は、データストリーム中に存在する一連のプレゼンテーションタイムスタンプを解析することと、局部的に生成された基準クロックに対する遅れまたは進みにしたがって、フレームの再生（すなわち映像の表示）をそれぞれスキップするかまたは繰り返すかの判断をすることにある。オーディオを同期化するために、本発明は、進みがオーディオフレームの再生を繰り返すのではなく、オーディオフレームの再生を停止することによって処理される点を除き、ビデオと同じ処理からなっている。

本発明の第２の態様は、ビデオフレームとオーディオフレームを相互に同期化することに関する。これは、相互同期化と呼ばれている。

このように、本発明は、ビデオフレームまたはオーディオフレームの再生時刻を示すプレゼンテーションタイムスタンプ（ＰＴＳ）を含むデータストリームを処理することによって生成される上記フレームの再生を同期化する方法であって、少なくともいくつかのプレゼンテーションタイムスタンプの処理は、
処理されているタイムスタンプによって示される再生時刻と、当該タイムスタンプの処理中に局部基準クロックによって示される時刻の間の現在の偏差値を計算するステップと、
レジスタ内に、以前に処理されたタイムスタンプに対応する偏差値の後に続いて現在の偏差値を保存するステップと、
少なくとも現在の偏差値を含み、レジスタ内において基準偏差値の後に続いて保存されている順序付けられた一連の偏差値の分散値を計算し、この分散値を所定の分散閾値と比較して、
もし分散値が分散閾値よりも大きいならば、現在の偏差値を新しい基準偏差値として選択し、
もし分散値が分散閾値よりも小さいならば、上記一連の偏差値に関する偏差の平均値を計算し、この平均値を所定の平均閾値と比較し、
もし平均値の絶対値が平均閾値よりも大きいならば、局部基準クロックを、処理されているタイムスタンプによって示される再生時刻に対応する時刻の値に初期化し、現在の偏差値を新しい基準偏差値として選択し、
もし平均値の絶対値が平均閾値よりも小さいならば、処理されているタイムスタンプによって示される再生時刻と、当該タイムスタンプの処理中に局部基準クロックによって示される時刻の間の偏差値を小さくするように、上記フレームの再生を調整するステップを含む方法を提案する。

したがって、本発明の方法によれば、上記フレームを、ストリームに含まれているＰＣＲとは必ずしも関連していない基準クロック、すなわち、局部基準クロックに対して同期化することができる。そこで、本発明の方法は、記録媒体上で読み取られたデータストリーム、特に、ＭＰＥＧ規格で規定されたＥＳまたはＰＥＳから、ビデオ／オーディオデコーダによって生成されたビデオフレームおよび／またはオーディオフレームの再生のために特に用いることができる。

本発明の方法の他の利点は、本発明の方法によって上記フレームの高速同期化が可能になり、それゆえ、１つのストリームから他のストリームに移行するとき（例えば、リアルタイムに受信されたストリームからハードディスク上で読み取られたストリームに移行するとき、または、その逆のとき、あるいは、ライブで受信されたストリームからライブで受信された他のストリームに移行するとき）、または、ストリーム中で順方向または逆方向にスキップを行うとき、短い待ち時間で同期化が可能になることにある。その結果、フレームの順序は同期化処理によってほとんど変化しない。

したがって、引き続いて再生が行われるフレームは、異なるデータストリームに含まれていることもあるし、同一のデータストリームの異なる部分に含まれていることもある。特に、引き続いて再生が行われるフレームを、
ＭＰＥＧ規格で規定された１つまたは複数の放送ストリームで、リアルタイムに放送されたデータストリームと、
大容量ディジタル記録媒体上で読み取られ、異なるプログラムに対応するデータストリームと、
大容量ディジタル記録媒体上で読み取られる同一のプログラムに対応するデータストリームの別々の部分であって、それぞれが、場合によって異なる再生速度で、かつ、場合によって異なる再生方向（順方向または逆方向）で再生されることになっている別々の部分と、
リアルタイムに受信されたストリームと、それに続く大容量ディジタル記録媒体上で読み取られる他のストリーム、または、大容量ディジタル記録媒体上で読み取られるストリームと、それに続くリアルタイムに受信された他のストリームから生成することができる。

（大容量ディジタル記録媒体上で読み取られるデータストリームから生成されたフレームについて、）引き続くフレームシーケンスが異なる再生速度で再生されることになっているとき、局部基準クロックは、これらのフレームシーケンスの各々に対して異なるクロックレートを示す。

本発明の方法は、大容量ディジタル記録媒体上で読み取られるデータストリームと同じくらいうまく、リアルタイムに受信されるデータストリームに適用される。再生されるフレームがリアルタイムに受信されたデータストリームから生成されるとき、局部基準クロックによって定められる、時刻と日付がスタンプされた時刻を、放送源によって送信され、データストリームに含まれているＰＣＲから直接得ることができるのが利点である。

本発明の方法は、再生開始コマンドに応答して実行することができる。

一実施例によると、プレゼンテーションタイムスタンプによって示される再生時刻と、局部基準クロックによって示される対応した時刻の間の偏差値が、この偏差値がゼロでない場合にのみ、レジスタに保存される。したがって、レジスタは、再生されるフレームのストリームの同期不良に対応する偏差値のみを保存している。偏差値がゼロのとき、レジスタに以前保存された偏差値が、新しい基準偏差値として選択される。

新しい基準偏差値が選択されたとき、レジスタに保存されているすべての偏差値を消去することが好ましい。この場合、分散値の計算または平均値の計算のために取り入れられる一連の偏差値は、当該計算の時点でレジスタに保存されているすべての偏差値に対応する。したがって、容量の小さいレジスタで十分である。

さらに、処理されているタイムスタンプに対応する偏差値をレジスタに保存した後、もしレジスタが所定の数よりも少ない偏差値を保存していれば、当該タイムスタンプの処理を中断してもよい。このような閾値の導入によって、局部基準クロックのクロックレートを変更する前に、フレームの同期化不良を確認するための最小の期間を取り入れることが可能になる。このようにすると、さらに、適切でない再同期化を避けることによって、ユーザに見える、または、ユーザに聞こえるアーチファクトが減る。

本発明の第２の態様は、ビデオフレームとオーディオフレームを並列に再生するために、ビデオフレームの再生とオーディオフレームの再生を同期化する方法であって、
第１の態様による方法にしたがって、ビデオフレームの再生を同期化するステップと、
これと並列に、第１の態様による方法にしたがって、オーディオフレームの再生を同期化するステップと、
ビデオフレームの再生と関連づけられている局部基準クロックと、オーディオフレームの再生と関連づけられている局部基準クロックを、一方の局部基準クロックを他方の局部基準クロックにロックすることによって相互に同期化するステップを含む方法に関する。

「ビデオフレームの再生の同期化に並行して」という表現は、ビデオフレームの再生の同期化と、オーディオフレームの再生の同期化が、異なる経路によって同時に実行されることを意味するものとする。特に、ビデオフレームの再生を同期化するために使用される少なくともいくつかの手段は、オーディオフレームの再生を同期化するために使用される手段と異なっている。

したがって、ビデオフレームとオーディオフレームの再生は、最初は相互に独立に同期化され、次いで相互に同期化される。このような方法によって、再生のまさに始めからスループットが適切に調整されている各種のビデオフレームとオーディオフレームの再生開始を担保しながら、各種の上記フレームに特有の制限および／または要件を取り入れることが可能になる。

本発明の第３の態様は、第１または第２の態様の方法を実施する装置に関する。

本発明の第４の態様は、第３の態様による装置を含むビデオドライバ回路に関する。

本発明の第５の態様は、第４の態様による回路を含むデコーダボックス（「セットトップボックス」）に関する。

次に、本発明の実施の形態について、図面を参照して詳細に説明する。

図１および２において、再生装置に出力されるフレームは、ビデオフレーム（表示される映像に対応するようなフレーム）、または、オーディオフレーム（映像と関連づけられた音声に対応するようなフレーム）である。

図１において、符号１０は、本発明の第１の実施形態による同期化方法を実施するのに適したフレーム調整装置を示す。調整装置１０は、特に、処理部１と、局部基準クロック２と、フレームスループット管理部４を含む。

クロック２はカウンタの形で実施され、クロックのクロックレート（すなわち、カウンタの計数速度）は、例えば、公称読み取り速度（ｘ１）に対して９０ｋＨｚに等しい。クロックレートは、カウンタのコマンドに読み取り速度因子を加えることによって、早送りまたはスローモーションのために、増加または減少させることができる。

管理部４は、ビデオ／オーディオデコーダ１３によって出力された未調整のスループットを有するフレームのストリームを入力として受信する。出力部において、管理部４は、調整されたスループットを有するフレームのストリームを再生装置１４に出力する。再生装置は、（ビデオ用の）表示画面または（オーディオ用の）１つまたは複数のスピーカを含み、フレームが連続的または準連続的に入力される入力部を備えている。デコーダ１３は、大容量ディジタル記録媒体１１ａ上のデータを読み取る機能を有する読み取り装置１１によって、または、場合によっては、受信装置１２によって出力されたデータから、未調整のスループットを有するフレームのストリームを生成する。受信装置１２は、衛星放送、ケーブル放送、ディジタル地上波放送によって放送された放送ストリームを、リアルタイム放送源１２ａから受信する。この放送ストリームは、多重化された形で、１つまたは複数のプログラムからのビデオデータ、オーディオデータ、その他のデータを含んでいる。受信装置１２は、この放送ストリームの多重分離を行う。さらに、受信装置１２は、場合によっては、例えば、スクランブル解除、アクセス制御などのような他の機能を実行する。デコーダ１３は、読み取り装置１１、次いで受信装置１２から、または、この逆の順序で受信したデータストリームを順次に復号することができる。

管理部４は、フレームが再生のために出力される前にいくらかのフレームを一時的に保存するようになっているバッファメモリ５にさらに結合されている。フレームのこのバッファ処理によって、デコーダ１３から受信したフレームのスループットとは独立に、再生装置１４に出力されるフレームのスループットを変えることができる。

処理部１は、メモリレジスタ３に保存されているディジタルデータにアクセスすることができる。例えば、同時に保存される最大１６個または３２個のディジタル値に対応する、レジスタ３の制限された記憶容量は、本発明の方法を実施するのに十分かもしれない。このような制限された容量のレジスタは、高い動作速度と両立する。レジスタ３は、処理部１によって、処理部１によって計算された現在の偏差値を時間の順序で保存するように制御される。処理部１は、さらに、レジスタ３に保存されているすべてのディジタルデータの即時の再初期化を命令してもよい。レジスタ３の再初期化という表現は、処理部１がレジスタ３内に保存されているすべての偏差値を消去する動作を意味するものとする。

そして、処理部１は、公称速度に対して加速または減速された速度で読み取るコマンドを取り入れるために、装置１０の外部から読み取り速度因子を受信することができる。

クロック２は基準クロックレートを有し、処理部１に規則的な間隔で時間基準を出力する。クロック２は、それがいかなる外部の時間基準がなくても動作することができるという意味で、局部基準クロックと呼ばれる。クロック２が出力し、本明細書で以下ＩＰＣＲ（「内部プログラムクロック基準」）と呼ぶ時間基準は、クロック２の初期化の時刻に対する時間を特定する。クロック２のこのような初期化は、再生装置１４へのフレームの出力があったときに処理部１によって命令される。

受信装置１２は、源１２ａによって送信され、［背景技術］で説明したＰＣＲである時間基準を受信する。デコーダ１３が受信装置１２から受信したデータストリームを処理するとき、ＩＰＣＲは、源１２ａによって送信されたＰＣＲにもとづくことが好ましい。一例では、ＰＣＲは直接ＩＰＣＲを構成する。その場合、クロック２は、それ自体公知の方法、例えばＰＬＬ（「位相同期ループ」）によって、クロック２自身を受信したＰＣＲに同期させるだけである。

デコーダによって受信されるデータストリームは、［背景技術］で説明したＰＴＳであるプレゼンテーションタイムスタンプをさらに含む。このＰＴＳは、管理部４に送信される未調整のスループットを有するフレームのストリームの中に含まれている。管理部４は、管理部４が受信したフレームのストリームの中にＰＴＳを検出すると、そのことを処理部１に通知する。処理部１は、返信において、そのフレームのストリームを調整するコマンドを管理部４に送信することができる。

図２は、図１の装置によって実施され得る、ビデオフレームまたはオーディオフレームのストリームを調整する方法のステップを示すフローチャートである。

管理部４がＰＴＳを検出すると、管理部４はこのＰＴＳによって示される再生時刻ｔ（ＰＴＳ）を処理部１に送信する。図２に示されているステップ１００で、処理部１は、時刻ｔ（ＰＴＳ）をクロック２から受信した最新のＩＰＣＲによって特定され、以下の説明および図面ではｔ（ＩＰＣＲ）で示されている時刻と比較する。もし時刻ｔ（ＰＴＳ）が時刻ｔ（ＩＰＣＲ）に等しいならば、再生装置１４へのフレームの送信がクロック２と同期していることを示している。次に、レジスタ３が再初期化され（ステップ１０１）、処理部１は、管理部４が信号のストリーム中に次のＰＴＳを検出するのを待つ（ステップ１１１）。次に、次のＰＴＳの処理するための上記の処理が繰り返される。

もし時刻ｔ（ＰＴＳ）が時刻ｔ（ＩＰＣＲ）と異なっているならば、装置１４へのフレームの送信が、クロック２と同期していないことを示している。この場合、処理部１は、時刻ｔ（ＰＴＳ）と時刻ｔ（ＩＰＣＲ）の間の偏差値Δを計算する。一例では、Δはｔ（ＰＴＳ）の値からｔ（ＩＰＣＲ）の値を差し引いた値に等しい。もしΔが正ならば、フレームの再生がクロック２のクロックレートに対して進んでいることを示している。逆に、もしΔが負ならば、フレームの再生がクロック２のクロックレートに対して遅れていることを示している。Δの値はレジスタ３に保存される（ステップ１０２）。

次に、処理部１は、レジスタ３が指定された個数の保存された偏差値、例えば１６個の偏差値を含んでいるかどうかを調べる（ステップ１０３）。もしこの偏差値の個数に達していなければ、処理部１は、管理部４がフレームのストリーム中に次のＰＴＳを検出するのを待つ（ステップ１１１）。

レジスタ３が指定された個数の偏差値を含んでいるとき、処理部１は、レジスタ３に含まれている一連の偏差値から分散値Ｖと平均値Ｍを計算する（ステップ１０４）。分散値Ｖは、レジスタ３に保存されている各偏差値と上記偏差値の平均値の間の差の二乗の総和のような、または、絶対値としてみなしたこれらの差の最大値のような、統計学の分野で公知の種類の分散である。平均値Ｍは、例えば、レジスタ３に保存されている偏差値の総和をこれらの偏差値の個数で割った値として計算することができる。

次に、処理部１は、計算された分散値Ｖを所定の分散閾値Ｖ_Sと比較する（ステップ１０５）。分散閾値Ｖ_Sは、フレーム（ビデオまたはオーディオ）の種類に依存させてもよい。

もし分散値ＶがＶ_Sよりも大きければ、ストリーム管理部４によってデコーダ１３から受信されたフレームのスループットに急激かつ大きな変動があることを示している。好ましい実施形態（不図示）では、処理部１は、このような変動がいくつかのＰＴＳにわたって確認されるのを待つ。待っている間、処理部１は、フレームの再生に関するいかなる変化も命令しない。処理部１は、レジスタ３の再初期化を命令し（ステップ１０１）、管理部４がデータストリーム中に次のＰＴＳを検出するのを待つ（ステップ１１１）。上記変動の急激かつ大きいという性質は、後続する複数のＰＴＳマーカに対して、もし小さな新しい分散値Ｖが得られれば、確認される。

逆に、もし分散値ＶがＶ_Sよりも小さいならば、デコーダ１３から受信したフレームのストリームのスループットが安定していることを示している。次に、処理部１は、平均値Ｍを平均閾値Ｍ_Sと比較する（ステップ１０６）。閾値Ｍ_Sもまた、フレームの種類に依存させてもよい。

もし平均値Ｍの絶対値の方が閾値Ｍ_Sの絶対値よりも大きいならば、クロック２のクロックレートに対して、装置１４へのフレームの送信に数ＰＴＳにわたる系統的なシフトが存在することを示している。次に、このようなシフトは、処理部１がクロック２を時刻ｔ（ＰＴＳ）で再初期化することを命令することによって補正される（ステップ１０７）。次に、レジスタ３は再初期化され（ステップ１０１）、次のＰＴＳが待機される（ステップ１１１）。

逆に、もし平均値Ｍの絶対値がゼロではないが閾値Ｍ_Sより小さいならば、クロック２のクロックレートに対して、デコーダ１３から受信したフレームに小さな時間シフトが存在することを示している。この場合、このシフトは、処理部１が装置１４へのフレームの送信を調節することを命令することによって補償される。次に、処理部１は、管理部４に対して、管理部４がフレームのスループットを調整するようにフレームのストリームを変更するコマンドを送信する。フレームのストリームのスループットの調整という表現は、再生がクロック２の時刻ｔ（ＩＰＣＲ）とほぼ同期して行われるように調整を行う動作を意味するものとする。スクリーン１４に送信される信号のストリームの調整は、平均値Ｍの符号すなわち正または負を検出することによって次のように行われる（ステップ１０８）。すなわち、
平均値Ｍが負であり、したがって、クロック２のクロックレートに対してフレームが遅れを示しているとき、処理部１は、管理部４に少なくとも１つのフレームをスキップするように命令する（ステップ１０９）。そうすると、装置１４に送信されるフレームのストリームは、クロック２と同期しながら継続される。

逆に、平均値Ｍが正であり、クロック２のクロックレートに対してフレームが進みを示しているとき、処理部１は、管理部４に装置１４へのフレームの送信に遅延を導入することを命令する（ステップ１１０）。ビデオに関しては、この遅延は、管理部４に１つまたは複数のビデオフレームを１回または複数回繰り返すことを命令することによって達成される。オーディオに関しては、処理部１は、オーディオフレームのストリームの進みを補償するために、管理部４に２つのオーディオフレームの送信の間に指定された期間待機することを命令することができる。こうすると、装置１４に送信されるフレームのストリームは、クロック２と同期しながら継続される。

上述した同期方法は、反復されるレジスタ３の初期化によって進行しながら、レジスタ３の内容の特別な管理を実現している。このような管理によって、限定された容量のレジスタ３を使用することが可能になる。この管理は、本明細書では例によって説明されたが、代わりに他の同等の管理形態を用いてもよいことは理解されるべきである。

本発明の同期方法によって、たとえフレームが異なるプログラム（異なるプログラムクロックを有している）に含まれるときであっても、または、デコーダ１３によって受信されるデータストリームの不連続な部分に含まれるときでも（媒体１３ａからトリックモードで読み取る場合）、これらのフレームを自動的かつ連続的に再生することができる。また、本発明の同期方法によって、あるプログラムの再生中に広告を円滑に挿入することができる（「シームレス・スプライシング」）。例えば、広告のシーケンスを、広告のシーケンスの期間には映画の再生を中断し、次いで広告のシーケンスの後に遅延を全く入れないで当該映画の再生に戻ることによって、映画の再生の間に挿入してもよい。

本発明の同期化方法は、フレームの再生開始時にも実行することができる。この場合、再生開始のコマンドの受信と、フレームの最初のシーケンスのＰＴＳの上述の処理の間に、中間ステップを含めることができる。この中間ステップは、クロック２を、ストリーム管理部４によって検出された最初のＰＴＳによって示される時刻ｔ（ＰＴＳ）に対応する時刻の値に初期化することを含む。これによって、シーケンスの最初のＰＴＳから直ちに同期化をすることができる。

中間ステップは、再生しようとする最初のフレームをバッファメモリ５に記録することも含めることができる。バッファメモリ５で利用できるこれらのフレームは、装置１４上のフレームの実際の再生に対する、デコーダ１３によって送信されるフレームのストリームの進みに対処することができる。このような進みによって、デコーダ１３によって送信されたフレームのストリームの後続する遅延を補償することができる。

本発明の方法は、２つの異なるフレームのストリームのそれぞれの再生を相互に同期化するためにも使用することができる。この２つのフレームのストリームは、例えば、同一のプログラムのビデオフレームのストリームとオーディオフレームのストリームである。

図３は、例えば、ビデオデコーダ２５（デコーダ２）とオーディオデコーダ３５（デコーダ１）によってそれぞれ生成されるビデオフレームのストリームとオーディオフレームのストリームの双方を受信する装置４０を概略的に示している。通常、デコーダ２５および３５は、図１のビデオ／オーディオデコーダ１３に対応する同一の回路内に含まれている。

一般に、オーディオ復号は、ビデオ復号よりも高速であるので、表示装置２６に送信されるビデオフレームを、一連のスピーカ（不図示）に信号を出力する増幅器３６に送信されるオーディオフレームと同期させることが必要になる。この同期は、ビデオフレームとオーディオフレームを、それぞれ表示装置２６と増幅器３６へ再生する時点で行われる。

このために、総合ストリーム調整装置４０は、ビデオデコーダ２５から送信されるビデオフレームのストリームに作用する第１の２次ストリーム調整装置２０と、オーディオデコーダ３５から送信されるオーディオフレームのストリームに作用する第２の２次ストリーム調整装置３０を含む。２次調整装置２０および３０は相互に独立であって、それぞれ、ビデオフレームのストリームを調整されたスループットで表示装置２６に送信し、オーディオフレームのストリームを調整されたスループットで増幅器３６に送信する。

２次調整装置２０および３０は、それぞれ、図１のブロック図に関連して上述した調整装置１０の構成と同一の構成を有している。特に、２次調整装置２０および３０は、処理部２１および３１（図３においてそれぞれ処理部２および１）と、クロック２２および３２（それぞれクロック２および１）と、ストリーム管理部２４および３４（それぞれストリーム管理部２および１）をそれぞれ含む。簡単のため、これらの素子のみが図３に示されている。

総合調整装置４０は、２次調整装置２０および３０の種々の素子にコマンドを送信することができる総合ストリーム管理部４１をさらに含む。２つのクロック２２および３２のクロックレートは同一であって、例えば９０ｋＨｚ（ビデオおよびオーディオ読み取り速度因子がそれぞれ掛けられる）に等しい。

管理部２４は、ビデオフレームのストリーム中にＰＴＳ（ここではＰＴＳ２で示されている）を検出し、検出したＰＴＳに対応する時刻（時刻ｔ（ＰＴＳ２））を処理部２１に通知する。クロック２２は、各ＰＴＳの検出に対応する時刻を示し、この時刻をｔ（ＩＰＣＲ２）で示して処理装置２１に通知する。

同様に、オーディオストリームの管理部３４は、オーディオフレームのストリーム中にＰＴＳ（図ではＰＴＳ１で示されている）を検出し、検出したＰＴＳに対応する時刻ｔ（ＰＴＳ１）を処理部３１に通知する。クロック３２は、各ＰＴＳの検出に対応する時刻ｔ（ＩＰＣＲ１）を処理装置３１に通知する。時刻ｔ（ＰＴＳ１）は、もともと、時刻ｔ（ＩＰＣＲ２）とは関連がない。

調整装置４０は、ＰＴＳから生成された、というよりはむしろ、ＰＴＳから回復されたプログラムクロックである第３のクロック（不図示）を含むことが好ましい。

総合管理部４１によって再生開始コマンドが受信されると、２つのストリーム、すなわち、ビデオストリームおよびオーディオストリームのフレームの再生が開始される。

オーディオフレームのストリームの再生は、対応する時刻ｔ（ＰＴＳ１）とｔ（ＩＰＣＲ１）を用いて、図１および２と関連して説明した方法で開始される。同時にそして独立に、ビデオフレームのストリームの再生が、対応する時刻ｔ（ＰＴＳ２）およびｔ（ＩＰＣＲ２）を用いて開始される。

クロック３２（または２２）は、ストリーム管理部３４（または２４）によって検出された最初のＰＴＳの時刻ｔ（ＰＴＳ１）（またはｔ（ＰＴＳ２））で初期化してもよい。この場合、ストリーム管理部３４（または２４）は、増幅器３６に（またはスクリーン２６に）、調整されたスループットで、クロック３２と同期化されたオーディオ（またはビデオ）フレームのストリームを送信する。

総合管理部４１による再生開始コマンドの受信と、増幅器３６への（または表示装置２６への）オーディオ（またはビデオ）フレームの出力開始の間、プログラムの最初のオーディオ（またはビデオ）フレームが、ストリーム管理部３４（または２４）によってバッファメモリに保存される。このようなバッファメモリは、図１のバッファメモリ５に対応する。このバッファメモリが満杯になると、ストリーム管理部３４（または２４）は、スループットが調整され、クロック３２（または２２）と同期されたストリームの形で、オーディオ（またはビデオ）フレームを増幅器３６に（または表示装置２６に）送信し始める。

このときに再生されるビデオフレームとオーディオフレームのストリームは、それぞれ調整されたスループットを有しているが、必ずしも相互に同期していない。例えば、オーディオフレームはビデオフレームに対して進んでいることがあり得る。２つのクロック２２および３２は、それぞれ時刻ｔ（ＰＴＳ２）またはｔ（ＰＴＳ１）に対応する時刻の値に少なくとも１度は初期化されているが、相互に極めて独立である。

ビデオフレームのストリームとオーディオフレームのストリームの相互同期（すなわち相互間の同期）得るために、総合管理部４１は、クロック３２をクロック２２によって示されている時刻にロックすることを命令する。このロックは、図２のフローチャートに関連して上述した方法を適用し、クロック２２の初期化が命令されたときにはいつでも、クロック３２をクロック２２によって示されている時刻に初期化することによって、うまく実行することができる。

クロック３２をクロック２２によって示される時刻に初期化する前であっても、２つのクロック２２および３２は、ビデオフレームのストリームとオーディオフレームのストリームがそれぞれ独立に同期化する対象を形成するので、同じデータストリーム（したがって、同じプログラムクロックに関連づけられている）から生じる情報（すなわち、それぞれＰＴＳ２およびＰＴＳ１のＰＴＳ）にもとづいて相互に接近した時刻を原理的に示す。つまり、クロック２２と３２は原理的に反同期的である。

総合管理部４１は、２つのクロック２２および３２によってそれぞれ示される時刻が特定の閾値よりも小さな偏差を示さない限り、上記初期化を遅延させることができる。このような付加的条件によって、オーディオフレームのストリームがビデオフレームのストリームと過度に高頻度に同期化されることに起因する重大な変更をひとりでに受けることがないようにできる。

同様に、総合管理部４１は、クロック２２および３２の読み取り速度因子が等しくなければ、上記初期化を命令しない。読み取り速度因子は、プログラムの読み取り速度を変更するコマンドがビデオフレームのストリームとオーディオフレームのストリームに同じ敏速さで影響を与えないため、このコマンドを受信した直後には瞬間的に等しくない可能性がある。

クロック２２によって示される時刻によるクロック３２の初期化にもとづいて、２つのクロック２２および３２は、総合管理部４１によって相互に同期化され、共通の時刻を出力する。つまり、ｔ（ＩＰＣＲ１）＝ｔ（ＩＰＣＲ２）である。特に、上述の例では、クロック３２は、各瞬間において、クロック２２によって出力された時刻を再現する。このとき、ビデオフレームの送信は、図２のフローチャートを参照して上述した方法にしたがって継続される。この方法によると、クロック２２は、ビデオフレームのストリームのＰＴＳにしたがって初期化することができる。このようにして得られたビデオフレームの同期化は、ビデオフレームのストリームのわずかな変更しか引き起こさない。

ストリーム管理部３４によるオーディオフレームの送信もまた継続されるが、ビデオフレームと関連づけられたクロック２２に制御されるようにして継続される。オーディオ信号に用いられる同期化方法は、図２を参照して説明し、平均値Ｍの絶対値を平均閾値と比較するステップ１０６が、ステップ１０７とともに省略される方法に対応している。分散値のテストがＹＥＳであるときには、ステップ１０５は、体系的に次にステップ１０８に進む。

このようにして達成されるオーディオ信号の送信は、ビデオフレームの再生の同期化によって引き起こされるクロック２２の初期化に後続する。このようにして、オーディオフレームのストリームは、ビデオフレームのストリームに対して同期化される。この同期化は、オーディオフレームのスキップ、または、オーディオフレームのストリーム中に待機用の遅延を導入することだけによって達成される。以上のことから、具体的に、増幅器３６に送信される調整されたスループットを有するオーディオフレームのストリームは、表示装置２６に送信されるビデオフレームのストリームよりも多くの変更を示すという結果になる。これは、２つのストリームの相互同期をビデオフレームのストリームを優先して実行するからである。このような動作方法は、ユーザが、ビデオストリームと関連した、不規則性に対する知覚能力よりも劣った、オーディオストリームの不規則性に対する知覚能力を有しているということを考えると、適切である。

ビデオフレームとオーディオフレームのストリームの相互同期化方法の他の実施形態では、優先権はオーディオフレームのストリームに与えられてもよい。この場合、クロック２２は、クロック３２によって示される時刻を再現する。

優先権は、指定された環境に応じ、または、ユーザによって入力される対応したコマンドに応じ、２つのストリームのいずれか一方に割り当ててもよい。このとき、優先権は、総合管理部４１によって割り当ててもよい。

上述した相互同期化方法を可逆的にしてもよい。もし２つのクロック２２および２３がロックされている場合、主管理部４１は、ストリーム管理部２４または３４の一方（主管理部４１によってクロック２２または３２の一方にロックが課されていても、相互に独立に動作を継続する）が、上記特定の閾値より大きい偏差のために、それぞれクロック２２または３２の初期化を必要とするとき、２つのクロック２２および２３のロックを解除することができる。具体的には、このような偏差は、２つのクロック２２および３２の間に、これらが分離されることを必要とするような大きなずれが存在することを示している。このことは、ビデオフレームのストリームまたはオーディオフレームのストリームの不連続が、他方のストリームに直接対応する部分がなくて発生するとき（例えば、読み取りの速度および／または方向の変化があったとき、または、フレームの原点の変化があったとき）に起こりうる。

調整装置２０および３０が正確に処理をすることができないほど高速にプログラムが読み取られるとき、次の措置によってクロック２２と３２の間の相互同期化を最良に維持することができる。

調整装置２０（ビデオ）は、圧縮データストリーム中のデータの複数の部分をスキップするコマンドをデコーダ２５に送信することができる。デコーダは、返信において、不連続の存在について調整装置２０に通知する。この場合、調整装置は、同期の維持を目的とせずに、直ちにクロック２２を再初期化する。２つのクロックがロックされるとき、オーディオは直ちに新たな基準について通知される。

調整装置３０（オーディオ）は、同じ方法を逆に適用する。さらに、オーディオがビデオに対して非常に遅延された状態になるならば、調整装置３０は、オーディオデータのストリームの一部分をスキップするか、または、オーディオフレームを１つずつスキップするコマンドをデコーダ３５に送信することもできる。この場合、必要なスキップのバイトサイズは、スキップするオーディオフレームの数にオーディオデータのストリームの２値のスループットを掛けることによって定められる。スキップされるフレームの数は、現在のＰＴＳと現在のＰＴＲの間の偏差の関数として定められる。

本発明の第１の実施形態による方法を実施する装置のブロック図である。 本発明による方法のステップのフローチャートである。 本発明の第２の実施形態による方法を実施する装置のブロック図である。

符号の説明

１ 処理部
２ （局部基準）クロック
３ （メモリ）レジスタ
４ ストリーム管理部（フレームスループット管理部）
５ バッファメモリ
１０ フレーム調整装置
１１ 読み取り装置
１１ａ 記録媒体（大容量ディジタル記録媒体）
１２ 受信装置
１２ａ リアルタイム放送源
１３ ビデオ／オーディオデコーダ
１４ 再生装置
１００〜１１１ ステップ
２０ 第１の２次ストリーム調整装置
２１ 処理部２
２２ クロック２
２４ ストリーム管理部２
２５ デコーダ２（ビデオデコーダ）
２６ 表示装置
３０ 第２の２次ストリーム調整装置
３１ 処理部１
３２ クロック１
３４ ストリーム管理部１
３５ デコーダ１（オーディオデコーダ）
３６ 増幅器
４０ 総合ストリーム調整装置
４１ 総合ストリーム管理部

Claims (17)

1. ビデオフレームまたはオーディオフレームの再生時刻を示すタイムスタンプ（ＰＴＳ）を含むデータストリームを処理することによって生成された前記フレームの再生を同期化する方法であって、少なくともいくつかのタイムスタンプ（ＰＴＳ）の処理が、
   処理されているタイムスタンプによって示される再生時刻（ｔ（ＰＴＳ））と、当該タイムスタンプの処理中に局部基準クロック（２）によって示される時刻（ｔ（ＩＰＣＲ））の間の現在の偏差値を計算するステップと、
   以前に処理されたタイムスタンプに対応する偏差値の後に続いて前記現在の偏差値をレジスタ（３）内に保存するステップ（１０２）と、
   −少なくとも前記現在の偏差値を含み、前記レジスタ内に基準偏差値の後に続いて保存されている順序付けられた一連の偏差値の分散値（Ｖ）を計算し（１０４）、前記分散値を所定の分散閾値と比較して、
   もし前記分散値が前記分散閾値（Ｖ_S）よりも大きいならば、前記現在の偏差値を新しい基準偏差値として選択し、
   もし前記分散値が前記分散閾値（Ｖ_S）よりも小さいならば、前記一連の偏差値に関する偏差の平均値（Ｍ）を計算し、前記平均値を所定の平均閾値（Ｍ_S）と比較し（１０６）、
   もし前記平均値の絶対値が前記平均閾値よりも大きいならば、前記局部基準クロックを、処理されているタイムスタンプによって示される再生時刻に対応する時刻の値に初期化し（１０７）、前記現在の偏差値を新しい基準偏差値として選択し、
   もし前記平均値の絶対値が前記平均閾値よりも小さいならば、処理されているタイムスタンプによって示される再生時刻と、当該タイムスタンプの処理中に前記局部基準クロックによって示される時刻の間の偏差値を小さくするように、前記フレームの再生を調整するステップを含む方法。
2. 前記フレームの再生の前記調整は、前記一連の偏差値に関する偏差の前記平均値が負のときには、少なくとも１つのフレームをスキップすること（１０９）を含む、請求項１に記載の方法。
3. 前記フレームの再生の前記調整は、前記一連の偏差値に関する偏差の前記平均値が正のときには、前記フレームの再生に一時停止を導入すること（１１０）を含む、請求項１または２に記載の方法。
4. 前記現在の偏差値がゼロでない場合のみ、前記現在の偏差値を前記レジスタに保存し、もし前記現在の偏差値がゼロならば、以前に前記レジスタに保存した偏差値を選択する、請求項１から３のいずれか１項に記載の方法。
5. 新しい基準偏差値が選択されたとき、前記レジスタに保存されているすべての偏差値を消去し、前記分散値の計算と前記平均値の計算のために取り入れられる前記一連の偏差値は、前記計算の時点で前記レジスタに保存されているすべての偏差値に対応する、請求項１から４のいずれか１項に記載の方法。
6. 前記レジスタに前記現在の偏差値を保存した後、もし前記レジスタが所定の数よりも少ない偏差値を保存しているならば、タイムスタンプの前記処理を中断する（１０３、１１１）、請求項５に記載の方法。
7. 再生開始コマンドに応答して、かつ、タイムスタンプの前記処理の開始前に、前記局部基準クロックを、処理される最初のタイムスタンプによって示される再生時刻に対応する時刻の値に初期化することをさらに含む、請求項１から６のいずれか１項に記載の方法。
8. 前記再生開始コマンドを受信してから、受信した前記フレームをバッファメモリ（５）に記録し始めることを含む、請求項７に記載の方法。
9. 前記データストリームを大容量ディジタル記録媒体（１１ａ）上で読み取る、請求項１から８のいずれか１項に記載の方法。
10. 前記データストリームをリアルタイム放送源（１２ａ）からリアルタイムに受信する、請求項１から８のいずれか１項に記載の方法。
11. 前記局部基準クロックのクロックレートを、受信した前記データストリームに含まれている時間基準（ＰＣＲ）と同期させる、請求項１０に記載の方法。
12. ビデオフレームとオーディオフレームを並列に再生するために、前記ビデオフレームの再生と前記オーディオフレームの再生を同期化する方法であって、
    請求項１から１１のいずれか１項に記載の方法にしたがって、前記ビデオフレームの再生を同期化するステップと、
    これと並列に、請求項１から１１のいずれか１項に記載の方法にしたがって、前記オーディオフレームの再生を同期化するステップと、
    前記ビデオフレームの再生と関連づけられている局部基準クロック（２２）と、前記オーディオフレームの再生と関連づけられている局部基準クロック（３２）を、一方の局部基準クロックを他方の局部基準クロックにロックすることによって相互に同期化するステップを含む方法。
13. 前記ロックは、各場合において、前記一方の局部基準クロックを前記他方の局部基準クロックの時刻の値に初期化することによって行われる、請求項１２に記載の方法。
14. 所定の瞬間において、前記２つの局部基準クロックのそれぞれによって示される時刻が所定の閾値よりも小さな偏差値を示す場合にのみ、前記一方の局部基準クロックを前記他方の局部基準クロックの時刻の値に初期化する、請求項１２または１３に記載の方法。
15. 請求項１から１４のいずれか１項に記載の方法を実施する手段を含む装置。
16. 請求項１５に記載の装置を含むビデオドライバ回路。
17. 請求項１６に記載の回路を含むデコーダボックス。

Images