JP2000115772A - マルチメディアの再生システムにおけるディジタルのビデオおよびオ―ディオの再生の適応型同期化のための方法および装置 - Google Patents
マルチメディアの再生システムにおけるディジタルのビデオおよびオ―ディオの再生の適応型同期化のための方法および装置Info
- Publication number
- JP2000115772A JP2000115772A JP11244523A JP24452399A JP2000115772A JP 2000115772 A JP2000115772 A JP 2000115772A JP 11244523 A JP11244523 A JP 11244523A JP 24452399 A JP24452399 A JP 24452399A JP 2000115772 A JP2000115772 A JP 2000115772A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- backlogged
- frames
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Receiver Circuits (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 変動のある再生環境における活動中にユーザ
認識の再生性能が改善される、ディジタル・ビデオおよ
びオーディオビデオ及びオーディオ情報の同期化再生に
関する。 【解決手段】 ストアード・プログラム・メモリ付きの
プロセッサが、オーディオ・ブロックおよびビデオ・フ
レームの復号および再生を制御し、各ストリームが意図
された再生時刻の順序で独立に格納されている。プロセ
ッサはオーディオ・ブロックの復号および再生に対して
高い優先度を与え、符号化のビデオ・フレームのバック
ログの存否を定期的に判定する。ビデオのバックログが
ある状況下でプロセッサは意図されている再生時刻が最
新のバックログのビデオ・フレームのシーケンス内での
フレームを復号し、再生用に復号さるべきバックログの
ビデオ・フレームだけを復号してて、そのバックログを
減らす。
認識の再生性能が改善される、ディジタル・ビデオおよ
びオーディオビデオ及びオーディオ情報の同期化再生に
関する。 【解決手段】 ストアード・プログラム・メモリ付きの
プロセッサが、オーディオ・ブロックおよびビデオ・フ
レームの復号および再生を制御し、各ストリームが意図
された再生時刻の順序で独立に格納されている。プロセ
ッサはオーディオ・ブロックの復号および再生に対して
高い優先度を与え、符号化のビデオ・フレームのバック
ログの存否を定期的に判定する。ビデオのバックログが
ある状況下でプロセッサは意図されている再生時刻が最
新のバックログのビデオ・フレームのシーケンス内での
フレームを復号し、再生用に復号さるべきバックログの
ビデオ・フレームだけを復号してて、そのバックログを
減らす。
Description
【０００１】
【発明の属する技術分野】本発明は、マルチメディア・
システムに関する。特に、本発明は、リソースが限られ
ているか、あるいはリソースが変化している再生環境に
おいて動作しながらユーザ認識の再生性能が改善される
ような、ディジタル・ビデオおよびディジタル・オーデ
ィオの情報の同期化された再生に関する。
システムに関する。特に、本発明は、リソースが限られ
ているか、あるいはリソースが変化している再生環境に
おいて動作しながらユーザ認識の再生性能が改善される
ような、ディジタル・ビデオおよびディジタル・オーデ
ィオの情報の同期化された再生に関する。
【０００２】
【従来の技術、及び、発明が解決しようとする課題】代
表的なマルチメディアの再生の応用において、ディジタ
ル・オーディオおよびディジタル・ビデオの信号がソー
スにおいて生成され、そして混合されたストリームの
中、あるいは別々のストリームの中で、インターネット
などの通信ネットワーク上でインターネット・ブラウザ
およびマルチメディア再生ツールが装備されているパー
ソナル・コンピュータなどのインテリジェント再生装置
に対して配送される。
表的なマルチメディアの再生の応用において、ディジタ
ル・オーディオおよびディジタル・ビデオの信号がソー
スにおいて生成され、そして混合されたストリームの
中、あるいは別々のストリームの中で、インターネット
などの通信ネットワーク上でインターネット・ブラウザ
およびマルチメディア再生ツールが装備されているパー
ソナル・コンピュータなどのインテリジェント再生装置
に対して配送される。
【０００３】この分野の技術においてよく知られている
ように、ディジタル・オーディオ信号は、通常は、アナ
ログ・オーディオ信号のディジタル・サンプルの順序付
けられたシーケンスとして生成される。アナログ信号は
固定の間隔で周期的にサンプルされ、その間隔の逆数は
オーディオのサンプリング・レートとして知られてい
る。記憶または伝送の目的のために、そのオーディオ・
サンプルのシーケンスはオーディオ・ブロックとして知
られているオーバラップしていないセグメントに分割さ
れることがよくあり、各オーディオ・ブロックは所定の
数のオーディオ・サンプルを含んでいる。
ように、ディジタル・オーディオ信号は、通常は、アナ
ログ・オーディオ信号のディジタル・サンプルの順序付
けられたシーケンスとして生成される。アナログ信号は
固定の間隔で周期的にサンプルされ、その間隔の逆数は
オーディオのサンプリング・レートとして知られてい
る。記憶または伝送の目的のために、そのオーディオ・
サンプルのシーケンスはオーディオ・ブロックとして知
られているオーバラップしていないセグメントに分割さ
れることがよくあり、各オーディオ・ブロックは所定の
数のオーディオ・サンプルを含んでいる。
【０００４】ディジタル・ビデオ信号は、通常は、ディ
ジタル形式における静止画像のシーケンスとして捕捉さ
れ、表示される。各ビデオ画像は一般にビデオ・フレー
ムとして知られている。単位時間当たりに捕捉されるビ
デオ・フレームの数はビデオ・フレーム・レートとして
知られている。
ジタル形式における静止画像のシーケンスとして捕捉さ
れ、表示される。各ビデオ画像は一般にビデオ・フレー
ムとして知られている。単位時間当たりに捕捉されるビ
デオ・フレームの数はビデオ・フレーム・レートとして
知られている。
【０００５】ビデオ・フレームおよびオーディオ・ブロ
ックをマルチメディア再生装置に対して転送する際の効
率を良くするために、マルチメディアのソースは一般に
このビデオおよびオーディオの情報を符号化する。この
情報はデータ・ネットワーク上で再生装置に対して送信
される前に、ソースにおいて、そのパケットに対して送
信されるオーディオ・ブロックおよびビデオ・フレーム
のそれぞれに対する適切な再生シーケンスおよび時刻を
示している情報を追加して、データ・パケットの中にカ
プセル化される（パケット化される）ことが多い。再生
装置においては、符号化された情報がパケットから抽出
され、そして次に直接復号されて再生されるか、あるい
は後で処理するために記憶される。ビデオまたはオーデ
ィオの再生装置による復号されたデータの再生は、普
通、「レンダリング」と呼ばれている。
ックをマルチメディア再生装置に対して転送する際の効
率を良くするために、マルチメディアのソースは一般に
このビデオおよびオーディオの情報を符号化する。この
情報はデータ・ネットワーク上で再生装置に対して送信
される前に、ソースにおいて、そのパケットに対して送
信されるオーディオ・ブロックおよびビデオ・フレーム
のそれぞれに対する適切な再生シーケンスおよび時刻を
示している情報を追加して、データ・パケットの中にカ
プセル化される（パケット化される）ことが多い。再生
装置においては、符号化された情報がパケットから抽出
され、そして次に直接復号されて再生されるか、あるい
は後で処理するために記憶される。ビデオまたはオーデ
ィオの再生装置による復号されたデータの再生は、普
通、「レンダリング」と呼ばれている。
【０００６】ＭＰＥＧ‐I、ＭＰＥＧ‐IIおよびＨ２６
３などの標準規格に反映されているようなほとんどのビ
デオ符号化技法は、再生装置に対して送信されなければ
ならないビデオ情報の量を圧縮するか、あるいは減らす
ためにフレーム間符号化を使用する。通常は、各ディジ
タル・ビデオ・フレームの中で符号化されているピクセ
ルのうち、連続フレーム上で変化するのは一部分だけな
ので、送信されるビデオ情報の量は連続フレーム上で変
化するピクセルだけを符号化して送信することによって
大幅に削減することができる。そのような符号化技法
は、通常は、現在のフレームを完全に復号するために、
現在のビデオ・フレームに隣接している１つまたはそれ
以上のビデオ・フレームを正常に復号するための再生装
置を必要とする。隣接しているビデオ・フレームの復号
が非効率的であるか、あるいは失われていた場合、ほと
んどのビデオ符号化技法は、ビデオ・ストリームの中に
「キー」フレームを定期的に挿入することも行い、その
キー・フレームは隣接しているフレームとは独立に復号
される十分な情報を含んでいて、必要な時に圧縮された
ビデオの復号・プロセスを再スタートするために使うこ
とができる。
３などの標準規格に反映されているようなほとんどのビ
デオ符号化技法は、再生装置に対して送信されなければ
ならないビデオ情報の量を圧縮するか、あるいは減らす
ためにフレーム間符号化を使用する。通常は、各ディジ
タル・ビデオ・フレームの中で符号化されているピクセ
ルのうち、連続フレーム上で変化するのは一部分だけな
ので、送信されるビデオ情報の量は連続フレーム上で変
化するピクセルだけを符号化して送信することによって
大幅に削減することができる。そのような符号化技法
は、通常は、現在のフレームを完全に復号するために、
現在のビデオ・フレームに隣接している１つまたはそれ
以上のビデオ・フレームを正常に復号するための再生装
置を必要とする。隣接しているビデオ・フレームの復号
が非効率的であるか、あるいは失われていた場合、ほと
んどのビデオ符号化技法は、ビデオ・ストリームの中に
「キー」フレームを定期的に挿入することも行い、その
キー・フレームは隣接しているフレームとは独立に復号
される十分な情報を含んでいて、必要な時に圧縮された
ビデオの復号・プロセスを再スタートするために使うこ
とができる。
【０００７】ビデオ・フレームはオーディオ・ブロック
より大幅に多くのデータを必要とするので、マルチメデ
ィアのデータ・ストリームは一般に多数のビデオ・パケ
ットの間に少数のオーディオ・パケットをランダムに散
在させて含んでいる。これらの散在しているオーディオ
・パケットが再生装置に到着した時、ビデオ・フレーム
とオーディオ・ブロックの意図された再生シーケンスに
おける整合が取れない可能性がある。到着時にビデオお
よびオーディオのパケットを再同期化するためにいくつ
かの方式が適用されている（たとえば、ローズノー（Ｒ
ｏｓｅｎａｕ）他に対して発行された米国特許第５，５
９８，３５２号（以下、ローズノーの’３５２特許と呼
ぶ）を参照されたい）。
より大幅に多くのデータを必要とするので、マルチメデ
ィアのデータ・ストリームは一般に多数のビデオ・パケ
ットの間に少数のオーディオ・パケットをランダムに散
在させて含んでいる。これらの散在しているオーディオ
・パケットが再生装置に到着した時、ビデオ・フレーム
とオーディオ・ブロックの意図された再生シーケンスに
おける整合が取れない可能性がある。到着時にビデオお
よびオーディオのパケットを再同期化するためにいくつ
かの方式が適用されている（たとえば、ローズノー（Ｒ
ｏｓｅｎａｕ）他に対して発行された米国特許第５，５
９８，３５２号（以下、ローズノーの’３５２特許と呼
ぶ）を参照されたい）。
【０００８】再生装置に到着した時にマルチメディアの
データ・ストリーム要素の再同期化が行われる場合で
も、エンド・ユーザはマルチメディアの再生性能が不十
分であることに気付く可能性がある。再生が始まる前に
再生装置においてマルチメディアのデータを完全にスト
リーム化するか、さもなければシーケンスに従って格納
しておくことができるが、装置の処理パワーが小さい
か、他にかなりの、競合しているタスクのオーバヘッド
がある場合、マルチメディアの再生を一時的に、あるい
は長く継続して中断させることになるＣＰＵのバックロ
グによって多かれ少なかれ影響される可能性がある。よ
り安価で他の多くの同時アプリケーションにサービスす
ることができる再生装置に対してユーザがメーカーに期
待するにつれて、再生装置の性能がマルチメディアのア
プリケーションの潜在的な性能を制限し続けることにな
る。
データ・ストリーム要素の再同期化が行われる場合で
も、エンド・ユーザはマルチメディアの再生性能が不十
分であることに気付く可能性がある。再生が始まる前に
再生装置においてマルチメディアのデータを完全にスト
リーム化するか、さもなければシーケンスに従って格納
しておくことができるが、装置の処理パワーが小さい
か、他にかなりの、競合しているタスクのオーバヘッド
がある場合、マルチメディアの再生を一時的に、あるい
は長く継続して中断させることになるＣＰＵのバックロ
グによって多かれ少なかれ影響される可能性がある。よ
り安価で他の多くの同時アプリケーションにサービスす
ることができる再生装置に対してユーザがメーカーに期
待するにつれて、再生装置の性能がマルチメディアのア
プリケーションの潜在的な性能を制限し続けることにな
る。
【０００９】
【課題を解決するための手段】マルチメディア再生アプ
リケーションのエンド・ユーザ認識性能は、処理パワー
が制限されているか、あるいは大きく変化するマルチメ
ディア再生装置における同期化されたディジタル・ビデ
オおよびディジタル・オーディオの情報のレンダリング
のための新しい発明によって大幅に改善される。通常、
ユーザはビデオ再生ストリームの場合よりもオーディオ
再生ストリームにおける中断がより気になるので、マル
チメディア再生装置はオーディオ・ブロックの復号およ
びレンダリングに対して最高の優先度を割り当てる。再
生装置の処理リソースが制限されている状況下におい
て、この優先順位付けの方式によって、ビデオの復号お
よびレンダリングがオーディオの復号およびレンダリン
グより遅れる（あるいは、関連する「バックログとな
る」）ことになる可能性がある。ビデオのレンダリング
のバックログが直接監視され、そしてそれが大きい場
合、バックログになっているビデオ・フレームのシーケ
ンスの中の最近の（または最新の）ビデオ・フレームだ
けの限定されたレンダリングを実行することによってバ
ックログが削減される。これはそのバックログになって
いるビデオ・フレームのうち、最も新しいものをレンダ
リングするために、復号される必要があるバックログの
シーケンスの中のビデオ・フレームだけを復号すること
によって行われる。バックログになっているフレームの
うち最も新しいものを復号するために必要とされないバ
ックログのビデオ・フレームは実質的に捨てられる。
リケーションのエンド・ユーザ認識性能は、処理パワー
が制限されているか、あるいは大きく変化するマルチメ
ディア再生装置における同期化されたディジタル・ビデ
オおよびディジタル・オーディオの情報のレンダリング
のための新しい発明によって大幅に改善される。通常、
ユーザはビデオ再生ストリームの場合よりもオーディオ
再生ストリームにおける中断がより気になるので、マル
チメディア再生装置はオーディオ・ブロックの復号およ
びレンダリングに対して最高の優先度を割り当てる。再
生装置の処理リソースが制限されている状況下におい
て、この優先順位付けの方式によって、ビデオの復号お
よびレンダリングがオーディオの復号およびレンダリン
グより遅れる（あるいは、関連する「バックログとな
る」）ことになる可能性がある。ビデオのレンダリング
のバックログが直接監視され、そしてそれが大きい場
合、バックログになっているビデオ・フレームのシーケ
ンスの中の最近の（または最新の）ビデオ・フレームだ
けの限定されたレンダリングを実行することによってバ
ックログが削減される。これはそのバックログになって
いるビデオ・フレームのうち、最も新しいものをレンダ
リングするために、復号される必要があるバックログの
シーケンスの中のビデオ・フレームだけを復号すること
によって行われる。バックログになっているフレームの
うち最も新しいものを復号するために必要とされないバ
ックログのビデオ・フレームは実質的に捨てられる。
【００１０】バックログを知るための再生装置の処理リ
ソースの高度な監視の必要性が回避され、そしてオーデ
ィオおよびビデオの再生ストリームに対するユーザが気
付く中断が最小化されるので有利である。本発明を採用
することによって、マルチメディアのアプリケーション
は処理パワーが変化する各種の再生装置において効率的
にレンダリングを行うことができる。さらに、与えられ
た再生装置において、マルチメディアのアプリケーショ
ンは他の競合しているタスクによって生じた処理リソー
スの一時的な損失からより良好に回復することができ
る。
ソースの高度な監視の必要性が回避され、そしてオーデ
ィオおよびビデオの再生ストリームに対するユーザが気
付く中断が最小化されるので有利である。本発明を採用
することによって、マルチメディアのアプリケーション
は処理パワーが変化する各種の再生装置において効率的
にレンダリングを行うことができる。さらに、与えられ
た再生装置において、マルチメディアのアプリケーショ
ンは他の競合しているタスクによって生じた処理リソー
スの一時的な損失からより良好に回復することができ
る。
【００１１】
【発明の実施の形態】本発明の以下の特定の例示的実施
例の記述と共に添付図面を参照することにより本発明の
より完全なる理解が達せられるであろう。首尾一貫性を
保つため、そして理解し易くするために、類似している
か、あるいは等価な図のそれぞれの要素は下位の二桁の
位置の識別番号が同じになっている（たとえば、図１の
ビデオ再生バッファ１１８は図３Ａのビデオ再生バッフ
ァ３１８と等価である）。
例の記述と共に添付図面を参照することにより本発明の
より完全なる理解が達せられるであろう。首尾一貫性を
保つため、そして理解し易くするために、類似している
か、あるいは等価な図のそれぞれの要素は下位の二桁の
位置の識別番号が同じになっている（たとえば、図１の
ビデオ再生バッファ１１８は図３Ａのビデオ再生バッフ
ァ３１８と等価である）。
【００１２】以前に注記されたように、従来の技術のマ
ルチメディア再生システムは、通常は、ビデオおよびオ
ーディオのデータの混在するストリームを含んでいる圧
縮されて符号化されたディジタル信号を受信する。これ
らのシステムはこの混合されたデータ・ストリームに関
して動作し、そのビデオ・フレームとオーディオ・フレ
ームとを分離して復号し、そして次にこれらのフレーム
およびブロックを適切なシーケンスで、そして適切な時
刻においてレンダリングする。結果として、ビデオ画像
とオーディオの出力は密接に同期して発生され、コヒー
レントなマルチメディアの経験をシステム・ユーザに対
して提供する。
ルチメディア再生システムは、通常は、ビデオおよびオ
ーディオのデータの混在するストリームを含んでいる圧
縮されて符号化されたディジタル信号を受信する。これ
らのシステムはこの混合されたデータ・ストリームに関
して動作し、そのビデオ・フレームとオーディオ・フレ
ームとを分離して復号し、そして次にこれらのフレーム
およびブロックを適切なシーケンスで、そして適切な時
刻においてレンダリングする。結果として、ビデオ画像
とオーディオの出力は密接に同期して発生され、コヒー
レントなマルチメディアの経験をシステム・ユーザに対
して提供する。
【００１３】そのようなシステムのための基本コンポー
ネントが図１に示されている（たとえば、ローズノー
の’３５２特許を参照されたい）。このマルチメディア
再生システム１００においては、符号化されたディジタ
ルのオーディオ／ビデオのデータ・ストリーム１０２が
システム・復号器１０４に入力され、システム・復号器
１０４はそのストリームを符号化されたビデオのデータ
・ストリーム１０６と符号化されたオーディオのデータ
・ストリーム１０８とに分割する。
ネントが図１に示されている（たとえば、ローズノー
の’３５２特許を参照されたい）。このマルチメディア
再生システム１００においては、符号化されたディジタ
ルのオーディオ／ビデオのデータ・ストリーム１０２が
システム・復号器１０４に入力され、システム・復号器
１０４はそのストリームを符号化されたビデオのデータ
・ストリーム１０６と符号化されたオーディオのデータ
・ストリーム１０８とに分割する。
【００１４】ビデオ・バッファ１１０はビデオのデータ
・ストリーム１０６を受け取り、そしてオーディオ・バ
ッファ１１２はオーディオのデータ・ストリーム１０８
を受け取る。ビデオ・復号器１１４はビデオ・バッファ
１１０からビデオ・データを呼び出し、このデータを復
号し、そのデータをビデオ・フレーム１１６にアセンブ
ルし、そして復号された各ビデオ・フレームをビデオ再
生バッファ１１８の中に入れて、ビデオ・プレーヤ１２
０による再生（レンダリング）を待つ。同様に、オーデ
ィオ・復号器１２２はオーディオ・バッファ１１２から
オーディオ・データを呼び出し、このデータを復号し、
その復号されたデータをオーディオ・ブロック１２４の
中にアセンブルし、そして復号された各オーディオ・ブ
ロックをオーディオ再生バッファ１２６の中に入れて、
オーディオ・プレーヤ１２８によるレンダリングを待
つ。
・ストリーム１０６を受け取り、そしてオーディオ・バ
ッファ１１２はオーディオのデータ・ストリーム１０８
を受け取る。ビデオ・復号器１１４はビデオ・バッファ
１１０からビデオ・データを呼び出し、このデータを復
号し、そのデータをビデオ・フレーム１１６にアセンブ
ルし、そして復号された各ビデオ・フレームをビデオ再
生バッファ１１８の中に入れて、ビデオ・プレーヤ１２
０による再生（レンダリング）を待つ。同様に、オーデ
ィオ・復号器１２２はオーディオ・バッファ１１２から
オーディオ・データを呼び出し、このデータを復号し、
その復号されたデータをオーディオ・ブロック１２４の
中にアセンブルし、そして復号された各オーディオ・ブ
ロックをオーディオ再生バッファ１２６の中に入れて、
オーディオ・プレーヤ１２８によるレンダリングを待
つ。
【００１５】従来の技術において各種のマルチメディア
のパケット化および符号化の方式が存在する。図２Ｂは
そのデータをＭＰＥＧ‐Iの標準に従ってパケットの中
にカプセル化する方法を示している（たとえば、ＭＰＥ
Ｇ‐Iに対するＩＳＯ／ＩＥＣ １１１７２‐１：１９
９３（Ｅ）の使用を組み込んでいるローズノーの’３５
２特許を参照されたい）。本発明はＭＰＥＧ‐IIおよび
Ｈ．２６３などの各種の異なるマルチメディア標準をサ
ポートするために使えることを理解することができる。
のパケット化および符号化の方式が存在する。図２Ｂは
そのデータをＭＰＥＧ‐Iの標準に従ってパケットの中
にカプセル化する方法を示している（たとえば、ＭＰＥ
Ｇ‐Iに対するＩＳＯ／ＩＥＣ １１１７２‐１：１９
９３（Ｅ）の使用を組み込んでいるローズノーの’３５
２特許を参照されたい）。本発明はＭＰＥＧ‐IIおよび
Ｈ．２６３などの各種の異なるマルチメディア標準をサ
ポートするために使えることを理解することができる。
【００１６】図２において、データ・ストリーム２０２
はＩＳＯ層およびパック層を組み込んでいる。ＩＳＯ層
においては、終了コード２０４が配送されるまで、一連
のデータ・パッケージ２０３が通信される。各パッケー
ジはパック開始コード２０６およびパケット・データ２
０８を含む。パック層においては、各パッケージ２０２
はパック開始コード２０６、システム・クロック基準
（ＳＣＲ）２１０、システム・ヘッダ２１２およびデー
タのパケット２１４を含む。これらのパケット２１４は
ビデオ・パケットおよびオーディオ・パケットの両方を
含み、ビデオ・パケットはそのデータの性質のために、
遙かに数が多い。システム・クロック基準２１０はシス
テム・タイムを指示し、そしてオーディオのパケットが
ビデオのパケットの間に散在している頻度を示している
マルチクレクサのレートの基準を提供する。
はＩＳＯ層およびパック層を組み込んでいる。ＩＳＯ層
においては、終了コード２０４が配送されるまで、一連
のデータ・パッケージ２０３が通信される。各パッケー
ジはパック開始コード２０６およびパケット・データ２
０８を含む。パック層においては、各パッケージ２０２
はパック開始コード２０６、システム・クロック基準
（ＳＣＲ）２１０、システム・ヘッダ２１２およびデー
タのパケット２１４を含む。これらのパケット２１４は
ビデオ・パケットおよびオーディオ・パケットの両方を
含み、ビデオ・パケットはそのデータの性質のために、
遙かに数が多い。システム・クロック基準２１０はシス
テム・タイムを指示し、そしてオーディオのパケットが
ビデオのパケットの間に散在している頻度を示している
マルチクレクサのレートの基準を提供する。
【００１７】図２に示されているように、ビデオおよび
オーディオの各パケット２１４は開始コード・プレフィ
ックス２１６、ヘッダ・データ２１８およびペイロード
・データ２２０を含む。各種の間隔においてヘッダ・デ
ータ２１８の中にタイム・スタンプ情報２２２が含まれ
ており、それはペイロード２２０がビデオ情報を含んで
いる場合はビデオ表示のタイム・スタンプ（ＶＰＴＳ）
を表し、あるいはペイロード２２０がオーディオ情報を
含んでいる場合はオーディオ表示のタイム・スタンプ
（ＡＰＴＳ）を表すことができる。ＭＰＥＧ‐Iの標準
に従って、ＶＰＴＳおよびＡＰＴＳが、関連付けられて
いるビデオ・フレームおよびオーディオ・ブロックのそ
れぞれに対する適切な再生時刻を示すために提供され
る。
オーディオの各パケット２１４は開始コード・プレフィ
ックス２１６、ヘッダ・データ２１８およびペイロード
・データ２２０を含む。各種の間隔においてヘッダ・デ
ータ２１８の中にタイム・スタンプ情報２２２が含まれ
ており、それはペイロード２２０がビデオ情報を含んで
いる場合はビデオ表示のタイム・スタンプ（ＶＰＴＳ）
を表し、あるいはペイロード２２０がオーディオ情報を
含んでいる場合はオーディオ表示のタイム・スタンプ
（ＡＰＴＳ）を表すことができる。ＭＰＥＧ‐Iの標準
に従って、ＶＰＴＳおよびＡＰＴＳが、関連付けられて
いるビデオ・フレームおよびオーディオ・ブロックのそ
れぞれに対する適切な再生時刻を示すために提供され
る。
【００１８】ＭＰＥＧ‐IおよびＭＰＥＧ‐IIおよび
Ｈ．２６３などの標準は、ビデオおよびオーディオの信
号の両方についてのディジタル符号化／復号化および圧
縮／伸長を用意している。効率のために、ほとんどのビ
デオ符号化技法はフレーム間符号化を使ってネットワー
ク上で再生装置に対して送信されなければならないビデ
オ情報の量を圧縮または削減する。たとえば、３種類の
フレームの混合されたものがＭＰＥＧ‐I標準において
使われている（たとえば、ローズノーの’３５２特許を
参照されたい）。「キー」フレーム（イントラ・フレー
ムまたはＩタイプ・フレームとも呼ばれる）がそのフレ
ーム自身についての情報だけを使って符号化される。予
測またはＰタイプのフレームは過去の基準フレームから
予測モデルを使って符号化されたデータを含む。双方向
またはＢタイプのフレームは、過去のおよび／または未
来の基準フレームから予測モデルを使って符号化された
データを含む。予測モデルを使うことによって、データ
はＰタイプおよびＢタイプのフレームの両方において大
幅に圧縮することができ、ビデオ・データ伝送の総合速
度が改善される。
Ｈ．２６３などの標準は、ビデオおよびオーディオの信
号の両方についてのディジタル符号化／復号化および圧
縮／伸長を用意している。効率のために、ほとんどのビ
デオ符号化技法はフレーム間符号化を使ってネットワー
ク上で再生装置に対して送信されなければならないビデ
オ情報の量を圧縮または削減する。たとえば、３種類の
フレームの混合されたものがＭＰＥＧ‐I標準において
使われている（たとえば、ローズノーの’３５２特許を
参照されたい）。「キー」フレーム（イントラ・フレー
ムまたはＩタイプ・フレームとも呼ばれる）がそのフレ
ーム自身についての情報だけを使って符号化される。予
測またはＰタイプのフレームは過去の基準フレームから
予測モデルを使って符号化されたデータを含む。双方向
またはＢタイプのフレームは、過去のおよび／または未
来の基準フレームから予測モデルを使って符号化された
データを含む。予測モデルを使うことによって、データ
はＰタイプおよびＢタイプのフレームの両方において大
幅に圧縮することができ、ビデオ・データ伝送の総合速
度が改善される。
【００１９】再生時のオーディオ・ブロックとビデオ・
フレームとの同期化は再生性能のユーザ認識のために重
要である。オーディオとビデオとの間の再生シーケンス
の不整合が大きくなると、再生が不鮮明になる可能性が
ある。与えられた時間間隔においてビデオ再生シーケン
スをサポートするために必要なデータの量は、オーディ
オの再生のために必要なデータの量より本来的に大き
い。結果として、送信されるマルチメディアのデータ・
ストリームの中の符号化されたビデオ・パケットの数は
オーディオ・パケットの数より遙かに多い。図１の到来
するマルチメディアのデータ・ストリーム１０６におけ
るビデオ・パケットの間のオーディオ・パケットがまば
らになり過ぎている場合、ビデオ・フレーム１１６とオ
ーディオ・ブロック１２４との不整合が生じる可能性が
ある。従来の技術のマルチメディア再生システムにおい
ては、ＶＰＴＳおよびＡＰＴＳがビデオとオーディオの
再生を同期化するためにＳＣＲと組み合わせてよく使わ
れる。たとえば、いくつかの再生システムにおいては、
ＳＣＲがマルチメディアの再生装置のクロックを同期化
するために使われ、それは次にビデオ・復号器１１４の
中のＶＰＴＳおよびオーディオ・復号器１２２の中のＡ
ＰＴＳと比較され、その２つの信号の同期が外れている
（すなわち、１つのデータ・ストリームが必要な再生時
刻に関して他より遅れてる）度合いが求められる。ある
しきい値レベルにおいて、再生装置によってその遅れて
いるデータ・ストリームの先頭にジャンプしてその信号
を再同期化するためのアクションが取られる（たとえ
ば、ローズノーの’３５２特許を参照されたい）。
フレームとの同期化は再生性能のユーザ認識のために重
要である。オーディオとビデオとの間の再生シーケンス
の不整合が大きくなると、再生が不鮮明になる可能性が
ある。与えられた時間間隔においてビデオ再生シーケン
スをサポートするために必要なデータの量は、オーディ
オの再生のために必要なデータの量より本来的に大き
い。結果として、送信されるマルチメディアのデータ・
ストリームの中の符号化されたビデオ・パケットの数は
オーディオ・パケットの数より遙かに多い。図１の到来
するマルチメディアのデータ・ストリーム１０６におけ
るビデオ・パケットの間のオーディオ・パケットがまば
らになり過ぎている場合、ビデオ・フレーム１１６とオ
ーディオ・ブロック１２４との不整合が生じる可能性が
ある。従来の技術のマルチメディア再生システムにおい
ては、ＶＰＴＳおよびＡＰＴＳがビデオとオーディオの
再生を同期化するためにＳＣＲと組み合わせてよく使わ
れる。たとえば、いくつかの再生システムにおいては、
ＳＣＲがマルチメディアの再生装置のクロックを同期化
するために使われ、それは次にビデオ・復号器１１４の
中のＶＰＴＳおよびオーディオ・復号器１２２の中のＡ
ＰＴＳと比較され、その２つの信号の同期が外れている
（すなわち、１つのデータ・ストリームが必要な再生時
刻に関して他より遅れてる）度合いが求められる。ある
しきい値レベルにおいて、再生装置によってその遅れて
いるデータ・ストリームの先頭にジャンプしてその信号
を再同期化するためのアクションが取られる（たとえ
ば、ローズノーの’３５２特許を参照されたい）。
【００２０】この再同期化のプロセスによって、到来す
るデータ・ストリームの中の混乱が補正されるが、それ
はマルチメディア再生システムに対する処理リソースの
利用可能性の変動のために生じ得る追加の摂動には対処
しない。パワーの限られたプロセッサまたは他の大き
な、そして競合しているタスクのオーバヘッドによって
再生のバックログが生成される可能性があり、かなりの
数のビデオ・フレームおよびオーディオ・ブロックがバ
ッファの中に格納されたままになる可能性がある。その
ようなバックログが発生すると、エンド・ユーザはその
マルチメディア再生中に瞬時的な、そしてより長く続く
中断を経験する可能性がある。
るデータ・ストリームの中の混乱が補正されるが、それ
はマルチメディア再生システムに対する処理リソースの
利用可能性の変動のために生じ得る追加の摂動には対処
しない。パワーの限られたプロセッサまたは他の大き
な、そして競合しているタスクのオーバヘッドによって
再生のバックログが生成される可能性があり、かなりの
数のビデオ・フレームおよびオーディオ・ブロックがバ
ッファの中に格納されたままになる可能性がある。その
ようなバックログが発生すると、エンド・ユーザはその
マルチメディア再生中に瞬時的な、そしてより長く続く
中断を経験する可能性がある。
【００２１】本発明においては、マルチメディアのアプ
リケーションのエンド・ユーザが認識する性能が、処理
パワーが制限されているか、あるいは大きく変動するマ
ルチメディア再生装置におけるディジタルのビデオおよ
びディジタルのオーディオのデータ・ストリームをレン
ダリングするための新しい方法によって大幅に改善され
る。ユーザはビデオ再生ストリームよりオーディオ再生
ストリームの中における中断の方がより気になるので、
オーディオ・ブロックが復号およびレンダリングにおい
て優先される。ビデオの再生のバックログが存在するか
どうかを判定するための、単純でしかも信頼性のある方
法が使われ、そしてバックログが発生している場合、そ
のバックログを減らし、オーディオおよびビデオの再生
ストリームを同期化するための効率の良い方式が提供さ
れる。この方法の実施形態が図３Ａに示されている。
リケーションのエンド・ユーザが認識する性能が、処理
パワーが制限されているか、あるいは大きく変動するマ
ルチメディア再生装置におけるディジタルのビデオおよ
びディジタルのオーディオのデータ・ストリームをレン
ダリングするための新しい方法によって大幅に改善され
る。ユーザはビデオ再生ストリームよりオーディオ再生
ストリームの中における中断の方がより気になるので、
オーディオ・ブロックが復号およびレンダリングにおい
て優先される。ビデオの再生のバックログが存在するか
どうかを判定するための、単純でしかも信頼性のある方
法が使われ、そしてバックログが発生している場合、そ
のバックログを減らし、オーディオおよびビデオの再生
ストリームを同期化するための効率の良い方式が提供さ
れる。この方法の実施形態が図３Ａに示されている。
【００２２】この実施形態においては、マルチメディア
再生システムが代表的なマルチメディアＰＣであるとみ
なされる。図３に示されているように、プロセッサ３３
０およびストアード・プログラム・メモリ３３２が、た
とえば、オーディオ・復号器３２２、オーディオ・プレ
ーヤ３２８、ビデオ・復号器３１４およびビデオ・プレ
ーヤ３２０などの各種のシステム構成要素によって共有
されている。共有されているリソースとして、プロセッ
サ３３０は個別の要素に対して専用されておらず、ある
いは任意の特定の時刻において任意の要素に利用できる
ことが保証されてもいない。したがって、構成要素は共
有されているリソースに対して競合し、再生の中断が生
じる可能性がある。
再生システムが代表的なマルチメディアＰＣであるとみ
なされる。図３に示されているように、プロセッサ３３
０およびストアード・プログラム・メモリ３３２が、た
とえば、オーディオ・復号器３２２、オーディオ・プレ
ーヤ３２８、ビデオ・復号器３１４およびビデオ・プレ
ーヤ３２０などの各種のシステム構成要素によって共有
されている。共有されているリソースとして、プロセッ
サ３３０は個別の要素に対して専用されておらず、ある
いは任意の特定の時刻において任意の要素に利用できる
ことが保証されてもいない。したがって、構成要素は共
有されているリソースに対して競合し、再生の中断が生
じる可能性がある。
【００２３】従来の技術のマルチメディア再生システム
においては、そのような競合は実行されるべき復号およ
びレンダリングのタスクのそれぞれに対して優先度を割
り当て、そして次に、これらの優先度に従ってその共有
リソースの使用を割り当てることによって対策されてき
た。しかし、この方法は構成要素の１つにおいて予期し
ない処理バックログが発生した場合の調整のための用意
はない。本発明においては、図３Ａのプロセッサ３３０
は、ストアード・プログラム・メモリ３３２によって指
示される場合に、優先度を設定し、バックログを減らす
ために、復号およびレンダリングのタスクについてのい
くつかの追加の制御を引き受ける。
においては、そのような競合は実行されるべき復号およ
びレンダリングのタスクのそれぞれに対して優先度を割
り当て、そして次に、これらの優先度に従ってその共有
リソースの使用を割り当てることによって対策されてき
た。しかし、この方法は構成要素の１つにおいて予期し
ない処理バックログが発生した場合の調整のための用意
はない。本発明においては、図３Ａのプロセッサ３３０
は、ストアード・プログラム・メモリ３３２によって指
示される場合に、優先度を設定し、バックログを減らす
ために、復号およびレンダリングのタスクについてのい
くつかの追加の制御を引き受ける。
【００２４】より詳しく言えば、プロセッサ３３０は、
メモリ３３２によって指示される場合に、オーディオ復
号器３２２に、オーディオ・バッファ３１２から選択さ
れた個数Ｎの符号化されたオーディオ・ブロック３２４
を呼び出し、これらのＮ個のオーディオ・ブロック３２
４を復号し、そしてその後、それらをオーディオ再生バ
ッファ３２６の中に入れるように指令する。オーディオ
再生の中断を減らすために、この選択された数Ｎは少な
くともそのシステムに関連付けられているオーディオ再
生バッファリングの段数と同程度の大きさで、通常は、
２から４までの整数であるべきであることが分かってい
る。復号の後、プロセッサ３３０はこれらの復号された
オーディオ・ブロックを再生するようにオーディオ・プ
レーヤ３２８に指令する。さらに、プロセッサ３３０は
再生バッファ３２６の中に残っている復号されたブロッ
クの数を監視し、必要に応じて再生バッファ３２６を再
充填するために十分な数のオーディオ・ブロックを復号
するよう、復号器３２２に指令する。
メモリ３３２によって指示される場合に、オーディオ復
号器３２２に、オーディオ・バッファ３１２から選択さ
れた個数Ｎの符号化されたオーディオ・ブロック３２４
を呼び出し、これらのＮ個のオーディオ・ブロック３２
４を復号し、そしてその後、それらをオーディオ再生バ
ッファ３２６の中に入れるように指令する。オーディオ
再生の中断を減らすために、この選択された数Ｎは少な
くともそのシステムに関連付けられているオーディオ再
生バッファリングの段数と同程度の大きさで、通常は、
２から４までの整数であるべきであることが分かってい
る。復号の後、プロセッサ３３０はこれらの復号された
オーディオ・ブロックを再生するようにオーディオ・プ
レーヤ３２８に指令する。さらに、プロセッサ３３０は
再生バッファ３２６の中に残っている復号されたブロッ
クの数を監視し、必要に応じて再生バッファ３２６を再
充填するために十分な数のオーディオ・ブロックを復号
するよう、復号器３２２に指令する。
【００２５】各オーディオ・ブロックが再生された後、
プロセッサ３３０はビデオ・バッファ３１０を調べてバ
ックログになっている符号化されたビデオ・フレーム３
０６の数を知る。バックログになっている符号化された
フレームの数が指定のしきい値を超えた場合、プロセッ
サは次にバッファ３１０の中に滞留しているフレームの
どれがビデオ・キー・フレームであるかを判定する。
プロセッサ３３０はビデオ・バッファ３１０を調べてバ
ックログになっている符号化されたビデオ・フレーム３
０６の数を知る。バックログになっている符号化された
フレームの数が指定のしきい値を超えた場合、プロセッ
サは次にバッファ３１０の中に滞留しているフレームの
どれがビデオ・キー・フレームであるかを判定する。
【００２６】バッファ３１０がバックログになっている
ビデオ・キー・フレームを含んでいた場合、プロセッサ
３３０は、ビデオ復号器３１４に、そのバックログにな
っているシーケンスの中の最高のシーケンス番号の、し
たがって、そのシーケンスの中で最も最近のキー・フレ
ーム（以下、最新のキー・フレームと呼ばれる）を復号
し、同様にこのキー・フレームの後にある、したがっ
て、バックログになっているシーケンスの中の後の方に
ある、バッファ３１０の中のすべての他のフレームを同
様に復号するように指令する。次に、プロセッサ３３０
はビデオ再生バッファ３１８の中のシーケンス番号が最
高である復号されたフレームだけを入れるようにビデオ
・復号器３１４に指令する。したがって、このフレーム
がその復号されたフレーム・シーケンスの中の最近のも
のであり、したがって、これ以降では最近の復号された
フレームと呼ばれる。最後にプロセッサ３３０はこの最
近の復号されたフレームを再生するようにビデオ・プレ
ーヤ３２０に指令する。結果として、最近の復号された
フレームを復号するのに必要なバックログになっている
フレームだけが復号され、そしてその最近の復号された
フレームだけが再生される。他のすべてのバックログに
なっているフレームは実効的には捨てられる。
ビデオ・キー・フレームを含んでいた場合、プロセッサ
３３０は、ビデオ復号器３１４に、そのバックログにな
っているシーケンスの中の最高のシーケンス番号の、し
たがって、そのシーケンスの中で最も最近のキー・フレ
ーム（以下、最新のキー・フレームと呼ばれる）を復号
し、同様にこのキー・フレームの後にある、したがっ
て、バックログになっているシーケンスの中の後の方に
ある、バッファ３１０の中のすべての他のフレームを同
様に復号するように指令する。次に、プロセッサ３３０
はビデオ再生バッファ３１８の中のシーケンス番号が最
高である復号されたフレームだけを入れるようにビデオ
・復号器３１４に指令する。したがって、このフレーム
がその復号されたフレーム・シーケンスの中の最近のも
のであり、したがって、これ以降では最近の復号された
フレームと呼ばれる。最後にプロセッサ３３０はこの最
近の復号されたフレームを再生するようにビデオ・プレ
ーヤ３２０に指令する。結果として、最近の復号された
フレームを復号するのに必要なバックログになっている
フレームだけが復号され、そしてその最近の復号された
フレームだけが再生される。他のすべてのバックログに
なっているフレームは実効的には捨てられる。
【００２７】バッファ３１０の中にキー・フレームが含
まれていなかった場合、プロセッサ３３０は、ビデオ復
号器３１４に、ビデオ・バッファ３１０の中のすべての
バックログになっているフレームを復号し、そしてその
バックログになっているシーケンスの中で最も最近の復
号されたフレームを再生バッファ３１８の中に入れるよ
うに指令する。次に、バッファ３１０の中のバックログ
になっている適切なビデオ・フレームが復号されると、
プロセッサ３３０は最近の復号されたフレームをバッフ
ァ３１８からレンダリングのために呼び出すよう、ビデ
オ・プレーヤ３２０に指令する。
まれていなかった場合、プロセッサ３３０は、ビデオ復
号器３１４に、ビデオ・バッファ３１０の中のすべての
バックログになっているフレームを復号し、そしてその
バックログになっているシーケンスの中で最も最近の復
号されたフレームを再生バッファ３１８の中に入れるよ
うに指令する。次に、バッファ３１０の中のバックログ
になっている適切なビデオ・フレームが復号されると、
プロセッサ３３０は最近の復号されたフレームをバッフ
ァ３１８からレンダリングのために呼び出すよう、ビデ
オ・プレーヤ３２０に指令する。
【００２８】システム３００によって操作されるデータ
・ストリームのための基本フォーマットが図３Ｂに示さ
れている。このフォーマットは本発明による１つの例を
提供する。各種の他のデータ・フォーマットも可能であ
り、本発明の範囲内に含まれる。
・ストリームのための基本フォーマットが図３Ｂに示さ
れている。このフォーマットは本発明による１つの例を
提供する。各種の他のデータ・フォーマットも可能であ
り、本発明の範囲内に含まれる。
【００２９】データ・ストリーム３０１はデータ・パケ
ット３１１を含み、そして各パケットはそのパケットが
オーディオのデータまたはビデオのデータのいずれを運
んでいるかを示す識別子３１３および、そのオーディオ
およびビデオのパケットがそれぞれパケット化されて記
憶されるべき順序を設定するシーケンス番号３１５を含
む。さらに、各パケット３１１はパケット・ヘッダ３１
７およびデータ・ペイロード３１９を含む。データ・ス
トリーム３０１の全体がストリーム・ヘッダ３０３から
開始される。ストリーム・ヘッダ３０３はビデオ・フレ
ーム・レート３０５、オーディオ・サンプリング・レー
ト３０７およびオーディオ・ブロック・サイズ３０９を
含んでいる。
ット３１１を含み、そして各パケットはそのパケットが
オーディオのデータまたはビデオのデータのいずれを運
んでいるかを示す識別子３１３および、そのオーディオ
およびビデオのパケットがそれぞれパケット化されて記
憶されるべき順序を設定するシーケンス番号３１５を含
む。さらに、各パケット３１１はパケット・ヘッダ３１
７およびデータ・ペイロード３１９を含む。データ・ス
トリーム３０１の全体がストリーム・ヘッダ３０３から
開始される。ストリーム・ヘッダ３０３はビデオ・フレ
ーム・レート３０５、オーディオ・サンプリング・レー
ト３０７およびオーディオ・ブロック・サイズ３０９を
含んでいる。
【００３０】図３Ｃはバックログの状態がどのように判
定されるかを示している。オーディオ・ブロック３５２
を表している符号化されたデータが到着し、図３Ｃのオ
ーディオ・バッファ３１２の中にシーケンスの順序で入
れられる。シーケンスは図３Ｂに記述されているシーケ
ンス番号３１５を使うことによって、あるいは何らかの
代わりの手段によって設定することができる。図３Ｃに
示されているように、オーディオのタイムライン３５４
が各オーディオ・ブロックのシーケンス番号ｉに対して
タイム・スタンプｔAiで設定される。ここでタイム・ス
タンプは、オーディオ・ブロックＡiが開始される再生
のための所望の時刻を表し、そしてそれは以下の式によ
って計算される。
定されるかを示している。オーディオ・ブロック３５２
を表している符号化されたデータが到着し、図３Ｃのオ
ーディオ・バッファ３１２の中にシーケンスの順序で入
れられる。シーケンスは図３Ｂに記述されているシーケ
ンス番号３１５を使うことによって、あるいは何らかの
代わりの手段によって設定することができる。図３Ｃに
示されているように、オーディオのタイムライン３５４
が各オーディオ・ブロックのシーケンス番号ｉに対して
タイム・スタンプｔAiで設定される。ここでタイム・ス
タンプは、オーディオ・ブロックＡiが開始される再生
のための所望の時刻を表し、そしてそれは以下の式によ
って計算される。
【００３１】 ｔＡi＝ｉ＊（オーディオ・ブロック当たりのデータ・サンプル数／オーディ オ・サンプリング・レート） （１） ここで、ブロック当たりのデータ・サンプルの数３０９
およびオーディオ・サンプリング・レート３０７（図３
Ｂの）がデータ・ストリーム３０１のストリーム・ヘッ
ダ３０３の中に設定されている。サンプリング・レート
およびブロック当たりのサンプル数は選択された標準に
よって変化する。たとえば、ＭＰＥＧ‐Iでの「ＣＤ品
質」のオーディオ伝送は４４．１キロヘルツ（ｋＨｚ）
のレートでサンプルされることが可能であり、そして１
つのブロックの中に１０２４個のサンプルを含む。シー
ケンス番号またはタイム・スタンプのいずれかが関連付
けられた符号化されたフレームまたはブロックと一緒
に、それぞれ図３Ａのバッファ３１８、３２６の中に格
納される。
およびオーディオ・サンプリング・レート３０７（図３
Ｂの）がデータ・ストリーム３０１のストリーム・ヘッ
ダ３０３の中に設定されている。サンプリング・レート
およびブロック当たりのサンプル数は選択された標準に
よって変化する。たとえば、ＭＰＥＧ‐Iでの「ＣＤ品
質」のオーディオ伝送は４４．１キロヘルツ（ｋＨｚ）
のレートでサンプルされることが可能であり、そして１
つのブロックの中に１０２４個のサンプルを含む。シー
ケンス番号またはタイム・スタンプのいずれかが関連付
けられた符号化されたフレームまたはブロックと一緒
に、それぞれ図３Ａのバッファ３１８、３２６の中に格
納される。
【００３２】図３Ｃのビデオ・フレーム３５６を表して
いる符号化されたデータが到着し、そして図３Ａのビデ
オ・バッファ３１０の中にシーケンスの順序で入れられ
る。ふたたび、シーケンスは図３Ｂに記述されているシ
ーケンス番号３１５を使うことによって、あるいは何ら
かの代替手段によって設定することができる。図３Ｃに
示されているように、ビデオのタイムライン３５８は各
ビデオ・フレームＶjに対するタイム・スタンプｔVjを
伴って設定される。ここで、タイム・スタンプはビデオ
・フレームＶjの再生が開始される所望の時刻を表し、
そしてそれは以下の式によって計算される。
いる符号化されたデータが到着し、そして図３Ａのビデ
オ・バッファ３１０の中にシーケンスの順序で入れられ
る。ふたたび、シーケンスは図３Ｂに記述されているシ
ーケンス番号３１５を使うことによって、あるいは何ら
かの代替手段によって設定することができる。図３Ｃに
示されているように、ビデオのタイムライン３５８は各
ビデオ・フレームＶjに対するタイム・スタンプｔVjを
伴って設定される。ここで、タイム・スタンプはビデオ
・フレームＶjの再生が開始される所望の時刻を表し、
そしてそれは以下の式によって計算される。
【００３３】 ｔVj＝ｊ／（ビデオ・フレーム・レート） （２） ここで、図３Ｂのビデオ・フレーム・レート３０５はデ
ータ・ストリーム３０１のストリーム・ヘッダ３０３の
中に含まれている。ビデオ・フレーム・レートは選択さ
れた標準および再生装置の機能に従って変化する。たと
えば、高品質のビデオ・フレーム・レートは３０フレー
ム／秒（ｆｐｓ）で設定されることが可能である。この
フレーム・レートは多くの現在のデスクトップ・マルチ
メディア・システムの能力を超える可能性があるので、
１０〜１５ｆｐｓのフレーム・レートがより通常であ
る。
ータ・ストリーム３０１のストリーム・ヘッダ３０３の
中に含まれている。ビデオ・フレーム・レートは選択さ
れた標準および再生装置の機能に従って変化する。たと
えば、高品質のビデオ・フレーム・レートは３０フレー
ム／秒（ｆｐｓ）で設定されることが可能である。この
フレーム・レートは多くの現在のデスクトップ・マルチ
メディア・システムの能力を超える可能性があるので、
１０〜１５ｆｐｓのフレーム・レートがより通常であ
る。
【００３４】図３Ｃを続けて参照すると、現在のオーデ
ィオ再生ポインタ３６０は図３Ａのオーディオ・バッフ
ァ３１２からの復号されるべき次のオーディオ・ブロッ
クを識別し、そして現在のビデオ再生ポインタ３６２は
図３Ａのビデオ・バッファ３１０からの復号されるべき
次のビデオ・フレームＶpを識別する。タイム・スタン
プｔＶpはＶpに対して決定され、そしてタイム・スタン
プｔAmは次の復号されるべきオーディオ・フレームＡm
に対して決定される。図３Ｃのビデオのバックログ３６
４は以下のように構成される。
ィオ再生ポインタ３６０は図３Ａのオーディオ・バッフ
ァ３１２からの復号されるべき次のオーディオ・ブロッ
クを識別し、そして現在のビデオ再生ポインタ３６２は
図３Ａのビデオ・バッファ３１０からの復号されるべき
次のビデオ・フレームＶpを識別する。タイム・スタン
プｔＶpはＶpに対して決定され、そしてタイム・スタン
プｔAmは次の復号されるべきオーディオ・フレームＡm
に対して決定される。図３Ｃのビデオのバックログ３６
４は以下のように構成される。
【００３５】 ビデオ・フレームＶb （３） ただし、 ｂ∈（シーケンスｐ，ｑ） ｔＶp≦ｔVb＜ｔAm
【００３６】図３Ｃに示されているように、ビデオのバ
ックログ３６４はＶpから始まってＶqに終わっているビ
デオ・フレームのシーケンスから構成されている。ビデ
オのバックログは図６に示されていて、以下にさらに記
述されるビデオの復号およびレンダリングのプロセスを
適応させるために使われる。
ックログ３６４はＶpから始まってＶqに終わっているビ
デオ・フレームのシーケンスから構成されている。ビデ
オのバックログは図６に示されていて、以下にさらに記
述されるビデオの復号およびレンダリングのプロセスを
適応させるために使われる。
【００３７】ユーザはビデオ再生ストリームの場合より
もオーディオ再生ストリームにおける中断の方がより気
になるので、オーディオの復号および再生のプロセスに
はビデオの復号および再生のプロセスよりも高い優先度
が与えられる。図４はオーディオ・データの復号・プロ
セスについてのフローチャートを示している。
もオーディオ再生ストリームにおける中断の方がより気
になるので、オーディオの復号および再生のプロセスに
はビデオの復号および再生のプロセスよりも高い優先度
が与えられる。図４はオーディオ・データの復号・プロ
セスについてのフローチャートを示している。
【００３８】図４のステップ４０２において、図３Ａの
オーディオ・復号器３２２はＮ個のオーディオ・ブロッ
クをオーディオ・バッファ３１２から呼び出して復号す
る。図４のステップ４０４において、図３Ａのオーディ
オ・復号器３２２はこれらのＮ個の復号されたブロック
をオーディオ再生バッファ３２６の中に入れ、そして図
４のステップ４０６において、オーディオ・イベントの
到着を待つ。オーディオ・イベントはオーディオおよび
ビデオの復号および再生のプロセスに対する基本クロッ
クまたはトリガのメカニズムとして働く。
オーディオ・復号器３２２はＮ個のオーディオ・ブロッ
クをオーディオ・バッファ３１２から呼び出して復号す
る。図４のステップ４０４において、図３Ａのオーディ
オ・復号器３２２はこれらのＮ個の復号されたブロック
をオーディオ再生バッファ３２６の中に入れ、そして図
４のステップ４０６において、オーディオ・イベントの
到着を待つ。オーディオ・イベントはオーディオおよび
ビデオの復号および再生のプロセスに対する基本クロッ
クまたはトリガのメカニズムとして働く。
【００３９】呼び出されるオーディオ・ブロックの数Ｎ
は、通常は、そのマルチメディア・システムによって設
定されるシステム・パラメータであり、オーディオの再
生の中断をほとんどなくすために十分に大きい必要があ
る。再生装置のためにデスクトップＰＣを採用している
多くのマルチメディア・アプリケーションに対しては、
２〜４ブロックの値の整数Ｎが有効であることが分かっ
ている。
は、通常は、そのマルチメディア・システムによって設
定されるシステム・パラメータであり、オーディオの再
生の中断をほとんどなくすために十分に大きい必要があ
る。再生装置のためにデスクトップＰＣを採用している
多くのマルチメディア・アプリケーションに対しては、
２〜４ブロックの値の整数Ｎが有効であることが分かっ
ている。
【００４０】オーディオの再生プロセスを示しているフ
ローチャートが図５に与えられ、そしてオーディオ・イ
ベントを発生するために必要なステップを含む。図５の
ステップ５０２において、図３Ａのオーディオ・プレー
ヤ３２８は復号されたオーディオ・ブロックをオーディ
オ再生バッファ３２６から呼び出し、そしてこのブロッ
クをオーディオの出力装置を介してステップ５０４にお
いて再生する。図５の判定ステップ５０６において、図
３Ａのオーディオ・プレーヤ３２８はオーディオ・ブロ
ックの再生の完了を監視し、そして完了時にオーディオ
・イベントをステップ５０８において発生する。このオ
ーディオ・イベントを発生した後、プロセッサ３３０は
オーディオ再生ポインタをインクリメントし、図５のス
テップ５０２へ戻って次の復号されたオーディオ・ブロ
ックを呼び出す。関連付けられたバッファの設計に合わ
せて、オーディオ・ブロックはそれが復号されてレンダ
リングされた後、オーディオ・バッファおよびオーディ
オ再生バッファのそれぞれから実効的に捨てられる。
ローチャートが図５に与えられ、そしてオーディオ・イ
ベントを発生するために必要なステップを含む。図５の
ステップ５０２において、図３Ａのオーディオ・プレー
ヤ３２８は復号されたオーディオ・ブロックをオーディ
オ再生バッファ３２６から呼び出し、そしてこのブロッ
クをオーディオの出力装置を介してステップ５０４にお
いて再生する。図５の判定ステップ５０６において、図
３Ａのオーディオ・プレーヤ３２８はオーディオ・ブロ
ックの再生の完了を監視し、そして完了時にオーディオ
・イベントをステップ５０８において発生する。このオ
ーディオ・イベントを発生した後、プロセッサ３３０は
オーディオ再生ポインタをインクリメントし、図５のス
テップ５０２へ戻って次の復号されたオーディオ・ブロ
ックを呼び出す。関連付けられたバッファの設計に合わ
せて、オーディオ・ブロックはそれが復号されてレンダ
リングされた後、オーディオ・バッファおよびオーディ
オ再生バッファのそれぞれから実効的に捨てられる。
【００４１】オーディオ再生プロセスによって発生され
るオーディオ・イベントは、図３Ａのオーディオ・復号
器３２２によって、図４に示されている判定のステップ
４０６において検出される。ステップ４０８において、
図３Ａのオーディオ・復号器３２２は、オーディオの再
生バッファ３２６がふたたびＮ個の復号されたオーディ
オ・ブロックを含むまで、追加の数の符号化されたオー
ディオ・ブロックをオーディオ・バッファ３１２から呼
び出して復号する。次に、オーディオ・復号器３２２は
図４の判定のステップ４０６へ戻って次のオーディオ・
イベントの到着を待ち、その後、ふたたびステップ４０
８へ移って図３Ａのオーディオ再生バッファ３２６をふ
たたび満たす。
るオーディオ・イベントは、図３Ａのオーディオ・復号
器３２２によって、図４に示されている判定のステップ
４０６において検出される。ステップ４０８において、
図３Ａのオーディオ・復号器３２２は、オーディオの再
生バッファ３２６がふたたびＮ個の復号されたオーディ
オ・ブロックを含むまで、追加の数の符号化されたオー
ディオ・ブロックをオーディオ・バッファ３１２から呼
び出して復号する。次に、オーディオ・復号器３２２は
図４の判定のステップ４０６へ戻って次のオーディオ・
イベントの到着を待ち、その後、ふたたびステップ４０
８へ移って図３Ａのオーディオ再生バッファ３２６をふ
たたび満たす。
【００４２】ビデオの復号および再生のプロセスを示し
ているフローチャートが図６に示されている。ステップ
６０２において、図３Ａのビデオ・復号器が第１のビデ
オ・フレームを復号し、そしてこのフレームをビデオ・
プレーヤ３２０によって再生するためにビデオ再生バッ
ファ３１８の中に格納する。図６のステップ６０４にお
いて、図３Ａのビデオ・復号器３１４は次にオーディオ
・イベントの到着を待つ。オーディオ・イベントの到着
を検出した後、ビデオ・復号器３１４は図６のステップ
６０６へ移って図３の現在のオーディオ再生ポインタ３
１０をインクリメントし、ビデオ・バックログ３１４を
判定する。図６のステップ６０８において、図３Ａのビ
デオ・復号器３１４はそのビデオ・バックログのサイズ
に従って２つのアクションのうちの１つを取る。
ているフローチャートが図６に示されている。ステップ
６０２において、図３Ａのビデオ・復号器が第１のビデ
オ・フレームを復号し、そしてこのフレームをビデオ・
プレーヤ３２０によって再生するためにビデオ再生バッ
ファ３１８の中に格納する。図６のステップ６０４にお
いて、図３Ａのビデオ・復号器３１４は次にオーディオ
・イベントの到着を待つ。オーディオ・イベントの到着
を検出した後、ビデオ・復号器３１４は図６のステップ
６０６へ移って図３の現在のオーディオ再生ポインタ３
１０をインクリメントし、ビデオ・バックログ３１４を
判定する。図６のステップ６０８において、図３Ａのビ
デオ・復号器３１４はそのビデオ・バックログのサイズ
に従って２つのアクションのうちの１つを取る。
【００４３】そのビデオ・バックログが整数Ｍより少な
かった場合、ビデオ・復号器３１４は図６のステップ６
０４へ戻り、次のオーディオ・イベントの到着を待つ。
ビデオ・バックログがＭに等しいか、あるいはＭより大
きかった場合、ステップ６１０においてビデオ・復号器
３１４はバックログになっているフレームをサーチして
ビデオのキー・フレームがあるかどうかを判定する。
かった場合、ビデオ・復号器３１４は図６のステップ６
０４へ戻り、次のオーディオ・イベントの到着を待つ。
ビデオ・バックログがＭに等しいか、あるいはＭより大
きかった場合、ステップ６１０においてビデオ・復号器
３１４はバックログになっているフレームをサーチして
ビデオのキー・フレームがあるかどうかを判定する。
【００４４】ビデオのキー・フレームが見つかった場
合、図３Ａのビデオ・復号器３１４は図６のステップ６
１２において最も最近のバックログになっているキー・
フレームＶkを選択し（タイム・スタンプｔVkに基づい
て）、最も最近のバックログになっているビデオ・フレ
ームＶqを復号し終わるまで、そのシーケンスの中で順
方向に復号を開始し、そしてこの復号された最も最近の
バックログになっているフレームＶqをビデオ再生バッ
ファ３１８の中に入れる。ビデオのキー・フレームが見
つからなかった場合、図１のビデオ・復号器３１４は図
６のステップ６１４においてバックログＶp〜Ｖqの中の
すべてのビデオ・フレームを復号し、そしてバックログ
になっていた最も最近のビデオ・フレームＶqをビデオ
再生バッファ３１８の中に入れる。いずれの場合におい
ても、最も最近のバックログになっているビデオ・フレ
ームＶqを構成するのに必要なビデオ情報だけが復号さ
れる。これらの必要なバックログになっているフレーム
が復号された後、図３Ａのビデオ・バッファ３１０の設
計に従って、バックログになっているすべてのフレーム
Ｖp〜Ｖqがバッファ３１０から実効的に捨てられる。
合、図３Ａのビデオ・復号器３１４は図６のステップ６
１２において最も最近のバックログになっているキー・
フレームＶkを選択し（タイム・スタンプｔVkに基づい
て）、最も最近のバックログになっているビデオ・フレ
ームＶqを復号し終わるまで、そのシーケンスの中で順
方向に復号を開始し、そしてこの復号された最も最近の
バックログになっているフレームＶqをビデオ再生バッ
ファ３１８の中に入れる。ビデオのキー・フレームが見
つからなかった場合、図１のビデオ・復号器３１４は図
６のステップ６１４においてバックログＶp〜Ｖqの中の
すべてのビデオ・フレームを復号し、そしてバックログ
になっていた最も最近のビデオ・フレームＶqをビデオ
再生バッファ３１８の中に入れる。いずれの場合におい
ても、最も最近のバックログになっているビデオ・フレ
ームＶqを構成するのに必要なビデオ情報だけが復号さ
れる。これらの必要なバックログになっているフレーム
が復号された後、図３Ａのビデオ・バッファ３１０の設
計に従って、バックログになっているすべてのフレーム
Ｖp〜Ｖqがバッファ３１０から実効的に捨てられる。
【００４５】図６のステップ６１６において、図３Ａの
ビデオ・プレーヤ３２０は最も最近の復号されたフレー
ムＶqをビデオ再生バッファ３１８から呼び出し、この
フレームを再生し、そして図３Ｂのビデオ再生ポインタ
３１２をインクリメントする。再生バッファ３１８の設
計に従って、復号されたフレームＶqはビデオ・プレー
ヤ３２０によってレンダリングされた後、再生バッファ
３１８から実効的に捨てられる。
ビデオ・プレーヤ３２０は最も最近の復号されたフレー
ムＶqをビデオ再生バッファ３１８から呼び出し、この
フレームを再生し、そして図３Ｂのビデオ再生ポインタ
３１２をインクリメントする。再生バッファ３１８の設
計に従って、復号されたフレームＶqはビデオ・プレー
ヤ３２０によってレンダリングされた後、再生バッファ
３１８から実効的に捨てられる。
【００４６】ビデオのバックログに対するしきい値レベ
ルを設定する整数Ｍは、ビデオ再生における大きな不連
続性が最小化されるように設定される必要がある。代表
的なＰＣベースの環境においては、Ｍは１の整数値に設
定するのが最も効率的であると信じられる。
ルを設定する整数Ｍは、ビデオ再生における大きな不連
続性が最小化されるように設定される必要がある。代表
的なＰＣベースの環境においては、Ｍは１の整数値に設
定するのが最も効率的であると信じられる。
【００４７】この分野の技術に熟達した人にとっては明
らかであるように、図４〜図６に示されている本発明に
従って、マルチメディア再生装置の中のオーディオの復
号および再生のプロセスは、ビデオの復号および再生の
プロセスより高い優先度が与えられている。オーディオ
の再生は本質的に中断されない優先度が与えられている
ので、各オーディオ再生サイクルは比較的固定された、
そして予測可能な期間において完了する。したがって、
各サイクルの完了がオーディオおよびビデオの再生およ
び復号のプロセスの両方を制御する「オーディオ・イベ
ント」をトリガするためのクロックとして使われる。ビ
デオの復号のバックログが検出されると、図３Ａのビデ
オ・復号器３１４がそのバックログのシーケンスの中の
最も最近のビデオ・フレームＶqを復号して表示するた
めには必要でないすべてのビデオ・フレームをスキップ
することができるようにすることによって、そしてビデ
オ・プレーヤ３２０がこの最も最近のビデオ・フレーム
Ｖqだけを再生できるようにすることによって、オーデ
ィオのブロックとビデオのフレームとの間の同期化が再
確立される。オーディオ・ブロックの復号およびレンダ
リングを優先させることによって、オーディオの再生に
おいてユーザが経験する遅延が最小化される。オーディ
オ再生における遅延は、ビデオ再生シーケンスの中で小
さな遅延または省略が発生する場合より、システム・ユ
ーザにとって遙かに気になるものであることが分かって
いる。
らかであるように、図４〜図６に示されている本発明に
従って、マルチメディア再生装置の中のオーディオの復
号および再生のプロセスは、ビデオの復号および再生の
プロセスより高い優先度が与えられている。オーディオ
の再生は本質的に中断されない優先度が与えられている
ので、各オーディオ再生サイクルは比較的固定された、
そして予測可能な期間において完了する。したがって、
各サイクルの完了がオーディオおよびビデオの再生およ
び復号のプロセスの両方を制御する「オーディオ・イベ
ント」をトリガするためのクロックとして使われる。ビ
デオの復号のバックログが検出されると、図３Ａのビデ
オ・復号器３１４がそのバックログのシーケンスの中の
最も最近のビデオ・フレームＶqを復号して表示するた
めには必要でないすべてのビデオ・フレームをスキップ
することができるようにすることによって、そしてビデ
オ・プレーヤ３２０がこの最も最近のビデオ・フレーム
Ｖqだけを再生できるようにすることによって、オーデ
ィオのブロックとビデオのフレームとの間の同期化が再
確立される。オーディオ・ブロックの復号およびレンダ
リングを優先させることによって、オーディオの再生に
おいてユーザが経験する遅延が最小化される。オーディ
オ再生における遅延は、ビデオ再生シーケンスの中で小
さな遅延または省略が発生する場合より、システム・ユ
ーザにとって遙かに気になるものであることが分かって
いる。
【００４８】この上記の方法の実施形態は、本発明の多
くの代替実施形態のうちの１つに過ぎないことはこの分
野の技術に熟達した人にとっては前記の説明から明らか
である。したがって、この説明は例を示すように作られ
ているだけであり、本発明を実施する最善のモードをこ
の分野の技術に熟達した人に説明する目的のためのもの
である。各種の他の代替案が本発明の内容から逸脱する
ことなしに、この分野の技術に熟達した人によって考え
られる。たとえば、本発明は、オーディオのブロックお
よびビデオのフレームをそれぞれ表している符号化され
て復号されたデータの両方を、それぞれが格納すること
ができる単独のオーディオ・バッファおよび単独のビデ
オ・バッファを使って実装することができる。追加の例
として、ビデオ・フレームのバックログに対して選択さ
れる値（Ｍ）、呼び出されるオーディオ・ブロックの数
（Ｎ）および、オーディオ・イベント・サイクル当たり
の再生されるオーディオ・ブロックの数（１）をここで
推奨された値から変更することができる。また、この分
野の技術に熟達した人であれば、本発明によって開示さ
れている方法を、オーディオの復号およびレンダリング
ではなく、ビデオの復号およびレンダリングを優先させ
るように容易に適応させることができる。
くの代替実施形態のうちの１つに過ぎないことはこの分
野の技術に熟達した人にとっては前記の説明から明らか
である。したがって、この説明は例を示すように作られ
ているだけであり、本発明を実施する最善のモードをこ
の分野の技術に熟達した人に説明する目的のためのもの
である。各種の他の代替案が本発明の内容から逸脱する
ことなしに、この分野の技術に熟達した人によって考え
られる。たとえば、本発明は、オーディオのブロックお
よびビデオのフレームをそれぞれ表している符号化され
て復号されたデータの両方を、それぞれが格納すること
ができる単独のオーディオ・バッファおよび単独のビデ
オ・バッファを使って実装することができる。追加の例
として、ビデオ・フレームのバックログに対して選択さ
れる値（Ｍ）、呼び出されるオーディオ・ブロックの数
（Ｎ）および、オーディオ・イベント・サイクル当たり
の再生されるオーディオ・ブロックの数（１）をここで
推奨された値から変更することができる。また、この分
野の技術に熟達した人であれば、本発明によって開示さ
れている方法を、オーディオの復号およびレンダリング
ではなく、ビデオの復号およびレンダリングを優先させ
るように容易に適応させることができる。
【図１】従来の技術のマルチメディア再生システムの略
ブロック図を示す。
ブロック図を示す。
【図２】高レベルの構成およびＭＰＥＧ‐I標準に適合
している、代表的な従来の技術の符号化されたマルチメ
ディアのデータ・ストリームのフォーマットを示す。
している、代表的な従来の技術の符号化されたマルチメ
ディアのデータ・ストリームのフォーマットを示す。
【図３Ａ】本発明の１つの実施形態を示す。
【図３Ｂ】本発明の実施形態によって使われているパッ
ケージ化されたオーディオおよびビデオの高い水準の編
成の図を提供している。
ケージ化されたオーディオおよびビデオの高い水準の編
成の図を提供している。
【図３Ｃ】本発明によって動作するオーディオ再生とビ
デオ再生とのストリームの間の時間的関係を図で示す。
デオ再生とのストリームの間の時間的関係を図で示す。
【図４】オーディオブロックの復号に使用される本発明
のプロセスを示すフローチャートである。
のプロセスを示すフローチャートである。
【図５】オーディオブロックのレンダリングに使用され
る本発明のプロセスを示すフローチャートである。
る本発明のプロセスを示すフローチャートである。
【図６】ビデオフレームのレンダリングがオーディオブ
ロックのレンダリングに対して大きな遅延を有する場合
に、ビデオフレームの復号及びレンダリング並びにビデ
オ及びオーディオ再生ポインタの再同期化に使用される
本発明のプロセスを示すフローチャートである。
ロックのレンダリングに対して大きな遅延を有する場合
に、ビデオフレームの復号及びレンダリング並びにビデ
オ及びオーディオ再生ポインタの再同期化に使用される
本発明のプロセスを示すフローチャートである。
フロントページの続き (72)発明者 レイモンド ケイ． ジョンス アメリカ合衆国 08043 ニュージャーシ ィ，ヴォーヒース，リーガン コート 15
Claims (11)
- 【請求項１】 再生の乱れを減らすために、符号化され
たオーディオおよびビデオの情報の組み合わされたシー
ケンスを復号してレンダリングするマルチメディア再生
システムにおいて使うための方法であって、該方法は、 復号されたオーディオおよびビデオ情報のレンダリング
を監視し、それが前記オーディオ情報のレンダリングに
関してバックログになっているかどうかを判定するステ
ップ及び、 前記オーディオの情報の復号およびレンダリングに高い
優先度を許可するステップ並びに、 前記ビデオ情報が前記オーディオ情報に関してバックロ
グになっている時に、 前記バックログになっているビデオ情報のシーケンスの
中で最も最近のビデオ画像をレンダリングするために復
号されなければならないバックログになっているビデオ
情報の最小の組を決定するステップと、 前記最小のバックログになっているビデオ情報の組だけ
を復号するステップと、 前記最も最近のビデオ画像だけを前記バックログからレ
ンダリングするステップ及び、 前記最も最近のビデオ画像を再生するためには不要であ
る他のビデオ情報をすべて捨てるステップとによって、 前記ビデオのバックログを減らすステップとを特徴とす
る方法。 - 【請求項２】 請求項１に記載の方法において、前記ビ
デオのバックログを減らすステップが、 前記バックログになっている情報が符号化されたビデオ
・フレームおよびオーディオ・ブロックのシーケンスを
含んでいる場合、各オーディオ・ブロックのレンダリン
グの直後の時点で前記システムによって格納されている
バックログになっているビデオ・フレームの数を表す個
数を求めるステップ並びに、 バックログになっているビデオ・フレームの前記個数が
規定された数を超えた時に、 前記バックログになっているビデオ・フレームがキー・
フレームを含んでいるかどうかを判定するステップと、 前記バックログになっているビデオ・フレームのシーケ
ンスの中で最も最近のビデオ・フレームをレンダリング
するために復号されなければならない、前記バックログ
になっているビデオ・フレームの最小の組を識別するス
テップと、 前記バックログになっているビデオ・フレームの最小の
組を復号するステップ及び、 前記バックログになっているビデオ・フレームの最小の
組から前記バックログになっているシーケンスの中の前
記最も最近のビデオ・フレームをレンダリングするステ
ップとによって、 前記バックログを消去するステップとを含む方法。 - 【請求項３】 請求項２に記載の方法において、前記バ
ックログになっているビデオ・フレームのシーケンスが
少なくとも１つのビデオ・キー・フレームを含む時、前
記バックログになっているビデオ・フレームの最小の組
が、前記バックログになっているビデオ・フレームのシ
ーケンスの中で最も最近のキー・フレームおよび、前記
バックログになっているフレームのシーケンスの中の前
記最も最近のキー・フレームの後に続くすべての他のバ
ックログになっているビデオ・フレームを含む方法。 - 【請求項４】 請求項２に記載の方法において、前記バ
ックログになっているビデオ・フレームのシーケンスが
ビデオ・キー・フレームを含んでいない時、前記バック
ログになっているビデオ・フレームの最小の組がすべて
のバックログになっているビデオ・フレームを含む方
法。 - 【請求項５】 請求項２に記載の方法において、前記バ
ックログになっているビデオ・フレームのシーケンス
が、再生のためにスケジュールされている時刻が、最新
のレンダリングされるビデオ・フレームに対してスケジ
ュールされている再生の時刻より早くなく、レンダリン
グのためにスケジュールされている次のオーディオ・フ
レームに対してスケジュールされている再生の時刻より
遅くないビデオ・フレームを含む方法。 - 【請求項６】 請求項５に記載の方法において、前記ス
ケジュールされたオーディオ再生時刻が各オーディオ・
ブロックに対するシーケンシャルなインデックス番号、
オーディオ・ブロック当たりに提供される符号化された
サンプルの数を表している数および、オーディオのサン
プリング・レートの関数として決定されるようになって
いる方法。 - 【請求項７】 請求項５に記載の方法において、前記ス
ケジュールされたビデオ再生時刻が各ビデオ・フレーム
に対するシーケンシャルなインデックス番号とビデオ・
フレーム・レートの関数として決定されるようになって
いる方法。 - 【請求項８】 ユーザ認識の忠実度が高いディジタルの
ビデオおよびオーディオの情報をシーケンシャルにレン
ダリングするためのマルチメディア・システムであっ
て、該システムは、 オーディオ復号および再生のセクションと、 ビデオ復号および再生のセクションとを含み、 前記オーディオおよびビデオのシーケンスから選択可能
な個数のオーディオ・ブロックを復号し、 各オーディオ・ブロックの前記システムによるレンダリ
ングの完了を監視し、 各オーディオ・ブロックのレンダリングの直後の時刻に
おいて、前記システムによって格納されているバックロ
グになっているビデオ・フレームの数を決定し、 前記バックログになっているビデオ・フレームがキー・
フレームを含んでいるかどうかを判定し、 前記バックログになっているビデオ・フレームの数が指
定された数を超えた時、 前記バックログになっているビデオ・フレームのシーケ
ンスの中で最も最近のビデオ・フレームをレンダリング
するために復号されなければならない最小個数の前記バ
ックログになっているビデオ・フレームを識別し、 前記最小個数のバックログになっているビデオ・フレー
ムを復号し、 前記バックログになっているシーケンスの中の前記最も
最近のビデオ・フレームをレンダリングすることによっ
て、 前記バックログを消去するように動作する、ストアード
・プログラム・メモリ付きのプロセッサをさらに特徴と
するマルチメディア・システム。 - 【請求項９】 請求項８に記載のマルチメディア・シス
テムおいて、前記オーディオの復号および再生のセクシ
ョンが、符号化されたオーディオ・ブロックのためのバ
ッファ、復号器、復号されたブロックのためのバッファ
およびオーディオ・プレーヤを含むマルチメディア・シ
ステム。 - 【請求項１０】 請求項８に記載のマルチメディア・シ
ステムにおいて、前記ビデオの復号および再生のセクシ
ョンが、符号化されたビデオ・フレームのためのバッフ
ァと、復号器と、復号されたフレームに対するバッファ
と、ビデオ・プレーヤとを含むマルチメディア・システ
ム - 【請求項１１】 請求項８に記載のマルチメディア・シ
ステムにおいて、前記マルチメディア・システムはマル
チメディアの再生機能を有するパーソナル・コンピュー
タ、エンジニアリング・ワークステーションおよびディ
ジタル信号プロセッサから構成されているグループから
選択されるようになっているマルチメディア・システ
ム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/144161 | 1998-08-31 | ||
| US09/144,161 US6016166A (en) | 1998-08-31 | 1998-08-31 | Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000115772A true JP2000115772A (ja) | 2000-04-21 |
| JP3739609B2 JP3739609B2 (ja) | 2006-01-25 |
Family
ID=22507352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24452399A Expired - Fee Related JP3739609B2 (ja) | 1998-08-31 | 1999-08-31 | マルチメディアの再生システムにおけるディジタルのビデオおよびオーディオの再生の適応型同期化のための方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6016166A (ja) |
| EP (1) | EP0987904B1 (ja) |
| JP (1) | JP3739609B2 (ja) |
| CA (1) | CA2278376C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7360149B2 (en) | 2001-04-19 | 2008-04-15 | International Business Machines Corporation | Displaying text of video in browsers on a frame by frame basis |
| JP4983923B2 (ja) * | 2007-08-27 | 2012-07-25 | 富士通株式会社 | デコーダ装置、およびデコード方法 |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6304895B1 (en) * | 1997-08-22 | 2001-10-16 | Apex Inc. | Method and system for intelligently controlling a remotely located computer |
| US6205140B1 (en) * | 1997-12-01 | 2001-03-20 | Intel Corporation | Communication of dynamic dependencies along media streams |
| US6415373B1 (en) * | 1997-12-24 | 2002-07-02 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
| US6374336B1 (en) | 1997-12-24 | 2002-04-16 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
| US6081299A (en) * | 1998-02-20 | 2000-06-27 | International Business Machines Corporation | Methods and systems for encoding real time multimedia data |
| US7448021B1 (en) | 2000-07-24 | 2008-11-04 | Sonic Solutions, A California Corporation | Software engine for combining video or audio content with programmatic content |
| US6405203B1 (en) * | 1999-04-21 | 2002-06-11 | Research Investment Network, Inc. | Method and program product for preventing unauthorized users from using the content of an electronic storage medium |
| US6665489B2 (en) | 1999-04-21 | 2003-12-16 | Research Investment Network, Inc. | System, method and article of manufacturing for authorizing the use of electronic content utilizing a laser-centric medium and a network server |
| US6941383B1 (en) * | 2000-01-20 | 2005-09-06 | Interactual Technologies, Inc. | System, method and article of manufacture for java/javascript component in a multimedia synchronization framework |
| US6769130B1 (en) | 2000-01-20 | 2004-07-27 | Interactual Technologies, Inc. | System, method and article of manufacture for late synchronization during the execution of a multimedia event on a plurality of client computers |
| US6529949B1 (en) | 2000-02-07 | 2003-03-04 | Interactual Technologies, Inc. | System, method and article of manufacture for remote unlocking of local content located on a client device |
| US7346920B2 (en) * | 2000-07-07 | 2008-03-18 | Sonic Solutions, A California Corporation | System, method and article of manufacture for a common cross platform framework for development of DVD-Video content integrated with ROM content |
| US7188193B1 (en) | 2000-01-20 | 2007-03-06 | Sonic Solutions, A California Corporation | System, method and article of manufacture for a synchronizer component in a multimedia synchronization framework |
| US7178106B2 (en) | 1999-04-21 | 2007-02-13 | Sonic Solutions, A California Corporation | Presentation of media content from multiple media sources |
| US6453420B1 (en) | 1999-04-21 | 2002-09-17 | Research Investment Network, Inc. | System, method and article of manufacture for authorizing the use of electronic content utilizing a laser-centric medium |
| US6480902B1 (en) * | 1999-05-25 | 2002-11-12 | Institute For Information Industry | Intermedia synchronization system for communicating multimedia data in a computer network |
| US6957220B2 (en) | 2000-11-07 | 2005-10-18 | Research Investment Networks, Inc. | System, method and article of manufacture for tracking and supporting the distribution of content electronically |
| US7120162B1 (en) * | 2000-08-03 | 2006-10-10 | Skyworks Solutions, Inc. | System and method for processing audio and video data in a wireless handset |
| KR20020039693A (ko) * | 2000-08-16 | 2002-05-27 | 요트.게.아. 롤페즈 | 멀티미디어 애플리케이션 재생 방법 |
| WO2002015591A1 (en) * | 2000-08-16 | 2002-02-21 | Koninklijke Philips Electronics N.V. | Method of playing multimedia data |
| US7689510B2 (en) | 2000-09-07 | 2010-03-30 | Sonic Solutions | Methods and system for use in network management of content |
| FR2814027B1 (fr) * | 2000-09-14 | 2003-01-31 | Cit Alcatel | Procede de synchronisation d'un fichier multimedia |
| JP4208398B2 (ja) * | 2000-10-05 | 2009-01-14 | 株式会社東芝 | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 |
| US7191442B2 (en) | 2000-10-30 | 2007-03-13 | Research Investment Network, Inc. | BCA writer serialization management |
| KR100908954B1 (ko) * | 2000-12-15 | 2009-07-22 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 오디오 또는 비디오 자료의 전송방법 및 장치 |
| US8166093B2 (en) * | 2001-02-08 | 2012-04-24 | Warner Music Group, Inc. | Method and apparatus for processing multimedia programs for play on incompatible devices |
| US7030930B2 (en) * | 2001-03-06 | 2006-04-18 | Ati Technologies, Inc. | System for digitized audio stream synchronization and method thereof |
| TW499818B (en) * | 2001-03-29 | 2002-08-21 | Winbond Electronics Corp | Audio/video packet synchronous decoding method |
| US6639649B2 (en) * | 2001-08-06 | 2003-10-28 | Eastman Kodak Company | Synchronization of music and images in a camera with audio capabilities |
| US7133362B2 (en) * | 2001-11-14 | 2006-11-07 | Microsoft Corporation | Intelligent buffering process for network conference video |
| US7212247B2 (en) * | 2002-01-31 | 2007-05-01 | Thomson Licensing | Audio/video system providing variable delay |
| US8068546B2 (en) * | 2002-08-29 | 2011-11-29 | Riip, Inc. | Method and apparatus for transmitting video signals |
| US7818480B2 (en) * | 2002-08-29 | 2010-10-19 | Raritan Americas, Inc. | Wireless management of remote devices |
| US7606314B2 (en) * | 2002-08-29 | 2009-10-20 | Raritan America, Inc. | Method and apparatus for caching, compressing and transmitting video signals |
| US8558795B2 (en) * | 2004-03-12 | 2013-10-15 | Riip, Inc. | Switchless KVM network with wireless technology |
| US7684483B2 (en) * | 2002-08-29 | 2010-03-23 | Raritan Americas, Inc. | Method and apparatus for digitizing and compressing remote video signals |
| US7660512B2 (en) * | 2003-10-16 | 2010-02-09 | Microsoft Corporation | Systems and methods for managing frame rates during multimedia playback |
| US7853663B2 (en) * | 2004-03-12 | 2010-12-14 | Riip, Inc. | Wireless management system for control of remote devices |
| AU2004326306A1 (en) * | 2004-05-14 | 2006-11-02 | J. Carl Cooper | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs |
| WO2006066052A2 (en) | 2004-12-16 | 2006-06-22 | Sonic Solutions | Methods and systems for use in network management of content |
| US20060209210A1 (en) * | 2005-03-18 | 2006-09-21 | Ati Technologies Inc. | Automatic audio and video synchronization |
| US7996699B2 (en) | 2005-04-11 | 2011-08-09 | Graphics Properties Holdings, Inc. | System and method for synchronizing multiple media devices |
| US8478884B2 (en) | 2005-09-30 | 2013-07-02 | Riip, Inc. | Wireless remote device management utilizing mesh topology |
| US7555715B2 (en) * | 2005-10-25 | 2009-06-30 | Sonic Solutions | Methods and systems for use in maintaining media data quality upon conversion to a different data format |
| US8099756B2 (en) * | 2005-11-10 | 2012-01-17 | Versteeg William C | Channel changes between services with differing bandwidth in a switched digital video system |
| US20070106782A1 (en) * | 2005-11-10 | 2007-05-10 | Scientific-Atlanta, Inc. | Bandwidth management in each network device in a switched digital video environment |
| US20070107024A1 (en) * | 2005-11-10 | 2007-05-10 | Scientific-Atlanta, Inc. | Atomic channel changes in a switched digital video system |
| US7742407B2 (en) * | 2005-11-10 | 2010-06-22 | Scientific-Atlanta, Llc | Quality of service management in a switched digital video environment |
| US7873760B2 (en) * | 2005-11-11 | 2011-01-18 | Versteeg William C | Expedited digital signal decoding |
| US20070230898A1 (en) * | 2006-03-31 | 2007-10-04 | Masstech Group Inc. | Random access searching with frame accuracy and without indexing within windows media video |
| US8306391B2 (en) * | 2006-05-08 | 2012-11-06 | Thomson Licensing | Method for resuming content reproduction across devices |
| US20080022320A1 (en) * | 2006-06-30 | 2008-01-24 | Scientific-Atlanta, Inc. | Systems and Methods of Synchronizing Media Streams |
| US7725797B2 (en) * | 2006-07-07 | 2010-05-25 | Scientific-Atlanta, Llc | Buffer for storing data and forward error correction (FEC) |
| US7899046B2 (en) * | 2006-07-07 | 2011-03-01 | Ver Steeg William C | Determining strategy for multicast and/or unicast transmission to correct forward errors |
| US7877660B2 (en) * | 2006-07-07 | 2011-01-25 | Ver Steeg William C | Transmitting additional forward error correction (FEC) upon request |
| US7774672B2 (en) * | 2006-07-07 | 2010-08-10 | Scientific-Atlanta, Llc | Requesting additional forward error correction |
| TWI314017B (en) * | 2006-07-12 | 2009-08-21 | Quanta Comp Inc | System and method for synchronizing video frames and audio frames |
| JP5049652B2 (ja) * | 2006-09-07 | 2012-10-17 | キヤノン株式会社 | 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム |
| US7870465B2 (en) * | 2006-10-18 | 2011-01-11 | Versteeg William C | Reducing channel-change time |
| TWI338508B (en) * | 2006-12-20 | 2011-03-01 | Ind Tech Res Inst | Method and apparatus for audio/video synchronization |
| US7788395B2 (en) * | 2007-02-14 | 2010-08-31 | Microsoft Corporation | Adaptive media playback |
| US20080244667A1 (en) * | 2007-03-27 | 2008-10-02 | Osborne Jason C | Bandwidth sensitive switched digital video content delivery |
| US8370889B2 (en) * | 2007-03-28 | 2013-02-05 | Kanthimathi Gayatri Sukumar | Switched digital video client reverse channel traffic reduction |
| US8776160B2 (en) * | 2007-07-27 | 2014-07-08 | William C. Versteeg | Systems and methods of differentiated requests for network access |
| US8832766B2 (en) * | 2007-07-27 | 2014-09-09 | William C. Versteeg | Systems and methods of differentiated channel change behavior |
| EP2043372B1 (en) * | 2007-09-26 | 2019-07-17 | Vodafone GmbH | Method for audio and video synchronization, receiving and transmitting device |
| US9832442B2 (en) * | 2008-01-15 | 2017-11-28 | Echostar Technologies Llc | System and method of managing multiple video players executing on multiple devices |
| US8190760B2 (en) * | 2008-01-15 | 2012-05-29 | Echostar Advanced Technologies L.L.C. | System and method of managing multiple video players |
| US8490195B1 (en) * | 2008-12-19 | 2013-07-16 | Symantec Corporation | Method and apparatus for behavioral detection of malware in a computer system |
| CA2684678A1 (en) * | 2009-11-03 | 2011-05-03 | Research In Motion Limited | System and method for dynamic post-processing on a mobile device |
| CN102215429B (zh) * | 2010-04-01 | 2013-04-17 | 安凯(广州)微电子技术有限公司 | 一种用于移动电视的录制方法 |
| CA2943957C (en) * | 2010-05-04 | 2017-10-03 | Avery Li-Chun Wang | Methods and systems for synchronizing media |
| US8483286B2 (en) | 2010-10-27 | 2013-07-09 | Cyberlink Corp. | Batch processing of media content |
| US9043800B2 (en) * | 2011-05-26 | 2015-05-26 | Adobe Systems Incorporated | Video player instance prioritization |
| US9015555B2 (en) | 2011-11-18 | 2015-04-21 | Cisco Technology, Inc. | System and method for multicast error recovery using sampled feedback |
| CN102821308B (zh) * | 2012-06-04 | 2014-11-05 | 西安交通大学 | 一种多场景流媒体课件录制与直播方法 |
| US20140149606A1 (en) * | 2012-11-23 | 2014-05-29 | Samsung Electronics Co., Ltd. | Server, multimedia apparatus and control method thereof for synchronously playing multimedia contents through a plurality of multimedia devices |
| CN103024517A (zh) * | 2012-12-17 | 2013-04-03 | 四川九洲电器集团有限责任公司 | 一种基于并行处理的流媒体音视频同步播放方法 |
| CN104935996A (zh) * | 2015-06-09 | 2015-09-23 | 深圳康荣电子有限公司 | 一种拼接墙同步显示方法 |
| CN109660805B (zh) * | 2017-10-10 | 2020-07-31 | 武汉斗鱼网络科技有限公司 | 解码播放中音视频同步优化方法、存储介质、设备及系统 |
| CN107911729A (zh) * | 2017-10-23 | 2018-04-13 | 广州市百果园网络科技有限公司 | 网络视频播放方法及终端 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU672070B2 (en) * | 1993-02-26 | 1996-09-19 | Sony Corporation | Synchronization of audio/video information |
| US5351092A (en) * | 1993-07-23 | 1994-09-27 | The Grass Valley Group, Inc. | Synchronization of digital audio with digital video |
| EP0790739B1 (en) * | 1993-09-16 | 2001-03-14 | Kabushiki Kaisha Toshiba | Digital video signal |
| US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| US5598352A (en) * | 1994-09-30 | 1997-01-28 | Cirrus Logic, Inc. | Method and apparatus for audio and video synchronizing in MPEG playback systems |
| US5594660A (en) * | 1994-09-30 | 1997-01-14 | Cirrus Logic, Inc. | Programmable audio-video synchronization method and apparatus for multimedia systems |
| JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
| US5824997A (en) * | 1996-08-05 | 1998-10-20 | Fastrax Industries, Inc. | Railroad track switch heater |
-
1998
- 1998-08-31 US US09/144,161 patent/US6016166A/en not_active Expired - Lifetime
-
1999
- 1999-07-22 CA CA002278376A patent/CA2278376C/en not_active Expired - Fee Related
- 1999-08-23 EP EP99306652.1A patent/EP0987904B1/en not_active Expired - Lifetime
- 1999-08-31 JP JP24452399A patent/JP3739609B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7360149B2 (en) | 2001-04-19 | 2008-04-15 | International Business Machines Corporation | Displaying text of video in browsers on a frame by frame basis |
| US7730390B2 (en) | 2001-04-19 | 2010-06-01 | International Business Machines Corporation | Displaying text of video in browsers on a frame by frame basis |
| JP4983923B2 (ja) * | 2007-08-27 | 2012-07-25 | 富士通株式会社 | デコーダ装置、およびデコード方法 |
| US8526501B2 (en) | 2007-08-27 | 2013-09-03 | Fujitsu Limited | Decoder and decoding method based on video and audio time information |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0987904A2 (en) | 2000-03-22 |
| US6016166A (en) | 2000-01-18 |
| CA2278376C (en) | 2002-06-18 |
| EP0987904B1 (en) | 2015-03-25 |
| CA2278376A1 (en) | 2000-02-29 |
| EP0987904A3 (en) | 2001-05-02 |
| JP3739609B2 (ja) | 2006-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3739609B2 (ja) | マルチメディアの再生システムにおけるディジタルのビデオおよびオーディオの再生の適応型同期化のための方法および装置 | |
| US5874997A (en) | Measuring and regulating synchronization of merged video and audio data | |
| JP4949591B2 (ja) | ビデオ誤り回復方法 | |
| US7412149B2 (en) | Trick mode generation in video streaming | |
| US6327421B1 (en) | Multiple speed fast forward/rewind compressed video delivery system | |
| KR100233353B1 (ko) | 엠펙 데이타 스트림에서 프레임의 위치를 효율적으로 알아내는 방법 및 시스템 | |
| EP1675399A2 (en) | Fast channel switching for digital TV | |
| JP3523217B2 (ja) | メディアデータプロセッサ | |
| JP4837744B2 (ja) | 多重化装置、集積回路、多重化方法、多重化プログラム、多重化プログラムを記録したコンピュータ読み取り可能な記録媒体及び多重化ストリームを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH11501786A (ja) | 圧縮ビデオ信号受信方法 | |
| JP2003519985A (ja) | データストリームの変換方法と装置 | |
| JP2006186580A (ja) | 再生装置およびデコード制御方法 | |
| JP2007312122A (ja) | ネットワーク受信機 | |
| CN1863322A (zh) | 再现设备和方法 | |
| US7269839B2 (en) | Data distribution apparatus and method, and data distribution system | |
| WO1996007274A1 (en) | Measuring and regulating synchronization of merged video and audio data | |
| JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
| JP3441257B2 (ja) | データ伝送装置 | |
| JP2004289629A (ja) | 画像データ送出装置および画像データ送出方法 | |
| Boucher et al. | Design and Performance of a Multi-Stream MPEG-I System Layer Encoder/Player | |
| JP3719530B2 (ja) | 映像信号伝送方法及び映像信号伝送装置 | |
| JP3671969B2 (ja) | データ多重方法及び多重データ復号方法 | |
| JP2023161219A (ja) | 送信装置、受信装置及びそれらのプログラム | |
| Boucher et al. | Design and performance of a multistream MPEG-I system layer encoder-player set | |
| CA2197559A1 (en) | Measuring and regulating synchronization of merged video and audio data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040628 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040928 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050314 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050614 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050617 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051102 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131111 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |