JP2003179665A - 映像又はビデオ処理のための一般化されたリファレンスデコーダ - Google Patents

映像又はビデオ処理のための一般化されたリファレンスデコーダ

Info

Publication number
JP2003179665A
JP2003179665A JP2002273882A JP2002273882A JP2003179665A JP 2003179665 A JP2003179665 A JP 2003179665A JP 2002273882 A JP2002273882 A JP 2002273882A JP 2002273882 A JP2002273882 A JP 2002273882A JP 2003179665 A JP2003179665 A JP 2003179665A
Authority
JP
Japan
Prior art keywords
buffer
decoder
data
parameters
sets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002273882A
Other languages
English (en)
Other versions
JP2003179665A5 (ja
JP4199973B2 (ja
Inventor
Jordi Ribas-Corbera
リバス−コルベラ ジョルディ
Philip A Chou
エー．チョウ フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2003179665A publication Critical patent/JP2003179665A/ja
Publication of JP2003179665A5 publication Critical patent/JP2003179665A5/ja
Application granted granted Critical
Publication of JP4199973B2 publication Critical patent/JP4199973B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 【課題】 種々の帯域幅をもち、また端末が種々のビッ
トレート及びバッファ容量を持つ現代のネットワークを
介してビットストリームがより高い柔軟性をもって配信
されるようにする。 【解決手段】 レートデータ及びバッファサイズデータ
を含む少なくとも２セットのパラメータを用い、１）レ
ートデータに基づきバッファサイズを選択し又は２）バ
ッファサイズに基づきレートを選択することにより、動
作条件を決定し、及び時間変動信号デコーダ２１０にお
いて、前記動作条件に従い符号化されたデータをバッフ
ァ２０８内に維持し、及びバッファ２０８から該符号化
されたデータを復号化する

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、映像及びビデオ信
号並びに音声及びオーディオのような他の時間変動信号
の復号化に関する。
【０００２】
【従来の技術】ビデオ符号化の標準では、ビットストリ
ームは、それが少なくとも理論的に復号化できるもので
あれば、エンコーダの出力に接続されたデコーダの数学
的モデルに従う。このようなモデルデコーダは、Ｈ．２
６３符号化標準の仮定リファレンスデコーダ（ＨＲＤ）
及びＭＰＥＧ符号化標準のビデオバッファ検定器として
知られている。一般的に、実際のデコーダ装置（又は端
末）は、デコーダバッファ、デコーダ及び表示装置を有
する。実際のデコーダ装置が、デコーダの数学的モデル
に従って構成されており、数学的モデルに従ったビット
ストリームが特定の条件のもとに伝送されるならば、デ
コーダバッファはオーバフローあるいはアンダーフロー
とならず、復号化は正確になされる。
【０００３】従来のリファレンス（モデル）デコーダで
は、ビットストリームは所定の一定のビットレートでチ
ャネルを通して伝送し、（所定のバッファ遅延の後）所
定のバッファサイズをもつ装置により復号化されると仮
定されている。それ故、このようなモデルは非常に柔軟
性のないものとなり、種々のバッファサイズをもつ装置
に対するライブビデオを放送したり、種々のピークビッ
トレートをもつネットワーク経路を介しての符号化済み
のビデオオンデマンドのようなストリーミングの今日の
重要なビデオアプリケーションのうちの多くの要求に対
応できない。
【０００４】従来のリファレンスデコーダにおいては、
ビデオビットストリームは所定の一定のビットレート
（通常、ストリームのビット／秒での平均レート）で受
信され、そして、そのバッファが所望のレベルの満杯量
（ｆｕｌｌｎｅｓｓ）に達するまでデコーダバッファに
格納される。例えば、復号化することによりビデオ情報
からの出力フレームが再現される前に、少なくともビデ
オ情報の１つの初期フレームに対応するデータが必要と
される。この所望のレベルは、初期デコーダバッファ満
杯量（ｉｎｉｔｉａｌ ｄｅｃｏｄｅｒ ｂｕｆｆｅｒ
ｆｕｌｌｎｅｓｓ）と称され、一定のビットレートで
は、伝送又は立上り（バッファ）遅延に直接に比例す
る。この満杯量に達すると、デコーダは（抜本的に）瞬
時にそのシーケンスの最初のビデオフレームのためのビ
ットを除去し、これらのビットを復号化してフレームを
表示する。引続いての時間間隔で、次に来るフレームの
ためのビットもまた瞬時に除去され、復号化され、そし
て表示される。
【０００５】
【発明が解決しようとする課題】このようなリファレン
スデコーダは固定のビットレート、バッファサイズ及び
初期遅延で動作する。しかし、多くの現代のビデオアプ
リケーション（例えば、インターネットあるいはＡＴＭ
ネットワークを経由したビデオストリーミング）におい
ては、ピーク帯域幅がネットワーク経路により変化す
る。例えば、ネットワークへの接続が、モデム、ＩＳＤ
Ｎ、ＤＳＬ、ケーブルその他によるかに基づいてピーク
帯域幅は異なる。さらに、ネットワーク条件、例えば、
ネットワークの混雑、接続されるユーザ数及び他の既知
の要因によってもピーク帯域幅は時間的に変動する。さ
らに、ハンドセット、パーソナル デジタル アシスタ
ント（ＰＤＡ）、パソコン、ポケットサイズ計算機、テ
レビジョン セットトップボックス、ＤＶＤ等のプレー
ヤを含む、バッファ容量が異なる種々の装置にビデオビ
ットストリームは送られ、例えば、低遅延ストリーミン
グ、プログレッシブダウンロードなど、異なる遅延要求
をもつシナリオのために生成される。
【０００６】既存のリファレンスデコーダはこのような
変動を調整しない。同時に、エンコーダは一般的に、所
定の受信者のために変化する条件がどうなるかは事前
に、分からないし、知ることもできない。結果として、
資源及び／又は遅延時間はしばしば不必要に浪費され、
多くの場合不適当なものとなる。
【０００７】
【課題を解決するための手段】簡単に言えば、本発明
は、所定のビットストリームのためのレート及びバッフ
ァのパラメータのセットがいかなる個数であっても、そ
れに従って動作するよう改良された一般化されたリファ
レンスデコーダを提供する。各々のセットは、リーキー
バケット（ｌｅａｋｙ ｂｕｃｋｅｔ）モデルと呼ばれ
るものあるいはそのパラメータセットを特徴付け、及
び、３つの値（Ｒ，Ｂ，Ｆ）を含む。ここで，Ｒは伝送
ビットレート、Ｂはバッファサイズ、Ｆは初期デコーダ
バッファ満杯量である。Ｆ／Ｒは立上り又は初期バッフ
ァ遅延であることが理解される。
【０００８】エンコーダは、所望個数Ｎ個のリーキーバ
ケットが含まれたビデオビットストリームを生成させ、
あるいはビットストリームが発生した後、Ｎセットのパ
ラメータを単に計算することができる。エンコーダは、
（少なくとも）一回、初期ストリームヘッダ又は帯域外
のような、何らかの方法で、その個数を対応する個数の
（Ｒ，Ｂ，Ｆ）セットとともにデコーダに送る。
【０００９】デコーダで受信した場合、少なくとも２つ
のセットがあるときは、一般化されたリファレンスデコ
ーダは１つを選択するか，それらのリーキーバケットパ
ラメータ間に内挿（ｉｎｔｅｒｐｏｌａｔｅ）し、そう
することで、いかなる所望のピークビットレート、バッ
ファサイズあるいは遅延でも動作することができる。さ
らに特に、デコーダの側で認識される、所望のピーク伝
送レートＲ’が与えられた場合、一般化されたリファレ
ンスデコーダは、バッファのオーバフローあるいはアン
ダーフローに妨げられることなくビットストリームを復
号化することができる最小のバッファサイズ及び遅延を
（（Ｒ，Ｂ，Ｆ）セットの１つを選択するか、２以上の
間で内挿するか、あるいは外挿（ｅｘｔｒａｐｏｌａｔ
ｅ）するかによって可能な（Ｒ，Ｂ，Ｆ）のセットに従
い）選択する。あるいまた、所定のデコーダバッファ
Ｂ’に対して、仮定のデコーダは要求される最小のピー
ク伝送レートを選択し、そのレートで動作する。
【００１０】一般化されたリファレンスデコーダの利点
には、コンテンツ・プロバイダが一度ビットストリーム
を生成させ、そしてサーバはそれを異なる性能をもつ複
数の装置に、異なるピーク伝送レートの種々のチャネル
を用いて送ることができるということが含まれる。ある
いはまた、サーバと端末は所定のネットワーク条件に対
して最良のリーキーバケットパラメータをネゴシエート
することができる。例えば、最低の立上り（バッファ）
遅延を生成するもの、あるいは装置の所定のバッファサ
イズに対して、最低のピーク伝送レートを要求するもの
などである。実際には、リーキーバケット情報を通信す
るための無視できる量の追加のビットを除き、端末のた
めのバッファサイズと遅延はオーダ単位（ｏｒｄｅｒ
ｏｆ ｍａｇｎｉｔｕｄｅ）で減少させることができ、
又は、ピーク伝送レートは大きな係数（例えば４倍）だ
け減少させることができ、及び／又は信号対雑音比（Ｓ
ＮＲ）は、平均ビットレートを増大することなしに、お
そらく数ｄＢ増大させることができる。
【００１１】本発明は、上述した課題を解決することを
目的とする。請求項１に記載の発明は、レートデータ及
びバッファサイズデータを含む少なくとも２セットのパ
ラメータを用い、１）レートデータに基づきバッファサ
イズを選択し又は２）バッファサイズに基づきレートを
選択することにより、動作条件を決定し、及び時間変動
信号デコーダにおいて、前記動作条件に従い符号化され
たデータをバッファ内に維持し、及びバッファから該符
号化されたデータを復号化することを特徴とするコンピ
ュータにより実施される方法である。
【００１２】また、請求項２に記載の発明は、請求項１
記載のコンピュータにより実施される方法の時間変動信
号デコーダにおいて、少なくとも２セットのパラメータ
を受信して前記時間変動信号デコーダにより前記動作条
件を定めることをさらに備えたことを特徴とする。
【００１３】また、請求項３に記載の発明は、請求項２
に記載のコンピュータにより実施される方法において、
パラメータの各セットは、前記時間変動信号デコーダで
受信する満杯量データも含むことを特徴とする。
【００１４】また、請求項４に記載の発明は、請求項２
に記載のコンピュータにより実施される方法において、
少なくとも２セットのパラメータがエンコーダにより定
められることを特徴とする。
【００１５】また、請求項５に記載の発明は、請求項４
に記載のコンピュータにより実施される方法において、
少なくとも２セットのパラメータを、パラメータセット
の合計数を示す情報とともにストリームヘッダにおいて
受信することを特徴とする。
【００１６】また、請求項６に記載の発明は、請求項１
に記載のコンピュータにより実施される方法において、
少なくとも２セットのパラメータを用いて動作条件を定
めることは、パラメータセットの１つを選択することを
含むことを特徴とする。
【００１７】また、請求項７に記載の発明は、請求項１
に記載のコンピュータにより実施される方法において、
少なくとも２セットのパラメータを用いて動作条件を定
めることは、少なくとも２セットのパラメータのデータ
点の間で内挿することを含むことを特徴とする。
【００１８】また、請求項８に記載の発明は、請求項１
に記載のコンピュータにより実施される方法において、
少なくとも２セットのパラメータを用いて動作条件を定
めることは、少なくとも２セットのパラメータのデータ
点から外挿することを含むことを特徴とする。
【００１９】また、請求項９に記載の発明は、請求項１
に記載のコンピュータにより実施される方法において、
レートデータに基づきバッファサイズを選択すること
は、最小ローディング遅延に近接するバッファサイズを
定めることを含むことを特徴とする。
【００２０】請求項１０に記載の発明は、請求項１に記
載のコンピュータにより実施される方法において、バッ
ファサイズに基づきレートを選択することは、バッファ
サイズに基づき最小要求ピーク伝送レートを定めること
を含むことを特徴とする。
【００２１】また、請求項１１に記載の発明は、請求項
１に記載のコンピュータにより実施される方法におい
て、バッファへの符号化されたデータの通信中に少なく
とも１回動作条件が変化することを特徴とする。
【００２２】また、請求項１２に記載の発明は、コンピ
ュータにより実施される方法であって、時間変動信号デ
コーダにおいて、レートデータ及びバッファサイズデー
タを含む少なくとも２セットのパラメータを受信し、少
なくとも２セットのパラメータを用い、１）レートデー
タに基づきバッファサイズを選択し又は２）バッファサ
イズに基づきレートを選択することにより、動作条件を
決定し、動作条件に従い符号化されたデータをバッファ
内に維持し、及びバッファから符号化されたデータを復
号化することを特徴とする。
【００２３】また、請求項１３に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、時間変動信号デコーダへ満杯量データを提供するこ
とをさらに備えることを特徴とする。
【００２４】また、請求項１４に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、パラメータの中から少なくとも２つを定め、及び時
間変動信号デコーダへ２つのパラメータセットを提供す
ることをさらに備えることを特徴とする。
【００２５】また、請求項１５に記載の発明は、請求項
１４に記載のコンピュータにより実施される方法におい
て、少なくとも２セットのパラメータをエンコーダによ
り定めることを特徴とする。
【００２６】また、請求項１６に記載の発明は、請求項
１５に記載のコンピュータにより実施される方法におい
て、少なくとも２セットのパラメータを、パラメータセ
ットの合計数を示す情報とともにストリームヘッダにお
いて受信することを特徴とする。
【００２７】また、請求項１７に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、少なくとも２セットのパラメータを用いて動作条件
を定めることは、パラメータセットの１つを選択するこ
とを含むことを特徴とする。
【００２８】また、請求項１８に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、少なくとも２セットのパラメータを用いて動作条件
を定めることは、少なくとも２セットのパラメータのデ
ータ点の間で内挿することを含むことを特徴とする。
【００２９】また、請求項１９に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、動作条件を定めるため少なくとも２セットのパラメ
ータを使用することには、少なくとも２セットのパラメ
ータのデータ点から外挿することが含まれることを特徴
とする。
【００３０】また、請求項２０に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、レートデータに基づきバッファサイズを選択するこ
とは、最小ローディング遅延に近接するバッファサイズ
を定めることを含むことを特徴とする。
【００３１】また、請求項２１に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、バッファサイズに基づきレートを選択することは、
バッファサイズに基づき最小要求ピーク伝送レートを定
めることを含むことを特徴とする。
【００３２】また、請求項２２に記載の発明は、請求項
１２に記載のコンピュータにより実施される方法におい
て、バッファへの前記符号化されたデータの通信中に少
なくとも１回動作条件が変化することを特徴とする。
【００３３】また、請求項２３に記載の発明は、時間変
動信号を提供するためのシステムにおいて、時間変動信
号を提供するエンコーダと、伝達媒体により互いに接続
され、時間変動信号を維持するエンコーダバッファ及び
デコーダバッファと、デコーダから前記時間変動信号を
除去するデコーダと、オーバフロー又はアンダーフロー
とならないようデコーダバッファを維持するために、レ
ートデータ及びバッファサイズデータを含む少なくとも
２セットのパラメータを定める第１の機構と、レートデ
ータに基づきデコーダバッファのサイズを定め、又はバ
ッファサイズデータに基づきエンコーダバッファからデ
コーダバッファへデータを転送するレートを定める第２
の機構とを含むことを特徴とする。
【００３４】また、請求項２４に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、少なくとも２セットのパラメータを定める第１
の機構を、エンコーダに組込んだことを特徴とする。
【００３５】また、請求項２５に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構を、前記デコーダに組込んだことを
特徴とする。
【００３６】また、請求項２６に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、少なくとも２セットのパラメータを定める第１
の機構をエンコーダに組込み、第２の機構をデコーダに
組込み、エンコーダはパラメータセットをデコーダに伝
送することを特徴とする。
【００３７】また、請求項２７に記載の発明は、請求項
２６に記載の時間変動信号を提供するためのシステムに
おいて、エンコーダは、ストリームヘッダを介してパラ
メータセットをデコーダに伝送することを特徴とする。
【００３８】また、請求項２８に記載の発明は、請求項
２６に記載の時間変動信号を提供するためのシステムに
おいて、エンコーダはパラメータセットの合計数を識別
することを特徴とする。
【００３９】また、請求項２９に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、パラメータの各セットは、デコーダにおいて受
信する満杯量データをも含むことを特徴とする。
【００４０】また、請求項３０に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構は、パラメータセットの１つを選択
することにより、レートデータに基づきデコーダバッフ
ァのサイズを定め又は転送データのレートを定めること
を特徴とする。
【００４１】また、請求項３１に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構は、少なくとも２セットのパラメー
タのデータ点の間で内挿することにより、レートデータ
に基づきデコーダバッファのサイズを定め又は転送デー
タのレートを定めることを特徴とする。
【００４２】また、請求項３２に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構は、少なくとも２セットのパラメー
タのデータ点から外挿することにより、レートデータに
基づきデコーダバッファのサイズを定め又は転送データ
のレートを定めることを特徴とする。
【００４３】また、請求項３３に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構は、最小ローディング遅延に近接す
るバッファサイズを定めることにより、デコーダバッフ
ァのサイズを定めることを特徴とする。
【００４４】また、請求項３４に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構は、予め定められたバッファサイズ
に対応する最小要求ピーク伝送レートを定めることによ
り、レートデータを定めることを特徴とする。
【００４５】また、請求項３５に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構は、レートデータ及び時間情報に基
づきデコーダバッファの新たなサイズを定めることを特
徴とする。
【００４６】また、請求項３６に記載の発明は、請求項
２３に記載の時間変動信号を提供するためのシステムに
おいて、第２の機構はバッファサイズデータ及び時間情
報に基づきデータを転送する新たなレートを定めること
を特徴とする。
【００４７】
【発明の実施の形態】他の利点及び優位点は、以下の図
面と合せて、以下の詳細な説明より明らかになる。
【００４８】〔典型的な動作環境〕図１は、特に映像及
び／又はビデオデータを符号化するために、本発明を実
施することができる適当な動作環境１２０の例を図示し
ている。動作環境１２０は適合する動作環境の一例に過
ぎず、本発明の使用範囲あるいは機能に関して、いかな
る制限を示唆する意図はない。本発明とともに使用する
のに適した他のよく知られた計算機システム、環境及び
／又は構成はパーソナルコンピュータ、サーバ、ハンド
ヘルドあるいはラップトップ装置、マルチプロセッサシ
ステム、マイクロプロセッサに基づいたシステム、プロ
グラム可能なコンシューマ向け電子機器、ネットワーク
ＰＣ、ミニコンピュータ、メインフレーム計算機、以上
のシステムあるいは装置のいずれをも含む分散型コンピ
ューティング環境及び同様のものが含まれるが、これに
限られない。例えば、映像及び／又はビデオ画像データ
を符号化することはしばしば、現代のハンドヘルドパー
ソナルコンピュータよりもさらに高い処理能力をもつコ
ンピュータで処理されるが、符号化がこの例示された装
置で実行できない、あるいはより強力な装置では復号化
されないという理由はないと思われる。
【００４９】本発明は、１つ又は２つ以上のコンピュー
タ又は他の装置により実行されるプログラムモジュール
のような、コンピュータ実行可能な命令の一般的コンテ
クストで記述されてもよい。一般的に、プログラムモジ
ュールは、特定のタスクを実行し、あるいは、特定の抽
象データ型を実現するルーチン、プログラム、オブジェ
クト、コンポーネント、データ構造などを含む。典型的
には、プログラムモジュールの機能は、種々の実施形態
で求められるように、組み合わされあるいは分散されて
もよい。計算装置１２０は、典型的には、少なくともい
くつかの形態のコンピュータ読み取り可能な記録媒体を
含む。コンピュータ読み取り可能な記録媒体は、計算装
置１２０がアクセスできる、いかなる媒体とすることも
できる。例として、しかしこれに限定されないが、コン
ピュータ読み取り可能な記録媒体は、計算機の記憶媒体
及び通信媒体を含んでもよい。計算機の記憶媒体は、コ
ンピュータ読み取り可能な命令、データ構造、プログラ
ムモジュールあるいはその他のデータのような情報を格
納するため、いかなる方法又は技術によっても実現され
る揮発性及び不揮発性、取り外し可能な及び不可能な媒
体を含む。計算機の記録媒体は、ＲＡＭ、ＲＯＭ、ＥＥ
ＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ
−ＲＯＭ、ＤＶＤ又は他の光学記憶、磁気カセット、磁
気テープ、磁気ディスク記憶又は他の磁気記憶装置、あ
るいは、所望の情報を記憶するために使用でき、計算装
置１２０がアクセスできるいかなる他の媒体も含まれる
が、これに制限されない。通信媒体は代表的には、搬送
波や他の伝達手法のように変調されたデータ信号におけ
るコンピュータ読み取り可能な命令、データ構造、プロ
グラムモジュール又は他のデータを具現化し、そして、
情報を配信するいかなる媒体をも含む。用語「変調され
たデータ信号」とは、信号中の情報を符号化するように
設定され又は変化したその１つ又は２つ以上の特性を有
する信号を意味する。例として、通信媒体は、有線ネッ
トワークや直接結線された接続などの有線媒体及びオー
ディオ、ＲＦ（ラジオ無線）、赤外線、及び他の無線媒
体を含むが、これに限られない。上記のいかなる組み合
わせも、コンピュータ読み取り可能な記録媒体の範囲に
含まれなければならない。
【００５０】図１は、このようなハンドヘルド計算装置
１２０の機能的構成を示しており、これには、プロセッ
サ１２２、メモリ１２４、ディスプレイ１２６及びキー
ボード１２８（物理的あるいは仮想的なキーボードでも
よい。）が含まれる。メモリ１２４は、一般に、揮発性
メモリ（例えばＲＡＭ）及び不揮発性メモリ（例えばＲ
ＯＭ、ＰＣＭＣＩＡカードなど）の双方を含む。オペレ
ーティングシステム１３０は、マイクロソフト（登録商
標）社のウィンドウズ（登録商標）ＣＥ、あるいは他の
オペレーティングシステムのように、メモリ１２４に常
駐し、プロセッサ１２２上で実行される。
【００５１】１つ又は２つ以上のアプリケーションプロ
グラム１３２は、メモリ１２４にロードされ、オペレー
ティングシステム１３０上で走る。アプリケーションの
例としては、ｅメールプログラム、スケジューリングプ
ログラム、ＰＩＭ（ｐｅｒｓｏｎａｌ ｉｎｆｏｒｍａ
ｔｉｏｎ ｍａｎａｇｅｍｅｎｔ）プログラム、ワード
プロセッシングプログラム、スプレッドシートプログラ
ム、インターネットブラウザプログラム及びその他が含
まれる。ハンドヘルドパーソナルコンピュータ１２０
は、また、メモリ１２４にロードされ、プロセッサ１２
２上で実行される通知管理プログラム１３４を含んでも
よい。通知管理プログラム１３４は、例えば、アプリケ
ーションプログラム１３２からの通知要求を処理する。
【００５２】ハンドヘルドパーソナルコンピュータ１２
０は、１つ又は２つ以上のバッテリとして実施される電
源１３６を有する。電源１３６は、ＡＣアダプタや電源
供給されたドッキングクレードルのように、組み込みバ
ッテリを優先し、又は再充電する外部の電力源を、さら
に含んでもよい。
【００５３】図１に示された一例のハンドヘルドパーソ
ナルコンピュータ１２０は、３つの種類の外部通知機
構：１つ又は２つ以上の発光ダイオード（ＬＥＤ）１４
０及びオーディオ発生器１４４を持っている。これらの
装置は、電源１３６に直接結合して、起動されたとき
に、ハンドヘルドパーソナルコンピュータのプロセッサ
１２２及び他の構成部品がバッテリ電力を保存するため
に、電源供給を止められた場合でも、通知機構により定
められている期間にわたってオン状態を維持するように
する。ＬＥＤ１４０は、ユーザが操作をするまで無期限
にオン状態を維持するのが好ましい。現代のオーディオ
発生器１４４は、今日のハンドヘルドパーソナルコンピ
ュータのバッテリに対してあまりに多くの電力を使用
し、そして、このため、システムのその他の部分が動作
しているとき、又は起動後一定の持続時間にわたって、
オフにされるよう構成される。
【００５４】〔一般化されたリファレンスデコーダ〕リ
ーキーバケットは、エンコーダ又はデコーダバッファの
状態（あるいは満杯量）を時間の関数として概念化した
モデルである。図２は、この概念を示しており、図２に
おいては、入力データ２００は、エンハンストエンコー
ダ２０２に供給され、ここでそのデータを（後述するよ
うに）符号化してエンコーダバッファ２０４に入力す
る。符号化されたデータは、伝送媒体（ｐｉｐｅ）２０
６を通って、デコーダバッファ２０８まで伝送され、つ
いでデコーダ２１０によって映像又はビデオフレームの
ような出力データに復号化される。単純化のために、デ
コーダバッファ２０８を主として記述する。その理由
は、エンコーダ及びデコーダバッファの満杯量は、概念
的には互いに相補関係にあり、すなわちデコーダバッフ
ァに多くのデータがあるほど、エンコーダバッファにあ
るデータは少なくなり、逆もまた同様だからである。
【００５５】リーキーバケットモデルは、３つのパラメ
ータＲ、Ｂ及びＦの組により特徴付けられる。ここで、
Ｒはデコーダバッファ２０８にビットが入るときのピー
クビットレート（ビット／秒）である。ビットレートが
一定のシナリオでは、Ｒはしばしばチャネルのビットレ
ート及びビデオ又はオーディオクリップの平均ビットレ
ートであり、概念的にはパイプ２０６の幅に対応すると
考えることができる。Ｂは、ビデオビットレートの変動
を平滑化するバケットあるいはデコーダバッファ２０８
の（ビット単位での）サイズである。このバッファサイ
ズは、デコーダ装置の物理的バッファよりも大きくする
ことはできない。Ｆは、デコーダがそのバッファからビ
ットを除去しはじめる前に必要とされる初期デコーダバ
ッファ満杯量（これもまたビット単位）である。Ｆは、
最初のフレームを表わす符号化されたデータの量と少な
くとも同じ大きさである。処理時間は、本実施例の目的
のためには瞬時と考えてよいと思われるが、この処理時
間を考慮に入れなければ、ＦとＲで、初期又は立上り遅
延Ｄが決定される。ここで、Ｄ＝Ｆ/Ｒ（秒）である。
【００５６】従ってリーキーバケットモデルでは、ビッ
トは、満杯量のレベルがＦになるまで（すなわちＤ秒
間）デコーダバッファ２０８にレートＲで入力され、つ
いで最初のフレームのために必要なビットｂ０は、（本
実施例では瞬時に）除去される。ビットは、レートＲで
バッファに入力されつづけ、デコーダは、以降のフレー
ムのｂ１、ｂ２、…、ｂｎ−１のビットを所定の瞬時
に、典型的には（しかし、必須ではなく）１／Ｍ秒ごと
に除去する。ここで、Ｍは、ビデオのフレームレートで
ある。
【００５７】図３は、パラメータ（Ｒ，Ｂ，Ｆ）のリー
キーバケットに格納されているビットストリームに対す
るデコーダバッファ満杯量の時間変化を示すグラフであ
る。ここで、上述したように、ｉ番目のビットは、ｂｉ
である。図３では，符号化されたビデオフレームは、バ
ッファ満杯量における低下量（ｄｒｏｐ）によって表さ
れるように、（一般的には、ビデオフレームレートに従
って）バッファから除去される。さらに特に、時間ｔｉ
において、ｂｉビットを除去する直前のデコーダバッフ
ァ満杯量をＢｉとする。一般的なリーキーバケットモデ
ルは以下の方程式に従って動作する。
【００５８】
【数１】
【００５９】典型的には、ｔｉ＋１−ｔｉ＝１／Ｍ秒で
ある。ここで、Ｍはビットストリームに対するフレーム
レート（フレーム／秒）である。
【００６０】パラメータ（Ｒ，Ｂ，Ｆ）のリーキーバケ
ットモデルは、デコーダバッファ２０８（図２）でアン
ダーフローがなければ、１つのビットストリームを格納
する。エンコーダとデコーダのバッファ満杯量は互いに
補完するため、これはエンコーダバッファ２０４がオー
バフローしないことと等価である。しかし、エンコーダ
バッファ２０４（リーキーバケット）は、空きとなるこ
とが許され、あるいは同等に、さらに、エンコーダバッ
ファ２０４からデコーダバッファ２０８に更なるビット
が伝送されない点において、デコーダバッファ２０８は
フルになってもよい。従ってデコーダバッファ２０８
は、フルの場合はビットの受信を停止する。これが、上
記の二番目の方程式でｍｉｎ演算子を使っている理由で
ある。これらが補完するため、デコーダバッファ２０８
がフルであることは、可変ビットレート（ＶＢＲ）のス
トリームに関して以下に記述されるように、エンコーダ
バッファ２０４が空きであることを意味している。
【００６１】所定のビデオストリームは種々のリーキー
バケットの構成に含まれてもよいことを付記する。例え
ば、あるビデオストリームがパラメータ（Ｒ，Ｂ，Ｆ）
のリーキーバケットに格納されている場合、それはより
大きなバッファ（Ｒ，Ｂ’，Ｆ）のリーキーバケットに
も格納される。ここに、Ｂ’はＢよりも大きい。あるい
は、この場合より高いピーク伝送レート（Ｒ’，Ｂ，
Ｆ）のリーキーバケットにも格納される。ここで、Ｒ’
はＲよりも大きい。さらに、いかなるビットレートＲ’
に対しても、（時間が限定された）ビデオビットストリ
ームを格納するバッファサイズがある。最悪の場合、す
なわちＲ’が０に近づく場合、バッファサイズはビット
ストリーム自体と同じ大きさである必要がある。言い換
えれば、ビデオビットストリームは、バッファサイズが
十分大きい限りは（そのクリップの平均レートに関係な
く）いかなるレートでも伝送することができる。
【００６２】図４は、所定のビットストリームのための
ピークビットレートＲｍｉｎに対する、上記の二番目の
方程式を使って得た最小バッファサイズＢｍｉｎのグラ
フである。ここで、所望の初期バッファ満杯量は、総バ
ッファサイズの一定の部分で設定される。図４の曲線
は、ピークビットレートｒでストリームを伝送するため
には、デコーダは、少なくともＢｍｉｎ（ｒ）ビットを
バッファする必要があることを示している。さらに、グ
ラフから理解されるように、より高いピークレートはよ
り小さいバッファサイズを要求し、それゆえ、より短い
立上りバッファ遅延が要求される。あるいはまたこのグ
ラフは、デコーダバッファのサイズがｂの場合は、この
ビットストリームを伝送するため必要とされる最小ピー
クレートはそれに関連するＲｍｉｎ（ｂ）であることを
示している。さらに、（図４にあるような）いかなるビ
ットストリームに対する（Ｒｍｉｎ，Ｂｍｉｎ）の組の
曲線は、部分的には線形であり、かつ凸状である。
【００６３】本発明の一つの形態にしたがって、曲線の
少なくとも二点がエンハンストエンコーダ２０２により
与えられれば、一般化されたリファレンスデコーダ２１
０は、１点を選択し、二点間の線形内挿を取り、又はそ
れらの点を外挿して（Ｒｍｉ ｎ，Ｂｍｉｎ）よりもわず
かだが安全サイドに大きい、ある点（Ｒｉｎｔｅｒｐ，
Ｂｉｎｔｅｒｐ）に到達することができる。重要な結果
として、多くの場合、平均レートでビットストリームを
格納している単一のリーキーバケットに比べて、オーダ
単位で安全にバッファサイズを減らしてもよい。それに
より、遅延も同様に減少する。あるいはまた同じ遅延に
対して、ピーク伝送レートは、（多分）係数４だけ減ら
してもよいし、また、信号雑音比率（ＳＮＲ）を、（多
分）数ｄＢ改善してもよい。
【００６４】このために、所定のビデオ又は映像クリッ
プのために有用な（例えば、Ｒ及び／又はＢの範囲に関
して合理的に分割された。）レート−バッファ曲線上の
少なくとも二点に対応するリーキーバケットパラメータ
２１４、例えば（Ｒ１，Ｂ１，Ｆ１）、（Ｒ２，Ｂ２，
Ｆ２）…、（ＲＮ，ＢＮ，ＦＮ）の少なくとも２つのセ
ットを生成するようにエンコーダ２０２を構成すること
でエンコーダ２０２をエンハンスする。このエンハンス
トエンコーダ２０２は、初期ストリームヘッダに、ある
いはまた帯域外の何らかの方法でこれらリーキーバケッ
トパラメータセットを挿入するといったことにより、一
般化されたリファレンスデコーダ２１０に対し、数Ｎと
共に、これらのリーキーバケットパラメータセットを提
供する。相対的に大きなＮ（Ｒ-Ｂ曲線を合理的に表す
ためには２から４バケット有れば通常十分であるが、例
えば数ダースのバケット）に対してさえ、この情報を提
供するため必要とされる追加のバイトの量（例えば、Ｎ
に対して１バイトに加えて、リーキーバケットモデルあ
るいはパラメータセットごとに８バイト）は、一般のビ
デオ又は映像データと比べると無視できることを付記す
る。
【００６５】さらに、より高いビットレートでは、コン
テンツ製作者はそのビットストリームの中で異なる時間
において異なるリーキーバケットモデルを特定するよう
決定してもよいことを特に付記する。これは、いつ伝送
中に接続が切れ、ビットストリームの中間で再スタート
した場合でも有用である。例えば、リーキーバケットモ
デルを１５分間隔で与えて、デコーダがその動作条件
（例えば、バッファサイズ又はレート）を、所望に応じ
て、適当な回数、再選択、再内挿又は再外挿することに
よって変えてもよい。
【００６６】Ｎの所望値は、エンコーダで選択すること
ができる（Ｎ＝１の場合、一般化されたデコーダ２１０
は、ＭＰＥＧビデオバッファ検定器のように点を外挿す
ることに留意する）。エンコーダは、予めリーキーバケ
ットの値を選択し、リーキーバケットの制約が充たされ
ようにレート制御を行ってビットストリームを符号化す
るか、ビットストリームを符号化してから上述の方程式
を使ってＮ個の異なるＲの値においてビットストリーム
を格納するリーキーバケットパラメータのセットを計算
するか、またその両方を行うことを選択することができ
る。最初のやり方は、ライブ又はオンデマンド伝送に適
用することができるが、その他は、オンデマンドに適用
される。
【００６７】本発明の場合には、一般化されたリファレ
ンスデコーダ２１０でいったん受信されると、デコーダ
２１０は、それに可能なピークビットレート及び／又は
物理的なバッファサイズを考慮して、どのリーキーバケ
ットを使うのが望ましいかを決定することができる。あ
るいはまた、一般化されたリファレンスデコーダ２１０
は、これらの点の間で線形内挿をもとめるか又はこれら
の点から線形外挿を求めて、所定の設定に対し適当なパ
ラメータセットを探索するようにしてもよい。
【００６８】図５は、２つのリーキーバケットパラメー
タセット及びそれらの線形内挿された（Ｒ，Ｂ）値を示
している。参考のために、計算されたＲ−Ｂ曲線は細か
い破線で表され、リーキーバケットモデル（Ｒｘ，
Ｂｘ）及び（Ｒｙ，Ｂｙ）において与えられるＲとＢの
値は星印によって表される。（Ｒｘ，Ｂｘ）から
（Ｒｙ，Ｂｙ）への実線は、内挿された値を表してい
る。この実線上で選択されたいかなるＲ又はＢの組も、
デコーダバッファ２０８を適切に（例えば、オーバフロ
ー又はアンダフローなしに）維持する。リーキーバケッ
トパラメータは、図５の粗い破線で表され、これらの点
から外挿することもでき、そしてまた、実線上で選ばれ
たいかなるＲ又はＢの組もデコーダバッファ２０８を適
切に維持する。
【００６９】点ｋと点ｋ＋１の間の内挿されたバッファ
サイズＢは次の直線に従う。
【００７０】
【数２】
【００７１】ここで、Ｒｋ＜Ｒ＜Ｒｋ＋１である。同様
に、初期デコーダバッファ満杯量Ｆは、線形内挿するこ
とができる。
【００７２】
【数３】
【００７３】ここで、Ｒｋ＜Ｒ＜Ｒｋ＋１である。
【００７４】このようにして得られた、パラメータ
（Ｒ，Ｂ，Ｆ）を持つリーキーバケットは、ビットスト
リームを含むことが保証される、その理由は、（数学的
に証明出来るように）最小バッファサイズＢｍｉｎがＲ
とＦの両方に凸状である、すなわち、任意の凸結合
（Ｒ，Ｆ）＝ａ（Ｒｋ，Ｆｋ）＋（１−ａ）
（Ｒｋ＋１，Ｆｋ ＋１）、０＜ａ＜１に対応する最小バ
ッファサイズＢｍｉｎは、Ｂ＝ａＢｋ＋（１−ａ）Ｂ
ｋ＋１以下だからである。
【００７５】上述したように、ＲがＲＮよりも大きい場
合、リーキーバケット（Ｒ，ＢＮ，ＦＮ）もまたビット
ストリームを含む。ここで、ＢＮとＦＮはＲＮのときに
望ましいバッファサイズと初期デコーダバッファ満杯量
である。Ｒが、Ｒ１よりも小さいならば、上限Ｂ＝Ｂ１
＋（Ｒ１−Ｒ）Ｔを用いることができる。ここで、Ｔは
秒単位でのストリームの時間長である。Ｎ点の範囲を超
えたこれらの（Ｒ，Ｂ）の値は外挿してもよい。
【００７６】デコーダは、リーキーバケットのパラメー
タを選択し、内挿し、あるいは外挿する必要はないが、
もう一つのやり方はむしろデコーダへ単一のセットを送
るためのパラメータを選択することであり、それにより
デコーダはその単一のセットを使う。例えば、デコーダ
の要求などのある情報が与えられると、サーバは、（選
択、内挿又は外挿によって）デコーダへ送るためのリー
キーバケットパラメータの適切なセットを決定すること
ができ、ついで、デコーダは、一つのパラメータセット
のみを使って復号化することができる。サーバ又はデコ
ーダのためのプロキシもまた、デコーダが２以上のリー
キーバケットを見ることすらなしに、リーキーバケット
情報の選択、内挿または外挿の選択をすることができ
る。言い換えれば、デコーダが決定する代わりに、多分
サーバとクライアントのデコーダがパラメータをネゴシ
エートしながらサーバが決定することができる。しか
し、一般的には、そして本発明の場合には、少なくとも
２つのリーキーバケットモデルに基づいて適正なリーキ
ーバケットモデルの決定が行われる。
【００７７】所定のビットストリームに対するＲ−Ｂ曲
線の値は、図３で示されるように、デコーダバッファの
プロットの中で最高の満杯量と最低の満杯量が発生する
時刻から計算することができる。より詳しくは、パラメ
ータ（Ｒ，Ｂ，Ｆ）のリーキーバケットに含まれるビッ
トストリームに対して、デコーダバッファの最高満杯量
と最低満杯量のそれぞれ２つの時刻（ｔＭ，ｔｍ）を事
前に又は動的に考える。満杯量は最高と最低の値に数回
達してもよいが、ｔＭ＜ｔｍとなるような最も大きな値
の（ｔＭ，ｔｍ）の組を考える。リーキーバケットが適
切に計算できると仮定すると、Ｂは、値Ｒ、Ｆに対する
ビットストリームを含む最低バッファサイズである。
【００７８】
【数４】
【００７９】ここで、ｂ（ｔ）は、時刻ｔでのフレーム
のビット数であり、Ｍはフレーム／秒でのフレームレー
トである。この方程式において、ｎは時刻ｔＭとｔｍと
の間のフレーム数であり、ｃはこれらフレームに対する
ビットの合計である。
【００８０】この方程式は、ｒ＝Ｒで、−ｎ／Ｍが線の
傾斜となる直線Ｂ（ｒ）の点として解釈することができ
る。値ｔＭとｔｍの最大の組が同じ値に留まるようなビ
ットレート範囲ｒ∈［Ｒ−ｒ１，Ｒ＋ｒ２］が存在す
る。ここで、上記方程式は、ビットレートｒに関連する
最小バッファサイズを定める直線に対応する。ビットレ
ートｒが上記範囲外にある場合は、値ｔＭ及び／又はｔ
ｍの少なくとも一つが変化する。ここで、ｒ＞Ｒ＋ｒ２
のときは、ｔＭとｔｍとの間の時間間隔はより小さくな
る。そして、Ｂ（ｒ）を定める新たな直線におけるｎの
値もより小さくなり、および各線の傾斜はより大きくな
る（より負でなくなる）。ｒ＜Ｒ−ｒ１のときは、ｔＭ
とｔｍとの間の時間間隔は大きくなり、およびＢ（ｒ）
を定める直線におけるｎの値も増大する。線の傾斜はこ
のとき、より小さくなる（より負になる）。
【００８１】ビットレートの範囲に対する（ｔＭ，ｔ
ｍ）の組の値（あるいはこれに関連するｎの値）とｃの
いくつかの値（任意の組に対して少なくとも一つ）は、
ビットストリームのヘッダに格納してもよく、それゆえ
上記方程式を用いて、部分的に線形のＢ（ｒ）曲線を得
ることができる。加えて、この方程式を用いて、エンコ
ーダがビットストリームを生成した後、リーキーバケッ
トモデルのパラメータの計算を簡易化するようにしても
よい。
【００８２】試みに、図５のビットストリームは、７９
７Ｋｂｐｓの平均ビットレートを発生するように生成さ
れた。図５に一般的に示されるように、７９７Ｋｂｐｓ
の一定の伝送レートでは、デコーダは、約１８，０００
Ｋビットのバッファサイズ（Ｒｘ，Ｂｘ）を必要とす
る。初期デコーダバッファ満杯量が１８，０００Ｋビッ
トに等しい場合は、立上り遅延は、約２２．５秒とな
る。そのため、その全符号化長に対して本質的に可能な
限り最良の品質を達成するために、この（レート制御な
しに生成された）符号化により２２．５秒までビットが
シフトされる。
【００８３】図５は、ピーク伝送レート２,５００Ｋｂ
ｐｓ（例えば、２倍速ＣＤのビデオビットレートの部
分）では、デコーダはたった２,２７２Ｋビットのバッ
ファサイズ（Ｒｙ，Ｂｙ）を必要とするだけであり、こ
れは、コンシューマ向けハードウェア装置としては妥当
なものである。初期バッファ満杯量が２,２７２Ｋビッ
トに等しい場合、その立上り遅延は約０.９秒に過ぎな
い。
【００８４】それゆえ、この符号化にとって、典型的に
は２つのリーキーバケットモデル、例えば、（Ｒ＝７９
７Ｋｂｐｓ，Ｂ＝１８，０００Ｋビット，Ｆ＝１８，０
００Ｋビット）及び（Ｒ＝２，５００Ｋｂｐｓ，Ｂ＝
２，２７２Ｋビット，Ｆ＝２，２７２Ｋビット）のモデ
ルが有用である。この最初のリーキーバケットのパラメ
ータセットは、約２２．５秒の遅延でビデオを一定のビ
ットレートのチャネルにわたって伝送することを許容す
る。多くのシナリオにとって、この遅延はあまりに大き
いが、例えば映画のインターネットストリーミングのた
めにはおそらく、許容しうるものである。リーキーバケ
ットパラメータの二番目のセットは、約０．９秒の遅延
で、ピークレート２，５００Ｋｂｐｓの共用ネットワー
クを介してビデオを伝送し、又は２倍速ＣＤからローカ
ルで再生することを許容する。この１秒未満の遅延は、
ＶＣＲ（ビデオカセットレコーダ）と同様の機能を持つ
ランダムアクセス再生に対して許容される。
【００８５】この利点は、そのビットストリームにおい
て第１のリーキーバケットのみが特定されるものの、第
２のリーキーバケットが特定されない場合に起こること
を考えれば、明らかである。このような場合、ピークビ
ットレート２，５００Ｋｂｐｓのチャネルで再生する場
合でさえ、デコーダは１８，０００Ｋビットのバッファ
サイズを使い、従って、その遅延はＦ／Ｒ＝１８，００
０Ｋビット／２，５００Ｋｂｐｓ＝７．２秒となろう。
このような遅延はＶＣＲ同様の機能を持つようなランダ
ムアクセスの再生では許容されないことを理解すること
ができる。しかし、第２のリーキーバケットがさらに特
定されると、２，５００Ｋｂｐｓのレートにおいてバッ
ファサイズは、２，２７２Ｋビットに低下し、その遅延
は上述したとおり０．９秒に低下する。
【００８６】他方、第２のリーキーバケットのみ特定さ
れ、第１のリーキーバケットが特定されなかったときに
は、７９７Ｋｂｐｓの一定の伝送レートにおいて、洗練
されたデコーダでさえも、必要とされるよりもずっと大
きなバッファを用いてバッファがオーバフローしないこ
とを確実にすることを余儀なくされる。すなわち、Ｂ’
＝Ｂ＋（Ｒ−Ｒ’）Ｔ＝２，２７２Ｋビット＋（２，５
００Ｋｂｐｓ−７９７Ｋｂｐｓ）×１３０秒＝２２３，
６６２Ｋビットとなる。このような多大な記憶がある装
置において可能であっても、これは、２８１秒すなわち
ほぼ５分という初期遅延に対応するが、これは許容限度
をはるかに超えている。しかし、第１のリーキーバケッ
トも特定される場合、７９７Ｋｂｐｓのレートにおい
て、バッファサイズは１８，０００Ｋビットに低下し、
および遅延は、上述したように、２２．５秒に低下す
る。
【００８７】さらに、双方のリーキーバケットが特定さ
れると、デコーダはこれらの間で、７９７Ｋｂｐｓと
２，５００Ｋｂｐｓとの間の任意のビットレートＲに対
して、（上記の内挿公式を使って）線形内挿し、それに
より所与のレートにおいてほぼ最小のバッファサイズ及
び遅延を実現できる。外挿もまた７９７Ｋｂｐｓより低
く、２，５００Ｋｂｐｓより高い双方で（粗い破線で図
５に示されている）、７９２Ｋｂｐｓと２，５００Ｋｂ
ｐｓとの間（両端含む）の任意の個所での単一のリーキ
ーバケットを用いた外挿と比較すると、より効率的であ
る。
【００８８】上記実施例により例示されているように、
わずか２セットのリーキーバケットパラメータでさえ、
バッファサイズをオーダ単位で削減することができ（例
えば、ある場合は、２２３，６６２Ｋビットから１８，
０００Ｋビットへ、および他の場合は、１８，０００Ｋ
ビットから２，２７２Ｋビットへ）、所与のピーク伝送
レートにおける遅延もオーダ単位で削減される（例え
ば、ある場合は、２８１秒から２２．５秒へ、および、
他の場合は、７．２秒から０．９秒へ削減）。
【００８９】あるいはまた、所与のデコーダバッファサ
イズに対するピーク伝送レートを減少させることもでき
る。実際、図５から明らかなように、複数のリーキーバ
ケットを内挿及び／又は外挿することによりＲ−Ｂ曲線
が得られるならば、固定の物理的バッファサイズをもつ
デコーダが、デコーダバッファのアンダーフローなしに
安全にビットストリームを復号化するために必要とされ
る最小のピーク伝送レートを選ぶことができる。例え
ば、デコーダがサイズ１８,０００Ｋビットの固定バッ
ファを有するならば、符号化のためのピーク伝送レート
は７９７Ｋｂｐｓ程度の低さにすることができる。しか
し、第２のリーキーバケットが特定されるものの、第１
のリーキーバケットは特定されない場合、デコーダは、
ビットレートをＲ’＝Ｒ−（Ｂ’−Ｂ）／Ｔ＝２,５０
０Ｋｂｐｓ−（１８,０００Ｋビット−２,２７２Ｋビッ
ト）／１３０秒＝２,３７９Ｋｂｐｓより低いビットレ
ートまでも減らすことができる。この場合、単一のリー
キーバケットを用いるのに比べ、２つのリーキーバケッ
トを使うだけで、同じデコーダバッファサイズに対して
係数４だけピーク伝送レートを減らすことになる。
【００９０】複数のリーキーバケットパラメータを有す
ることにより、同じ平均符号化レートで再構成されたビ
デオの質もまた改善できる。双方のリーキーバケットが
符号化に用いることができる場合を考える。上述のよう
に、デコーダにおけるこの情報をもって、ピーク伝送レ
ートが７９７Ｋｂｐｓの場合は、２２.５秒の遅延で、
そして、ピーク伝送レートが２,５００Ｋｂｐｓの場合
は、０.９秒の遅延で、符号化して再生することができ
る。
【００９１】しかし、第２のリーキーバケットが用いる
ことができないとすると、遅延は２,５００Ｋｂｐｓで
０.９秒から７.２秒に増加する。第２のリーキーバケッ
トの利点なしに遅延を０.９秒に減らす１つの方法は、
（第１のリーキーバケットの）バッファサイズを１８,
０００Ｋビットから（０.９秒×２,５００Ｋｂｐｓ）＝
２,２５０Ｋビットに減らすことにより、レートを制御
してクリップを再符号化することである。これにより、
７９７Ｋｂｐｓにおける遅延が２２.５秒から２.８秒に
減少しても、ピーク伝送レートが２,５００Ｋｂｐｓな
らば、遅延はたった０.９秒になることが確かである。
しかし、結果として、品質（ＳＮＲ）もまた、数ｄＢと
推定される量だけ、特に大きなダイナミックレンジを持
つクリップに対して減少する。
【００９２】従って、第２のリーキーバケットを特定す
ることにより、クリップあたり無視しうる量の追加のビ
ットを除いて、第２のリーキーバケットを特定すること
で、平均ビットレートを変えることなく、ＳＮＲを多分
数ｄＢ増やすことができる。ＳＮＲにおけるこの増加
は、各ピーク伝送レートに対して再生の際顕著である。
【００９３】一般化されたリファレンスデコーダに複数
のリーキーバケットを特定することの利点は、単一の符
号化が行われ、異なるピークレートのチャネルを介して
伝送され、又は、異なる物理的バッファサイズを持つ装
置に伝送される場合に理解される。しかし、実際には、
これは、ますます普通になりつつある。例えば、オフラ
インで符号化され、ディスクに格納されたコンテンツ
は、異なるピークレートをもつネットワークを流れると
ともに、しばしば、ローカルで再生される。ローカルの
再生においてさえ、種々の駆動速度（例えば、１倍速Ｃ
Ｄから８倍速ＤＶＤ）がピーク伝送レートに影響する。
さらに、ネットワーク接続を通したピーク伝送レート
は、一般的にエンドユーザに近い制限リンク（例えば、
１００又は１０ｂａｓｅＴイーサネット（登録商標）、
Ｔ１、ＤＳＬ、ＩＳＤＮ、モデムその他）の速度に劇的
に従う。再生装置のバッファ容量もまた、数ギガバイト
のバッファ空間を持つデスクトップコンピュータから数
オーダ小さいバッファ空間を持つ小型コンシューマ向け
電子機器へと大きく変化する。複数のリーキーバケット
と本発明により提案された一般化されたリファレンスデ
コーダとによって、同一のビットストリームが、最小立
上り遅延、最小デコーダバッファ要求及び最大可能品質
を持つ種々のチャネルを介して伝送されることを可能と
する。これは、オフラインで符号化されるビデオだけで
なく、異なるチャネルを介して異なる装置に同時に配信
されるライブビデオにも適用される。要約すれば、本発
明により提案された一般化されたリファレンスデコーダ
は、既存のビットストリームに大きな柔軟性を加えると
いうことである。
【００９４】先に詳述したことから理解できる通り、先
行技術に対して改良された一般化されたリファレンスデ
コーダが提供される。一般化されたリファレンスデコー
ダは、エンコーダからの少量の情報のみを（例えば、ビ
ットストリームのヘッダにおいて）必要とするだけで、
帯域幅がさまざまであり、及び／又は端末が種々のビッ
トレート及びバッファ容量を持つ現代のネットワークを
介してのビットストリームの配信に対して、より高い柔
軟性を提供する。本発明のリファレンスデコーダは、可
能な帯域幅に対して伝送遅延を最小に減らす一方、これ
らの新しいシナリオを可能にし、さらに加えて、所与の
物理的バッファサイズの制限をもつ装置に対する配信の
ためのチャネルビットレート要件を仮想的に最小化す
る。
【００９５】本発明は、種々の変更や代案の構成が可能
であるが、図示された実施例を図面に表し、上記に詳細
に記述してきた。しかし、本発明を開示された特定の形
態に限定しようという意図がなく、これとは反対に、す
べての変更、代案の構成及び本発明の精神と意向のうち
にある均等物すべてを包含する意図があることは理解さ
れるべきである。
【図面の簡単な説明】
【図１】本発明を取り入れたコンピュータシステムの一
例を示すブロック図である。
【図２】本発明の一態様にしたがってビデオ又は映像デ
ータを符号化及び復号化するためのエンハンストエンコ
ーダと一般化されたリファレンスデコーダ及びそれらの
それぞれのバッファを示すブロック図である。
【図３】パラメータ（Ｒ，Ｂ，Ｆ）のリーキーバケット
に含まれているバッファ満杯量を時間にわたって示すグ
ラフである。
【図４】代表的なビデオクリップに対するレート対バッ
ファサイズの曲線を示すグラフである。
【図５】本発明の一態様に従って内挿及び外挿するため
の一般化されたリファレンスデコーダに提供された２つ
のリーキーバケットモデル（のパラメータセット）をも
つ代表的なビデオクリップに対するレート対バッファサ
イズの曲線を示すグラフである。
【符号の説明】
１２０ 動作環境 １２２ プロセッサ １２４ メモリ １２６ ディスプレイ １２８ キーボード １３０ オペレーティングシステム １３２ アプリケーションプログラム １３４ 通知管理プログラム １３６ 電源 １４０ ＬＥＤ １４４ オーディオ発生器 ２００ 入力データ ２０２ エンハンストエンコーダ ２０４ エンコーダバッファ ２０６ 伝送媒体（パイプ） ２０８ デコーダバッファ ２１０ 一般化されたリファレンスデコーダ ２１２ 出力データ ２１４ リーキーバケットパラメータ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョルディ リバス−コルベラ アメリカ合衆国 98052 ワシントン州 レッドモンド 145 コート ノースイー スト 6125 (72)発明者 フィリップ エー．チョウ アメリカ合衆国 98005 ワシントン州 ベルビュー ノースイースト 50 ストリ ート 13525 Ｆターム(参考） 5C059 KK35 RB09 TA08 TA71 TC16 TC37 UA05 UA34 5K034 AA20 FF01 HH16 HH21 HH32 HH50 MM08

Claims (36)

    【特許請求の範囲】
  1. 【請求項１】 レートデータ及びバッファサイズデータ
    を含む少なくとも２セットのパラメータを用い、 １）レートデータに基づきバッファサイズを選択し又は ２）バッファサイズに基づきレートを選択することによ
    り、動作条件を決定し、及び時間変動信号デコーダにお
    いて、前記動作条件に従い符号化されたデータをバッフ
    ァ内に維持し、及び該バッファから該符号化されたデー
    タを復号化することを特徴とするコンピュータにより実
    施される方法。
  2. 【請求項２】 前記時間変動信号デコーダにおいて、少
    なくとも２セットのパラメータを受信して前記時間変動
    信号デコーダにより前記動作条件を定めることをさらに
    備えたことを特徴とする請求項１記載のコンピュータに
    より実施される方法。
  3. 【請求項３】 前記パラメータの各セットは、前記時間
    変動信号デコーダで受信する満杯量データも含むことを
    特徴とする請求項２に記載のコンピュータにより実施さ
    れる方法。
  4. 【請求項４】 前記少なくとも２セットのパラメータが
    エンコーダにより定められることを特徴とする請求項２
    に記載のコンピュータにより実施される方法。
  5. 【請求項５】 前記少なくとも２セットのパラメータ
    を、該パラメータセットの合計数を示す情報とともにス
    トリームヘッダにおいて受信することを特徴とする請求
    項４に記載のコンピュータにより実施される方法。
  6. 【請求項６】 少なくとも２セットのパラメータを用い
    て動作条件を定めることは、該パラメータセットの１つ
    を選択することを含むことを特徴とする請求項１に記載
    のコンピュータにより実施される方法。
  7. 【請求項７】 少なくとも２セットのパラメータを用い
    て動作条件を定めることは、該少なくとも２セットのパ
    ラメータのデータ点の間で内挿することを含むことを特
    徴とする請求項１に記載のコンピュータにより実施され
    る方法。
  8. 【請求項８】 少なくとも２セットのパラメータを用い
    て動作条件を定めることは、該少なくとも２セットのパ
    ラメータのデータ点から外挿することを含むことを特徴
    とする請求項１に記載のコンピュータにより実施される
    方法。
  9. 【請求項９】 前記レートデータに基づきバッファサイ
    ズを選択することは、最小ローディング遅延に近接する
    バッファサイズを定めることを含むことを特徴とする請
    求項１に記載のコンピュータにより実施される方法。
  10. 【請求項１０】 前記バッファサイズに基づきレートを
    選択することは、前記バッファサイズに基づき最小要求
    ピーク伝送レートを定めることを含むことを特徴とする
    請求項１に記載のコンピュータにより実施される方法。
  11. 【請求項１１】 前記バッファへの前記符号化されたデ
    ータの通信中に少なくとも１回動作条件が変化すること
    を特徴とする請求項１に記載のコンピュータにより実施
    される方法。
  12. 【請求項１２】 時間変動信号デコーダにおいて、レー
    トデータ及びバッファサイズデータを含む少なくとも２
    セットのパラメータを受信し、 前記少なくとも２セットのパラメータを用い、 １）前記レートデータに基づきバッファサイズを選択し
    又は ２）前記バッファサイズに基づきレートを選択すること
    により、動作条件を決定し、 前記動作条件に従い符号化されたデータをバッファ内に
    維持し、及び該バッファから該符号化されたデータを復
    号化することを特徴とするコンピュータにより実施され
    る方法。
  13. 【請求項１３】 前記時間変動信号デコーダへ満杯量デ
    ータを提供することをさらに備えることを特徴とする請
    求項１２に記載のコンピュータにより実施される方法。
  14. 【請求項１４】 前記パラメータの中から少なくとも２
    つを定め、及び前記時間変動信号デコーダへ該２つのパ
    ラメータセットを提供することをさらに備えることを特
    徴とする請求項１２に記載のコンピュータにより実施さ
    れる方法。
  15. 【請求項１５】 前記少なくとも２セットのパラメータ
    をエンコーダにより定めることを特徴とする請求項１４
    に記載のコンピュータにより実施される方法。
  16. 【請求項１６】 前記少なくとも２セットのパラメータ
    を、該パラメータセットの合計数を示す情報とともにス
    トリームヘッダにおいて受信することを特徴とする請求
    項１５に記載のコンピュータにより実施される方法。
  17. 【請求項１７】 少なくとも２セットのパラメータを用
    いて動作条件を定めることは、該パラメータセットの１
    つを選択することを含むことを特徴とする請求項１２に
    記載のコンピュータにより実施される方法。
  18. 【請求項１８】 少なくとも２セットのパラメータを用
    いて動作条件を定めることは、該少なくとも２セットの
    パラメータのデータ点の間で内挿することを含むことを
    特徴とする請求項１２に記載のコンピュータにより実施
    される方法。
  19. 【請求項１９】 動作条件を定めるため少なくとも２セ
    ットのパラメータを使用することには、該少なくとも２
    セットのパラメータのデータ点から外挿することが含ま
    れることを特徴とする請求項１２に記載のコンピュータ
    により実施される方法。
  20. 【請求項２０】 前記レートデータに基づきバッファサ
    イズを選択することは、最小ローディング遅延に近接す
    るバッファサイズを定めることを含むことを特徴とする
    請求項１２に記載のコンピュータにより実施される方
    法。
  21. 【請求項２１】 前記バッファサイズに基づきレートを
    選択することは、前記バッファサイズに基づき最小要求
    ピーク伝送レートを定めることを含むことを特徴とする
    請求項１２に記載のコンピュータにより実施される方
    法。
  22. 【請求項２２】 前記バッファへの前記符号化されたデ
    ータの通信中に少なくとも１回動作条件が変化すること
    を特徴とする請求項１２に記載のコンピュータにより実
    施される方法。
  23. 【請求項２３】 時間変動信号を提供するエンコーダ
    と、 伝達媒体により互いに接続され、前記時間変動信号を維
    持するエンコーダバッファ及びデコーダバッファと、 前記デコーダから前記時間変動信号を除去するデコーダ
    と、 オーバフロー又はアンダーフローとならないよう前記デ
    コーダバッファを維持するために、レートデータ及びバ
    ッファサイズデータを含む少なくとも２セットのパラメ
    ータを定める第１の機構と、 前記レートデータに基づきデコーダバッファのサイズを
    定め、又は前記バッファサイズデータに基づき前記エン
    コーダバッファから前記デコーダバッファへデータを転
    送するレートを定める第２の機構とを含むことを特徴と
    する時間変動信号を提供するためのシステム。
  24. 【請求項２４】 前記少なくとも２セットのパラメータ
    を定める第１の機構を、前記エンコーダに組込んだこと
    を特徴とする請求項２３に記載の時間変動信号を提供す
    るためのシステム。
  25. 【請求項２５】 前記第２の機構を、前記デコーダに組
    込んだことを特徴とする請求項２３に記載の時間変動信
    号を提供するためのシステム。
  26. 【請求項２６】 前記少なくとも２セットのパラメータ
    を定める第１の機構を前記エンコーダに組込み、前記第
    ２の機構を前記デコーダに組込み、前記エンコーダは前
    記パラメータセットを前記デコーダに伝送することを特
    徴とする請求項２３に記載の時間変動信号を提供するた
    めのシステム。
  27. 【請求項２７】 前記エンコーダは、ストリームヘッダ
    を介して前記パラメータセットを前記デコーダに伝送す
    ることを特徴とする請求項２６に記載の時間変動信号を
    提供するためのシステム。
  28. 【請求項２８】 前記エンコーダは前記パラメータセッ
    トの合計数を識別することを特徴とする請求項２６に記
    載の時間変動信号を提供するためのシステム。
  29. 【請求項２９】 前記パラメータの各セットは、前記デ
    コーダにおいて受信する満杯量データをも含むことを特
    徴とする請求項２３に記載の時間変動信号を提供するた
    めのシステム。
  30. 【請求項３０】 前記第２の機構は、前記パラメータセ
    ットの１つを選択することにより、前記レートデータに
    基づき前記デコーダバッファのサイズを定め又は前記転
    送データのレートを定めることを特徴とする請求項２３
    に記載の時間変動信号を提供するためのシステム。
  31. 【請求項３１】 前記第２の機構は、前記少なくとも２
    セットのパラメータのデータ点の間で内挿することによ
    り、前記レートデータに基づき前記デコーダバッファの
    サイズを定め又は前記転送データのレートを定めること
    を特徴とする請求項２３に記載の時間変動信号を提供す
    るためのシステム。
  32. 【請求項３２】 前記第２の機構は、前記少なくとも２
    セットのパラメータのデータ点から外挿することによ
    り、前記レートデータに基づき前記デコーダバッファの
    サイズを定め又は前記転送データのレートを定めること
    を特徴とする請求項２３に記載の時間変動信号を提供す
    るためのシステム。
  33. 【請求項３３】 前記第２の機構は、最小ローディング
    遅延に近接するバッファサイズを定めることにより、前
    記デコーダバッファのサイズを定めることを特徴とする
    請求項２３に記載の時間変動信号を提供するためのシス
    テム。
  34. 【請求項３４】 前記第２の機構は、予め定められたバ
    ッファサイズに対応する最小要求ピーク伝送レートを定
    めることにより、前記レートデータを定めることを特徴
    とする請求項２３に記載の時間変動信号を提供するため
    のシステム。
  35. 【請求項３５】 前記第２の機構は、前記レートデータ
    及び時間情報に基づき前記デコーダバッファの新たなサ
    イズを定めることを特徴とする請求項２３に記載の時間
    変動信号を提供するためのシステム。
  36. 【請求項３６】 前記第２の機構は前記バッファサイズ
    データ及び時間情報に基づきデータを転送する新たなレ
    ートを定めることを特徴とする請求項２３に記載の時間
    変動信号を提供するためのシステム。
JP2002273882A 2001-09-19 2002-09-19 映像又はビデオ処理のための一般化されたリファレンスデコーダ Expired - Lifetime JP4199973B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/955,731 2001-09-19
US09/955,731 US7646816B2 (en) 2001-09-19 2001-09-19 Generalized reference decoder for image or video processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007191483A Division JP4489794B2 (ja) 2001-09-19 2007-07-23 映像又はビデオ処理のための一般化されたリファレンスデコーダ

Publications (3)

Publication Number Publication Date
JP2003179665A true JP2003179665A (ja) 2003-06-27
JP2003179665A5 JP2003179665A5 (ja) 2007-09-06
JP4199973B2 JP4199973B2 (ja) 2008-12-24

Family

ID=25497261

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002273882A Expired - Lifetime JP4199973B2 (ja) 2001-09-19 2002-09-19 映像又はビデオ処理のための一般化されたリファレンスデコーダ
JP2007191483A Expired - Lifetime JP4489794B2 (ja) 2001-09-19 2007-07-23 映像又はビデオ処理のための一般化されたリファレンスデコーダ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2007191483A Expired - Lifetime JP4489794B2 (ja) 2001-09-19 2007-07-23 映像又はビデオ処理のための一般化されたリファレンスデコーダ

Country Status (9)

Country Link
US (2) US7646816B2 (ja)
EP (3) EP1298938B1 (ja)
JP (2) JP4199973B2 (ja)
KR (2) KR100947162B1 (ja)
CN (2) CN100461858C (ja)
DE (1) DE20222026U1 (ja)
ES (3) ES2623635T3 (ja)
HK (1) HK1053034B (ja)
TW (1) TW574831B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270694A (ja) * 2005-03-25 2006-10-05 Funai Electric Co Ltd データ伝送システム
JP2007511188A (ja) * 2003-11-12 2007-04-26 ソニー エレクトロニクス インク 動的ビットレート割当符号化に用いる装置及び方法
JP2009159644A (ja) * 2003-07-01 2009-07-16 Nokia Corp 計時されるマルチメディアコンテンツの漸進的ダウンローディング
JP2009207163A (ja) * 2002-04-26 2009-09-10 Sony Corp 復号装置および方法、記録媒体
JP2009303026A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp コンテンツ送信装置、コンテンツ受信装置及びコンテンツ送信方法
JP2010028633A (ja) * 2008-07-23 2010-02-04 Nec Personal Products Co Ltd デジタル放送受信機、及びプログラム
WO2012137656A1 (ja) * 2011-04-06 2012-10-11 ソニー株式会社 画像処理装置および方法
US8831095B2 (en) 2009-03-25 2014-09-09 Kabushiki Kaisha Toshiba Image encoding method and image decoding method

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2395310T3 (es) 2000-07-19 2013-02-11 Critical Perfusion Inc. Catéter para supervisar daño de mucosa isquémica en órganos viscosos huecos
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
AU2003212613A1 (en) * 2002-04-19 2003-11-03 Koninklijke Philips Electronics N.V. Output rate change
GB0306973D0 (en) * 2003-03-26 2003-04-30 British Telecomm Transmitting video
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
US7353284B2 (en) 2003-06-13 2008-04-01 Apple Inc. Synchronized transmission of audio and video data from a computer to a client via an interface
US7477605B2 (en) * 2003-06-30 2009-01-13 Alcatel-Lucent Usa Inc. Methods providing variable granularity for data flow control using a leaky bucket
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7979886B2 (en) 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
SE0302778D0 (sv) 2003-10-17 2003-10-17 Ericsson Telefon Ab L M Container format for multimedia presentations
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
JP2005333478A (ja) * 2004-05-20 2005-12-02 Mitsumi Electric Co Ltd ストリーミングコンテンツ再生方法及びそれを用いたインターネット接続装置
CN100351869C (zh) * 2004-09-15 2007-11-28 致伸科技股份有限公司 一种数字图像插值处理方法
US20060104212A1 (en) * 2004-11-12 2006-05-18 Mao-Hsiung Lee Method of dynamically determining optimum size of buffer
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
JP2006174309A (ja) * 2004-12-17 2006-06-29 Ricoh Co Ltd 動画再生装置、プログラム、及び記録媒体
US20090222873A1 (en) * 2005-03-07 2009-09-03 Einarsson Torbjoern Multimedia Channel Switching
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8582905B2 (en) * 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
RU2518904C2 (ru) * 2007-01-05 2014-06-10 Томсон Лайсенсинг Гипотетический эталонный декодер для масштабируемого видеокодирования
US7656318B2 (en) * 2007-01-29 2010-02-02 Ntt Docomo, Inc. Optimized content-based and royalty-based encoding and distribution of media data
CN101415078B (zh) * 2007-10-18 2010-08-18 深圳Tcl新技术有限公司 基于电影的视频的递归噪声降低方法及装置
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
US20100246685A1 (en) * 2009-03-31 2010-09-30 Alcatel-Lucent Usa Inc. Compressed video decoding delay reducer
CN101557512B (zh) * 2009-05-19 2011-07-20 武汉长江通信产业集团股份有限公司 视频终端接收视频数据延时的处理方法
US8631455B2 (en) 2009-07-24 2014-01-14 Netflix, Inc. Adaptive streaming for digital content distribution
US9014545B2 (en) 2009-07-24 2015-04-21 Netflix, Inc. Adaptive streaming for digital content distribution
US9521178B1 (en) 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
JP5664229B2 (ja) * 2010-12-28 2015-02-04 ソニー株式会社 送信装置、送信方法、及びプログラム
EP2490447A1 (en) * 2011-02-16 2012-08-22 British Telecommunications Public Limited Company Compact cumulative bit curves
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US10306206B2 (en) * 2013-07-23 2019-05-28 The Regents Of The University Of California 3-D motion estimation and online temporal calibration for camera-IMU systems
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
US10404986B2 (en) * 2015-03-30 2019-09-03 Netflix, Inc. Techniques for optimizing bitrates and resolutions during encoding
US9866596B2 (en) 2015-05-04 2018-01-09 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US9906572B2 (en) 2015-08-06 2018-02-27 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US10015216B2 (en) 2015-08-06 2018-07-03 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4706260A (en) 1986-11-07 1987-11-10 Rca Corporation DPCM system with rate-of-fill control of buffer occupancy
US4954892A (en) 1989-02-14 1990-09-04 Mitsubishi Denki Kabushiki Kaisha Buffer controlled picture signal encoding and decoding system
JP2787599B2 (ja) 1989-11-06 1998-08-20 富士通株式会社 画像信号符号化制御方式
GB9012538D0 (en) 1990-06-05 1990-07-25 Philips Nv Coding of video signals
JPH04297179A (ja) 1991-03-15 1992-10-21 Mitsubishi Electric Corp データ通信方式
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
EP0514663A3 (en) 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5291486A (en) 1991-08-19 1994-03-01 Sony Corporation Data multiplexing apparatus and multiplexed data demultiplexing apparatus
US5365552A (en) 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
US5566208A (en) 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5933451A (en) * 1994-04-22 1999-08-03 Thomson Consumer Electronics, Inc. Complexity determining apparatus
JP3674072B2 (ja) 1995-02-16 2005-07-20 富士ゼロックス株式会社 ファクシミリ通信方法及びファクシミリ装置
US5970173A (en) 1995-10-05 1999-10-19 Microsoft Corporation Image compression and affine transformation for image motion compensation
FI101332B1 (fi) * 1995-12-18 1998-05-29 Nokia Telecommunications Oy Epäjatkuvalähetys monikanavaisessa suurinopeuksisessa datasiirrossa
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH09261266A (ja) * 1996-03-26 1997-10-03 Matsushita Electric Ind Co Ltd サービス情報通信システム
US5952943A (en) 1996-10-11 1999-09-14 Intel Corporation Encoding image data for decode rate control
US6141053A (en) 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
CA2273940C (en) 1997-10-03 2008-12-09 Sony Corporation Encoded stream splicing device and method, and an encoded stream generating device and method
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6060997A (en) * 1997-10-27 2000-05-09 Motorola, Inc. Selective call device and method for providing a stream of information
US6775840B1 (en) 1997-12-19 2004-08-10 Cisco Technology, Inc. Method and apparatus for using a spectrum analyzer for locating ingress noise gaps
WO1999052282A1 (en) * 1998-04-02 1999-10-14 Sarnoff Corporation Bursty data transmission of compressed video data
US6629318B1 (en) * 1998-11-18 2003-09-30 Koninklijke Philips Electronics N.V. Decoder buffer for streaming video receiver and method of operation
US6233226B1 (en) * 1998-12-14 2001-05-15 Verizon Laboratories Inc. System and method for analyzing and transmitting video over a switched network
KR100584394B1 (ko) * 1998-12-30 2006-08-30 삼성전자주식회사 실시간 네트워크 감시에 의한 보코더 파라미터 제어 방법
US6671323B1 (en) 1999-02-05 2003-12-30 Sony Corporation Encoding device, encoding method, decoding device, decoding method, coding system and coding method
JP2000286865A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 連続メディアデータ送信ステム
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
JP4283950B2 (ja) * 1999-10-06 2009-06-24 パナソニック株式会社 ネットワーク管理システム
KR100636110B1 (ko) 1999-10-29 2006-10-18 삼성전자주식회사 엠펙-4 송수신용 시그널링을 지원하는 단말기
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
CN1322759C (zh) 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
WO2002009425A1 (en) 2000-07-25 2002-01-31 Agilevision, L.L.C. Splicing compressed, local video segments into fixed time slots in a network feed
US7454222B2 (en) 2000-11-22 2008-11-18 Dragonwave, Inc. Apparatus and method for controlling wireless communication signals
US7675994B2 (en) 2001-04-02 2010-03-09 Koninklijke Philips Electronics N.V. Packet identification mechanism at the transmitter and receiver for an enhanced ATSC 8-VSB system
WO2002089369A1 (en) 2001-05-02 2002-11-07 Strix Systems, Inc. Method and system for indicating link quality among neighboring wireless base stations
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US20060143678A1 (en) 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537902B2 (en) 2002-04-26 2013-09-17 Sony Corporation Encoding device and method, decoding device and method, edition device and method, recording medium, and program
US10659839B2 (en) 2002-04-26 2020-05-19 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
US8571115B2 (en) 2002-04-26 2013-10-29 Sony Corporation Encoding device and method, decoding device and method, edition device and method, recording medium, and program
JP2009207163A (ja) * 2002-04-26 2009-09-10 Sony Corp 復号装置および方法、記録媒体
US10609445B2 (en) 2002-04-26 2020-03-31 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
US10602218B2 (en) 2002-04-26 2020-03-24 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
JP2010104065A (ja) * 2002-04-26 2010-05-06 Sony Corp 符号化装置および方法、記録媒体、並びにプログラム
JP2012135029A (ja) * 2002-04-26 2012-07-12 Sony Corp 復号装置および方法、プログラム、並びに記録媒体
US10602219B2 (en) 2002-04-26 2020-03-24 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
US10602220B2 (en) 2002-04-26 2020-03-24 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
US8315313B2 (en) 2002-04-26 2012-11-20 Sony Corporation Encoding device and method, decoding device and method, edition device and method, recording medium, and program
US8401088B2 (en) 2002-04-26 2013-03-19 Sony Corporation Encoding device and method, decoding device and method, edition device and method, recording medium, and program
US8767837B2 (en) 2002-04-26 2014-07-01 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
US10477270B2 (en) 2002-04-26 2019-11-12 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
US10595081B2 (en) 2002-04-26 2020-03-17 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recording medium, and program
JP2009159644A (ja) * 2003-07-01 2009-07-16 Nokia Corp 計時されるマルチメディアコンテンツの漸進的ダウンローディング
US9497513B2 (en) 2003-11-12 2016-11-15 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
JP2007511188A (ja) * 2003-11-12 2007-04-26 ソニー エレクトロニクス インク 動的ビットレート割当符号化に用いる装置及び方法
JP2006270694A (ja) * 2005-03-25 2006-10-05 Funai Electric Co Ltd データ伝送システム
JP2009303026A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp コンテンツ送信装置、コンテンツ受信装置及びコンテンツ送信方法
JP2010028633A (ja) * 2008-07-23 2010-02-04 Nec Personal Products Co Ltd デジタル放送受信機、及びプログラム
US8831095B2 (en) 2009-03-25 2014-09-09 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US8995524B2 (en) 2009-03-25 2015-03-31 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9723304B2 (en) 2011-04-06 2017-08-01 Sony Corporation Image processing device and method
US10171817B2 (en) 2011-04-06 2019-01-01 Sony Corporation Image processing device and method
JP2012222531A (ja) * 2011-04-06 2012-11-12 Sony Corp 画像処理装置および方法
WO2012137656A1 (ja) * 2011-04-06 2012-10-11 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
CN1426235A (zh) 2003-06-25
US7593466B2 (en) 2009-09-22
JP4199973B2 (ja) 2008-12-24
EP1298938B1 (en) 2017-02-15
US7646816B2 (en) 2010-01-12
JP4489794B2 (ja) 2010-06-23
EP1753248B1 (en) 2016-03-30
ES2570190T3 (es) 2016-05-17
ES2570604T3 (es) 2016-05-19
DE20222026U1 (de) 2011-12-28
KR20070097375A (ko) 2007-10-04
EP1753248A2 (en) 2007-02-14
EP1298938A2 (en) 2003-04-02
CN1848964B (zh) 2011-11-09
EP1298938A3 (en) 2003-09-24
KR20030025186A (ko) 2003-03-28
EP1746844B1 (en) 2016-03-30
US20060198446A1 (en) 2006-09-07
ES2623635T3 (es) 2017-07-11
JP2007329953A (ja) 2007-12-20
HK1053034B (zh) 2018-01-19
TW574831B (en) 2004-02-01
KR100999311B1 (ko) 2010-12-08
CN1848964A (zh) 2006-10-18
KR100947162B1 (ko) 2010-03-12
CN100461858C (zh) 2009-02-11
EP1746844A3 (en) 2007-04-18
US20030053416A1 (en) 2003-03-20
EP1753248A3 (en) 2007-04-18
EP1746844A2 (en) 2007-01-24

Similar Documents

Publication Publication Date Title
JP2003179665A (ja) 映像又はビデオ処理のための一般化されたリファレンスデコーダ
JP5025289B2 (ja) ビデオエンコーダ及びビデオをエンコードする方法
US7760801B2 (en) Transmission of video
Ribas-Corbera et al. A generalized hypothetical reference decoder for H. 264/AVC
US20180027039A1 (en) Client Feedback Enhanced Methods and Devices for Efficient Adaptive Bitrate Streaming
US8145783B2 (en) Systems and methods for selecting buffering time for media data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050914

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080501

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080605

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080610

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080704

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080905

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081006

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4199973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term