JP2002518951A - プッシュ・データフローとともに使用するビデオ・レート・バッファ - Google Patents

プッシュ・データフローとともに使用するビデオ・レート・バッファ

Info

Publication number
JP2002518951A
JP2002518951A JP2000555444A JP2000555444A JP2002518951A JP 2002518951 A JP2002518951 A JP 2002518951A JP 2000555444 A JP2000555444 A JP 2000555444A JP 2000555444 A JP2000555444 A JP 2000555444A JP 2002518951 A JP2002518951 A JP 2002518951A
Authority
JP
Japan
Prior art keywords
buffer
decoder
vbv buffer
encoder device
vop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000555444A
Other languages
English (en)
Inventor
チェン，キェミン
アイフリング，ロバート，オー
Original Assignee
ジェネラル・インスツルメント・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェネラル・インスツルメント・コーポレイション filed Critical ジェネラル・インスツルメント・コーポレイション
Publication of JP2002518951A publication Critical patent/JP2002518951A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【解決手段】ビデオのようなデータを，プッシュ・データフロー・シナリオを使用して，デコーダ（30）において，プッシュしたデータに対するデータ・レート・バッファ（32）がオーバーフローまたはアンダーフローすることなく，ブロードキャストすることができる技術を提供する。エンコーダ（20）において，データは，出力ビット・ストリームを与えるために，デコーダ（32）への通信のために符号化される。デコーダのデータ・レート・バッファ（32）はエンコーダ（22）でシミュレートされる。シミュレーションは，デコーダのバッファ（32）のオーバーフローまたはアンダーフローを防ぐために，出力ビット・ストリームを制御するために使用される。たとえば，相補的エンコーダ（22）（デコーダのバッファ（32）とは反対の方法で動作する）がシミュレーションを与えるために，モニターされ，逆転され得る。デコードのバッファ（32）の拘束の範囲内で，データを保持するために，エンコーダにおいて生成されるデータの量を制御する種々の技術が開示される。

Description

【発明の詳細な説明】
【０００１】 発明の背景 本発明は，ビデオ・データのバッファリングに関し，とくにプッシュ・データ
フローのシナリオを使用して，見る者に提供されるビデオ・データのバッファリ
ングに関する。プッシュ・データフローという技術は，相互作用をもつことなく
（ことによると，受領者により，情報プロファイルの高等な確立を除く），ビデ
オ，テキストおよび／または図形情報のようなデータの見る者へのブロードキャ
ストをいう。
【０００２】 プッシュ・データフロー通信スキームにおいて，ビデオ・レート・バッファ・
モデルが，ビデオ・デコーダが必要とするメモリー条件を抑えるために必要とな
る。レート・バッファ・モデルでもって，ビデオ・エンコーダは，デコーダにお
いて，所定のバッファメモリサイズでコード化を解くことのできるビット・スト
リームを作るように強いることができる。
【０００３】 MPEGにより発行され，ここに参考文献として組み入れられるMPEG‐4 Visual F
inal Committee Draft（FCD）第N2202号は，現在のところ，アクセス・ユニット
の大きさに関するビデオレートモデル（たとえば，コード化された“ビデオ・オ
ブジェクト・プレーン”（VOP）のサイズ），復号化時間，および対応データを
バッファリングするための，ビデオ・データ・ストリームのバッファ・サイズの
ビット・レートを明記していない。ビデオ・バッファリング検査機構（VBV）に
おけるFCDの付属文書は，この情報のための空のプレースホルダーを議論してい
る。MPEG‐4システムFCD（N2201）（これもまたここに参考文献として組み入れ
られる）は，バッファ・モデルを定義する。しかし，適切な分野の標準的な定義
が，ビデオと矛盾しないで与えられていない。
【０００４】 ビジュアルFCDとシステムFCDとの間の関係を陽に述べた上記付属文書Dと両立
するバッファ・モデルを提供することは有益である。このようなバッファ・モデ
ルは，ビデオ・デコーダが必要とする条件を抑えるために，適切なレート・バッ
ファ管理技術を使用して，容易にかつ単刀直入に実行できなければならないが，
これによりプッシュ・データフローをうまく提供することができる。本発明は，
上記または他の利点をもつビデオレートバッファモデルおよび管理技術を提供す
る。
【０００５】 発明の要約 本発明にしたがって，プッシュデータのためのデータ・レート・バッファがデ
コーダにおいて，オーバーフローまたはアンダーフローすることなく，ビデオの
ようなデータをプッシュ・データフローのシナリオを使用して，ブロードキャス
トする方法および装置を提供する。エンコーダにおいて，データは，出力ビット
・ストリームを与えるために，デコーダへの通信のために符号化される。デコー
ダのデータ・レート・バッファはエンコーダにおいて，シミュレートされる。そ
のシミュレーションは，デコーダのバッファのオーバーフローまたはアンダーフ
ローを防止すべく，出力ビット・ストリームを制御するために使用される。たと
えば，相補的なエンコーダのバッファ（これは，デコーダのバッファとは逆の関
係で操作される）がシミュレーションを与えるために，モニターされ，反転され
得る。種々の技術が，デコーダのバッファの限界内でデータを維持するために，
エンコーダにおいて生成されるデータの量を制御するために開示される。これら
は，エンコーダにおけるシミュレーションが，デコーダのバッファが満たされ，
または満たされるようになることを示すとき，大きなVOPを発生するための量子
化レベルを減ずること，またはVOPの端部において，詰め物ビットを出力するこ
とを含む。シミュレーションが，デコーダのバッファが完全に空になった，また
は空になることを示すとき，エンコーダは，ほとんどビットを発生することなく
，量子化レベルを増加でき，または次のVOPの発生を遅延させることができ，ま
たはVOP当たり発生したビットの数を減少するために高い周波数係数をゼロにさ
せせることができる。
【０００６】 詳細な説明 MPEG‐4ビデオ・バッファリング検査機構は，プッシュ・データフローのシナ
リオにおいて必要なレート・バッファ・メモリの量が，定まったバッファ・サイ
ズよりも小さいことを立証するために，ビット・ストリームプラス配信レート関
数，R(t)をチェックするためのアルゴリズムである。ビジュアル・ビット・スト
リームが多数のビデオ・オブジェクト（VO）からなるとき（それぞれが一つ以上
のVOL（ビデオ・オブジェクト・レイヤー（Video Object Layer）をもつ），レ
ート・バッファ・モデルは，各VOL（そのVOLに特有なバッファ・サイズおよびレ
ート関数を使用して）に，独立して適用される。
【０００７】 本発明は，バッファ検査機構技術をI，PおよびB−VOPの組み合わせのようにコ
ード化されたナチュラル・ビデオに適用し，全ビジュアル・シンタックス，なら
びにスプライトおよび合成ビデオ・オブジェクトをカバーするように拡張するこ
とができる。本発明にしたがって，ビデオ・エンコーダは，ビデオ・バッファリ
ング検査機構（VBV）の条件を満たすために，その出力ビット・ストリームを制
御する。VBVは次のようの定義される。
【０００８】 1. VBVサイズは，VOLヘッダに与えられるvbv buffer sizeフィールドにより，1
6384ビットの単位で特定される。0のvbv buffer sizeが禁止される。“B”は163
84×vbv buffer sizeように定義され，バッファ・サイズ（ビット）である。こ
こに開示の例では，VBVバッファの最大のサイズは4Gビットであることに注意。v
bv buffer sizeの値は，単に，visual object sequence end codeの後に，変化
され得る。
【０００９】 2. エンコーダにおける，瞬間ビデオ・オブジェクト・レイヤー・チャネル・ビ
ットは単位秒当たりRvol(t)（ビット）により示される。VOLヘッダにbit rate
フィールドがあると，それは，Rvol(t)＝400×bit rateのようにピークレートを
定義する（毎秒400ビットの単位であり，0の値が禁止される）。Rvol(t)が今のV
OL（以下diの定義という）に対して，ビジュアル・シンタックスを計数すること
に注意。チャネルが他のVOLを含む，またはISO/IEC14496‐1により，R(t)の円コ
ーダからみた全瞬間チャネル・レートで定義されるように連続した時間多重であ
ると，
【００１０】 3. VBVバッファは最初空である。最初のVOLヘッダを見つけた後，vbv occupanc
yフィールドはVOLヘッダの直後最初のVOPを復号化する前に，64ビット単位で，V
BVバッファの最初のオキュパンシー（占有(occupancy)）を決定されるために確
かめられる。VBVバッファの最初のビットは，vbv occupancyフィールドを含むVO
Lヘッダを包含するVOP（以下の項目４で定義される）の最初のビットである。つ
づくVOLヘッダの後の，vbv occupancyフィールドと，VOLヘッダを含むVOPの除去
の直前の，ランニング累積バッファ・オキュパンシー（以下で定義するように，
bi＋di）との間の違いは，64ビットより小さい。
【００１１】 4. diをi番目のVOP（iは復号化の順番において，1ずつ増加するVOPインデック
スである）のサイズ（ビット）であると定義する。パラメータdiは図１に示され
（復号化時間（t）に関し，バッファ・オキュパンシー（b(t)＜B）を示す）。よ
り正確には，diは以下のいずれかからのビジュアル・シンタックス・ビットの数
である。 （1）前のビデオ・オブジェクト，静止テクスチャー・オブジェクト，メッシュ
・オブジェクトもしくはフェイス・オブジェクト・イクスクルーシブ（およびこ
のビットの直後のコードワードの埋め込みの排除）の最後のビットから，または
（2）visual object sequence start codeイクスクルーシブの最初のビットから
，ビデオ・オブジェクト・ヘッダ，ビデオ・オブジェクト・レイヤー・ヘッダ，
およびVOPヘッダのグループ（VOLそれ自身に先立つ）を含む，今のVOPイクスク
ルーシブ（VOLの末端での詰め込みコードワードを含む）の最後のビットへ
【００１２】 5. コード化されたVOP（di）のサイズが常に，開始コード整合のため，8ビット
の倍数であることの注意。ti（図１）を，復号化順序において，VOP iと関連し
た復号化時間とする。VOPiの全てのビット（di）はtiのときに，瞬間レート・バ
ッファから除去される。この瞬間の除去特性は，VBVバッファ・モデルをリアル
・レート・バッファから区別する。
【００１３】 6. τiはVOP iの復号時間（または非コンポジッタでコーダでの提示時間）であ
る。ビデオ・オブジェクト・プレーンに対し，τiは，vop time increment（一
秒の，vop time increment resolutionの一の単位），プラスmodule time base
により全秒の累積数により定義される。飛び越しビデオの場合，VOPが二つのフ
ィールドからのラインからなり，τiは第一のフィールドの合成時間である。合
成時間と復号時間（VOPに対し）との間の関係は次のとおりに与えられる。 ti=τi‐(((vop coding type＝BVOP)‖low delay)？0：mi) ここでlow delayは（1）VOPがB-VOPを含まないと，真である。B-VOPが存在する
と，アンカーVOPの合成は，すべての直後のB-VOPが合成されるまで遅延される。
この遅延期間はmi＝τf−τpで，ここでfはVOP iの最も近い未来のアンカーVOP
のインデックスであり，pはvop iの今の（または最も近い過去の）アンカーvop
のインデックスである。
【００１４】 以下の例は，miが連続した可変な数のB‐VOPをもつシーケンスに対しどのよう
に決定されるかを示す。
【００１５】 復号化順序：I0P1P2P3B4P5B6P7B8B9P10B11B12 提示順序：I0P1P2 B4P3 B6P5B8B9 P7B11B12 P13 この例で，vop time increment＝1で，module time base＝0とする。サブインデ
ックスiは復号順序にある。
【００１６】 7. biを，レート・バッファからVOP iの除去の直後のバッファ・オキュパンシ
ー（ビット）として定義する。パラメータbiは図１に示されている。上記定義を
使用して，biは反復して定義される。
【００１７】 b0=64×vbv occupancy‐d0 i＞0に対して
【００１８】 8. レート・バッファ・モデルは，VBVバッファが決してオーバーフローまたは
アンダーフローしないことを要求する。すなわち， 全てのiに対して 0＜biおよびbi＋di＜B 実数算術が，エラーが蓄積しないようにbiを計算するために使用される。
【００１９】 コード化されたVOPのサイズが常に，VBVバッファ・サイズよりも小さくなけれ
ばならない。すなわち， すべてのiに対して，di＜B
【００２０】 デコーダのVBVバッファからオーバーフローしない，またはアンダーフローし
ないビット・ストリームを生成することは，エンコーダにおける条件である。こ
のことは，エンコーダがデコーダによりみた瞬間チャネル・ビット・レート，Rv ol, decoder(t)を知っていなければならないことを意味する。チャネルが，特定
のビットがそのチャネルに入る時間tでのエンコーダのビット・レート，Rvol, e ncoder (t)がRvol, decoder(t＋L)に等しいとき（ここでビットは（t＋L）で受信
され，Lは定数），一定の遅延をもつ。一定の遅延のチャネルの場合，エンコー
ダは，オーバーフローまたはアンダーフローを防止すべく，VBVオキュパンシー
をシミュレートし，VOP当たりのビット，diの数を制御するために，その局所的
に見積もられたRvol, encoder(t)を使用することができる。
【００２１】 VBVモデルは，一定の遅延チャネルを仮定する。このことにより，エンコーダ
は，Rvol, encoder(t)を使用して，バッファからオーバーフローまたはアンダー
フローしないVOLビット・ストリームを生成することができる（Rvol(t)が，上記
2.のRvol, encoder(t)として定義されることに注意）。
【００２２】 図２は，エンコーダおよびデコーダを単純化したブロック図で示す。符号化さ
れるデータがエンコーダのプロセッサ20（エンコーダ・データ・レート・バッフ
ァ22に結合されている）に入力される。バッファ22はデコーダ30のデータ・レー
ト・バッファ32に対し相補するように作動する。データ・レート・バッファ22を
モニターすることにより，エンコーダのプロセッサ20はデコーダのデータ・レー
ト・バッファ32をシミュレートすることができる。
【００２３】 エンコーダのプロセッサは出力ビット・レートを送信機24（ビット・ストリー
ムを通信チャネル26にわたって，受信機28に送信する）に与える。受信機は，受
信したビット・ストリームをデコーダ30に在来の方法で与える。デコーダ30はビ
ット・ストリームを復号化し，所望の出力データを与える。
【００２４】 一定でない遅延のネットワーク環境で，リアルタイム・ビデオをどのように扱
うかを以下で記述する。この手順は単に仮想モデルである。それはMPEG‐4のビ
ット・ストリームを一定でない遅延チャネルにどのようにインターフェイスする
かについての条件や推薦ではない。チャネルが 1. ネットワーク・インターフェイスおよび中間ノードにおける，知られていな
い，可変のパケット・バイ・パケット待合遅延が存在し， 2. 情報は，時間スタンプ・パケットで送付され， 3. パケットの最小と最大のチャネル待ち時間の間の違いに境界がある（たとえ
ば，サービス交渉の質により決定されるように） ように，一定の遅延を有さないと， 一定の遅延チャネルが，デコーダの前で，デジッタリング（de-jittering）・バ
ッファを使用して，近似化され得る。デジッタリングバッファは，パケットがデ
コーダに開放される前に，最大のチャネル待ち時間が経過するまで（保持期間は
パケット時間スタンプに基づく），各可変の待ち時間パケットを保持する。その
結果チャネルは，最大のチャネル待ち時間に等しい一定の遅延をもつ。
【００２５】 シンタックス修正 本発明は，vbv occupancyフィールド（26ビット）をVOLヘッダに付加すること
によりMPEG‐4標準のシンタックスを修正する。この整数値はVOLヘッダに続く第
一のVOPの除去の直前の，64ビット単位のVBVオキュパンシーである。その量に対
する目的は，VBVバッファが一杯になるための最初の条件を与えることである。
【００２６】 MPEG‐4システム（ISO/IEC14496‐1）とMPEG‐4ビジュアル（ISO/IEC14496‐2
）の間の情報の重複を防止するために，そしてスタンドアロン・エンティティの
ようなビジュアル・エレメンタリ・ストリームがバッファメモリを特定すること
ができるように，vbv parametersフラッグが，VOP rate code，bit rate，low d
elay vbv size，およびvbv occupancyへの包含を制御するために付加される。vb
v parametersの値は，同等な情報がカプセル封じシステム・マルチプレックスに
存在しないときに，プッシュ・データフロー・ビジュアル・ビット・ストリーム
に対し“1”であるべきものである。vol control parametersビットは，VOLヘッ
ダの，chroma format，およびaspect ratio informationフィールドの包含を制
御するために，シンタックス内に維持される。
【００２７】 FCD VOLシンタックスは，bit rateおよびvbv sizeが存在するとき（23または
それ以上の連続した0ビットのランが生じることができることから）潜在的な開
始コードエミュレーション問題を含む。マーカービット（常に“1”の値をもつ
）がこの問題を回避するために付加された。マーカービットにより分割されたフ
ィールドは以下のように定義される。 bit rate ＝（bit rate msbs≪12）｜bit rate lsbs） vbv size ＝（vbv size msbs≪10）｜vbv size lsbs） vbv occupancy＝（vbv occupancy msbs≪15）｜vbv occupancy lsbs）
【００２８】 結果としてのシンタックスは表１に示されている。
【表１】
【００２９】 表１の注 1. aspect ratio informationおよびVOP rate codeの符号化は，MPEG‐4 Vis
ual FCDで定義されていない。
【００３０】 2. プッシュ・データ・フローモデルをもつ符号化されたビット・ストリーム
を使用するために，vbv parametersが“1”にセットされなければならないか，
または以下の項目4において定義されるように同等の情報がシステム・レイヤー
に含まれなければならないかが規範条件である。
【００３１】 3. VOP rate codeが与えられるとVOP time incrementおよび累積modulo time
baseにより特定される合成時間の間の違いは，VOP rate codeに関連したフレー
ム期間の正確な整数倍でなければならない。この場合，VOP time increment res
olutionの幅は，59.94Hz（すなわち6000/1001Hz）を正確に表示するために，一
ビットだけ増加されなければならない。
【００３２】 MPEG‐4システムとの関係 以下の開示は，MPEG‐4システム（ISO/IEC14496-1）エレメンタリー・ストリ
ーム・インターフェイスとシステム・デコーダ・モデル（またはエンコーダ）が
ビデオ・バッファ検査機構と矛盾しないビジュアル・デコーダとの用語，セマン
テックス，およびシンタックスの間の関連を定義する。この場合，ビジュアルVB
VバッファおよびSDM復号化バッファ（DBr）は同一のセマンテックスをもつ。こ
れらバッファは一つであり，集積されてビジュアル・オブジェクト・シーケンス
/システム・デコーダ・モデルにおいて同じである。
【００３３】 1. ナチュラル・ビデオ・アクセス単位は，コード化されたVOPである。サイ
ズ（di）およびコード化されたVOPの正確な合成は，図１に示されているように
，上記のように定義される。
【００３４】 2. オブジェクトクロック基準（OCR），デコーディング・タイム・スタンプ
（DTS）および合成タイム・スタンプ（CTS）を決定するために使用されたオブジ
ェクト・タイム・ベース（OTB）はVOP time incrementおよびmodulo time base
を決定するために使用された，同じタイムベースである。同期レイヤーtimeStam
pResolutionおよびOCRResolutionは，一時的な精密さが失われず，すべての一時
的な計算が整数算術において正確であるように，VOP time incrementの整数倍で
ある。
【００３５】 3. 合成タイム・スタンプはτiプラス定数（K）に等しい。すなわち， ここで，niは最初のVOLヘッダ以来のmodulo time base値の累算である。
【００３６】 4. CTCからのデコーディング（復号化）・タイム・スタンプはtiがτiから計
算されるのと同じようにして，決定される。すなわち， DTSi=(((vop coding type==BVOP)‖low delay)?0:mi) この式は，復号化が瞬時であること，およびDTDとCTSとの間の単なる違いがアン
カーVOPの最順序化を反映していることを明示している。low delayが0であると
き（上記の条件式が真であるとき），DTSが単にVOP上にあることの注意。
【００３７】 5. そのときのエンコーダの局所オブジェクト・タイム・ベースの値とDTSiと
の間の関係はここで定義される。VOPヘッダに含まれるアクセス・ユニットの最
初のビットがタイム（時間）OCRiでVBV（またはSDM DB）に記憶され，vbv occup
ancyが同じVOLヘッダで特定されるとすると，以下となる。 vbv occupancyの計算が正確に最も近い整数であるということが，OCRResoluti
onおよびtimeStampResolutionにおける暗黙の条件である。
【００３８】 6. System Layer (SR) RandomAccessPointFlag（“1”にセットされると）は
，このSLパケットのアクセス・ユニット開始にVOLヘッダが存在することを示す
。
【００３９】 7. bufferSizeDBに対するDecoderConfigDescriptor値は2048×vbv buffer si
zeである。MaxBitrateフィールドは400×bit rateでなければならない。
【００４０】 vbv informationビットにより制御されるVOLヘッダ情報と，MPEG‐4システム
・レイヤーにおいて明記されるいろいろなシンタックス・エンティティとの間の
対応は以下で与えられる。情報の複製がMPEG‐4標準の二つの部分により，とら
れる場合において，いなかる不一致も許されない。
【００４１】 1. VOP rate codeはSync Layer CompositionUnitDurationおよびtimeScaleに
より表せられる。この場合，timeScaleはVOP time increment resolutionの整数
倍でなければならない。
【００４２】 2. bit rateおよびvbv sizeは，DecoderConfigDescriptorのmaxBitrateおよ
びbufferSizeDBにより示されている。
【００４３】 3. vbv occupancyは上記定義したように，OCRとDTSとの間の違いにより直接
示される。
【００４４】 4. low delay=0は最初のI-VOPのDTSにより暗黙に特定される。DTSが存在する
と（PTSに等しくないと），low-delay=0，さもなければlow-delay=1である。
【００４５】 MPEG‐4VBVとMPEG‐2VBVとの間の比較 MPEG‐2およびMPEG‐4VBVモデルは共に，オーバーフローまたはアンダーフロ
ーをせず，コード化した画像（VOP）が瞬時にバッファから除去されることを明
確にする。両モデルにおいて，コード化された画像/VOPが画像/VOPの直前にすべ
ての高レベルのシンタックスを含むように定義される。
【００４６】 MPEG‐2は一定のフレーム間隔をもつ（ビット・ストリームはフレームおよび
フィールド画像を含むことができ，フレーム画像がrepeat first fieldフラッグ
を介して明示の3：3プルダウンを使用することができる。MPEG‐4において，こ
のフレーム・レートはコンポジッタの出力である（MPEG‐4の用語では，MPEG‐2
により標準的に定義されないディスプレー・プロセスの出力となる）。MPEG‐2
のpicture structureおよびrepeat first field flagと一緒のこの出力のフレー
ム・レートは，復号化プロセスおよびディスプレー・プロセスの間をとおった連
続した，復号化した画像（フレームかフィールドのいずれか）の間の時間間隔を
定義する。
【００４７】 一般に，MPEG‐2ビット・ストリームはB画像を含む（MPEG-2のlow delay=0がl
ow delay=1であった場合の次のセッションを示すとしている）。このことは，画
像のコード化の順序およびディスプレーの順序が異なっていることを（B画像に
より使用される両基準画像はコード化順序でB画像に先んじなければならないこ
とから）意味する。MPEG-2VBV（およびMPEG‐2システムT-STD）は，B画像が復号
化され，同じ時間に（瞬時に）表され，アンカー画像がこのことを可能にするた
めに，再度順序つけられることを明示する。これは，合成時間t1の定義において
，上記した同じ再度の順序つけモデルである。
【００４８】 提案されたMPEG‐4VBVバッファ・モデルを使用する仮想MPEG‐4デコーダは，v
op time incrementおよび累積的なmodulo time incrementにより与えられたMPEG
‐4VOP時間スタンプが，連続するMPEG‐2の画像表示時間と一致するならば，MPE
G‐2VBVバッファ・モデルを使用して仮想MPEG‐2デコーダを正確にエミュレート
する。ここでは，両コード化された画像/VOPが両標準の共通のサブセット（フレ
ーム再構成画像およびデコーダに3：2のプルダウンがないこと，すなわち，repe
at first field=0）を使用すると仮定する。たとえば，MPEG‐2シーケンスが29.
97Hz（NTSC画像レート）でコード化されると，vop time increment resolution
は3000でなければならず，表示順序の連続したVOPの間のvop time incrementの
変化は，1001でなければならない。その理由は，画像スキッピングがMPEG‐2に
おいて（low delay=0のとき），許されていないからである。
【００４９】 H.263のようなバッファ・モデル： H.263において，復号化と表示の間に合成ユニットの最順序化も，B-VOPもない
。
【００５０】 H.263の仮想基準デコーダ（Hypothetical Reference Decoder）（HRD）は，MP
EG‐4VBVと同等であり得る。H.263のようなバッファ・モデルにおいて，VBVバッ
ファ・サイズvbv buffer sizeはvbv buffer size＝A＋BPPmaxKb×1024ビットに
より計算され，ここで（BPPmaxKb×1024）はビット・ストリームにおいて使用の
ために協議された，画像当たりのビットの最大数で， A=4×Rmax/Pで， ここで，Rmaxは結合の間の最大のビデオビットレート（単位時間のビット）で，
画像周波数，Pは共通中間フォーマット（Common Intermediate Format）（CIF）
（vop time increment resolution=30,000およびΔvop time increment=
1001）に対し特定されているように，29.97Hzである。
【００５１】 VBVは最初からである。VBVはCIF間隔で確かめられる。少なくとも一つの完全
な，コード化されたVOPがバッファにあると，ビット・ストリーム（または復号
化）順序の最も早いVOPに対する全てのデータは瞬時に除去される。上記データ
の除去の直後，バッファのオキュパンシーはAより小さくなければならない。こ
の場合，（i＋1）番目の，コード化された画像di+1に対するビットの数は以下を
満足しなければならない。
【００５２】 実数算術はこの不等式において使用できる。 ここで，biはi番目の，コード化された画像がバッファから除去された直後のバ
ッファのオキュパンシーであり， tiは，n番目の，コード化された画像がVBVバッファから除去された時間であり，
R(t)は時間tでのビデオ・ビット・レートである。
【００５３】 MPEG‐4VBVモデルとH.263モデルの間の重要な区別は，エンコーダがビット・
ストリームの各VOPに対して合成時間tiを特定することである（エンコーダはR(t
)およびA（ここでも，デコーダからみた瞬間ビット・レート）を知らなければな
らないことを意味する）。また，この仮定は，一定の遅延チャネルが仮定される
と妥当である。
【００５４】 low delay=1のとき，MPEG‐2VBVはHRDに対しいくつかの近似性をもつ。まず，
復号化および表示順序が同じであるので，B画像は使用されない。第二に，バッ
ファを確かめるために使用される特定された画像間隔（かならずしも29.97Hzで
ある必要なない）がある。復号化される次の画像が次の画像間隔で（このような
画像は“ビッグ画像”といわれている），全体的に受信されなかったら，バッフ
ァは，コード化された画像が完全にバッファにあるまで，種々の画像期間で再度
確かめられる。ビッグ画像はつぎに，瞬時に復号化され，表示される。前のイメ
ージが画像間隔の間，デコーダの出力に残るが，ビッグ画像は完全に受信されな
い。エンコーダはオーバーフローおよびアンダーフローの防止のために依然とし
て応答可能で，ビッグ画像のMPEG‐2のtemporal referenceフィールドとその前
のものとの間の違いは，ビッグ画像の前の（フレーム間隔において）画像の表示
の期間である。
【００５５】 完全なビジュアル・シンタックスへの拡張 完全なビジュアル・シンタックスをカバーすることは，スプライト，スティル
・テクスチャー・オブジェクト，メッシュ・オブジェクトおよびフェイス・オブ
ジェクトに対し拡張を要求する。この場合VBVはビジュアル・オブジェクト・シ
ーケンス検査機構（visual buffer verifier）を表す。
【００５６】 スプライト（Sprites） 基本スプライト，ロー待ちスプライト，およびスケラブル・スプライトはMPEG
‐4で明記されている。スプライトのビット・ストリーム発生をともなう構想問
題がない。しかし，おおきなvbv sizeが，デコーダのより大きなスプライトメモ
リーの利点をもつために，適用されよう。
【００５７】 スティル・テクスチャー・オブジェクト（Still texture Objects） スティル・テクスチャー・オブジェクトは一つのアクセス・ユニットであるが
，直接に合成され得ない。スティル・テクスチャー・オブジェクトは後述するデ
コーダ（たとえば，メッシュ・デコーダ）への入力として使用される。スティル
・テクスチャー・オブジェクトはプッシュ・データフロー・シナリオの，このビ
ジュアル・オブジェクトを制御するために，バッファ・パラメータまたはタイム
・スタンプをもたない。表２のシンタックスは，StillTextureObjectに付加され
なければならないだろう。
【００５８】
【表２】 time stamp fractionのビットの数は，ゼロであってはならないtime stamp fr
action bitsにより特定される。
【００５９】 メッシュおよびフェイス・オブジェクト（Mesh and Face Objects） メッシュ・ビジュアル・オブジェクト・アクセス・ユニットはメッシュ・オブ
ジェクト・プレーンである。フェイス・ビジュアル・オブジェクト・アクセス・
ユニットはフェイス・オブジェクト・プレーンである。再度順序付けが要求され
ないことから，ti=τi
【００６０】 両オブジェクトは，一時的情報，temporal header（）の共通の使用を分け合
う。メッシュ/フェイス・オブジェクトは内部コード化されると，temporal head
er（）は任意に，フレーム・レートおよびメッシュ/フェイス・オブジェクト・
プレーンの合成時間を特定する時間スタンプ（IEC461タイムコードは時間，分，
秒，およびフレームを特定する）を特定することができる。タイムコード（00：
00：00：00）の起点はDTSおよびCTSに対し，MPEG‐4システム（ISO14496‐1）に
使用される一時的な起点と一致しなければならない。オブジェクト・プレーンの
間の時間は，フレーム期間の，1＋Σnumber of frames to skip倍である。これ
により，絶対CTSは前の内部メッシュ/フェイス・オブジェクトのCTSから再構成
され得る。
【００６１】 メッシュ/フェイス・オブジェクトに対するビジュアル・ビット・ストリーム
にバッファ・モデルを適用するために，vbv parameter（slow delay VOP rate c
odeを除く）により制御される以下のVBVパラメータが，表３に示されているよう
に，MeshObjectおよびFaceObjectに付加される必要がある：
【００６２】
【表３】
【００６３】 レート‐バッファ・マネージメント デコーダVBVバッファのオーバーフローまたはアンダーフローを防止すること
はエンコーダの責任であるので，エンコーダはデコーダのVBVバッファをシミュ
レートしなければならない。シミュレートされたデコーダのVBVバッファは充填
されても充填されすぎず，または空であっても空でありすぎることもない。
【００６４】 デコーダVBVのアンダーフローを防止するために，コード化されたVOPのすべて
のデータは，デコーダに，その復号化時間前に完全に送信されなければならない
。i番目のVOPの符号化が時間ti eで開始し，その復号化時間がtiとする。i番目の
VOPがコード化された後，送信されたデータ量は，ti eでのエンコーダのバッファ
の充填度（ebi eにより示される），プラスこのVOP（di）のコード化されたサイ
ズにより与えられる。これは次のチャネルからの受信したデータより小さいかま
たは等しいかでなければならない。
【００６５】 ここで，復号化時間ti=ti e＋L。一定の遅延チャネルに対して，それはRvol, dec oder (t)=Rvol, encoder (t‐L)をもつ。 かくして，
【００６６】 したがって，ti eでのエンコーダのバッファの充填度の上方の境界は以下のとお
りである。 既知の最小伝送Rvol, min'をもつチャネルのタイプに対して， T2＝L・Rvol, min‐di のとき，T2は以下の下方境界であるようにセットされ得る。
【００６７】 デコーダのバッファのオーバーフローを防止するために，VOP iの除去の直前
の時間tiでデコーダのバッファ・サイズBに下ってはならない。この量は，ti e（
bi e）でのデコーダのバッファ充填度，プラス ti eと との間で，デコーダVBVバッファに入るビットの数，マイナスti eとtiとの間のデ
コーダのバッファから除去さたビットの数に関して表すことができる。除去され
たビットの数は，VOP i （ebi e）を付加する直前のti eでのエンコーダのバッフ
ァのオキュパンシーとti e（ebi e）でのデコーダのバッファのオキュパンシーの
合計である。VOP iの前のすべてのビット・ストリーム・データがVOP iが復号化
される前に消費されなければならなからである。VOP iがエンコーダのバッファ
に付加されないことから，後者の二つの量はVOP iの前のビット・ストリームを
表す。したがって，デコーダのバッファ内の全ビットは以下により拘束される。
【００６８】 どちらかが以下を生ずる。
【００６９】 したがって，ti eでのencoder buffer fullnessの下限は以下により拘束される
。
【００７０】 一定の遅延チャネルに関する上記と同じ議論がここでも適用することができる
。また，既知の最大伝送Rvol, max'をもつチャネルのタイプに対して， T1＝L・Rvol, max‐B のとき，T1は以下の下方境界であるようにセットされ得る。
【００７１】 境界T1およびT2はレート制御アルゴリズムでチェックされ，補正操作は，VOP
のビット割り振り（bit-allocation）を実行すること，およびコード化ユニット
（たとえば，VOP，マクロブロック）の量子化レベルを調節することである。
【００７２】 エンコーダは，シミュレートされたデコーダのVBVバッファが完全に充満し，
または全く空であるならば，以下の補正操作をとらなければならない： 1. シミュレートされたデコーダのVBVバッファが完全に充満しているならば
（すなわち，エンコーダVBVバッファが全く空であるならば），エンコーダは以
下により問題を訂正することができる。
【００７３】 （a）大きなVOPを発生するために，量子化レベルを減少するか，または （b）VOPの端部で詰め物ビットを出力すること。大きなVOPを発生することは
でコーダのVBVのオキュパンシーを減少させることに注意。
【００７４】 2. シミュレートされたデコーダのVBVバッファが全く空となっているならば
（すなわち，エンコーダVBVバッファが完全に充満しているならば），エンコー
ダは以下により問題を訂正することができる。
【００７５】 （a）より僅かなビットを発生するために，量子化レベルを増加するか，また
は （b）次のVOP（時にスキッピングVOPといわれる）の発生を遅延するか，また
は （c）発生したビット/VOPの数を減少するために，高周波数係数をゼロにする
ことである。
【００７６】 プッシュ・データ・シナリオでの，ビデオ・デコーダのメモリー条件を拘束す
るために，本発明はビデオ・レート・バッファ・モデルを与えることが分かるで
あろう。本発明のビデオ・バッファ・モデルは，所期のバッファメモリサイズで
コード化を解くことができるビット・ストリームを生成するためにビデオ・エン
コーダを拘束する。したがって，プッシュ・データフローの応用例も効率的に順
応できる。
【図面の簡単な説明】
【図１】 図１は，復号化時間（t）に関して，バッファのオキュパンシー（b（t）＜B）
をプロットするグラフである。
【図２】 図２は，本発明にしたがったエンコーダおよびデコーダ装置を図示するブロッ
ク図である。
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１２年９月２２日（２０００．９．２２）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【請求２７】請求項２６に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
ーションが，デコーダのVBVバッファが完全に空になった，または空になること
を示したとき， 前記符号化ユニットに対する量子化レベルを増加すること， を含む，ところの方法。
【請求２８】請求項２６に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
ーションが，デコーダのVBVバッファが完全に空になった，または空になること
を示したとき， 次のVOPの発生を遅延すること， を含む，ところの方法。
【請求項４１】請求項１に記載の方法であって，さらに 出力ビット・ストリームを与える前に，符号化されたデータをエンコーダのバ
ッファに受信することを含み， プロセッサは，i番目のビデオ・オブジェクト・プレーン（VOP）の符号化の後
，エンコーダのバッファの充填度ebi eの上限が により拘束されように，出力ビット・ストリームのレートを制御することであり
， ここで，ti eはi番目のVOPを符号化するために開始時間で，Lは符号化開示時間ti e とi番目のVOPを復号化時間との間の時間差で，Bはデコーダのバッファのサイズ
であり，Rvol, encoder(t)はエンコーダからみた瞬間チャネル・ビット・レート
である，ところの方法。
【手続補正書】
【提出日】平成１２年１２月２７日（２０００．１２．２７）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，Ｚ Ｗ (71)出願人 101 Ｔｏｕｒｎａｍｅｎｔ Ｄｒｉｖｅ Ｈｏｒｓｈａｍ，Ｐｅｎｎｓｙｌｖａｎ ｉａ，Ｔｈｅ Ｕｎｉｔｅｄ Ｓｔａｔｅ ｓ ｏｆ Ａｍｅｒｉｃａ Ｆターム(参考） 5C059 KK35 MA00 MA05 MB00 MC11 PP05 PP06 PP07 TA45 TA60 TC15 UA02 UA34

Claims (33)

    【特許請求の範囲】
  1. 【請求項１】デコーダにおいて，プッシュしたデータに対して予め定められ
    たメモリー・サイズのデータ・レート・バッファがオーバーフローまたはアンダ
    ーフローすることなく，プッシュ・データフローを可能にするエンコーダ装置で
    あって， デコーダへの通信のためにデータを符号化するようにしたプロセッサを含み， 前記プロセッサは出力ビット・ストリームを与え， 前記プロセッサは，デコーダの前記データ・レート・バッファをシミュレート
    し，デコーダのバッファのオーバーフローまたはアンダーフローを防ぐためにそ
    のシミュレーションに応答して前記出力ビット・ストリームを制御する，ところ
    のエンコーダ装置。
  2. 【請求項２】請求項１に記載のエンコーダ装置であって， 前記プッシュしたデータは，イントラフレーム（I），予想（P）および両方向
    （B）ビデオ・オブジェクト・プレーン（VOP）を含むビデオ・データからなる，
    ところのエンコーダ装置。
  3. 【請求項３】請求項２に記載のエンコーダ装置であって， 前記プロセッサは， 異なるVOPの間のビットを割り振ること，および前記VOPを形成する符号化ユニ
    ットの量子化レベルを調節することの内の少なくとも一つにより， 前記出力ビット・ストリームを制御する，ところのエンコーダ装置。
  4. 【請求項４】請求項３に記載のエンコーダ装置であって， デコーダ・データ・レート・バッファは，ビデオ・バッファリング検査機構（
    VBV）バッファを含む，ところのエンコーダ装置。
  5. 【請求項５】請求項４に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，前記符号化ユニットに対する量子化レベルが減少する
    ，ところのエンコーダ装置。
  6. 【請求項６】請求項５に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に充填した，または充填
    することを示したとき，前記符号化ユニットに対する量子化レベルが増加する，
    ところのエンコーダ装置。
  7. 【請求項７】請求項５に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，次のVOPの発生が遅延される，ところのエンコーダ装
    置。
  8. 【請求項８】請求項５に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，前記符号化ユニットの高周波数係数が，VOP当たり発
    生したビットの数を減少するために，ゼロとなる，ところのエンコーダ装置。
  9. 【請求項９】請求項４に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，デ
    コーダのVBVバッファが完全に充填した，または充填することが決定されたとき
    ，詰め物ビットが，少なくとも一つのVOPの端部に付加される，ところのエンコ
    ーダ装置。
  10. 【請求項１０】請求項９に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，前記符号化ユニットに対する前記量子化レベルは増加
    する，ところのエンコーダ装置。
  11. 【請求項１１】請求項９に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，次のVOPの発生が遅延される，ところのエンコーダ装
    置。
  12. 【請求項１２】請求項９に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，前記符号化ユニットの高周波数係数が，VOP当たり発
    生したビットの数を減少するために，ゼロとなる，ところのエンコーダ装置。
  13. 【請求項１３】請求項４に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，前記符号化ユニットに対する前記量子化レベルは増加
    する，ところのエンコーダ装置。
  14. 【請求項１４】請求項４に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，次のVOPの発生が遅延される，ところのエンコーダ装
    置。
  15. 【請求項１５】請求項４に記載のエンコーダ装置であって， 前記プロセッサはシミュレートしたデコーダのVBVバッファをモニターし，そ
    のシミュレーションが，デコーダのVBVバッファが完全に空になった，または空
    になることを示したとき，前記符号化ユニットの高周波数係数が，VOP当たり発
    生したビットの数を減少するために，ゼロとなる，ところのエンコーダ装置。
  16. 【請求項１６】請求項１に記載のエンコーダ装置であって， 前記プロセッサは，デコーダのバッファのものに対し相補的に作動する前記エ
    ンコーダのデータ・レート・バッファをモニターすることにより，デコーダのデ
    ータ・レート・バッファをシミュレートする，ところのエンコーダ装置。
  17. 【請求項１７】請求項１６に記載のエンコーダ装置でたって， 前記エンコーダおよびデコーダのデータ・レート・バッファは，ビデオ・バッ
    ファリング検査機構（VBV）バッファを含む，ところのエンコーダ装置。
  18. 【請求項１８】デコーダにおいて，プッシュしたデータに対して予め定めら
    れたメモリー・サイズのデータ・レート・バッファがオーバーフローまたはアン
    ダーフローすることなく，プッシュ・データフローを可能にする方法であって， デコーダへの通信のためにデータを符号化する工程であって，出力ビット・ス
    トリームを出力する，ところの符号化工程と， デコーダの前記データ・レート・バッファをシミュレートする工程と， デコーダ・バッファのオーバーフローまたはアンダープローを防ぐために，前
    記シミュレート工程に応答して前記出力ビット・ストリームを制御する工程と，
    を含む，方法。
  19. 【請求項１９】請求項１８に記載の方法であって， 前記プッシュしたデータは，イントラフレーム（I），予想（P）および両方向
    （B）ビデオ・オブジェクト・プレーン（VOP）を含むビデオ・データからなる，
    ところの方法。
  20. 【請求項２０】請求項１９に記載の方法であって， 前記出力ビット・ストリームは， 異なるVOPの間のビットを割り振ること，および前記VOPを形成する符号化ユニ
    ットの量子化レベルを調節することの内の少なくとも一つにより， 制御される，ところの方法。
  21. 【請求項２１】請求項２０に記載の方法であって， デコーダ・データ・レート・バッファは，ビデオ・バッファリング検査機構（
    VBV）バッファを含む，ところの方法。
  22. 【請求項２２】請求項２０に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に充填した，または充填することを
    示したとき， 前記符号化ユニットに対する量子化レベルを減少すること， を含む，ところの方法。
  23. 【請求項２３】請求項２２に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 前記符号化ユニットに対する量子化レベルを増加すること， を含む，ところの方法。
  24. 【請求項２４】請求項２２に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 次のVOPの発生を遅延すること， を含む，ところの方法。
  25. 【請求項２５】請求項２２に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 前記符号化ユニットの高周波数係数をVOP当たり発生したビットの数を減少す
    るために，ゼロにすること， を含む，ところの方法。
  26. 【請求項２６】請求項２１に方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，デコーダのVBV
    バッファが完全に充填した，または充填することが決定されたとき， 詰め物ビットを少なくとも一つのVOPの端部に付加すること， を含む，ところの方法。
  27. 【請求項２７】請求項２６に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 前記符号化ユニットに対する前記量子化レベルを増加すること， を含む，ところの方法。
  28. 【請求項２８】請求項２６に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 次のVOPの発生を遅延すること， を含む，ところの方法。
  29. 【請求項２９】請求項２６に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 前記符号化ユニットの高周波数係数を，VOP当たり発生したビットの数を減少
    するために，ゼロにすること， を含む，ところ方法。
  30. 【請求項３０】請求項２１に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 前記符号化ユニットに対する前記量子化レベルを増加すること， を含む，ところの方法。
  31. 【請求項３１】請求項２１に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 次のVOPの発生を遅延すること， を含む，ところの方法。
  32. 【請求項３２】請求項２１に記載の方法であって，さらに シミュレートしたデコーダのVBVバッファをモニターすること，そのシミュレ
    ーションが，デコーダのVBVバッファが完全に空になった，または空になること
    を示したとき， 前記符号化ユニットの高周波数係数を，VOP当たり発生したビットの数を減少
    するために，ゼロにすること， を含む，ところの方法。
  33. 【請求項３３】請求項１８に記載の方法であって， 前記シミュレート工程は，デコーダのバッファのものに対し相補的に作動する
    前記エンコーダのデータ・レート・バッファをモニターすることにより，デコー
    ダのデータ・レート・バッファをシミュレートすることである，ところの方法。
JP2000555444A 1998-06-19 1999-05-28 プッシュ・データフローとともに使用するビデオ・レート・バッファ Pending JP2002518951A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US9002398P 1998-06-19 1998-06-19
US60/090,023 1998-06-19
US09/219,913 1998-12-23
US09/219,913 US6289129B1 (en) 1998-06-19 1998-12-23 Video rate buffer for use with push dataflow
PCT/US1999/011928 WO1999066734A1 (en) 1998-06-19 1999-05-28 Video encoder and encoding method with buffer control

Publications (1)

Publication Number Publication Date
JP2002518951A true JP2002518951A (ja) 2002-06-25

Family

ID=26781410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000555444A Pending JP2002518951A (ja) 1998-06-19 1999-05-28 プッシュ・データフローとともに使用するビデオ・レート・バッファ

Country Status (13)

Country Link
US (1) US6289129B1 (ja)
EP (1) EP1088454A1 (ja)
JP (1) JP2002518951A (ja)
KR (1) KR20010053002A (ja)
CN (1) CN1315116A (ja)
AU (1) AU756355B2 (ja)
BR (1) BRPI9911289B1 (ja)
CA (1) CA2334785A1 (ja)
IL (1) IL140208A0 (ja)
NO (1) NO20006469L (ja)
NZ (1) NZ509326A (ja)
RU (1) RU2216122C2 (ja)
WO (1) WO1999066734A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011757A1 (ja) * 2013-07-22 2015-01-29 富士通株式会社 情報処理装置、方法、及びプログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483543B1 (en) * 1998-07-27 2002-11-19 Cisco Technology, Inc. System and method for transcoding multiple channels of compressed video streams using a self-contained data unit
US6670996B2 (en) * 1998-08-20 2003-12-30 Intel Corporation Apparatus and method for display of progressive and interland video content
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
EP1146745B1 (en) * 2000-03-08 2019-09-04 Mitsubishi Denki Kabushiki Kaisha Coding device and coding method
JP2002165148A (ja) * 2000-11-29 2002-06-07 Sony Corp データ処理装置および方法、並びに記録媒体
US6694060B2 (en) * 2000-12-21 2004-02-17 General Instrument Corporation Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals
US6922441B2 (en) * 2001-05-11 2005-07-26 International Business Machines Corporation Method for performing integer divides without propagation of truncation error
US20030112366A1 (en) * 2001-11-21 2003-06-19 General Instrument Corporation Apparatus and methods for improving video quality delivered to a display device
EP2403263A3 (en) * 2002-04-26 2012-01-25 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recoding medium, and program
JP3714302B2 (ja) * 2002-07-08 2005-11-09 ソニー株式会社 画像データ処理装置及び方法
CN105306067B (zh) * 2002-09-20 2018-09-11 株式会社Ntt都科摩 算术编码的方法和设备
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US7194035B2 (en) 2003-01-08 2007-03-20 Apple Computer, Inc. Method and apparatus for improved coding mode selection
AU2004214313B2 (en) * 2003-02-18 2010-05-20 Nokia Technologies Oy Picture coding method
JP2006518127A (ja) 2003-02-18 2006-08-03 ノキア コーポレイション ピクチャ復号化方法
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) * 2004-02-18 2007-11-13 Nokia Corporation Data repair
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
KR100997298B1 (ko) * 2004-06-27 2010-11-29 애플 인크. 멀티-패스 비디오 인코딩 방법
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
US9124907B2 (en) * 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
US9679602B2 (en) 2006-06-14 2017-06-13 Seagate Technology Llc Disc drive circuitry swap
US7715316B2 (en) * 2007-05-11 2010-05-11 Verizon Services Organization Inc. Method and apparatus for improving performance in a network using a virtual queue and a switched poisson process traffic model
US9305590B2 (en) 2007-10-16 2016-04-05 Seagate Technology Llc Prevent data storage device circuitry swap
KR100951008B1 (ko) * 2007-12-17 2010-04-02 한국전자통신연구원 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템
US8045836B2 (en) * 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US8384739B2 (en) * 2008-09-30 2013-02-26 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for optimization of pixel-processing algorithms
CN102630006B (zh) * 2012-03-20 2017-03-08 中广传播集团有限公司 一种传输视频流的装置和方法
CN102970579B (zh) * 2012-11-28 2015-06-17 四川长虹电器股份有限公司 一种视频缓冲区监控的方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122875A (en) * 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
US5231384A (en) * 1991-08-26 1993-07-27 General Electric Company Apparatus for splitting video signal between two channels
US5144425A (en) * 1991-08-26 1992-09-01 General Electric Company Apparatus for hierarchically dividing video signals
US5805762A (en) * 1993-01-13 1998-09-08 Hitachi America, Ltd. Video recording device compatible transmitter
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
JP3172635B2 (ja) * 1994-07-14 2001-06-04 シャープ株式会社 ディジタル記録再生装置
US5623311A (en) * 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
GB9424437D0 (en) 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Encoder system level buffer management
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel
US5862140A (en) * 1995-11-21 1999-01-19 Imedia Corporation Method and apparatus for multiplexing video programs for improved channel utilization
US5956088A (en) * 1995-11-21 1999-09-21 Imedia Corporation Method and apparatus for modifying encoded digital video for improved channel utilization
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
US6055330A (en) 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011757A1 (ja) * 2013-07-22 2015-01-29 富士通株式会社 情報処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
NO20006469D0 (no) 2000-12-18
BRPI9911289B1 (pt) 2015-06-16
AU4320199A (en) 2000-01-05
CN1315116A (zh) 2001-09-26
WO1999066734A1 (en) 1999-12-23
NZ509326A (en) 2002-09-27
CA2334785A1 (en) 1999-12-23
NO20006469L (no) 2001-02-16
BR9911289A (pt) 2001-10-23
US6289129B1 (en) 2001-09-11
RU2216122C2 (ru) 2003-11-10
EP1088454A1 (en) 2001-04-04
KR20010053002A (ko) 2001-06-25
IL140208A0 (en) 2002-02-10
AU756355B2 (en) 2003-01-09

Similar Documents

Publication Publication Date Title
JP2002518951A (ja) プッシュ・データフローとともに使用するビデオ・レート・バッファ
US6674803B1 (en) Methods and systems for encoding real time multimedia data
US6157674A (en) Audio and video data transmitting apparatus, system, and method thereof
EP0994627B1 (en) Regulation of the computational and memory requirements of a compressed bitstream in a video decoder
US6324217B1 (en) Method and apparatus for producing an information stream having still images
CA2185704C (en) Method, rate controller, and system for preventing overflow and underflow of a decoder buffer
TW477128B (en) Using a receiver model to multiplex variable-rate bit streams having timing constraints
JP4303775B2 (ja) 非同期コード化システムにおける適応性ビットレート制御のための方法および装置
US9313488B2 (en) Hypothetical reference decoder
US20130188743A1 (en) Decoding and presentation time stamps for mpeg-4 advanced video coding
US20060239563A1 (en) Method and device for compressed domain video editing
EP1443770A2 (en) Encoder and method for encoding
US8904426B2 (en) Preconditioning ad content for digital program insertion
CN101500170B (zh) 用于补偿音频视频流中时序不匹配的方法
JP2001025007A (ja) Ｍｐｅｇストリーム切替方法
JP3836701B2 (ja) 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置
Weiss Switching facilities in mpeg-2: Necessary but not sufficient
Chen Video Buffer Management and MPEG Video Buffer Verifier
EP1161838A1 (en) Method and apparatus for generating time stamp information
Papadimatos et al. Performance analysis of a selective rejection algorithm on compressed disparity data
MXPA00012615A (en) Video encoder and encoding method with buffer control
KR20000068612A (ko) 영상 시퀀스들 간의 스위칭 방법 및 그 장치
JP2000232625A (ja) 符号化データ編集多重化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090416

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090715

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091015