JP2000125292A - ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置 - Google Patents
ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置Info
- Publication number
- JP2000125292A JP2000125292A JP32876798A JP32876798A JP2000125292A JP 2000125292 A JP2000125292 A JP 2000125292A JP 32876798 A JP32876798 A JP 32876798A JP 32876798 A JP32876798 A JP 32876798A JP 2000125292 A JP2000125292 A JP 2000125292A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- cost function
- vop
- memory
- timestamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 ビットストリームの複雑さを制限するように
ビットストリームの複雑さをモデル化する新しい方法を
提案する。 【解決手段】 予め定義された費用関数に基づいて、符
号器が生成されるビットストリームの複雑さを制御する
のを可能にする。したがって、復号器の設計者は、復号
器において同じモデルを想定し、この限界値に基づいて
復号器を設計することができる。このモデルに従うこと
によって、符号器は、生成されるすべてのビットストリ
ームが予め定義されたレベル以下の複雑さを有すること
を保証する。したがって、このモデルは、復号器の過度
の設計開発による経費を伴うことなくより大きなインタ
ーオペラビリティを可能にする。
ビットストリームの複雑さをモデル化する新しい方法を
提案する。 【解決手段】 予め定義された費用関数に基づいて、符
号器が生成されるビットストリームの複雑さを制御する
のを可能にする。したがって、復号器の設計者は、復号
器において同じモデルを想定し、この限界値に基づいて
復号器を設計することができる。このモデルに従うこと
によって、符号器は、生成されるすべてのビットストリ
ームが予め定義されたレベル以下の複雑さを有すること
を保証する。したがって、このモデルは、復号器の過度
の設計開発による経費を伴うことなくより大きなインタ
ーオペラビリティを可能にする。
Description
【０００１】
【発明の属する技術分野】本発明は、符号器がそれの生
成するビットストリームの複雑さ条件を制御しなければ
ならないマルチメディアオーディオ−ビジュアル符号化
圧縮技術の分野に有効である。本発明は、規格の複雑さ
に関する仕様を満足する復号器が、処理中に資源が不足
することなくこれらのビットストリームをうまく復号化
するのを保証するものである。
成するビットストリームの複雑さ条件を制御しなければ
ならないマルチメディアオーディオ−ビジュアル符号化
圧縮技術の分野に有効である。本発明は、規格の複雑さ
に関する仕様を満足する復号器が、処理中に資源が不足
することなくこれらのビットストリームをうまく復号化
するのを保証するものである。
【０００２】
【従来の技術】従来、ある特定のパフォーマンスケイパ
ビリティに関する規格を満足するビデオ復号器の開発者
は、仕様に基づいて発生するかもしれない最悪の事態に
耐えるだけの十分な資源を復号器が有することを保証し
なければならない。最悪の事態とは、一般に、通常の動
作状態ではまずあり得ない事態を想定したものであり、
これは技術的に良い方法とは言えない。これは、必要以
上の技術開発となり、資源を無駄にするものである。
ビリティに関する規格を満足するビデオ復号器の開発者
は、仕様に基づいて発生するかもしれない最悪の事態に
耐えるだけの十分な資源を復号器が有することを保証し
なければならない。最悪の事態とは、一般に、通常の動
作状態ではまずあり得ない事態を想定したものであり、
これは技術的に良い方法とは言えない。これは、必要以
上の技術開発となり、資源を無駄にするものである。
【０００３】現在、ＭＰＥＧ−４標準化においては、最
悪の事態ではなくむしろビットストリームの複雑さによ
って、復号器の複雑さ境界を具体的に規定しようとする
努力がなされている。これは、一般的な単位による複雑
さの量に基づいた統計学的な方法である。規格は、それ
に準拠しているビットストリームに許容される最大の複
雑さを表現する固定値を規定する。復号器は、規格に準
拠したすべてのビットストリームを復号化するのに十分
な資源を提供しなければならない。符号器は、生成され
るすべてのビットストリームが最大の複雑さ境界を越え
ないこと、すなわち、規格に準拠していることを保証し
なければならない。
悪の事態ではなくむしろビットストリームの複雑さによ
って、復号器の複雑さ境界を具体的に規定しようとする
努力がなされている。これは、一般的な単位による複雑
さの量に基づいた統計学的な方法である。規格は、それ
に準拠しているビットストリームに許容される最大の複
雑さを表現する固定値を規定する。復号器は、規格に準
拠したすべてのビットストリームを復号化するのに十分
な資源を提供しなければならない。符号器は、生成され
るすべてのビットストリームが最大の複雑さ境界を越え
ないこと、すなわち、規格に準拠していることを保証し
なければならない。
【０００４】図１は、従来技術における上述の概念をグ
ラフによって示すものであり、ビットストリームの複雑
さおよび復号器資源の分布を複雑さの単位で示す。グラ
フにおいて、複雑さ境界が直線によって示される。横座
標は複雑さの単位で与えられる。すべての規格適合ビッ
トストリームは、直線の左側に存在する。有効なビット
ストリームは規格による固定値の左側に分布し、すべて
の規格準拠符号器は規格による固定値の右側に分布す
る。ビットストリームの典型的な分布がここに図示され
ている。ビットストリームの大部分は、複雑さ境界より
もかなり小さい複雑さを有する。わずかなビットストリ
ームがこの境界に近接している。ビットストリームがこ
の境界を越えれば、もはや規格適合ビットストリームで
はないので図示されていない。複雑さ境界の右側は復号
器の分布である。ほとんどの復号器は、製造コストを節
約するために、複雑さ境界にできるかぎり近接するよう
に設計される。多少の復号器は必要なより多くの資源を
有するかもしれず、それらはグラフのさらに右側に位置
する。規格準拠ビットストリームの複雑さ条件を満足す
るだけの十分な資源を持たない復号器は、複雑さ境界の
左側に位置し、規格に準拠していないとみなされる。
ラフによって示すものであり、ビットストリームの複雑
さおよび復号器資源の分布を複雑さの単位で示す。グラ
フにおいて、複雑さ境界が直線によって示される。横座
標は複雑さの単位で与えられる。すべての規格適合ビッ
トストリームは、直線の左側に存在する。有効なビット
ストリームは規格による固定値の左側に分布し、すべて
の規格準拠符号器は規格による固定値の右側に分布す
る。ビットストリームの典型的な分布がここに図示され
ている。ビットストリームの大部分は、複雑さ境界より
もかなり小さい複雑さを有する。わずかなビットストリ
ームがこの境界に近接している。ビットストリームがこ
の境界を越えれば、もはや規格適合ビットストリームで
はないので図示されていない。複雑さ境界の右側は復号
器の分布である。ほとんどの復号器は、製造コストを節
約するために、複雑さ境界にできるかぎり近接するよう
に設計される。多少の復号器は必要なより多くの資源を
有するかもしれず、それらはグラフのさらに右側に位置
する。規格準拠ビットストリームの複雑さ条件を満足す
るだけの十分な資源を持たない復号器は、複雑さ境界の
左側に位置し、規格に準拠していないとみなされる。
【０００５】図２は、従来技術によるビデオ符号器にお
ける複雑さの測定および制御を示す。この従来技術は、
等価なＩ−ＭＢ単位を計算することによって、生成され
るビットストリームの費用関数をカウントする簡単な方
法を示す。しかしながら、これは、複雑さの量を即座に
表すことができないという問題およびメモリーのような
その他の資源を考慮していないという問題を有する。
ける複雑さの測定および制御を示す。この従来技術は、
等価なＩ−ＭＢ単位を計算することによって、生成され
るビットストリームの費用関数をカウントする簡単な方
法を示す。しかしながら、これは、複雑さの量を即座に
表すことができないという問題およびメモリーのような
その他の資源を考慮していないという問題を有する。
【０００６】図２の簡単な複雑さの測定方法において
は、符号器は、選択された各マクロブロックタイプの数
をカウントし、各マクロブロックタイプに与えられたな
んらかの予め定められた費用関数に基づいて、ビットス
トリームの複雑さを評価する。現在のマクロブロックに
ついての情報が、マクロブロックタイプ決定モジュール
２０１に送られ、そこで、マクロブロックを特定の方法
によって符号化することが決定される。そして、この情
報を複雑さ費用関数に変換する費用関数発生器モジュー
ル２０２によって、この決定が評価される。そして、さ
らなる決定のために、複雑さ費用関数は、マクロブロッ
クタイプ決定モジュールにフィードバックされる。
は、符号器は、選択された各マクロブロックタイプの数
をカウントし、各マクロブロックタイプに与えられたな
んらかの予め定められた費用関数に基づいて、ビットス
トリームの複雑さを評価する。現在のマクロブロックに
ついての情報が、マクロブロックタイプ決定モジュール
２０１に送られ、そこで、マクロブロックを特定の方法
によって符号化することが決定される。そして、この情
報を複雑さ費用関数に変換する費用関数発生器モジュー
ル２０２によって、この決定が評価される。そして、さ
らなる決定のために、複雑さ費用関数は、マクロブロッ
クタイプ決定モジュールにフィードバックされる。
【０００７】モジュール２０３〜２１０は、ハイブリッ
ド変換符号器に必要な典型的なモジュールである。入力
ピクチャーは、動き推定モジュール２１０および補償モ
ジュール２０９によって処理されるブロックに分割され
る。動き予測がない場合にはこれらのステップが省略さ
れることに注意されたい。そして、動き補償された差分
信号が、ＤＣＴ変換モジュール２０３によって処理され
る。そして、量子化モジュール２０４において、変換係
数が量子化される。そして、可変長符号化モジュール２
０５において、量子化係数が、マクロブロックタイプお
よび動きベクトルのオーバーヘッド情報とともにエント
ロピー符号化される。モジュール２０６〜２０９からな
るローカル復号器は、未来のピクチャーを予測するのに
使用される符号化されたピクチャーを再生する。係数が
逆ＤＣＴモジュール２０７に供給される前に、逆量子化
モジュール２０６がそれを逆量子化し、逆ＤＣＴモジュ
ール２０７において、差分信号が再生される。そして、
差分信号に動き予測が加算され、再生ブロックが形成さ
れる。そして、これらのブロックが、将来の使用のため
にフレームメモリーモジュール２０８に記憶される。
ド変換符号器に必要な典型的なモジュールである。入力
ピクチャーは、動き推定モジュール２１０および補償モ
ジュール２０９によって処理されるブロックに分割され
る。動き予測がない場合にはこれらのステップが省略さ
れることに注意されたい。そして、動き補償された差分
信号が、ＤＣＴ変換モジュール２０３によって処理され
る。そして、量子化モジュール２０４において、変換係
数が量子化される。そして、可変長符号化モジュール２
０５において、量子化係数が、マクロブロックタイプお
よび動きベクトルのオーバーヘッド情報とともにエント
ロピー符号化される。モジュール２０６〜２０９からな
るローカル復号器は、未来のピクチャーを予測するのに
使用される符号化されたピクチャーを再生する。係数が
逆ＤＣＴモジュール２０７に供給される前に、逆量子化
モジュール２０６がそれを逆量子化し、逆ＤＣＴモジュ
ール２０７において、差分信号が再生される。そして、
差分信号に動き予測が加算され、再生ブロックが形成さ
れる。そして、これらのブロックが、将来の使用のため
にフレームメモリーモジュール２０８に記憶される。
【０００８】
【発明が解決しようとする課題】複雑さの量を規定する
ことは、復号器を明白な方法で設計できることを保証す
るだけ十分なものではない。これには２つの理由があ
る。
ことは、復号器を明白な方法で設計できることを保証す
るだけ十分なものではない。これには２つの理由があ
る。
【０００９】第１の理由は、複雑さが時間的に測定され
ることである。時間が十分に長いので、多くのフレーム
のピクチャーを取り込むことができる。平均の複雑さが
設定された限界値以下であっても、複雑さの分布は復号
器の資源が瞬時に使い果たされるような場合がある。さ
らに、窓をより短い時間に限定すれば、ピクチャーの複
雑さの変動を制限することになる。このことは、すべて
のピクチャーが必ず一定の複雑さを有することを意味す
る。これは良くない。なぜなら、符号化モードの特徴に
従って、異なったピクチャータイプは異なった複雑さを
有するべきであるからである。
ることである。時間が十分に長いので、多くのフレーム
のピクチャーを取り込むことができる。平均の複雑さが
設定された限界値以下であっても、複雑さの分布は復号
器の資源が瞬時に使い果たされるような場合がある。さ
らに、窓をより短い時間に限定すれば、ピクチャーの複
雑さの変動を制限することになる。このことは、すべて
のピクチャーが必ず一定の複雑さを有することを意味す
る。これは良くない。なぜなら、符号化モードの特徴に
従って、異なったピクチャータイプは異なった複雑さを
有するべきであるからである。
【００１０】第２の理由は、複雑さは計算時間に緊密に
は関係しないことである。複雑さの測定に取り込まれな
い第２の要素は、メモリーに必要な条件である。したが
って、解決すべき問題は、計算条件およびメモリー条件
の観点から、ビットストリームの複雑さ条件を制御する
方法を発明することである。
は関係しないことである。複雑さの測定に取り込まれな
い第２の要素は、メモリーに必要な条件である。したが
って、解決すべき問題は、計算条件およびメモリー条件
の観点から、ビットストリームの複雑さ条件を制御する
方法を発明することである。
【００１１】
【課題を解決するための手段】請求項１に記載の発明
は、圧縮されたビットストリームの計算及び記憶に必要
な条件を制御する方法であって、ピクチャーを複数のマ
クロブロックに分割する段階と、マクロブロックを異な
る符号化タイプによってビットストリームに符号化する
段階と、マクロブロックの符号化タイプに基づいてビッ
トストリームの費用関数を計算する段階と、前記費用関
数を仮想復号器モデルに適用する段階と、費用関数の最
適な分布が得られるようにピクチャーの復号化タイムス
タンプを調整する段階と、一組の重み係数を得る段階
と、重み係数を適用して符号化タイプに関する将来の決
定を制御する段階と、を備えた方法である。
は、圧縮されたビットストリームの計算及び記憶に必要
な条件を制御する方法であって、ピクチャーを複数のマ
クロブロックに分割する段階と、マクロブロックを異な
る符号化タイプによってビットストリームに符号化する
段階と、マクロブロックの符号化タイプに基づいてビッ
トストリームの費用関数を計算する段階と、前記費用関
数を仮想復号器モデルに適用する段階と、費用関数の最
適な分布が得られるようにピクチャーの復号化タイムス
タンプを調整する段階と、一組の重み係数を得る段階
と、重み係数を適用して符号化タイプに関する将来の決
定を制御する段階と、を備えた方法である。
【００１２】請求項２に記載の発明は、ａ）現在のＶＯ
Ｐを復号化するのに必要なメモリー量は、そのＶＯＰの
マクロブロック数によって定義され、かつ、現在のＶＯ
Ｐの復号化タイムスタンプと次のＶＯＰの復号化タイム
スタンプとの間で一定速度で消費され、 ｂ）Ｉ−ＶＯＰまたはＰ−ＶＯＰのプレゼンテーション
時刻において、復号化の順序における以前のＩ−ＶＯＰ
またはＰ−ＶＯＰに割り付けられた全メモリーは即座に
解放され、 ｃ）Ｂ−ＶＯＰのプレゼンテーション時刻において、そ
のＢ−ＶＯＰに割り付けられた全メモリーは即座に解放
され、 ｄ）いかなる時刻においても、復号化の順序における
（ｎ＋１）番目のＶＯＰの復号化タイムスタンプＤＴＳ
n+1 は、復号化の順序におけるｎ番目のＶＯＰのプレゼ
ンテーションタイムスタンプＰＴＳn よりも小さいかま
たは等しいものでなければならず、 ｅ）いかなる時刻においても、消費される総メモリー量
は、使用可能な最大メモリー資源量ＭMAX を越えてはな
らず、もし越えれば、仮想復号器はメモリーオーバーフ
ローしたことになり、 ｆ）いかなる時刻においても、現在のＶＯＰの復号化の
複雑さＣn の有効な復号化時間ＤＴＳn+1 −ＤＴＳn に
対する比は、１秒あたりの使用可能な最大の複雑さ資源
Ｃ′MAX よりも小さいものでなければならず、もしそう
でなければ、仮想復号器はメモリーオーバーフローした
ことになる、 規則を備えた請求項１に記載の仮想復号器モデルであ
る。
Ｐを復号化するのに必要なメモリー量は、そのＶＯＰの
マクロブロック数によって定義され、かつ、現在のＶＯ
Ｐの復号化タイムスタンプと次のＶＯＰの復号化タイム
スタンプとの間で一定速度で消費され、 ｂ）Ｉ−ＶＯＰまたはＰ−ＶＯＰのプレゼンテーション
時刻において、復号化の順序における以前のＩ−ＶＯＰ
またはＰ−ＶＯＰに割り付けられた全メモリーは即座に
解放され、 ｃ）Ｂ−ＶＯＰのプレゼンテーション時刻において、そ
のＢ−ＶＯＰに割り付けられた全メモリーは即座に解放
され、 ｄ）いかなる時刻においても、復号化の順序における
（ｎ＋１）番目のＶＯＰの復号化タイムスタンプＤＴＳ
n+1 は、復号化の順序におけるｎ番目のＶＯＰのプレゼ
ンテーションタイムスタンプＰＴＳn よりも小さいかま
たは等しいものでなければならず、 ｅ）いかなる時刻においても、消費される総メモリー量
は、使用可能な最大メモリー資源量ＭMAX を越えてはな
らず、もし越えれば、仮想復号器はメモリーオーバーフ
ローしたことになり、 ｆ）いかなる時刻においても、現在のＶＯＰの復号化の
複雑さＣn の有効な復号化時間ＤＴＳn+1 −ＤＴＳn に
対する比は、１秒あたりの使用可能な最大の複雑さ資源
Ｃ′MAX よりも小さいものでなければならず、もしそう
でなければ、仮想復号器はメモリーオーバーフローした
ことになる、 規則を備えた請求項１に記載の仮想復号器モデルであ
る。
【００１３】請求項３に記載の発明は、ビットストリー
ムに存在する値は、請求項２に記載の規則ｄ）、ｅ）、
および、ｆ）の条件を満足しなければならず、かつ、仮
想復号器モデルにメモリーまたは複雑さ資源においてオ
ーバーフローを発生させないことによって、請求項１お
よび２に記載のビデオビットストリームの有効性を保証
する方法である。
ムに存在する値は、請求項２に記載の規則ｄ）、ｅ）、
および、ｆ）の条件を満足しなければならず、かつ、仮
想復号器モデルにメモリーまたは複雑さ資源においてオ
ーバーフローを発生させないことによって、請求項１お
よび２に記載のビデオビットストリームの有効性を保証
する方法である。
【００１４】請求項４に記載の発明は、マクロブロック
の符号化タイプが、イントラ符号化、予測符号化、双方
向符号化、オーバーラップブロック動き補償を備えた予
測符号化、境界形状復号化を備えたイントラ符号化、お
よび、境界形状復号化を備えた予測符号化からなり、費
用関数が、ビットストリームに存在するそれぞれの符号
化タイプを復号化する正規化され重み付けられた総費用
である、請求項１に記載のマクロブロックの符号化タイ
プに基づいてビットストリームの費用関数を計算する方
法である。
の符号化タイプが、イントラ符号化、予測符号化、双方
向符号化、オーバーラップブロック動き補償を備えた予
測符号化、境界形状復号化を備えたイントラ符号化、お
よび、境界形状復号化を備えた予測符号化からなり、費
用関数が、ビットストリームに存在するそれぞれの符号
化タイプを復号化する正規化され重み付けられた総費用
である、請求項１に記載のマクロブロックの符号化タイ
プに基づいてビットストリームの費用関数を計算する方
法である。
【００１５】請求項５に記載の発明は、いくつかのピク
チャーのタイムスタンプが最適化され、それによって、
仮想復号器モデルの計算資源およびメモリー資源の使用
可能度に依存して前記ピクチャーが最も短い時間で復号
化される、請求項１に記載のビットストリームに存在す
るピクチャーの復号化タイムスタンプを調整する方法で
ある。
チャーのタイムスタンプが最適化され、それによって、
仮想復号器モデルの計算資源およびメモリー資源の使用
可能度に依存して前記ピクチャーが最も短い時間で復号
化される、請求項１に記載のビットストリームに存在す
るピクチャーの復号化タイムスタンプを調整する方法で
ある。
【００１６】請求項６に記載の発明は、ビットストリー
ムがビデオビットストリームだけに限定されないビット
ストリームの計算および記憶に必要な条件を制御する方
法およびモデルである。
ムがビデオビットストリームだけに限定されないビット
ストリームの計算および記憶に必要な条件を制御する方
法およびモデルである。
【００１７】請求項７に記載の発明は、メモリー使用量
を測定する仮想メモリーバッファーと、費用関数を計算
する費用関数発生器と、費用関数とメモリー資源使用量
とに基づいた復号化タイムスタンプ発生器と、プレゼン
テーションタイムスタンプと復号化タイムスタンプとの
比較器と、マクロブロックタイプ重み係数発生器と、を
備えた請求項１に記載の仮想復号器モデルのための装置
である。
を測定する仮想メモリーバッファーと、費用関数を計算
する費用関数発生器と、費用関数とメモリー資源使用量
とに基づいた復号化タイムスタンプ発生器と、プレゼン
テーションタイムスタンプと復号化タイムスタンプとの
比較器と、マクロブロックタイプ重み係数発生器と、を
備えた請求項１に記載の仮想復号器モデルのための装置
である。
【００１８】請求項８に記載の発明は、生成される圧縮
ビデオビットストリームの計算および記憶に必要な条件
が所定の限界値を越えていないことを符号器の内部から
検査する方法であって、復号化タイムスタンプ、プレゼ
ンテーションタイムスタンプ、および、マクロブロック
の符号化タイプを得る段階と、マクロブロックの符号化
タイプに基づいてビットストリームの費用関数を計算す
る段階と、前記費用関数を請求項２に記載の規則ａ）、
ｂ）、および、ｃ）を履行する仮想復号器モデルに適用
する段階と、復号化タイムスタンプ、プレゼンテーショ
ンタイムスタンプ、および、費用関数が請求項２に記載
の規則ｄ）、ｅ）、および、ｆ）を満足するかどうかを
検査する段階と、を備えた方法である。
ビデオビットストリームの計算および記憶に必要な条件
が所定の限界値を越えていないことを符号器の内部から
検査する方法であって、復号化タイムスタンプ、プレゼ
ンテーションタイムスタンプ、および、マクロブロック
の符号化タイプを得る段階と、マクロブロックの符号化
タイプに基づいてビットストリームの費用関数を計算す
る段階と、前記費用関数を請求項２に記載の規則ａ）、
ｂ）、および、ｃ）を履行する仮想復号器モデルに適用
する段階と、復号化タイムスタンプ、プレゼンテーショ
ンタイムスタンプ、および、費用関数が請求項２に記載
の規則ｄ）、ｅ）、および、ｆ）を満足するかどうかを
検査する段階と、を備えた方法である。
【００１９】請求項９に記載の発明は、符号器の出力に
取り付けられた仮説に基づいた仮想複雑さ検査器によっ
て、圧縮されたビデオビットストリームの計算および記
憶に必要な条件が所定の限界値を越えていないことを検
査する方法であって、符号器の出力においてビットスト
リームを解析して復号化タイムスタンプ、プレゼンテー
ションタイムスタンプ、および、マクロブロックの符号
化タイプを得る段階と、マクロブロックの符号化タイプ
に基づいてビットストリームの費用関数を計算する段階
と、前記費用関数を請求項２に記載の規則ａ）、ｂ）、
および、ｃ）を履行する仮想復号器モデルに適用する段
階と、復号化タイムスタンプ、プレゼンテーションタイ
ムスタンプ、および、費用関数が請求項２に記載の規則
ｄ）、ｅ）、および、ｆ）を満足するかどうかを検査す
る段階と、を備えた方法である。
取り付けられた仮説に基づいた仮想複雑さ検査器によっ
て、圧縮されたビデオビットストリームの計算および記
憶に必要な条件が所定の限界値を越えていないことを検
査する方法であって、符号器の出力においてビットスト
リームを解析して復号化タイムスタンプ、プレゼンテー
ションタイムスタンプ、および、マクロブロックの符号
化タイプを得る段階と、マクロブロックの符号化タイプ
に基づいてビットストリームの費用関数を計算する段階
と、前記費用関数を請求項２に記載の規則ａ）、ｂ）、
および、ｃ）を履行する仮想復号器モデルに適用する段
階と、復号化タイムスタンプ、プレゼンテーションタイ
ムスタンプ、および、費用関数が請求項２に記載の規則
ｄ）、ｅ）、および、ｆ）を満足するかどうかを検査す
る段階と、を備えた方法である。
【００２０】請求項１０に記載の発明は、復号化タイム
スタンプ発生器と、プレゼンテーションタイムスタンプ
発生器と、マクロブロック符号化タイプ発生器と、費用
関数を計算する費用関数発生器と、メモリー使用量を測
定する仮想メモリーバッファーと、プレゼンテーション
タイムスタンプおよび復号化タイムスタンプ検査器と、
を備えた請求項８に記載の仮想複雑さ検査器のための装
置である。
スタンプ発生器と、プレゼンテーションタイムスタンプ
発生器と、マクロブロック符号化タイプ発生器と、費用
関数を計算する費用関数発生器と、メモリー使用量を測
定する仮想メモリーバッファーと、プレゼンテーション
タイムスタンプおよび復号化タイムスタンプ検査器と、
を備えた請求項８に記載の仮想複雑さ検査器のための装
置である。
【００２１】請求項１１に記載の発明は、復号化タイム
スタンプ、プレゼンテーションタイムスタンプ、およ
び、マクロブロックの符号化タイプを抽出するためのビ
ットストリーム解析器と、費用関数を計算する費用関数
発生器と、メモリー使用量を測定する仮想メモリーバッ
ファーと、プレゼンテーションタイムスタンプおよび復
号化タイムスタンプ検査器と、を備えた請求項９に記載
の仮想複雑さ検査器のための装置である。本発明によれ
ば、計算条件とメモリー条件とを結合したモデルが設計
される。ビットストリームの計算条件だけでなくメモリ
ー条件をも考慮することによって、復号器における資源
条件を正確に規制することができる。
スタンプ、プレゼンテーションタイムスタンプ、およ
び、マクロブロックの符号化タイプを抽出するためのビ
ットストリーム解析器と、費用関数を計算する費用関数
発生器と、メモリー使用量を測定する仮想メモリーバッ
ファーと、プレゼンテーションタイムスタンプおよび復
号化タイムスタンプ検査器と、を備えた請求項９に記載
の仮想複雑さ検査器のための装置である。本発明によれ
ば、計算条件とメモリー条件とを結合したモデルが設計
される。ビットストリームの計算条件だけでなくメモリ
ー条件をも考慮することによって、復号器における資源
条件を正確に規制することができる。
【００２２】メモリー条件は、使用可能なメモリー量に
よって明確に規定される。ビデオシーケンスの復号化タ
イムスタンプおよびプレゼンテーションタイムスタンプ
によって、メモリーの使用および解放もまた時間的に明
確に規定される。これらのタイムスタンプはビットスト
リームに組み込まれる。
よって明確に規定される。ビデオシーケンスの復号化タ
イムスタンプおよびプレゼンテーションタイムスタンプ
によって、メモリーの使用および解放もまた時間的に明
確に規定される。これらのタイムスタンプはビットスト
リームに組み込まれる。
【００２３】計算の複雑さの単位をメモリー使用量に結
び付けることによって、複雑さ境界を規定する窓が曖昧
である第１の問題を解決することができる。これらの条
件を結合することによって、復号化タイムスタンプおよ
びプレゼンテーションタイムスタンプに基づいて、計算
条件およびメモリー条件は境界を設定されることが可能
である。複雑さを測定するための調整窓（ｓｌｉｄｉｎ
ｇ ｗｉｎｄｏｗ）をもはや定義しなくてもよい。それ
と同時に、ピクチャーは強いて一定の複雑さを持たなく
てもよい。
び付けることによって、複雑さ境界を規定する窓が曖昧
である第１の問題を解決することができる。これらの条
件を結合することによって、復号化タイムスタンプおよ
びプレゼンテーションタイムスタンプに基づいて、計算
条件およびメモリー条件は境界を設定されることが可能
である。複雑さを測定するための調整窓（ｓｌｉｄｉｎ
ｇ ｗｉｎｄｏｗ）をもはや定義しなくてもよい。それ
と同時に、ピクチャーは強いて一定の複雑さを持たなく
てもよい。
【００２４】本発明の動作は以下の通りである。符号器
は、マクロブロックタイプをカウントすることによっ
て、生成されるビットストリームの複雑さを監視する。
それぞれのマクロブロックタイプは、なんらかの複雑さ
の単位で予め定義された費用を割り当てられる。同様
に、復号化されるそれぞれのマクロブロックは、予め定
義された量のメモリー空間を消費する。ＶＯＰのタイプ
に依存して、異なる期間だけメモリーが占有される。Ｖ
ＯＰのマクロブロックがディスプレイまたは予測のため
にもはや必要でなくなったときに、メモリーは解放され
る。
は、マクロブロックタイプをカウントすることによっ
て、生成されるビットストリームの複雑さを監視する。
それぞれのマクロブロックタイプは、なんらかの複雑さ
の単位で予め定義された費用を割り当てられる。同様
に、復号化されるそれぞれのマクロブロックは、予め定
義された量のメモリー空間を消費する。ＶＯＰのタイプ
に依存して、異なる期間だけメモリーが占有される。Ｖ
ＯＰのマクロブロックがディスプレイまたは予測のため
にもはや必要でなくなったときに、メモリーは解放され
る。
【００２５】仮想復号器は、複雑さの単位およびメモリ
ーの最大の境界を割り当てられる。仮想復号器は、複雑
さの境界である限界値に依存して、ビットストリームを
可能な限り迅速に復号化することができる。しかしなが
ら、そうする場合には、復号器は、復号化されたＶＯＰ
がディスプレイされる時刻になるまで、あるいは、それ
が予測のためにもはや必要でなくなるまで、復号化され
たＶＯＰを保持するための余分なメモリーを持たなけれ
ばならないであろう。したがって、仮想復号器が、処理
能力の量と使用可能なメモリーの量との両方によって制
限されることは明らかである。
ーの最大の境界を割り当てられる。仮想復号器は、複雑
さの境界である限界値に依存して、ビットストリームを
可能な限り迅速に復号化することができる。しかしなが
ら、そうする場合には、復号器は、復号化されたＶＯＰ
がディスプレイされる時刻になるまで、あるいは、それ
が予測のためにもはや必要でなくなるまで、復号化され
たＶＯＰを保持するための余分なメモリーを持たなけれ
ばならないであろう。したがって、仮想復号器が、処理
能力の量と使用可能なメモリーの量との両方によって制
限されることは明らかである。
【００２６】したがって、ビットストリームの複雑さの
単位の条件を監視し、かつ、ＶＯＰの復号化タイムスタ
ンプを調整することによって、仮想復号器は、メモリー
使用量がそれの境界を越えることを防止することができ
る。それによって、仮想復号器は、単純なＶＯＰにはよ
り少ない時間を使用し、複雑なＶＯＰにはより多くの時
間を使用することができる。
単位の条件を監視し、かつ、ＶＯＰの復号化タイムスタ
ンプを調整することによって、仮想復号器は、メモリー
使用量がそれの境界を越えることを防止することができ
る。それによって、仮想復号器は、単純なＶＯＰにはよ
り少ない時間を使用し、複雑なＶＯＰにはより多くの時
間を使用することができる。
【００２７】仮想復号器は、以下の規則によって規定さ
れる。 ａ）現在のＶＯＰを復号化するのに必要なメモリー量
は、そのＶＯＰのマクロブロック数によって定義され、
かつ、現在のＶＯＰの復号化タイムスタンプと次のＶＯ
Ｐの復号化タイムスタンプとの間で一定速度で消費され
る。 ｂ）Ｉ−ＶＯＰまたはＰ−ＶＯＰのプレゼンテーション
時刻において、復号化の順序における以前のＩ−ＶＯＰ
またはＰ−ＶＯＰに割り付けられた全メモリーは即座に
解放される。 ｃ）Ｂ−ＶＯＰのプレゼンテーション時刻において、そ
のＢ−ＶＯＰに割り付けられた全メモリーが即座に解放
される。
れる。 ａ）現在のＶＯＰを復号化するのに必要なメモリー量
は、そのＶＯＰのマクロブロック数によって定義され、
かつ、現在のＶＯＰの復号化タイムスタンプと次のＶＯ
Ｐの復号化タイムスタンプとの間で一定速度で消費され
る。 ｂ）Ｉ−ＶＯＰまたはＰ−ＶＯＰのプレゼンテーション
時刻において、復号化の順序における以前のＩ−ＶＯＰ
またはＰ−ＶＯＰに割り付けられた全メモリーは即座に
解放される。 ｃ）Ｂ−ＶＯＰのプレゼンテーション時刻において、そ
のＢ−ＶＯＰに割り付けられた全メモリーが即座に解放
される。
【００２８】ｄ）いかなる時刻においても、復号化の順
序における（ｎ＋１）番目のＶＯＰの復号化タイムスタ
ンプＤＴＳn+1 は、復号化の順序におけるｎ番目のＶＯ
ＰのプレゼンテーションタイムスタンプＰＴＳn よりも
小さいかまたは等しいものでなければならない。 ＤＴＳn+1 ≦ＰＴＳn （１） ここで、ｎは復号化の順序による。ｅ）いかなる時刻に
おいても、消費される総メモリー量は、使用可能な最大
メモリー資源量ＭMAX を越えてはならず、もし越えれ
ば、仮想復号器はメモリーオーバーフローしたことにな
る。
序における（ｎ＋１）番目のＶＯＰの復号化タイムスタ
ンプＤＴＳn+1 は、復号化の順序におけるｎ番目のＶＯ
ＰのプレゼンテーションタイムスタンプＰＴＳn よりも
小さいかまたは等しいものでなければならない。 ＤＴＳn+1 ≦ＰＴＳn （１） ここで、ｎは復号化の順序による。ｅ）いかなる時刻に
おいても、消費される総メモリー量は、使用可能な最大
メモリー資源量ＭMAX を越えてはならず、もし越えれ
ば、仮想復号器はメモリーオーバーフローしたことにな
る。
【００２９】ｆ）いかなる時刻においても、現在のＶＯ
Ｐの復号化の複雑さＣn の有効な復号化時間ＤＴＳn+1
−ＤＴＳn に対する比は、１秒あたりの使用可能な最大
の複雑さ資源Ｃ′MAX よりも小さいものでなければなら
ず、もしそうでなければ、仮想復号器はメモリーオーバ
ーフローしたことになる。 Ｃn ／（ＤＴＳn+1 −ＤＴＳn ）＜Ｃ′MAX （２） ここで、ｎは復号化の順序による。
Ｐの復号化の複雑さＣn の有効な復号化時間ＤＴＳn+1
−ＤＴＳn に対する比は、１秒あたりの使用可能な最大
の複雑さ資源Ｃ′MAX よりも小さいものでなければなら
ず、もしそうでなければ、仮想復号器はメモリーオーバ
ーフローしたことになる。 Ｃn ／（ＤＴＳn+1 −ＤＴＳn ）＜Ｃ′MAX （２） ここで、ｎは復号化の順序による。
【００３０】このように、有効なビットストリームは、
ビットストリームに存在する値が規則ｄ）、ｅ）、およ
び、ｆ）の条件を満足し、仮想復号器モデルにメモリー
または複雑さ資源においてオーバーフローを発生させな
い。
ビットストリームに存在する値が規則ｄ）、ｅ）、およ
び、ｆ）の条件を満足し、仮想復号器モデルにメモリー
または複雑さ資源においてオーバーフローを発生させな
い。
【００３１】
【発明の実施の形態】上述の発明の実施の形態が、図３
〜６に示される。図３は、本発明によるビデオ符号器の
仮想復号器モデルによる複雑さの測定および制御を示
す。図３は図２に類似しているが、本発明を新規に付加
することによって、本発明は仮想復号器モデルを有する
ものとなる。費用関数発生器モジュール３０２の出力
は、マクロブロックタイプ決定モジュール３０１に直接
にフィードバックされるのではなく、仮想復号器モデル
モジュール３０３を介してフィードバックされる。仮想
復号器モデルもまた符号化されるピクチャーのプレゼン
テーションタイムスタンプを受け取る。仮想復号器モデ
ルは、上述したような機能を実行する。それは、境界を
限定された計算資源およびメモリー資源を有する復号器
をシミュレートする仮説に基づいたモデルである。これ
らの資源は、費用関数発生器において検出された符号化
情報およびプレゼンテーションタイムスタンプに基づい
て消費される。
〜６に示される。図３は、本発明によるビデオ符号器の
仮想復号器モデルによる複雑さの測定および制御を示
す。図３は図２に類似しているが、本発明を新規に付加
することによって、本発明は仮想復号器モデルを有する
ものとなる。費用関数発生器モジュール３０２の出力
は、マクロブロックタイプ決定モジュール３０１に直接
にフィードバックされるのではなく、仮想復号器モデル
モジュール３０３を介してフィードバックされる。仮想
復号器モデルもまた符号化されるピクチャーのプレゼン
テーションタイムスタンプを受け取る。仮想復号器モデ
ルは、上述したような機能を実行する。それは、境界を
限定された計算資源およびメモリー資源を有する復号器
をシミュレートする仮説に基づいたモデルである。これ
らの資源は、費用関数発生器において検出された符号化
情報およびプレゼンテーションタイムスタンプに基づい
て消費される。
【００３２】図４は、本発明による仮想復号器モデルの
ブロック構成図であり、仮想復号器モデルの機能を示
す。費用関数発生器モジュール３０２からの複雑さ費用
関数が、仮想ＶＯＰメモリーバッファーモジュール４０
１および復号化タイムスタンプ（ＤＴＳ）発生器モジュ
ール４０２に送出される。また、仮想ＶＯＰメモリーバ
ッファーは、プレゼンテーションタイムスタンプ（ＰＴ
Ｓ）信号およびＤＴＳ信号も受け取る。そして、それ
は、メモリーバッファー使用量をシミュレートする。こ
のモジュールの出力がメモリーバッファー占有率であ
る。この情報がＤＴＳ発生器に送られ、それが次のＤＴ
Ｓを生成するのを可能にする。
ブロック構成図であり、仮想復号器モデルの機能を示
す。費用関数発生器モジュール３０２からの複雑さ費用
関数が、仮想ＶＯＰメモリーバッファーモジュール４０
１および復号化タイムスタンプ（ＤＴＳ）発生器モジュ
ール４０２に送出される。また、仮想ＶＯＰメモリーバ
ッファーは、プレゼンテーションタイムスタンプ（ＰＴ
Ｓ）信号およびＤＴＳ信号も受け取る。そして、それ
は、メモリーバッファー使用量をシミュレートする。こ
のモジュールの出力がメモリーバッファー占有率であ
る。この情報がＤＴＳ発生器に送られ、それが次のＤＴ
Ｓを生成するのを可能にする。
【００３３】ＤＴＳの生成は、メモリーバッファー占有
率および複雑さ費用関数に依存する。メモリーが満杯に
なりはじめると、現在のピクチャーを復号化するための
より多くの時間を提供するために次のＤＴＳを遅らせて
もよく、それによって、メモリーバッファーはより遅く
満杯になる。また同様に、現在のピクチャーの複雑さ費
用関数が上昇すると、現在のピクチャーを復号化するた
めのより多くの時間を復号器に提供するために、次のピ
クチャーのＤＴＳを遅らせてもよい。考えられる関数が
次に与えられる。 ＤＴＳn+1 ＝ＤＴＳn ＋ｃ1 ×ｂｕｆｆｅｒ ｆｕｌｌｎｅｓｓ ＋ｃ2 ×ｃｏｍｐｌｅｘｉｔｙ ｃｏｓｔ （３） ここで、ｃ1 およびｃ2 は、シーケンスのフレームレー
トによって決定される定数である。
率および複雑さ費用関数に依存する。メモリーが満杯に
なりはじめると、現在のピクチャーを復号化するための
より多くの時間を提供するために次のＤＴＳを遅らせて
もよく、それによって、メモリーバッファーはより遅く
満杯になる。また同様に、現在のピクチャーの複雑さ費
用関数が上昇すると、現在のピクチャーを復号化するた
めのより多くの時間を復号器に提供するために、次のピ
クチャーのＤＴＳを遅らせてもよい。考えられる関数が
次に与えられる。 ＤＴＳn+1 ＝ＤＴＳn ＋ｃ1 ×ｂｕｆｆｅｒ ｆｕｌｌｎｅｓｓ ＋ｃ2 ×ｃｏｍｐｌｅｘｉｔｙ ｃｏｓｔ （３） ここで、ｃ1 およびｃ2 は、シーケンスのフレームレー
トによって決定される定数である。
【００３４】２つの連続するＤＴＳが接近しすぎて式
（２）の分母が小さくなり式の左側が右側の限界値を越
えそうになるほどＤＴＳは早すぎてはならない。これが
発生すると、復号器は計算資源を使い果たしている。規
則ｆ）を参照されたい。同様に、ＤＴＳは無期限に遅れ
てはならない。なぜなら、ピクチャーは、ＰＴＳで与え
られた特定の時刻にディスプレイされなければならない
からである。規則ｄ）を参照されたい。この検査はＰＴ
Ｓ／ＤＴＳ比較器モジュール４０３においてなされ、そ
こで、ＰＴＳとＤＴＳとの間の差分が検査される。その
結果がマクロブロックタイプ重み係数発生器モジュール
４０４に送られ、そこで、マクロブロックタイプごとの
重み付けの係数が生成される。これらの重みが、マクロ
ブロックタイプ決定モジュール３０１においてなされる
決定を制御するのに使用される。
（２）の分母が小さくなり式の左側が右側の限界値を越
えそうになるほどＤＴＳは早すぎてはならない。これが
発生すると、復号器は計算資源を使い果たしている。規
則ｆ）を参照されたい。同様に、ＤＴＳは無期限に遅れ
てはならない。なぜなら、ピクチャーは、ＰＴＳで与え
られた特定の時刻にディスプレイされなければならない
からである。規則ｄ）を参照されたい。この検査はＰＴ
Ｓ／ＤＴＳ比較器モジュール４０３においてなされ、そ
こで、ＰＴＳとＤＴＳとの間の差分が検査される。その
結果がマクロブロックタイプ重み係数発生器モジュール
４０４に送られ、そこで、マクロブロックタイプごとの
重み付けの係数が生成される。これらの重みが、マクロ
ブロックタイプ決定モジュール３０１においてなされる
決定を制御するのに使用される。
【００３５】仮想ＶＯＰメモリーバッファーは、規則
ａ）およびｃ）を履行し、かつ、規則ｅ）が破られてい
ないことを保証する。この実施の形態には２つの例が存
在し、図５および図６に示される。
ａ）およびｃ）を履行し、かつ、規則ｅ）が破られてい
ないことを保証する。この実施の形態には２つの例が存
在し、図５および図６に示される。
【００３６】図５は、復号化タイムスタンプおよびプレ
ゼンテーションタイムスタンプによる（フレームの入れ
替えはない）仮想復号器モデルの機能を示すグラフであ
る。図５は、ＶＯＰ符号化タイプがＩ−ＶＯＰおよびＰ
−ＶＯＰだけからなる場合を示す。したがって、ＶＯＰ
は、同じ順序で復号化およびディスプレイされる。図６
は、ＶＯＰ符号化タイプがＩ−ＶＯＰ、Ｐ−ＶＯＰ、お
よび、Ｂ−ＶＯＰからなる場合を示す。Ｂ−ＶＯＰの双
方向予測のために、符号化のためにＶＯＰを入れ替える
必要があるので、ＶＯＰの符号化順序およびディスプレ
イ順序は異なる。したがって、このモデルにおいては、
ＶＯＰは異なる順序で復号化およびディスプレイされ
る。
ゼンテーションタイムスタンプによる（フレームの入れ
替えはない）仮想復号器モデルの機能を示すグラフであ
る。図５は、ＶＯＰ符号化タイプがＩ−ＶＯＰおよびＰ
−ＶＯＰだけからなる場合を示す。したがって、ＶＯＰ
は、同じ順序で復号化およびディスプレイされる。図６
は、ＶＯＰ符号化タイプがＩ−ＶＯＰ、Ｐ−ＶＯＰ、お
よび、Ｂ−ＶＯＰからなる場合を示す。Ｂ−ＶＯＰの双
方向予測のために、符号化のためにＶＯＰを入れ替える
必要があるので、ＶＯＰの符号化順序およびディスプレ
イ順序は異なる。したがって、このモデルにおいては、
ＶＯＰは異なる順序で復号化およびディスプレイされ
る。
【００３７】〔ケース１：Ｉ−ＶＯＰおよびＰ−ＶＯＰ
だけの場合〕以下、Ｉ−ＶＯＰおよびＰ−ＶＯＰだけが
存在する場合の仮想ＶＯＰメモリーバッファーの動作を
説明する。水平軸は、イベントが開始したときの時刻お
よびそれに対応するタイムスタンプを示す。垂直軸は、
メモリー使用量を示す。メモリー資源の限界値は、使用
可能最大メモリー資源量である直線によって示される。
だけの場合〕以下、Ｉ−ＶＯＰおよびＰ−ＶＯＰだけが
存在する場合の仮想ＶＯＰメモリーバッファーの動作を
説明する。水平軸は、イベントが開始したときの時刻お
よびそれに対応するタイムスタンプを示す。垂直軸は、
メモリー使用量を示す。メモリー資源の限界値は、使用
可能最大メモリー資源量である直線によって示される。
【００３８】規則ａ）に従って、時刻ＤＴＳ0 におい
て、仮想復号器が、第１のＶＯＰであるＩ−ＶＯＰ０の
復号化を開始する。それは、時刻ＤＴＳ1 において復号
化を完了する。このモデルは、ＶＯＰ０によって使用さ
れるメモリーは、時間的に線形であり、ＤＴＳ0 とＤＴ
Ｓ1 との間に示される直線と仮定する。ＤＴＳ1 とＤＴ
Ｓ2 との間において、復号器がＰ−ＶＯＰ１を復号化
し、ＶＯＰ１分のメモリーを消費する。ＤＴＳi からＤ
ＴＳi+1 までのすべての区間に対してこの処理が反復さ
れ、線形に増加する直線として図５に示される。
て、仮想復号器が、第１のＶＯＰであるＩ−ＶＯＰ０の
復号化を開始する。それは、時刻ＤＴＳ1 において復号
化を完了する。このモデルは、ＶＯＰ０によって使用さ
れるメモリーは、時間的に線形であり、ＤＴＳ0 とＤＴ
Ｓ1 との間に示される直線と仮定する。ＤＴＳ1 とＤＴ
Ｓ2 との間において、復号器がＰ−ＶＯＰ１を復号化
し、ＶＯＰ１分のメモリーを消費する。ＤＴＳi からＤ
ＴＳi+1 までのすべての区間に対してこの処理が反復さ
れ、線形に増加する直線として図５に示される。
【００３９】規則ｂ）が、以前のＶＯＰがないＰＴＳ0
を除いてそれぞれのＰＴＳにおいて説明される。ＰＴＳ
1 において、ＶＯＰ０によって消費されたメモリーが即
座に解放される。このことが、垂直な直線としてグラフ
に示される。消費されたメモリーにおける類似した垂直
な落ち込みが、グラフの至る所の時刻ＰＴＳi において
示される。
を除いてそれぞれのＰＴＳにおいて説明される。ＰＴＳ
1 において、ＶＯＰ０によって消費されたメモリーが即
座に解放される。このことが、垂直な直線としてグラフ
に示される。消費されたメモリーにおける類似した垂直
な落ち込みが、グラフの至る所の時刻ＰＴＳi において
示される。
【００４０】グラフが使用可能最大メモリー資源の限界
値の間にあり、かつ、ＤＴＳおよびＰＴＳが規則ｅ）の
条件を満足してさえいれば、モデルはそれの限界値の範
囲内で動作する。規則ｄ）、ｅ）、または、ｆ）の１つ
かまたはそれ以上に違反したとき、モデルはオーバーフ
ローしてしまう。
値の間にあり、かつ、ＤＴＳおよびＰＴＳが規則ｅ）の
条件を満足してさえいれば、モデルはそれの限界値の範
囲内で動作する。規則ｄ）、ｅ）、または、ｆ）の１つ
かまたはそれ以上に違反したとき、モデルはオーバーフ
ローしてしまう。
【００４１】〔ケース２：Ｉ−ＶＯＰ、Ｐ−ＶＯＰ、お
よび、Ｂ−ＶＯＰの場合〕図６は、復号化タイムスタン
プおよびプレゼンテーションタイムスタンプによる仮想
復号器モデルの機能を示すグラフである。図６は、Ｉ−
ＶＯＰ、Ｐ−ＶＯＰ、および、Ｂ−ＶＯＰが存在する場
合を示す。シーケンスにＢ−ＶＯＰが存在すれば、復号
化の順序を入れ替える必要がある。この例では、符号化
されたシーケンスは、ＶＯＰ０、ＶＯＰ１、ＶＯＰ２、
ＶＯＰ３、ＶＯＰ４、．．．を含み、ＶＯＰ０はＩ−Ｖ
ＯＰであり、ＶＯＰ１およびＶＯＰ３はＰ−ＶＯＰであ
り、ＶＯＰ２およびＶＯＰ４はＢ−ＶＯＰである。これ
らのＶＯＰの実際のディスプレイ順序は、０、２、１、
４、３、．．．の順である。ＶＯＰ３およびＶＯＰ４だ
けでなくＶＯＰ１およびＶＯＰ２の入れ替えにも注意さ
れたい。これは、Ｂ−ＶＯＰ２が予測のためにＰ−ＶＯ
Ｐ１を必要とするからであり、したがって、Ｐ−ＶＯＰ
１のディスプレイ順序はＢ−ＶＯＰ２の後であるが、Ｐ
−ＶＯＰ１が先に復号化される。
よび、Ｂ−ＶＯＰの場合〕図６は、復号化タイムスタン
プおよびプレゼンテーションタイムスタンプによる仮想
復号器モデルの機能を示すグラフである。図６は、Ｉ−
ＶＯＰ、Ｐ−ＶＯＰ、および、Ｂ−ＶＯＰが存在する場
合を示す。シーケンスにＢ−ＶＯＰが存在すれば、復号
化の順序を入れ替える必要がある。この例では、符号化
されたシーケンスは、ＶＯＰ０、ＶＯＰ１、ＶＯＰ２、
ＶＯＰ３、ＶＯＰ４、．．．を含み、ＶＯＰ０はＩ−Ｖ
ＯＰであり、ＶＯＰ１およびＶＯＰ３はＰ−ＶＯＰであ
り、ＶＯＰ２およびＶＯＰ４はＢ−ＶＯＰである。これ
らのＶＯＰの実際のディスプレイ順序は、０、２、１、
４、３、．．．の順である。ＶＯＰ３およびＶＯＰ４だ
けでなくＶＯＰ１およびＶＯＰ２の入れ替えにも注意さ
れたい。これは、Ｂ−ＶＯＰ２が予測のためにＰ−ＶＯ
Ｐ１を必要とするからであり、したがって、Ｐ−ＶＯＰ
１のディスプレイ順序はＢ−ＶＯＰ２の後であるが、Ｐ
−ＶＯＰ１が先に復号化される。
【００４２】規則ａ）に基づいて、時刻ＤＴＳ0 におい
て、仮想復号器が、第１のＶＯＰであるＩ−ＶＯＰ０の
復号化を開始する。時刻ＤＴＳ1 において、仮想復号器
は復号化を完了する。モデルは、ＶＯＰ０によって使用
されるメモリーは、時間的に線形であり、ＤＴＳ0 とＤ
ＴＳ1 との間に示される直線であると仮定する。ＤＴＳ
1 とＤＴＳ2 との間において、復号器がＰ−ＶＯＰ１を
復号化し、ＶＯＰ１分のメモリーを消費する。ＤＴＳ2
とＤＴＳ3 との間において、復号器は、Ｂ−ＶＯＰ２を
復号化し、ＶＯＰ２分のメモリーを消費する。
て、仮想復号器が、第１のＶＯＰであるＩ−ＶＯＰ０の
復号化を開始する。時刻ＤＴＳ1 において、仮想復号器
は復号化を完了する。モデルは、ＶＯＰ０によって使用
されるメモリーは、時間的に線形であり、ＤＴＳ0 とＤ
ＴＳ1 との間に示される直線であると仮定する。ＤＴＳ
1 とＤＴＳ2 との間において、復号器がＰ−ＶＯＰ１を
復号化し、ＶＯＰ１分のメモリーを消費する。ＤＴＳ2
とＤＴＳ3 との間において、復号器は、Ｂ−ＶＯＰ２を
復号化し、ＶＯＰ２分のメモリーを消費する。
【００４３】規則ｂ）およびｃ）が、以前のＶＯＰがな
いＰＴＳ0 を除いてそれぞれのＰＴＳにおいて適用され
る。ＰＴＳ2 において、ＶＯＰ２によって消費されたメ
モリーが即座に解放される。このことが、垂直な直線と
してグラフに示される。消費されたメモリーにおける類
似した垂直な落ち込みが、グラフの至る所の時刻ＰＴＳ
i において示される。
いＰＴＳ0 を除いてそれぞれのＰＴＳにおいて適用され
る。ＰＴＳ2 において、ＶＯＰ２によって消費されたメ
モリーが即座に解放される。このことが、垂直な直線と
してグラフに示される。消費されたメモリーにおける類
似した垂直な落ち込みが、グラフの至る所の時刻ＰＴＳ
i において示される。
【００４４】グラフが使用可能最大メモリー資源の限界
値の間にあり、かつ、ＤＴＳおよびＰＴＳが規則ｅ）の
条件を満足してさえいれば、モデルはそれの限界値の範
囲内で動作する。規則ｄ）、ｅ）、または、ｆ）の１つ
かまたはそれ以上に違反したとき、モデルはオーバーフ
ローしてしまう。
値の間にあり、かつ、ＤＴＳおよびＰＴＳが規則ｅ）の
条件を満足してさえいれば、モデルはそれの限界値の範
囲内で動作する。規則ｄ）、ｅ）、または、ｆ）の１つ
かまたはそれ以上に違反したとき、モデルはオーバーフ
ローしてしまう。
【００４５】〔仮想の複雑さ検査〕個々の実施の形態に
おいて、仮想復号器モデルは、符号化されたビットスト
リームの複雑さを制御するためにではなく、ビットスト
リームが複雑さに関する仕様に準拠しているかどうかを
検査するために使用される。２つの検査方法が存在す
る。その１つは、ビットストリームを生成しながら符号
器の内部で実行され、もう１つは、ビットストリームが
生成された後に符号器の外部で実行される。これらがそ
れぞれ図７および図８に示される。
おいて、仮想復号器モデルは、符号化されたビットスト
リームの複雑さを制御するためにではなく、ビットスト
リームが複雑さに関する仕様に準拠しているかどうかを
検査するために使用される。２つの検査方法が存在す
る。その１つは、ビットストリームを生成しながら符号
器の内部で実行され、もう１つは、ビットストリームが
生成された後に符号器の外部で実行される。これらがそ
れぞれ図７および図８に示される。
【００４６】図７は、本発明による仮説に基づいた仮想
複雑さ検査器による複雑さの測定および検査を示す。図
７において、仮説に基づいた仮想複雑さ検査器は、ＰＴ
ＳおよびＤＴＳ発生器モジュール７０１からのＰＴＳお
よびＤＴＳを受け取るだけでなく、費用関数発生器モジ
ュール７０２によって費用関数を計算する。そして、こ
の情報は、上述したように仮想復号器モデル７０３に送
られる。検査器は、ビットストリームが有効であるため
に規則ａ）〜ｆ）が満足されたことを保証する。
複雑さ検査器による複雑さの測定および検査を示す。図
７において、仮説に基づいた仮想複雑さ検査器は、ＰＴ
ＳおよびＤＴＳ発生器モジュール７０１からのＰＴＳお
よびＤＴＳを受け取るだけでなく、費用関数発生器モジ
ュール７０２によって費用関数を計算する。そして、こ
の情報は、上述したように仮想復号器モデル７０３に送
られる。検査器は、ビットストリームが有効であるため
に規則ａ）〜ｆ）が満足されたことを保証する。
【００４７】図８は、仮説に基づいた仮想複雑さ検査器
が符号器モジュール８０１の出力に取り付けられた場合
を示す。解析器モジュール８０２は、符号器の出力から
のビットストリームを解析し、ＰＴＳ、ＤＴＳ、およ
び、マクロブロック符号化タイプを得る。そして、マク
ロブロック符号化タイプは、費用関数発生器モジュール
８０３に送られ、そこで、費用関数が評価される。ＰＴ
ＳおよびＤＴＳとともに費用関数が、上述したように仮
想復号器モデル８０４に送られる。検査器は、ビットス
トリームが有効であるために規則ａ）〜ｆ）が満足され
たことを保証する。
が符号器モジュール８０１の出力に取り付けられた場合
を示す。解析器モジュール８０２は、符号器の出力から
のビットストリームを解析し、ＰＴＳ、ＤＴＳ、およ
び、マクロブロック符号化タイプを得る。そして、マク
ロブロック符号化タイプは、費用関数発生器モジュール
８０３に送られ、そこで、費用関数が評価される。ＰＴ
ＳおよびＤＴＳとともに費用関数が、上述したように仮
想復号器モデル８０４に送られる。検査器は、ビットス
トリームが有効であるために規則ａ）〜ｆ）が満足され
たことを保証する。
【００４８】
【発明の効果】本発明によれば、符号器は、生成された
符号化ビットストリームの複雑さを制御および調整する
ことができる。それと同時に、復号器は、複雑すぎるス
トリームが生成されないことが保証される。本発明の効
果は、復号器の設計が、もはや最悪の事態に基づいたも
のでなくてもよく、規格によって規定された一般的な複
雑さの量に基づいたものであることである。その結果と
して、過度の技術開発が必要でなくなるので、これらの
製品のコストを減少させることができる。
符号化ビットストリームの複雑さを制御および調整する
ことができる。それと同時に、復号器は、複雑すぎるス
トリームが生成されないことが保証される。本発明の効
果は、復号器の設計が、もはや最悪の事態に基づいたも
のでなくてもよく、規格によって規定された一般的な複
雑さの量に基づいたものであることである。その結果と
して、過度の技術開発が必要でなくなるので、これらの
製品のコストを減少させることができる。
【図１】 従来技術によるビットストリームの複雑さお
よび復号器資源の分布を複雑さの単位で示すグラフであ
る。
よび復号器資源の分布を複雑さの単位で示すグラフであ
る。
【図２】 従来技術によるビデオ符号器における複雑さ
の測定および制御を示すブロック構成図である。
の測定および制御を示すブロック構成図である。
【図３】 本発明によるビデオ符号器における仮想復号
器モデルによる複雑さの測定および制御を示すブロック
構成図である。
器モデルによる複雑さの測定および制御を示すブロック
構成図である。
【図４】 本発明による仮想復号器モデルのブロック構
成図である。
成図である。
【図５】 復号化タイムスタンプおよびプレゼンテーシ
ョンタイムスタンプを備えた（フレームの入れ替えはな
い）仮想復号器モデルの機能を示すグラフである。
ョンタイムスタンプを備えた（フレームの入れ替えはな
い）仮想復号器モデルの機能を示すグラフである。
【図６】 復号化タイムスタンプおよびプレゼンテーシ
ョンタイムスタンプを備えた仮想復号器モデルの機能を
示すグラフである。
ョンタイムスタンプを備えた仮想復号器モデルの機能を
示すグラフである。
【図７】 本発明による仮説に基づいた仮想複雑さ検査
器による複雑さの測定および検査を示すブロック構成図
である。
器による複雑さの測定および検査を示すブロック構成図
である。
【図８】 仮説に基づいた仮想複雑さ検査器を用いた複
雑さの測定および検査を示すブロック構成図である。
雑さの測定および検査を示すブロック構成図である。
Claims (11)
- 【請求項１】 圧縮されたビットストリームの計算及び
記憶に必要な条件を制御する方法であって、 ピクチャーを複数のマクロブロックに分割する段階と、 マクロブロックを異なる符号化タイプによってビットス
トリームに符号化する段階と、 マクロブロックの符号化タイプに基づいてビットストリ
ームの費用関数を計算する段階と、 前記費用関数を仮想復号器モデルに適用する段階と、 費用関数の最適な分布が得られるようにピクチャーの復
号化タイムスタンプを調整する段階と、 一組の重み係数を得る段階と、 重み係数を適用して符号化タイプに関する将来の決定を
制御する段階と、 を備えた方法。 - 【請求項２】 ａ）現在のＶＯＰを復号化するのに必要
なメモリー量は、そのＶＯＰのマクロブロック数によっ
て定義され、かつ、現在のＶＯＰの復号化タイムスタン
プと次のＶＯＰの復号化タイムスタンプとの間で一定速
度で消費され、 ｂ）Ｉ−ＶＯＰまたはＰ−ＶＯＰのプレゼンテーション
時刻において、復号化の順序における以前のＩ−ＶＯＰ
またはＰ−ＶＯＰに割り付けられた全メモリーは即座に
解放され、 ｃ）Ｂ−ＶＯＰのプレゼンテーション時刻において、そ
のＢ−ＶＯＰに割り付けられた全メモリーは即座に解放
され、 ｄ）いかなる時刻においても、復号化の順序における
（ｎ＋１）番目のＶＯＰの復号化タイムスタンプＤＴＳ
n+1 は、復号化の順序におけるｎ番目のＶＯＰのプレゼ
ンテーションタイムスタンプＰＴＳn よりも小さいかま
たは等しいものでなければならず、 ｅ）いかなる時刻においても、消費される総メモリー量
は、使用可能な最大メモリー資源量ＭMAX を越えてはな
らず、もし越えれば、仮想復号器はメモリーオーバーフ
ローしたことになり、 ｆ）いかなる時刻においても、現在のＶＯＰの復号化の
複雑さＣn の有効な復号化時間ＤＴＳn+1 −ＤＴＳn に
対する比は、１秒あたりの使用可能な最大の複雑さ資源
Ｃ′MAX よりも小さいものでなければならず、もしそう
でなければ、仮想復号器はメモリーオーバーフローした
ことになる、 規則を備えた請求項１に記載の仮想復号器モデル。 - 【請求項３】 ビットストリームに存在する値は、請求
項２に記載の規則ｄ）、ｅ）、および、ｆ）の条件を満
足しなければならず、かつ、仮想復号器モデルにメモリ
ーまたは複雑さ資源においてオーバーフローを発生させ
ないことによって、請求項１および２に記載のビデオビ
ットストリームの有効性を保証する方法。 - 【請求項４】 マクロブロックの符号化タイプが、イン
トラ符号化、予測符号化、双方向符号化、オーバーラッ
プブロック動き補償を備えた予測符号化、境界形状復号
化を備えたイントラ符号化、および、境界形状復号化を
備えた予測符号化からなり、 費用関数が、ビットストリームに存在するそれぞれの符
号化タイプを復号化する正規化され重み付けられた総費
用である、 請求項１に記載のマクロブロックの符号化タイプに基づ
いてビットストリームの費用関数を計算する方法。 - 【請求項５】 いくつかのピクチャーのタイムスタンプ
が最適化され、それによって、仮想復号器モデルの計算
資源およびメモリー資源の使用可能度に依存して前記ピ
クチャーが最も短い時間で復号化される、請求項１に記
載のビットストリームに存在するピクチャーの復号化タ
イムスタンプを調整する方法。 - 【請求項６】 ビットストリームがビデオビットストリ
ームだけに限定されないビットストリームの計算および
記憶に必要な条件を制御する方法およびモデル。 - 【請求項７】 メモリー使用量を測定する仮想メモリー
バッファーと、 費用関数を計算する費用関数発生器と、 費用関数とメモリー資源使用量とに基づいた復号化タイ
ムスタンプ発生器と、 プレゼンテーションタイムスタンプと復号化タイムスタ
ンプとの比較器と、 マクロブロックタイプ重み係数発生器と、 を備えた請求項１に記載の仮想復号器モデルのための装
置。 - 【請求項８】 生成される圧縮ビデオビットストリーム
の計算および記憶に必要な条件が所定の限界値を越えて
いないことを符号器の内部から検査する方法であって、 復号化タイムスタンプ、プレゼンテーションタイムスタ
ンプ、および、マクロブロックの符号化タイプを得る段
階と、 マクロブロックの符号化タイプに基づいてビットストリ
ームの費用関数を計算する段階と、 前記費用関数を請求項２に記載の規則ａ）、ｂ）、およ
び、ｃ）を履行する仮想復号器モデルに適用する段階
と、 復号化タイムスタンプ、プレゼンテーションタイムスタ
ンプ、および、費用関数が請求項２に記載の規則ｄ）、
ｅ）、および、ｆ）を満足するかどうかを検査する段階
と、 を備えた方法。 - 【請求項９】 符号器の出力に取り付けられた仮説に基
づいた仮想複雑さ検査器によって、圧縮されたビデオビ
ットストリームの計算および記憶に必要な条件が所定の
限界値を越えていないことを検査する方法であって、 符号器の出力においてビットストリームを解析して復号
化タイムスタンプ、プレゼンテーションタイムスタン
プ、および、マクロブロックの符号化タイプを得る段階
と、 マクロブロックの符号化タイプに基づいてビットストリ
ームの費用関数を計算する段階と、 前記費用関数を請求項２に記載の規則ａ）、ｂ）、およ
び、ｃ）を履行する仮想復号器モデルに適用する段階
と、 復号化タイムスタンプ、プレゼンテーションタイムスタ
ンプ、および、費用関数が請求項２に記載の規則ｄ）、
ｅ）、および、ｆ）を満足するかどうかを検査する段階
と、 を備えた方法。 - 【請求項１０】 復号化タイムスタンプ発生器と、 プレゼンテーションタイムスタンプ発生器と、 マクロブロック符号化タイプ発生器と、 費用関数を計算する費用関数発生器と、 メモリー使用量を測定する仮想メモリーバッファーと、 プレゼンテーションタイムスタンプおよび復号化タイム
スタンプ検査器と、 を備えた請求項８に記載の仮想複雑さ検査器のための装
置。 - 【請求項１１】 復号化タイムスタンプ、プレゼンテー
ションタイムスタンプ、および、マクロブロックの符号
化タイプを抽出するためのビットストリーム解析器と、 費用関数を計算する費用関数発生器と、 メモリー使用量を測定する仮想メモリーバッファーと、 プレゼンテーションタイムスタンプおよび復号化タイム
スタンプ検査器と、 を備えた請求項９に記載の仮想複雑さ検査器のための装
置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32876798A JP2000125292A (ja) | 1998-10-13 | 1998-10-13 | ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置 |
| DE69930216T DE69930216T2 (de) | 1998-10-13 | 1999-10-12 | Regelung des Rechen- und Speicheraufwands zur Datenfolgekompression in einem Videodekoder |
| ES99308021T ES2259827T3 (es) | 1998-10-13 | 1999-10-12 | Regulacion de los requisitos de calculo y de memoria de un tren de bits comprimido en un decodificador de video. |
| US09/417,465 US6542549B1 (en) | 1998-10-13 | 1999-10-12 | Method and model for regulating the computational and memory requirements of a compressed bitstream in a video decoder |
| EP99308021A EP0994627B1 (en) | 1998-10-13 | 1999-10-12 | Regulation of the computational and memory requirements of a compressed bitstream in a video decoder |
| KR1019990044307A KR100357233B1 (ko) | 1998-10-13 | 1999-10-13 | 비디오 디코더의 압축 비트스트림의 계산 및 메모리 요구를 조절하는 방법 및 모델 |
| CNB991216733A CN1198464C (zh) | 1998-10-13 | 1999-10-13 | 视频解码器压缩位流的计算和存储要求的调节方法和模块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32876798A JP2000125292A (ja) | 1998-10-13 | 1998-10-13 | ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000125292A true JP2000125292A (ja) | 2000-04-28 |
Family
ID=18213921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32876798A Pending JP2000125292A (ja) | 1998-10-13 | 1998-10-13 | ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000125292A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004004357A1 (ja) * | 2002-06-28 | 2004-01-08 | Matsushita Electric Industrial Co., Ltd. | 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム |
| JP2012034389A (ja) * | 2006-09-11 | 2012-02-16 | Apple Inc | 複雑性認識符号化 |
-
1998
- 1998-10-13 JP JP32876798A patent/JP2000125292A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004004357A1 (ja) * | 2002-06-28 | 2004-01-08 | Matsushita Electric Industrial Co., Ltd. | 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム |
| JP2012034389A (ja) * | 2006-09-11 | 2012-02-16 | Apple Inc | 複雑性認識符号化 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100357233B1 (ko) | 비디오 디코더의 압축 비트스트림의 계산 및 메모리 요구를 조절하는 방법 및 모델 | |
| US6925120B2 (en) | Transcoder for scalable multi-layer constant quality video bitstreams | |
| US6522693B1 (en) | System and method for reencoding segments of buffer constrained video streams | |
| US6289129B1 (en) | Video rate buffer for use with push dataflow | |
| Van der Auwera et al. | Traffic and quality characterization of single-layer video streams encoded with the H. 264/MPEG-4 advanced video coding standard and scalable video coding extension | |
| KR100329892B1 (ko) | 다수의 비디오 프레임 스트림 처리 방법 및 그 장치 | |
| JP4786114B2 (ja) | 映像をコード化するための方法及び装置 | |
| Zhang et al. | Constant quality constrained rate allocation for FGS-coded video | |
| JPH07202820A (ja) | ビットレート制御システム | |
| GB2309611A (en) | A motion video compression system with buffer empty/fill look-ahead bit allocation | |
| US20080130739A1 (en) | Method and device for transmitting video data | |
| KR100601615B1 (ko) | 네트워크 대역폭에 적응적인 영상 압축 장치 | |
| KR100841268B1 (ko) | 비디오 데이터의 품질을 모니터링하기 위한 방법 및 디바이스, 및 비디오 데이터의 코딩용 시스템 | |
| EP0919952A1 (en) | Method for coding/decoding of a digital signal | |
| JPH09187007A (ja) | 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器 | |
| Mattavelli et al. | Implementing real-time video decoding on multimedia processors by complexity prediction techniques | |
| JP4619479B2 (ja) | 統計的多重化システム | |
| Zhang et al. | Constant-quality constrained-rate allocation for FGS video coded bitstreams | |
| US20060159171A1 (en) | Buffer-adaptive video content classification | |
| CN100521794C (zh) | 视频数据流的编码设备 | |
| JP2000125292A (ja) | ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置 | |
| EP0956705A1 (en) | Apparatus and method for extracting measures of a bitstream's processing requirements for decoding | |
| KR100394014B1 (ko) | 영상 변환 부호화 장치 | |
| JP3836701B2 (ja) | 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置 | |
| JP2000244909A (ja) | 圧縮ビデオのビットストリームの検定方法および装置 |