JP2001275114A - ビデオ符号器における、重み付きマクロブロックに基づいた、適応的ビット割り当てのための方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 テストモデル５（ＴＭ５）規格において、レ
ート制御モジュールは、指示されたフレーム目標を達成
するため量子化スケールを調節し、符号器がこの指示さ
れたフレーム目標に近いビットストリームを生成する。
しかし、ＴＭ５は、重要な領域をより多くのビットで符
号化するという、領域的な強調を支持しない。 【解決手段】 この発明は、ここには、重み付きマクロ
ブロックを用いて、重要な領域により多くのビットを割
り当てる、適応的ビット割り当て法を提供する。この方
法は、付加される重みを持った各マクロブロックのため
に使用できるビット数を計算し、特定の領域における高
品質の画像を獲得する。マクロブロックの重みを使用す
る際に生じるビット欠乏を防止する方法も又開示されて
いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオシーケンス
の特定の領域が強調されるような、ビデオデータ圧縮シ
ステムにおいて用いることができる。強調された領域は
強化された映像品質を持つことになる。

【０００２】

【従来の技術】ＩＳＯ／ＪＥＣ，ＪＴＣ１／ＳＣ２９／
ＷＧ１１，ＭＰＥＧ−１，及びＭＰＥＧ−２規格のよう
なビデオ圧縮技法において、符号器はビデオシーケンス
におけるすべてのフレームをそれぞれ符号化する必要が
ある。フレームは通常それぞれ内部フレーム、予測フレ
ーム、及び双方向フレームからなる映像群に分割され
る。

【０００３】符号化の前に、各フレームは複数のマクロ
ブロックに分割されなければならない。一つのフレーム
における一つのマクロブロックを符号化するための作用
は、動き予測（ＭＥ）、離散コサイン変換（ＤＣＴ）、
量子化（Ｑ）、逆量子化（ＩＱ）、逆離散コサイン変換
（ＩＤＣＴ）、動き補償（ＭＣ）、及び可変長符号化
（ＶＬＣ）を含む。可変長符号化モジュールからの出力
ビットの量はレート制御（ＲＣ）モジュールによって管
理され規制される。

【０００４】ＩＳＯ／ＪＥＣ，ＪＴＣ１／ＳＣ２９／Ｗ
Ｇ１１，ＭＰＥＧ９３／４５７テストモジュール５（Ｔ
Ｍ５）規格においては、レート制御モジュールは、量子
化スケールを調整することによって、生成されるビット
ストリームを規制する。量子化スケールが低いほど、生
成されるビット数は多くなる一方、量子化スケールが高
いほど、生成されるビット数は少なくなる。このことに
よって、符号器は、指定されたフレーム目標に近いビッ
トストリームを生成することができるようになる。ＲＣ
モジュールは、各マクロブロックのため使用できる残り
の平均ビット数を計算し、量子化スケールを導く。

【０００５】しかし、上記ＴＭ５モデルは領域的な強調
を支持しない。領域的な強調とは画像の質を強化するた
め、一部のブロックを犠牲にして、一部のマクロブロッ
クに、より多くの重みを割り当てるプロセスを意味す
る。例えば、前面に表示されるテキストのような重要な
領域には、背景情報のようなより重要でない領域に比べ
て、より大きな重みを割り当てる。このことによって、
全体的に良好な品質の映像を、同じ数のビット、または
フレーム目標を用いて獲得することができる。このこと
を達成するための一つの方法は、図１に示されているよ
うに、レート制御モジュールの出力における重み付きマ
クロ情報を乗算することにである。こうすることによっ
て、重く重みづけられたマクロブロックは、より軽く重
みづけられたマクロブロックに比べて、より良好な品質
の映像を持つことになる。

【０００６】しかし、この方法には、符号器が、生成さ
れる出力ビットストリームを効果的に制御することがで
きないため、切実なオーバーフロー及びアンダーフロー
問題をもたらすと言ったような制限がある。ＴＭ５にお
いては、符号器は、残りのマクロブロック数に基づい
て、一つのマクロブロックを符号化するためのビット数
を計算し割り当てる。これは、使用できるビット数を、
符号化の必要があるマクロブロック数で割ることにより
行われる。この結果は次のマクロブロックに使用できる
平均ビット数を与え、この値は量子化スケールを計算す
るためにも用いられる。ある重みが量子化スケールに加
えられると、次のマクロブロックを符号化するため、よ
り多くのビットが使用されることになる。このことは、
映像の残りのマクロブロックにおけるビット欠乏の原因
となる。

【０００７】例えば、図２において、映像の右下端の、
大きなグラフィックス情報を要する映像に関しては、ビ
デオ符号器は、加えられる重みを持ったＴＭ５モデルを
使用して、動的にビットを保存することができない。こ
のため、この映像の最後の数枚のスライスを符号化する
ときに、オーバーフロー問題またはビット欠乏が生じ
る。なぜなら、多くのビットが、最初のいくつかの重く
重みづけられたマクロブロックによってすでに使用され
ているので、ビット要件を満たすことができなくなるか
らである。

【０００８】同様に、映像の左上端の領域において、画
像品質を強調すれば、良質の画像を得ることができる。
しかし、これによって、他の領域においてビット欠乏が
生じる。図３に示すように、特に画像における最後の数
枚のスライスに対して、その様なことが起こる。

【０００９】

【発明が解決しようとする課題】ＴＭ５モデルに基づい
た、典型的なソフトウエア・ベースの符号器は、作製者
によって定義された領域に基づいて、適応的にビットを
割り当てることができない。例えば、それは、重要な領
域に小さな量子化スケールを割り当て、より重要でない
領域に大きな量子化スケールを割り当てることができな
い。

【００１０】上記の従来技術における問題の解決法の一
つは、量子化スケールに、重み因子を乗算する方法であ
る。しかしながら、この方法によっても、すでに述べた
ように、重要性に基づいて、異なった領域にビットを割
り当てる際に、制限がある。

【００１１】この課題を解決するために、次のような特
徴を持った符号化技法を提供することが、本発明の目的
である。 ａ）符号化プロセスにおいて柔軟である。 ｂ）選択的に強調し、個別のマクロブロックに重みを割
り当てることができる。 ｃ）与えられた同じ数のビットを用いて、高品質の画像
を生成することができる。 ｄ）ビット割り当てモジュールを改善して、ビット欠乏
問題を減少させる。 ｅ）符号化中のオーバーフロー及びアンダーフローの問
題を最小化する。

【００１２】

【課題を解決するための手段】上記課題を解決するた
め、映像マップモデルと適応的ビット割り当てモデルを
設計する。映像マップモデルは、強調の分配とそれぞれ
の重みを指示するフレーム情報を含む。適応的ビット割
り当てモジュールは、バッファ占有状態とマクロブロッ
クの重みに基づいて、各マクロブロックへのビット割り
当てを計算し実行する。

【００１３】可変の重要性を持ったフレームを符号化す
るために、適応的ビット割り当てモデルは、映像マップ
における重み付きマクロブロック情報を使い、バッファ
占有状態に関する情報と併せて、そのマクロブロックに
割り当てるビット数を計算する。使用できるビット数を
知って、量子化パラメータを決定する。量子化パラメー
タを変化させることは圧縮された映像の画像品質を変化
させる。

【００１４】

【発明の作用】本発明の作用は次のごとくである。符号
器は映像マップモデルにおける情報をチェックする。映
像マップモデルは、符号化されるべき、マクロブロック
に分割された、映像フレームに関する情報を含んでい
る。映像マップの各マクロブロックは映像フレームの各
マクロブロックに対応し、そのマクロブロックに対する
重みを指示している。重く重みづけられたマクロブロッ
クはより大きく強調されるべき領域に与えられ、より良
質の画像品質を必要とし、軽く重みづけられたマクロブ
ロックはより小さく強調されるべき領域に与えられる。

【００１５】符号器が一つのマクロブロックを符号化す
るとき、バッファ占有状態において使用できるビットの
量は、映像マップにおける重み情報とともに、次のマク
ロブロックを符号化するために割り当てられる平均ビッ
ト数を計算するため用いられる。使用できるビット数を
知れば、量子化パラメータの値を計算することができ
る。このことによって、出力ビットストリームがアンダ
ーフローまたはオーバーフローする事を防ぎ、同時に、
同じビットレートを使って、全体の画像を改善すること
ができる。

【００１６】

【発明の実施の形態】本発明の実施例は図４、５、６、
及び７に描かれている。

【００１７】（符号器のアーキテクチャー）図４は符号
化の機能的ダイアグラムを示す。本発明は、重みづけら
れたマクロブロックを用いて、ビットを適応的に割り当
て、符号化プロセスにおいて、画像品質を改善するとい
う考えを提供する。以下の説明は、本発明の実施例の理
解のためにのみ用いられる。

【００１８】符号化に先立っての前に、入力画像１１
は、空間的に重複しない、ピクセルデータのマクロブロ
ックに分割される。各ブロックは、線２５と２６を通じ
て、ＤＣＴモジュール１２に渡され、ＤＣＴ領域係数に
変換される。この変換によって得られた係数は、それか
ら線２７を通じて、量子化モジュール１３に渡され、そ
こで量子化される。量子化された係数はそれから線２８
を通じて、ＶＬＣモジュール２０に渡される。そこで係
数はビットストリームに可変長符号化され、線４２を通
じて、バッファ２１に一時的に格納される。

【００１９】ビット割り当てモジュール１９とバッファ
占有状態モジュール２２は、情報を、バッファモジュー
ル２１から、線４０を通じて獲得し、出力ビットレート
を規制する。映像マップモジュール２３からの、重み付
きマクロブロックの情報は、線４４を通じて、ビット割
り当てモジュール１９に送られ、ビット割り当てモジュ
ール１９は、線４１を通じて、適当な量子化ステップサ
イズを割り当てることによって、フローを制御する。

【００２０】量子化モジュール１３からの量子化係数は
また、線２９を通じて、逆量子化モジュール１４に渡さ
れる。逆量子化モジュール１４の出力は、線３０を通じ
て、逆ＤＣＴモジュール１５に渡される。もし画像が内
部フレームならば、再構築されたフレームが、線３３を
通じて、フレーム格納器１７に格納される。

【００２１】予測フレームに対しては、分割されたブロ
ックが、線３７を通じて、動き予測モジュール１８に渡
される。予測における最善の適合を得るため、動き予測
モジュール１８は、参照フレーム情報と現在フレーム情
報に基づいて、動きベクトルを計算する。この動きベク
トル及びフレーム格納器１７における局所的に再構築さ
れたフレームは、線３５と３４を通じて、動き補償モジ
ュール１６に渡される。画像における差異は、現在の入
力ブロック２５から、動き補償され復号化されたフレー
ム３８を減算することによって形成される。この信号は
それから、線２６を通じて、ＤＣＴモジュール１２に渡
される。

【００２２】（映像マップ）図５は映像マップモデルの
ダイアグラムを示す。映像マップの役割はどのマクロブ
ロックがより大きな重みを持ち、どのマクロブロックが
より小さな重みを持つかを、符号器に指示することであ
る。より大きな重みを持ったマクロブロックはより良質
の出力を持つことになる。

【００２３】映像マップは複数のブロックに分割され
る。各ブロックは映像フレームの各マクロブロックを表
現しそれに対応する。ブロックは異なったスケールに対
応している。すべてのスケールはそれぞれある重みを表
現する。図５は映像マップの一例を示す。スケールの差
は数値表現によって記されている。使用されるレベルの
数には制限がない。この例では、値１は最小の重みを持
ったマクロブロック６１を表現する。値９は最大の重み
を持ったマクロブロック６２を表現する。これらのマク
ロブロックの状態は、多くの手段によって導くことがで
きる。例えば、現在の映像フレームから、あるいは他の
あらかじめ決定された手段から導くことができる。

【００２４】（適応的ビット割り当て）図６は、付加さ
れる、適応的ビット割り当てモジュールを用いた、符号
器のアーキテクチャーの、単純化されたブロックダイア
グラムを示す。

【００２５】一つのマクロブロックが符号化されると
き、それはＤＣＴ２０１、量子化２５２、及びＶＬＣ２
５３の作用を経過する。符号化されたビットストリーム
はバッファモジュール２０４に印加され格納される。残
りの他のマクロブロックを符号化するため使用できる、
残りのビットを追跡するため、符号化されたビットスト
リームの長さが、バッファ占有状態モジュール２０５に
よって記録される。バッファ占有状態モジュール２０５
は、映像フレームを符号化するために使用されるビット
ストリームのみを監視する。ビットストリームの情報
は、次の量子化パラメータを計算するため、ビット割り
当てモジュール２０６に送られる。重み付きマクロブロ
ック情報２０７もまた用いられ、この量子化パラメータ
の決定に影響する。

【００２６】図７は適応的ビット割り当てプロセスのフ
ローダイアグラムを示す。これについては、各ステップ
に分けて、以下に説明する。 ａ）残りの重み単位の総和ωｔを決定する、ステップ２
５２。これは映像マップにおける重みの、符号化される
べきすべての表現の和を取ることによって得ることがで
きる。 ωｔ＝符号化されるべきマクロブロックの重みの和。 ｂ）残りのビットの総和βｔを決定する、ステップ２５
３。これはバッファ占有状態モジュールから容易に得る
ことができる。 βｔ＝フレーム目標−符号化されたビット数の和。 ｃ）１重み単位あたりのビット数β１を計算する、ステ
ップ２５４。これは残りのビット数の総和を残りの重み
の総和で割ることにより得ることができる。 β１＝βｔ／ωｔ。 ｄ）重み付きの一つのマクロブロックを符号化するため
に使用できる、ビット数βｊを計算する、ステップ２５
５。これは１重み単位あたりのビット数と現在のマクロ
ブロックに対する重みを掛けることにより得ることがで
きる。 βｊ＝β１＊ωｊ。 ｅ）一マクロブロックの符号化のため使用できるビット
数に基づいて、量子化スケールの値Ｑｊを計算する、ス
テップ２５６。量子化スケールは一マクロブロックの符
号化のため使用できるビット数に正規化パラメータＮを
掛けることにより得ることができる。 Ｑｊ＝βｊ＊Ｎ。 ｆ）更に別のマクロブロックが存在するかどうかを判定
する、ステップ２５７。もし存在するならば、ステップ
ａ）からｅ）を繰り返す。

【００２７】

【発明の効果】本発明によれば、符号器は、割り当てら
れた量のビットを能率的に利用して、全体的に良質の画
像を提供することができる。映像マップモジュール及び
適応的ビット割り当てモジュールの助けによって、この
考えを実現することができる。

【００２８】本発明の効果は、符号器が、重要な領域
に、より大きな重みを効果的に割り当て、それによっ
て、同じビットレートを用いて、ビデオ・シーケンスに
対して、より良好な画像品質を獲得することができると
言うことである。

【図面の簡単な説明】

【図１】 映像品質を強化するため重み付きマクロブロ
ック情報を付加する方法（従来技術）。

【図２】 映像の右下端に強調が置かれるときに生じ
る、ビット欠乏問題（従来技術）。

【図３】 映像の左上端に強調が置かれるときに生じ
る、ビット欠乏問題（従来技術）。

【図４】 重みに基づく、適応的ビット割り当ての、符
号器アーキテクチャー（本発明）。

【図５】 異なったスケールで表現された、マクロブロ
ック重みを持った映像マップ（本発明）。

【図６】 適応的ビット割り当てが付加された、符号器
アーキテクチャーの単純化されたブロックダイアグラム
（本発明）。

【図７】 適応的ビット割り当て作用のフローダイアグ
ラム（本発明）。

【符号の説明】

１１ 入力画像 １２ ＤＣＴモジュール １３ 量子化モジュール １９ ビット割り当てモジュール ２０ ＶＬＣモジュール ２１ バッファ ２２ バッファ占有状態モジュール ２３ 映像マップモジュール

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ティオ ケン・タン シンガポール534415シンガポール、タイ・ セン・アベニュー、ブロック1022、04− 3530番、タイ・セン・インダストリアル・ エステイト、パナソニック・シンガポール 研究所株式会社内 Ｆターム(参考） 5C059 KK25 MA23 NN01 TA45 TA60 TB07 TC34

Claims (18)

【特許請求の範囲】
1. 【請求項１】 ビデオ符号器において、重み付きマクロ
   ブロックに基づいて適応的にビットを割り当てるための
   装置であって、 映像マップモジュール、 バッファ占有状態モジュール、及び 適応的ビット割り当てモジュールから構成される装置。
2. 【請求項２】 前記映像マップモジュールが一つの映像
   フレームを複数のマクロブロックに分割する手段及び前
   記映像フレームにおける各前記マクロブロックの重要性
   のスケールを認定するための手段から構成される、請求
   項１の装置。
3. 【請求項３】 前記各マクロブロックの重要性のスケー
   ルを認定するための前記手段が、 前記映像フレームにおける重要な領域を決定し分類する
   ための手段及び前記映像フレームにおける前記重要な領
   域に、複数の重みを割り当てる手段から構成される、請
   求項２の装置。
4. 【請求項４】 前記重みがより大きな強調または重要性
   を持ったマクロブロックを表現する、大きな重みとより
   小さな強調または重要性を持ったマクロブロックを表現
   する、小さな重みとの間に渉る、請求項３の装置。
5. 【請求項５】 前記バッファ占有状態モジュールが出力
   ビットストリームバッファとのインタフェースを行うた
   めの手段、 前記出力ビットストリームバッファからビットストリー
   ム情報を取り戻すための手段、及び使用されるビット数
   を追跡し監視するための手段から構成される、請求項１
   の装置。
6. 【請求項６】 使用されるビット数を追跡し監視するた
   めの前記手段が一つの映像フレームにおいて使用される
   ビット数を決定するための手段及び前記映像フレームに
   おいて符号化のために使用可能な、残りのビット数を計
   算するための手段から構成される、請求項５の装置。
7. 【請求項７】 前記適応的ビット割り当てモジュール
   が、次のマクロブロックに対する量子化パラメータを計
   算するための手段から構成される、請求項１の装置。
8. 【請求項８】 次のマクロブロックに対する量子化パラ
   メータを計算するための前記手段が一つの重み単位を符
   号化するために使用できるビット数を計算するための手
   段、 割り当てられた重みを持った一つのマクロブロックを符
   号化するために使用できるビット数を計算するための手
   段、及び割り当てられた重みを持った一つのマクロブロ
   ックを符号化するために使用できる前記ビット数と、正
   規化パラメータを、乗算することによって、量子化パラ
   メータを計算するための手段から構成される、請求項７
   の装置。
9. 【請求項９】 前記適応的ビット割り当てモジュールが
   前記バッファ占有状態モジュールとのインタフェースを
   行うための手段、 前記バッファ占有状態モジュールから、使用可能なビッ
   ト数に関する情報を取り戻すための手段、 前記映像マップモジュールとのインタフェースを行うた
   めの手段、 前記映像マップモジュールから、重み付きマクロブロッ
   クに関する情報を受け取るための手段、 量子化モジュールとの間のインタフェースを行うための
   手段、及び量子化パラメータを前記量子化モジュールに
   送るための手段から構成される、請求項１の装置。
10. 【請求項１０】 ビデオ符号器において、重み付きマク
    ロブロックに基づいて適応的にビットを割り当てるため
    の方法であって、 前記映像マップモジュールから重み付きマクロブロック
    に関する情報を獲得し計算するステップ、 前記バッファ占有状態モジュールから、符号化された全
    ビットストリームに関する情報を獲得し計算するステッ
    プ、及び前記バッファ占有状態モジュール及び前記映像
    マップモジュールから得られた情報に基づいて、次のマ
    クロブロックに対する量子化パラメータを計算するステ
    ップから構成される方法。
11. 【請求項１１】 前記映像マップモジュールから重み付
    きマクロブロックに関する情報を獲得し計算する前記ス
    テップが更に一つの映像フレームを複数のマクロブロッ
    クに分割するステップ及び前記映像フレームにおける各
    前記マクロブロックの重要性のスケールを認定するステ
    ップから構成される、請求項１０の方法。
12. 【請求項１２】 前記各マクロブロックの重要性のスケ
    ールを認定する前記ステップが更に前記映像フレームに
    おける重要な領域を決定し分類するステップ及び前記映
    像フレームにおける前記重要な領域に、複数の重みを割
    り当てるステップから構成される請求項１１の方法。
13. 【請求項１３】 前記重みがより大きな強調または重要
    性を持ったマクロブロックを表現する、大きな重みとよ
    り小さな強調または重要性を持ったマクロブロックを表
    現する、小さな重みの間に渉る、請求項１２の方法。
14. 【請求項１４】 前記バッファ占有状態モジュールか
    ら，符号化された全ビットストリームに関する情報を獲
    得し計算する前記ステップが、 出力ビットストリームバッファとのインタフェースを行
    うステップ、 前記出力ビットストリームバッファからビットストリー
    ム情報を取り戻すステップ、及び使用されるビット数を
    追跡し監視するステップから構成される、請求項１０の
    方法。
15. 【請求項１５】 使用されるビット数を追跡し監視する
    前記ステップが一つの映像フレームにおいて使用される
    ビット数を決定するステップ及び前記映像フレームにお
    いて符号化のために使用可能な、残りのビット数を計算
    するステップから構成される、請求項１４の方法。
16. 【請求項１６】 次のマクロブロックに対する量子化パ
    ラメータを計算する前記ステップが一つの重み単位を符
    号化するために使用できるビット数を計算するステッ
    プ、 割り当てられた重みを持った一つのマクロブロックを符
    号化するために使用できるビット数を計算するステップ
    及び割り当てられた重みを持った一つのマクロブロック
    を符号化するために使用できる前記ビット数と、正規化
    パラメータを、乗算することによって、量子化パラメー
    タを計算するステップから構成される、請求項１０の方
    法。
17. 【請求項１７】 一つの重み単位を符号化するために使
    用できるビット数を計算する前記ステップが更に使用可
    能な残りのビット数を決定するステップ、 使用可能な重み単位数を決定するステップ、及び前記使
    用可能な残りのビット数を前記使用可能な重み単位数で
    除算するステップから構成される、請求項１６の方法。
18. 【請求項１８】 使用可能な重み単位数を決定する前記
    ステップが更に符号化されるべきマクロブロックの全重
    みを合計するステップ及び符号化されるべきマクロブロ
    ックの全重みを合計する前記ステップによって得られた
    重みの合計数を、前記符号化されるべきマクロブロック
    の数で除算するステップから構成される、請求項１７の
    方法。