JP2011171855A - 画像符号化装置及び画像変換装置 - Google Patents

Abstract

【課題】短い単位時間における発生符号量の増加を抑制し、画像データをリアルタイムに符号化することができる技術を提供することを課題とする。
【解決手段】画像符号化装置１は、符号化対象のマクロブロックの量子化パラメータＱｒを求める。量子化パラメータＱｒは、補正値Ｑｏｆｆが加算されることにより補正される。符号化部１４は、補正された量子化パラメータＱｒを用いてマクロブロックを符号化する。符号化後、量子化パラメータ補正部１３は、符号化済みのマクロブロックごとに設定された目標符号量を累積して累積目標符号量Ｔｔを算出し、符号化済みのマクロブロックの発生符号量ＲＭを累積して累積発生符号量Ｃｔを算出する。累積発生符号量Ｃｔが累積目標符号量Ｔｔよりも大きければ、量子化パラメータ補正部１３は、補正値Ｑｏｆｆを増加させる。新たに符号化されるマクロブロックは、符号化済みのマクロブロックよりも粗く量子化される。
【選択図】図１

Description

本発明は、ＭＰＥＧあるいはＨ．２６４などの規格に基づいて画像データを符号化する技術に関する。

デジタル放送で配信される画像データや、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ハードディスク装置などに格納される画像データなどは、各種の符号化方式に従って圧縮される。画像データの圧縮は、伝送帯域の圧迫の抑制、あるいは、伝送速度の向上、記憶サイズの縮小などを目的として行われる。

画像データの圧縮には、ＭＰＥＧ２や、Ｈ．２６４などの符号化方式が頻繁に用いられる。これらの符号化方式に対応するエンコーダには、単位時間（１ピクチャなど）当たりに発生する符号量の目標値（目標符号量）が予め設定されている。エンコーダは、単位時間当たりの圧縮画像データの符号量(発生符号量)が目標符号量を超えることがないように符号量制御を行う。

符号量制御では、目標符号量と現在の発生符号量との差分値に基づくフィードバック制御が行われる。現在の発生符号量が目標符号量よりも大きければ、量子化ステップ値は、粗めに設定される。発生符号量が目標符号量よりも小さければ、量子化ステップ値は、細かく設定される。これにより、長い時間単位（秒単位など）での平均的な発生符号量が目標符号量となるように制御することができる。

特開２００６−３２５２３９号公報

上述した符号量制御の方法では、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位、ピクチャ単位などの短い単位時間では、発生符号量が目標符号量よりも大きくなることがある。この場合、圧縮画像データの伝送先のバッファが、オーバーフローするなどの問題が発生するおそれがある。

上記特許文献１には、短い単位時間における符号量を目標符号量に抑えるエンコーダが開示されている。エンコーダは、入力画像信号の各マクロブロックをｎ個の量子化器で量子化する。エンコーダは、各量子化ステップ値で量子化されたマクロブロックに対して可変長符号化を行うことにより、各量子化ステップ値で量子化されたマクロブロックの符号量を検出する。エンコーダは、ピクチャの目標符号量に最も近くなるように、各マクロブロックの量子化ステップ値の組み合わせを決定する。

しかし、特許文献１に記載された方法で入力画像信号を符号化した場合、演算量が膨大となる。このため、リアルタイムに入力画像信号を符号化することが困難である。

そこで、本発明は前記問題点に鑑み、短い単位時間における発生符号量の増加を抑制し、画像データをリアルタイムに符号化することができる技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、非圧縮画像データを符号化する画像符号化装置であって、符号化対象であるカレントマクロブロックの量子化の粗さを示す粗さ設定値を決定する決定部と、決定された前記粗さ設定値に補正値を加算することにより、前記粗さ設定値を補正する粗さ補正部と、補正された粗さ設定値を用いて前記カレントマクロブロックを符号化する符号化部と、を備え、前記粗さ補正部は、最初に符号化された先頭マクロブロックから前記カレントマクロブロックまでのマクロブロックごとの発生符号量を累積して第１累積発生符号量を算出し、前記マクロブロックごとに設定された目標符号量を累積して第１累積目標符号量を算出する符号量累積部と、前記第１累積発生符号量が前記第１累積目標符号量よりも大きい場合、前記補正値を更新する補正値更新部と、を含む。

請求項２記載の発明は、請求項１に記載の画像符号化装置において、前記粗さ補正部は、前記カレントマクロブロックが符号化されるまでに符号化された符号化済みマクロブロックごとの発生符号量の総和と、前記符号化済みマクロブロックごとの目標符号量の総和との差分値を、超過符号量として算出する超過符号量算出部、を含み、前記補正値更新部は、前記第１累積発生符号量から前記第１累積目標符号量を引いた差分値が前記超過符号量よりも大きい場合、前記補正値を更新する。

請求項３記載の発明は、請求項１または請求項２に記載の画像符号化装置において、さらに、前記カレントマクロブロックの画素値のばらつき度合いを示すアクティビティに基づいて、前記カレントマクロブロックのレベルを決定するレベル決定部、を備え、前記補正値は、前記レベルに対応したレベル対応補正値、を含み、前記粗さ補正部は、前記レベル対応補正値のうち、前記カレントマクロブロックのレベルであるカレントレベルに対応するカレントレベル対応補正値を用いて前記粗さ設定値を補正し、前記補正値更新部は、前記第１累積発生符号量が前記第１累積目標符号量よりも大きい場合、前記カレントレベル対応補正値を更新する。

請求項４記載の発明は、請求項３に記載の画像符号化装置において、前記符号量累積部は、前記マクロブロックのうち、前記カレントレベルに分類された分類マクロブロックごとの発生符号量を累積して第２累積発生符号量を算出し、前記分類マクロブロックごとの目標符号量を累積して第２累積目標符号量を算出し、前記補正値更新部は、前記第２累積発生符号量が前記第２累積目標符号量よりも大きい場合、前記カレントレベル対応補正値を更新する。

請求項５記載の発明は、請求項４に記載の画像符号化装置において、前記カレントマクロブロックが符号化されるまでに符号化された分類マクロブロックごとの発生符号量の総和から、前記符号化された分類マクロブロックの目標符号量の総和を引いた値をレベル超過符号量として算出する超過符号量算出部、を含み、前記補正値更新部は、前記第２累積発生符号量と前記第２累積目標符号量との差分値が前記レベル超過符号量よりも大きい場合、前記カレントレベル対応補正値を更新する。

請求項６記載の発明は、請求項４または請求項５に記載の画像符号化装置において、前記補正値更新部は、更新された前記カレントレベル対応補正値が予め設定された上限値を超えた場合、前記カレントレベル対応補正値を前記上限値に設定する。

請求項７記載の発明は、請求項４または請求項５に記載の画像符号化装置において、前記補正値更新部は、前記第２累積発生符号量が前記第２累積目標符号量と前記カレントレベルに対応して設定された調整値との和である更新基準値よりも大きければ、前記カレントレベル対応補正値を更新する。

請求項８記載の発明は、請求項４または請求項５に記載の画像符号化装置において、前記補正値更新部は、前記カレントレベル対応補正値が更新された場合、更新された前記カレントレベル対応補正値を用いて前記粗さ設定値を補正した補正使用回数をカウントし、前記補正使用回数が所定値よりも大きければ、前記カレントレベル対応補正値を再び更新する。

請求項９記載の発明は、符号化画像データを復号する画像復号化装置と、請求項１ないし請求項８のいずれかに記載の前記画像符号化装置と、を備え、前記画像復号化装置は、デコードした画像データを、前記非圧縮画像データとして前記画像符号化装置に入力する。

本発明の画像符号化装置は、カレントマクロブロックの符号化後に、累積発生符号量と累積目標符号量とを比較する。本発明の画像符号化装置は、累積発生符号量が累積目標符号量よりも大きければ、粗さ設定値に加算される補正値を更新する。新たに符号化されるマクロブロックは、カレントマクロブロックよりも粗く量子化される。これにより、本発明の画像符号化装置は、ピクチャの発生符号量がピクチャの目標符号量を大きく上回ることを防止することができ、安定したビットレートで符号化画像データを出力することができる。

本発明の画像符号化装置は、カレントマクロブロックのアクティビティレベルに応じたレベル対応補正値を、粗さ設定値の補正値として使用する。カレントマクロブロックの符号化後、補正値として使用されたレベル対応補正値は、比較結果に基づいて更新される。このように、本発明の画像符号化装置は、マクロブロックのアクティビティに応じて符号量制御を実行する。したがって、符号量制御に伴って、全てのマクロブロックの画質が一律に劣化することを防止することができる。

本発明の実施の形態に係る画像符号化装置の機能的構成を示すブロック図である。 非圧縮画像データのマクロブロックの構成を示す図である。 アクティビティとアクティビティレベルとの対応を示すテーブルである。 アクティビティレベルの決定の流れを示すフローチャートである。 ピクチャ単位での符号化の流れを示すフローチャートである。 マクロブロックの符号化に応じて変化する変化パラメータの初期値を示す図である。 図５に示すステップＳ８の処理の流れを示すフローチャートである。 アクティビティレベルに応じて設定される固定パラメータの設定値を示す図である。 図７に示すステップＳ８０７の処理の流れを示すフローチャートである。 本発明の実施の形態の変形例に係る画像変換装置の機能的構成を示すブロック図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

｛１．全体構成｝
図１は、本実施の形態に係る画像符号化装置１の機能的構成を示すブロック図である。図１に示すように、画像符号化装置１は、入力された非圧縮画像データ２１をＨ．２６４方式で符号化して、Ｈ．２６４画像データ２２を出力する。

画像符号化装置１は、量子化パラメータ決定部１１と、アクティビティレベル決定部１２と、量子化パラメータ補正部１３と、符号化部１４とを備える。以下、非圧縮画像データ２１のマクロブロックのうち、符号化対象のマクロブロックを「カレントＭＢ（Ｍａｃｒｏｂｌｏｃｋ）」と呼ぶ。

量子化パラメータ決定部１１は、カレントＭＢの量子化パラメータＱｒを決定する。量子化パラメータＱｒは、量子化ステップ値を決定するために用いられる。

アクティビティレベル決定部１２は、カレントＭＢのアクティビティを計算し、計算したアクティビティに基づいてカレントＭＢのアクティビティレベルＡＬを決定する。アクティビティ及びアクティビティレベルＡＬの詳細は、後述する。

量子化パラメータ補正部１３は、カレントＭＢの量子化パラメータＱｒを補正する。量子化パラメータ補正部１３は、量子化パラメータＱｒの補正値であるＱＰ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）補正値Ｑｏｆｆを、カレントＭＢのアクティビティレベルＡＬに基づいて決定する。

量子化パラメータ補正部１３は、量子化パラメータＱｒの補正に用いられ、かつアクティビティレベルＡＬごとに設定されたレベル対応補正値ＨＱａ（ｉ）（図６参照）を保持している。「ｉ」はアクティビティレベルＡＬに対応する。カレントＭＢのアクティビティレベルＡＬに対応するレベル対応補正値ＨＱａ（ｉ）が、カレントＭＢのＱＰ補正値Ｑｏｆｆとして用いられる。たとえば、カレントＭＢのアクティビティレベルＡＬが「０」であれば、レベル対応補正値ＨＱａ（０）が、量子化パラメータＱｒの補正に用いられる。量子化パラメータ補正部１３は、決定されたＱＰ補正値Ｑｏｆｆを量子化パラメータＱｒに加算することにより補正する。

量子化パラメータ補正部１３は、量子化パラメータＱｒではなく、量子化ステップ値を補正してもよい。つまり、量子化パラメータ補正部１３は、カレントＭＢの量子化の粗さを決める設定値を補正すればよい。

量子化パラメータ補正部１３は、符号量累積部１３１と、超過符号量算出部１３２と、補正値更新部１３３とを備える。

符号量累積部１３１は、最初に符号化された先頭マクロブロックからカレントＭＢまでのマクロブロックごとの発生符号量ＲＭを積算して累積発生符号量Ｃｔを算出する。符号量累積部１３１は、先頭マクロブロックからカレントＭＢまでのマクロブロックごとに設定された目標符号量を積算して累積目標符号量Ｔｔを算出する。

超過符号量算出部１３２は、マクロブロックが符号化されるたびに、累積発生符号量Ｃｔから累積目標符号量Ｔｔを差し引いた値を超過符号量Ｅｔとして算出する。

補正値更新部１３３は、カレントＭＢのＱＰ補正値Ｑｏｆｆとして使用されたレベル対応補正値ＨＱａ（ｉ）を更新する。

符号化部１４は、補正された量子化パラメータＱｒを用いてカレントＭＢを符号化する。符号化部１４は、量子化部１４１と、算術符号化部１４２とを備える。量子化部１４１は、補正された量子化パラメータＱｒを用いてカレントＭＢを量子化する。算術符号化部１４２は、量子化されたカレントＭＢに対して算術符号化を行う。

画像符号化装置１は、マクロブロックを符号化するたびに符号量制御を実行するため、ピクチャ全体の発生符号量がピクチャ全体の目標符号量を大きく超えることを防止することができる。画像符号化装置１において、マクロブロックが量子化される回数は、Ｈ．２６４画像データ２２を生成するために１回だけ行われる。画像符号化装置１は、上記の量子化の他に、符号量制御に用いるために用いることを目的としてマクロブロックの量子化を実行しない。画像符号化装置１は、符号量制御で行われる演算量を削減できるため、リアルタイムで非圧縮画像データ２１を符号化することができる。

以下、画像符号化装置１の動作について説明する。

｛２．アクティビティレベルの決定｝
まず、アクティビティレベル決定部１２の処理内容について説明する。カレントＭＢのＱＰ補正値Ｑｏｆｆは、上述したように、カレントＭＢのアクティビティレベルＡＬに基づいて決定される。このため、アクティビティレベルＡＬの詳細を最初に説明する。以下、アクティビティレベルＡＬを単に「レベルＡＬ」と記載する。

図２は、非圧縮画像データ２１のマクロブロックの構成を示す図である。図２に示すように、非圧縮画像データ２１のピクチャが、３６個のマクロブロックｍ０〜ｍ３５で構成される場合を例に説明する。１ピクチャは、縦６個×横６個のマクロブロックで構成されている。

アクティビティは、マクロブロックの画素値のばらつき度合いを示す数値であり、マクロブロックごとに計算される。アクティビティレベル決定部１２は、（数１）を用いてカレントＭＢのアクティビティを算出する。

（数１）において、ｖは、垂直ライン方向のマクロブロックの画素数である。ｈは、水平ライン方向のマクロブロックの画素数である。Ｙは、マクロブロック内の各画素の画素値を示す。（数１）に示すように、アクティビティは、ある画素（注目画素）と、注目画素の右隣に接する隣接画素の画素値との差分絶対値の総和である。画素値としては、輝度値や、色成分値などを用いることができる。隣接画素は、注目画素の左隣に接する画素でもよいし、上下のどちらかに接する画素でもよい。隣接画素の画素値に代えて、注目画素の周辺にある複数の画素の画素値の平均値を用いてもよい。アクティビティレベル決定部１２は、マクロブロック内の画素値の分散を、アクティビティとして計算してもよい。

アクティビティレベル決定部１２は、算出したカレントＭＢのアクティビティに基づいて、カレントＭＢのレベルＡＬを決定する。図３は、アクティビティとレベルＡＬとの対応関係を示す図である。図３に示すように、カレントＭＢのアクティビティが０〜５１１であれば、カレントＭＢのレベルＡＬは、「０」に設定される。カレントＭＢのアクティビティが５１２〜１０２３であれば、カレントＭＢのレベルＡＬは、「１」に設定される。カレントＭＢのアクティビティが１０２４以上であれば、カレントＭＢのレベルＡＬは、「２」に設定される。この結果、マクロブロックｍ０〜ｍ３５は、図２に示すように、「０」，「１」，「２」のいずれかのアクティビティレベルに分類される。

カレントＭＢのレベルＡＬを決定する流れについて説明する。図３に示すように、アクティビティレベル決定部１２には、カレントＭＢのレベルＡＬの決定に用いるレベル閾値Ｔｈ（０），Ｔｈ（１）が設定されている。レベル閾値Ｔｈ（０），Ｔｈ（１）は、レベルＡＬ「０」、「１」のアクティビティの上限値に対応する。レベル閾値Ｔｈ（０），Ｔｈ（１）の設定値は、「５１１」，「１０２３」である。

図４は、カレントＭＢのレベルＡＬを決定する流れを示すフローチャートである。アクティビティレベル決定部１２は、初期化処理を行う（ステップＳ４１）。具体的には、レベルＡＬの最大値を示すＬｅｖｅｌＮｕｍが「２」に設定される。ループカウンタであるｃｊが「０」に設定される。カレントＭＢのアクティビティレベルＡＬの初期値として、「２」が設定される。

ｃｊがＬｅｖｅｌＮｕｍよりも小さければ（ステップＳ４２においてＹｅｓ）、アクティビティレベル決定部１２は、カレントＭＢのアクティビティとレベル閾値Ｔｈ（ｃｊ）とを比較する（ステップＳ４３）。

カレントＭＢのアクティビティがレベル閾値Ｔｈ（ｃｊ）以下であれば（ステップＳ４３においてＹｅｓ）、アクティビティレベル決定部１２は、カレントＭＢのレベルＡＬを「２」から「ｃｊ」に変更する（ステップＳ４４）。一方、カレントＭＢのアクティビティがレベル閾値Ｔｈ（ｃｊ）よりも大きければ（ステップＳ４３においてＮｏ）、アクティビティレベル決定部１２は、ｃｊをインクリメントし（ステップＳ４５）、ステップＳ４２に戻る。

ステップＳ４２において、ｃｊがＬｅｖｅｌＮｕｍ以上であれば（ステップＳ４２においてＮｏ）、カレントＭＢのアクティビティがレベル閾値Ｔｈ（１）よりも大きいことになる。このため、アクティビティレベル決定部１２は、カレントＭＢのアクティビティレベルＡＬを初期値「２」に設定したまま、図４に示す処理を終了する。

｛３．符号量制御の流れ｝
非圧縮画像データ２１の符号化の際に行われる符号量制御について詳しく説明する。図５は、非圧縮画像データ２１の各ピクチャのエンコードの流れを示すフローチャートである。画像符号化装置１は、マクロブロックを符号化するたびに符号量制御を実行する。

まず、画像符号化装置１は、符号量制御に用いる各種パラメータを初期化する（ステップＳ１）。各種パラメータについては、符号量制御の各ステップで詳細に説明する。画像符号化装置１は、カレントＭＢのインデックスがピクチャ内の総マクロブロック数以下であるか否かを確認する（ステップＳ２）。

インデックスが総マクロブロック数以下でなければ（ステップＳ２においてＮｏ）、画像符号化装置１は、ピクチャ内の全てのマクロブロックの符号化が完了したと判断して、図５に示す処理を終了する。

インデックスが総マクロブロック数以下であれば（ステップＳ２においてＹｅｓ）、量子化パラメータ決定部１１は、カレントＭＢの量子化パラメータＱｒを決定する（ステップＳ３）。量子化パラメータＱｒは、カレントＭＢの符号化コスト及び動き補償コストなどに基づいて決定される。アクティビティレベル決定部１２は、上述したように、カレントＭＢのアクティビティを算出し、カレントＭＢのレベルＡＬを決定する（ステップＳ４）。

量子化パラメータ補正部１３は、カレントＭＢのレベルＡＬに基づいて、量子化パラメータＱｒの補正に用いるＱＰ補正値Ｑｏｆｆを決定する（ステップＳ５）。たとえば、マクロブロックｍ４のレベルＡＬは「０」である（図２参照）。このため、レベル対応補正値ＨＱａ（０）が、マクロブロックｍ４のＱＰ補正値Ｑｏｆｆとして設定される。量子化パラメータ補正部１３は、ＱＰ補正値Ｑｏｆｆを量子化パラメータＱｒに加算して、カレントＭＢの量子化パラメータＱｒを補正する（ステップＳ６）。

図６は、マクロブロックの符号化に応じて値が変化する変化パラメータの初期値を示すテーブルである。レベル対応補正値ＨＱａ（ｉ）の初期値は、レベルＡＬに関係なく「０」である。したがって、先頭マクロブロックであるマクロブロックｍ０の量子化パラメータＱｒは、実質的に変化しない。図６に示すレベル対応補正値ＨＱａ（ｉ）を除くパラメータの詳細は、後述する。

レベル対応補正値ＨＱａ（ｉ）は、後述する符号化済みのマクロブロックごとの発生符号量ＲＭを累積した累積発生符号量Ｃｔと、符号化済みのマクロブロックごとに設定された目標符号量を累積した累積目標符号量Ｔｔとの比較結果などに応じて増加する。たとえば、マクロブロックｍ８のレベルＡＬが「１」であるため（図２参照）、マクロブロックｍ８のＱＰ補正値Ｑｏｆｆとして、レベル対応補正値ＨＱａ（１）が用いられる。レベル対応補正値ＨＱａ（１）の値が０以上であれば、マクロブロックｍ８の量子化パラメータＱｒは、補正に伴って増加する。

符号化部１４は、補正された量子化パラメータＱｒを用いてカレントＭＢを符号化する（ステップＳ７）。量子化部１４１が、補正された量子化パラメータＱｒを用いてカレントＭＢを量子化する。算術符号化部１４２は、量子化されたカレントＭＢを算術符号化する。算術符号化には、コンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などが用いられる。量子化パラメータＱｒの補正（ステップＳ６）により量子化パラメータＱｒの値が増加した場合、カレントＭＢは粗く量子化されるためカレントＭＢの発生符号量は抑制される。

補正値更新部１３３は、カレントＭＢのＱＰ補正値Ｑｏｆｆとして用いられたレベル対応補正値ＨＱａ（ｉ）の更新処理を行う（ステップＳ８）。たとえば、マクロブロックｍ８が符号化された場合、マクロブロックｍ８のＱＰ補正値Ｑｏｆｆとして用いられたレベル対応補正値ＨＱａ（１）が更新の対象となる。更新条件の詳細は後述する。

｛４．ステップＳ８の処理内容｝
レベル対応補正値ＨＱａ（ｉ）の更新処理（ステップＳ８、図５参照）について詳しく説明する。以下、マクロブロックｍ８がカレントＭＢとして符号化された場合を例に説明する。マクロブロックｍ８のレベルＡＬは「１」であるため（図２参照）、レベル対応補正値ＨＱａ（１）が更新の対象となる。

図７は、ステップＳ８の処理の流れを示すフローチャートである。マクロブロックｍ８のＱＰ補正値Ｑｏｆｆとして用いられたレベル対応補正値ＨＱａ（１）は、以下に説明する全ての更新条件が満たされた場合、更新される。

まず、量子化パラメータ補正部１３は、マクロブロックｍ８の符号化の際にレベル対応補正値ＨＱａ（１）が使用されたため、補正使用回数ＦＭ（１）の値を一つ増加させる（ステップＳ８０１）。補正使用回数ＦＭ（１）は、レベル対応補正値ＨＱａ（１）の使用回数を示す。補正使用回数ＦＭ（１）は、レベル対応補正値ＨＱａ（１）の更新条件の確認に用いられるパラメータの一つである。補正使用回数ＦＭ（ｉ）の詳細は、後述するステップＳ８１４（図９参照）で説明する。

符号量累積部１３１は、符号量に関するパラメータを最新の状態に更新する（ステップＳ８０２，Ｓ８０３）。ステップＳ８０２では、符号量累積部１３１は、マクロブロックｍ８の発生符号量ＲＭを累積発生符号量Ｃｔ及びレベル累積発生量Ｃａ（１）に加算する。累積発生符号量Ｃｔは、符号化済みのマクロブロックｍ０〜ｍ８の発生符号量ＲＭを積算した値である。累積発生符号量Ｃｔは、マクロブロックｍ８の符号化が終了した時点でのピクチャ全体の発生符号量に相当する。レベル累積発生量Ｃａ（１）は、符号化済みのマクロブロックｍ０〜ｍ８のうち、レベルＡＬが「１」に分類されたマクロブロックｍ０，ｍ２，ｍ５，ｍ８（図２参照）の発生符号量ＲＭの積算値である。図６に示すように、レベル累積発生量Ｃａ（ｉ）の初期値は、レベルＡＬに関係なく「０」である。レベル累積発生量Ｃａ（ｉ）は、図９に示す処理で用いられる。

ステップＳ８０３において、符号量累積部１３１は、マクロブロックｍ８に設定された目標符号量を累積目標符号量Ｔｔ及びレベル累積目標量Ｔａ（１）に加算する。ここで、カレントＭＢに対する目標符号量の設定について説明する。図８は、レベルＡＬに応じて予め設定される固定パラメータの初期値を示す図である。マクロブロックｍ８の目標符号量は、レベルＡＬと、図８に示すレベル目標符号量ＳＴ（ｉ）とに基づいて設定される。レベル目標符号量ＳＴ（ｉ）は、レベルＡＬごとに定められる目標符号量である。マクロブロックｍ８のレベルＡＬが「１」であるため、マクロブロックｍ８の目標符号量には、ＳＴ（１）＝１３０が設定される。図８に示すレベル目標符号量ＳＴ（ｉ）を除くパラメータについては後述する。

累積目標符号量Ｔｔは、符号化済みのマクロブロックｍ０〜ｍ８のそれぞれに対して設定された目標符号量の積算値である。累積目標符号量Ｔｔは、マクロブロックｍ８の符号化が終了した時点でのピクチャ全体の目標符号量に相当する。レベル累積目標量Ｔａ（１）は、符号化済みのマクロブロックｍ０〜ｍ８のうち、レベルＡＬが「１」に分類されたマクロブロックｍ０，ｍ２，ｍ５，ｍ８（図２参照）の目標符号量の積算値である。図６に示すように、レベル累積目標量Ｔａ（ｉ）の初期値は、レベルＡＬに関係なく「０」である。レベル累積目標量Ｔａ（１）は、図９に示す処理で用いられる。

ステップＳ８０３に示す処理の後に、量子化パラメータ補正部１３は、累積目標符号量Ｔｔと累積発生符号量Ｃｔとを比較する（ステップＳ８０４）。累積目標符号量Ｔｔが累積発生符号量Ｃｔよりも小さければ（ステップＳ８０４においてＹｅｓ）、量子化パラメータ補正部１３は、レベル対応補正値ＨＱａ（１）の更新条件の一つが満たされていると判定する。これは、ピクチャエンコードの終了時に、ピクチャ全体の発生符号量がピクチャ全体の目標符号量を超えている可能性が高いためである。

しかし、レベルＡＬが「１」のマクロブロックを符号化するたびに、累積目標符号量Ｔｔが累積発生符号量Ｃｔよりも小さい状態が続くことが考えられる。このような状態において、レベルＡＬが「１」のマクロブロックが符号化されるたびに、レベル対応補正量ＨＱａ（１）を増加させると、レベルＡＬが「１」のマクロブロックの画質が急激に劣化する。レベルＡＬが「１」のマクロブロックの画質が急激に劣化することを防ぐために、補正値更新部１３３は、ステップＳ８０６、Ｓ８０７における処理により、レベル対応補正値ＨＱａ（１）の他の更新条件が全て満たされているか否かを確認する。

ステップＳ８０６における処理では、超過符号量Ｅｔ及び仮差分量が用いられる。超過符号量Ｅｔは、マクロブロックｍ８を符号化する前（マクロブロックｍ７の符号化が終了した時点）に、累積発生符号量Ｃｔから累積目標符号量Ｔｔを差し引いた値である。仮差分量は、マクロブロックｍ８の符号化が終了した時点における累積発生符号量Ｃｔから累積目標符号量Ｔｔを差し引いた値である。つまり、仮差分量は、マクロブロックｍ８の符号化が終了した時点における超過符号量Ｅｔに相当する。

仮差分量が超過符号量Ｅｔよりも大きければ（ステップＳ８０６においてＹｅｓ）、補正値更新部１３３は、マクロブロックｍ８のＱＰ補正値Ｑｏｆｆとして用いられたレベル対応補正値ＨＱａ（１）の更新条件が満たされていると判断する。なぜならば、マクロブロックｍ８の符号化に伴って、ピクチャ全体の発生符号量（累積発生符号量Ｃｔ）と目標符号量（累積目標符号量Ｔｔ）との差が拡大したと考えられるためである。補正値更新部１３３は、レベル対応補正値ＨＱａ（１）の更新条件をレベルＡＬ単位で確認する（ステップＳ８０７）。ステップＳ８０７の詳細は、後述する。

超過符号量算出部１３２は、超過符号量Ｅｔを最新の状態に更新する（ステップＳ８０８）。具体的には、超過符号量Ｅｔは、マクロブロックｍ８が符号化された時点での累積発生符号量Ｃｔから累積目標符号量Ｔｔを差し引いた値（仮差分量）に設定される。

ステップＳ８０６において、仮差分量が超過符号量Ｅｔ以下であれば（ステップＳ８０６においてＮｏ）、補正値更新部１３３は、レベル対応補正値ＨＱａ（１）を更新しない。この場合、ピクチャ全体の発生符号量（累積発生符号量Ｃｔ）と目標符号量（累積目標符号量Ｔｔ）との差が縮小傾向にある。補正値更新部１３３は、レベル対応補正値ＨＱａ（１）を更新しなくても、ピクチャ全体の発生符号量をピクチャ全体の目標符号量以下に抑えることができると判断する。これにより、レベル対応補正値ＨＱａ（１）の更新頻度が抑制されるため、レベルＡＬが「１」のマクロブロックの画質が急激に劣化することを防止することができる。超過符号量算出部１３２は、超過符号量Ｅｔを最新の状態に更新する（ステップＳ８０８）。

ステップＳ８０４において、累積発生符号量Ｃｔが累積目標符号量Ｔｔ以下である場合（ステップＳ８０４においてＹｅｓ）、レベル対応補正値ＨＱａ（ｉ）は、更新されない。超過符号量算出部１３２は、超過符号量Ｅｔを０に設定し（ステップＳ８０５）、図７に示す処理を終了する。

｛５．ステップＳ８０７の詳細｝
図９は、ステップＳ８０７の詳細な処理の流れを示すフローチャートである。以下、図７の説明と同様に、レベルＡＬが「１」であるマクロブロックｍ８の符号化が終了したときの処理を例に説明する。量子化パラメータ補正部１３は、マクロブロックｍ８のＱＰ補正値Ｑｏｆｆとして用いられたレベル対応補正値ＨＱａ（１）の更新条件が満たされているか否かを、レベルＡＬごとに設定されたパラメータを用いて判定する。

図９に示す処理では、ステップＳ８０２，Ｓ８０３（図７参照）で説明したレベル累積発生量Ｃａ（１）及びレベル累積目標量Ｔａ（１）などが用いられる。レベル累積発生量Ｃａ（１）は、レベルＡＬが「１」である符号化済みのマクロブロックｍ０，ｍ２，ｍ５，ｍ８（図２参照）の発生符号量ＲＭの積算値である。レベル累積目標量Ｔａ（１）は、マクロブロックｍ０，ｍ２，ｍ５，ｍ８に設定された目標符号量の積算値である。

上述したように、レベル対応補正値ＨＱａ（１）が頻繁に更新されることにより、レベルＡＬが「１」であるマクロブロックの画質が急激に劣化することを防止する必要がある。そこで、補正値更新部１３３は、レベル累積目標量Ｔａ（１）に目標量調整値Ｇａ（１）を加算して、レベル累積発生量Ｃａ（１）との比較に用いる更新基準値Ｔｙを算出する（ステップＳ８１１）。図８に示すように、目標量調整値Ｇａ（ｉ）は、レベルＡＬに関係なく同一の値が設定されている。しかし、レベルＡＬごとに異なる値を目標量調整値Ｇａ（ｉ）に設定してもよい。

補正値更新部１３３は、レベル対応補正量ＨＱａ（１）の更新条件が満たされているか否かを確認するために、累積レベル発生量Ｃａ（１）と更新基準値Ｔｙとを比較する（ステップＳ８１２）。補正値更新部１３３は、レベル累積発生量Ｃａ（１）とレベル累積目標量Ｔａ（１）とを直接比較しない。これにより、レベル対応補正値ＨＱａ（１）が、レベル累積発生量Ｃａ（１）がレベル累積目標量Ｔａ（１）を超えるたびに更新されることを防止できる。

累積レベル発生量Ｃａ（１）が更新基準値Ｔｙよりも大きければ（ステップＳ８１２においてＹｅｓ）、補正値更新部１３３は、レベル対応補正値ＨＱａ（１）の更新条件が満たされていると判断し、ステップＳ８１４に進む。なぜならば、累積発生符号量Ｃｔが累積目標符号量Ｔｔを超過する（ステップＳ８０４においてＹｅｓ：図７参照）原因が、レベルＡＬが「１」のマクロブロックの符号化にあると考えられるためである。

補正値更新部１３３は、補正使用回数ＦＭ（１）と更新許可回数Ｐａ（１）とを比較する（ステップＳ８１４）。上述したように、補正使用回数ＦＭ（１）は、更新されたレベル対応補正値ＨＱａ（１）がＱＰ補正値Ｑｏｆｆとして使用された回数を示す。更新許可回数Ｐａ（１）は、レベル対応補正値ＨＱａ（１）の更新を許可するまでのレベル対応補正値ＨＱａ（１）の使用回数を示す。図８に示すように、更新許可回数Ｐａ（１）は、「６」に設定される。レベル対応補正値ＨＱａ（１）を更新するためには、レベル対応補正値ＨＱａ（１）をＱＰ補正値Ｑｏｆｆとして７回以上使用する必要がある。

補正使用回数ＦＭ（１）が更新許可回数Ｐａ（１）よりも大きければ（ステップＳ８１４においてＹｅｓ）、補正値更新部１３３は、レベル対応補正値ＨＱａ（１）の更新条件が満たされていると判定し、ステップＳ８１６に進む。

ステップＳ８１６における処理では、レベル超過符号量Ｅａ（１）及びレベル仮差分量が用いられる。レベル超過符号量Ｅａ（１）は、レベル累積発生量Ｃａ（１）と更新基準値Ｔｙとの差分値である。レベル超過符号量Ｅａ（１）は、レベルＡＬが「１」のマクロブロックが符号化されるたびに更新される。図９に示す処理の開始時点で、レベル超過符号量Ｅａ（１）は、レベルＡＬが「１」のマクロブロックｍ５が符号化された時に算出された値を有する。レベル仮差分量は、ステップＳ８０２で算出されたレベル累積発生量Ｃａ（１）から、ステップＳ８１１で算出された更新基準値を差し引いた値である。つまり、レベル仮差分量は、マクロブロックｍ８の符号化に応じて更新されたレベル超過符号量Ｅａ（１）に相当する。

レベル仮差分量がレベル超過符号量Ｅａ（１）よりも大きければ（ステップＳ８１６においてＹｅｓ）、レベル超過符号量Ｅａ（１）が増加傾向にある。この場合、補正値更新部１３３は、レベル対応補正値ＨＱａ（１）の更新条件が全て満たされていると判定する。レベル対応補正値ＨＱａ（１）の更新処理として、ステップＳ８１７〜Ｓ８２１に示す処理が実行される。

超過符号量算出部１３２は、ステップＳ８０２で算出されたレベル累積発生量Ｃａ（１）から、ステップＳ８１１で算出された更新基準値を差し引いた値（仮レベル差分量）を、レベル超過符号量Ｅａ（１）として設定する（ステップＳ８１７）。これにより、レベル超過符号量Ｅａ（１）は、マクロブロックｍ８の符号化に応じた値に更新される。

補正値更新部１３３は、レベル対応補正値ＨＱａ（１）を更新するために、レベル対応補正値ＨＱａ（１）にレベル対応加算値Ｉａ（１）を加算する（ステップＳ８１８）。レベル対応加算値Ｉａ（１）は、レベル対応補正値ＨＱａ（１）の更新時に加算される数値である。図８に示すように、レベル対応加算値Ｉａ（ｉ）は、レベルＡＬに関係なく「１」に設定されている。しかし、レベルＡＬごとに異なる値をレベル対応加算値Ｉａ（ｉ）に設定してもよい。

補正値更新部１３３は、レベル対応補正値ＨＱａ（１）が際限なく増加することを防ぐために、更新されたレベル対応補正値ＨＱａ（１）とレベル上限値Ｌａ（１）とを比較する（ステップＳ８１９）。更新されたレベル対応補正値ＨＱａ（１）がレベル上限値Ｌａ（１）よりも大きければ（ステップＳ８１９においてＹｅｓ）、補正値更新部１３３は、更新されたレベル対応補正値ＨＱａ（１）をレベル上限値Ｌａ（１）に再設定する（ステップＳ８２０）。図８に示すように、レベル上限値Ｌａ（１）は、「４」である。レベル対応補正値ＨＱａ（１）がレベル上限値Ｌａ（１）よりも大きくなることがないため、レベルＡＬが「１」のマクロブロックの画質が極端に劣化することを防止できる。

一方、更新されたレベル対応補正値ＨＱａ（１）がレベル上限値Ｌａ（１）以下であれば（ステップＳ８１９においてＮｏ）、更新されたレベル対応補正値ＨＱａ（１）がそのまま用いられる。補正値更新部１３３は、レベル対応補正値ＨＱａ（１）が更新されたため、補正使用回数ＦＭ（１）を「０」に設定する（ステップＳ８２１）。更新されたレベル対応補正値ＨＱａ（１）の使用回数が更新許可回数Ｐａ（１）を超えない限り、レベル対応補正値ＨＱａ（１）は、再度更新されない。

ステップＳ８１６の説明に戻る。仮レベル超過量がレベル超過符号量Ｅａ（１）以下であれば（ステップＳ８１６においてＮｏ）、レベル超過符号量Ｅａ（１）が減少傾向にある。このため、補正値更新部１３３は、レベル対応補正値ＨＱａ（１）の更新条件が満たされていないと判定する。超過符号量算出部１３２は、レベル超過符号量Ｅａ（１）をマクロブロックｍ８の符号化に応じて更新する（ステップＳ８１５）。ステップＳ８１５では、ステップＳ８１７で説明した処理と同じ処理が実行される。

ステップＳ８１４の説明に戻る。補正使用回数ＦＭ（１）が更新許可回数Ｐａ（１）以下であれば（ステップＳ８１４においてＮｏ）、補正値更新部１３３は、レベル対応補正値ＨＱａ（１）の更新条件が満たされていないと判定する。この場合、レベル対応補正値ＨＱａ（１）は、更新されない。超過符号量算出部１３２は、レベル超過符号量Ｅａ（１）をマクロブロックｍ８の符号化に応じて更新する（ステップＳ８１５）。

以上説明したように、本実施の形態に係る画像符号化装置１は、マクロブロックを符号化するたびに符号量制御を実行する。符号量制御には、ピクチャ全体の発生符号量とピクチャ全体の目標符号量との比較結果が用いられる。符号量制御には、符号化済みのマクロブロックのうち、カレントＭＢと同じレベルＡＬに分類されたマクロブロックの発生符号量の積算値と目標符号量の積算値との比較結果などが用いられる。この結果、符号量制御に必要な演算量が削減されるため、画像符号化装置１は、非圧縮画像データ２１をリアルタイムに符号化できるとともに、ピクチャ単位での発生符号量が目標符号量を大幅に上回ることを防止することができる。

画像符号化装置１は、カレントＭＢのレベルＡＬに基づいて、量子化パラメータＱｒの補正に用いるレベル対応補正値ＨＱａ（ｉ）を決定する。補正に用いられたレベル対応補正値ＨＱａ（ｉ）は、上述の比較結果などに基づいて更新される。このように、画像符号化装置１は、マクロブロックのアクティビティに応じて符号量制御を実行するため、全てのマクロブロックの画質が符号量制御により一律に劣化することを防止できる。

本実施の形態では、カレントＭＢのレベルＡＬに応じてＱＰ補正値Ｑｏｆｆを設定する例について説明した。しかし、レベルＡＬに対応するレベル対応補正値ＨＱａ（ｉ）を用いなくてもよい。たとえば、累積発生符号量Ｃｔが累積目標符号量Ｔｔよりも大きくなったときに、ＱＰ補正値Ｑｏｆｆを増加させてもよい。この場合、符号量制御に必要なパラメータを削減できるとともに、符号量制御の演算量を削減できる。

図９に示すステップＳ８１２において、補正値更新部１３３は、レベル累積発生量Ｃａ（１）と更新基準値Ｔｙとを比較した。しかし、補正値更新部１３３は、ステップＳ８１２において、レベル累積発生量Ｃａ（１）とレベル累積目標量Ｔａ（１）とを直接比較してもよい。更新基準値Ｔｙを算出しなくてもよいため、演算量を削減することができる。この場合、超過符号量Ｅａ（１）の更新処理（ステップＳ８１５、Ｓ８１６）では、更新基準値Ｔｙに代えて、レベル累積目標量Ｃａ（１）が用いられる。

｛変形例｝
本実施の形態で説明した画像符号化装置１を、画像変換装置の符号化部として用いてもよい。図１０は、本実施の形態の変形例に係る画像変換装置１００の機能的構成を示すブロック図である。画像変換装置１００は、画像符号化装置１と、画像復号化装置２とを備える。画像符号化装置１は、上記第１の実施の形態で説明した装置である。

画像復号化装置２は、ＭＰＥＧ２デコーダである。画像復号化装置２は、ＭＰＥＧ２方式で符号化されたＭＰＥＧ２画像データ２３を復号化して、非圧縮画像データ２１を生成する。非圧縮画像データ２１は、画像符号化装置１に入力される。画像符号化装置１は、上記第１の実施の形態で説明した手順と同様の手順で、非圧縮画像データ２１をＨ．２６４方式で再び符号化する。これにより、ＭＰＥＧ２画像データ２３をリアルタイムでＨ．２６４画像データに変換することができるとともに、Ｈ．２６４画像データのピクチャ当たりの発生符号量が目標符号量を大きく上回ることを防止することができる。

図１０では、ＭＰＥＧ２画像データをＨ．２６４画像データ１に変換する画像変換装置１００を示している。しかし、画像復号化装置２は、画像変換装置１００に入力されたＨ．２６４画像データを復号化してもよい。この場合、非圧縮画像データ２１は、入力されるＨ．２６４画像データの符号化条件と異なる条件で符号化される。

１ 画像符号化装置
１１ 量子化パラメータ決定部
１２ アクティビティレベル決定部
１３ 量子化パラメータ補正部
１４ 符号化部
１３１ 符号量累積部
１３２ 超過符号量算出部
１３３ 補正値更新部
１４１ 量子化部
１４２ 算術符号化部

Claims (9)

1. 非圧縮画像データを符号化する画像符号化装置であって、
   符号化対象であるカレントマクロブロックの量子化の粗さを示す粗さ設定値を決定する決定部と、
   決定された前記粗さ設定値に補正値を加算することにより、前記粗さ設定値を補正する粗さ補正部と、
   補正された粗さ設定値を用いて前記カレントマクロブロックを符号化する符号化部と、
   を備え、
   前記粗さ補正部は、
   最初に符号化された先頭マクロブロックから前記カレントマクロブロックまでのマクロブロックごとの発生符号量を累積して第１累積発生符号量を算出し、前記マクロブロックごとに設定された目標符号量を累積して第１累積目標符号量を算出する符号量累積部と、
   前記第１累積発生符号量が前記第１累積目標符号量よりも大きい場合、前記補正値を更新する補正値更新部と、
   を含む画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   前記粗さ補正部は、
   前記カレントマクロブロックが符号化されるまでに符号化された符号化済みマクロブロックごとの発生符号量の総和と、前記符号化済みマクロブロックごとの目標符号量の総和との差分値を、超過符号量として算出する超過符号量算出部、
   を含み、
   前記補正値更新部は、前記第１累積発生符号量から前記第１累積目標符号量を引いた差分値が前記超過符号量よりも大きい場合、前記補正値を更新する画像符号化装置。
3. 請求項１または請求項２に記載の画像符号化装置において、さらに、
   前記カレントマクロブロックの画素値のばらつき度合いを示すアクティビティに基づいて、前記カレントマクロブロックのレベルを決定するレベル決定部、
   を備え、
   前記補正値は、
   前記レベルに対応したレベル対応補正値、
   を含み、
   前記粗さ補正部は、前記レベル対応補正値のうち、前記カレントマクロブロックのレベルであるカレントレベルに対応するカレントレベル対応補正値を用いて前記粗さ設定値を補正し、
   前記補正値更新部は、前記第１累積発生符号量が前記第１累積目標符号量よりも大きい場合、前記カレントレベル対応補正値を更新する画像符号化装置。
4. 請求項３に記載の画像符号化装置において、
   前記符号量累積部は、前記マクロブロックのうち、前記カレントレベルに分類された分類マクロブロックごとの発生符号量を累積して第２累積発生符号量を算出し、前記分類マクロブロックごとの目標符号量を累積して第２累積目標符号量を算出し、
   前記補正値更新部は、前記第２累積発生符号量が前記第２累積目標符号量よりも大きい場合、前記カレントレベル対応補正値を更新する画像符号化装置。
5. 請求項４に記載の画像符号化装置において、
   前記カレントマクロブロックが符号化されるまでに符号化された分類マクロブロックごとの発生符号量の総和から、前記符号化された分類マクロブロックの目標符号量の総和を引いた値をレベル超過符号量として算出する超過符号量算出部、
   を含み、
   前記補正値更新部は、前記第２累積発生符号量と前記第２累積目標符号量との差分値が前記レベル超過符号量よりも大きい場合、前記カレントレベル対応補正値を更新する画像符号化装置。
6. 請求項４または請求項５に記載の画像符号化装置において、
   前記補正値更新部は、更新された前記カレントレベル対応補正値が予め設定された上限値を超えた場合、前記カレントレベル対応補正値を前記上限値に設定する画像符号化装置。
7. 請求項４または請求項５に記載の画像符号化装置において、
   前記補正値更新部は、前記第２累積発生符号量が前記第２累積目標符号量と前記カレントレベルに対応して設定された調整値との和である更新基準値よりも大きければ、前記カレントレベル対応補正値を更新する画像符号化装置。
8. 請求項４または請求項５に記載の画像符号化装置において、
   前記補正値更新部は、前記カレントレベル対応補正値が更新された場合、更新された前記カレントレベル対応補正値を用いて前記粗さ設定値を補正した補正使用回数をカウントし、前記補正使用回数が所定値よりも大きければ、前記カレントレベル対応補正値を再び更新する画像符号化装置。
9. 符号化画像データを復号する画像復号化装置と、
   請求項１ないし請求項８のいずれかに記載の前記画像符号化装置と、
   を備え、
   前記画像復号化装置は、デコードした画像データを、前記非圧縮画像データとして前記画像符号化装置に入力する画像変換装置。

Images