JP2011217112A - 画像処理装置 - Google Patents

Abstract

【課題】ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能な画像処理装置を得る。
【解決手段】制御部３は、直前の第１の所定数のマクロブロックに関して使用した発生符号量を求める第１処理部１１と、１フレーム内に含まれるマクロブロックの総数未満の第２の所定数以下のマクロブロックあたりの目標符号量と、第１処理部１１によって求められた発生符号量とに基づいて、現在の処理対象のマクロブロックを含む直後の第３の所定数のマクロブロックに関して使用可能な許容符号量を求める第２処理部１２と、第３の所定数のマクロブロックに関して使用が予想される予想符号量を求める第３処理部１３と、第２処理部１２によって求められた許容符号量と、第３処理部１３によって求められた予想符号量とに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する第４処理部１４と、を有する。
【選択図】図３

Description

本発明は、画像処理装置に関し、特に、動画像圧縮における符号量制御アルゴリズムに関する。

符号量制御とは、発生符号量を制御することによって画質の最適化を図る技術である（例えば下記特許文献１，２参照）。現行の符号量制御アルゴリズムでは、ＧＯＰ（Group Of Picture）単位又はフレーム単位で符号量制御を行うものが一般的である。例えばフレーム単位の符号量制御では、１フレームに対する割り当て符号量が算出され、当該符号量を超えないように、フレーム内の各マクロブロックに対する量子化パラメータが制御される。

特開平１０−２１５４６０号公報 特開平１０−２４３３９９号公報

ＧＯＰ単位又はフレーム単位の符号量を目標符号量として制御する方法では、目標コンスタントビットレートを得るための平均区間が長く、符号量のピーク値として比較的大きな値が許容されるため、画質の向上を図ることが可能である。しかしながら、平均区間が長いということはバッファ時間が大きいことを意味し、エンコード処理に伴う遅延量が必然的に大きくなる。従って、ＧＯＰ単位又はフレーム単位の符号量制御は、記録番組の再生等のような遅延制限のないアプリケーションには適しているが、遅延制限の厳しいアプリケーションには適していない。

本発明はかかる事情に鑑みて成されたものであり、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能な画像処理装置を得ることを目的とするものである。

本発明の第１の態様に係る画像処理装置は、画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、前記量子化処理における量子化パラメータを制御する制御部と、を備え、前記制御部は、直前の第１の所定数のマクロブロックに関して使用した発生符号量を求める第１の処理部と、１フレーム内に含まれるマクロブロックの総数未満の第２の所定数以下のマクロブロックあたりの目標符号量と、前記第１の処理部によって求められた前記発生符号量とに基づいて、現在の処理対象のマクロブロックを含む直後の第３の所定数のマクロブロックに関して使用可能な許容符号量を求める第２の処理部と、前記第３の所定数のマクロブロックに関して使用が予想される予想符号量を求める第３の処理部と、前記第２の処理部によって求められた前記許容符号量と、前記第３の処理部によって求められた前記予想符号量とに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する第４の処理部と、を有することを特徴とするものである。

第１の態様に係る画像処理装置によれば、第１の処理部は、直前の第１の所定数のマクロブロックに関して使用した発生符号量を求める。また、第２の処理部は、１フレーム内に含まれるマクロブロックの総数未満の第２の所定数以下のマクロブロックあたりの目標符号量と、第１の処理部によって求められた発生符号量とに基づいて、現在の処理対象のマクロブロックを含む直後の第３の所定数のマクロブロックに関して使用可能な許容符号量を求める。また、第３の処理部は、第３の所定数のマクロブロックに関して使用が予想される予想符号量を求める。そして、第４の処理部は、第２の処理部によって求められた許容符号量と、第３の処理部によって求められた予想符号量とに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する。このように、１フレーム内に含まれるマクロブロックの総数未満の第２の所定数以下のマクロブロックあたりの目標符号量に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定することにより、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記第２の処理部は、前記第１の所定数が、前記第２の所定数から前記第３の所定数を差し引いた値以上である場合には、前記第２の所定数のマクロブロックあたりの目標符号量から、直前の（前記第２の所定数マイナス前記第３の所定数）のマクロブロックに関して使用した発生符号量を差し引いた値として、前記許容符号量を求め、前記第１の所定数が、前記第２の所定数から前記第３の所定数を差し引いた値未満である場合には、前記第１の所定数及び前記第３の所定数の合計のマクロブロックあたりの目標符号量から、直前の前記第１の所定数のマクロブロックに関して使用した発生符号量を差し引いた値として、前記許容符号量を求めることを特徴とするものである。

第２の態様に係る画像処理装置によれば、第２の処理部は、第１の所定数が、第２の所定数から第３の所定数を差し引いた値以上である場合には、第２の所定数のマクロブロックあたりの目標符号量から、直前の（第２の所定数マイナス第３の所定数）のマクロブロックに関して使用した発生符号量を差し引いた値として、許容符号量を求める。また、第１の所定数が、第２の所定数から第３の所定数を差し引いた値未満である場合には、第１の所定数及び第３の所定数の合計のマクロブロックあたりの目標符号量から、直前の第１の所定数のマクロブロックに関して使用した発生符号量を差し引いた値として、許容符号量を求める。従って、第１の所定数が、第２の所定数から第３の所定数を差し引いた値以上である場合であっても、未満である場合であっても、許容符号量を適切に求めることができる。

本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、前記第３の処理部は、前記第３の所定数のマクロブロックの各々に関する属性値に基づいて前記予想符号量を求め、マクロブロックの全体領域に関する活発性評価値に基づいて、前記属性値を決定することを特徴とするものである。

第３の態様に係る画像処理装置によれば、第３の処理部は、マクロブロックの全体領域に関する活発性評価値に基づいて、第３の所定数のマクロブロックの各々に関する属性値を決定する。従って、例えば、全体が滑らかである属性のマクロブロック（つまり画質の劣化が目立つマクロブロック）に関しては、小さい量子化パラメータ（つまり大きい符号量）を見積もることにより、適切な予想符号量を求めることができる。

本発明の第４の態様に係る画像処理装置は、第３の態様に係る画像処理装置において特に、前記第３の処理部はさらに、マクロブロックにおける四辺の各領域に関する活発性評価値の最小値に基づいて、前記属性値を決定することを特徴とするものである。

第４の態様に係る画像処理装置によれば、第３の処理部は、マクロブロックにおける四辺の各領域に関する活発性評価値の最小値に基づいて、属性値を決定する。従って、例えば、全体が複雑であり、文字領域を含んでおらず、かつ滑らかな部分を一部に含んでいない属性のマクロブロック（つまり画質の劣化が目立たないマクロブロック）に関しては、大きい量子化パラメータ（つまり小さい符号量）を見積もることにより、適切な予想符号量を求めることができる。また、例えば、全体が複雑であり、文字領域を含んでいないが、滑らかな部分を一部に含んでいる属性のマクロブロック（つまり滑らかな部分において画質の劣化が目立つマクロブロック）に関しては、やや小さい量子化パラメータ（つまりやや大きい符号量）を見積もることにより、適切な予想符号量を求めることができる。

本発明の第５の態様に係る画像処理装置は、第３又は第４の態様に係る画像処理装置において特に、前記第３の処理部はさらに、マクロブロックにおける四辺の各領域に関するエッジ抽出処理の結果の最大値に基づいて、前記属性値を決定することを特徴とするものである。

第５の態様に係る画像処理装置によれば、第３の処理部は、マクロブロックにおける四辺の各領域に関するエッジ抽出処理の結果の最大値に基づいて、属性値を決定する。従って、例えば、全体が複雑であり、かつ文字領域を一部に含んでいる属性のマクロブロック（つまり文字領域において画質の劣化が目立つマクロブロック）に関しては、中程度の量子化パラメータ（つまり中程度の符号量）を見積もることにより、適切な予想符号量を求めることができる。

本発明の第６の態様に係る画像処理装置は、第３〜第５のいずれか一つの態様に係る画像処理装置において特に、前記第３の処理部はさらに、マクロブロックがイントラマクロブロックであるか否かに基づいて、前記属性値を決定することを特徴とするものである。

第６の態様に係る画像処理装置によれば、第３の処理部は、マクロブロックがイントラマクロブロックであるか否かに基づいて、属性値を決定する。従って、例えば、マクロブロックがイントラマクロブロックである場合には大きい符号量を見積もることにより、適切な予想符号量を求めることができる。

本発明の第７の態様に係る画像処理装置は、第３〜第６のいずれか一つの態様に係る画像処理装置において特に、量子化パラメータが基準値に設定された場合の基準符号量が、複数の属性値の各々に対応して予め設定されており、前記複数の属性値の各々に対応して量子化パラメータがそれぞれ設定された複数のパラメータセットが予め設定されており、前記第３の処理部は、前記基準符号量に基づいて、前記複数のパラメータセットの各々に関する前記予想符号量をそれぞれ算出することを特徴とするものである。

第７の態様に係る画像処理装置によれば、第３の処理部は、基準符号量に基づいて、複数のパラメータセットの各々に関する予想符号量をそれぞれ算出する。従って、基準符号量を適切に設定することにより、複数のパラメータセットの各々に関して、適切な予想符号量を求めることができる。

本発明の第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置において特に、前記第３の処理部は、実際に発生した符号量に基づいて、前記基準符号量を補正することを特徴とするものである。

第８の態様に係る画像処理装置によれば、第３の処理部は、実際に発生した符号量に基づいて、基準符号量を補正する。従って、基準符号量の設定の初期値が正確でなかった場合であっても、実際に発生した符号量に基づいて基準符号量を補正することにより、その後は正確な予想符号量を求めることができる。

本発明の第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置において特に、前記第３の処理部は、前記基準値とは異なる量子化パラメータが設定された場合に実際に発生した符号量に基づいて、補正後の前記基準符号量を算出することを特徴とするものである。

第９の態様に係る画像処理装置によれば、第３の処理部は、基準値とは異なる量子化パラメータが設定された場合に実際に発生した符号量に基づいて、補正後の基準符号量を算出する。従って、基準値の量子化パラメータを用いて符号化処理を行い、当該符号化処理によって実際に発生した符号量に基づいて基準符号量を補正する場合と比較すると、追加の符号化処理が不要となるため、全体として演算量を削減することができる。

本発明の第１０の態様に係る画像処理装置は、第８の態様に係る画像処理装置において特に、前記第３の処理部は、前記基準値の量子化パラメータを用いて符号化処理を行い、当該符号化処理によって実際に発生した符号量に基づいて、前記基準符号量を補正することを特徴とするものである。

第１０の態様に係る画像処理装置によれば、第３の処理部は、基準値の量子化パラメータを用いて符号化処理を行い、当該符号化処理によって実際に発生した符号量に基づいて、基準符号量を補正する。従って、基準値とは異なる量子化パラメータが設定された場合に実際に発生した符号量に基づいて補正後の基準符号量を算出する場合と比較すると、補正の精度を向上することができる。

本発明の第１１の態様に係る画像処理装置は、第７〜第９のいずれか一つの態様に係る画像処理装置において特に、前記複数のパラメータセットの各々において、イントラマクロブロックに関する量子化パラメータは所定の上限値以下に設定されていることを特徴とするものである。

第１１の態様に係る画像処理装置によれば、複数のパラメータセットの各々において、イントラマクロブロックに関する量子化パラメータは所定の上限値以下に設定されている。従って、イントラマクロブロックに関する量子化パラメータは所定の上限値以下に設定するというアルゴリズムが採用されている場合であっても、それが反映された適切な予想符号量を求めることができる。

本発明の第１２の態様に係る画像処理装置は、第７〜第１１のいずれか一つの態様に係る画像処理装置において特に、前記第４の処理部は、前記複数のパラメータセットのうち前記予想符号量が前記許容符号量以下で最大となるパラメータセットを選択し、当該パラメータセットに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定することを特徴とするものである。

第１２の態様に係る画像処理装置によれば、第４の処理部は、複数のパラメータセットのうち、予想符号量が許容符号量以下で最大となるパラメータセットを選択する。従って、発生符号量を目標符号量以下に抑えつつ、可能な限り画質を向上することができる。

本発明の第１３の態様に係る画像処理装置は、第７〜第１１のいずれか一つの態様に係る画像処理装置において特に、前記第４の処理部は、前記複数のパラメータセットのうち前記予想符号量が前記許容符号量に最も近いパラメータセットを選択し、当該パラメータセットに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定することを特徴とするものである。

第１３の態様に係る画像処理装置によれば、第４の処理部は、複数のパラメータセットのうち、予想符号量が許容符号量に最も近いパラメータセットを選択する。従って、発生符号量を目標符号量に近付けることができるため、安定した符号量制御を行うことが可能となる。

本発明の第１４の態様に係る画像処理装置は、第７〜第１３のいずれか一つの態様に係る画像処理装置において特に、前記第４の処理部は、前記複数のパラメータセットのうち前記予想符号量が最小となるパラメータセットを選択しても、前記予想符号量が前記許容符号量を超える場合には、現在の処理対象のマクロブロックに関する符号化処理をスキップすることを特徴とするものである。

第１４の態様に係る画像処理装置によれば、第４の処理部は、複数のパラメータセットのうち予想符号量が最小となるパラメータセットを選択しても、予想符号量が許容符号量を超える場合には、現在の処理対象のマクロブロックに関する符号化処理をスキップする。つまり、当該マクロブロックに関する符号化処理を省略して、直前のフレーム内の同一箇所のマクロブロックに関する値を当該マクロブロックに関して適用する。これにより、当該マクロブロックに関しては画質が劣化するが、符号化処理の省略によって発生符号量を削減できるため、その後のマクロブロックの処理において許容符号量を大きくすることができる。

本発明の第１５の態様に係る画像処理装置は、第１２〜第１４のいずれか一つの態様に係る画像処理装置において特に、前記第４の処理部は、現在の処理対象のマクロブロックがイントラマクロブロックである場合には、当該マクロブロックに関する量子化パラメータを所定の上限値以下に設定することを特徴とするものである。

第１５の態様に係る画像処理装置によれば、第４の処理部は、現在の処理対象のマクロブロックがイントラマクロブロックである場合には、当該マクロブロックに関する量子化パラメータを所定の上限値以下に設定する。イントラマクロブロックに関しては、量子化パラメータを大きい値に設定すると画質の劣化が目立ちやすいため、イントラマクロブロックに関する量子化パラメータに上限値を設定することにより、画質の劣化を抑制することが可能となる。

本発明によれば、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。

マクロブロック単位でのエンコード処理の一例を示す図である。 本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２に示した制御部の構成例を示すブロック図である。 図３に示した第３処理部の構成例を示すブロック図である。 パラメータセットの第１の例を示す図である。 パラメータセットの第２の例を示す図である。 属性値の決定手法の一例を示すフローチャートである。 パラメータセットの選択手法の一例を示す図である。 パラメータセットの第３の例を示す図である。 パラメータセットの第４の例を示す図である。 属性値の決定手法の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、マクロブロック単位でのエンコード処理の一例を示す図である。図１には、行方向（横方向）に１２８０画素、列方向（縦方向）に７２０画素を有する１フレームの画像を例示している。１フレームは、行方向に１６画素ごと、列方向に１６画素ごとにマクロブロックとして分割される。従って、１フレームは、行方向に８０個、列方向に４５個のマクロブロックに分割される。なお、１行分に相当する８０個のマクロブロックの集合は、マクロブロックラインと称される。

図２は、本発明の実施の形態１に係る画像処理装置１の構成を示すブロック図である。図２に示すように、画像処理装置１は、エンコーダ２及び制御部３を備えて構成されている。エンコーダ２は、ＭＰＥＧ−２、ＭＰＥＧ−４、又はＨ．２６４等の動画像に関する規格に準拠しており、圧縮符号化前の画像信号Ｓ１に対して量子化処理及び符号化処理等の画像処理を施すことにより、圧縮符号化後の画像信号Ｓ４を出力する。画像信号Ｓ４は、画像処理装置１から無線ＬＡＮ等によって表示装置（図示しない）に伝送され、表示装置において動画像が表示される。

制御部３には、画像信号Ｓ１，Ｓ４が入力されるとともに、１マクロブロックあたりの最大許容符号量を示す信号Ｓ２Ａと、１マクロブロックあたりの目標符号量を示す信号Ｓ２Ｂとが入力される。ここで、１マクロブロックあたりの最大許容符号量は、画像処理装置１から表示装置への最大ビットレート（例えば９Ｍｂｐｓ）と、動画像のフレームレート（例えば６０ｆｐｓ）と、１フレーム内のマクロブロックの総数（例えば３６００個）とに基づいて算出される。同様に、１マクロブロックあたりの目標符号量は、画像処理装置１から表示装置への目標ビットレート（例えば８．１Ｍｂｐｓ）と、動画像のフレームレートと、１フレーム内のマクロブロックの総数とに基づいて算出される。制御部３は、これらの信号Ｓ１，Ｓ２Ａ，Ｓ２Ｂ，Ｓ４に基づいて、エンコーダ２内での量子化処理における量子化パラメータを、制御信号Ｓ３によって制御する。本実施の形態に係る画像処理装置１においては、許容伝送遅延に相当するＸ個のマクロブロック（例えば１５マクロブロックラインに含まれる１２００個のマクロブロック）に関する発生符号量が、Ｘ個のマクロブロックに関する最大許容符号量（例えば、９００００００／６０／３＝５００００ビット）を超えないように、量子化パラメータを制御する。

図３は、図２に示した制御部３の構成例を示すブロック図である。図３の接続関係で示すように、制御部３は、第１処理部１１、第２処理部１２、第３処理部１３、及び第４処理部１４を備えて構成されている。

第１処理部１１は、画像信号Ｓ４に基づいて、直前に処理したＹ個のマクロブロックに関して使用した発生符号量を求める。求めた発生符号量は、信号Ｓ１１として第１処理部１１から第２処理部１２に入力される。

第２処理部１２は、信号Ｓ２Ａ，Ｓ２Ｂに基づいて、Ｘ個のマクロブロックあたりの目標符号量を求める。また、第２処理部１２は、求めた目標符号量と、第１処理部１１から入力されたＹ個のマクロブロックに関する発生符号量とに基づいて、直後に処理するＮ個のマクロブロック（例えば、現在の処理対象のマクロブロックを先頭とする、１マクロブロックラインに含まれる８０個のマクロブロック）に関して使用可能な許容符号量を求める。求めた許容符号量は、信号Ｓ１２として第２処理部１２から第４処理部１４に入力される。

ここで、第２処理部１２は、既に発生符号量が求まっているマクロブロックの個数（Ｙ個）が、許容伝送遅延に相当するマクロブロックの個数（Ｘ個）から、発生符号量の予想が可能なマクロブロックの個数（Ｎ個）を差し引いた値以上である場合（つまりＹ≧Ｘ−Ｎの関係を満たす場合）には、Ｘ個のマクロブロックに関する目標符号量から、直前のＸ−Ｎ個のマクロブロックに関して使用した発生符号量を差し引いた値を、直後に処理するＮ個のマクロブロックに関して使用可能な許容符号量とする。一方、既に発生符号量が求まっているマクロブロックの個数（Ｙ個）が、許容伝送遅延に相当するマクロブロックの個数（Ｘ個）から、発生符号量の予想が可能なマクロブロックの個数（Ｎ個）を差し引いた値未満である場合（つまりＹ＜Ｘ−Ｎの関係を満たす場合）には、Ｙ＋Ｎ個のマクロブロックに関する目標符号量から、直前のＹ個のマクロブロックに関して使用した発生符号量を差し引いた値を、直後に処理するＮ個のマクロブロックに関して使用可能な許容符号量とする。従って、Ｙ≧Ｘ−Ｎの関係を満たす場合であっても、Ｙ＜Ｘ−Ｎの関係を満たす場合であっても、許容符号量を適切に求めることができる。

第３処理部１３は、画像信号Ｓ１に基づいて、直後Ｎ個のマクロブロックに関して使用が予想される予想符号量を求める（詳細は後述）。求めた予想符号量は、信号Ｓ１３として第３処理部１３から第４処理部１４に入力される。

第４処理部１４は、第２処理部１２から入力された許容符号量と、第３処理部１３から入力された予想符号量とに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する（詳細は後述）。設定した量子化パラメータは、信号Ｓ３として第４処理部１４から図２に示したエンコーダ２に入力される。

図４は、図３に示した第３処理部１３の構成例を示すブロック図である。図４の接続関係で示すように、第３処理部１３は、全体評価値演算部２１、部分評価値演算部２２、ソベルフィルタ処理部２３、予想符号量演算部２４、記憶部２５、及び補正部２６を備えて構成されている。

全体評価演算部２１は、画像信号Ｓ１に基づいて、直後Ｎ個のマクロブロックの各々について、各マクロブロックの全体領域（縦１６画素×横１６画素）に関する活発性評価値ａｃｔ１を算出する。ここで、活発性評価値は、マクロブロック内における画素値のばらつきの度合いを示す指標であり、例えば、そのマクロブロックの輝度平均値と各画素の輝度値との差分絶対値和を、そのマクロブロック内の画素数で除算した値として得られる。このように活発性評価値ａｃｔ１を用いることにより、全体が滑らかである属性のマクロブロック（つまり画質の劣化が目立つマクロブロック）に関しては、小さい量子化パラメータ（つまり大きい符号量）を見積もることにより、適切な予想符号量を求めることができる。

部分評価値演算部２２は、画像信号Ｓ１に基づいて、直後Ｎ個のマクロブロックの各々について、各マクロブロックの複数の部分領域に関する活発性評価値の最小値ａｃｔ２を算出する。つまり、各マクロブロックの上辺を含む縦４画素×横１６画素の領域、下辺を含む縦４画素×横１６画素の領域、左辺を含む縦１６画素×横４画素の領域、及び右辺を含む縦１６画素×横４画素の領域に関する活発性評価値をそれぞれ算出し、その最小値ａｃｔ２を求める。このように最小値ａｃｔ２を用いることにより、例えば、全体が複雑であり、文字領域を含んでおらず、かつ滑らかな部分を一部に含んでいない属性のマクロブロック（つまり画質の劣化が目立たないマクロブロック）に関しては、大きい量子化パラメータ（つまり小さい符号量）を見積もることにより、適切な予想符号量を求めることができる。また、例えば、全体が複雑であり、文字領域を含んでいないが、滑らかな部分を一部に含んでいる属性のマクロブロック（つまり滑らかな部分において画質の劣化が目立つマクロブロック）に関しては、やや小さい量子化パラメータ（つまりやや大きい符号量）を見積もることにより、適切な予想符号量を求めることができる。

ソベルフィルタ処理部２３は、画像信号Ｓ１に基づいて、直後Ｎ個のマクロブロックの各々について、各マクロブロックの複数の部分領域に関して、ソベルフィルタを用いてエッジ抽出処理を実行し、そのフィルタ結果の最大値Ｓｏｂｅｌを求める。つまり、各マクロブロックの上辺を含む縦４画素×横１６画素の領域、下辺を含む縦４画素×横１６画素の領域、左辺を含む縦１６画素×横４画素の領域、及び右辺を含む縦１６画素×横４画素の領域に関してエッジ抽出処理を実行し、そのフィルタ結果の最大値Ｓｏｂｅｌを求める。このように最大値Ｓｏｂｅｌを用いることにより、例えば、全体が複雑であり、かつ文字領域を一部に含んでいる属性のマクロブロック（つまり文字領域において画質の劣化が目立つマクロブロック）に関しては、中程度の量子化パラメータ（つまり中程度の符号量）を見積もることにより、適切な予想符号量を求めることができる。

図５は、図４に示した記憶部２５に記憶されているパラメータセットの第１の例を示す図である。複数のパラメータセットＱＰＳ０〜ＱＰＳ７の各々には、マクロブロックの属性値ＡＣＴ０〜ＡＣＴ４に対応して量子化パラメータがそれぞれ設定されている。例えばパラメータセットＱＰＳ４に関しては、属性値ＡＣＴ０に対応して値「３８」の量子化パラメータが設定されており、属性値ＡＣＴ１に対応して「２０」の量子化パラメータが設定されており、属性値ＡＣＴ２に対応して「３８」の量子化パラメータが設定されており、属性値ＡＣＴ３に対応して「４４」の量子化パラメータが設定されており、属性値ＡＣＴ４に対応して「２６」の量子化パラメータが設定されている。また、例えばパラメータセットＱＰＳ７に関しては、属性値ＡＣＴ０〜ＡＣＴ４に対応して「５１」の量子化パラメータが設定されている。

また、量子化パラメータが基準値（例えばＨ．２６４の規格上の最大値である「５１」）に設定された場合に発生が想定される符号量（基準符号量）が、マクロブロックの属性値ＡＣＴ０〜ＡＣＴ４に対応してそれぞれ設定されている。この例では、属性値ＡＣＴ０に対応して３２ビット、属性値ＡＣＴ１に対応して４ビット、属性値ＡＣＴ２に対応して３２ビット、属性値ＡＣＴ３に対応して３２ビット、及び属性値ＡＣＴ４に対応して８ビットの基準符号量が、それぞれ設定されている。基準符号量を適切に設定することにより、複数のパラメータセットＱＰＳ０〜ＱＰＳ７の各々に関して、適切な予想符号量を求めることができる。

図６は、図４に示した記憶部２５に記憶されているパラメータセットの第２の例を示す図である。図５に示したパラメータセットＱＰＳ７に代えて、パラメータセットＱＰＳ８が設定されている。パラメータセットＱＰＳ８に関しては、属性値ＡＣＴ０〜ＡＣＴ４に対応して「５２」の量子化パラメータが設定されている。ここで、「５２」の量子化パラメータは、符号化処理のスキップを意味する。つまり、量子化パラメータが「５２」に設定されたマクロブロックに関しては、符号化処理を省略して、直前のフレーム内の同一箇所のマクロブロックに関する値を当該マクロブロックに関して適用することを意味する。

図４を参照して、予想符号量演算部２４は、直後Ｎ個のマクロブロックの各々について、全体評価値演算部２１によって求められた活発性評価値ａｃｔ１と、部分評価値演算部２２によって求められた最小値ａｃｔ２と、ソベルフィルタ処理部２３によって求められた最大値Ｓｏｂｅｌと、記憶部２５から読み出したパラメータセットとに基づいて、直後Ｎ個のマクロブロックに関して使用が予想される予想符号量を求める。具体的には以下の通りである。

予想符号量演算部２４は、まず、直後Ｎ個のマクロブロックの各々について、属性値を決定する。図７は、属性値の決定手法の一例を示すフローチャートである。図７のフローチャートで示すように、各マクロブロックの属性値は、活発性評価値ａｃｔ１が「２」以下であるという第１の条件を満たす場合には属性値ＡＣＴ１に決定され、第１の条件を満たさず活発性評価値ａｃｔ１が「６」以下であるという第２の条件を満たす場合には属性値ＡＣＴ４に決定され、第２の条件を満たさず最大値Ｓｏｂｅｌが「１２０」以上であるという第３の条件を満たす場合には属性値ＡＣＴ０に決定され、第３の条件を満たさず最小値ａｃｔ２が「５」以下であるという第４の条件を満たす場合には属性値ＡＣＴ２に決定され、第４の条件を満たさない場合には属性値ＡＣＴ３に決定される。予想符号量演算部２４は、直後Ｎ個のマクロブロックの中に、各属性値ＡＣＴ０〜ＡＣＴ４に決定されたマクロブロックが何個ずつ含まれているかをカウントする。

予想符号量演算部２４は、次に、パラメータセットＱＰＳ０〜ＱＰＳ６の各々を適用した場合の、直後Ｎ個のマクロブロックの合計の予想符号量をそれぞれ算出する。図５，６に示したように、パラメータセットＱＰＳ０〜ＱＰＳ６の量子化パラメータは、「２０」、「２６」、「３２」、「３８」、「４４」、及び「５１」のいずれかに設定されている。また、Ｈ．２６４の規格により、量子化パラメータが「６」だけ小さくなれば、量子化精度は２倍になる。従って、量子化パラメータが「２０」、「２６」、「３２」、「３８」、「４４」、及び「５１」に設定された場合に発生が想定される符号量は、それぞれ基準符号量の３２倍、１６倍、８倍、４倍、２倍、及び１倍となる。従って、直後Ｎ個のマクロブロックの中に、属性値ＡＣＴ０，ＡＣＴ１，ＡＣＴ２，ＡＣＴ３，ＡＣＴ４に決定されたマクロブロックがそれぞれＫ０個、Ｋ１個、Ｋ２個、Ｋ３個、Ｋ４個ずつ含まれている場合において、例えばパラメータセットＱＰＳ４を適用した場合の合計の予想符号量は、３２（ビット）×４（倍）×Ｋ０（個）＋４×３２×Ｋ１＋３２×４×Ｋ２＋３２×２×Ｋ３＋８×１６×Ｋ４なる演算によって求まる。予想符号量演算部２４は、他のパラメータセットＱＰＳ０〜ＱＰＳ３，ＱＰＳ５，ＱＰＳ６を適用した場合の合計の予想符号量についても、上記と同様に算出する。そして、各パラメータセットＱＰＳ０〜ＱＰＳ６を適用した場合の合計の予想符号量を、信号Ｓ１３として図３に示した第４処理部１４に入力する。

図８は、第４処理部１４によるパラメータセットの選択手法の一例を示す図である。直後Ｎ個のマクロブロックに関する許容符号量は、Ｘ個のマクロブロックに関する目標符号量から、直前に処理したＸ−Ｎ個のマクロブロックに関する発生符号量を差し引いた値として得られる。

第４処理部１４は、複数のパラメータセットＱＰＳ０〜ＱＰＳ６のうち、予想符号量が許容符号量以下で最大となるパラメータセットを選択する。図８に示した例では、パラメータセットＱＰＳ４が選択される。そして、第４処理部１４は、選択したパラメータセットＱＰＳ４に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する。例えば、現在の処理対象のマクロブロックの属性値が属性値ＡＣＴ０である場合には、当該マクロブロックに関する量子化パラメータを、図５又は図６においてＱＰＳ４とＡＣＴ０との交点に規定されている「３８」に設定する。この例によれば、発生符号量を目標符号量以下に抑えつつ、可能な限り画質を向上することができる。

他の例として、第４処理部１４は、複数のパラメータセットＱＰＳ０〜ＱＰＳ６のうち、予想符号量が許容符号量に最も近いパラメータセットを選択する。図８に示した例では、パラメータセットＱＰＳ３が選択される。そして、第４処理部１４は、選択したパラメータセットＱＰＳ３に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する。例えば、現在の処理対象のマクロブロックの属性値が属性値ＡＣＴ０である場合には、当該マクロブロックに関する量子化パラメータを、図５又は図６においてＱＰＳ３とＡＣＴ０との交点に規定されている「３２」に設定する。この例によれば、発生符号量を目標符号量に近付けることができるため、安定した符号量制御を行うことが可能となる。なお、この例において、予想符号量が許容符号量を超えることにより、発生符号量と予想符号量との和が目標符号量の例えば１０５％以上となる場合には、許容符号量を超える予想符号量となるパラメータセットの選択を禁止してもよい。

また、複数のパラメータセットＱＰＳ０〜ＱＰＳ６のうち予想符号量が最小となるパラメータセットＱＰＳ６を選択しても、予想符号量が許容符号量を超える場合には、第４処理部１４は、図５に示したパラメータセットＱＰＳ７、又は図６に示したパラメータセットＰＱＳ８を選択する。パラメータセットＱＰＳ７が選択された場合には、現在の処理対象のマクロブロックに関する量子化パラメータは、規格上の最大値である「５１」に設定される。但し、後述するように現在の処理対象のマクロブロックがイントラマクロブロックである場合には、量子化パラメータは上限値の「３２」に設定される。また、パラメータセットＱＰＳ８が選択された場合には、現在の処理対象のマクロブロックに関する符号化処理はスキップされる。但し、後述するように現在の処理対象のマクロブロックがイントラマクロブロックである場合には、量子化パラメータは上限値の「３２」に設定される。符号化処理がスキップされることにより、当該マクロブロックに関しては画質が劣化するが、符号化処理の省略によって発生符号量を削減できるため、その後のマクロブロックの処理において許容符号量を大きくすることができる。

ここで、画像処理装置１の処理対象であるマクロブロックには、所定の頻度（例えば１マクロブロックラインに１個の割合）でイントラマクロブロックが含まれる。本実施の形態に係る画像処理装置１では、イントラマクロブロックに関する量子化パラメータには、所定の上限値（この例では「３２」）が設定されている。第４処理部１４は、現在の処理対象のマクロブロックがイントラマクロブロックである場合には、現在の処理対象のマクロブロックに関する量子化パラメータを上限値以下の値に設定する。

また、図４を参照して、補正部２６は、あるマクロブロックに関して求めた予想符号量と、そのマクロブロックに関して実際に発生した符号量とに基づいて、図５，６に示した基準符号量を補正する。このように基準符号量の補正を行うことにより、基準符号量の設定の初期値が正確でなかった場合であっても、実際に発生した符号量に基づいて基準符号量を補正することにより、その後は正確な予想符号量を求めることができる。

第１の例として、補正部２６は、画像信号Ｓ４に基づいて、直後Ｎ個のマクロブロックのうちイントラマクロブロック以外の特定のマクロブロックに関して、実際に発生した符号量を求める。また、上記特定のマクロブロックに関して実際に発生した符号量と、その特定のマクロブロックに関して設定した量子化パラメータとに基づいて、量子化パラメータが「５１」に設定されていたと仮定した場合の発生符号量を算出する。例えば、量子化パラメータが「３２」に設定されていた場合には、実際に発生した符号量を「８」で除算することによって得られる値が、量子化パラメータが「５１」に設定されていたと仮定した場合の発生符号量として得られる。そして、この発生符号量が、予め設定されている基準符号量の初期値より大きい場合には、基準符号量の値を、初期値からこの発生符号量の値に更新する。かかる基準符号量の補正処理は定期的に行われ、発生符号量の値が基準符号量の初期値以下となった場合には、基準符号量の値を初期値に戻す。第１の例によれば、後述する第２の例と比較すると、追加の符号化処理が不要となるため、全体として演算量を削減することができる。

第２の例として、上記特定のマクロブロックに関してエンコーダ２において符号化処理を行う際に、この符号化処理に並行して、量子化パラメータを基準値（この例では「５１」）に設定して追加の符号化処理を行う。そして、補正部２６は、当該追加の符号化処理によって実際に発生した符号量を用いて、基準符号量の値を補正する。例えば、基準符号量の値を、予め設定されている初期値から、この実際に発生した符号量の値に更新する。第２の例によれば、上述した第１の例と比較すると、補正の精度を向上することができる。

このように本実施の形態に係る画像処理装置１によれば、第１処理部１１は、直前に処理したＹ個のマクロブロックに関して使用した発生符号量を求める。また、第２処理部１２は、Ｘ個のマクロブロックあたりの目標符号量と、第１処理部１１によって求められた発生符号量とに基づいて、現在の処理対象のマクロブロックを含む直後Ｎ個のマクロブロックに関して使用可能な許容符号量を求める。また、第３処理部１３は、直後Ｎ個のマクロブロックに関して使用が予想される予想符号量を求める。そして、第４処理部１４は、第２処理部１２によって求められた許容符号量と、第３処理部１３によって求められた予想符号量とに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する。このように、１フレーム内に含まれるマクロブロックの総数未満のＸ個（場合によってはＹ＋Ｎ個）のマクロブロックあたりの目標符号量に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定することにより、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。

＜変形例＞
図９は、図４に示した記憶部２５に記憶されているパラメータセットの第３の例を示す図である。複数のパラメータセットＱＰＳ０〜ＱＰＳ７の各々には、マクロブロックの属性値ＡＣＴ０〜ＡＣＴ５に対応して量子化パラメータがそれぞれ設定されている。例えばパラメータセットＱＰＳ４に関しては、属性値ＡＣＴ０に対応して値「３８」の量子化パラメータが設定されており、属性値ＡＣＴ１に対応して「２０」の量子化パラメータが設定されており、属性値ＡＣＴ２に対応して「３８」の量子化パラメータが設定されており、属性値ＡＣＴ３に対応して「４４」の量子化パラメータが設定されており、属性値ＡＣＴ４に対応して「２６」の量子化パラメータが設定されており、属性値ＡＣＴ５に対応して「３２」の量子化パラメータが設定されている。また、例えばパラメータセットＱＰＳ７に関しては、属性値ＡＣＴ０〜ＡＣＴ４に対応して「５１」の量子化パラメータが設定されており、属性値ＡＣＴ５に対応して「３２」の量子化パラメータが設定されている。

また、量子化パラメータが基準値（例えばＨ．２６４の規格上の最大値である「５１」）に設定された場合に発生が想定される符号量（基準符号量）が、マクロブロックの属性値ＡＣＴ０〜ＡＣＴ５に対応してそれぞれ設定されている。この例では、属性値ＡＣＴ０に対応して３２ビット、属性値ＡＣＴ１に対応して４ビット、属性値ＡＣＴ２に対応して３２ビット、属性値ＡＣＴ３に対応して３２ビット、属性値ＡＣＴ４に対応して８ビット、及び属性値ＡＣＴ５に対応して６４ビットの基準符号量が、それぞれ設定されている。

図１０は、図４に示した記憶部２５に記憶されているパラメータセットの第４の例を示す図である。図９に示したパラメータセットＱＰＳ７に代えて、パラメータセットＱＰＳ８が設定されている。パラメータセットＱＰＳ８に関しては、属性値ＡＣＴ０〜ＡＣＴ４に対応して「５２」の量子化パラメータが設定されており、属性値ＡＣＴ５に対応して「３２」の量子化パラメータが設定されている。

図４を参照して、予想符号量演算部２４は、直後Ｎ個のマクロブロックの各々について、全体評価値演算部２１によって求められた活発性評価値ａｃｔ１と、部分評価値演算部２２によって求められた最小値ａｃｔ２と、ソベルフィルタ処理部２３によって求められた最大値Ｓｏｂｅｌと、記憶部２５から読み出したパラメータセットとに基づいて、直後Ｎ個のマクロブロックに関して使用が予想される予想符号量を求める。具体的には以下の通りである。

予想符号量演算部２４は、まず、直後Ｎ個のマクロブロックの各々について、属性値を決定する。図１１は、属性値の決定手法の一例を示すフローチャートである。図１１のフローチャートで示すように、各マクロブロックの属性値は、そのマクロブロックがイントラマクロブロック（フレーム間予測を用いないマクロブロック）であるという第１の条件を満たす場合には属性値ＡＣＴ５に決定され、第１の条件を満たさず活発性評価値ａｃｔ１が「２」以下であるという第２の条件を満たす場合には属性値ＡＣＴ１に決定され、第２の条件を満たさず活発性評価値ａｃｔ１が「６」以下であるという第３の条件を満たす場合には属性値ＡＣＴ４に決定され、第３の条件を満たさず最大値Ｓｏｂｅｌが「１２０」以上であるという第４の条件を満たす場合には属性値ＡＣＴ０に決定され、第４の条件を満たさず最小値ａｃｔ２が「５」以下であるという第５の条件を満たす場合には属性値ＡＣＴ２に決定され、第５の条件を満たさない場合には属性値ＡＣＴ３に決定される。予想符号量演算部２４は、直後Ｎ個のマクロブロックの中に、各属性値ＡＣＴ０〜ＡＣＴ５に決定されたマクロブロックが何個ずつ含まれているかをカウントする。

予想符号量演算部２４は、次に、パラメータセットＱＰＳ０〜ＱＰＳ６の各々を適用した場合の、直後Ｎ個のマクロブロックの合計の予想符号量をそれぞれ算出する。図９，１０に示したように、パラメータセットＱＰＳ０〜ＱＰＳ６の量子化パラメータは、「２０」、「２６」、「３２」、「３８」、「４４」、及び「５１」のいずれかに設定されている。また、Ｈ．２６４の規格により、量子化パラメータが「６」だけ小さくなれば、量子化精度は２倍になる。従って、量子化パラメータが「２０」、「２６」、「３２」、「３８」、「４４」、及び「５１」に設定された場合に発生が想定される符号量は、それぞれ基準符号量の３２倍、１６倍、８倍、４倍、２倍、及び１倍となる。従って、直後Ｎ個のマクロブロックの中に、属性値ＡＣＴ０，ＡＣＴ１，ＡＣＴ２，ＡＣＴ３，ＡＣＴ４，ＡＣＴ５に決定されたマクロブロックがそれぞれＫ０個、Ｋ１個、Ｋ２個、Ｋ３個、Ｋ４個、Ｋ５個ずつ含まれている場合において、例えばパラメータセットＱＰＳ４を適用した場合の合計の予想符号量は、３２（ビット）×４（倍）×Ｋ０（個）＋４×３２×Ｋ１＋３２×４×Ｋ２＋３２×２×Ｋ３＋８×１６×Ｋ４＋６４×８×Ｋ５なる演算によって求まる。予想符号量演算部２４は、他のパラメータセットＱＰＳ０〜ＱＰＳ３，ＱＰＳ５，ＱＰＳ６を適用した場合の合計の予想符号量についても、上記と同様に算出する。そして、各パラメータセットＱＰＳ０〜ＱＰＳ６を適用した場合の合計の予想符号量を、信号Ｓ１３として図３に示した第４処理部１４に入力する。

上記実施の形態では、現在の処理対象のマクロブロックがイントラマクロブロックである場合には量子化パラメータを上限値「３２」以下に設定するという例外処理を行った。これに対して本変形例では、図９又は図１０に示したように、パラメータセットの中にイントラマクロブロックに関する属性値ＡＣＴ５が規定されている。そして、属性値ＡＣＴ５に対応する量子化パラメータが上限値「３２」以下に設定されている。従って、予想符号量演算部２４は、直後Ｎ個のマクロブロックの中にイントラマクロブロックが含まれている場合には、図９又は図１０に従って、そのマクロブロックに関する量子化パラメータを上限値「３２」以下の値に設定する。そのため、本変形例においては、現在の処理対象のマクロブロックがイントラマクロブロックである場合においても、上記例外処理を行う必要はない。

１ 画像処理装置
２ エンコーダ
３ 制御部
１１ 第１処理部
１２ 第２処理部
１３ 第３処理部
１４ 第４処理部
２１ 全体評価値演算部
２２ 部分評価値演算部
２３ ソベルフィルタ処理部
２４ 予想符号量演算部
２５ 記憶部
２６ 補正部

Claims (15)

1. 画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、
   前記量子化処理における量子化パラメータを制御する制御部と、
   を備え、
   前記制御部は、
   直前の第１の所定数のマクロブロックに関して使用した発生符号量を求める第１の処理部と、
   １フレーム内に含まれるマクロブロックの総数未満の第２の所定数以下のマクロブロックあたりの目標符号量と、前記第１の処理部によって求められた前記発生符号量とに基づいて、現在の処理対象のマクロブロックを含む直後の第３の所定数のマクロブロックに関して使用可能な許容符号量を求める第２の処理部と、
   前記第３の所定数のマクロブロックに関して使用が予想される予想符号量を求める第３の処理部と、
   前記第２の処理部によって求められた前記許容符号量と、前記第３の処理部によって求められた前記予想符号量とに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する第４の処理部と、
   を有する、画像処理装置。
2. 前記第２の処理部は、
   前記第１の所定数が、前記第２の所定数から前記第３の所定数を差し引いた値以上である場合には、前記第２の所定数のマクロブロックあたりの目標符号量から、直前の（前記第２の所定数マイナス前記第３の所定数）のマクロブロックに関して使用した発生符号量を差し引いた値として、前記許容符号量を求め、
   前記第１の所定数が、前記第２の所定数から前記第３の所定数を差し引いた値未満である場合には、前記第１の所定数及び前記第３の所定数の合計のマクロブロックあたりの目標符号量から、直前の前記第１の所定数のマクロブロックに関して使用した発生符号量を差し引いた値として、前記許容符号量を求める、請求項１に記載の画像処理装置。
3. 前記第３の処理部は、
   前記第３の所定数のマクロブロックの各々に関する属性値に基づいて前記予想符号量を求め、
   マクロブロックの全体領域に関する活発性評価値に基づいて、前記属性値を決定する、請求項１又は２に記載の画像処理装置。
4. 前記第３の処理部はさらに、マクロブロックにおける四辺の各領域に関する活発性評価値の最小値に基づいて、前記属性値を決定する、請求項３に記載の画像処理装置。
5. 前記第３の処理部はさらに、マクロブロックにおける四辺の各領域に関するエッジ抽出処理の結果の最大値に基づいて、前記属性値を決定する、請求項３又は４に記載の画像処理装置。
6. 前記第３の処理部はさらに、マクロブロックがイントラマクロブロックであるか否かに基づいて、前記属性値を決定する、請求項３〜５のいずれか一つに記載の画像処理装置。
7. 量子化パラメータが基準値に設定された場合の基準符号量が、複数の属性値の各々に対応して予め設定されており、
   前記複数の属性値の各々に対応して量子化パラメータがそれぞれ設定された複数のパラメータセットが予め設定されており、
   前記第３の処理部は、前記基準符号量に基づいて、前記複数のパラメータセットの各々に関する前記予想符号量をそれぞれ算出する、請求項３〜６のいずれか一つに記載の画像処理装置。
8. 前記第３の処理部は、実際に発生した符号量に基づいて、前記基準符号量を補正する、請求項７に記載の画像処理装置。
9. 前記第３の処理部は、前記基準値とは異なる量子化パラメータが設定された場合に実際に発生した符号量に基づいて、補正後の前記基準符号量を算出する、請求項８に記載の画像処理装置。
10. 前記第３の処理部は、前記基準値の量子化パラメータを用いて符号化処理を行い、当該符号化処理によって実際に発生した符号量に基づいて、前記基準符号量を補正する、請求項８に記載の画像処理装置。
11. 前記複数のパラメータセットの各々において、イントラマクロブロックに関する量子化パラメータは所定の上限値以下に設定されている、請求項７〜１０のいずれか一つに記載の画像処理装置。
12. 前記第４の処理部は、前記複数のパラメータセットのうち前記予想符号量が前記許容符号量以下で最大となるパラメータセットを選択し、当該パラメータセットに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する、請求項７〜１１のいずれか一つに記載の画像処理装置。
13. 前記第４の処理部は、前記複数のパラメータセットのうち前記予想符号量が前記許容符号量に最も近いパラメータセットを選択し、当該パラメータセットに基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを設定する、請求項７〜１１のいずれか一つに記載の画像処理装置。
14. 前記第４の処理部は、前記複数のパラメータセットのうち前記予想符号量が最小となるパラメータセットを選択しても、前記予想符号量が前記許容符号量を超える場合には、現在の処理対象のマクロブロックに関する符号化処理をスキップする、請求項７〜１３のいずれか一つに記載の画像処理装置。
15. 前記第４の処理部は、現在の処理対象のマクロブロックがイントラマクロブロックである場合には、当該マクロブロックに関する量子化パラメータを所定の上限値以下に設定する、請求項１２〜１４のいずれか一つに記載の画像処理装置。
    
    
    

Images