JP2015179943A - 予測モードコスト計算方法及び予測モードコスト計算プログラム - Google Patents

Abstract

【課題】映像符号化の予測モードおよびブロックサイズを選択する際に、視覚的な劣化をより低減させることができる予測モードコスト計算方法を提供する。
【解決手段】映像符号化の予測モード選択に用いる予測モードコスト計算方法であって、予測ブロックの残差を予め定められた小領域に分割し、分割した小領域毎に予測残差電力を算出する小領域予測残差電力算出ステップと、算出した小領域予測残差電力に基づいて定まる値に基づいてペナルティ値を算出するペナルティ算出ステップと、算出したペナルティ値を予測モードコストに加算して最終的な予測モードコストを求める予測モードコスト算出ステップとを有する。
【選択図】図１

Description

本発明は、予測モードコスト計算方法及び予測モードコスト計算プログラムに関する。

ＨＥＶＣ（High Efficiency Video Coding）などの映像符号化規格では、符号化対象画像を小領域に分割し、各分割領域（小領域）毎に予測モードおよび予測ブロックサイズを決定し、予測画像との残差を変換、符号化する方法が主流となっている。予測モードとしては、画面内情報から予測画像を生成するＩｎｔｒａ予測と、既に符号化済みの別フレームから予測画像を生成するＩｎｔｅｒ予測の２通りに大別される。

一方、予測ブロックサイズは、ＨＥＶＣを例にとると、まずＣＵと呼ばれる４種類（６４×６４、３２×３２、１６×１６、８×８）のブロックサイズから選択でき、更にこのＣＵは、ＰＵと呼ばれる８通りの分割パターン（分割せず・縦分割・横分割・縦３：１分割・縦１：３分割、横１：３分割、横３：１分割、田の字分割）によって更に分割することができる。

これらの予測モードおよび予測ブロックサイズの選択は、（１）式のコスト関数を用いて決定される方法が一般的である。
コスト＝Ｄ＋λ×Ｒ ・・・（１）
ここで、Ｄは歪みで、予測モードおよび予測ブロックサイズを選択した場合の予測残差電力を表す。例えば予測画像との残差の絶対値和であるＳＡＤや、残差の２乗和であるＳＳＤを用いる方法が一般的である。λはラグランジュ定数で、量子化幅や予測モードから決定される定数である。Ｒは符号量で、例えばＩｎｔｅｒ予測における動きベクトルの符号量などのヘッダ符号量が用いられる。

このようなコスト関数を用い、各予測モードおよび予測ブロックサイズについてコストを算出し、コストが最も小さい予測モードと予測ブロックサイズの組み合わせを選ぶことで、符号化効率の高い映像圧縮を行うことができる（例えば、非特許文献１参照）。

次に、従来技術によるコスト計算を行う装置の構成を説明する。図７は、従来技術によるコスト計算を行う装置の構成を示すブロック図である。コスト計算を行う装置は、減算器１、残差電力算出部２、ヘッダ符号量計算部３、ラムダ計算部４、乗算器５および加算６器から構成される。

減算器１は、原画像（符号化対象画像）と予測画像の減算を行って差分を出力する。ここでは原画像と予測画像との間の減算を行い、予測残差画像を生成する。残差電力算出部２は、予測残差画像に関する残差電力を算出する。これは例えば予測残差画像の全要素の絶対値和を求めるＳＡＤや、全要素の二乗和を求めるＳＳＤなどが該当する。ヘッダ符号量計算部３は、予測モード情報と量子化パラメータとからヘッダ符号量を計算して出力する。ラムダ計算部４は、量子化パラメータから係数λを計算して出力する。乗算器５は、ヘッダ符号量Ｒと係数λを乗算して出力する。この出力はλ×Ｒに相当する。加算器６は、残差電力算出部２から出力する歪みＤと、乗算器５から出力するλ×Ｒとを加算して出力する。この出力がコストとなる。

次に、図８を参照して、図７に示す装置がコストを計算する処理動作を説明する。図８は、図７に示す装置がコストを計算する処理動作を示すフローチャートである。この処理は、あるブロックサイズおよび予測モードに関するコストの算出を行うものである。処理が始まると、まず、減算器１は、原画像と予測画像の差分を求める。残差電力算出部２は、この差分からブロックサイズおよび予測モードに関する歪みＤを計算する（ステップＳ５１）。

次に、ヘッダ符号量計算部３は、予測モード情報と量子化パラメータとを入力して、ブロックサイズおよび予測モードに関するヘッダ符号量Ｒを計算する（ステップＳ５２）。次に、ラムダ計算部４は、量子化パラメータを入力して、ラグランジュ定数λを計算する（ステップＳ５３）。次に、乗算器５は、ヘッダ符号量計算部３とラムダ計算部４の出力を乗算し、λ×Ｒを出力する。そして、加算器６は、残差電力算出部２と乗算器５の出力を加算することにより、コスト（Ｄ＋λ×Ｒ）を算出する（ステップＳ５４）。

このように、選択可能なブロックサイズおよび予測モードに対して、前述した処理（図８の処理）に従ってコストを求め、その中で最もコストが小さかったブロックサイズおよび予測モードを対象ブロックのブロックサイズ、予測モードとして決定する。

また、前述のコスト関数（（１）式）より符号化効率の高いブロックサイズ・予測画像を求める方法としてＲＤ最適化手法と呼ばれる方法がある。これは、（１）式において歪みＤに復号画像と原画像の差分電力、Ｒにヘッダ符号量とＤＣＴ係数符号量の和を用いるものである。図９は、ＲＤ最適化手法を用いてコストを計算する装置の構成を示すブロック図である。図９において、図７に示す装置と同一の部分には同一の符号を付し、その説明を省略する。ＲＤ最適化手法を用いてコストを計算する装置は、２つの減算器１、７、ＤＣＴ部８、Ｑ部９、ＩＱ部１０、ＩＤＣＴ部１１、残差電力算出部２、ＤＣＴ係数符号量計算部１３、ヘッダ符号量計算部３、ラムダ計算部４、３つの加算器６、１２、１４および乗算器５から構成される。なお、ヘッダ符号量算出部３からの出力をヘッダ符号量Ｒ＿Ｈと記載しているが、これはＤＣＴ係数符号量Ｒ＿Ｔと区別するためのものである。

ＤＣＴ部８は、入力信号にＤＣＴ（離散コサイン変換）を施してＤＣＴ係数を出力する。Ｑ部９は入力されたＤＣＴ係数を与えられた量子化パラメータで量子化し、量子化されたＤＣＴ係数を出力する。ＩＱ部１０は、量子化されたＤＣＴ係数、および量子化パラメータを入力とし、量子化されたＤＣＴ係数を元に戻す。ＩＤＣＴ部１１はＤＣＴ係数にＩＤＣＴ（逆離散コサイン変換）を施し、予測残差の復号画像を出力する。ＤＣＴ係数符号量計算部１３は、量子化されたＤＣＴ係数を入力としてＤＣＴ係数符号量Ｒ＿Ｔを算出して出力する。

次に、図１０を参照して、図９に示す装置がＲＤ最適化手法を用いてコスト計算を行う処理動作を説明する。図１０は、図９に示す装置がＲＤ最適化手法を用いてコスト計算を行う処理動作を示すフローチャートである。処理が始まると、まず減算器７は、原画像と予測画像の間の差分を取って予測残差を算出する（ステップＳ６１）。ＤＣＴ部８は、その予測残差に対してＤＣＴを施す（ステップＳ６２）。そして、Ｑ部９は、ＤＣＴ部８の出力に対して量子化を施す（ステップＳ６３）。

次に、ＤＣＴ係数符号量計算部１３は、量子化されたＤＣＴ係数から、ＤＣＴ係数符号量Ｒ＿Ｔを計算する（ステップＳ６４）。また、ＩＱ部１０は、量子化されたＤＣＴ係数に対して逆量子化を施す（ステップＳ６５）。そして、ＩＤＣＴ部１１は、ＩＱ部１０の出力に対して、ＩＤＣＴを施す（ステップＳ６６）。加算器１２は、ＩＤＣＴ部１１の出力と予測画像とを加算することで復号画像を生成する（ステップＳ６７）。減算器１は、この復号画像と原画像の差分を求める。残差電力算出部２は、この差分から復号画像の歪みＤを計算する（ステップＳ６８）。この歪みＤは差分の絶対値和であるＳＡＤもしくは差分の二乗和であるＳＳＤなどが用いられる。

一方、ヘッダ符号量計算部３は、対象ブロックサイズと予測モードのヘッダ符号量Ｒ＿Ｈを計算する（ステップＳ６９）。加算器１４は、ヘッダ符号量Ｒ＿ＨとＤＣＴ係数符号量Ｒ＿Ｔとを加算して符号量Ｒを算出する（ステップＳ７０）。また、例えば設定された量子化パラメータの値から定数λを計算する（ステップＳ７１）。そして、乗算器５は、定数λと符号量Ｒとを乗算する。加算器６は、乗算器５の出力（λ×Ｒ）と残差電力算出部２の出力（Ｄ）とを加算してコスト（Ｄ＋λ×Ｒ）を算出する（ステップＳ７２）。

このＲＤ最適化手法はＤＣＴやＩＤＣＴを行う必要があるため演算コストが増大するが、より正確な符号量Ｒ、予測残差Ｄが求まるため符号化性能の高いブロックサイズ・予測モードを選択することができる。

角野ほか，「Ｈ．２６４／ＡＶＣ教科書」Ｐ．２０１〜２０６、インプレスＲ＆Ｄ

前述したように、予測ブロックサイズに様々な大きさがあることで、動物体の輪郭に沿う形で領域を切り取り、動き補償を行ったり、領域毎に適切な予測モードを切り替えたりなどを行うことができるようになる。

しかしながら、従来法による予測ブロックサイズ決定処理には以下のような問題がある。すなわち、コストの大小だけで上述の予測モードと予測ブロックサイズの組み合わせを選択した場合、必ずしも動物体の輪郭に沿う形で予測ブロックサイズが決定される訳ではない。特に低いレートにおいて、動物体の輪郭より大きな予測ブロックサイズが選択されるケースがある。この結果、動物体と共にその背景も一部切り取られて動くような符号化映像が得られることになる。小さな予測ブロックを複数個扱うより、それらを一つに束ねた大きな予測ブロックを用いた方がヘッダコストは小さくて済む。これは、特に低レートでは大きなブロックサイズの方がコストが低いと判断されることによる。この結果、確かに符号化効率は高くなるものの、例えば歩いている人物の周囲に背景が纏わりつくように移動するような復号画像が生成され、視覚的な品質が著しく低下するという問題がある。

本発明は、このような事情に鑑みてなされたもので、映像符号化の予測モードおよびブロックサイズを選択する際に、視覚的な劣化をより低減させることができる予測モードコスト計算方法及び予測モードコスト計算プログラムを提供することを目的とする。

本発明は、映像符号化の予測モード選択に用いる予測モードコスト計算方法であって、予測ブロックの残差を予め定められた小領域に分割し、分割した前記小領域毎に予測残差電力を算出する小領域予測残差電力算出ステップと、算出した前記小領域予測残差電力に基づいて定まる値に基づいてペナルティ値を算出するペナルティ算出ステップと、算出した前記ペナルティ値を予測モードコストに加算して最終的な予測モードコストを求める予測モードコスト算出ステップとを有することを特徴とする。

本発明は、映像符号化の予測モード選択に用いる予測モードコスト計算方法であって、原画像と符号化対象ブロックを符号化・復号した復号ブロックの差分である歪みを予め定められた小領域に分割し、分割した前記小領域毎に歪みを算出する小領域歪み算出ステップと、算出した前記小領域歪みに基づいて定まる値に基づいてペナルティ値を算出するペナルティ算出ステップと、算出した前記ペナルティ値を予測モードコストに加算して最終的な予測モードコストを求める予測モードコスト算出ステップとを有することを特徴とする。

本発明は、前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値は、算出された前記小領域予測残差電力の最大値、または前記小領域歪みの最大値であることを特徴とする。

本発明は、前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値は、算出された前記小領域予測残差電力の分散値、または前記小領域歪みの分散値であることを特徴とする。

本発明は、前記ペナルティ算出ステップでは、前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値に対して、所定の係数を乗算して前記ペナルティを算出し、前記所定の係数は、予測モード情報あるいは量子化パラメータに基づいて予め定められたテーブルを参照して決定することを特徴とする。

本発明は、前記ペナルティ算出ステップでは、前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値に対して、所定の係数を乗算して前記ペナルティを算出し、前記所定の係数は、予測モード番号とブロックサイズと量子化パラメータの線形結合として算出して決定することを特徴とする。

本発明は、コンピュータに、前記予測モードコスト計算方法を実行させるための予測モードコスト計算プログラムである。

本発明によれば、映像符号化の予測モードおよびブロックサイズを選択する際に、視覚的な劣化をより低減させることができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す装置の処理動作を示すフローチャートである。 本発明の第２実施形態の構成を示すブロック図である。 図３に示す装置の処理動作を示すフローチャートである。 本発明の第３実施形態の構成を示すブロック図である。 図５に示す装置の処理動作を示すフローチャートである。 従来技術によるコスト計算を行う装置の構成を示すブロック図である。 図７に示す装置がコストを計算する処理動作を示すフローチャートである。 ＲＤ最適化手法を用いてコストを計算する装置の構成を示すブロック図である。 図９に示す装置がＲＤ最適化手法を用いてコスト計算を行う処理動作を示すフローチャートである。

以下、本発明の実施形態による予測モードコスト計算装置を説明する。始めに、本発明の予測モードコスト計算装置の原理について説明する。本発明による予測モードコスト計算装置は、コスト関数の計算機能において、予測ブロックを更に細かい小領域に分けて領域毎に予測残差電力を算出し、小領域毎に求めた予測残差電力の総和を求め、求めた各小領域の予測残差電力からペナルティ値を求め、求めたペナルティ値を対象予測ブロックのコスト関数に加算するようにしている。

求めた各小領域の予測残差電力からペナルティを計算する機能は、例えば算出した各領域の予測残差電力のうち最大のものを検出する機能と、検出された最大の予測残差電力に係数を掛けてそれをペナルティとする機能でもよい。もしくは、各領域の予測残差電力について分散を取り、それに係数を掛けてペナルティとする機能でもよい。

また、係数は、予め定められた固定値を用いてもよい。この固定値は、予測ブロックのサイズ毎に異なる固定値を用いてもよい。もしくは、量子化ステップサイズ毎に異なる固定値を用いてもよい。もしくは、予測ブロックと予測モード毎に異なる固定値を用いてもよい。もしくは、予測ブロックが含む小領域の個数を、これら固定値に掛けて係数としてもよい。予測モードと量子化パラメータを元にテーブルを参照し係数を決定してもよい。もしくは、予測モードを示す定数Ｍ（例えばＩｎｔｒａ＝１、Ｉｎｔｅｒ＝２）と、予測ブロックの面積Ｓと量子化パラメータＱから、係数ｋ＝αＭ＋βＳ＋γＱ（α、β、γは予め定めた定数）などのような線形結合で求めてもよい。

また、予測ブロックを更に細かい小領域に分けて領域毎に予測残差電力を算出する機能では、ＲＤ最適化手法を使用する際はＤＣＴを施す前の予測残差から求めてもよい。

この構成によれば、あるブロックサイズ・予測モードにおいて予測残差電力の総和が低くても、一部の領域に残差電力が集中している場合には大きなペナルティが加算されるため、そのようなモードは選ばれにくくなる。例えば、大きな予測ブロックでその中に動領域の境界が含まれているようなケースがこれに当たる。一方、ブロックサイズ・予測モードが動領域に沿って分割されている場合には、残差電力が一部領域に集中する可能性が低くなるため、前のケースよりペナルティが小さくなり、選ばれやすくなる。

＜第１実施形態＞
次に、本発明の第１実施形態による予測モードコスト計算装置の構成を説明する。図１は第１実施形態の構成を示すブロック図である。この図において、図７に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、残差電力算出部２と加算器６に代えて、領域毎残差電力算出部２１、合計値計算部２２、最大値検出部２３、係数決定部２４、乗算器２５、加算器２６が設けられている点である。

本実施形態は、ＲＤ最適化手法を用いずにコスト関数を計算するものである。なお、本実施形態のペナルティ算出法としては、算出した各領域の予測残差電力の中の最大値を検出し、それに対して予測モードと量子化パラメータを元にテーブル参照で求めた係数ｋを掛けることでペナルティを求めるものとする。

領域毎残差電力算出部２１は、予測残差を予め定められた小領域に分割し、小領域毎の予測残差電力を算出してそれらを全て出力する。合計値計算部２２は、領域毎残差電力算出部２１から出力された小領域毎の予測残差電力を全て合算し、予測残差電力Ｄ（歪みＤ）を求めて出力する。最大値検出部２３は、領域毎残差電力算出部２１から出力された小領域毎の残差電力の中から最大のもの（小領域の予測残差電力最大値ｄ＿ｍａｘ）を選択して出力する。

係数決定部２４は、予測モード情報と量子化パラメータから予め定められたテーブルを参照して係数ｋを決定して出力する。乗算器２５は、小領域の予測残差電力最大値ｄ＿ｍａｘと係数ｋとを乗算してペナルティとして出力する。加算器２６は、合計値計算部２２の出力（歪みＤ）と、乗算器２５の出力（ペナルティ）と、乗算器５の出力（λ×Ｒ）とを加算してコストとして出力する。

次に、図２を参照して、図１に示す装置の処理動作を説明する。図２は、図１に示す装置の処理動作を示すフローチャートである。処理が始まると、減算器１は、原画像と予測画像の差分を求めて予測残差として出力する。領域毎残差電力算出部２１は、予測残差を予め定められた小領域毎に区分し、小領域毎の予測残差電力を計算する（ステップＳ１）。予測残差電力の算出法としては、例えば絶対値の総和であるＳＡＤなどがある。

次に、求めた小領域毎の予測残差電力の合計により全体の予測残差電力（歪みＤに相当）を求める（ステップＳ２）。この全体の予測残差電力は、図８に示すステップＳ５１によって求められる歪みＤと等しくなる。

一方、最大値検出部２３は、小領域毎に求めた予測残差電力の中で最大のもの（小領域の予測残差電力最大値ｄ＿ｍａｘ）を検出する（ステップＳ３）。

次に、係数決定部２４は、予測モード情報と量子化パラメータとからテーブル参照により係数ｋを求める（ステップＳ４）。テーブルは予め与えられているものとする。そして、乗算器２５は、小領域の予測残差電力最大値ｄ＿ｍａｘと係数ｋとを乗算しペナルティとして出力する（ステップＳ５）。

次に、ヘッダ符号量計算部３は、予測ブロックサイズおよび予測モードに関するヘッダ符号量Ｒを算出する（ステップＳ６）。また、ラムダ計算部４は、ラグランジュ定数λを求める（ステップＳ７）。このヘッダ符号量Ｒおよびラグランジュ定数λの算出は従来法と同様の方法を用いる。そして、乗算器５は、のヘッダ符号量Ｒとラグランジュ定数λとを乗算して出力する。

最後に、加算器２６は、合計値計算部２２の出力（歪みＤ）と、乗算器５の出力（λ×Ｒ）と、乗算器２５の出力（ペナルティ）とを加算してコストを算出する（ステップＳ８）。この処理の結果、ペナルティが加味されたコストを算出することができる。

＜第２実施形態＞
次に、本発明の第２実施形態による予測モードコスト計算装置を説明する。図３は、第２実施形態の構成を示すブロック図である。この図において、図９に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、残差電力算出部２と加算器６に代えて、領域毎残差電力算出部２１、合計値計算部２２、最大値検出部２３、係数決定部２４、乗算器２５、加算器２６が設けられている点である。

本実施形態は、ＲＤ最適化手法を用いてコスト関数を計算するものである。なお、本実施形態のペナルティ算出法としては、算出した各領域の予測残差電力の中の最大値を検出し、それに対して予測モードと量子化パラメータを元にテーブル参照で求めた係数ｋを掛けることでペナルティを求めるものとする。また、領域毎の予測残差電力は、原画像と復号画像との差分から算出するものとする。

領域毎残差電力算出部２１は、予測残差を予め定められた小領域に分割し、小領域毎の予測残差電力を算出してそれらを全て出力する。合計値計算部２２は、領域毎残差電力算出部２１から出力された小領域毎の予測残差電力を全て合算し、予測残差電力Ｄ（歪みＤ）を求めて出力する。最大値検出部２３は、領域毎残差電力算出部２１から出力された小領域毎の残差電力の中から最大のもの（小領域の予測残差電力最大値ｄ＿ｍａｘ）を選択して出力する。

係数決定部２４は、予測モード情報と量子化パラメータから予め定められたテーブルを参照して係数ｋを決定して出力する。乗算器２５は、小領域の予測残差電力最大値ｄ＿ｍａｘと係数ｋとを乗算してペナルティとして出力する。加算器２６は、合計値計算部２２の出力（歪みＤ）と、乗算器２５の出力（ペナルティ）と、乗算器５の出力（λ×Ｒ）とを加算してコストとして出力する。

次に、図４を参照して、図３に示す装置の処理動作を説明する。図４は、図３に示す装置の処理動作を示すフローチャートである。処理が始まると、まず減算器７は、原画像と予測画像の間の差分を取って予測残差を算出する（ステップＳ１１）。ＤＣＴ部８は、その予測残差に対してＤＣＴを施す（ステップＳ１２）。そして、Ｑ部９は、ＤＣＴ部８の出力に対して量子化を施す（ステップＳ１３）。

次に、ＤＣＴ係数符号量計算部１３は、量子化されたＤＣＴ係数から、ＤＣＴ係数符号量Ｒ＿Ｔを計算する（ステップＳ１４）。また、ＩＱ部１０は、量子化されたＤＣＴ係数に対して逆量子化を施す（ステップＳ１５）。そして、ＩＤＣＴ部１１は、ＩＱ部１０の出力に対して、ＩＤＣＴを施す（ステップＳ１６）。加算器１２は、ＩＤＣＴ部１１の出力と予測画像とを加算することで復号画像を生成する（ステップＳ１７）。

次に、領域毎残差電力算出部２１は、原画像と復号画像の間の歪み計算を予め定められた小領域毎に実施する（ステップＳ１８）。歪みとしては、差分画像の全要素の絶対値和を求めたＳＡＤや、差分画像の全要素の二乗和を求めたＳＳＤなどがある。次に、合計値計算部２２は、小領域毎に求めた歪みの総和を求め、対象ブロック全体の歪みＤを計算する（ステップＳ１９）。この歪みＤは、図１０に示すステップＳ６８において求まる歪みＤと等しくなる。

次に、最大値検出部２３は、小領域毎に求めた歪みの中で最大のもの（小領域の予測残差電力最大値ｄ＿ｍａｘ）を検出する（ステップＳ２０）。また、係数決定部２４は、予測モード情報と量子化パラメータからテーブル参照により係数ｋを求める（ステップＳ２１）。テーブルは予め与えられているものとする。乗算器２５は、小領域の予測残差電力最大値ｄ＿ｍａｘと係数ｋとを乗算してペナルティを算出する（ステップＳ２２）。

一方、ヘッダ符号量計算部３は、対象ブロックサイズと予測モードのヘッダ符号量Ｒ＿Ｈを計算する（ステップＳ２３）。加算器１４は、ヘッダ符号量Ｒ＿ＨとＤＣＴ係数符号量Ｒ＿Ｔとを加算して符号量Ｒを算出する（ステップＳ２４）。また、例えば設定された量子化パラメータの値から定数λを計算する（ステップＳ２５）。そして、乗算器５は、定数λと符号量Ｒとを乗算する。

最後に、加算器２６は、合計値計算部２２の出力（歪みＤ）と、乗算器５の出力（λ×Ｒ）と、乗算器２５の出力（ペナルティ）とを加算してコストを算出する（ステップＳ２６）。このような処理の結果、ペナルティが加味されたコストを算出することができる。

＜第３実施形態＞
次に、本発明の第３実施形態による予測モードコスト計算装置を説明する。図５は、第３実施形態の構成を示すブロック図である。この図において、図９に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、加算器６に代えて、領域毎残差電力算出部２１、最大値検出部２３、係数決定部２４、乗算器２５、加算器２６が設けられている点である。

本実施形態はＲＤ最適化手法を用いてコスト関数を計算するものである。なお、本実施形態のペナルティ算出法としては、算出した各領域の予測残差電力の中の最大値を検出し、それに対して予測モードと量子化パラメータを元にテーブル参照で求めた係数ｋを掛けることでペナルティを求めるものとする。また、用いるテーブルは第２実施形態と同一でもよいし、異なるものでもよい。また、領域毎の予測残差電力は、原画像と予測画像との差分から算出するものとする。

領域毎残差電力算出部２１は、予測残差を予め定められた小領域に分割し、小領域毎の予測残差電力を算出してそれらを全て出力する。最大値検出部２３は、領域毎残差電力算出部２１から出力された小領域毎の残差電力の中から最大のもの（小領域の予測残差電力最大値ｄ＿ｍａｘ）を選択して出力する。

係数決定部２４は、予測モード情報と量子化パラメータから予め定められたテーブルを参照して係数ｋを決定して出力する。乗算器２５は、小領域の予測残差電力最大値ｄ＿ｍａｘと係数ｋとを乗算してペナルティとして出力する。加算器２６は、合計値計算部２２の出力（歪みＤ）と、乗算器２５の出力（ペナルティ）と、乗算器５の出力（λ×Ｒ）とを加算してコストとして出力する。

次に、図６を参照して、図５に示す装置の処理動作を説明する。図６は、図５に示す装置の処理動作を示すフローチャートである。処理が始まると、まず減算器７は、原画像と予測画像の差分によって予測残差を算出する（ステップＳ３１）。続いて、領域毎残差電力算出部２１は、予測残差を予め定められた小領域毎に分けて各々の予測残差電力を計算する（ステップＳ３２）。予測残差電力としては、差分画像の全要素の絶対値和を求めたＳＡＤや、差分画像の全要素の二乗和を求めたＳＳＤなどがある。

次に、最大値検出部２３は、小領域毎に求めた歪みの中で最大のもの（小領域の予測残差電力最大値ｄ＿ｍａｘ）を検出する（ステップＳ３３）。また、係数決定部２４は、予測モード情報と量子化パラメータからテーブル参照により係数ｋを求める（ステップＳ３４）。テーブルは予め与えられているものとする。乗算器２５は、小領域の予測残差電力最大値ｄ＿ｍａｘと係数ｋとを乗算してペナルティを算出する（ステップＳ３５）。

一方、ＤＣＴ部８は、予測残差に対してＤＣＴを施す（ステップＳ３６）。そして、Ｑ部９は、ＤＣＴ部８の出力に対して量子化を施す（ステップＳ３７）。続いて、ＤＣＴ係数符号量計算部１３は、量子化されたＤＣＴ係数から、ＤＣＴ係数符号量Ｒ＿Ｔを計算する（ステップＳ３８）。また、ＩＱ部１０は、量子化されたＤＣＴ係数に対して逆量子化を施す（ステップＳ３９）。そして、ＩＤＣＴ部１１は、ＩＱ部１０の出力に対して、ＩＤＣＴを施す（ステップＳ４０）。加算器１２は、ＩＤＣＴ部１１の出力と予測画像とを加算することで復号画像を生成する（ステップＳ４１）。

次に、減算器１は、この復号画像と原画像の差分を求める。残差電力算出部２は、この差分から復号画像の歪みＤを計算する（ステップＳ４２）。この歪みＤは差分の絶対値和であるＳＡＤもしくは差分の二乗和であるＳＳＤなどが用いられる。続いて、ヘッダ符号量計算部３は、対象ブロックサイズと予測モードのヘッダ符号量Ｒ＿Ｈを計算する（ステップＳ４３）。加算器１４は、ヘッダ符号量Ｒ＿ＨとＤＣＴ係数符号量Ｒ＿Ｔとを加算して符号量Ｒを算出する（ステップＳ４４）。また、例えば設定された量子化パラメータの値から定数λを計算する（ステップＳ４５）。そして、乗算器５は、定数λと符号量Ｒとを乗算する。

最後に、加算器２６は、合計値計算部２２の出力（歪みＤ）と、乗算器５の出力（λ×Ｒ）と、乗算器２５の出力（ペナルティ）とを加算してコストを算出する（ステップＳ４６）。このような処理の結果、ペナルティが加味されたコストを算出することができる。

以上説明したように、予測ブロックを更に細かい領域に分けて領域毎に予測残差電力を算出し、この予測残差電力に基づいて定まる所定の値（例えば最大値）を利用したペナルティを通常の方法で算出されるコストに加算したものの大小関係に基づいて予測モードを選択するようにした。この構成により、通常の方法で算出されるコストの大小関係に基づき予測モードを選択した場合に動物体の輪郭に沿わない大きな予測ブロックサイズが選択されるという問題を解決することができ、画像品質の低下を抑制することができる。

すなわち、動領域境界に沿わない大きなブロックサイズ・予測モードが選ばれにくくなる一方、動領域境界に対して適切に分割されたブロックサイズ・予測モードは選択されやすくなるため、前述のような視覚的に著しく品質が劣化する問題を改善することができる。また、小さいブロックサイズ・予測モードでも残差電力の集中度合いが改善されない場合にはペナルティが大きくなるため選択されにくい。そのため不必要な分割（過分割）が起こりにくく、符号化効率に与える悪影響を最小限に留めることができる。

前述した実施形態における予測モードコスト計算装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

映像符号化の予測モードおよびブロックサイズを選択する際に、視覚的な劣化をより低減させることが不可欠な用途に適用できる。

１・・・減算器、２・・・残差電力算出部、３・・・ヘッダ符号量計算部、４・・・ラムダ計算部、５・・・乗算器、６・・・加算器、７・・・減算器、８・・・ＤＣＴ部、９・・・Ｑ部、１０・・・ＩＱ部、１１・・・ＩＤＣＴ部、１２・・・加算器、１３・・・ＤＣＴ係数符号量計算部、１４・・・加算器、２１・・・領域毎残差電力算出部、２２・・・合計値計算部、２３・・・最大値検出部、２４・・・係数決定部、２５・・・乗算器、２６・・・加算器、

Claims (7)

1. 映像符号化の予測モード選択に用いる予測モードコスト計算方法であって、
   予測ブロックの残差を予め定められた小領域に分割し、分割した前記小領域毎に予測残差電力を算出する小領域予測残差電力算出ステップと、
   算出した前記小領域予測残差電力に基づいて定まる値に基づいてペナルティ値を算出するペナルティ算出ステップと、
   算出した前記ペナルティ値を予測モードコストに加算して最終的な予測モードコストを求める予測モードコスト算出ステップと
   を有することを特徴とする予測モードコスト計算方法。
2. 映像符号化の予測モード選択に用いる予測モードコスト計算方法であって、
   原画像と符号化対象ブロックを符号化・復号した復号ブロックの差分である歪みを予め定められた小領域に分割し、分割した前記小領域毎に歪みを算出する小領域歪み算出ステップと、
   算出した前記小領域歪みに基づいて定まる値に基づいてペナルティ値を算出するペナルティ算出ステップと、
   算出した前記ペナルティ値を予測モードコストに加算して最終的な予測モードコストを求める予測モードコスト算出ステップと
   を有することを特徴とする予測モードコスト計算方法。
3. 前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値は、算出された前記小領域予測残差電力の最大値、または前記小領域歪みの最大値であることを特徴とする請求項１または２に記載の予測モードコスト計算方法。
4. 前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値は、算出された前記小領域予測残差電力の分散値、または前記小領域歪みの分散値であることを特徴とする請求項１または２に記載の予測モードコスト計算方法。
5. 前記ペナルティ算出ステップでは、前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値に対して、所定の係数を乗算して前記ペナルティを算出し、
   前記所定の係数は、予測モード情報あるいは量子化パラメータに基づいて予め定められたテーブルを参照して決定することを特徴とする請求項１から４のいずれか１項に記載の予測モードコスト計算方法。
6. 前記ペナルティ算出ステップでは、前記小領域予測残差電力に基づいて定まる値、または前記小領域歪みに基づいて定まる値に対して、所定の係数を乗算して前記ペナルティを算出し、
   前記所定の係数は、予測モード番号とブロックサイズと量子化パラメータの線形結合として算出して決定することを特徴とする請求項１から４のいずれか１項に記載の予測モードコスト計算方法。
7. コンピュータに、請求項１から６のいずれか１項に記載の予測モードコスト計算方法を実行させるための予測モードコスト計算プログラム。

Images