JP2011199433A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】イントラ予測の精度および効率を改善すること。
【解決手段】予測残差生成部３により、符号化対象ブロックの画像と符号化対象ブロックの予測画像との予測残差を生成する。重み付け部４により、予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に１よりも大きい定数を乗算して重み付けをする。重み付けされた予測残差に対して直交変換、量子化、逆量子化および逆直交変換を行って逆直交変換データを生成する。予測残差再生部９により、逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい定数で除算して予測残差を再生する。復号画像生成部１０により、再生された予測残差と予測画像とに基づいて復号画像を生成する。
【選択図】図１

Description

この発明は、画像処理装置および画像処理方法に関する。

従来、画像処理の一つである画像符号化処理の国際標準としてＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）／Ｈ．２６４がある。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、符号化装置は、入力画像と予測画像とに基づいて予測残差を求め、直交変換、量子化、逆量子化および逆直交変換を行って予測残差を再生する。符号化装置は、再生した予測残差とフレーム内の予測画像（イントラ予測画像）もしくはフレーム間の予測画像（インター予測画像）とに基づいて復号画像を生成する。符号化装置は、復号画像と入力画像とに基づいてフレーム間の予測画像を生成する。符号化装置は、量子化係数を符号化したビットストリームを出力する。復号装置は、ビットストリームを復号し、逆量子化および逆直交変換を行って予測残差を再生する。復号装置は、再生した予測残差とビットストリームの復号により得た予測画像とに基づいて復号画像を生成する。

一方、イントラ予測による符号化処理は、水平１６画素×垂直１６画素のマクロブロック単位、またはこのマクロブロックを水平４画素×垂直４画素もしくは水平８画素×垂直８画素ごとに分割したブロック単位で実施される。色差については、マクロブロックを水平８画素×垂直８画素ごとに分割したブロック単位でイントラ予測による符号化処理が実施される。一フレームの原画に対して左から右でかつ上から下へ向かって符号化処理が進められていく場合、符号化する対象のブロックまたはマクロブロック（以下、まとめて符号化対象ブロックと表記する）の上、左斜め上、右斜め上および左隣の各ブロックまたは各マクロブロックは既に符号化されている。水平４画素×垂直４画素のブロックまたは水平８画素×垂直８画素のブロック（色差のブロックを除く）の予測画像は、符号化対象ブロックに対してすぐ上および右斜め上の各ブロックの下端に並ぶ画素と、左斜め上のブロックの右下隅の画素と、左隣のブロックの右端に並ぶ画素とに基づいて生成される。マクロブロックまたは色差のブロックの予測画像は、符号化対象ブロックに対してすぐ上のマクロブロックまたはブロックの下端に並ぶ画素と、左斜め上のマクロブロックまたはブロックの右下隅の画素と、左隣のマクロブロックまたはブロックの右端に並ぶ画素とに基づいて生成される。

特開２００９−２１７８６号公報 特開２００８−２２７６７０号公報

しかしながら、従来のイントラ予測による符号化処理では、上述したように符号化対象ブロックの周辺に位置する符号化済みの画素を用いて符号化対象ブロックの予測画像が生成される。そのため、予測画像の生成に使用される画素の符号化誤差が大きいと、得られる予測画像の品質すなわち精度が悪くなり、符号化効率が悪くなるという問題点がある。

イントラ予測の精度および効率を改善することができる画像処理装置および画像処理方法を提供することを目的とする。

この画像処理装置は、予測画像生成部、予測残差生成部、重み付け部、直交変換部、量子化部、逆量子化部、逆直交変換部、予測残差再生部および復号画像生成部を備える。予測画像生成部は、符号化対象ブロックの周囲にある符号化済みのブロックに含まれる画素の画素値に基づいて当該符号化対象ブロックの予測画像を生成する。予測残差生成部は、符号化対象ブロックの画像と予測画像生成部により生成された予測画像とに基づいて予測残差を生成する。重み付け部は、予測残差生成部により生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に１よりも大きい第１の定数を乗算する第１の乗算を行って画素値に重みを付ける。あるいは、重み付け部は、予測残差生成部により生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値に１よりも小さい第２の定数を乗算する第２の乗算を行って画素値に重みを付けてもよい。また、重み付け部は、第１の乗算および第２の乗算の両方を行って画素値に重みを付けてもよい。直交変換部は、重み付け部による乗算後の予測残差に対して直交変換を行って変換係数を生成する。量子化部は、直交変換部により生成された変換係数に対して量子化を行って量子化係数を生成する。逆量子化部は、量子化部により生成された量子化係数に対して逆量子化を行って逆量子化係数を生成する。逆直交変換部は、逆量子化部により生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する。予測残差再生部は、逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第３の定数で除算する第１の除算を行って予測残差を再生する。あるいは、予測残差再生部は、逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第４の定数で除算する第２の除算を行って予測残差を再生してもよい。また、予測残差再生部は、第１の除算および第２の除算の両方を行ってもよい。復号画像生成部は、予測残差再生部により再生された予測残差と予測画像生成部により生成された予測画像とに基づいて復号画像を生成する。

この画像処理装置および画像処理方法によれば、イントラ予測の精度および効率を改善することができるという効果を奏する。

実施例１にかかる画像処理装置を示すブロック図である。 実施例１にかかる画像処理方法を示すフローチャートである。 量子化係数への誤差の混入および混入した誤差の均一化について説明する図である。 実施例２にかかる画像処理装置を示すブロック図である。 イントラ４×４モードについて説明する図である。 イントラ８×８モードについて説明する図である。 イントラ１６×１６モードについて説明する図である。 色差のイントラモードについて説明する図である。 実施例３にかかる画像処理装置を示すブロック図である。 符号化対象ブロックと画面の表示位置との関係を説明する図である。 実施例４にかかる画像処理装置を示すブロック図である。

以下に添付図面を参照して、この画像処理装置および画像処理方法の好適な実施の形態を詳細に説明する。画像処理装置および画像処理方法は、予測残差の中の、予測画像の生成に利用される画素の画素値に重み付けをして直交変換し、逆直交変換後に、重み付けされた画素の画素値に対して重み付けの逆を行うことで、予測画像の生成に利用される画素の符号化誤差を抑圧する。

（実施例１）
・画像処理装置の説明
図１は、実施例１にかかる画像処理装置を示すブロック図である。実施例１にかかる画像処理装置は、入力画像データを符号化する符号化装置である。この符号化装置は、１フレームの画像を複数のブロックに分割し、ブロックごとに画像データを符号化する。図１に示すように、符号化装置（画像処理装置）１は、予測画像生成部２、予測残差生成部３、重み付け部４、直交変換部５、量子化部６、逆量子化部７、逆直交変換部８、予測残差再生部９および復号画像生成部１０を備えている。

予測画像生成部２は、符号化対象ブロックの予測画像を生成する。その際、予測画像生成部２は、符号化対象ブロックの周囲にある符号化済みのブロックに含まれる画素の画素値に基づいて予測画像を生成する。予測残差生成部３は、符号化対象ブロックの予測残差を生成する。その際、予測残差生成部３は、符号化対象ブロックの画像と、予測画像生成部２により生成された符号化対象ブロックの予測画像と、の差分を求めることによって予測残差を生成してもよい。

重み付け部４は、予測残差生成部３により生成された予測残差に含まれる画素の画素値に対して重み付けを行う。例えば、重み付け部４は、予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に第１の定数を乗算してもよい（第１の乗算）。この場合、第１の定数は、１よりも大きい。あるいは、重み付け部４は、予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値に第２の定数を乗算してもよい（第２の乗算）。この場合、第２の定数は、１よりも小さい。また、重み付け部４は、第１の乗算および第２の乗算の両方を行ってもよい。

直交変換部５は、重み付け部４による乗算後の予測残差に対して直交変換を行うことによって変換係数を生成する。量子化部６は、直交変換部５により生成された変換係数に対して量子化を行うことによって量子化係数を生成する。逆量子化部７は、量子化部６により生成された量子化係数に対して逆量子化を行うことによって逆量子化係数を生成する。逆直交変換部８は、逆量子化部７により生成された逆量子化係数に対して逆直交変換を行うことによって逆直交変換データを生成する。

予測残差再生部９は、逆直交変換部８により生成された逆直交変換データに基づいて予測残差を再生する。その際、重み付け部４において上述した第１の乗算を行った場合には、予測残差再生部９は、逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を第３の定数で除算する（第１の除算）。この場合、第３の定数は、１よりも大きい。第３の定数と第１の定数とが同じ値であってよい。重み付け部４において上述した第２の乗算を行った場合には、予測残差再生部９は、逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値を第４の定数で除算する（第２の除算）。この場合、第４の定数は、１よりも小さい。第４の定数と第２の定数とが同じ値であってよい。重み付け部４において上述した第１の乗算および第２の乗算の両方を行った場合には、予測残差再生部９においても第１の除算および第２の除算の両方を行ってもよい。

復号画像生成部１０は、復号画像を生成する。その際、復号画像生成部１０は、予測残差再生部９により再生された予測残差と、予測画像生成部２により生成された予測画像と、を加算することによって復号画像を生成してもよい。例えば、符号化装置１は、量子化部６により生成された量子化係数を例えばエントロピー符号化することによってビットストリームを生成して出力する。

・画像処理方法の説明
図２は、実施例１にかかる画像処理方法を示すフローチャートである。実施例１にかかる画像処理方法は、入力画像データを符号化する符号化方法である。この符号化方法は、１フレームの画像を複数のブロックに分割し、ブロックごとに画像データを符号化する。図２に示すように、入力画像データの符号化処理（画像処理）が開始されると、符号化装置１は、まず予測画像生成部２により符号化対象ブロックの予測画像を生成する（ステップＳ１）。次いで、符号化装置１は、予測残差生成部３により符号化対象ブロックの予測残差を生成する（ステップＳ２）。

次いで、符号化装置１は、重み付け部４により、予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に重みを付ける（ステップＳ３）。次いで、符号化装置１は、直交変換部５により重み付け後の予測残差に対して直交変換を行って変換係数を生成する（ステップＳ４）。次いで、符号化装置１は、量子化部６により変換係数に対して量子化を行って量子化係数を生成する（ステップＳ５）。量子化の際に、量子化係数の一部に誤差が混入することがある。量子化係数に誤差が混入することについては、後述する。

次いで、符号化装置１は、逆量子化部７により量子化係数に対して逆量子化を行って逆量子化係数を生成する（ステップＳ６）。次いで、符号化装置１は、逆直交変換部８により逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する（ステップＳ７）。逆直交変換データにおいては、量子化係数に混入した誤差は一様に広がる。つまり、量子化係数に局在した誤差が逆直交変換によって均一化される。量子化係数に混入した誤差が一様に広がることについては、後述する。

次いで、符号化装置１は、予測残差再生部９により、逆直交変換データに対してステップＳ３の重み付け処理と逆の処理を行って予測残差を再生する（ステップＳ８）。再生された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素については、誤差が抑圧されている。直交変換前に重み付け処理を行い、逆直交変換後に重み付け処理の逆の処理を行うことによって、予測画像の生成に利用される画素の画素値に含まれる誤差が小さくなることについては、特開平９−２００７６６号公報の段落番号００８３から００８７および当該公報の図７に記載されている。

ただし、特開平９−２００７６６号公報においては、重み付け処理は振幅変調と表記されており、重み付け処理の逆の処理は振幅復調と表記されている。また、直交変換は離散コサイン変換と表記されており、逆直交変換は逆離散コサイン変換と表記されている。特開平９−２００７６６号公報の図７を参照すると、予測誤差信号の平坦な部分に対して、直交変換前に振幅変調度として１よりも大きい倍率が設定され（同図（ｂ））、逆直交変換後に振幅復調度として１よりも小さい倍率が設定されている（同図（ｆ））。それによって、振幅復調された予測誤差信号の平坦な部分の誤差および符号化ノイズが抑圧されていることがわかる（同図（ｇ）および（ｈ））。なお、１よりも大きい倍率を設定することは、１よりも大きい係数を乗算することと同じ意味であり、１よりも小さい倍率を設定することは、１よりも大きい係数で除算することと同じ意味である。

次いで、符号化装置１は、復号画像生成部１０により、再生された予測残差と符号化対象ブロックの予測画像とに基づいて復号画像を生成する（ステップＳ９）。そして、一符号化対象ブロックに対する一連の符号化処理を終了する。この一連の符号化処理は、全ての符号化対象ブロックに対して行われる。

・量子化係数への誤差の混入および混入した誤差の均一化に関する説明
図３は、量子化係数への誤差の混入および混入した誤差の均一化について説明する図である。図３に示すように、ここでは単純化のため、水平２画素×垂直２画素の予測誤差信号ブロックを例にして説明する。一例として、直交変換前の予測誤差信号ブロック２１において、左上、右上、左下および右下の各画素値が３８、１７、−２および−２３であるとする。直交変換前の予測誤差信号ブロック２１は、第一から第四までの直交基底を用いて直交変換される（図３の最上段）。図示例の直交基底は、２行×２列のアダマール変換基底として知られている。図示例では、直交変換前の予測誤差信号ブロック２１は、第一基底の１５倍と第二基底の２１倍と第三基底の４０倍と第四基底の０倍との線形和で表されている。各直交基底に乗算されている係数が変換係数である。図示例では、各変換係数は、第一基底側から順に１５、２１、４０および０である。

各変換係数は、例えば１０で線形量子化される。変換係数をＣｉ（ｉ＝０，１，２，３）とし、量子化係数をＱｉとすると、Ｑｉは次式で表される。次式においてＣｉに５が加算されているので、量子化係数Ｑｉは、変換係数Ｃｉを１０で除算して小数点以下を四捨五入した値となる。図示例では、各量子化係数は、第一基底側から順に２、２、４および０となる。
Ｑｉ＝（Ｃｉ＋５）／１０

各量子化係数Ｑｉは、例えば量子化器１０で逆量子化される。図示例では、各逆量子化係数Ｃ’ｉは、各量子化係数Ｃｉに１０を乗算するので、第一基底側から順に２０、２０、４０および０となる。従って、量子化および逆量子化を行ったことによる量子化誤差は、第一基底側から順に５、−１、０および０となる。この例では、量子化誤差は、第一基底の係数と第二基底の係数とに存在し、第三基底の係数と第四基底の係数には存在しない。逆直交変換では、第一基底側から順に２０、２０、４０および０の各逆量子化係数が対応する第一基底、第二基底、第三基底および第四基底に乗算され、各基底の乗算結果が加算される。図示例では、逆直交変換後の再生された予測誤差信号ブロック２２において、左上、右上、左下および右下の各画素値は４０、２０、０および−２０となる（図３の中段）。

符号化誤差は、逆直交変換後の再生された予測誤差信号ブロック２２の各画素値から直交変換前の予測誤差信号ブロック２１の各画素値を減算することにより得られる。従って、図示例では、符号化誤差信号ブロック２３において、左上、右上、左下および右下の各画素値は２、３、２および３となる（図３の最下段）。つまり、第一基底の係数と第二基底の係数とに存在した量子化誤差が符号化誤差信号ブロック２３の全画素にほぼ均等に広がったことになる。ここでの説明は一例であるが、各画素値が異なっていても、あるいは予測誤差信号ブロックの画素数が異なっていても、さらには各直交基底の数値が異なっていても、量子化誤差がブロックの全画素に均等に広がることが統計的に知られている。

実施例１によれば、直交変換前に重み付け処理を行い、逆直交変換後に重み付け処理の逆の処理を行うことによって、予測画像の生成に利用される画素の符号化誤差が抑圧される。従って、予測画像の品質が向上し、符号化効率が向上するので、イントラ予測の精度および効率を改善することができる。

（実施例２）
実施例２にかかる画像処理装置は、実施例１にかかる符号化装置によって符号化された符号化データを復号して復号画像を生成する復号装置である。

・画像処理装置の説明
図４は、実施例２にかかる画像処理装置を示すブロック図である。図４に示すように、復号装置（画像処理装置）３１は、予測画像生成部３２、逆量子化部３３、逆直交変換部３４、予測残差再生部３５および復号画像生成部３６を備えている。

予測画像生成部３２は、復号対象ブロックの予測画像を生成する。その際、予測画像生成部３２は、符号化モードおよび復号対象ブロックの周囲にある復号済みのブロックに含まれる画素の画素値に基づいて予測画像を生成する。符号化モードは、符号化データに含まれており、例えば図示しない復号部で符号化データを復号することによって得られる。

逆量子化部３３は、量子化係数に対して逆量子化を行うことによって逆量子化係数を生成する。量子化係数は、符号化データに含まれており、例えば図示しない復号部で符号化データを復号することによって得られる。逆直交変換部３４は、逆量子化部３３により生成された逆量子化係数に対して逆直交変換を行うことによって逆直交変換データを生成する。

予測残差再生部３５は、逆直交変換部３４により生成された逆直交変換データに基づいて予測残差を再生する。その際、実施例１にかかる符号化装置１の重み付け部４において上述した第１の乗算を行った場合には、予測残差再生部３５は、逆直交変換データに含まれる複数の画素のうち、別の復号対象ブロックの予測画像の生成に利用される画素の画素値を第５の定数で除算する（第１の除算）。第５の定数は、実施例１における第３の定数に相当する。従って、第５の定数は、１よりも大きい。第５の定数と上述した第１の定数とが同じ値であってよい。実施例１にかかる符号化装置１の重み付け部４において上述した第２の乗算を行った場合には、予測残差再生部３５は、逆直交変換データに含まれる複数の画素のうち、別の復号対象ブロックの予測画像の生成に利用されない画素の画素値を第６の定数で除算する（第２の除算）。第６の定数は、実施例１における第４の定数に相当する。従って、第６の定数は、１よりも小さい。第６の定数と上述した第２の定数とが同じ値であってよい。実施例１にかかる符号化装置１の重み付け部４において上述した第１の乗算および第２の乗算の両方を行った場合には、予測残差再生部３５においても第１の除算および第２の除算の両方を行ってもよい。

復号画像生成部３６は、復号画像を生成する。その際、復号画像生成部３６は、予測残差再生部３５により再生された予測残差と、予測画像生成部３２により生成された予測画像と、を加算することによって復号画像を生成してもよい。

・画像処理方法の説明
実施例２にかかる画像処理方法は、符号化データを復号して復号画像を生成する復号方法である。実施例２にかかる復号方法のフローチャートは、図２に示すフローチャートにおいてステップＳ２からステップＳ５までを除いたものと同様である。符号化データの復号処理（画像処理）が開始されると、復号装置３１は、まず予測画像生成部３２により復号対象ブロックの予測画像を生成する。次いで、復号装置３１は、逆量子化部３３により量子化係数に対して逆量子化を行って逆量子化係数を生成する。量子化係数には、実施例１にかかる符号化方法の量子化の際に混入した誤差が含まれている。次いで、復号装置３１は、逆直交変換部３４により逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する。逆直交変換データにおいては、量子化係数に含まれている誤差が一様に広がる。

次いで、復号装置３１は、予測残差再生部３５により、逆直交変換データに対して実施例１にかかる符号化方法の重み付け処理と逆の処理を行って予測残差を再生する。再生された予測残差に含まれる複数の画素のうち、別の復号対象ブロックの予測画像の生成に利用される画素については、実施例１で説明した通り、誤差が抑圧されている。次いで、復号装置３１は、復号画像生成部３６により、再生された予測残差と復号対象ブロックの予測画像とに基づいて復号画像を生成する。そして、一復号対象ブロックに対する一連の復号処理を終了する。この一連の復号処理は、全ての復号対象ブロックに対して行われる。

実施例２によれば、実施例１にかかる符号化装置および符号化方法によって符号化されたデータを復号して、復号画像を生成することができる。

（実施例３）
実施例３は、実施例１にかかる画像処理装置（符号化装置）をＨ．２６４規格の符号化装置に適用したものである。Ｈ．２６４規格では、輝度については水平１６画素×垂直１６画素のマクロブロック単位（イントラ１６×１６モード）、水平８画素×垂直８画素のブロック単位（イントラ８×８モード）または水平４画素×垂直４画素のブロック単位（イントラ４×４モード）でイントラ予測による符号化処理が実施される。色差については水平８画素×垂直８画素のブロック単位でイントラ予測による符号化処理が実施される。以下の説明では、一フレームの原画に対して左から右でかつ上から下へ向かって符号化処理が進められていくとする。

・イントラ４×４モードの説明
図５は、イントラ４×４モードについて説明する図である。図５に示すように、符号化対象ブロック４１の予測画像は、左隣のブロック４２の右端の４個の画素Ａ、左斜め上のブロック４３の右下隅の画素Ｂ、真上のブロック４４の下端に並ぶ画素Ｃまたは右斜め上のブロック４５の下端に並ぶ画素Ｄに基づいて生成される。左隣のブロック４２、左斜め上のブロック４３、真上のブロック４４および右斜め上のブロック４５は、既に符号化されている。イントラ４×４モードには、これら符号化済みの画素（Ａ、Ｂ、ＣおよびＤ）の画素値を例えば垂直方向や水平方向や斜め方向に外挿して予測する８種類のモードと平均値をとるモードの合計９種類の予測モードがある。符号化対象ブロック４１が符号化された後に符号化対象ブロック４１の右隣のブロック（図示せず）の予測画像を生成する際には、符号化対象ブロック４１の右端に並ぶＥとＧの画素が使用される。符号化対象ブロック４１の右斜め下のブロック（図示せず）の予測画像を生成する際には、符号化対象ブロック４１の右下隅の画素Ｇが使用される。符号化対象ブロック４１の真下または左斜め下のブロック（図示せず）の予測画像を生成する際には、符号化対象ブロック４１の下端に並ぶＦとＧの画素が使用される。

・イントラ８×８モードの説明
図６は、イントラ８×８モードについて説明する図である。図６に示すように、イントラ８×８モードは、水平方向および垂直方向の画素数が８画素になるだけで、それ以外のことについてはイントラ４×４モードと同様である。

・イントラ１６×１６モードの説明
図７は、イントラ１６×１６モードについて説明する図である。図７に示すように、イントラ１６×１６モードは、水平方向および垂直方向の画素数が１６画素であることと、符号化対象ブロック４１の右斜め上のブロックの下端に並ぶ画素を用いないことと、予測モードの種類が４種類であることを除いて、イントラ４×４モードと同様である。

・色差のイントラモードの説明
図８は、色差のイントラモードについて説明する図である。図８に示すように、色差のイントラモードは、水平方向および垂直方向の画素数が８画素になるだけで、それ以外のことについてはイントラ１６×１６モードと同様である。

・画像処理装置の説明
図９は、実施例３にかかる画像処理装置（符号化装置）を示すブロック図である。図９に示すように、符号化装置５１は、予測画像生成部としてのイントラ予測部５２、予測残差生成部としての減算部５３、重み付け部としての乗算部５４、直交変換部５５、量子化部５６、逆量子化部５７、逆直交変換部５８、予測残差再生部としての除算部５９および復号画像生成部としての加算部６０を備えている。符号化装置５１は、イントラ予測モード導出部６１、フレームメモリ６２、動き推定部６３、動き補償部６４、選択部６５、デブロックフィルタ６６およびエントロピー符号化部６７を備えている。

イントラ予測モード導出部６１は、入力画像に対してイントラ予測モードの中で最適なモードを選択する。その際、イントラ予測モード導出部６１は、輝度についてはイントラ１６×１６モードの４種類の予測モード、イントラ８×８モードの９種類の予測モードまたはイントラ４×４モードの９種類の予測モードの中から適当なモードを選択する。イントラ予測モード導出部６１は、色差については４種類の予測モードの中から適当なモードを選択する。イントラ予測部５２は、イントラ予測モード導出部６１により選択されたイントラ予測モードに対応する予測画像（イントラ予測画像）を生成する。

フレームメモリ６２は、過去の復号画像を蓄積する。動き推定部６３は、フレームメモリ６２に蓄積されている過去の復号画像と入力画像とを比較して両者に類似する画像領域を検出する。動き推定部６３は、検出した対応する画像領域の相対位置を動きベクトルとして算出する。動き補償部６４は、動き推定部６３により算出された動きベクトルおよび過去の復号画像に基づいて予測画像（インター予測画像）を生成する。インター予測画像の生成とイントラ予測画像の生成とは並列に行うことができる。選択部６５は、ブロックごとにイントラ予測画像およびインター予測画像のいずれか一方を選択する。その際、選択部６５は、イントラ予測画像を選択した場合の符号化効率とインター予測画像を選択した場合の符号化効率とを比較し、符号化効率の高い方を最終的な予測画像として選択する。

減算部５３は、予測残差として、選択部６５により選択された予測画像と入力画像との差分をとる。乗算部５４は、減算部５３により生成された予測残差に含まれる複数の画素のうち、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値に１よりも大きい定数を乗算する。直交変換部５５は、乗算部５４によって重み付けされた予測残差に対して直交変換を行い、変換係数を生成する。量子化部５６は、直交変換部５５により生成された変換係数に対して量子化を行い、量子化係数を生成する。逆量子化部５７は、量子化部５６により生成された量子化係数に対して逆量子化を行い、逆量子化係数を生成する。逆直交変換部５８は、逆量子化部５７により生成された逆量子化係数に対して逆直交変換を行い、逆直交変換データを生成する。

除算部５９は、逆直交変換部５８により生成された逆直交変換データに含まれる複数の画素のうち、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値を１よりも大きい定数で除算し、予測残差を再生する。除算部５９における定数の値は、乗算部５４における定数の値と同じであってもよい。加算部６０は、除算部５９により再生された予測残差と予測画像とを加算し、復号画像を生成する。加算部６０により生成された復号画像は、イントラ予測部５２におけるイントラ予測画像の生成に用いられる。デブロックフィルタ６６は、加算部６０により生成された復号画像のブロックの境界を平滑化する。デブロックフィルタ６６によって、ブロックノイズの発生が抑制される。フレームメモリ６２には、デブロックフィルタ６６によりブロックの境界が平滑化された復号画像が格納される。

エントロピー符号化部６７は、量子化部５６により生成された量子化係数、イントラ予測モード導出部６１により選択されたイントラ予測モード、および動き推定部６３により算出された動きベクトルに基づいてビットストリームを生成する。実施例３にかかる画像処理方法において、イントラ予測が関係する符号化方法は、図２に示すフローチャートおよび実施例１と同様であるので、説明を省略する。

図５〜図８に示す符号化対象ブロック４１の右下隅の画素Ｇは、符号化対象ブロック４１の右隣、右斜め下、真下および左斜め下の各ブロック（図示せず）の予測画像を生成する際に使用される。それに対して、符号化対象ブロック４１の右端に並ぶ画素Ｅは、符号化対象ブロック４１の右隣のブロック（図示せず）の予測画像を生成する際に使用される。符号化対象ブロック４１の下端に並ぶ画素Ｆは、符号化対象ブロック４１の真下および左斜め下の各ブロック（図示せず）の予測画像を生成する際に使用される。つまり、予測画像を生成する際に画素Ｇが使用される頻度は、画素Ｅや画素Ｆが使用される頻度よりも高い。そこで、乗算部５４において画素Ｇの画素値に乗じる値および除算部５９において画素Ｇの画素値を除する値を、画素Ｅや画素Ｆに対する値よりも大きくしてもよい。その場合、利用頻度の高い画素の符号化誤差を、そうでない画素よりもより一層抑圧することができるので、イントラ予測の精度が向上する。例えば、画素Ｅおよび画素Ｆの各画素値に乗じる値や、画素Ｅおよび画素Ｆの各画素値を除する値を１．２とし、画素Ｇの画素値に乗じる値や、画素Ｇの画素値を除する値を１．４としてもよい。また、画素Ｅと画素Ｆとで、画素値に乗じる値や画素値を除する値を変えてもよい。

図１０は、符号化対象ブロックと画面の表示位置との関係を説明する図である。図１０に示すように、符号化対象ブロック４１の表示位置が画面４８の右下隅に位置する場合、当該符号化対象ブロック４１の右、右下、真下および左下には、画面４８に表示されるブロックが存在しない。従って、画面４８の右下隅に位置するブロックは、別のブロックの予測画像を生成する際には使用されない。このように、別のブロックの予測画像を生成する際には使用されないブロックについては、乗算部５４における乗算および除算部５９における除算を行わないようにしてもよい。別のブロックの予測画像を生成する際に使用されないので乗算部５４における乗算および除算部５９における除算を行わなくてもよい例として、符号化対象ブロック４１の右、右下および真下が画面４８の外になる場合、スライス外となる場合、またはイントラ予測モードでない場合（例えば、インター予測モード）などが挙げられる。このようにすれば、符号化効率を改善することができる。

上述したイントラ４×４モードおよびイントラ８×８モードには、図５および図６に示す画素Ａ、画素Ｂ、画素Ｃおよび画素Ｄの平均値をとる平均値モードというモードがある。イントラ１６×１６モードおよび色差のイントラモードの平均値モードでは、図７および図８に示す画素Ａ、画素Ｂおよび画素Ｃの平均値が用いられる。この平均値モードでは、予測画像が平坦な画像になることがある。平坦な画像に対して乗算部５４および除算部５９において上述した乗算および除算を行うと、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の符号化誤差が小さくなり、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の符号化誤差が大きくなる。そのため、視覚的な劣化が目立つことがある。従って、平均値モードの場合には、乗算部５４における乗算および除算部５９における除算を行わないようにしてもよい。

減算部５３により生成された予測残差は、符号化対象の量子化器の大きさに依存する。例えば量子化器が大きいと予測残差が大きく、量子化器が小さいと予測残差が小さい。従って、乗算部５４において画素値に乗じる値および除算部５９において画素値を除する値を、量子化器の大きさに応じて適応的に変えるようにしてもよい。例えば、量子化器が大きい場合には、乗算部５４において画素値に乗じる値および除算部５９において画素値を除する値を大きくし、量子化器が小さい場合には、乗算部５４において画素値に乗じる値および除算部５９において画素値を除する値を１に近づけるようにしてもよい。

なお、乗算部５４は、予測残差に含まれる複数の画素のうち、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値に１よりも小さい定数を乗算してもよい。その場合には、除算部５９は、逆直交変換データに含まれる複数の画素のうち、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値を１よりも小さい定数で除算する。また、乗算部５４は、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値に１よりも大きい定数を乗算し、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値に１よりも小さい定数を乗算してもよい。その場合には、除算部５９は、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値を１よりも大きい定数で除算し、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値を１よりも小さい定数で除算する。

実施例３によれば、実施例１と同様の効果が得られる。

（実施例４）
実施例４は、実施例２にかかる画像処理装置（復号装置）をＨ．２６４規格の復号装置に適用したものである。

・画像処理装置の説明
図１１は、実施例４にかかる画像処理装置（復号装置）を示すブロック図である。図１１に示すように、復号装置７１は、予測画像生成部としてのイントラ予測部７２、逆量子化部７３、逆直交変換部７４、予測残差再生部としての除算部７５および復号画像生成部としての加算部７６を備えている。復号装置７１は、エントロピー復号部７７、フレームメモリ７８、動き補償部７９、選択部８０およびデブロックフィルタ８１を備えている。

エントロピー復号部７７は、例えば実施例３にかかる符号化装置５１により符号化されたビットストリームを復号し、量子化係数、動きベクトルおよびイントラ予測モードを得る。イントラ予測部７２は、エントロピー復号部７７により復号されたイントラ予測モードに基づいて予測画像（イントラ予測画像）を生成する。フレームメモリ７８は、過去の復号画像を蓄積する。動き補償部７９は、エントロピー復号部７７により復号された動きベクトルおよび過去の復号画像に基づいて予測画像（インター予測画像）を生成する。インター予測画像の生成とイントラ予測画像の生成とは並列に行うことができる。選択部８０は、ブロックごとにイントラ予測画像およびインター予測画像のいずれか一方を選択する。

逆量子化部７３は、エントロピー復号部７７により復号された量子化係数に対して逆量子化を行い、逆量子化係数を生成する。逆直交変換部７４は、逆量子化部７３により生成された逆量子化係数に対して逆直交変換を行い、逆直交変換データを生成する。除算部７５は、逆直交変換部７４により生成された逆直交変換データに含まれる複数の画素のうち、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値を１よりも大きい定数で除算し、予測残差を再生する。除算部７５における定数の値は、例えば実施例３にかかる符号化装置５１の乗算部５４における定数の値と同じであってもよい。

加算部７６は、除算部７５により再生された予測残差と予測画像とを加算し、復号画像を生成する。加算部７６により生成された復号画像は、イントラ予測部７２におけるイントラ予測画像の生成に用いられる。デブロックフィルタ８１は、加算部７６により生成された復号画像のブロックの境界を平滑化する。デブロックフィルタ８１によって、ブロックノイズの発生が抑制される。フレームメモリ７８には、デブロックフィルタ８１によりブロックの境界が平滑化された復号画像が格納される。また、フレームメモリ７８に格納された復号画像は、最終的な復号画像として図示しない表示部などに出力される。

例えば実施例３にかかる符号化装置５１の乗算部５４において図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値に１よりも小さい定数が乗算される場合がある。その場合には、除算部７５は、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値を１よりも小さい定数で除算する。また、例えば実施例３にかかる符号化装置５１の乗算部５４において図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値に１よりも大きい定数を乗算し、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値に１よりも小さい定数が乗算される場合がある。その場合には、除算部７５は、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇに対応する画素の各画素値を１よりも大きい定数で除算し、図５〜図８に示す画素Ｅ、画素Ｆおよび画素Ｇを除く画素（アルファベットが付されていない画素）に対応する画素の各画素値を１よりも小さい定数で除算する。実施例４にかかる画像処理方法において、イントラ予測が関係する復号方法は、実施例２と同様であるので、説明を省略する。

実施例４によれば、実施例３にかかる符号化装置および符号化方法によって符号化されたビットストリームを復号して、復号画像を生成することができる。

なお、本発明は、Ｈ．２６４規格に限らず、符号化済みのブロックに含まれる画素の画素値に基づいて符号化対象ブロックの予測画像を生成することによってイントラ予測を行う動画像符号化規格に適用することができる。

上述した実施例１、２、３および４に関し、さらに以下の付記を開示する。

（付記１）符号化対象ブロックの周囲にある符号化済みのブロックに含まれる画素の画素値に基づいて該符号化対象ブロックの予測画像を生成する予測画像生成部と、前記符号化対象ブロックの画像と前記予測画像生成部により生成された予測画像とに基づいて予測残差を生成する予測残差生成部と、前記予測残差生成部により生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に１よりも大きい第１の定数を乗算する第１の乗算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値に１よりも小さい第２の定数を乗算する第２の乗算、の一方または両方を行って該画素値に重みを付ける重み付け部と、前記重み付け部による乗算後の予測残差に対して直交変換を行って変換係数を生成する直交変換部と、前記直交変換部により生成された変換係数に対して量子化を行って量子化係数を生成する量子化部と、前記量子化部により生成された量子化係数に対して逆量子化を行って逆量子化係数を生成する逆量子化部と、前記逆量子化部により生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する逆直交変換部と、前記逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第３の定数で除算する第１の除算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第４の定数で除算する第２の除算、の一方または両方を行って予測残差を再生する予測残差再生部と、前記予測残差再生部により再生された予測残差と前記予測画像生成部により生成された予測画像とに基づいて復号画像を生成する復号画像生成部と、を備えることを特徴とする画像処理装置。

（付記２）前記重み付け部は、前記予測残差生成部により生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の利用頻度に応じて画素ごとに前記第１の定数の値を変えることを特徴とする付記１に記載の画像処理装置。

（付記３）前記予測残差再生部は、前記逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の利用頻度に応じて画素ごとに前記第３の定数の値を変えることを特徴とする付記２に記載の画像処理装置。

（付記４）前記第１の定数の値および前記第３の定数の値は、別の符号化対象ブロックの予測画像の生成に利用される頻度が高い画素ほど大きいことを特徴とする付記３に記載の画像処理装置。

（付記５）前記予測残差に含まれる画素および前記逆直交変換データに含まれる画素において対応する画素の前記第１の定数と前記第３の定数とが同じ値であることを特徴とする付記４に記載の画像処理装置。

（付記６）前記第２の定数と前記第４の定数とが同じ値であることを特徴とする付記１〜５のいずれか一つに記載の画像処理装置。

（付記７）前記重み付け部および前記予測残差再生部は、前記予測残差生成部により生成された予測残差に含まれる全ての画素が、別の符号化対象ブロックの予測画像の生成に利用されない場合に前記第１の乗算、前記第２の乗算、前記第１の除算および前記第２の除算を行わないことを特徴とする付記１〜６のいずれか一つに記載の画像処理装置。

（付記８）前記符号化対象ブロックおよび前記符号化済みのブロックの大きさは、水平４画素×垂直４画素、水平８画素×垂直８画素または水平１６画素×垂直１６画素であることを特徴とする付記１〜７のいずれか一つに記載の画像処理装置。

（付記９）復号対象ブロックの周囲にある復号済みのブロックに含まれる画素の画素値に基づいて該復号対象ブロックの予測画像を生成する予測画像生成部と、符号化データに含まれる量子化係数に対して逆量子化を行って逆量子化係数を生成する逆量子化部と、前記逆量子化部により生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する逆直交変換部と、前記逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の復号対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第５の定数で除算する第１の除算、および別の復号対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第６の定数で除算する第２の除算、の一方または両方を行って、前記符号化データが生成されたときの予測残差を再生する予測残差再生部と、前記予測残差再生部により再生された予測残差と前記予測画像生成部により生成された予測画像とに基づいて復号画像を生成する復号画像生成部と、を備えることを特徴とする画像処理装置。

（付記１０）符号化対象ブロックの周囲にある符号化済みのブロックに含まれる画素の画素値に基づいて該符号化対象ブロックの予測画像を生成する予測画像生成ステップと、前記符号化対象ブロックの画像と前記予測画像生成ステップにより生成された予測画像とに基づいて予測残差を生成する予測残差生成ステップと、前記予測残差生成ステップにより生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に１よりも大きい第１の定数を乗算する第１の乗算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値に１よりも小さい第２の定数を乗算する第２の乗算、の一方または両方を行って該画素値に重みを付ける重み付けステップと、前記重み付けステップによる乗算後の予測残差に対して直交変換を行って変換係数を生成する直交変換ステップと、前記直交変換ステップにより生成された変換係数に対して量子化を行って量子化係数を生成する量子化ステップと、前記量子化ステップにより生成された量子化係数に対して逆量子化を行って逆量子化係数を生成する逆量子化ステップと、前記逆量子化ステップにより生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する逆直交変換ステップと、前記逆直交変換ステップにより生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第３の定数で除算する第１の除算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第４の定数で除算する第２の除算、の一方または両方を行って予測残差を再生する予測残差再生ステップと、前記予測残差再生ステップにより再生された予測残差と前記予測画像生成ステップにより生成された予測画像とに基づいて復号画像を生成する復号画像生成ステップと、を含むことを特徴とする画像処理方法。

（付記１１）前記重み付けステップでは、前記予測残差生成ステップにより生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の利用頻度に応じて画素ごとに前記第１の定数の値を変えることを特徴とする付記１０に記載の画像処理方法。

（付記１２）前記予測残差再生ステップでは、前記逆直交変換ステップにより生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の利用頻度に応じて画素ごとに前記第３の定数の値を変えることを特徴とする付記１１に記載の画像処理方法。

（付記１３）前記第１の定数の値および前記第３の定数の値は、別の符号化対象ブロックの予測画像の生成に利用される頻度が高い画素ほど大きいことを特徴とする付記１２に記載の画像処理方法。

（付記１４）前記予測残差に含まれる画素および前記逆直交変換データに含まれる画素において対応する画素の前記第１の定数と前記第３の定数とが同じ値であることを特徴とする付記１３に記載の画像処理方法。

（付記１５）前記第２の定数と前記第４の定数とが同じ値であることを特徴とする付記１０〜１４のいずれか一つに記載の画像処理方法。

（付記１６）前記重み付けステップおよび前記予測残差再生ステップでは、前記予測残差生成ステップにより生成された予測残差に含まれる全ての画素が、別の符号化対象ブロックの予測画像の生成に利用されない場合に前記第１の乗算、前記第２の乗算、前記第１の除算および前記第２の除算を行わないことを特徴とする付記１０〜１５のいずれか一つに記載の画像処理方法。

（付記１７）前記符号化対象ブロックおよび前記符号化済みのブロックの大きさは、水平４画素×垂直４画素、水平８画素×垂直８画素または水平１６画素×垂直１６画素であることを特徴とする付記１０〜１６のいずれか一つに記載の画像処理方法。

（付記１８）復号対象ブロックの周囲にある復号済みのブロックに含まれる画素の画素値に基づいて該復号対象ブロックの予測画像を生成する予測画像生成ステップと、符号化データに含まれる量子化係数に対して逆量子化を行って逆量子化係数を生成する逆量子化ステップと、前記逆量子化ステップにより生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する逆直交変換ステップと、前記逆直交変換ステップにより生成された逆直交変換データに含まれる複数の画素のうち、別の復号対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第５の定数で除算する第１の除算、および別の復号対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第６の定数で除算する第２の除算、の一方または両方を行って、前記符号化データが生成されたときの予測残差を再生する予測残差再生ステップと、前記予測残差再生ステップにより再生された予測残差と前記予測画像生成ステップにより生成された予測画像とに基づいて復号画像を生成する復号画像生成ステップと、を備えることを特徴とする画像処理方法。

１，５１ 画像処理装置
２，５２ 予測画像生成部
３，５３ 予測残差生成部
４，５４ 重み付け部
５，５５ 直交変換部
６，５６ 量子化部
７，５７ 逆量子化部
８，５８ 逆直交変換部
９，５９ 予測残差再生部
１０，６０ 復号画像生成部
４１ 符号化対象ブロック
４２，４３，４４，４５ 符号化済みのブロック

Claims (6)

1. 符号化対象ブロックの周囲にある符号化済みのブロックに含まれる画素の画素値に基づいて該符号化対象ブロックの予測画像を生成する予測画像生成部と、
   前記符号化対象ブロックの画像と前記予測画像生成部により生成された予測画像とに基づいて予測残差を生成する予測残差生成部と、
   前記予測残差生成部により生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に１よりも大きい第１の定数を乗算する第１の乗算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値に１よりも小さい第２の定数を乗算する第２の乗算、の一方または両方を行って該画素値に重みを付ける重み付け部と、
   前記重み付け部による乗算後の予測残差に対して直交変換を行って変換係数を生成する直交変換部と、
   前記直交変換部により生成された変換係数に対して量子化を行って量子化係数を生成する量子化部と、
   前記量子化部により生成された量子化係数に対して逆量子化を行って逆量子化係数を生成する逆量子化部と、
   前記逆量子化部により生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する逆直交変換部と、
   前記逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第３の定数で除算する第１の除算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第４の定数で除算する第２の除算、の一方または両方を行って予測残差を再生する予測残差再生部と、
   前記予測残差再生部により再生された予測残差と前記予測画像生成部により生成された予測画像とに基づいて復号画像を生成する復号画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記重み付け部は、前記予測残差生成部により生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の利用頻度に応じて画素ごとに前記第１の定数の値を変えることを特徴とする請求項１に記載の画像処理装置。
3. 前記予測残差再生部は、前記逆直交変換部により生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の利用頻度に応じて画素ごとに前記第３の定数の値を変えることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の定数の値および前記第３の定数の値は、別の符号化対象ブロックの予測画像の生成に利用される頻度が高い画素ほど大きいことを特徴とする請求項３に記載の画像処理装置。
5. 前記予測残差に含まれる画素および前記逆直交変換データに含まれる画素において対応する画素の前記第１の定数と前記第３の定数とが同じ値であることを特徴とする請求項４に記載の画像処理装置。
6. 符号化対象ブロックの周囲にある符号化済みのブロックに含まれる画素の画素値に基づいて該符号化対象ブロックの予測画像を生成する予測画像生成ステップと、
   前記符号化対象ブロックの画像と前記予測画像生成ステップにより生成された予測画像とに基づいて予測残差を生成する予測残差生成ステップと、
   前記予測残差生成ステップにより生成された予測残差に含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値に１よりも大きい第１の定数を乗算する第１の乗算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値に１よりも小さい第２の定数を乗算する第２の乗算、の一方または両方を行って該画素値に重みを付ける重み付けステップと、
   前記重み付けステップによる乗算後の予測残差に対して直交変換を行って変換係数を生成する直交変換ステップと、
   前記直交変換ステップにより生成された変換係数に対して量子化を行って量子化係数を生成する量子化ステップと、
   前記量子化ステップにより生成された量子化係数に対して逆量子化を行って逆量子化係数を生成する逆量子化ステップと、
   前記逆量子化ステップにより生成された逆量子化係数に対して逆直交変換を行って逆直交変換データを生成する逆直交変換ステップと、
   前記逆直交変換ステップにより生成された逆直交変換データに含まれる複数の画素のうち、別の符号化対象ブロックの予測画像の生成に利用される画素の画素値を１よりも大きい第３の定数で除算する第１の除算、および別の符号化対象ブロックの予測画像の生成に利用されない画素の画素値を１よりも小さい第４の定数で除算する第２の除算、の一方または両方を行って予測残差を再生する予測残差再生ステップと、
   前記予測残差再生ステップにより再生された予測残差と前記予測画像生成ステップにより生成された予測画像とに基づいて復号画像を生成する復号画像生成ステップと、
   を含むことを特徴とする画像処理方法。

Images