JP2012205287A - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents

Abstract

【課題】イントラ予測を使用する画像符号化方式にて、きめ細かなイントラ予測を実現しつつ、符号量の圧縮効率を向上させる。
【解決手段】予測モード判定部２０２は、イントラ予測すべき複数の符号化対象ブロックを含む画像内の領域を、それぞれ複数の符号化対象ブロックを含む複数のグループに分割し、グループごとにそのグループに含まれる各符号化対象ブロックに対して共通のイントラ予測モードを設定する。符号化部は、予測モード判定部２０２により設定されたイントラ予測モードに応じたイントラ予測信号と、符号化対象ブロックの信号との差分によって生成される残差信号、および予測モードを示す信号を符号化する。
【選択図】図１

Description

本発明は、イントラ予測を用いる画像符号化装置、画像符号化方法および画像符号化プログラムに関する。

近年、従来の符号化技術の符号化効率を大幅に向上させたＭＰＥＧ−４ ＡＶＣ（以後、ＡＶＣという）などの新たな符号化方式が用いられている。これらの符号化方式では、画面内予測符号化（以後、イントラ予測符号化という）する際に、符号化の処理対象となっている矩形領域（以後、ブロックという）の周囲に存在する符号化済みブロックに対して局部復号することで復号信号を生成する。そして、この復号信号を用いてイントラ予測することで予測信号を生成する。その後、符号化対象となっているブロックの信号と、生成した予測信号との差分によって生成される残差信号に対して、所定の直交変換および量子化を行うことで、符号化効率の改善を図っている（たとえば、特許文献１参照）。

ＡＶＣのイントラ符号化では、イントラ予測する単位として、「４×４画素イントラ予測」および「１６×１６画素イントラ予測」の２種類のブロックサイズが用意されている。「４×４画素イントラ予測」では、マクロブロック（１６×１６画素ブロック）を４×４画素ブロックに１６分割し、分割されたブロック毎に予測方向（９種類）を示すフラグを符号化する。「４×４画素イントラ予測」では、イントラ予測は４×４画素単位で順次実行される。「１６×１６画素イントラ予測」では、１６×１６画素ブロックで予測方向（４種類）を示すフラグを符号化する。「１６×１６画素イントラ予測」では、イントラ予測は１６×１６画素単位で実行される。

また、「４×４画素イントラ予測」と「１６×１６画素イントラ予測」との間をとった「８×８画素イントラ予測」もある。「８×８画素イントラ予測」では、１６×１６画素ブロックを８×８画素ブロックに４分割し、分割されたブロック毎に予測方向（９種類）を示すフラグを符号化する。イントラ予測は８×８画素単位で順次実行される。

特表２００５−５２８０４７号公報

「４×４画素イントラ予測」は予測の距離が短く（最大４画素）、きめ細かなイントラ予測が可能であるが、イントラ予測モードの符号量のオーバーヘッドが大きい（１６個）という難しい面がある。「１６×１６画素イントラ予測」は予測方向の符号量のオーバーヘッドが小さい（１個）が、予測の距離が長く（最大１６画素）、画面内の細かな変化に弱いという難しい面がある。「８×８画素イントラ予測」は予測の距離は中程度（最大８画素）であり、予測方向の符号量も中程度（４個）であるが、４×４画素予測と比較するとやはり細かな変化に弱いという難しい面がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、イントラ予測を使用する画像符号化方式にて、きめ細かなイントラ予測を実現しつつ、符号量の圧縮効率を向上させる技術を提供することにある。

本発明のある態様の画像符号化装置は、イントラ予測すべき複数の符号化対象ブロックを含む画像内の領域（たとえば、マクロブロック）を、それぞれ複数の符号化対象ブロックを含む複数のグループに分割し、グループごとにそのグループに含まれる各符号化対象ブロックに対して共通のイントラ予測モードを設定する予測モード判定部と、予測モード判定部により設定されたイントラ予測モードに応じたイントラ予測信号と、符号化対象ブロックの信号との差分によって生成される残差信号、および予測モードを示す信号を符号化する符号化部と、を備える。

予測モード判定部は、画像内の領域を、あらかじめ設定された複数のグルーピングパターンで分割し、各グルーピングパターンのレート歪評価値を算出し、グルーピングパターンおよびそれを構成する各グループのイントラ予測モードを設定してもよい。

予測モード判定部は、画像内の領域を、垂直方向および水平方向の少なくとも一方に走査してエッジを検出して、グルーピング境界線を決定してもよい。

グルーピング境界線が符号化対象ブロック内を通過する場合、予測モード判定部は、符号化対象ブロックのイントラ予測信号を、グルーピング境界線の両側のグループのイントラ予測モードの両方にもとづいて生成してもよい。

予測モード判定部は、画像内の領域を垂直方向または水平方向に分割する際、符号化対象ブロックごとにグルーピング境界線が通る位置を決定してもよい。

本発明の別の態様は、画像符号化方法である。この方法は、イントラ予測すべき複数の符号化対象ブロックを含む画像内の領域を、それぞれ複数の符号化対象ブロックを含む複数のグループに分割し、グループごとにそのグループに含まれる各符号化対象ブロックに対して共通のイントラ予測モードを設定する予測モード判定ステップと、予測モード判定ステップにより設定されたイントラ予測モードに応じたイントラ予測信号と、符号化対象ブロックの信号との差分によって生成される残差信号、および予測モードを示す信号を符号化する符号化ステップと、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。

本発明によれば、きめ細かなイントラ予測を実現しつつ、符号量の圧縮効率を向上させることができる。

本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態１に係る画像符号化装置の符号化処理手順を示すフローチャートである。 図３（ａ）−（ｃ）は、イントラ予測を説明するための図である。 ４×４画素イントラ予測における９種類の予測モードを示す図である。 図５（ａ）−（ｆ）は、第１のグルーピングイントラ予測のグルーピングパターンの一例を示す図である。 第１のグルーピングイントラ予測のモード判定処理手順を示すフローチャートである。 図７（ａ）−（ｆ）は、第１のグルーピングイントラ予測のグルーピングパターンの別の例を示す図である。 第２のグルーピングイントラ予測のモード判定処理手順を示すフローチャートである。 グルーピング境界判定処理の一例を説明するための図である。 図１０（ａ）、（ｂ）は、ブロック境界線以外にグルーピング境界線を設定する例を説明するための図である。 本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。 本発明の実施の形態２に係る画像復号装置の復号処理手順を示すフローチャートである。 図１３（ａ）、（ｂ）は、変形例に係るブロック境界線以外にグルーピング境界線を設定する例を説明するための図である。 変形例に係る第２のグルーピングイントラ予測のモード判定処理手順を示すフローチャートである。

（画像符号化装置）
図１は、本発明の実施の形態１に係る画像符号化装置２００の構成を示すブロック図である。画像符号化装置２００は、スライスデータバッファ２０１、予測モード判定部２０２、イントラ予測部２０３、残差信号算出部２０５、直交変換量子化部２０６、エントロピー符号化部２０７、逆直交変換逆量子化部２０８、重畳部２０９および復号スライスデータバッファ２１０を備える。なお、本明細書ではインター予測符号化には注目しないため、インター予測および動き補償予測に関連する構成要素は省略して描いている。

これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

本実施の形態において、４×４画素、１６×１６画素、８×８画素イントラ予測モードに加えて、第１のグルーピングイントラ予測モードおよび第２のグルーピングイントラ予測モードを実行することができる。第１のグルーピングイントラ予測モードおよび第２のグルーピングイントラ予測モードの詳細は後述する。

図２は、本発明の実施の形態１に係る画像符号化装置２００の符号化処理手順を示すフローチャートである。画像符号化装置２００は、以下に説明するステップＳ１０２〜ステップＳ１１６の処理を画像毎に実行する（Ｓ１０１、Ｓ１１７）。本実施の形態では、フレームではなくスライスを画像と定義する。画像符号化装置２００は、以下に説明するステップＳ１０２〜ステップＳ１１６の処理を画像を分割したブロック（本実施の形態では１６×１６画素のマクロブロック）毎に実行する（Ｓ１０２、Ｓ１１６）。

スライスデータバッファ２０１は入力された画像を並び替え、符号化対象ブロック（小ブロック）単位に分割し、予測モード判定部２０２、イントラ予測部２０３および残差信号算出部２０５にデータを供給する（Ｓ１０３）。この符号化対象ブロックは直交変換の基本単位となる。本実施の形態では、符号化対象ブロックは、４×４画素イントラ予測、第１のグルーピングイントラ予測および第２のグルーピングイントラ予測のとき４×４画素ブロックであり、１６×１６画素イントラ予測のとき１６×１６画素ブロックであり、８×８画素イントラ予測のとき８×８画素ブロックである。以下、予測モードの判定について詳細に説明する。

図３（ａ）−（ｃ）は、イントラ予測を説明するための図である。図３（ａ）は４×４画素イントラ予測の符号化順序を示し、図３（ｂ）は１６×１６画素イントラ予測の符号化順序を示し、図３（ｃ）は８×８画素イントラ予測の符号化順序を示す。各ブロック内の数字は符号化順序を示している。

図４は、４×４画素イントラ予測における９種類の予測モードを示す図である。この９種類の予測モード（予測モード０〜８）はＡＶＣに規定されたものであり、発生頻度が考慮された番号が割り当てられている。なお、予測モード２は４×４画素の対象ブロックの左ブロックの４画素と上ブロックの４画素の、合計８画素の平均値で当該対象ブロックのすべての画素を予測するモードである。

（４×４画素イントラ予測）
４×４画素イントラ予測では、予測モード判定部２０２は図３（ａ）に示す順序で符号化処理する。イントラ予測部２０３は図４に示す９種類の予測方向毎に４×４画素単位でイントラ予測してイントラ予測信号を生成し、残差信号算出部２０５および重畳部２０９に供給する。残差信号算出部２０５は符号化対象信号からイントラ予測信号を減算して予測残差信号を生成し、直交変換量子化部２０６に供給する。直交変換量子化部２０６は予測方向毎に予測残差信号の直交変換と量子化を行い、符号化残差信号を生成し、エントロピー符号化部２０７および逆直交変換逆量子化部２０８に供給する。エントロピー符号化部２０７は予測方向毎にモード情報および符号化残差信号をエントロピー符号化して予測方法毎の符号量を算出する。

逆直交変換逆量子化部２０８は符号化残差信号の逆直交変換と逆量子化を行い、復号残差信号を生成し、重畳部２０９に供給する。重畳部２０９は復号残差信号とイントラ予測信号を重畳して復号信号を生成し、復号スライスデータバッファ２１０に格納する。予測モード判定部２０２は符号化対象信号と復号信号との絶対値差分和または絶対値二乗和を算出し、予測方法毎の歪量を算出する。予測モード判定部２０２は歪量と符号量に所定の乗数をかけて、レート歪評価値を算出する。このレート歪評価値の最も小さい予測方向を当該４×４画素ブロックの予測方向の候補とする。この処理を分割された４×４画素ブロック毎に行う。

（１６×１６画素イントラ予測）
１６×１６画素イントラモードでは、予測モード判定部２０２は図３（ｂ）に示す順序で符号化処理を行う。イントラ予測部２０３は４種類の予測方向毎に１６×１６画素単位でイントラ予測してイントラ予測信号を生成し、残差信号算出部２０５および重畳部２０９に供給する。この４種類の予測モード（予測モード０〜３）はＡＶＣに規定されたものである。予測モード０は１６×１６画素の対象マクロブロックの上マクロブロックの１６画素を用いる垂直予測モードである。予測モード１は１６×１６画素の対象マクロブロックの左マクロブロックの１６画素を用いる水平予測モードである。予測モード２は１６×１６画素の対象マクロブロックの左マクロブロックの１６画素と上マクロブロックの１６画素の、合計３２画素の平均値で当該対象マクロブロックのすべての画素を予測する平均値予測モードである。予測モード３は、１６×１６画素の対象マクロブロックの上マクロブロックの複数の画素と左マクロブロックの複数の画素を斜め方向に内挿して、予測値として用いる平面予測モードである。

残差信号算出部２０５は符号化対象信号からイントラ予測信号を減算して予測残差信号を生成し、直交変換量子化部２０６に供給する。直交変換量子化部２０６は予測方向毎に予測残差信号の直交変換と量子化を行い、符号化残差信号を生成し、エントロピー符号化部２０７および逆直交変換逆量子化部２０８に供給する。エントロピー符号化部２０７は予測方向毎にモード情報および符号化残差信号をエントロピー符号化して予測方法毎の符号量を算出する。

逆直交変換逆量子化部２０８は符号化残差信号の逆直交変換と逆量子化を行い、復号残差信号を生成し、重畳部２０９に供給する。重畳部２０９は復号残差信号とイントラ予測信号を重畳して復号信号を生成し、復号スライスデータバッファ２１０に格納する。予測モード判定部２０２は符号化対象信号と復号信号の絶対値差分和または絶対値二乗和を算出し、予測方法毎の歪量を算出する。予測モード判定部２０２は歪量と符号量に所定の乗数をかけて、レート歪評価値を算出する。このレート歪評価値の最も小さい予測方向を当該１６×１６画素ブロックの予測方向の候補とする。

（８×８画素イントラ予測）
８×８画素イントラモードでは、予測モード判定部２０２は図３（ｃ）に示す順序で符号化処理を行う。イントラ予測部２０３は図４に示す９種類の予測方向毎に８×８画素単位でイントラ予測してイントラ予測信号を生成し、残差信号算出部２０５および重畳部２０９に供給する。残差信号算出部２０５は符号化対象信号からイントラ予測信号を減算して予測残差信号を生成し、直交変換量子化部２０６に供給する。直交変換量子化部２０６は予測方向毎に予測残差信号の直交変換と量子化を行い、符号化残差信号を生成し、エントロピー符号化部２０７および逆直交変換逆量子化部２０８に供給する。エントロピー符号化部２０７は予測方向毎にモード情報および符号化残差信号をエントロピー符号化して予測方法毎の符号量を算出する。

逆直交変換逆量子化部２０８は符号化残差信号の逆直交変換と逆量子化を行い、復号残差信号を生成し、重畳部２０９に供給する。重畳部２０９は復号残差信号とイントラ予測信号を重畳して復号信号を生成し、復号スライスデータバッファ２１０に格納する。予測モード判定部２０２は符号化対象信号と復号信号の絶対値差分和または絶対値二乗和を算出し、予測方法毎の歪量を算出する。予測モード判定部２０２は歪量と符号量に所定の乗数をかけて、レート歪評価値を算出する。このレート歪評価値の最も小さい予測方向を当該８×８画素ブロックの予測方向の候補とする。この処理を分割された８×８画素ブロック毎に行う。

（第１のグルーピングイントラ予測）
図５（ａ）−（ｆ）は、第１のグルーピングイントラ予測のグルーピングパターンの一例である。この例では、１６ブロックを垂直線または水平線で直線上に分割し、２つのグループを生成する。この例では、６種類のグルーピングパターンができる。図５（ａ）は垂直線で左グループが４ブロック、右グループが１２ブロックになるよう分割されたパターンである。図５（ｂ）は水平線で上グループが４ブロック、下グループが１２ブロックになるよう分割されたパターンである。図５（ｃ）は垂直線で左グループが８ブロック、右グループが８ブロックになるよう分割されたパターンである。図５（ｄ）は水平線で上グループが８ブロック、下グループが８ブロックになるよう分割されたパターンである。図５（ｅ）は垂直線で左グループが１２ブロック、右グループが４ブロックになるよう分割されたパターンである。図５（ｆ）は水平線で上グループが１２ブロック、下グループが４ブロックになるよう分割されたパターンである。

なお、図５（ａ）−（ｆ）に示す６種類のグルーピングパターンは、グルーピングパターン特定処理を単純化し、その演算量を抑制することに主眼をおいた例である。したがって、演算量の増大を許容すれば、１６ブロックを非直線に分割するグルーピングパターンを設けてもよい。たとえば、斜め方向に分割するグルーピングパターンを設けてもよい。また、３通り以上のグループ数に分類してもよい。なお、図５（ａ）−（ｆ）に示す第１のグルーピングパターンイントラ予測では、それらの符号化順序が図３（ａ）に示す４×４画素イントラ予測の符号化順序と同じ例を示している。

図６は、第１のグルーピングイントラ予測のモード判定処理手順を示すフローチャートである。予測モード判定部２０２は、図５（ａ）−（ｆ）に示す６種類のグルーピングパターン毎に（Ｓ２０１〜Ｓ２１１）、かつグループ当たり９種類のイントラ予測モード毎に、即ち８１通りの組み合わせで（Ｓ２０２〜Ｓ２０９）、４×４画素単位で（Ｓ２０３〜Ｓ２０７）イントラ予測してイントラ予測信号を生成する（Ｓ２０４）。ただし、グルーピングイントラ予測モードにおいては同じグループに所属する４×４画素ブロックは共通の予測方向とする。

続いて、レート歪評価値によりイントラ予測モードを判定するために、符号量および歪量を算出する（Ｓ２０５、Ｓ２０６）。より具体的には、残差信号算出部２０５は符号化対象信号からイントラ予測信号を減算して予測残差信号を生成する。直交変換量子化部２０６は予測方向毎に直交変換と量子化を行う。エントロピー符号化部２０７は予測方向毎にモード情報および符号化残差信号をエントロピー符号化して予測方法毎の符号量を算出する（Ｓ２０５）。

逆直交変換逆量子化部２０８は符号化残差信号の逆直交変換と逆量子化を行い、復号残差信号を生成する。重畳部２０９は復号残差信号とイントラ予測信号を重畳して復号信号を生成する。予測モード判定部２０２は符号化対象信号と復号信号の絶対値差分和または絶対値二乗和を算出し、予測方法毎の歪量を算出する（Ｓ２０６）。予測モード判定部２０２は歪量と符号量に所定の乗数をかけて、レート歪評価値を算出する。これらの処理を分割された４×４画素ブロック毎に行う（Ｓ２０３〜Ｓ２０７）。

予測モード判定部２０２は１つのグループ内のすべての４×４画素ブロックのレート歪評価値を合算し、当該グループのレート歪評価値を算出する。予測モード判定部２０２は当該レート歪評価値と、これまでの当該グループのイントラ予測モードの候補のレート歪評価値とを比較し、小さいほうをイントラ予測モードの候補として選択する（Ｓ２０８）。予測モード判定部２０２はすべてのイントラ予測モード毎に評価し（Ｓ２０２〜２０９）、当該グループのレート歪評価値が最小の予測方向を当該グループの予測方向の候補とする。

予測モード判定部２０２は１つのグルーピングパターンでのマクロブロック内の２つのグループのレート歪評価値を合算し、当該グルーピングパターンのレート歪評価値を算出する。予測モード判定部２０２は当該レート歪評価値と、これまでの当該マクロブロックのグルーピングパターンの候補のレート歪評価値とを比較し、小さいほうをグルーピングパターンの候補として選択する（Ｓ２１０）。予測モード判定部２０２はすべてのグルーピングパターン毎（図５に示す例では６通り）に評価し（Ｓ２０１〜２１１）、当該マクロブロックのレート歪評価値が最小となる、グルーピングパターンおよび各グループのイントラ予測モードの組み合わせを特定し、第１のグルーピングイントラ予測の候補とする。本実施の形態では、イントラ予測モード数が９、グループ数が２およびグルーピングパターン数が６であるため、９×９×６＝４８６通りのパターンを検証し、最良のパターンを選択する。

図７（ａ）−（ｆ）は、第１のグルーピングイントラ予測のグルーピングパターンの別の例である。図７（ａ）−（ｆ）に示す６種類のグルーピングパターンの形状は、図５（ａ）−（ｆ）に示す６種類のグルーピングパターンの形状と同じである。図７（ａ）−（ｆ）に示すグルーピングパターンは、図５（ａ）−（ｆ）に示すグルーピングパターンと符号化順序が異なる。

図７（ａ）−（ｆ）では、左または上のグループの符号化、局部復号をしてから、右または下のグループの符号化、局部復号をするようにしている。この場合、符号化側では各グルーピングパターンでイントラ予測モードを決定する際に、左または上のグループのイントラ予測モードを決定してから、右または下のグループのイントラ予測モードを決定することが可能となる。このグループ毎にイントラ予測モードを決定する処理をグルーピングパターン毎に行えばよいので、図７（ａ）−（ｆ）に示すように符号化順序を設定すると、９×６＝５４通りのパターンを検証し、最良のパターンを選択することで足りる。

なお、各グループ内では左上のブロックを起点とし右下のブロックを終点とし、右移動優先、右移動不可のとき下移動という規則にしたがい、符号化する。もちろん、これ以外の規則にしたがい各グループ内のブロックを符号化してもよい。

（第２のグルーピングイントラ予測）
図８は、第２のグルーピングイントラ予測のモード判定処理手順を示すフローチャートである。図９は、グルーピング境界判定処理の一例を説明するための図である。第２のグルーピングイントラ予測モードでは、周辺ブロックからグルーピングの境界を判定する以外は第１のグルーピングイントラ予測モードと同様に処理する。予測モード判定部２０２は複数の４×４画素ブロックを２つのグループにグルーピングする位置を判定する（Ｓ３０１）。

より具体的には、予測モード判定部２０２は復号スライスデータバッファ２１０から供給される局部復号された上隣接ブロックの、対象ブロックに隣接する１６×Ｎ（Ｎは４〜８画素）画素ブロックから、垂直線によるグルーピング境界線近傍の評価値を算出する。評価値の算出の際には数画素離れた画素間のアクティビティ値（たとえば、ＳＡＤ；Sum of Absolute Difference）を算出する。垂直線によるグルーピング境界線候補は、基本的にブロック境界線だけである。ただし、後述するようにブロック境界線以外にグルーピング境界線を設定可能な場合、垂直線によるグルーピング境界線候補は、垂直方向に延びるすべての画素列であってもよいし、垂直方向に延びる一定間隔ごとの画素列であってもよい。図９に示す例では、垂直線によるグルーピング境界線を、局部復号された上隣接ブロックの、対象ブロックに隣接する１６×４画素ブロックを用いて算出する例を示している。図９に示す例では、グルーピング境界線Ａ近傍の、矢印で示す４画素分離れた画素同士のアクティビティ値を当該境界線Ａの評価値とする。

同様に、予測モード判定部２０２は復号スライスデータバッファ２１０から供給される局部復号された左隣接ブロック内の、対象ブロックに隣接するＮ×１６（Ｎは４〜８画素）画素ブロックから、水平線によるグルーピング境界線近傍の評価値を算出する。評価値の算出の際には数画素離れた画素間のアクティビティ値を算出する。水平線によるグルーピング境界線候補は、基本的にブロック境界線だけである。ただし、後述するようにブロック境界線以外にグルーピング境界線を設定可能な場合、水平線によるグルーピング境界線候補は、水平方向に延びるすべての画素列であってもよいし、水平方向に延びる一定間隔ごとの画素列であってもよい。図９に示す例では、水平線によるグルーピング境界線を、局部復号された左隣接ブロックの、対象ブロックに隣接する４×１６画素ブロックを用いて算出する例を示している。図９に示す例では、グルーピング境界線Ｂ近傍の矢印で示す４画素分離れた画素同士のアクティビティ値を当該境界Ｂの評価値とする。

予測モード判定部２０２は、これら垂直線によるグルーピング境界線の評価値および水平線によるグルーピング境界線の評価値のうち、最小の評価値をグルーピング位置の候補として決定する。以下、第１のグルーピングイントラ予測の処理と同様に処理し（Ｓ３０２〜Ｓ３０９）、レート歪評価値を得て、レート歪評価値が最小となる、グルーピングパターンおよび各グループのイントラ予測モードの組み合わせを特定し、第２のグルーピングイントラ予測の候補とする。

なお、２つのグループをグループの境界付近でオーバーラップさせることもできる。図１０（ａ）、（ｂ）は、２つグループの境界をオーバーラップした例を説明するための図である。図１０（ａ）、（ｂ）に示すように、ブロック境界線ではなく、ブロック内にグルーピング境界線（点線参照）を設定する。この場合、予測モード判定部２０２はブロックの予測信号を、グルーピング境界線の両側のグループのイントラ予測モードの両方にもとづいて生成する。即ち、２つのグループをグルーピング境界線が通る小ブロックでオーバーラップさせる。オーバーラップされる小ブロックでは、具体的には各グループのイントラ予測モードによる２つの予測信号の重み付け和により、対象ブロックの予測信号を算出する。本実施例においては画素単位の相加平均により対象ブロックの予測信号を算出するものとするが、各画素の重みをグルーピング境界線からの距離に応じて変動させることもできるし、グルーピング境界線の位置に基づき各グループの一様な重みを決定することもできる。

図１０（ａ）では左から２列目の４つの小ブロック内を通過するグルーピング境界線が設定される例を示している。グルーピング境界線を含む小ブロック１、３、９、１１では、左側の第１グループのイントラ予測を行うとともに、右側の第２グループのイントラ予測も行う。そして、２つのイントラ予測信号の平均値を算出して小ブロック１、３、９、１１のイントラ予測信号を算出する。または、グルーピング境界線の位置に応じて、ブロック毎もしくは画素毎に重み付けしてブレンドすることにより、小ブロック１、３、９、１１のイントラ予測信号を算出する。また、ブロック単位または画素単位でブレンドするか否かを切り替えてもよい。なお、グルーピング境界を含む小ブロック１、３、９、１１の近傍の小ブロック（たとえば、小ブロック０、２、８、１０）もグルーピング境界を含む小ブロック１、３、９、１１と同様に演算して、イントラ予測信号を算出してもよい。

図１０（ｂ）では上から２行目の４つの小ブロック内を通過するグルーピング境界線が設定される例を示している。グルーピング境界線を含む小ブロック２、３、６、７では、上側の第１グループのイントラ予測を行うとともに、下側の第２グループのイントラ予測も行う。そして、２つのイントラ予測信号の平均値を算出して小ブロック２、３、６、７のイントラ予測信号を算出する。または、グルーピング境界線の位置に応じて、ブロック毎もしくは画素毎に重み付けしてブレンドすることにより、小ブロック２、３、６、７のイントラ予測信号を算出する。また、ブロック単位または画素単位でブレンドするか否かを切り替えてもよい。なお、グルーピング境界線を含む小ブロック２、３、６、７の近傍の小ブロック（たとえば、小ブロック０、１、４、５）もグルーピング境界線を含む小ブロック２、３、６、７と同様に演算して、イントラ予測信号を算出してもよい。

なお、第２のグルーピングイントラ予測においても、第１のグルーピングイントラ予測と同様に、図５に示した符号化順序を採用してもよいし、図７に示した符号化順序を採用してもよい。ただし、後者を採用したほうが、画像内の垂直方向または水平方向の復号信号が揃うタイミングが早くなるため、グルーピング境界線判定処理の開始タイミングを早めることができる。

（モード判定）
図２に戻り、予測モード判定部２０２は上述した、４×４画素イントラ予測、１６×１６画素イントラ予測、８×８画素イントラ予測、第１のグルーピングイントラ予測および第２のグルーピングイントラ予測のレート歪評価値のうち、最小のものを対象ブロックの予測モード（予測単位）に決定する（Ｓ１０４）。エントロピー符号化部２０７は、決定された予測モード（予測単位）およびそのイントラ予測モードを符号化する（Ｓ１０５）。さらに、第１のグルーピングイントラ予測または第２のグルーピングイントラ予測が選択された場合、モード情報として、イントラ予測モードを判別するイントラ予測モード情報をグループ毎に１つずつ符号化する。

さらに、第１のグルーピングイントラ予測が選択された場合、グルーピング境界線の位置を示す情報（以下、グルーピングパターン情報という）を符号化する。このグルーピングパターン情報は図５に示す６種類のグルーピングパターンのいずれかを判別する情報である。第２のグルーピングイントラ予測が選択された場合、復号側でグルーピングパターン情報を算出するため、グルーピングパターン情報を符号化する必要はない。なお、第２のグルーピングイントラ予測においては、水平方向の分割と垂直方向の分割の判定を一緒に実行することで、どちらの方向に分割するかも判定される。エントロピー符号化部２０７は水平方向に分割するか垂直方向に分割するかを判別するフラグを符号化してもよい。

画像符号化装置２００は、符号化対象ブロック（小ブロック）毎に以下に説明するＳ１０７〜Ｓ１１４の処理を実行する（Ｓ１０６、Ｓ１１５）。残差信号算出部２０５は符号化対象信号からイントラ予測信号を減算して予測残差信号を生成する（Ｓ１０７）。直交変換量子化部２０６は予測残差信号の直交変換と量子化を行い、符号化残差信号を算出する（Ｓ１０８、Ｓ１０９）。エントロピー符号化部２０７は量子化された予測残差信号をエントロピー符号化する（Ｓ１１０）。

逆直交変換逆量子化部２０８は符号化残差信号の逆直交変換と逆量子化を行い、復号残差信号を生成する（Ｓ１１１、Ｓ１１２）。重畳部２０９は復号残差信号とイントラ予測信号を重畳して（Ｓ１１３）、復号信号を生成し、復号スライスデータバッファ２１０に格納する（Ｓ１１４）。

以上説明したように実施の形態１によれば、既存のイントラ予測モードに加えて、第１のグルーピングイントラ予測モードおよび第２のグルーピングイントラ予測モードを追加したことにより、イントラ予測において、きめ細かなイントラ予測を実現しつつ（即ち、予測信号量の増大を抑制しつつ）、符号量の圧縮効率を向上させることができる。即ち、マクロブロックに含まれる複数の小ブロックを複数のグループに分割し、各グループのイントラ予測モードを共通化することにより、小ブロックの特性に応じたイントラ予測のグルーピングパターン情報とイントラ予測モード情報を少ない情報量で符号化でき、符号量が削減できる。

また、的確なグルーピングパターンで分割することにより、エッジ（即ち、テクスチャー境界）に近い位置で分割することができ、予測信号量の増大を抑制できる。なお、第２のグルーピングイントラ予測では、グルーピング境界線を簡易に特定することにより、第１のグルーピングイントラ予測より演算量を削減できる。

また、垂直方向および水平方向に走査してエッジを検出して、グルーピング境界線を設定することにより、グルーピング境界線の位置をエッジにより近づけることができ、予測信号量の増大をより抑制できる。また、グルーピング境界線を含む小ブロックに関して、当該境界線の両側の２種類のイントラ予測を行い、ブロック単位または画素単位でブレンドすることにより、当該ブロックの直交変換の効率低下を抑制できる。なお、第１のグルーピングイントラ予測でも、２つのグループをグループの境界付近でオーバーラップさせることもできる。この場合、オーバーラップさせる小ブロックの行または列を示すグルーピングパターン情報を設定し、このグルーピングパターン情報をエントロピー符号化部２０７で符号化する。

（画像復号装置）
図１１は、本発明の実施の形態２に係る画像復号装置４００の構成を示すブロック図である。実施の形態２に係る画像復号装置４００は、実施の形態１に係る画像符号化装置２００により符号化された符号化ビット列を復号する。当該画像復号装置４００は、エントロピー復号部４０１、予測モード判定部４０２、イントラ予測部４０３、逆直交変換逆量子化部４０４、重畳部４０５、復号スライスデータバッファ４０６および復号画像バッファ４０７を備える。なお、本明細書ではインター予測符号化には注目しないため、インター予測および動き補償予測に関連する構成要素は省略して描いている。

これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

本実施の形態において、４×４画素、１６×１６画素、８×８画素イントラ予測モードに加えて、第１のグルーピングイントラ予測モード、第２のグルーピングイントラ予測モードを実行することができる。

図１２は、本発明の実施の形態２に係る画像復号装置４００の復号処理手順を示すフローチャートである。画像復号装置４００は以下に説明するステップＳ４０３〜ステップＳ４１６の処理を画像毎に実行する（Ｓ４０１、Ｓ４１８）。画像復号装置４００は以下に説明するステップＳ４０４〜ステップＳ４１６の処理を画像内のブロック（本実施の形態では１６×１６画素のマクロブロック）毎に実行する（Ｓ４０２、Ｓ４１７）。

エントロピー復号部４０１は、供給される符号化ビット列から予測モード（予測単位）を復号する（Ｓ４０３）。当該予測モードがエントロピー符号化されている場合、エントロピー復号する。復号された予測モードが第１のグルーピングイントラ予測の場合（Ｓ４０４のＹ）、エントロピー復号部４０１は、符号化ビット列からグルーピングパターン情報を復号する（Ｓ４０６）。

復号された予測モードが第１のグルーピングイントラ予測ではなく（Ｓ４０４のＮ）、第２のグルーピングイントラ予測の場合（Ｓ４０５のＹ）、予測モード判定部４０２は、１６の符号化対象ブロック（４×４画素ブロック）を２つのグループにグルーピングする境界を判定する（Ｓ４０７）。当該判定方法は、画像符号化装置２００の予測モード判定部２０２による図８のステップＳ３０１の処理と同一の方法を用いる。ここでは、水平方向の分割と垂直方向の分割の判定を一緒に実行することで、どちら方向に分割するか判定されるが、画像符号化装置２００のエントロピー符号化部２０７が水平方向に分割するか垂直方向に分割するかを判別するフラグを符号化している場合、予測モード判定部４０２は、当該フラグを復号し、そのフラグの値に応じて水平方向または垂直方向のどちらかに絞って判定する。

復号された予測モードが第１のグルーピングイントラ予測でも第２のグルーピングイントラ予測でもない場合（Ｓ４０４のＮ、Ｓ４０５のＮ）、ステップＳ４０６およびステップＳ４０７の処理をスキップする。エントロピー復号部４０１は、４×４画素イントラ予測、１６×１６画素イントラ予測および８×８画素イントラ予測の場合、符号化対象ブロックごとにイントラ予測モードを復号する。第１のグルーピングイントラ予測および第２のグルーピングイントラ予測の場合、各グループのイントラ予測モードを復号する（Ｓ４０８）。なお、図１０（ａ）、（ｂ）に示すように、ブロック境界線以外にグルーピング境界線が設定される場合、符号化側と同様に、復号側でも２つのグループをグルーピング境界線が通る小ブロックでオーバーラップさせる。オーバーラップされる小ブロックでは、具体的にはそれぞれのイントラ予測モードによる２つの予測信号の重み付け和により、対象ブロックの予測信号を算出する。このオーバーラップによる予測信号の算出は符号化側で説明した方法と同様の方法で行う。

画像復号装置４００は、符号化対象ブロック（小ブロック）毎に以下に説明するＳ４１０〜Ｓ４１５の処理を実行する（Ｓ４０９、Ｓ４１６）。イントラ予測部４０３は復号された予測モード（予測単位）、イントラ予測モード、グルーピングパターン情報に応じたイントラ予測を行い、イントラ予測信号を生成し、重畳部４０５に供給する（Ｓ４１０）。ただし、第１グルーピングイントラ予測モードおよび第２のグルーピングイントラ予測モードにおいては、同じグループに所属する小ブロックは共通の予測方向となる。

エントロピー復号部４０１は符号化ビット列から量子化された予測残差信号をエントロピー復号して生成した符号化残差信号を逆直交変換逆量子化部４０４に供給する（Ｓ４１１）。逆直交変換逆量子化部４０４は符号化残差信号の逆量子化、および逆直交変換を行い、復号残差信号を生成し、重畳部４０５に供給する（Ｓ４１２、Ｓ４１３）。重畳部４０５は復号残差信号とイントラ予測信号を重畳して復号信号を生成し、復号スライスデータバッファ４０６および復号画像バッファ４０７に供給する（Ｓ４１４）。この復号信号は復号スライスデータバッファ４０６および復号画像バッファ４０７に格納される（Ｓ４１５）。

以上説明したように実施の形態２によれば、復号側で、既存のイントラ予測モードに加えて、第１のグルーピングイントラ予測モードおよび第２のグルーピングイントラ予測モードに対応することにより、符号化側でイントラ予測された符号化ビット列を復号することができる。これにより、実施の形態１に係る画像符号化装置２００が奏する効果を実効たらしめることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図１３（ａ）、（ｂ）は、変形例に係るブロック境界線以外にグルーピング境界線を設定する例を説明するための図である。当該変形例では、第２のグルーピングイントラ予測において、図１３（ａ）、（ｂ）に示すようにグルーピング境界線の位置をブロックごとに決定する。図１３（ａ）は垂直方向にグルーピング境界線を設定する際、行毎に境界線の位置を変える例を示している。この場合、各小ブロックの左隣接小ブロックから、図１０（ａ）で説明した演算を用いることにより、境界線の位置を決定する。図１３（ｂ）は水平方向にグルーピング境界線を設定する際、列毎に境界線の位置を変える例を示している。この場合、各小ブロックの上隣接小ブロックから、図１０（ｂ）で説明した演算を用いることにより、境界線の位置を決定する。

当該変形例でも、図１０（ａ）、（ｂ）で説明したように、２つのグループをオーバーラップさせることができる。図１３（ａ）において、グルーピング境界線を含むブロック１、６、１２、１１では、左側の第１グループのイントラ予測を実行するとともに、右側の第２グループのイントラ予測も実行する。そして、２つのイントラ予測信号の平均値を算出してブロック１、６、１２、１１のイントラ予測信号を算出する。または、グルーピング境界線の位置に応じて、ブロック毎もしくは画素毎に重み付けしてブレンドすることにより、ブロック１、６、１２、１１のイントラ予測信号を算出する。また、ブロック単位または画素単位でブレンドするか否かを切り替えてもよい。なお、グルーピング境界線を含むブロック１、６、１２、１１の近傍のブロック（たとえば、ブロック０、３、９、１３、１４）もグルーピング境界線を含むブロック１、６、１２、１１と同様に演算して、イントラ予測信号を算出してもよい。

同様に図１３（ｂ）において、グルーピング境界線を含むブロック２、９、１２、７では、上側の第１グループのイントラ予測を実行するとともに、下側の第２グループのイントラ予測も実行する。そして、２つのイントラ予測信号の平均値を算出してブロック２、９、１２、７のイントラ予測信号を算出する。または、グルーピング境界線の位置に応じて、ブロック毎もしくは画素毎に重み付けしてブレンドすることにより、ブロック２、９、１２、７のイントラ予測信号を算出する。また、ブロック単位または画素単位でブレンドするか否かを切り替えてもよい。なお、グルーピング境界線を含むブロック２、９、１２、７の近傍のブロック（たとえば、ブロック０、３、６、１４、１３）もグルーピング境界線を含むブロック２、９、１２、７と同様に演算して、イントラ予測信号を算出してもよい。

図１４は、変形例に係る第２のグルーピングイントラ予測のモード判定処理手順を示すフローチャートである。画像符号化装置２００の予測モード判定部２０２はステップＳ５０２〜ステップＳ５１０の処理をイントラ予測モード毎に実行する（Ｓ５０１、Ｓ５１１）。予測モード判定部２０２はグルーピング境界線とすべき、垂直線の１行（１ブロック）または水平線の１列（１ブロック）毎に、ステップＳ５０３〜ステップＳ５０８の処理を実行する（Ｓ５０２、Ｓ５０９）。予測モード判定部２０２は行または列毎のグルーピングパターンを判定する（Ｓ５０３）。なお、グルーピングパターン判定の詳細は図８に示すフローチャートの説明の際に既に述べた。ステップＳ５０４〜ステップＳ５０８の処理は、図８に示すフローチャートのステップＳ３０３〜ステップ３０７と同様である。ステップＳ５１０の処理は図８に示すフローチャートのステップＳ３０８と同様である。

当該変形例によれば、グルーピング境界線の位置を小ブロックごとに設定することにより、斜めのエッジを有するテクスチャをより的確にグルーピングすることができる。

２００ 画像符号化装置、 ２０１ スライスデータバッファ、 ２０２ 予測モード判定部、 ２０３ イントラ予測部、 ２０５ 残差信号算出部、 ２０６ 直交変換量子化部、 ２０７ エントロピー符号化部、 ２０８ 逆直交変換逆量子化部、 ２０９ 重畳部、 ２１０ 復号スライスデータバッファ、 ４００ 画像復号装置、 ４０１ エントロピー復号部、 ４０２ 予測モード判定部、 ４０３ イントラ予測部、 ４０４ 逆直交変換逆量子化部、 ４０５ 重畳部、 ４０６ 復号スライスデータバッファ、 ４０７ 復号画像バッファ。

Claims (7)

1. イントラ予測すべき複数の符号化対象ブロックを含む画像内の領域を、それぞれ複数の符号化対象ブロックを含む複数のグループに分割し、グループごとにそのグループに含まれる各符号化対象ブロックに対して共通のイントラ予測モードを設定する予測モード判定部と、
   前記予測モード判定部により設定されたイントラ予測モードに応じたイントラ予測信号と、前記符号化対象ブロックの信号との差分によって生成される残差信号、および前記予測モードを示す信号を符号化する符号化部と、
   を備えることを特徴とする画像符号化装置。
2. 前記予測モード判定部は、前記画像内の領域を、あらかじめ設定された複数のグルーピングパターンで分割し、各グルーピングパターンのレート歪評価値を算出し、グルーピングパターンおよびそれを構成する各グループのイントラ予測モードを設定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記予測モード判定部は、前記画像内の領域を、垂直方向および水平方向の少なくとも一方に走査してエッジを検出し、グルーピング境界線を決定することを特徴とする請求項１に記載の画像符号化装置。
4. 前記グルーピング境界線が前記符号化対象ブロック内を通過する場合、前記予測モード判定部は、前記符号化対象ブロックのイントラ予測信号を、前記グルーピング境界線の両側のグループのイントラ予測モードの両方にもとづいて生成することを特徴とする請求項３に記載の画像符号化装置。
5. 前記予測モード判定部は、前記画像内の領域を垂直方向または水平方向に分割する際、符号化対象ブロックごとに前記グルーピング境界線が通る位置を決定することを特徴とする請求項３または４に記載の画像符号化装置。
6. イントラ予測すべき複数の符号化対象ブロックを含む画像内の領域を、それぞれ複数の符号化対象ブロックを含む複数のグループに分割し、グループごとにそのグループに含まれる各符号化対象ブロックに対して共通のイントラ予測モードを設定する予測モード判定ステップと、
   前記予測モード判定ステップにより設定されたイントラ予測モードに応じたイントラ予測信号と、前記符号化対象ブロックの信号との差分によって生成される残差信号、および前記予測モードを示す信号を符号化する符号化ステップと、
   を備えることを特徴とする画像符号化方法。
7. イントラ予測すべき複数の符号化対象ブロックを含む画像内の領域を、それぞれ複数の符号化対象ブロックを含む複数のグループに分割し、グループごとにそのグループに含まれる各符号化対象ブロックに対して共通のイントラ予測モードを設定する予測モード判定処理と、
   前記予測モード判定処理により設定されたイントラ予測モードに応じたイントラ予測信号と、前記符号化対象ブロックの信号との差分によって生成される残差信号、および前記予測モードを示す信号を符号化する符号化処理と、
   をコンピュータに実行させることを特徴とする画像符号化プログラム。