JP2018037936A - 画像符号化装置および画像復号装置 - Google Patents

Abstract

【課題】イントラ予測の符号化効率の改善を目的とする。【解決手段】本発明の一態様によれば、画像復号装置が提供される。画像復号装置は、復号器と、イントラ予測器とを含む。復号器は、符号化データを復号し、コーディングユニット（ＣＵ）を複数のサブコーディングユニット（Ｓｕｂ−ＣＵ）へと分割するＳｕｂ−ＣＵ分割の適用／非適用を示す情報とを得て、Ｓｕｂ−ＣＵ分割の適用時にはＳｕｂ−ＣＵ毎の予測モードを示す情報をさらに得る。イントラ予測器は、Ｓｕｂ−ＣＵ分割の適用時には、ＣＵの左端と隣接する複数の画素とＣＵの上端と隣接する複数の画素とを含みＣＵの内部の画素を含まない参照画像に基づいて、Ｓｕｂ−ＣＵ毎に予測モードに応じたイントラ予測を行い、ＣＵのイントラ予測画像を生成する。【選択図】図２１

Description

本発明は、ビデオコーディングに関する。

例えば、Ｈ．２６４／ＡＶＣおよびＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのビデオコーディング規格は、イントラ予測と呼ばれる予測技術を利用する。イントラ予測は、画像の空間的な冗長性を削減することで符号化効率を向上させる。イントラ予測では、予測対象のブロックの左端または上端と隣接する符号化／復号済みの画素を含む参照画像に基づいて当該予測対象のブロック内の画素が予測される。

ＨＥＶＣでは、ピクチャを分割することで得られる２Ｎ×２Ｎ画素の正方ブロック（ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ））単位でコーディングが行われる。図２に例示されるように、ＣＴＵは、再帰的に四分木分割することが可能であり、分割後のブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ：コーディングユニット）と呼ばれる。なお、図６に例示されるように、現在策定中のＪＥＭ（ＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ）では四分木分割に加えて二分木分割も選択可能である。

前述のイントラ予測は、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）単位で行われる。但し、インター予測とは異なり、図３左に例示されるように、イントラ予測に関してＰＵはＣＵと基本的に同一視することができる。例外的に、ＣＵサイズが最小（Ｎ×Ｎ画素）である場合には、図３右に例示されるように、ＣＵを構成する輝度ＣＢ（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）に限って４つのＰＵに分割することができる。

ＨＥＶＣでは、図７左に例示されるように、Ｐｌａｎａｒ予測、ＤＣ予測および３３種類の方向性予測からなる３５種類のイントラ予測モード（予測方向（ｄｉｒ）と呼ぶこともできる）が選択可能である。また、ＪＥＭでは、図７右に例示されるように、Ｐｌａｎａｒ予測、ＤＣ予測および６４種類の方向性予測からなる６６種類の予測モードが選択可能である。予測モードを示す情報は、前述のＰＵ毎に個別に設定可能である。換言すれば、予測モードを切り替えたい領域の大きさに合わせてＣＵを分割する必要がある。

ＣＵの細分化は、イントラ予測に関わるレイテンシの増加を招き、ハードウェア実装時のボトルネックとなり得る。さらに、情報伝送のｈｅａｄｂｉｎ（すなわち、エントロピー符号化前のシンタックスの情報量）も増大するので、特に低レート時の符号化効率への悪影響が大きい。

また、ＨＥＶＣにおいてＣＴＵの最大サイズ（すなわち、ＰＵの最大サイズ）は６４×６４画素である。近年のビデオの高解像度化を鑑みるに、将来のビデオコーディング規格ではこの最大サイズはさらに大きくなると予想される。実際に、ＪＥＭにおけるＣＴＵの最大サイズは２５６×２５６画素へ拡張している。ＣＴＵの最大サイズの拡張は、ＰＵの最大サイズの拡張も意味する。ＰＵのサイズが大きくなれば、ＰＵの特に下側および右側の画素と参照画像との距離が大きくなるので、これらの画素と参照画像との差分値が大きくなって予測効率が低下するおそれがある。

"Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ，" ＪＶＥＴ−Ｂ００２１， Ｆｅｂ ２０１６ Ｃｏｎｆｏｒｍａｎｃｅ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｆｏｒ ＩＴＵ−Ｔ Ｈ．２６５ ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ， ＩＴＵ， ２０１５０４

本発明は、イントラ予測の符号化効率の改善を目的とする。

本発明の一態様によれば、画像復号装置が提供される。画像復号装置は、復号器と、イントラ予測器と、加算器とを含む。復号器は、符号化データを復号し、コーディングユニットの量子化変換係数と、コーディングユニットを複数のサブコーディングユニットへと分割するサブコーディングユニット分割の適用／非適用を示す情報とを得て、サブコーディングユニット分割の適用時にはサブコーディングユニット毎の予測モードを示す情報をさらに得る。イントラ予測器は、サブコーディングユニット分割の適用時には、コーディングユニットの左端と隣接する複数の画素とコーディングユニットの上端と隣接する複数の画素とを含みコーディングユニットの内部の画素を含まない参照画像に基づいて、サブコーディングユニット毎に予測モードに応じたイントラ予測を行い、コーディングユニットのイントラ予測画像を生成する。加算器は、量子化変換係数に基づいて復元された予測差分をイントラ予測画像に加算し、コーディングユニットの復号画像を生成する。

また、本発明の別の態様によれば、画像符号化装置が提供される。画像符号化装置は、分割器と、決定器と、イントラ予測器と、減算器と、符号化器とを含む。分割器は、コーディングユニットを複数のサブコーディングユニットへと分割する。決定器は、複数のサブコーディングユニットの各々の予測モードを決定する。イントラ予測器は、コーディングユニットを複数のサブコーディングユニットへと分割するサブコーディングユニット分割の適用時には、コーディングユニットの左端と隣接する複数の画素とコーディングユニットの上端と隣接する複数の画素とを含みコーディングユニットの内部の画素を含まない参照画像に基づいて、複数のサブコーディングユニットの各々に予測モードに応じたイントラ予測を行い、コーディングユニットのイントラ予測画像を生成する。減算器は、コーディングユニットからイントラ予測画像を減算し、予測差分を生成する。符号化器は、予測差分に基づいて生成された量子化変換係数と、サブコーディングユニット分割の適用／非適用を示す情報とを符号化し、サブコーディングユニット分割の適用時には前記予測モードを示す情報をさらに符号化する。

本発明によれば、イントラ予測の符号化効率を改善することができる。

第１の実施形態に係る画像符号化装置を例示するブロック図。 ＨＥＶＣにおけるブロック構造の説明図。 ＨＥＶＣにおけるイントラ予測のＰＵ分割パターンの説明図。 ＨＥＶＣにおけるＣＵのシンタックスを例示する図。 ＨＥＶＣにおけるＣＵのシンタックスを例示する図。 ＨＥＶＣにおけるＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）の説明図。 ＪＥＭにおけるブロック構造の説明図。 ＨＥＶＣおよびＪＥＭにおいて選択可能なイントラ予測モードの説明図。 ＣＵを四分木分割して得られる４個のより小さなＣＵのうち左上の１個に対するイントラ予測処理の説明図。 ＣＵを四分木分割して得られる４個のより小さなＣＵのうち右上の１個に対するイントラ予測に用いられる参照画像の説明図。 ＣＵに対するイントラ予測に用いられる参照画像の説明図。 図１０のＣＵを四分木分割して得られる４個のＳｕｂ−ＣＵに対するイントラ予測に共通に用いられる参照画像の説明図。 図１０のＣＵを二分木（左右）分割して得られる２個のＳｕｂ−ＣＵに対するイントラ予測に共通に用いられる参照画像の説明図。 図１０のＣＵを二分木（上下）分割して得られる２個のＳｕｂ−ＣＵに対するイントラ予測に共通に用いられる参照画像の説明図。 図１の画像符号化装置の使用するシンタックスを例示する図。 図１４のシンタックスの変形例を示す図。 ＨＥＶＣのＤＣ予測の説明図。 図１のイントラ予測器によって行われる、画素位置を考慮したＤＣ予測の説明図。 図１のイントラ予測器によって行われる、画素位置を考慮したＶｅｒｔｉｃａｌ予測の説明図。 図１のイントラ予測器によって行われる、画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測の説明図。 図１の画像符号化装置のイントラ予測に関する動作を例示するフローチャート。 第２の実施形態に係る画像復号装置を例示するブロック図。 図２１の画像復号装置のイントラ予測に関する動作を例示するフローチャート。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る画像符号化装置は、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器１０１と、リオーダ・バッファ１０２と、減算器１０３と、直交変換器１０４と、量子化器１０５と、逆量子化器１０６と、逆直交変換器１０７と、加算器１０８と、ループフィルタ１０９と、フレームメモリ１１０と、動き予測器１１１と、イントラ予測器１１２と、Ｓｕｂ−ＣＵ分割器１１３と、Ｓｕｂ−ＣＵ予測モード決定器１１４と、エントロピー符号化器１１５と、ＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）バッファ１１６とを含む。

Ａ／Ｄ変換器１０１は、例えばビデオカメラなどの図示されない前段の装置から、入力信号を受け取る。この入力信号は、例えば、アナログのビデオ信号（輝度信号および色差信号）であってもよい。Ａ／Ｄ変換器１０１は、ビデオ信号をアナログ／デジタル変換し、デジタルのビデオ信号を生成する。Ａ／Ｄ変換器１０１は、デジタルのビデオ信号をリオーダ・バッファ１０２へと出力する。

リオーダ・バッファ１０２は、例えば半導体メモリである。リオーダ・バッファ１０２は、Ａ／Ｄ変換器１０１からデジタルのビデオ信号を受け取る。リオーダ・バッファ１０２は、このビデオ信号を一時的に保存する。リオーダ・バッファ１０２に保存されたビデオ信号は、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）によって決まる符号化順序で並び替えられ、それから減算器１０３、動き予測器１１１およびイントラ予測器１１２へと出力される。

減算器１０３は、リオーダ・バッファ１０２からビデオ信号を受け取り、動き予測器１１１またはイントラ予測器１１２のいずれか一方から予測画像（信号）（すなわち、インター予測画像（信号）またはイントラ予測画像（信号））を受け取る。減算器１０３は、ビデオ信号から予測画像を減算し、予測差分（信号）を得る。減算器１０３は、予測差分を直交変換器１０４へと出力する。

直交変換器１０４は、予測差分に直交変換を適用し、変換係数を生成する。この直交変換は、例えば、整数精度ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、整数精度ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などであってよい。直交変換器１０４は、例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素などのＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）単位で直交変換を行う。なお、直交変換器１０４は、変換スキップ（すなわち、パススルー）を選択することもできる。直交変換器１０４は、変換係数を量子化器１０５へと出力する。

量子化器１０５は、直交変換器１０４から変換係数を受け取る。量子化器１０５は、図示されない符号化制御器によって決定された量子化パラメータを用いて変換係数を量子化し、量子化変換係数を得る。量子化器１０５は、直交変換器１０４と同じくＴＵ単位で量子化を行う。量子化器１０５は、量子化変換係数を逆量子化器１０６およびエントロピー符号化器１１５へと出力する。

逆量子化器１０６は、量子化器１０５から量子化変換係数を受け取る。逆量子化器１０６は、前述の量子化パラメータを用いて量子化変換係数を逆量子化し、変換係数を復元する。逆量子化器１０６は、変換係数を逆直交変換器１０７へと出力する。

逆直交変換器１０７は、逆量子化器１０６から変換係数を受け取る。逆直交変換器１０７は、変換係数に逆直交変換を適用し、予測差分を復元する。この逆直交変換は、直交変換器１０４によって適用された直交変換の逆変換に相当する。逆直交変換は、例えば整数精度ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）、整数精度ＩＤＳＴ（Ｉｎｖｅｒｓｅ ＤＳＴ）などであってよい。なお、逆直交変換器１０７は、直交変換器１０４によって変換スキップが選択されている場合には、同様に変換スキップを選択する。逆直交変換器１０７は、予測差分を加算器１０８へと出力する。

加算器１０８は、逆直交変換器１０７から予測差分を受け取り、動き予測器１１１およびイントラ予測器１１２のいずれか一方から予測画像を受け取る。加算器１０８は、予測画像に予測差分を加算し、（ローカル）復号画像（信号）を生成する。加算器１０８は、復号画像をループフィルタ１０９またはフレームメモリ１１０へと出力する。すなわち、ループフィルタ１０９はオン／オフ可能である。

ループフィルタ１０９は、加算器１０８から復号画像を受け取る。ループフィルタ１０９は、復号画像に対してループフィルタ処理を適用する。ループフィルタ処理は、デブロッキング・フィルタ処理、画素適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）処理などであってよい。なお、デブロッキング・フィルタ処理は、ＰＵまたはＴＵの境界画素に対して適用され、ブロック境界の主観歪みを低減する。画素適応オフセット処理は、ブロック内部のリンギング歪みを低減する。ループフィルタ１０９は、フィルタ処理済みの復号画像をフレームメモリ１１０へと出力する。

フレームメモリ１１０は、例えば半導体メモリである。フレームメモリ１１０は、加算器１０８およびループフィルタ１０９のいずれか一方から復号画像を受け取る。フレームメモリ１１０は、復号画像を参照画像（信号）の候補として保存する。フレームメモリ１１０は、復号ピクチャバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）とも呼ばれる。フレームメモリ１１０に保存された復号画像は、動き予測器１１１またはイントラ予測器１１２によって必要に応じて参照画像として読み出される。

動き予測器１１１は、ＣＵの予測タイプがインター予測である場合に、リオーダ・バッファ１０２からビデオ信号を受け取り、フレーム間動き補償予測（インター予測と呼ぶこともできる）を行って、インター予測画像を生成する。動き予測器１１１は、例えば、４×４画素、８×４画素、４×８画素、４×１６画素、１２×１６画素、１６×４画素、１６×１２画素、６４×６４画素などのインターＰＢ（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）単位で、インター予測を行う。具体的には、動き予測器１１１は、フレームメモリ１１０内に保存された復号画像の中からインターＰＢ毎に１フレームまたは複数フレームの参照画像を特定して予測を行うことができる。動き予測器１１１は、整数画素精度予測に限られず小数画素精度（例えば、１／４画素精度）予測をサポートしてもよい。動き予測器１１１は、インター予測画像を減算器１０３および加算器１０８へと出力する。さらに、動き予測器１１１は、ＰＵをインター予測するために用いられる参照画像のフレームを示す参照ピクチャ情報（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｔ）などのインター予測に関する情報をエントロピー符号化器１１５へと出力する。

イントラ予測器１１２は、ＣＵの予測タイプがイントラ予測である場合に、リオーダ・バッファ１０２からビデオ信号を受け取り、イントラ予測を行って、イントラ予測画像を生成する。イントラ予測器１１２は基本的には、図１０に例示されるように、ＰＵ（≒ＣＵ）毎に最適な予測モードを設定し、当該ＰＵの上端および左端に隣接する画素を含む参照画像をフレームメモリ１１０から読み出し、当該参照画像に基づいて当該予測モードに応じたイントラ予測を行ってイントラ予測画像を生成する。イントラＰＵのサイズは、例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素などである。なお、イントラ予測器１１２は、後述されるように画素位置を考慮したイントラ予測を行ってもよい。

但し、後述されるように、ＣＵを複数のＳｕｂ−ＣＵ（サブコーディングユニット）へと分割するＳｕｂ−ＣＵ分割の適用時には、イントラ予測器１１２は、当該ＣＵの左端または上端に隣接する画素を含む参照画像をフレームメモリ１１０から読み出し、Ｓｕｂ−ＣＵ毎に設定された予測モードに応じたイントラ予測を行ってイントラ予測画像を生成する。

イントラ予測器１１２は、イントラ予測画像を減算器１０３および加算器１０８へと出力する。さらに、イントラ予測器１１２は、Ｓｕｂ−ＣＵ分割の非適用時には、ＰＵに設定された予測モードを示す情報などのイントラ予測に関する情報をエントロピー符号化器１１５へと出力する。

イントラ予測器１１２は、Ｓｕｂ−ＣＵ分割の適用／非適用の決定のために、当該ＣＵに対応するビデオ信号および参照画像をＳｕｂ−ＣＵ分割器１１３へと出力する。イントラ予測器１１２は、Ｓｕｂ−ＣＵ予測モード決定器１１４から、Ｓｕｂ−ＣＵ分割の適用／非適用を示す情報と、Ｓｕｂ−ＣＵ分割の適用時にはＳｕｂ−ＣＵ分割法（ＣＵを複数のＳｕｂ−ＣＵへと分割する方法）を示す情報および各Ｓｕｂ−ＣＵに設定された予測モードを示す情報とを受け取る。

Ｓｕｂ−ＣＵ分割器１１３は、ＣＵを分割し、複数のＳｕｂ−ＣＵを得る。ＣＵは、様々な方法で分割することが可能である。例えば、Ｓｕｂ−ＣＵ分割器１１３は、四分木分割（図１１を参照）または二分木分割（図１２および図１３を参照）を行ってよい。Ｓｕｂ−ＣＵ分割器１１３は、対称分割に限らず非対称分割を行ってもよい。

なお、Ｓｕｂ−ＣＵ分割法に関わらず、ＣＵに属する全てのＳｕｂ−ＣＵのイントラ予測に用いられる参照画像（図１１、図１２および図１３の斜線領域）は共通である。この点は、ＣＵを複数のＣＵへと分割した場合と大きく異なる。すなわち、図８および図９に示されるように、異なるＣＵをイントラ予測するためには異なる参照画像を読み出す必要がある。より具体的には、下側または右側のＣＵをイントラ予測するために用いられる参照画像は、上側または左側のＣＵの復号画像の一部を含んでいるので、上側または左側のＣＵの復号（すなわち、イントラ予測、予測差分生成、直交変換、量子化、逆量子化、逆直交変換、（ループフィルタ処理）および復号画像生成）が終了するまで、下側または右側のＣＵのイントラ予測を開始することはできない。従って、ＣＵ分割によれば、イントラ予測に関わるレイテンシは増大する。他方、Ｓｕｂ−ＣＵ分割によれば、ＣＵに属する全てのＳｕｂ−ＣＵに対して共通の参照画像に基づいてイントラ予測を行うことができるので、ＣＵ分割に比べるとレイテンシは抑制される。さらに、イントラ予測器１１２は、複数のＳｕｂ−ＣＵに対して並列的にイントラ予測を行うこともできる。

Ｓｕｂ−ＣＵ分割器１１３は、複数のＳｕｂ−ＣＵをＳｕｂ−ＣＵ予測モード決定器１１４へと出力する。Ｓｕｂ−ＣＵ分割器１１３は、最適なＳｕｂ−ＣＵ分割法を決定するために、利用可能な様々なＳｕｂ−ＣＵ分割法を試行してもよい。或いは、利用可能なＳｕｂ−ＣＵ分割法は一種類（例えば、対称四分木分割）であってもよい。この場合には、最適なＳｕｂ−ＣＵ分割法を決定する必要はない。

Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵ分割器１１３から複数のＳｕｂ−ＣＵを受け取る。Ｓｕｂ−ＣＵ予測モード決定器１１４は、各Ｓｕｂ−ＣＵに対して設定する予測モードを決定する。すなわち、図１１のＳｕｂ−ＣＵ分割例では、Ｓｕｂ−ＣＵ予測モード決定器１１４は合計４つのＳｕｂ−ＣＵに対して合計４つの予測モード（ｄｉｒ０、ｄｉｒ１、ｄｉｒ２およびｄｉｒ３）を決定する。図１２および図１３のＳｕｂ−ＣＵ分割例では、Ｓｕｂ−ＣＵ予測モード決定器１１４は合計２つのＳｕｂ−ＣＵに対して合計２つの予測モード（ｄｉｒ０およびｄｉｒ１）を決定する。

Ｓｕｂ−ＣＵ予測モード決定器１１４は、各Ｓｕｂ−ＣＵに対して最適な予測モードを決定するために、利用可能な様々な予測モードを試行してもよい。Ｓｕｂ−ＣＵ予測モード決定器１１４は、例えば公知の符号化コスト関数の値を比較することで、Ｓｕｂ−ＣＵ分割の適用／非適用、ならびに、Ｓｕｂ−ＣＵ分割の適用時には最適なＳｕｂ−ＣＵ分割法および各Ｓｕｂ−ＣＵの最適な予測モードを決定することができる。

Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵ分割の適用／非適用を示す情報と、Ｓｕｂ−ＣＵ分割の適用時にはＳｕｂ−ＣＵ分割法（Ｓｕｂ−ＣＵ分割法が複数存在する場合）を示す情報および各Ｓｕｂ−ＣＵに設定された予測モードを示す情報とをイントラ予測器１１２へと出力する。さらに、Ｓｕｂ−ＣＵ予測モード決定器１１４は、これらのＳｕｂ−ＣＵ分割に関する情報をエントロピー符号化器１１５へも出力する。

なお、Ｓｕｂ−ＣＵ分割の適用／非適用を示す情報と、Ｓｕｂ−ＣＵ分割法（Ｓｕｂ−を示す情報とは、独立した情報であってもよいが、１つの情報として統合されてもよい。この情報は、例えば、「０」の値でＳｕｂ−ＣＵ分割の非適用を示し、「１」の値でＳｕｂ−ＣＵ分割の適用およびＳｕｂ−ＣＵ分割法が四分木分割であることを示し、「２」および「３」の値でＳｕｂ−ＣＵ分割の適用およびＳｕｂ−ＣＵ分割が二分木分割（上下または左右）であることを示してもよい。

Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵの予測モードを複数のＭＰＭ（以降、ＭＰＭリストとも称される）から選択してもよい。ＨＥＶＣにおいて、ＭＰＭリストは図５に例示されるように決定される。すなわち、ＭＰＭリストの３要素は、現行ＰＵ（Ｃｕｒ）の左隣のＰＵに設定された予測モード（ｄｉｒＡ）と、現行ＰＵ（Ｃｕｒ）の上隣のＰＵに設定された予測モード（ｄｉｒＢ）と、ＰＬＡＮＡＲモード、ＤＣモードまたはＶｅｒｔｉｃａｌ（ＶＥＲ）モードとから選択される。

ＭＰＭは、Ｓｕｂ−ＣＵの最適な予測モードに一致する確率が高く、かつ、その総数はイントラ予測モードの総数に比べればはるかに少ない（ＨＥＶＣの場合には、約１／１２（＝３／３５）である）。故に、Ｓｕｂ−ＣＵの予測モードを必ずＭＰＭリストから選択するようにしたとしても、符号化歪をあまり悪化させることなくｈｅａｄｂｉｎを削減することができる。

なお、Ｓｕｂ−ＣＵ分割は、ＣＵのサイズが規定値（例えば、ＣＵの最小サイズよりも１段階大きいサイズ）以上の場合に限って適用されてもよい。換言すれば、ＣＵのサイズが上記規定値未満であるならばＳｕｂ−ＣＵ分割は一律に非適用とされてよい。例えば、テクスチャの細かい領域に対してはＣＵを細かく分割して符号化を行うことが一般的に好ましいので、ＣＵは最小サイズまで分割される可能性が高い。この場合には、ＣＵ（厳密には輝度ＣＢ）を複数のＰＵに分割することでＳｕｂ−ＣＵ分割と類似の効果を得ることができるので、Ｓｕｂ−ＣＵ分割を一律に非適用としたとしても前述のレイテンシの問題を除けば悪影響は殆どない。他方、ＣＵのサイズが大きいほど当該ＣＵ内で画像の傾向が局所的にばらつく可能性が高いので、Ｓｕｂ−ＣＵ分割を通じた予測モードの局所最適化による恩恵は大きいと予想される。

エントロピー符号化器１１５は、量子化器１０５から量子化変換係数を受け取る。さらに、エントロピー符号化器１１５は、ＣＵの予測タイプがイントラ予測である場合には、Ｓｕｂ−ＣＵ分割に関する情報（すなわち、Ｓｕｂ−ＣＵ分割の適用／非適用を示す情報、ならびに、Ｓｕｂ−ＣＵ分割の適用時にはＳｕｂ−ＣＵ分割法を示す情報および各Ｓｕｂ−ＣＵに設定された予測モードを示す情報）をＳｕｂ−ＣＵ予測モード決定器１１４から受け取り、イントラ予測に関する情報をイントラ予測器１１２から受け取る。エントロピー符号化器１１５は、ＣＵの予測タイプがインター予測である場合には動き予測器１１１からインター予測に関する情報を受け取る。

エントロピー符号化器１１５は、受け取った種々の情報を、後述されるシンタックスに従ってエントロピー符号化および多重化し、符号化ビットストリームを生成する。エントロピー符号化器１１５は、Ｓｕｂ−ＣＵ分割に関する情報、インター予測に関する情報、イントラ予測に関する情報などを符号化ビットストリームのヘッダ内に多重化する。エントロピー符号化器１１５は、例えば、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの算術符号化、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）などの可変長符号化を行ってよい。エントロピー符号化器１１５は、符号化ビットストリームをＨＲＤバッファ１１６へと出力する。

図４Ａおよび図４Ｂには、ＨＥＶＣで使用されるシンタックスが比較例として示されている。このシンタックスによれば、ＣＵの予測タイプがイントラ予測である場合には当該ＣＵのサイズが最小のときに限って当該ＣＵを複数のＰＵに分割することが許容され（Ｌ１２〜Ｌ１３）、１つのＣＵ内に複数の予測モードが設定可能となる（Ｌ２３〜Ｌ３２）。

図１４には、図１の画像符号化装置が使用するシンタックスの一例が示されている。エントロピー符号化器１１５は、ＣＵの予測タイプがイントラ予測である場合（Ｌ３）に、当該ＣＵが最小サイズでない場合であってもＳｕｂ−ＣＵ分割は可能であるから、Ｓｕｂ−ＣＵ分割の適用／非適用を示す情報を符号化できる（Ｌ４）。エントロピー符号化器１１５は、ＰＵまたはＳｕｂ−ＣＵ毎に、輝度に関してＭＰＭリストを使用するか否かを示す情報を符号化する（Ｌ９）。そして、エントロピー符号化器１１５は、ＭＰＭリストを使用する場合にはＰＵまたはＳｕｂ−ＣＵにどのＭＰＭを使用するかを示す情報を符号化し（Ｌ１３）、そうでなければＰＵまたはＳｕｂ−ＣＵに設定された予測モードを示す情報を符号化する（Ｌ１５）。

図４Ａおよび図４Ｂのシンタックスに比べて、図１４のシンタックスは、図１４のＬ３〜Ｌ４の記述が追加され、Ｌ６の条件文において条件が１つ増えているに過ぎない。他方、例えばＣＵを四分木分割すれば、ｈｅａｄｂｉｎは単純計算で約４倍となる。従って、ＣＵ分割に比べれば、Ｓｕｂ−ＣＵ分割を適用することによるｈｅａｄｂｉｎの増分はかなり少ない。さらに、Ｓｕｂ−ＣＵの予測モードを必ずＭＰＭリストから選択するように制約すれば、図１４のシンタックスを図１５に例示されるシンタックスに書き換える事ができる。

図１５のシンタックスによれば、エントロピー符号化器１１５は、Ｓｕｂ−ＣＵ毎に、輝度に関してＭＰＭリストを使用するか否かを示す情報を符号化する必要がない（Ｌ７〜Ｌ１１）。また、エントロピー符号化器１１５は、Ｓｕｂ−ＣＵ分割の適用時には、無条件にＳｕｂ−ＣＵ毎にどのＭＰＭを使用するかを示す情報を符号化すればよく（Ｌ１４〜Ｌ１５）、当該Ｓｕｂ−ＣＵに設定された予測モードそのものを示す情報を符号化する必要がない。故に、図１５のシンタックスによれば、図１４のシンタックスに比べてｈｅａｄｂｉｎを削減することができる。

ＨＲＤバッファ１１６は、例えば半導体メモリである。ＨＲＤバッファ１１６は、エントロピー符号化器１１５から符号化ビットストリームを受け取り、これを一時的に保存する。ＨＲＤバッファ１１６は、例えば図示されない伝送路の帯域に見合ったレートで符号化ビットストリームを当該伝送路へと出力する。図示されない符号化制御器は、ＨＲＤバッファ１１６の空き容量に基づいて量子化器１０５および逆量子化器１０６へと指示する量子化パラメータを変更することで、レート制御を実現してもよい。

以下、イントラ予測器１１２において採用可能な、画素位置を考慮したイントラ予測について説明する。このイントラ予測のベースとなるＨＥＶＣのＤＣ予測では、ｎＴｂＳ（変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ（ＴＢ））のサイズ）×ｎＴｂＳ画素のＰＵの上端に隣接するｎＴｂＳ個の画素（図１６のａ，ｂ，ｃおよびｄ）とＰＵの左端に隣接するｎＴｂＳ個の画素（図１６のｅ，ｆ，ｇおよびｈ）との平均値が当該ＰＵの全ての画素にコピーされる。ＨＥＶＣのＶＥＲ予測では、ｎＴｂＳ×ｎＴｂＳ画素のＰＵの上端に隣接するｎＴｂＳ個の画素（図１６のａ，ｂ，ｃおよびｄ）の各々の値が、当該ＰＵのうち同一の水平位置を持つ画素に垂直にコピーされる。ＨＥＶＣのＨｏｒｉｚｏｎｔａｌ予測では、ｎＴｂＳ×ｎＴｂＳ画素のＰＵの左端に隣接するｎＴｂＳ個の画素（図１６のｅ，ｆ，ｇおよびｈ）の各々の値が、当該ＰＵのうち同一の垂直位置を持つ画素に水平にコピーされる。

これらの予測モードは、いずれも、ＰＵのサイズが大きくなれば、ＰＵの特に下側および右側の画素と参照画像との距離が大きくなるので、これらの画素と参照画像との差分値が大きくなって予測効率が低下するおそれがある。

ＰＵのサイズが大きくなれば参照画像のサイズも大きくなるので、参照画像が例えば絵柄の境界などを含む可能性は高くなる。この結果、参照画像の左側と右側とで、または、参照画像の上側と下側とで、画素の値が大きく異なるかもしれない。この場合に、ＨＥＶＣのＤＣ予測によって参照画像の平均値をＰＵの全体に一律にコピーしたとしても、この予測値はＰＵ内の個々の画素とはあまり類似せず、高い符号化効率を達成できないかもしれない。

また、ＰＵのサイズが大きくなれば、ＰＵの下側の画素と当該ＰＵの上端に隣接する画素との距離が大きくなる。この結果、ＰＵの上端に隣接する画素と、当該画素と同じ水平位置を持つ当該ＰＵの下側の画素とは大きく異なるかもしれない。この場合に、ＨＥＶＣのＶｅｒｔｉｃａｌ予測によってＰＵの上端に隣接する画素の値をそれぞれ垂直方向に一律にコピーしたとしても、この予測値はＰＵ内の特に下側の画素とはあまり類似せず、高い符号化効率を達成できないかもしれない。

同様に、ＰＵのサイズが大きくなれば、ＰＵの右側の画素と当該ＰＵの左端に隣接する画素との距離が大きくなる。この結果、ＰＵの左端に隣接する画素と、当該画素と同じ垂直位置を持つ当該ＰＵの右側の画素とは大きく異なるかもしれない。この場合に、ＨＥＶＣのＨｏｒｉｚｏｎｔａｌ予測によってＰＵの左端に隣接する画素の値をそれぞれ水平方向に一律にコピーしたとしても、この予測値はＰＵ内の特に右側の画素とはあまり類似せず、高い符号化効率を達成できないかもしれない。

そこで、イントラ予測器１１２は、ＰＵに関連付けられた予測モードがＤＣ予測である場合に、参照画像の画素値の分布を考慮して、所定の条件下でＰＵを複数のサブセットへと区分してもよい。そして、イントラ予測器１１２は、各サブセットに対して参照画像のうち当該サブセットのいずれかの画素と同一の水平位置を持つ画素と当該サブセットのいずれかの画素と同一の垂直位置を持つ画素とに基づいて当該サブセットのＤＣ予測を行ってよい。

イントラ予測器１１２は、ＰＵの上端に隣接するｎＴｂＳ個の画素（以降、Ｈｏｒと称される）の値が左側（以降、ｄｃＨｏｒＬｅｆｔと称される）と右側（以降、ｄｃＨｏｒＲｉｇｈｔと称される）とで大きく変動していれば、当該ＰＵを左右に区分してもよい。同様に、イントラ予測器１１２は、ＰＵの左端に隣接するｎＴｂＳ個の画素（以降、Ｖｅｒと称される）の値が上側（以降、ｄｃＶｅｒＵｐと称される）と下側（以降、ｄｃＶｅｒＤｏｗｎと称される）とで大きく変動していれば、当該ＰＵを上下に区分してもよい。

（１） ＰＵを上下左右に４つのサブセットへと区分する場合に、イントラ予測器１１２は、各サブセットの予測値を以下のように生成する。
左上のサブセット：ｄｃＨｏｒＬｅｆｔに属する画素およびｄｃＶｅｒＵｐに属する画素の平均値（図１７を参照）。
右上のサブセット：ｄｃＨｏｒＲｉｇｈｔに属する画素およびｄｃＶｅｒＵｐに属する画素の平均値。
左下のサブセット：ｄｃＨｏｒＬｅｆｔに属する画素およびｄｃＶｅｒＤｏｗｎに属する画素の平均値。
右下のサブセット：ｄｃＨｏｒＲｉｇｈｔに属する画素およびｄｃＶｅｒＤｏｗｎに属する画素の平均値。

（２） ＰＵを上下に２つのサブセットへと区分する場合に、イントラ予測器１１２は、各サブセットの予測値を以下のように生成する。
上側のサブセット：Ｈｏｒに属する画素およびｄｃＶｅｒＵｐに属する画素の平均値。
下側のサブセット：Ｈｏｒに属する画素およびｄｃＶｅｒＤｏｗｎに属する画素の平均値。

（３） ＰＵを左右に２つのサブセットへと区分する場合に、イントラ予測器１１２は、各サブセットの予測値を以下のように生成する。
左側のサブセット：ｄｃＨｏｒＬｅｆｔに属する画素およびＶｅｒに属する画素の平均値。
右側のサブセット：ｄｃＨｏｒＲｉｇｈｔに属する画素およびＶｅｒに属する画素の平均値。

イントラ予測器１１２は、ＰＵを上下に区分するか否かを、ｄｃＶｅｒＵｐに属する画素の値の総和とｄｃＶｅｒＤｏｗｎに属する画素の値の総和との差分の絶対値が第１の閾値よりも大きいか否かによって決定してもよい。同様に、イントラ予測器１１２は、ＰＵを左右に区分するか否かを、ｄｃＨｏｒＬｅｆｔに属する画素の値の総和とｄｃＨｏｒＲｉｇｈｔに属する画素の値の総和との差分の絶対値が第２の閾値よりも大きいか否かによって決定してもよい。

なお、ｄｃＶｅｒＵｐおよびｄｃＶｅｒＤｏｗｎは、サイズが同じであってもよいし、異なっていてもよい。両者のサイズが異なる場合には、総和に代えて平均値または中央値の差分を算出してもよい。同様に、ｄｃＨｏｒＬｅｆｔおよびｄｃＨｏｒＲｉｇｈｔは、サイズが同じであってもよいし、異なっていてもよい。両者のサイズが異なる場合には、総和に代えて平均値または中央値の差分を算出してもよい。

第１の閾値および第２の閾値は、同一であってもよいし、異なっていてもよい。第１の閾値および第２の閾値は、固定であってもよいが、例えば量子化器１０５および逆量子化器１０６によって使用された量子化パラメータに依存して変化してもよい。量子化パラメータが増加するほど量子化誤差は大きくなるので、差分に含まれる誤差も大きくなる可能性がある。故に、量子化パラメータの増加に応じて、第１の閾値および第２の閾値を増加させてもよい。

なお、図示されない画像復号装置に含まれるイントラ予測器は、イントラ予測器１１２と同一のアルゴリズムで動作することで、ＰＵをどのようなサブセットに区分するかを決定することができる。故に、ＰＵがどのようなサブセットに区分するかを示す情報を画像復号装置へとシグナリングする必要はない。但し、係る情報をシグナリングし、画像復号装置に含まれるイントラ予測器の処理負荷を軽減する実装も可能である。

イントラ予測器１１２は、ＰＵに関連付けられた予測モードがＶｅｒｔｉｃａｌ予測またはＨｏｒｉｚｏｎｔａｌ予測である場合に、当該ＰＵの各画素の予測値を当該画素の位置に応じて補正してもよい。

Ｖｅｒｔｉｃａｌ予測に関して、イントラ予測器１１２は、ＰＵの所与の画素（例えば、図１８のｃｕｒ）の予測値（例えば、図１８のｒ２の値）を、参照画像のうち当該ＰＵの左上隅の画素の左上隣に位置する第１の参照画素（例えば、図１８のｒ０）と参照画像のうち当該所与の画素と同一の水平位置を持つ第２の参照画素（例えば、図１８のｒ２）との第１の差分値（ｄｉｆｈ）と、第１の参照画素と参照画像のうち当該所与の画素と同一の垂直位置を持つ第３の参照画素（例えば、図１８のＬ２）との第２の差分値（ｄｉｆｖ）と、当該所与の画素の垂直位置とを用いて補正してもよい。具体的には、イントラ予測器１１２は、下記数式（１）に従って、ＰＵ内の各画素の予測値を補正してもよい。

数式（１）において、Ｖｅｒｐｒｅｄ（ｘ，ｙ）は、水平位置＝ｘおよび垂直位置＝ｙの画素のＶｅｒｔｉｃａｌ予測値を表す。なお、ＰＵの左上隅の画素の位置が原点（０，０）である。ｗｅｉｇｈｔ（ｙ）は垂直位置＝ｙに対応する重みであって、ｙが大きくなるほど小さく設定されてよい。例えば、ｗｅｉｇｈｔ（ｙ）＝（ｎＴｂｓ−ｙ）／ｎＴｂｓである。ｒｅｆ（ｘ）は、参照画像のうち水平位置＝ｘの画素（すなわち、位置（ｘ，−１）の画素）の値を表しており、これはＨＥＶＣにおける垂直位置＝ｘの画素のＶｅｒｔｉｃａｌ予測値に等しい。ｄｉｆｈは前述の第１の差分値であって、位置（ｘ，−１）の第２の参照画素の値から位置（−１，−１）の第１の参照画素の値を減算することで導出可能である。ｄｉｆｖは、前述の第２の差分値であって、位置（−１，ｙ）の第３の参照画素の値から第１の参照画素の値を減算することで導出可能である。

イントラ予測器１１２は、ＰＵに関連付けられた予測モードがＶｅｒｔｉｃａｌ予測である場合に、このような画素位置を考慮したＶｅｒｔｉｃａｌ予測を、無条件に行ってもよいし、条件付きで（例えば、符号化コスト関数の値が減少する場合、ＰＵのサイズが規定値以上である場合など）行ってもよい。イントラ予測器１１２が画素位置を考慮したＶｅｒｔｉｃａｌ予測を無条件で行う場合には、ｈｅａｄｂｉｎを増大させることなく当該Ｖｅｒｔｉｃａｌ予測を導入可能である。イントラ予測器１１２が画素位置を考慮したＶｅｒｔｉｃａｌ予測を条件付きで行う場合に、画素位置を考慮したＶｅｒｔｉｃａｌ予測が行われたか否かを示す情報が図示されない画像復号装置にシグナリングされてもよい。但し、条件次第では係る情報がシグナリングされなくても（すなわち、ｈｅａｄｂｉｎの増大を招くことなく）、画像復号装置に含まれるイントラ予測器は、イントラ予測器１１２と同一のアルゴリズムで動作することで、画素位置を考慮したＶｅｒｔｉｃａｌ予測を行うか否かを決定できる。

Ｈｏｒｉｚｏｎｔａｌ予測に関して、イントラ予測器１１２は、ＰＵの所与の画素（例えば、図１９のｃｕｒ）の予測値（例えば、図１９のＬ２の値）を、第１の参照画素（例えば、図１９のｒ０）と第２の画素（例えば、図１９のｒ２）との第１の差分値（ｄｉｆｈ）と、第１の参照画素と第３の参照画素との第２の差分値（ｄｉｆｖ）と、当該所与の画素の水平位置とを用いて補正してもよい。具体的には、イントラ予測器１１２は、下記数式（２）に従って、ＰＵ内の各画素の予測値を補正してもよい。

数式（２）において、Ｈｏｒｐｒｅｄ（ｘ，ｙ）は、水平位置＝ｘおよび垂直位置＝ｙの画素のＨｏｒｉｚｏｎｔａｌ予測値を表す。ｗｅｉｇｈｔ（ｘ）は水平位置＝ｘに対応する重みであって、ｘが大きくなるほど小さく設定されてよい。例えば、ｗｅｉｇｈｔ（ｘ）＝（ｎＴｂｓ−ｘ）／ｎＴｂｓである。ｒｅｆ（ｙ）は、参照画像のうち垂直位置＝ｙの画素（すなわち、位置（−１，ｙ）の画素）の値を表しており、これはＨＥＶＣにおける垂直位置＝ｙの画素のＨｏｒｉｚｏｎｔａｌ予測値に等しい。

イントラ予測器１１２は、ＰＵに関連付けられた予測モードがＨｏｒｉｚｏｎｔａｌ予測である場合に、このような画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測を、無条件に行ってもよいし、条件付きで（例えば、符号化コスト関数の値が減少する場合、ＰＵのサイズが規定値以上である場合など）行ってもよい。イントラ予測器１１２が画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測を無条件で行う場合には、ｈｅａｄｂｉｎを増大させることなく当該Ｈｏｒｉｚｏｎｔａｌ予測を導入可能である。イントラ予測器１１２が画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測を条件付きで行う場合には、画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測が行われたか否かを示す情報が図示されない画像復号装置にシグナリングされてもよい。但し、条件次第では係る情報がシグナリングされなくても（すなわち、ｈｅａｄｂｉｎの増大を招くことなく）、画像復号装置に含まれるイントラ予測器は、イントラ予測器１１２と同一のアルゴリズムで動作することで、画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測を行うか否かを決定できる。

なお、イントラ予測器１１２は、ＰＵに限らずＳｕｂ−ＣＵに対しても画素位置を考慮したイントラ予測を行ってもよい。

以下、図２０のフローチャートを用いて、図１の画像符号化装置のイントラ予測に関する動作を説明する。なお、図２０では、ステップＳ２０１、ステップＳ２０２、ステップＳ２０３およびステップＳ２０４を含むフローと、ステップＳ２０５のフローとが並列的に実行されているが、これらは逐次的に実行されてもよい。また、以降の説明において、符号化コスト関数の値の算出は、例示されていない要素（例えば、符号化制御器）によって行われてもよい。

ステップＳ２０１において、イントラ予測器１１２は、現行ＣＵの参照画像を決定する。具体的には、この参照画像は、現行ＣＵの左端と隣接する複数の画素と当該ＣＵの上端に隣接する複数の画素とを含み当該ＣＵの内部の画素を含まない。Ｓｕｂ−ＣＵ分割法に関わらず、ステップＳ２０１において決定された参照画像が各Ｓｕｂ−ＣＵのイントラ予測に用いられる。

次に、Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵ毎に最適な予測モードを決定する（ステップＳ２０２）。例えば、Ｓｕｂ−ＣＵ分割器１１３が利用可能な様々なＳｕｂ−ＣＵ分割法を現行ＣＵに逐次適用することで複数組のＳｕｂ−ＣＵを生成し、Ｓｕｂ−ＣＵ予測モード決定器１１４は、それぞれの組に属する複数のＳｕｂ−ＣＵの各々に最適な予測モードを決定してもよい。

次に、Ｓｕｂ−ＣＵ予測モード決定器１１４は、ステップＳ２０２において決定した最適な予測モードに基づいて、現行ＣＵの最適なＳｕｂ−ＣＵ分割法を決定する（ステップＳ２０３）。例えば、Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵ分割法毎に、各Ｓｕｂ−ＣＵにステップＳ２０２において決定した予測モードを設定した場合の符号化コスト関数の値を算出し、最小値を与えるＳｕｂ−ＣＵ分割法を最適なＳｕｂ−ＣＵ分割法と決定してもよい。なお、Ｓｕｂ−ＣＵ分割法が一意に定められる場合には、ステップＳ２０２は省略可能である。

次に、Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵ分割適用時の符号化コスト関数の値を算出する（ステップＳ２０４）。例えば、Ｓｕｂ−ＣＵ予測モード決定器１１４は、ステップＳ２０３において決定したＳｕｂ−ＣＵ分割法を現行ＣＵに適用することで得られる複数のＳｕｂ−ＣＵの各々にステップＳ２０２において決定した予測モードを設定した場合の符号化コスト関数の値を算出する。

他方、ステップＳ２０５において、イントラ予測器１１２は、Ｓｕｂ−ＣＵ分割非適用時の符号化コスト関数の値を算出する。例えば、イントラ予測器１１２は、現行ＣＵに対応する１つまたは複数（当該ＣＵのサイズが最小の場合に限る）のＰＵの各々に最適な予測モードを設定した場合の符号化コスト関数の値を算出する。

Ｓｕｂ−ＣＵ予測モード決定器１１４は、ステップＳ２０４において算出したＳｕｂ−ＣＵ分割適用時の符号化コスト関数の値を、ステップＳ２０５において算出したＳｕｂ−ＣＵ分割非適用時の符号化コスト関数の値と比較し、比較結果に基づいてＳｕｂ−ＣＵ分割の適用／非適用を決定する（ステップＳ２０５）。例えば、Ｓｕｂ−ＣＵ分割適用時の符号化コスト関数の値がＳｕｂ−ＣＵ分割非適用時の符号化コスト関数の値よりも小さい場合には、Ｓｕｂ−ＣＵ予測モード決定器１１４はＳｕｂ−ＣＵ分割の適用を決定してもよい。同様に、Ｓｕｂ−ＣＵ分割適用時の符号化コスト関数の値がＳｕｂ−ＣＵ分割非適用時の符号化コスト関数の値以上である場合には、Ｓｕｂ−ＣＵ予測モード決定器１１４はＳｕｂ−ＣＵ分割の非適用を決定してもよい。

Ｓｕｂ−ＣＵ分割の適用を決定した場合に、Ｓｕｂ−ＣＵ予測モード決定器１１４は、Ｓｕｂ−ＣＵ分割の適用を示す情報（Ｓｕｂ−ＣＵ ｓｐｌｉｔ ｆｌａｇ（真））と、Ｓｕｂ−ＣＵ分割法を示す情報（Ｓｕｂ−ＣＵ分割法が一意に定められる場合には省略可能）と、各Ｓｕｂ−ＣＵに設定された予測モードを示す情報とをエントロピー符号化器１１５へと出力する（ステップＳ２０７およびステップＳ２０８）。他方、Ｓｕｂ−ＣＵ予測モード決定器１１４がＳｕｂ−ＣＵ分割の非適用を決定した場合に、イントラ予測器１１２は、Ｓｕｂ−ＣＵ分割の非適用を示す情報（Ｓｕｂ−ＣＵ ｓｐｌｉｔ ｆｌａｇ（偽））と、各ＰＵに設定された予測モードを示す情報とをエントロピー符号化器１１５へと出力する（ステップＳ２０７およびステップＳ２０９）。

以上説明したように、第１の実施形態に係る画像符号化装置は、ＣＵを複数のＳｕｂ−ＣＵへと分割し、各Ｓｕｂ−ＣＵに対して個別に予測モードを設定し、各Ｓｕｂ−ＣＵを共通の参照画像に基づいてイントラ予測する。従って、この画像符号化装置によれば、ＣＵを複数のＣＵに分割した場合に比べて、イントラ予測に関わるレイテンシおよびｈｅａｄｂｉｎの増分を抑制しながら、ＣＵ内で局所的に予測効率の高い予測モードを選択することができる。

さらに、第１の実施形態に係る画像符号化装置は、画素位置を考慮したイントラ予測を必要に応じて行う。従って、この画像符号化装置によれば、ＰＵまたはＳｕｂ−ＣＵ内の画素と参照画像との距離の増大に伴う予測効率の低下を抑制することができる。

纏めると、第１の実施形態に係る画像符号化装置は、イントラ予測の自由度を高め、符号化効率の向上を可能とする。

（第２の実施形態）
図２１に例示されるように、第２の実施形態に係る画像復号装置は、ＨＲＤバッファ３０１と、エントロピー復号器３０２と、逆量子化器３０３と、逆直交変換器３０４と、加算器３０５と、ループフィルタ３０６と、フレームメモリ３０７と、動き予測器３０８と、イントラ予測器３０９と、リオーダ・バッファ３１０と、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換器３１１とを含む。

ＨＲＤバッファ３０１は、例えば半導体メモリである。ＨＲＤバッファ３０１は、図示されない伝送路から符号化ビットストリームを受け取り、これを一時的に保存する。この符号化ビットストリームは、例えば図１の画像符号化装置によって生成される。ＨＲＤバッファ３０１は、符号化ビットストリームをエントロピー復号器３０２へと出力する。

エントロピー復号器３０２は、ＨＲＤバッファ３０１から符号化ビットストリームを受け取る。エントロピー復号器３０２は、図１４または図１５に例示されるシンタックスに従って、符号化ストリームを逆多重化およびエントロピー復号する。エントロピー復号器３０２は、図示されない画像符号化装置において適用されたコーデックを用いてエントロピー復号を行う。具体的には、エントロピー復号器３０２は、例えば、ＣＡＢＡＣなどの算術符号化、ＣＡＶＬＣなどの可変長符号化を行ってよい。

符号化ストリームを逆多重化およびエントロピー復号することによって、エントロピー復号器３０２は、例えばＣＵの量子化変換係数を得る。さらに、エントロピー復号器３０２は、ＣＵの予測タイプがイントラ予測である場合には、ＣＵのＳｕｂ−ＣＵ分割に関する情報（すなわち、ＣＵへのＳｕｂ−ＣＵ分割の適用／非適用を示す情報、ならびに、Ｓｕｂ−ＣＵ分割の適用時にはＳｕｂ−ＣＵ分割法を示す情報および各Ｓｕｂ−ＣＵに設定された予測モードを示す情報）と、イントラ予測に関する情報（例えば、Ｓｕｂ−ＣＵ分割の非適用時にＰＵに設定された予測モードを示す情報など）とを得る。エントロピー復号器３０２は、ＣＵの予測タイプがインター予測である場合にはインター予測に関する情報（例えば、ＰＵをインター予測するために用いられる参照画像のフレームを示す参照ピクチャ情報など）を得る。

エントロピー復号器３０２は、量子化変換係数を逆量子化器３０３へと出力し、インター予測に関する情報を動き予測器３０８へと出力し、イントラ予測に関する情報およびＳｕｂ−ＣＵ分割に関する情報をイントラ予測器３０９へと出力する。

逆量子化器３０３は、エントロピー復号器３０２から量子化変換係数を受け取る。逆量子化器３０３は、図示されない画像符号化装置において使用された量子化パラメータを用いて量子化変換係数を逆量子化し、変換係数を復元する。逆量子化器３０３は、変換係数を逆直交変換器３０４へと出力する。

逆直交変換器３０４は、逆量子化器３０３から変換係数を受け取る。逆直交変換器３０４は、変換係数に逆直交変換を適用し、予測差分を復元する。この逆直交変換は、図示されない画像符号化装置において適用された直交変換の逆変換に相当する。逆直交変換は、例えば整数精度ＩＤＣＴ、整数精度ＩＤＳＴなどであってよい。なお、逆直交変換器３０４は、上記画像符号化装置において変換スキップが選択されている場合には、同様に変換スキップを選択する。逆直交変換器３０４は、予測差分を加算器３０５へと出力する。

加算器３０５は、逆直交変換器３０４から予測差分を受け取り、動き予測器３０８およびイントラ予測器３０９のいずれか一方から予測画像を受け取る。加算器３０５は、予測画像に予測差分を加算し、復号画像を生成する。加算器３０５は、（１）ループフィルタ３０６、または、（２）フレームメモリ３０７およびリオーダ・バッファ３１０、のいずれか一方へと復号画像を出力する。すなわち、ループフィルタ３０６はオン／オフ可能である。

ループフィルタ３０６は、加算器３０５から復号画像を受け取る。ループフィルタ３０６は、復号画像に対してループフィルタ処理を適用する。ループフィルタ処理は、デブロッキング・フィルタ処理、画素適応オフセット処理などであってよい。なお、デブロッキング・フィルタ処理は、ＰＵまたはＴＵの境界画素に対して適用され、ブロック境界の主観歪みを低減する。画素適応オフセット処理は、ブロック内部のリンギング歪みを低減する。ループフィルタ３０６は、フィルタ処理済みの復号画像をフレームメモリ３０７およびリオーダ・バッファ３１０へと出力する。

フレームメモリ３０７は、例えば半導体メモリである。フレームメモリ３０７は、加算器３０５およびループフィルタ３０６のいずれか一方から復号画像を受け取る。フレームメモリ３０７は、復号画像を参照画像の候補として保存する。フレームメモリ３０７は、復号ピクチャバッファとも呼ばれる。フレームメモリ３０７に保存された復号画像は、動き予測器３０８またはイントラ予測器３０９によって必要に応じて参照画像として読み出される。

動き予測器３０８は、ＣＵの予測タイプがインター予測である場合に、エントロピー復号器３０２からインター予測に関する情報を受け取り、当該情報に基づいてインターＰＢ単位でインター予測を行って、インター予測画像を生成する。具体的には、動き予測器３０８は、参照ピクチャ情報を用いてフレームメモリ３０７内に保存された復号画像の中からインターＰＢ毎に１フレームまたは複数フレームの参照画像を特定し、予測を行うことができる。動き予測器３０８は、整数画素精度予測に限られず小数画素精度（例えば、１／４画素精度）予測をサポートしてもよい。動き予測器３０８は、インター予測画像を加算器３０５へと出力する。

イントラ予測器３０９は、ＣＵの予測タイプがイントラ予測である場合に、エントロピー復号器３０２から、イントラ予測に関する情報と、ＣＵへのＳｕｂ−ＣＵ分割の適用／非適用を示す情報と、Ｓｕｂ−ＣＵ分割の適用時にはＳｕｂ−ＣＵ分割法（Ｓｕｂ−ＣＵ分割法が複数存在する場合）を示す情報および各Ｓｕｂ−ＣＵに設定された予測モードを示す情報とを受け取る。イントラ予測器３０９は、受け取った情報に基づいてイントラ予測を行って、イントラ予測画像を生成する。

Ｓｕｂ−ＣＵ分割の非適用時には、イントラ予測器３０９は、図１０に例示されるように、イントラ予測に関する情報に基づいてＰＵ（≒ＣＵ）毎に予測モードを設定し、当該ＰＵの上端および左端に隣接する画素を含む参照画像をフレームメモリ３０７から読み出し、当該参照画像に基づいて当該予測モードに応じたイントラ予測を行ってイントラ予測画像を生成する。

他方、Ｓｕｂ−ＣＵ分割の適用時には、イントラ予測器３０９は、当該ＣＵの左端または上端に隣接する画素を含む参照画像をフレームメモリ３０７から読み出し、Ｓｕｂ−ＣＵ毎に設定された予測モードに応じたイントラ予測を行ってイントラ予測画像を生成する。ＣＵに属する全てのＳｕｂ−ＣＵに共通の参照画像を使用可能であるから、イントラ予測器３０９は複数のＳｕｂ−ＣＵに対して並列的にイントラ予測を行ってよい。

なお、イントラ予測器３０９は、第１の実施形態において説明された、画素位置を考慮したイントラ予測を行ってもよい。

イントラ予測器３０９は、前述の画素位置を考慮したＤＣ予測に関して、図示されない画像符号化装置に含まれるイントラ予測器と同一のアルゴリズムで動作することで、ＰＵをどのようなサブセットに区分するかを決定することができる。故に、画像符号化装置は、ＰＵがどのようなサブセットに区分するかを示す情報をシグナリングする必要はない。但し、係る情報をシグナリングし、イントラ予測器３０９の処理負荷を軽減する実装も可能である。

イントラ予測器３０９は、ＰＵに関連付けられた予測モードがＶｅｒｔｉｃａｌ予測である場合に、前述の画素位置を考慮したＶｅｒｔｉｃａｌ予測を、無条件に行ってもよいし、条件付きで（例えば、画素位置を考慮したＶｅｒｔｉｃａｌ予測の適用を示す情報がシグナリングされた場合、ＰＵのサイズが規定値以上である場合など）行ってもよい。

イントラ予測器３０９は、ＰＵに関連付けられた予測モードがＨｏｒｉｚｏｎｔａｌ予測である場合に、前述の画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測を、無条件に行ってもよいし、条件付きで（例えば、画素位置を考慮したＨｏｒｉｚｏｎｔａｌ予測の適用を示す情報がシグナリングされた場合、ＰＵのサイズが規定値以上である場合など）行ってもよい。

リオーダ・バッファ３１０は、例えば半導体メモリである。リオーダ・バッファ３１０は、加算器３０５またはループフィルタ３０６のいずれか一方から復号画像を受け取る。リオーダ・バッファ３１０は、この復号画像を一時的に保存する。リオーダ・バッファ３１０に保存された復号画像は、表示順序で並び替えられ、それからＤ／Ａ変換器３１１へと出力される。

Ｄ／Ａ変換器３１１は、リオーダ・バッファ３１１から復号画像としてのデジタルのビデオ信号を受け取る。Ｄ／Ａ変換器３１１は、ビデオ信号をデジタル／アナログ変換し、アナログの出力信号を生成する。Ｄ／Ａ変換器３１１は、例えばディスプレイなどの図示されない後段の装置へと出力信号を供給する。

以下、図２２のフローチャートを用いて、図２１の画像復号装置のイントラ予測に関する動作を説明する。

ステップＳ４０１において、イントラ予測器３０９は、エントロピー復号器３０２からＳｕｂ−ＣＵ分割の適用／非適用を示す情報（Ｓｕｂ−ＣＵ ｓｐｌｉｔ ｆｌａｇ）を受信する。

Ｓｕｂ−ＣＵ分割の適用時には、イントラ予測器３０９は、エントロピー復号器３０２からＳｕｂ−ＣＵ分割法を示す情報と、各Ｓｕｂ−ＣＵの予測モードを示す情報とをさらに受信する（ステップＳ４０２、ステップＳ４０３およびステップＳ４０４）。なお、Ｓｕｂ−ＣＵ分割法が一意に定められる場合には、ステップＳ４０３は省略可能である。

他方、ＳＵｂ−ＣＵ分割の非適用時には、イントラ予測器３０９は、エントロピー復号器３０２から各ＰＵの予測モードを示す情報をさらに受信する（ステップＳ４０２およびステップＳ４０５）。

ステップＳ４０４またはステップＳ４０５に続いて、イントラ予測器３０９は参照画像を設定する（ステップＳ４０６）。Ｓｕｂ−ＣＵ分割の適用／非適用に関わらず、このステップＳ４０６における処理は共通である。具体的には、イントラ予測器３０９は、現行ＣＵの左端と隣接する複数の画素と当該ＣＵの上端に隣接する複数の画素とを含み当該ＣＵの内部の画素を含まない参照画像を設定する。

次に、イントラ予測器３０９は、ステップＳ４０６において設定された参照画像に基づいてイントラ予測画像を生成する（ステップＳ４０７）。具体的には、Ｓｕｂ−ＣＵ分割の適用時には、イントラ予測器３０９は、ステップＳ４０６において設定した参照画像に基づいて、ステップＳ４０３において受信した情報により特定されるＳｕｂ−ＣＵ毎に、ステップＳ４０４において受信した情報の示す予測モードに応じたイントラ予測を行う。他方、Ｓｕｂ−ＣＵ分割の非適用時には、イントラ予測器３０９は、ステップＳ４０６において設定した参照画像に基づいて、ＰＵ毎にステップＳ４０５において受信した情報の示す予測モードに応じたイントラ予測を行う。

以上説明したように、第２の実施形態に係る画像復号装置は、Ｓｕｂ−ＣＵ分割の適用時には、各Ｓｕｂ−ＣＵに個別に予測モードを設定し、各Ｓｕｂ−ＣＵを共通の参照画像に基づいてイントラ予測する。従って、この画像復号装置によれば、ＣＵを複数のＣＵに分割した場合に比べて、イントラ予測に関わるレイテンシおよびｈｅａｄｂｉｎの増分を抑制しながら、ＣＵ内で局所的に予測効率の高い予測モードを選択することができる。

さらに、第２の実施形態に係る画像復号装置は、画素位置を考慮したイントラ予測を必要に応じて行う。従って、この画像復号装置によれば、ＰＵまたはＳｕｂ−ＣＵ内の画素と参照画像との距離の増大に伴う予測効率の低下を抑制することができる。

纏めると、第２の実施形態に係る画像復号装置は、イントラ予測の自由度を高め、符号化効率の向上を可能とする。

上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。

上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

１０１・・・Ａ／Ｄ変換器
１０２，３１０・・・リオーダ・バッファ
１０３・・・減算器
１０４・・・直交変換器
１０５・・・量子化器
１０６，３０３・・・逆量子化器
１０７，３０４・・・逆直交変換器
１０８，３０５・・・加算器
１０９，３０６・・・ループフィルタ
１１０，３０７・・・フレームメモリ
１１１，３０８・・・動き予測器
１１２，３０９・・・イントラ予測器
１１３・・・Ｓｕｂ−ＣＵ分割器
１１４・・・Ｓｕｂ−ＣＵ予測モード決定器
１１５・・・エントロピー符号化器
１１６，３０１・・・ＨＲＤバッファ
３０２・・・エントロピー復号器
３１１・・・Ｄ／Ａ変換器

Claims (10)

1. 符号化データを復号し、コーディングユニットの量子化変換係数と、当該コーディングユニットを複数のサブコーディングユニットへと分割するサブコーディングユニット分割の適用／非適用を示す情報とを得て、前記サブコーディングユニット分割の適用時にはサブコーディングユニット毎の予測モードを示す情報をさらに得る復号器と、
   前記サブコーディングユニット分割の適用時には、前記コーディングユニットの左端と隣接する複数の画素と当該コーディングユニットの上端と隣接する複数の画素とを含み当該コーディングユニットの内部の画素を含まない参照画像に基づいて、前記サブコーディングユニット毎に前記予測モードに応じたイントラ予測を行い、前記コーディングユニットのイントラ予測画像を生成するイントラ予測器と、
   前記量子化変換係数に基づいて復元された予測差分を前記イントラ予測画像に加算し、前記コーディングユニットの復号画像を生成する加算器と
   を具備する、画像復号装置。
2. 前記イントラ予測器は、前記複数のサブコーディングユニットに対して前記参照画像に基づいて並列的にイントラ予測を行う、請求項１に記載の画像復号装置。
3. 前記サブコーディングユニット毎の予測モードは、前記コーディングユニットに関連付けられた複数のＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）から選択される、請求項１に記載の画像復号装置。
4. 前記コーディングユニットのサイズが規定値未満である場合には、前記サブコーディングユニット分割は非適用である、請求項１に記載の画像復号装置。
5. 前記イントラ予測器は、前記コーディングユニットまたは前記サブコーディングユニットの予測モードがＤＣ予測である場合に、所定の条件下で当該コーディングユニットまたは当該サブコーディングユニットを複数のサブセットへと区分し、当該複数のサブセットの各々に対して前記参照画像のうち当該サブセットのいずれかの画素と同一の水平位置を持つ画素と当該サブセットのいずれかの画素と同一の垂直位置を持つ画素とに基づいて当該サブセットのＤＣ予測を行う、請求項１に記載の画像復号装置。
6. 前記イントラ予測器は、前記コーディングユニットまたは前記サブコーディングユニットを上下に区分するか否かを前記コーディングユニットの左端と隣接する複数の画素と第１の閾値とに基づいて決定し、前記コーディングユニットまたは前記サブコーディングユニットを左右に区分するか否かを前記コーディングユニットの上端と隣接する複数の画素と第２の閾値とに基づいて決定する、請求項５に記載の画像復号装置。
7. 前記第１の閾値および前記第２の閾値は、前記量子化変換係数に適用された量子化パラメータに依存する、請求項６に記載の画像復号装置。
8. 前記イントラ予測器は、
   前記コーディングユニットまたは前記サブコーディングユニットの予測モードがＨｏｒｉｚｏｎｔａｌ予測である場合に、当該コーディングユニットまたは当該サブコーディングユニットの所与の画素の予測値を、前記参照画像のうち前記コーディングユニットの左上隅の画素の左上隣に位置する第１の参照画素と当該参照画像のうち当該所与の画素と同一の水平位置を持つ第２の参照画素との第１の差分値と、前記第１の参照画素と当該参照画像のうち当該所与の画素と同一の垂直位置を持つ第３の参照画素との第２の差分値と、前記第３の参照画素の値と、当該所与の画素の水平位置とに基づいて生成し、
   前記コーディングユニットまたは前記サブコーディングユニットの予測モードがＶｅｒｔｉｃａｌ予測である場合に、当該コーディングユニットまたは当該サブコーディングユニットの所与の画素の予測値を、前記第１の差分値と、前記第２の差分値と、前記第２の参照画素の値と、当該所与の画素の垂直位置とに基づいて生成する、
   請求項５に記載の画像復号装置。
9. コーディングユニットを複数のサブコーディングユニットへと分割する分割器と、
   前記複数のサブコーディングユニットの各々の予測モードを決定する決定器と、
   前記コーディングユニットを複数のサブコーディングユニットへと分割するサブコーディングユニット分割の適用時には、前記コーディングユニットの左端と隣接する複数の画素と当該コーディングユニットの上端と隣接する複数の画素とを含み当該コーディングユニットの内部の画素を含まない参照画像に基づいて、前記複数のサブコーディングユニットの各々に前記予測モードに応じたイントラ予測を行い、前記コーディングユニットのイントラ予測画像を生成するイントラ予測器と、
   前記コーディングユニットから前記イントラ予測画像を減算し、予測差分を生成する減算器と、
   前記予測差分に基づいて生成された量子化変換係数と、前記サブコーディングユニット分割の適用／非適用を示す情報とを符号化し、前記サブコーディングユニット分割の適用時には前記予測モードを示す情報をさらに符号化する符号化器と
   を具備する、画像符号化装置。
10. 前記イントラ予測器は、前記コーディングユニットまたは前記サブコーディングユニットの予測モードがＤＣ予測である場合に、所定の条件下で当該コーディングユニットまたは当該サブコーディングユニットを複数のサブセットへと区分し、当該複数のサブセットの各々に対して前記参照画像のうち当該サブセットのいずれかの画素と同一の水平位置を持つ画素と当該サブセットのいずれかの画素と同一の垂直位置を持つ画素とに基づいて当該サブセットのＤＣ予測を行う、請求項９に記載の画像符号化装置。