本実施の形態において使用する技術、及び技術用語を定義する。
<ツリーブロック>
実施の形態では、所定の大きさで符号化・復号処理対象画像を均等分割する。この単位をツリーブロックと定義する。図4では、ツリーブロックのサイズを128x128画素としているが、ツリーブロックのサイズはこれに限定されるものではなく、任意のサイズを設定してよい。処理対象(符号化処理においては符号化対象、復号処理においては復号対象に対応する。)のツリーブロックは、ラスタスキャン順、すなわち左から右、上から下の順序で切り替わる。各ツリーブロックの内部は、さらに再帰的な分割が可能である。ツリーブロックを再帰的に分割した後の、符号化・復号の対象となるブロックを符号化ブロックと定義する。また、ツリーブロック、符号化ブロックを総称してブロックと定義する。適切なブロック分割を行うことにより効率的な符号化が可能となる。ツリーブロックのサイズは、符号化装置と復号装置で予め取り決めた固定値とすることもできるし、符号化装置が決定したツリーブロックのサイズを復号装置に伝送するような構成をとることもできる。ここでは、ツリーブロックの最大サイズを128x128画素、ツリーブロックの最小サイズを16×16画素とする。また、符号化ブロックの最大サイズを64x64画素、符号化ブロックの最小サイズを4x4画素とする。
<予測モード>
処理対象符号化ブロック単位で、処理対象画像の処理済み(符号化処理においては符号化が完了した信号を復号した画像、画像信号、ツリーブロック、ブロック、符号化ブロック等に用い、復号処理においては復号が完了した画像、画像信号、ツリーブロック、ブロック、符号化ブロック等に用いる。)の周囲の画像信号から予測を行うイントラ予測(MODE_INTRA)、及び処理済み画像の画像信号から予測を行うインター予測(MODE_INTER)を切り替える。このイントラ予測(MODE_INTRA)とインター予測(MODE_INTER)を識別するモードを予測モード(PredMode)と定義する。予測モード(PredMode)はイントラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持つ。
<イントラブロックコピー予測>
イントラブロックコピー(Intra Block Copy)予測は、処理対象ピクチャにおける復号済みの画素を予測値として参照し、処理対象ブロックを符号化/復号する処理である。そして、処理対象ブロックから参照する画素までの距離は、ブロックベクトルで表す。ブロックベクトルは処理対象ピクチャを参照し、参照ピクチャは一意に定まるため、参照インデックスは不要である。ブロックベクトルと動きベクトルの違いは、参照するピクチャが処理対象ピクチャか処理済みピクチャかである。また、ブロックベクトルは、適応動きベクトル解像度(AMVR)を用いて、1画素精度または4画素精度を選択できる。
イントラブロックコピーでは、予測イントラブロックコピーモードと、マージイントラブロックコピーモードの2つのモードを選択可能である。
予測イントラブロックコピーモードは、処理済みの情報から導出する予測ブロックベクトルと、差分ブロックベクトルから、処理対象ブロックのブロックベクトルを決定するモードである。予測ブロックベクトルは、処理対象ブロックに隣接する処理済みブロックと、予測ブロックベクトルを特定するためのインデックスから導出する。予測ブロックベクトルを特定するためのインデックス、差分ブロックベクトルはビットストリームで伝送する。
マージイントラブロックコピーモードは、差分動きベクトルを伝送せずに、処理対象ブロックに隣接する処理済みブロックのイントラブロックコピー予測情報から、処理対象ブロックのイントラブロックコピー予測情報を導出するモードである。
<インター予測>
処理済み画像の画像信号から予測を行うインター予測では、複数の処理済み画像を参照ピクチャとして用いることができる。複数の参照ピクチャを管理するため、L0(参照リスト0)とL1(参照リスト1)の2種類の参照リストを定義し、それぞれ参照インデックスを用いて参照ピクチャを特定する。PスライスではL0予測(Pred_L0)が利用可能である。BスライスではL0予測(Pred_L0)、L1予測(Pred_L1)、双予測(Pred_BI)が利用可能である。L0予測(Pred_L0)はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L1)はL1で管理されている参照ピクチャを参照するインター予測である。双予測(Pred_BI)はL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参照ピクチャを参照するインター予測である。L0予測、L1予測、双予測を特定する情報を、インター予測モードと定義する。以降の処理において出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われることを前提とする。
<予測動きベクトルモード>
予測動きベクトルモードは、予測動きベクトルを特定するためのインデックス、差分動きベクトル、インター予測モード、参照インデックスを伝送し、処理対象ブロックのインター予測情報を決定するモードである。予測動きベクトルは、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックから導出した予測動きベクトル候補と、予測動きベクトルを特定するためのインデックスから導出する。
<マージモード>
マージモードは、差分動きベクトル、参照インデックスを伝送せずに、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から、処理対象ブロックのインター予測情報を導出するモードである。
処理対象ブロックに隣接する処理済みブロック、およびその処理済みブロックのインター予測情報を空間マージ候補と定義する。処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロック、およびそのブロックのインター予測情報から導出されるインター予測情報を時間マージ候補と定義する。各マージ候補はマージ候補リストに登録され、マージインデックスにより処理対象ブロックの予測で使用するマージ候補を特定する。
<隣接ブロック>
図11は、予測動きベクトルモード、マージモードで、インター予測情報を導出するために参照する参照ブロックを説明する図である。A0,A1,A2,B0,B1,B2,B3は、処理対象ブロックに隣接する処理済みブロックである。T0は、処理済画像に属するブロックで、処理対象画像の処理対象符号化ブロックと同一位置またはその付近(近傍)に位置するブロックである。
A1,A2は、処理対象符号化ブロックの左側に位置し、処理対象符号化ブロックに隣接するブロックである。B1,B3は、処理対象符号化ブロックの上側に位置し、処理対象符号化ブロックに隣接するブロックである。A0,B0,B2はそれぞれ、処理対象符号化ブロックの左下、右上、左上に位置するブロックである。
予測動きベクトルモード、マージモードにおいて隣接ブロックをどのように扱うかの詳細については後述する。
<アフィン変換動き補償>
アフィン変換動き補償は、符号化ブロックを所定単位のサブブロックに分割し、各サブブロックに対して個別に動きベクトルを設定して動き補償を行うものである。各サブブロックの動きベクトルは、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から導出する1つ以上の制御点に基づき導出する。本実施の形態では、サブブロックのサイズを4x4画素とするが、サブブロックのサイズはこれに限定されるものではないし、画素単位で動きベクトルを導出してもよい。
図14に、制御点が2つの場合のアフィン変換動き補償の例を示す。この場合、2つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有するため、制御点が2つの場合のアフィン変換を、4パラメータアフィン変換と呼称する。図14のCP1、CP2が制御点である。図15に、制御点が3つの場合のアフィン変換動き補償の例を示す。この場合、3つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有するため、制御点が3つの場合のアフィン変換を、6パラメータアフィン変換と呼称する。図15のCP1、CP2、CP3が制御点である。
アフィン変換動き補償は、予測動きベクトルモードおよびマージモードのいずれのモードにおいても利用可能である。予測動きベクトルモードでアフィン変換動き補償を適用するモードをサブブロック予測動きベクトルモードと定義し、マージモードでアフィン変換動き補償を適用するモードをサブブロックマージモードと定義する。
<符号化ブロックのシンタックス>
図12(a)、図12(b)、および図13を用いて、符号化ブロックの予測モードを符号化/復号するためのシンタックス(符号化ビット列の構文規則)を説明する。図12(a)のpred_mode_flagは、インター予測か否かを示すフラグである。pred_mode_flagが0であればインター予測となり、pred_mode_flagが1であればイントラ予測となる。イントラ予測の場合には、イントラブロックコピー予測であるかを示すフラグであるpred_mode_ibc_flagを符号化/復号する。イントラブロックコピー予測である場合(pred_mode_ibc_flag=1)は、merge_flagを符号化/復号する。merge_flagは、マージイントラブロックコピーモードとするか、予測イントラブロックコピーモードとするかを示すフラグである。マージイントラブロックコピーモードである場合(merge_flag=1)は、マージインデックスmerge_idxを符号化/復号する。イントラブロックコピー予測でない場合(pred_mode_ibc_flag=0)、通常イントラ予測とし、通常イントラ予測の情報intra_pred_modeを符号化/復号する。
インター予測の場合にはmerge_flagを符号化/復号する。merge_flagは、マージモードとするか、予測動きベクトルモードとするかを示すフラグである。予測動きベクトルモードの場合(merge_flag=0)、サブブロック予測動きベクトルモードを適用するか否かを示すフラグinter_affine_flagを符号化/復号する。サブブロック予測動きベクトルモードを適用する場合(inter_affine_flag=1)、cu_affine_type_flagを符号化/復号する。cu_affine_type_flagは、サブブロック予測動きベクトルモードにおいて、制御点の数を決定するためのフラグである。
一方、マージモードの場合(merge_flag=1)、図12(b)のregular_merge_flagを符号化/復号する。regular_merge_flagは、通常マージモードを適用するか否かを示すフラグである。通常マージモードの場合(regular_merge_flag=1)、通常マージモードのマージインデックスmerge_idxを符号化/復号する。一方、通常マージモードでない場合(regular_merge_flag=0)、サブブロックマージモードを適用するか否かを示すフラグmerge_subblock_flagを符号化/復号する。サブブロックマージモードの場合(merge_subblock_flag=1)、マージインデックスmerge_subblock_idxを符号化/復号する。一方、サブブロックマージモードでない場合(merge_subblock_flag=0)、ブロックを分割する方向merge_triangle_split_dir、および分割された2つのパーティションごとにマージ三角インデックスmerge_triangle_idx0,merge_triangle_idx1を符号化/復号する。
図13に各シンタックス要素の値と、それに対応する予測モードを示す。merge_flag=0,inter_affine_flag=0は、通常予測動きベクトルモード(Inter Pred Mode)に対応する。merge_flag=0,inter_affine_flag=1は、サブブロック予測動きベクトルモード(Inter Affine Mode)に対応する。merge_flag=1,regular_merge_flag=1は、通常マージモード(Merge Mode)に対応する。merge_flag=1,regular_merge_flag=0,merge_subblock_flag=0は、三角マージモード(Triangle Merge Mode)に対応する。merge_flag=1,regular_merge_flag=0,merge_subblock_flag=1は、サブブロックマージモード(Affine Merge Mode)に対応する。
<POC>
POC(Picture Order Count)は符号化されるピクチャに関連付けられる変数とし、ピクチャの出力順序で1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピクチャのほうが、先に出力されるピクチャであると判断でき、2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
(第1の実施の形態)
本発明の第1の実施の形態に係る画像符号化装置100及び画像復号装置200について説明する。
図1は、第1の実施の形態に係る画像符号化装置100のブロック図である。実施の形態の動画像符号化装置は、画像符号化装置100、ブロック分割部101、インター予測部102、イントラ予測部103、復号画像メモリ104、予測方法決定部105、残差信号生成部106、直交変換・量子化部107、ビット列符号化部108、逆量子化・逆直交変換部109、復号画像信号重畳部110、および符号化情報格納メモリ111を備える。
ブロック分割部101は、入力した画像を再帰的に分割して、符号化ブロックを生成する。ブロック分割部101は、分割対象となるブロックを水平方向と垂直方向にそれぞれ分割する4分割部と、分割対象となるブロックを水平方向または垂直方向のいずれかに分割する2−3分割部を含む。生成した処理対象符号化ブロックの画像信号を、インター予測部102、イントラ予測部103および残差信号生成部106に供給する。また、決定した再帰分割構造を示す情報をビット列符号化部108に供給する。ブロック分割部101の詳細な動作は後述する。
インター予測部102は、処理対象符号化ブロックのインター予測を行う。符号化情報格納メモリに格納されているインター予測情報、復号画像メモリ104に格納されている復号済みの画像信号から複数のインター予測情報の候補を導出し、複数の候補の中から適したインター予測モードを選択し、選択されたインター予測モード、及び選択されたインター予測モードに応じた予測画像信号を予測方法決定部105に供給する。インター予測部102の詳細な構成と動作は後述する。
イントラ予測部103は、処理対象符号化ブロックのイントラ予測を行う。イントラ予測は、復号画像メモリ104に格納されている処理対象符号化ブロックと同一の画像信号の、復号済みの領域から予測画像信号を作成し、予測方法決定部105に供給する。イントラ予測部103の詳細な構成と動作は後述する。
復号画像メモリ104は、復号画像信号重畳部110で生成した復号画像を格納する。また、復号画像メモリに格納されている復号画像を、インター予測部102、イントラ予測部103に供給する。
予測方法決定部105は、各予測に対して、符号化情報及び残差信号の符号量、予測画像信号と処理対象画像信号との間の歪量等を用いて評価することにより、最適な予測モード(インター予測またはイントラ予測)を決定する。インター予測のマージモードの場合は、マージインデックス、サブブロックマージモードか否かを示す情報(サブブロックマージフラグ)の符号化情報をビット列符号化部108に供給し、インター予測の予測動きベクトルモードの場合はインター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル、サブブロックモードか否かを示す情報(サブブロック予測動きベクトルフラグ)等の符号化情報をビット列符号化部108に供給する。決定した符号化情報を符号化情報格納メモリ111に供給する。
残差信号生成部106は、処理対象の画像信号から予測画像信号を減ずることにより残差信号を生成し、直交変換・量子化部107に供給する。
直交変換・量子化部107は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、ビット列符号化部108と逆量子化・逆直交変換部109に供給する。
ビット列符号化部108は、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報に加えて、符号化ブロック毎に予測方法決定部105によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartModeを符号化する。予測モードがイントラ予測(PRED_INTRA)の場合、イントラブロックコピーか否かを判別するフラグ(pred_mode_ibc_flag)を符号化する。イントラブロックコピーの場合は、マージモードならばマージインデックス、マージモードでないならば予測ブロックベクトルインデックス、差分ブロックベクトル等の符号化情報を規定のシンタックス(符号化ビット列の構文規則)に従って符号化し、第1の符号化ビット列を生成する。インター予測(PRED_INTER)の場合、マージモードか否かを判別するフラグ、サブブロックマージフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報、サブブロック予測動きベクトルフラグ等の符号化情報を後述する規定のシンタックス(符号化ビット列の構文規則)に従って符号化し、第1の符号化ビット列を生成する。また、ビット列符号化部108は、直交変換及び量子化された残差信号を規定のシンタックスに従ってエントロピー符号化して第2の符号化ビット列を生成する。第1の符号化ビット列と第2の符号化ビット列を規定のシンタックスに従って多重化し、ビットストリームを出力する。
逆量子化・逆直交変換部109は、直交変換・量子化部107から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部110に供給する。
復号画像信号重畳部110は、予測方法決定部105による決定に応じた予測画像信号と逆量子化・逆直交変換部109で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ104に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施した後、復号画像メモリ104に格納してもよい。
符号化情報格納メモリ111は、予測方法決定部105で決定した、予測モード(インター予測またはイントラ予測)等の符号化情報を格納する。符号化情報格納メモリ111が格納する符号化情報は、インター予測の場合は、決定した動きベクトル、参照リスト、参照インデックスに加え、インター予測のマージモードの場合は、マージインデックス、サブブロックマージモードか否かを示す情報(サブブロックマージフラグ)の符号化情報、インター予測の予測動きベクトルモードの場合はインター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル、サブブロックモードか否かを示す情報(サブブロック予測動きベクトルフラグ)、イントラ予測の場合は、決定したイントラ予測モード等である。符号化情報格納メモリ111で管理される履歴候補リストの構築については後述する。
図2は図1の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、ビット列復号部201、ブロック分割部202、インター予測部203、イントラ予測部204、符号化情報格納メモリ205、逆量子化・逆直交変換部206、復号画像信号重畳部207、および復号画像メモリ208を備える。
図2の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図2の符号化情報格納メモリ205、逆量子化・逆直交変換部206、復号画像信号重畳部207、および復号画像メモリ208の各構成は、図1の動画像符号化装置の逆量子化・逆直交変換部109、復号画像信号重畳部110、符号化情報格納メモリ111、および復号画像メモリ104の各構成とそれぞれ対応する機能を有する。
ビット列復号部201に供給されるビットストリームは規定のシンタックスの規則に従って分離する。分離された第1の符号化ビット列を復号し、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報、及び、符号化ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測(PRED_INTER)かイントラ予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartModeを復号する。イントラ予測(PRED_INTRA)の場合、イントラブロックコピーか否かを判別するフラグ(pred_mode_ibc_flag)を復号する。イントラブロックコピーの場合は、マージモードならばマージインデックス、マージモードでないならば予測ブロックベクトルインデックス、差分ブロックベクトル等の符号化情報を規定のシンタックス(符号化ビット列の構文規則)に従って復号し、符号化情報をインター予測部203またはイントラ予測部204、および符号化情報格納メモリ205に供給する。インター予測(PRED_INTER)の場合、マージモードか否かを判別するフラグ、マージモードの場合はマージインデックス、サブブロックマージフラグ、予測動きベクトルモードである場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル、サブブロック予測動きベクトルフラグ等に関する符号化情報を後述する規定のシンタックスに従って復号し、符号化情報をインター予測部203またはイントラ予測部204、および符号化情報格納メモリ205に供給する。分離した第2の符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部206に供給する。
インター予測部203は、処理対象の符号化ブロックの予測モードPredModeがインター予測(PRED_INTER)で予測動きベクトルモードである時に、符号化情報格納メモリ205に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトル候補リストに登録し、予測動きベクトル候補リストに登録された複数の予測動きベクトルの候補の中から、ビット列復号部201で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、ビット列復号部201で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに符号化情報格納メモリ205に格納する。ここで供給・格納する符号化ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、L0予測、及びL1予測を利用するか否かを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での符号化ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用するか否かを示すフラグpredFlagL0は1, L1予測を利用するか否かを示すフラグpredFlagL1は0である。インター予測モードがL1予測(Pred_L1)の場合、L0予測を利用するか否かを示すフラグpredFlagL0は0, L1予測を利用するか否かを示すフラグpredFlagL1は1である。インター予測モードが双予測(Pred_BI)の場合、L0予測を利用するか否かを示すフラグpredFlagL0、L1予測を利用するか否かを示すフラグpredFlagL1は共に1である。さらに、処理対象の符号化ブロックの予測モードPredModeがインター予測(PRED_INTER)でマージモードの時に、マージ候補を導出する。符号化情報格納メモリ205に記憶されている既に復号された符号化ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中からビット列復号部201で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用するか否かを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を符号化情報格納メモリ205に格納する。ここで、xP、yPはピクチャ内での符号化ブロックの左上の画素の位置を示すインデックスである。インター予測部の詳細な構成と動作は後述する。
イントラ予測部204は、処理対象の符号化ブロックの予測モードPredModeがイントラ予測(PRED_INTRA)の時に、イントラ予測を行う。ビット列復号部201で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ208に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部207に供給する。イントラ予測部204は、画像符号化装置100のイントラ予測部103に対応するものであるから、イントラ予測部103と同様の処理を行う。
逆量子化・逆直交変換部206は、ビット列復号部201で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
復号画像信号重畳部207は、インター予測部203でインター予測された予測画像信号、またはイントラ予測部204でイントラ予測された予測画像信号と、逆量子化・逆直交変換部206により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ208に格納する。復号画像メモリ208に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施した後、復号画像メモリ208に格納してもよい。
次に、画像符号化装置100におけるブロック分割部101の動作について説明する。図3は、画像をツリーブロックに分割し、各ツリーブロックをさらに分割する動作を示すフローチャートである。まず、入力された画像を、所定サイズのツリーブロックに分割する(ステップS1001)。各ツリーブロックについては、所定の順序、すなわちラスタスキャン順に走査し(ステップS1002)、処理対象のツリーブロックの内部を分割する(ステップS1003)。
図7は、ステップS1003の分割処理の詳細動作を示すフローチャートである。まず、処理対象のブロックを4分割するか否かを判断する(ステップS1101)。
処理対象ブロックを4分割すると判断した場合は、処理対象ブロックを4分割する(ステップS1102)。処理対象ブロックを分割した各ブロックについて、Zスキャン順、すなわち左上、右上、左下、右下の順に走査する(ステップS1103)。図5は、Zスキャン順の例であり、図6の601は、処理対象ブロックを4分割した例である。図6の601の番号0〜3は処理の順番を示したものである。そしてステップS1101で分割した各ブロックについて、図7の分割処理を再帰的に行う(ステップS1104)。
処理対象ブロックを4分割しないと判断した場合は、2−3分割を行う(ステップS1105)。
図8は、ステップS1105の2−3分割処理の詳細動作を示すフローチャートである。まず、処理対象のブロックを2−3分割するか否か、すなわち2分割または3分割の何れかを行うか否かを判断する(ステップS1201)。
処理対象ブロックを2−3分割すると判断しない場合、すなわち分割しないと判断した場合は、分割を終了し(ステップS1211)、上位階層のブロックに戻る。
処理対象のブロックを2−3分割すると判断した場合は、さらに処理対象ブロックを2分割するか否か(ステップS1202)を判断する。
処理対象ブロックを2分割すると判断した場合は、処理対象ブロックを垂直方向に分割するか否かを判断し(ステップS1203)、その結果に基づき、処理対象ブロックを垂直方向に分割する(ステップS1204)か、処理対象ブロックを水平方向に分割する(ステップS1205)。ステップS1204の結果、処理対象ブロックは、図6の602 に示す通り、垂直方向2分割に分割され、ステップS1205の結果、処理対象ブロックは、図6の604に示す通り、水平方向2分割に分割される。
ステップS1202において、処理対象のブロックを2分割すると判断しなかった場合、すなわち3分割すると判断した場合は、処理対象ブロックを垂直方向に分割するか否かを判断し(ステップS1206)、その結果に基づき、処理対象ブロックを垂直方向に分割する(ステップS1207)か、処理対象ブロックを水平方向に分割する(ステップS1208)。ステップS1207の結果、処理対象ブロックは、図6の603に示す通り、垂直方向3分割に分割され、ステップS1208の結果、処理対象ブロックは、図6の605に示す通り、水平方向3分割に分割される。
ステップS1204からステップS1205のいずれかを実行後、処理対象ブロックを分割した各ブロックについて、左から右、上から下の順に走査する(ステップS1209)。図6の602から605の番号0〜3は処理の順番を示したものである。分割した各ブロックについて、図8の2−3分割処理を再帰的に実行する(ステップS1210)。
ここで説明した再帰的なブロック分割は、分割する回数、または、処理対象のブロックのサイズ等により、分割要否を制限してもよい。分割要否を制限する情報は、符号化装置と復号化装置の間で予め取り決めを行うことで、情報の伝達を行わない構成で実現してもよいし、符号化装置が分割要否を制限する情報を決定し、符号化ビット列に記録することにより、復号化装置に伝達する構成で実現してもよい。
ここで、あるブロックを分割した場合、分割前のブロックを親ブロックと呼び、分割後の各ブロックを子ブロックと呼ぶ。
次に、画像復号装置200におけるブロック分割部202の動作について説明する。ブロック分割部202は、画像符号化装置100のブロック分割部101と同様の処理手順でツリーブロックを分割するものである。ただし、画像符号化装置100のブロック分割部101では、画像認識による最適形状の推定や歪レート最適化等最適化手法を適用し、最適なブロック分割の形状を決定するのに対し、画像復号装置200におけるブロック分割部202は、符号化ビット列に記録されたブロック分割情報を復号することにより、ブロック分割形状を決定する点が異なる。
第1の実施の形態のブロック分割に関するシンタックス(符号化ビット列の構文規則)を図9に示す。coding_quadtree()はブロックの4分割処理にかかるシンタックスを表し、multi_type_tree()はブロックの2分割または3分割処理にかかるシンタックスを表す。qt_splitはブロックを4分割するか否かを示すフラグであり、ブロックを4分割する場合は、qt_split=1、4分割しない場合は、qt_split=0とする。4分割する場合(qt_split=1)、4分割した各ブロックについて、再帰的に4分割処理をする(coding_quadtree(0), coding_quadtree(1), coding_quadtree(2), coding_quadtree(3))。4分割しない場合(qt_split=0)は、multi_type_tree()に従い、後続の分割を決定する。mtt_splitは、さらに分割をするか否かを示すフラグである。さらに分割をする場合(mtt_split=1)、垂直方向に分割するか水平方向に分割するかを示すフラグであるmtt_split_verticalと、2分割するか3分割するかを決定するフラグであるmtt_split_binaryを参照する。mtt_split_vertical=1は、垂直方向に分割することを示し、mtt_split_vertical=0は、水平方向に分割することを示す。mtt_split_binary=1は、2分割することを示し、mtt_split_binary=0は3分割することを示す。mtt_split=0となるまで、再帰的にmulti_type_treeを呼び出すことにより、階層的なブロック分割を行う。
<イントラ予測>
実施の形態に係るイントラ予測方法は、図1の動画像符号化装置のイントラ予測部103および図2の動画像復号装置のインター予測部203において実施される。
実施の形態によるイントラ予測方法について、図面を用いて説明する。イントラ予測方法は符号化ブロック単位で符号化及び復号の処理の何れでも実施される。
<符号化側のイントラ予測部103の説明>
図41は図1の動画像符号化装置のイントラ予測部103の詳細な構成を示す図である。通常イントラ予測部351は、処理対象の符号化ブロックに隣接する復号済み画素から、通常イントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部105に供給する。図10に通常イントラ予測の例を示す。図10(a)は、通常イントラ予測の予測方向とイントラ予測モード番号の対応を示したものである。例えば、イントラ予測モード50は、垂直方向に画素をコピーすることによりイントラ予測画像を生成する。イントラ予測モード1は、DCモードであり、処理対象ブロックのすべての画素値を参照画素の平均値とするモードである。イントラ予測モード0はPlanarモードであり、垂直方向・水平方向の参照画素から2次元的なイントラ予測画像を作成するモードである。図10(b)は、イントラ予測モード40の場合のイントラ予測画像を生成する例である。処理対象ブロックの各画素に対し、イントラ予測モードの示す方向の参照画素の値をコピーする。イントラ予測モードの参照画素が整数位置でない場合には、周辺の整数位置の参照画素値から補間により参照画素値を決定する。
イントラブロックコピー予測部352は、復号画像メモリ104から処理対象の符号化ブロックと同一の画像信号の復号済み領域を取得し、イントラブロックコピー処理により、予測画像信号を生成し、予測方法決定部105に供給する。イントラブロックコピー予測部352の詳細な構成と処理については後述する。
<復号側のイントラ予測部204の説明>
図42は図2の動画像復号装置のイントラ予測部204の詳細な構成を示す図である。
通常イントラ予測部361は、処理対象の符号化ブロックに隣接する復号済み画素から、通常イントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を得る。この予測画像信号がスイッチ364を経由して復号画像信号重畳部207に供給される。図42の通常イントラ予測部361の処理は、図41の通常イントラ予測部351に対応するものであるため、詳細の説明を省略する。
イントラブロックコピー予測部362は、復号画像メモリ208から処理対象の符号化ブロックと同一の画像信号の復号済み領域を取得し、イントラブロックコピー処理により、予測画像信号を得る。この予測画像信号がスイッチ364を経由して復号画像信号重畳部207に供給される。イントラブロックコピー予測部362の詳細な構成と処理については後述する。
<インター予測>
実施の形態に係るインター予測方法は、図1の動画像符号化装置のインター予測部102および図2の動画像復号装置のインター予測部203において実施される。
実施の形態によるインター予測方法について、図面を用いて説明する。インター予測方法は符号化ブロック単位で符号化及び復号の処理の何れでも実施される。
<符号化側のインター予測部102の説明>
図16は図1の動画像符号化装置のインター予測部102の詳細な構成を示す図である。通常予測動きベクトルモード導出部301は複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部305に供給される。通常予測動きベクトルモード導出部301の詳細な構成と処理については後述する。
通常マージモード導出部302では複数の通常マージ候補を導出して通常マージ候補を選択し、通常マージモードのインター予測情報を得る。このインター予測情報がインター予測モード判定部305に供給される。通常マージモード導出部302の詳細な構成と処理については後述する。
サブブロック予測動きベクトルモード導出部303では複数のサブブロック予測動きベクトル候補を導出してサブブロック予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部305に供給される。サブブロック予測動きベクトルモード導出部303の詳細な構成と処理については後述する。
サブブロックマージモード導出部304では複数のサブブロックマージ候補を導出してサブブロックマージ候補を選択し、サブブロックマージモードのインター予測情報を得る。このインター予測情報がインター予測モード判定部305に供給される。サブブロックマージモード導出部304の詳細な構成と処理については後述する。
インター予測モード判定部305では通常予測動きベクトルモード導出部301、通常マージモード導出部302、サブブロック予測動きベクトルモード導出部303、サブブロックマージモード導出部304から供給されるインター予測情報に基づいて、インター予測モードを判定する。インター予測モード判定部の305から判定結果に応じたインター予測情報が動き補償予測部306に供給される。
動き補償予測部306では判定されたインター予測情報に基づいて、復号画像メモリ104に格納されている参照画像信号に対してインター予測を行う。詳細な構成と処理については後述する。
<復号側のインター予測部203の説明>
図22は図2の動画像復号装置のインター予測部203の詳細な構成を示す図である。
通常予測動きベクトルモード導出部401は複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。通常予測動きベクトルモード導出部401の詳細な構成と処理については後述する。
通常マージモード導出部402では複数の通常マージ候補を導出して通常マージ候補を選択し、通常マージモードのインター予測情報を得る。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。通常マージモード導出部402の詳細な構成と処理については後述する。
サブブロック予測動きベクトルモード導出部403では複数のサブブロック予測動きベクトル候補を導出してサブブロック予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。
サブブロックマージモード導出部404では複数のサブブロックマージ候補を導出してサブブロックマージ候補を選択し、サブブロックマージモードのインター予測情報を得る。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。 動き補償予測部406では判定されたインター予測情報に基づいて、復号画像メモリ208に格納されている参照画像信号に対してインター予測を行う。詳細な構成と処理については符号化側と同様である。
<通常予測動きベクトルモード導出部(通常AMVP)>
図17の通常予測動きベクトルモード導出部301は、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、通常動きベクトル検出部326、予測動きベクトル候補選択部327、動きベクトル減算部328を含む。
図23の通常予測動きベクトルモード導出部401は、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425、予測動きベクトル候補選択部426、動きベクトル加算部427を含む。
符号化側の通常予測動きベクトルモード導出部301および復号側の通常予測動きベクトルモード導出部401の処理手順について、それぞれ図19、図25のフローチャートを用いて説明する。図19は符号化側の通常動きベクトルモード導出部301による通常予測動きベクトルモード導出処理手順を示すフローチャートであり、図25は復号側の通常動きベクトルモード導出部401による通常予測動きベクトルモード導出処理手順を示すフローチャートである。
<通常予測動きベクトルモード導出部(通常AMVP):符号化側の説明>
図19を参照して符号化側の通常予測動きベクトルモード導出処理手順を説明する。図19の処理手順の説明において、明細書の動きベクトルという用語と、図19の通常動きベクトルという用語は対応するものとする。
まず、通常動きベクトル検出部326でインター予測モードおよび参照インデックス毎に通常動きベクトルを検出する(図19のステップS100)。
続いて、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、予測動きベクトル候補選択部327、動きベクトル減算部328で、通常予測動きベクトルモードのインター予測で用いる動きベクトルの差分動きベクトルをL0、L1毎にそれぞれ算出する(図19のステップS101〜S106)。具体的には処理対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトル候補リストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0の差分動きベクトルmvdL0を算出する。処理対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトル候補リストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1の差分動きベクトルmvdL1を算出する。処理対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトル候補リストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0の差分動きベクトルmvdL0を算出するとともに、L1の予測動きベクトル候補リストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ算出する。
L0、L1それぞれについて、差分動きベクトル算出処理を行うが、L0、L1ともに共通の処理となる。したがって、以下の説明においてはL0、L1を共通のLXとして表す。L0の差分動きベクトルを算出する処理ではXが0であり、L1の差分動きベクトルを算出する処理ではXが1である。また、LXの差分動きベクトルを算出する処理中に、LXではなく、もう一方のリストの情報を参照する場合、もう一方のリストをLYとして表す。
LXの動きベクトルmvLXを使用する場合(図19のステップS102:YES)、LXの予測動きベクトルの候補を算出してLXの予測動きベクトル候補リストmvpListLXを構築する(図19のステップS103)。通常予測動きベクトルモード導出部301の中の空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325で複数の予測動きベクトルの候補を導出して予測動きベクトル候補リストmvpListLXを構築する。図19のステップS103の詳細な処理手順については図20のフローチャートを用いて後述する。
続いて、予測動きベクトル候補選択部327により、LXの予測動きベクトル候補リストmvpListLXからLXの予測動きベクトルmvpLXを選択する(図19のステップS104)。動きベクトルmvLXと予測動きベクトル候補リストmvpListLXの中に格納された各予測動きベクトルの候補mvpListLX[i]との差分であるそれぞれの差分動きベクトルを算出する。それら差分動きベクトルを符号化したときの符号量を予測動きベクトル候補リストmvpListLXの要素ごとに算出する。そして、予測動きベクトル候補リストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]を予測動きベクトルmvpLXとして選択し、そのインデックスiを取得する。予測動きベクトル候補リストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトル候補リストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]を最適予測動きベクトルmvpLXとして選択し、そのインデックスiを取得する。
続いて、動きベクトル減算部328で、LXの動きベクトルmvLXから選択されたLXの予測動きベクトルmvpLXを減算し、
mvdLX = mvLX - mvpLX
としてLXの差分動きベクトルmvdLXを算出する(図19のステップS105)。
<通常予測動きベクトルモード導出部(通常AMVP):復号側の説明>
次に、図25を参照して復号側の通常予測動きベクトルモード処理手順を説明する。復号側では、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で、通常予測動きベクトルモードのインター予測で用いる動きベクトルをL0,L1毎にそれぞれ算出する(図25のステップS201〜S206)。具体的には処理対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、処理対象ブロックのインター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトル候補リストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出する。処理対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトル候補リストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1を算出する。処理対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトル候補リストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出するとともに、L1の予測動きベクトル候補リストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1をそれぞれ算出する。
符号化側と同様に、復号側でもL0、L1それぞれについて、動きベクトル算出処理を行うが、L0、L1ともに共通の処理となる。したがって、以下の説明においてはL0、L1を共通のLXとして表す。LXは処理対象の符号化ブロックのインター予測に用いるインター予測モードを表す。L0の動きベクトルを算出する処理ではXが0であり、L1の動きベクトルを算出する処理ではXが1である。また、LXの動きベクトルを算出する処理中に、算出対象のLXと同じ参照リストではなく、もう一方の参照リストの情報を参照する場合、もう一方の参照リストをLYとして表す。
LXの動きベクトルmvLXを使用する場合(図25のステップS202:YES)、LXの予測動きベクトルの候補を算出してLXの予測動きベクトル候補リストmvpListLXを構築する(図25のステップS203)。通常予測動きベクトルモード導出部401の中の空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で複数の予測動きベクトルの候補を算出し、予測動きベクトル候補リストmvpListLXを構築する。図25のステップS203の詳細な処理手順については図20のフローチャートを用いて後述する。
続いて、予測動きベクトル候補選択部426で予測動きベクトル候補リストmvpListLXからビット列復号部201にて復号されて供給される予測動きベクトルのインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]を選択された予測動きベクトルmvpLXとして取り出す(図25のステップS204)。
続いて、動きベクトル加算部427でビット列復号部201にて復号されて供給されるLXの差分動きベクトルmvdLXとLXの予測動きベクトルmvpLXを加算し、
mvLX = mvpLX + mvdLX
としてLXの動きベクトルmvLXを算出する(図25のステップS205)。
<通常予測動きベクトルモード導出部(通常AMVP):動きベクトルの予測方法>
図20は本発明の実施の形態に係る動画像符号化装置の通常予測動きベクトルモード導出部301及び動画像復号装置の通常予測動きベクトルモード導出部401とで共通する機能を有する通常予測動きベクトルモード導出処理の処理手順を表すフローチャートである。
通常予測動きベクトルモード導出部301及び通常予測動きベクトルモード導出部401では、予測動きベクトル候補リストmvpListLXを備えている。予測動きベクトル候補リストmvpListLXはリスト構造を成し、予測動きベクトル候補リスト内部の所在を示す予測動きベクトルインデックスと、インデックスに対応する予測動きベクトル候補を要素として格納する記憶領域が設けられている。予測動きベクトルインデックスの数字は0から開始され、予測動きベクトル候補リストmvpListLXの記憶領域に、予測動きベクトル候補が格納される。本実施の形態においては、予測動きベクトル候補リストmvpListLXは少なくとも2個の予測動きベクトル候補(インター予測情報)を登録することができるものとする。さらに、予測動きベクトル候補リストmvpListLXに登録されている予測動きベクトル候補数を示す変数numCurrMvpCandに0を設定する。
空間予測動きベクトル候補導出部321及び421は、左側に隣接するブロックからの予測動きベクトルの候補を導出する。この処理では、左側に隣接するブロック(A0またはA1)の予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLXA、及び動きベクトルmvLXA、参照インデックスrefIdxAを導出し、mvLXAを予測動きベクトル候補リストmvpListLXに追加する(図20のステップS301)。なお、L0のときXは0、L1のときXは1とする(以下同様)。続いて、空間予測動きベクトル候補導出部321及び421は、上側に隣接するブロック(B0,B1またはB2)からの予測動きベクトルの候補を導出する。この処理では、上側に隣接するブロックの予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLXB、及び動きベクトルmvLXB、参照インデックスrefIdxBを導出し、mvLXAとmvLXBが等しくなければ、mvLXBを予測動きベクトル候補リストmvpListLXに追加する(図20のステップS302)。図20のステップS301とS302の処理は参照する隣接ブロックの位置と数が異なる点以外は共通であり、符号化ブロックの予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLXN、及び動きベクトルmvLXN、参照インデックスrefIdxN(NはAまたはB、以下同様)を導出する。
続いて、時間予測動きベクトル候補導出部322及び422は、現在の処理対象ピクチャとは時間が異なるピクチャにおける符号化ブロックからの予測動きベクトルの候補を導出する。この処理では、異なる時間のピクチャにおける符号化ブロックの予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLXCol、及び動きベクトルmvLXCol、参照インデックスrefIdxCol、参照リストlistColを導出し、mvLXColを予測動きベクトル候補リストmvpListLXに追加する(図20のステップS303)。このステップS303の導出処理手順の詳細の説明は省略する。
なお、シーケンス(SPS)、ピクチャ(PPS)またはスライスの単位で時間予測動きベクトル候補導出部322及び422の処理を省略することができるものとする。
続いて、履歴予測動きベクトル候補導出部323及び423は履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補を予測動きベクトル候補リストmvpListLXに追加する。(図20のステップS304)。このステップS304の登録処理手順の詳細については図29のフローチャートを用いて後述する。
続いて予測動きベクトル候補補充部325及び425は予測動きベクトル候補リストmvpListLXを満たすまで(0,0)等、所定の値の動きベクトルを追加する(図20のS305)。
<通常マージモード導出部(通常マージ)>
図18の通常マージモード導出部302は、空間マージ候補導出部341、時間マージ候補導出部342、平均マージ候補導出部344、履歴マージ候補導出部345、マージ候補補充部346、マージ候補選択部347を含む。
図24の通常マージモード導出部402は、空間マージ候補導出部441、時間マージ候補導出部442、平均マージ候補導出部444、履歴マージ候補導出部445、マージ候補補充部446、マージ候補選択部447を含む。
図21は本発明の実施の形態に係る動画像符号化装置の通常マージモード導出部302及び動画像復号装置の通常マージモード導出部402とで共通する機能を有する通常マージモード導出処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslice_typeがBスライスの場合について説明するが、Pスライスの場合にも適用できる。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
通常マージモード導出部302及び通常マージモード導出部402では、マージ候補リストmergeCandListを備えている。マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は0から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスiのマージ候補は、mergeCandList[i]で表すこととする。本実施の形態においては、マージ候補リストmergeCandListは少なくとも6個のマージ候補(インター予測情報)を登録することができるものとする。さらに、マージ候補リストmergeCandListに登録されているマージ候補数を示す変数numCurrMergeCandに0を設定する。
空間マージ候補導出部341及び空間マージ候補導出部441では、動画像符号化装置の符号化情報格納メモリ111または動画像復号装置の符号化情報格納メモリ205に格納されている符号化情報から、処理対象ブロックの左側と上側に隣接するブロックからの空間マージ候補A,Bを導出して、導出された空間マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS401)。ここで、空間マージ候補A,Bまたは時間マージ候補Colのいずれかを示すNを定義する。ブロックNのインター予測情報が空間マージ候補Nとして利用できるか否かを示すフラグavailableFlagN、空間マージ候補NのL0の参照インデックスrefIdxL0N及びL1の参照インデックスrefIdxL1N、L0予測が行われるか否かを示すL0予測フラグpredFlagL0NおよびL1予測が行われるか否かを示すL1予測フラグpredFlagL1N、L0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを導出する。ただし、本実施の形態においては処理対象となる符号化ブロックを含むブロックに含まれる他の符号化ブロックを参照せずに、マージ候補を導出するので、処理対象の符号化ブロックを含むブロックに含まれる空間マージ候補は導出しない。
続いて、時間マージ候補導出部342及び時間マージ候補導出部442では、異なる時間のピクチャからの時間マージ候補を導出して、導出された時間マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS402)。時間マージ候補が利用できるか否かを示すフラグavailableFlagCol、時間マージ候補のL0予測が行われるか否かを示すL0予測フラグpredFlagL0ColおよびL1予測が行われるか否かを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0Col、L1の動きベクトルmvL1Colを導出する。ステップS402の詳細な処理手順については説明を省略する。
なお、シーケンス(SPS)、ピクチャ(PPS)またはスライスの単位で時間マージ候補導出部342及び時間マージ候補導出部442の処理を省略することができるものとする。
続いて、履歴マージ候補導出部345及び履歴マージ候補導出部445では、履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補をマージ候補リストmergeCandListに追加する(図21のステップS403)。ステップS403の詳細な処理手順については図38のフローチャートを用いて後述する。
続いて、平均マージ候補導出部344及び平均マージ候補導出部444では、マージ候補リストmergeCandListから平均マージ候補を導出して、導出された平均マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS404)。ステップS404の詳細な処理手順については図29のフローチャートを用いて後述する。
続いて、マージ候補補充部346及びマージ候補補充部446では、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが、最大マージ候補数MaxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが最大マージ候補数MaxNumMergeCandを上限として追加マージ候補を導出して、マージ候補リストmergeCandListに登録する(図21のステップS405)。最大マージ候補数MaxNumMergeCandを上限として、Pスライスでは、異なる参照インデックスで動きベクトルが(0,0)の値を持つ予測モードがL0予測(Pred_L0)のマージ候補を追加する。Bスライスでは、異なる参照インデックスで動きベクトルが(0,0)の値を持つ予測モードが双予測(Pred_BI)のマージ候補を追加する。
続いて、マージ候補選択部347及びマージ候補選択部447では、マージ候補リストmergeCandList内に登録されているマージ候補からマージ候補を選択する。符号化側のマージ候補選択部347では、符号量とひずみ量を算出することによりマージ候補を選択し、選択されたマージ候補を示すマージインデックス、マージ候補のインター予測情報を動き補償予測部306に供給する。一方、復号側のマージ候補選択部447では、復号されたマージインデックスに基づいて、マージ候補を選択し、選択されたマージ候補を動き補償予測部406に供給する。
<履歴予測動きベクトル候補リストの更新>
次に、符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの初期化と更新方法について詳細に説明する。図26は履歴予測動きベクトル候補リスト初期化・更新処理手順を説明するフローチャートである。
本実施の形態では、履歴予測動きベクトル候補リストHmvpCandListの更新は、符号化情報格納メモリ111及び符号化情報格納メモリ205で実施されるものとする。インター予測部102及びインター予測部203の中に履歴候補リスト更新部を設置して履歴予測動きベクトル候補リストHmvpCandListの更新を実施させてもよい。
スライスの先頭で履歴予測動きベクトル候補リストHmvpCandListの初期設定を行い、符号化側では予測方法決定部105で通常予測ベクトルモードまたは通常マージモードが選択された場合に履歴予測動きベクトル候補リストHmvpCandListを更新し、復号側では、ビット列復号部201で復号されたインター予測モードが通常予測ベクトルモードまたは通常マージモードの場合に履歴予測動きベクトル候補リストHmvpCandListを更新する。
通常予測ベクトルモードまたは通常マージモードでインター予測を行う際に用いるインター予測情報を、インター予測情報候補hMvpCandとして履歴予測動きベクトル候補リストHmvpCandListに登録する。インター予測情報候補hMvpCandには、L0の参照インデックスrefIdxL0及びL1の参照インデックスrefIdxL1、L0予測が行われるか否かを示すL0予測フラグpredFlagL0およびL1予測が行われるか否かを示すL1予測フラグpredFlagL1、L0の動きベクトルmvL0、L1の動きベクトルmvL1が含まれる。符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListに登録されている要素(すなわち、インター予測情報)の中に、インター予測情報候補hMvpCandと同じ値のインター予測情報が存在する場合は、履歴予測動きベクトル候補リストHmvpCandListからその要素を削除する。一方、インター予測情報候補hMvpCandと同じ値のインター予測情報が存在しない場合は、履歴予測動きベクトル候補リストHmvpCandListの先頭の要素を削除し、履歴予測動きベクトル候補リストHmvpCandListの最後に、インター予測情報候補hMvpCandを追加する。
本発明の符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの要素の数は6とする。
まず、スライス単位での履歴予測動きベクトル候補リストHmvpCandListの初期化を行う(図26のステップS2101)。スライスの先頭で履歴予測動きベクトル候補リストHmvpCandListのすべての要素を空にし、履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補の数NumHmvpCandの値は0に設定する。
なお、履歴予測動きベクトル候補リストHmvpCandListの初期化をスライス単位(スライスの最初の符号化ブロック)で実施するとしたが、ピクチャ単位、タイル単位やツリーブロック行単位で実施しても良い。
続いて、スライス内の符号化ブロック毎に以下の履歴予測動きベクトル候補リストHmvpCandListの更新処理を繰り返し行なう(図26のステップS2102〜S2107)。
まず、符号化ブロック単位での初期設定を行う。同一候補が存在するか否かを示すフラグidenticalCandExistにFALSE(偽)の値を設定し、削除対象インデックスremoveIdxに0を設定する(図26のステップS2103)。
履歴予測動きベクトル候補リストHmvpCandListに登録対象のインター予測情報候補hMvpCandが存在するか否かを判定する(図26のステップS2104)。符号化側の予測方法決定部105で通常予測動きベクトルモードまたは通常マージモードと判定された場合、または復号側のビット列復号部201で通常予測動きベクトルモードまたは通常マージモードとして復号された場合、そのインター予測モードをhMvpCandとする。符号化側の予測方法決定部105でイントラ 予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードと判定された場合、または復号側のビット列復号部201でイントラ 予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードとして復号された場合、履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わず、登録対象のインター予測情報候補hMvpCandは存在しない。登録対象のインター予測情報候補hMvpCandが存在しない場合はステップS2105〜S2106をスキップする(図26のステップS2104:NO)。登録対象のインター予測情報候補hMvpCandが存在する場合はステップS2105以下の処理を行う(図26のステップS2104:YES)。
続いて、履歴予測動きベクトル候補リストHmvpCandListの各要素の中に登録対象のインター予測情報候補hMvpCandと同一の要素が存在するか否かを判定する(図26のステップS2105)。図27はこの同一要素確認処理手順のフローチャートである。履歴予測動きベクトル候補の数NumHmvpCandの値が0の場合(図27のステップS2121:NO)、履歴予測動きベクトル候補リストHmvpCandListは空で、同一候補は存在しないので図27ステップS2122〜S2125をスキップし、本同一要素確認処理手順を終了する。履歴予測動きベクトル候補の数NumHmvpCandの値が0より大きい場合(図27のステップS2121:YES)、履歴予測動きベクトルインデックスhMvpIdxが0からNumHmvpCand-1まで、ステップS2123の処理を繰り返す(図27のステップS2122〜S2125)。まず、履歴予測動きベクトル候補リストの0から数えてhMvpIdx番目の要素HmvpCandList[hMvpIdx]がインター予測情報候補hMvpCandと同一か否かを比較する(図27のステップS2123)。同一の場合(図27のステップS2123:YES)、同一候補が存在するか否かを示すフラグidenticalCandExistにTRUE(真)の値を設定し、削除対象インデックスremoveIdxにhMVpIndexの値を設定し、本同一要素確認処理を終了する。同一でない場合(図27のステップS2123:NO)、hMvpIdxを1インクリメントし、履歴予測動きベクトルインデックスhMvpIdxがNumHmvpCand-1以下であれば、ステップS2123以降の処理を行う(図27のステップS2122〜S2125)。
再び図26のフローチャートに戻り、履歴予測動きベクトル候補リストHmvpCandListの要素のシフト及び追加処理を行う(図26のステップS2106)。図28は図26のステップS2106の履歴予測動きベクトル候補リストHmvpCandListの要素シフト/追加処理手順のフローチャートである。まず、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除いてから新たな要素を追加するか、要素を除かずに新たな要素を追加するかを判定する。具体的には、同一候補が存在するか否かを示すフラグidenticalCandExistがTRUE(真)またはNumHmvpCandが6か否かを比較する(図28のステップS2141)。同一候補が存在するか否かを示すフラグidenticalCandExistがTRUE(真)またはNumHmvpCandが6のいずれかの条件を満たす場合(図28のステップS2141:YES)、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除いてから新たな要素を追加する。インデックスiの初期値をremoveIdx + 1の値に設定する。この初期値からNumHmvpCandまで、ステップS2143の要素シフト処理を繰り返す。(図28のステップS2142〜S2144)。HMVPCandList[ i - 1 ]にHMVPCandList[ i ]の要素をコピーすることで要素を前方にシフトし(図28のステップS2143)、iを1インクリメントする(図28のステップS2142〜S2144)。インデックスiがNumHmvpCand+1となり、ステップS2143の要素シフト処理が完了したら、履歴予測動きベクトル候補リストの最後にインター予測情報候補hMvpCandを追加する(図28のステップS2145)。ここで、履歴予測動きベクトル候補リストの最後とは、0から数えて(NumHmvpCand-1)番目のHMVPCandList[NumHmvpCand-1]である。以上で、本履歴予測動きベクトル候補リストHMVPCandListの要素シフト・追加処理を終了する。一方、同一候補が存在するか否かを示すフラグidenticalCandExistがTRUE(真)およびNumHmvpCandが6のいずれの条件も満たさない場合(図28のステップS2141:NO)、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除かずに、履歴予測動きベクトル候補リストの最後にインター予測情報候補hMvpCandを追加する(図28のステップS2146)。ここで、履歴予測動きベクトル候補リストの最後とは、0から数えてNumHmvpCand番目のHMVPCandList[NumHmvpCand]である。また、NumHmvpCandを1インクリメントして、本履歴予測動きベクトル候補リストHMVPCandListの要素シフト/追加処理を終了する。
図31は履歴予測動きベクトルリストの更新処理の一例を説明する図である。履歴予測動きベクトル候補リストHMVPCandListに6つの要素(インター予測情報)が登録されている際に、新たなインター予測情報を追加する場合、履歴予測動きベクトル候補リストHMVPCandListの各要素と前方から新たなインター予測情報を比較して(図31(a))、新たなインター予測情報が履歴予測動きベクトル候補リストHMVPCandListの先頭から3番目の要素HMVP2と同じ値であれば、履歴予測動きベクトル候補リストHMVPCandListから要素HMVP2を削除して後方の要素HMVP3〜HMVP5を前方に1つずつシフト(コピー)し、履歴予測動きベクトル候補リストHMVPCandListの最後に新たなインター予測情報を追加して(図31(b))、履歴予測動きベクトル候補リストHMVPCandListの更新を完了する(図31(c))。
<履歴予測動きベクトル候補導出処理>
次に、符号化側の通常予測動きベクトルモード導出部301の履歴予測動きベクトル候補導出部323、復号側の通常予測動きベクトルモード導出部401の履歴予測動きベクトル候補導出部423で共通の処理である図20のステップS304の処理手順である履歴予測動きベクトル候補リストHMVPCandListからの履歴予測動きベクトル候補の導出方法について詳細に説明する。図29は履歴予測動きベクトル候補導出処理手順を説明するフローチャートである。
現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数(ここでは2とする)以上または履歴予測動きベクトル候補の数NumHmvpCandの値が0の場合(図29のステップS2201:NO)、図29のステップS2202からS2209の処理を省略し、履歴予測動きベクトル候補導出処理手順を終了する。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2より小さい場合、かつ履歴予測動きベクトル候補の数NumHmvpCandの値が0より大きい場合(図29のステップS2201:YES)、図29のステップS2202からS2209の処理を行う。
続いて、インデックスiが1から、4と履歴予測動きベクトル候補の数NumHmvpCandのいずれか小さい値まで、図41のステップS2203からS2208の処理を繰り返す(図29のステップS2202〜S2209)。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2以上の場合(図29のステップS2203:NO)、図29のステップS2204からS2209の処理を省略し、本履歴予測動きベクトル候補導出処理手順を終了する。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2より小さい場合(図29のステップS2203:YES)、図29のステップS2204以降の処理を行う。
続いて、ステップS2205からS2207までの処理をYが0と1(L0とL1)についてそれぞれ行う(図29のステップS2204〜S2208)。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2以上の場合(図29のステップS2205:NO)、図29のステップS2206からS2209の処理を省略し、本履歴予測動きベクトル候補導出処理手順を終了する。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2より小さい場合(図29のステップS2205:YES)、図29のステップS2206以降の処理を行う。
続いて、履歴予測動きベクトル候補リストHmvpCandList[NumHmvpCand - i]のLYの参照インデックスが、符号化/復号対象動きベクトルの参照インデックスrefIdxLXと同じ場合(図29のステップS2206:YES)、予測動きベクトル候補リストの最後の要素として、予測動きベクトル候補リストの0から数えてnumCurrMvpCand番目の要素mvpListLX[numCurrMvpCand]に履歴予測動きベクトル候補リストの0から数えて(NumHmvpCand-i)番目の要素HmvpCandList[[NumHmvpCand - i]のLYの動きベクトルを追加し(図29のステップS2207)、現在の予測動きベクトル候補の数numCurrMvpCandを1インクリメントする。履歴予測動きベクトル候補リストHmvpCandList[NumHmvpCand - i]のLYの参照インデックスが、符号化/復号対象動きベクトルの参照インデックスrefIdxLXと同じでない場合(図29のステップS2206:NO)、ステップS2207の追加処理をスキップする。
以上の図29のステップS2205からS2207の処理をL0とL1で双方ともに行う(図29のステップS2204〜S2208)。
インデックスiを1インクリメントし、インデックスiが4と履歴予測動きベクトル候補の数NumHmvpCandのいずれか小さい値以下の場合、再びステップS2203以降の処理を行う(図29のステップS2202〜S2209)。
<履歴マージ候補導出処理>
次に、符号化側の通常マージモード導出部302の履歴マージ候補導出部345、復号側の通常マージモード導出部402の履歴マージ候補導出部445で共通の処理である図21のステップS403の処理手順である履歴マージ候補リストHmvpCandListからの履歴マージ候補の導出方法について詳細に説明する。図30は履歴マージ候補導出処理手順を説明するフローチャートである。
まず、初期化処理を行う(図30のステップS2301)。isPruned[i]の0から(numCurrMergeCand -1)番目のそれぞれの要素にFALSEの値を設定し、変数numOrigMergeCandに現在のマージ候補リストに登録されている要素の数numCurrMergeCandを設定する。
続いて、インデックスhMvpIdxの初期値を1に設定し、この初期値からNumHmvpCandまで、図30のステップS2303からステップS2310までの追加処理を繰り返す(図30のステップS2302〜S2311)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下でなければ、マージ候補リストのすべての要素にマージ候補が追加されたので、本履歴マージ候補導出処理を終了する(図30のステップS2303:NO)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下の場合(図30のステップS2303:YES)、ステップS2304以降の処理を行う。
まず、sameMotionにFALSE(偽)の値を設定する(図30のステップS2304)。続いて、インデックスiの初期値を0に設定し、この初期値から1まで図30のステップS2306、S2307の処理を行う(図30のS2305〜S2308)。
次に、履歴動きベクトル予測候補リストの0から数えて(NumHmvpCand-hMvpIdx)番目の要素HmvpCandList[NumHmvpCand-hMvpIdx]と、マージ候補リストの0から数えてi番目の要素mergeCandList[i]が同じ値か否かを比較する(図30のステップS2306)。ここで、マージ候補が同じ値とは、マージ候補が持つすべての構成要素(インター予測モード、参照インデックス、動きベクトル)の値が同じであることを示す。ただし、このステップS2306の処理は、hMvpIdxがNumHmvpCand-2より大きく、かつmergeCandList[i]が空間マージ候補で、かつisPruned[i]がFALSE(偽)の場合に限る。同じ値の場合(図30のステップS2306:YES)、sameMotionおよびisPruned[i]共にTRUE(真)を設定する(図30のステップS2307)。同じ値でない場合(図30のステップS2306:NO)、ステップS2307の処理をスキップする。図30のステップS2305からステップS2308までの繰り返し処理が完了したらsameMotionがFALSE(偽)か否かを比較し(図30のステップS2309)、sameMotionが FALSE(偽)の場合(図30のステップS2309:YES)、マージ候補リストのnumCurrMergeCand番目のmergeCandList[numCurrMergeCand]に履歴予測動きベクトル候補リストの0から数えて(NumHmvpCand - hMvpIdx)番目の要素HmvpCandList[NumHmvpCand - hMvpIdx]を追加し、numCurrMergeCandを1インクリメントする(図30のステップS2310)。インデックスhMvpIdxを1インクリメントし(図30のステップS2302)、図30のステップS2302〜S2311の繰り返し処理を行う。
履歴予測動きベクトル候補リストのすべての要素の確認が完了するか、マージ候補リストのすべての要素にマージ候補が追加されたら、本履歴マージ候補の導出処理を完了する。
<平均マージ候補導出処理>
次に、符号化側の通常マージモード導出部302の平均マージ候補導出部344、復号側の通常マージモード導出部402の平均マージ候補導出部444で共通の処理である図21のステップS404の処理手順である平均マージ候補の導出方法について詳細に説明する。図38は平均マージ候補導出処理手順を説明するフローチャートである。
まず、初期化処理を行う(図38のステップS1301)。変数numOrigMergeCandに現在のマージ候補リストに登録されている要素の数numCurrMergeCandを設定する。
続いて、マージ候補リストの先頭から順に走査し、2つの動き情報を決定する。1つ目の動き情報を示すインデックスi=0、2つ目の動き情報を示すインデックスj=1とする。(図38のステップS1302〜S1303)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下でなければ、マージ候補リストのすべての要素にマージ候補が追加されたので、本履歴マージ候補導出処理を終了する(図38のステップS1304)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下の場合は、ステップS1305以降の処理を行う。
マージ候補リストのi番目の動き情報mergeCandList[i]とマージ候補リストのj番目の動き情報mergeCandList[j]がともに無効であるか否かを判定し(図38のステップS1305)、ともに無効である場合は、mergeCandList[i]とmergeCandList[j]の平均マージ候補の導出を行わず、次の要素に移る。mergeCandList[i]とmergeCandList[j]がともに無効でない場合は、Xを0と1として以下の処理を繰り返す(図38のステップS1306からS1314)。
mergeCandList[i]のLX予測が有効であるかを判定する(図38のステップS1307)。mergeCandList[i]のLX予測が有効である場合は、mergeCandList[j]のLX予測が有効であるかを判定する(図38のステップS1308)。mergeCandList[j]のLX予測が有効である場合、すなわち、mergeCandList[i]のLX予測とmergeCandList[j]のLX予測がともに有効である場合は、mergeCandList[i]のLX予測の動きベクトルとmergeCandList[j]のLX予測の動きベクトルを平均したLX予測の動きベクトルとmergeCandList[i]のLX予測の参照インデックスを有するLX予測の平均マージ候補を導出してaverageCandのLX予測に設定し、averageCandのLX予測を有効とする(図38のステップS1309)。図38のステップS1308で、mergeCandList[j]のLX予測が有効でない場合、すなわち、mergeCandList[i]のLX予測が有効、かつmergeCandList[j]のLX予測が無効である場合は、mergeCandList[i]のLX予測の動きベクトルと参照インデックスを有するLX予測の平均マージ候補を導出してaverageCandのLX予測に設定し、averageCandのLX予測を有効とする(図38のステップS1310)。図38のステップS1307で、mergeCandList[i]のLX予測が有効でない場合、mergeCandList[j]のLX予測が有効であるか否かを判定する(図38のステップS1311)。mergeCandList[j]のLX予測が有効である場合、すなわちmergeCandList[i]のLX予測が無効、かつmergeCandList[j] のLX予測が有効である場合は、mergeCandList[j]のLX予測の動きベクトルと参照インデックスを有するLX予測の平均マージ候補を導出してaverageCandのLX予測に設定し、averageCandのLX予測を有効とする(図38のステップS1312)。図38のステップS1311で、mergeCandList[j]のLX予測が有効でない場合、すなわちmergeCandList[i]のLX予測、mergeCandList[j]のLX予測がともに無効である場合は、averageCandのLX予測を無効とする(図38のステップS1312)。
以上のように生成されたL0予測、L1予測またはBI予測の平均マージ候補averageCandを、マージ候補リストのnumCurrMergeCand番目のmergeCandList[numCurrMergeCand]に追加し、numCurrMergeCandを1インクリメントする(図38のステップS1315)。以上で、平均マージ候補の導出処理を完了する。
なお、平均マージ候補は動きベクトルの水平成分と動きベクトルの垂直成分それぞれで平均される。
<動き補償予測処理>
動き補償予測部306は、符号化において現在予測処理の対象となっているブロックの位置およびサイズを取得する。また、動き補償予測部306は、インター予測情報をインター予測モード判定部305から取得する。取得したインター予測情報から参照インデックスおよび動きベクトルを導出し、復号画像メモリ内の参照インデックスで特定される参照ピクチャを、動きベクトルの分だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得した後に予測信号を生成する。
インター予測におけるインター予測モードがL0予測やL1予測のような、単一の参照ピクチャからの予測の場合には、1つの参照ピクチャから取得した予測信号を動き補償予測信号とし、インター予測モードがBI予測のような、予測モードが2つの参照ピクチャからの予測の場合には、2つの参照ピクチャから取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測方法決定部に供給する。ここでは双予測の重みづけ平均の比率を1:1とするが、他の比率を用いて重みづけ平均を行っても良い。例えば、予測対象となっているピクチャと参照ピクチャとのピクチャ間隔が近いものほど重みづけの比率が大きくなるようにしてもよい。また、重みづけ比率の算出をピクチャ間隔の組み合わせと重みづけ比率との対応表を用いて行うようにしても良い。
動き補償予測部406は、符号化側の動き補償予測部306と同様の機能をもつ。動き補償予測部406は、インター予測情報を、通常予測動きベクトルモード導出部401、通常マージモード導出部402、サブブロック予測動きベクトルモード導出部403、サブブロックマージモード導出部404から、スイッチ408を介して取得する。
動き補償予測部406は、得られた動き補償予測信号を、復号画像信号重畳部207に供給する。
<インター予測モードについて>
単一の参照ピクチャからの予測を行う処理を単予測と定義し、単予測の場合はL0予測またはL1予測という、参照リストL0、L1に登録された2つの参照ピクチャのいずれか一方を利用した予測を行う。L0予測およびL1予測は前方向予測(前方の参照画像を参照する予測)であっても後方向予測(後方の参照画像を参照する予測)であってもよい。図33〜図34は、L0予測(単予測)での動き補償予測を説明するための図である。
図33はインター予測モードがL0予測であってL0の参照ピクチャ(RefL0Pic)が処理対象ピクチャ(CurPic)より前の時刻にある場合を示している。図33はL0予測であってL0の参照ピクチャが処理対象ピクチャより後の時刻にある場合を示している。同様に、図33および図34のL0予測の参照ピクチャをL1予測の参照ピクチャ(RefL1Pic)に置き換えて単予測を行うこともできる。
2つの参照ピクチャからの予測を行う処理を双予測と定義し、双予測の場合はL0予測とL1予測の双方を利用して双予測と表現する。図35〜図37は、双予測での動き補償予測を説明するための図である。図35は双予測であってL0予測の参照ピクチャが処理対象ピクチャより前の時刻にあって、L1予測の参照ピクチャが処理対象ピクチャより後の時刻にある場合を示している。図36は双予測であってL0予測の参照ピクチャとL1予測の参照ピクチャが処理対象ピクチャより前の時刻にある場合を示している。図37は双予測であってL0予測の参照ピクチャとL1予測の参照ピクチャが処理対象ピクチャより後の時刻にある場合を示している。
このように、L0/L1の予測種別と時間の関係は、L0が前方向予測(前方の参照画像を参照する予測)、L1が後方向予測(後方の参照画像を参照する予測)とは限定されずに用いることが可能である。また双予測の場合に、同一の参照ピクチャを用いてL0予測及びL1予測のそれぞれを行ってもよい。なお、動き補償予測を単予測で行うか双予測で行うかの判断は、例えばL0予測を利用するか否か及びL1予測を利用するか否かを示す情報(例えば、フラグ)に基づき判断される。
<参照インデックスについて>
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照ピクチャの中から最適な参照ピクチャを選択することを可能とする。そのため、動き補償予測で利用した参照ピクチャを参照インデックスとして利用するとともに、参照インデックスを符号化ベクトルとともに符号化ストリーム中に符号化する。
<通常予測動きベクトルモードに基づく動き補償処理>
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常予測動きベクトルモード導出部301によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
同様に、動き補償予測部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408が通常予測動きベクトルモード導出部401に接続された場合には、通常予測動きベクトルモード導出部401によるインター予測情報を取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
<通常マージモードに基づく動き補償処理>
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常マージモード導出部302によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
同様に、動き補償予測部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408が通常マージモード導出部402に接続された場合には、通常マージモード導出部402によるインター予測情報を取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
<マージ差分動きベクトル(MMVD)>
マージ候補の上位2つ(マージ候補リスト内のマージインデックスが0および1のマージ候補)の動きベクトルに対し、差分動きベクトルを加算することができる。この差分動きベクトルを、マージ差分動きベクトルと呼ぶ。
符号化側のマージ候補選択部347においてマージ差分動きベクトルを加算する場合、マージ差分動きベクトルが加算された動きベクトルは、インター予測モード判定部305を介して動き補償予測部306に供給される。また、ビット列符号化部108は、マージ差分動きベクトルに関する情報を符号化する。マージ差分動きベクトルに関する情報とは、動きベクトルに加算する距離を示すインデックスmmvd_distance_idxと、動きベクトルを加算する方向を示すインデックスmmvd_direction_idxである。これらのインデックスは、図39(a)および図39(b)に示す表のように定義される。そして、マージ差分動きベクトルオフセットMmvdOffsetのx,y成分をそれぞれMmvdOffset[0], MmvdOffset[1]で表すと、
MmvdOffset[0] = ( MmvdDistance << 2 ) * MmvdSign[0]
MmvdOffset[1] = ( MmvdDistance << 2 ) * MmvdSign[1]
となる。マージ差分動きベクトルは、上式のマージ差分動きベクトルオフセットMmvdOffsetより導出される。マージ差分動きベクトルを導出する詳細は、以下の復号側の場合において説明する。
復号側において、マージ差分動きベクトルが存在する場合、ビット列復号部201に供給されるビットストリームからマージ差分動きベクトルに関する情報を分離し、マージ差分動きベクトルオフセットMmvdOffsetを導出する。また、マージ候補選択部447は、復号されたマージ差分動きベクトルオフセットから、マージ差分動きベクトルを導出する。このマージ差分動きベクトルを動きベクトルに加算してから、その動きベクトルを動き補償予測部406に供給する。
マージ候補選択部447におけるマージ差分動きベクトルmMvdLXの導出について、図40のフローチャートを参照して説明する。まず、符号化ブロックのインター予測モードが双予測(PRED_BI)であるか否かを判定する(S4402)。双予測でない場合(S4402:No)、L0予測(PRED_L0)であるか否かを判定する(S4404)。L0予測の場合(S4404:Yes)、
mMvdL0 = MmvdOffset
mMvdL1 = 0
として(S4406)、マージ差分動きベクトルを導出する処理は終了する。L1予測の場合(S4404:No)、
mMvdL0 = 0
mMvdL1 = MmvdOffset
として(S4408)、マージ差分動きベクトルを導出する処理は終了する。
一方、双予測の場合(S4402:Yes)、処理対象ピクチャcurrPicと参照ピクチャのPOCの差を、参照リストごとに計算し、それぞれcurrPocDiffL0, currPocDiffL1とする(S4410)。ここで、picAとpicBのPOCの差DiffPicOrderCnt(picA, picB)は、
DiffPicOrderCnt( picA, picB ) = [picAのPOC] - [picBのPOC]
を示す。また、参照ピクチャRefPicList0[ refIdxL0 ]は、参照リストL0の参照インデックスrefIdxL0が示すピクチャである。同様に、参照ピクチャRefPicList1[ refIdxL1 ]は、参照リストL1の参照インデックスrefIdxL1が示すピクチャである。
次に、-currPocDiffL0 * currPocDiffL1 >= 0か否かを判定する(ステップS4412)。この判定が真の場合(ステップS4412:Yes)、
mMvdL0 = MmvdOffset
mMvdL1 = -MmvdOffset
として(ステップS4414)、マージ差分動きベクトルを導出する処理は終了する。一方、この判定が偽の場合(ステップS4412:No)、
mMvdL0 = MmvdOffset
mMvdL1 = MmvdOffset
とする(ステップS4416)。次に、参照リストL0とのPOCの差の絶対値が、参照リストL1とのPOCの差の絶対値以上か否かを判定する(ステップS4418)。この判定が真の場合(ステップS4418:Yes)、X=0, Y=1とし(ステップS4420)、L1のマージ差分動きベクトルmMvdL1をスケーリングする(ステップS4424)。ここで、mMvdLYは、Y=0の場合はmMvdL0、Y=1の場合はmMvdL1であることを示す。一方、この判定が偽の場合(ステップS4418:No)、X=1, Y=0とし(ステップS4422)、L0のマージ差分動きベクトルmMvdL0をスケーリングする(ステップS4424)。マージ差分動きベクトルmMvdLYのスケーリングは、
td = Clip3( -128, 127, currPocDiffLX )
tb = Clip3( -128, 127, currPocDiffLY )
tx = ( 16384 + Abs( td ) >> 1 ) / td
distScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
mMvdLY = Clip3( -131072 , 131071, Sign( distScaleFactor * mMvdLY )
* ( (Abs( distScaleFactor * mMvdLY ) + 127 ) >> 8 ) )
として導出する。ここで、currPocDiffLXは、X=0の場合はcurrPocDiffL0、X=1の場合はcurrPocDiffL1であることを示す。同様に、currPocDiffLYは、Y=0の場合はcurrPocDiffL0、Y=1の場合はcurrPocDiffL1であることを示す。また、Clip3(x,y,z)は値zについて、最小値をx、最大値をyに制限する関数である。Sign(x)は値xの符号を返す関数であり、値xが正の場合1、値xが0の場合0、値xが負の場合−1となる。Abs(x)は値xの絶対値を返す関数である。また、>>は左側の被演算数を右側の被演算数のビット数分右にビットシフトすることを示すビット演算子である。以上により、マージ差分動きベクトルを導出する処理は終了する。
マージ差分動きベクトルは、サブブロックマージ候補の上位2つの動きベクトルに対して加算しても良い。この場合、動きベクトルに加算する距離を示すインデックスmmvd_distance_idxは、図39(c)に示す表のように定義される。サブブロックマージ候補選択部386の動作は、マージ候補選択部347と同じであるため、説明を省略する。また、サブブロックマージ候補選択部486の動作は、マージ候補選択部447と同じであるため、説明を省略する。
前述の通り、MmvdDistanceは、図39(a)や図39(c)に示す表のように定義される。これらの表は1/4画素精度で定義されているので、生成されるマージ差分動きベクトルは、小数画素精度を含むことがある。ただし、これらの表の画素精度が1であることを示すフラグをスライス単位で符号化/復号することにより、生成されるマージ差分動きベクトルが、小数画素精度を含まないように変更することができる。
<適応動きベクトル解像度(AMVR)>
符号化ブロック単位で、差分動きベクトルの解像度を適応的に変更することができる。この解像度を、適応動きベクトル解像度と呼ぶ。
通常予測動きベクトルモードに対して適応動きベクトル解像度を用いる場合について説明する。この場合、空間予測動きベクトル候補導出部321および421と、時間予測動きベクトル候補導出部322および422と、履歴予測動きベクトル候補導出部323および423において、導出された候補の動きベクトルは解像度に応じて丸められる。解像度は1/4,1,4画素精度から選択でき、解像度を変更しない場合は1/4画素精度となる。丸め処理は、処理対象の符号化ブロックにおける動きベクトルの解像度に合わせてなされる。つまり、導出された候補の動きベクトルmvXは、
rightShift = leftShift = MvShift + 2
offset = ( 1 << ( rightShift - 1 ) )
mvX = ( ( mvX + offset - ( mvX >= 0 ) ) >> rightShift ) << leftShift
と丸め処理される。ただし、rightShift=0の場合は、offset=0となる。ここで、処理対象の符号化ブロックにおける動きベクトルの解像度が1/4画素精度の場合、MvShift=0である。同様に、動きベクトルの解像度が1画素精度の場合はMvShift=2であり、動きベクトルの解像度が4画素精度の場合はMvShift=4である。上式により、mvXのx,y成分それぞれが処理される。
適応動きベクトル解像度は、サブブロック予測動きベクトルモードに対して用いることもできる。この場合、上記の通常予測動きベクトルモードに対して、解像度が異なる。すなわち、アフィン継承予測動きベクトル候補導出部361および461と、アフィン構築予測動きベクトル候補導出部362および462と、アフィン同一予測動きベクトル候補導出部363および463において、導出された候補の動きベクトルは解像度に応じて丸められる。解像度は1/16,1/4,1画素精度から選択でき、解像度を変更しない場合は1/4画素精度となる。丸め処理は、処理対象の符号化ブロックにおける動きベクトルの解像度に合わせてなされる。つまり、導出された候補の動きベクトルmvXは、上記の式により丸め処理される。ここで、処理対象の符号化ブロックにおける動きベクトルの解像度が1/4画素精度の場合、MvShift=0である。同様に、動きベクトルの解像度が1/16画素精度の場合はMvShift=-2であり、動きベクトルの解像度が1画素精度の場合はMvShift=2である。上記の式により、mvXのx,y成分それぞれが処理される。
<イントラブロックコピー(IBC)>
図32を参照してイントラブロックコピーの有効参照領域を説明する。図32(a)は符号化ツリーブロック単位をイントラブロックコピー基準ブロックとして、有効参照領域を決定する場合の例である。図32(a)の500、501、502、503、504は符号化ツリーブロックであり、504が処理対象の符号化ツリーブロックである。505は、処理対象符号化ブロックである。符号化ツリーブロックの処理順は、500、501、502、503、504の順とする。この場合、処理対象符号化ブロック505を含む符号化ツリーブロック504の直前に処理された3つの符号化ツリーブロック501、502、503を処理対象符号化ブロック505の有効参照領域とする。符号化ツリーブロック501より前に処理された符号化ツリーブロック、及び処理対象符号化ブロック505より前に処理が完了しているか否かに関わらず、処理対象符号化ブロック505を含む符号化ツリーブロック504に含まれる領域はすべて無効参照領域とする。
図32(b)は、符号化ツリーブロックを4分割した単位をイントラブロックコピー基準ブロックとして、有効参照領域を決定する場合の例である。図32(b)の515、516は符号化ツリーブロックであり、516が処理対象の符号化ツリーブロックである。符号化ツリーブロック515は506、507、508、509に4分割され、516は510、511、512、513に4分割される。514は処理対象符号化ブロックである。イントラブロックコピー基準ブロックの処理順は、506、507、508、509、510、511、512、513の順とする。この場合、処理対象符号化ブロック514を含むイントラブロックコピー基準ブロック511の直前に処理された3つのイントラブロックコピー基準ブロック508、509、510を処理対象符号化ブロック514の有効参照領域とする。イントラブロックコピー基準ブロック508より前に処理された符号化ツリーブロック、及び処理対象符号化ブロック514より前に処理が完了しているか否かに関わらず、処理対象符号化ブロック514を含むイントラブロックコピー基準ブロック511に含まれる領域はすべて無効参照領域とする。
<予測イントラブロックコピー:符号化側の説明>
図45を参照して符号化側の予測イントラブロックコピー処理手順を説明する。
まず、ブロックベクトル検出部375でブロックベクトルmvLを検出する(図45のステップS4500)。
続いて、IBC空間ブロックベクトル候補導出部371、IBC履歴予測ブロックベクトル候補導出部372、IBC予測ブロックベクトル候補補充部373、IBC予測ブロックベクトル候補選択部376、ブロックベクトル減算部378で、予測ブロックベクトルモードで用いるブロックベクトルの差分ブロックベクトルを算出する(図45のステップS4501〜S4503)。
予測ブロックベクトルの候補を算出してブロックベクトル候補リストmvpListを構築する(図45のステップS4501)。イントラブロックコピー予測部352の中のIBC空間ブロックベクトル候補導出部371、IBC履歴ブロックベクトル候補導出部372、IBC予測ブロックベクトル候補補充部373で複数の予測ブロックベクトルの候補を導出して予測ブロックベクトル候補リストmvpListを構築する。図45のステップS4501の詳細な処理手順については図48のフローチャートを用いて後述する。
続いて、IBC予測ブロックベクトル候補選択部376により、予測ブロックベクトル候補リストmvpListLから予測ブロックベクトルmvpLを選択する(図45のステップS4502)。ブロックベクトルmvLと予測ブロックベクトル候補リストmvpListLの中に格納された各予測ブロックベクトルの候補mvpListL[i]との差分であるそれぞれの差分ブロックベクトルを算出する。それら差分ブロックベクトルを符号化したときの符号量を予測ブロックベクトル候補リストmvpListLの要素ごとに算出する。そして、予測ブロックベクトル候補リストmvpListLに登録された各要素の中で、予測ブロックベクトルの候補毎の符号量が最小となる予測ブロックベクトルの候補mvpListL[i]を予測ブロックベクトルmvpLとして選択し、そのインデックスiを取得する。予測ブロックベクトル候補リストmvpListLの中で最小の発生符号量となる予測ブロックベクトルの候補が複数存在する場合には、予測ブロックベクトル候補リストmvpListLの中のインデックスiが小さい番号で表される予測ブロックベクトルの候補mvpListL[i]を最適予測ブロックベクトルmvpLとして選択し、そのインデックスiを取得する。
続いて、ブロックベクトル減算部378で、ブロックベクトルmvLから選択された予測ブロックベクトルmvpLを減算し、
mvdL = mvL - mvpL
として差分ブロックベクトルmvdLを算出する(図45のステップS4503)。
<イントラブロックコピー(予測):復号側の説明>
次に、図46 を参照して復号側の予測ブロックベクトルモード処理手順を説明する。復号側では、IBC空間予測ブロックベクトル候補導出部471、IBC履歴ブロックベクトル候補導出部472、IBC予測ブロックベクトル補充部473で、予測ブロックベクトルモードで用いるブロックベクトルを算出する(図46のステップS4600〜S4602)。具体的には予測ブロックベクトル候補リストmvpListLを算出して、予測ブロックベクトルmvpLを選択し、ブロックベクトルmvLを算出する。
予測ブロックベクトルの候補を算出して予測ブロックベクトル候補リストmvpListLを構築する(図46のステップS4601)。イントラブロックコピー予測部362の中のIBC空間ブロックベクトル候補導出部471、IBC履歴ブロックベクトル候補導出部472、IBCブロックベクトル補充部473で複数の予測ブロックベクトルの候補を算出し、予測ブロックベクトル候補リストmvpListLを構築する。図46のステップS4601の詳細な処理手順については説明を省略する。
続いて、IBC予測ブロックベクトル候補選択部476で予測ブロックベクトル候補リストmvpListLからビット列復号部201にて復号されて供給される予測ブロックベクトルのインデックスmvpIdxLに対応する予測ブロックベクトルの候補mvpListL[mvpIdxL]を選択された予測ブロックベクトルmvpLとして取り出す(図46のステップS4601)。
続いて、ブロックベクトル加算部478でビット列復号部201にて復号されて供給される差分ブロックベクトルmvdLと予測ブロックベクトルmvpLを加算し、
mvL = mvpL + mvdL
としてブロックベクトルmvLを算出する(図46のステップS4602)。
<予測ブロックベクトルモード:ブロックベクトルの予測方法>
図48は本発明の実施の形態に係る動画像符号化装置のイントラブロックコピー予測部352及び動画像復号装置のイントラブロックコピー予測部362とで共通する機能を有する予測イントラブロックコピーモード導出処理の処理手順を表すフローチャートである。
イントラブロックコピー予測部352及びイントラブロックコピー予測部362では、予測ブロックベクトル候補リストmvpListLを備えている。予測ブロックベクトル候補リストmvpListLはリスト構造を成し、予測ブロックベクトル候補リスト内部の所在を示す予測ブロックベクトルインデックスと、インデックスに対応する予測ブロックベクトル候補を要素として格納する記憶領域が設けられている。予測ブロックベクトルインデックスの数字は0から開始され、予測ブロックベクトル候補リストmvpListLの記憶領域に、予測ブロックベクトル候補が格納される。本実施の形態においては、予測ブロックベクトル候補リストmvpListLは3個の予測ブロックベクトル候補を登録することができるものとする。さらに、予測ブロックベクトル候補リストmvpListLに登録されている予測ブロックベクトル候補数を示す変数numCurrMvpIbcCandに0を設定する。
IBC空間ブロックベクトル候補導出部371及び471は、左側に隣接するブロックからの予測ブロックベクトルの候補を導出する(図48のステップS4801)。この処理では、左側に隣接するブロック(A0またはA1)の予測ブロックベクトル候補が利用できるか否かを示すフラグavailableFlagLA、及びブロックベクトルmvLAを導出し、mvLAを予測ブロックベクトル候補リストmvpListLに追加する。続いて、IBC空間ブロックベクトル候補導出部371及び471は、上側に隣接するブロック(B0,B1またはB2)からの予測ブロックベクトルの候補を導出する(図48のステップS4802)。この処理では、上側に隣接するブロックの予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLB、及びブロックベクトルmvLBを導出し、mvLAとmvLBが等しくなければ、mvLBを予測ブロックベクトル候補リストmvpListLに追加する。図48のステップS4801とS4802の処理は参照する隣接ブロックの位置と数が異なる点以外は共通であり、符号化ブロックの予測ブロックベクトル候補が利用できるか否かを示すフラグavailableFlagLN、及び動きベクトルmvLN(NはAまたはB、以下同様)を導出する。
続いて、IBC履歴ブロックベクトル候補導出部372及び472は履歴ブロックベクトル候補リストHmvpIbcCandListに登録されている履歴ブロックベクトル候補を予測ブロックベクトル候補リストmvpListLに追加する。(図48のステップS4803)。このステップS4803の登録処理手順の詳細については図29のフローチャートで示された動作の説明において、動きベクトルをブロックベクトル、参照インデックスのリストをL0、履歴予測動きベクトル候補リストHmvpCandListを履歴ブロックベクトル候補リストHmvpIbcCandListとした場合の動作と同様であれば良いため、説明を省略する。
続いてIBC予測ブロックベクトル補充部373及び473は予測ブロックベクトル候補リストmvpListLを満たすまで(0,0)等、所定の値のブロックベクトルを追加する(図48のS4804)。
<マージイントラブロックコピーモード導出部>
図43のイントラブロックコピー予測部352は、IBC空間ブロックベクトル候補導出部371、IBC履歴ブロックベクトル候補導出部372、IBCブロックベクトル補充部373、参照位置補正部380、IBCマージ候補選択部374、IBC予測モード判定部377を含む。
図44のイントラブロックコピー予測部362は、IBC空間ブロックベクトル候補導出部471、IBC履歴ブロックベクトル候補導出部472、IBCブロックベクトル補充部473、IBCマージ候補選択部474、参照位置補正部480、ブロックコピー部477を含む。
図47は本発明の実施の形態に係る動画像符号化装置のイントラブロックコピー予測部352及び動画像復号装置のイントラブロックコピー予測部362とで共通する機能を有するマージイントラブロックコピーモード導出処理の手順を説明するフローチャートである。
イントラブロックコピー予測部352及びイントラブロックコピー予測部362では、マージイントラブロックコピー候補リストmergeIbcCandListを備えている。マージイントラブロックコピー候補リストmergeIbcCandListはリスト構造を成し、マージイントラブロックコピー候補内部の所在を示すマージインデックスと、インデックスに対応するマージイントラブロックコピー候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は0から開始され、マージイントラブロックコピー候補リストmergeIbcCandListの記憶領域に、マージイントラブロックコピー候補が格納される。以降の処理では、マージイントラブロックコピー候補リストmergeIbcCandListに登録されたマージインデックスiのマージ候補は、mergeIbcCandList [i]で表すこととする。本実施の形態においては、マージ候補リストmergeCandListは少なくとも3個のマージイントラブロックコピー候補を登録することができるものとする。さらに、マージイントラブロックコピー候補リストmergeIbcCandListに登録されているマージイントラブロックコピー候補数を示す変数numCurrMergeIbcCandに0を設定する。
IBC空間ブロックベクトル候補導出部371及びIBC空間ブロックベクトル候補導出部471では、動画像符号化装置の符号化情報格納メモリ111または動画像復号装置の符号化情報格納メモリ205に格納されている符号化情報から、処理対象ブロックの左側と上側に隣接するブロックからの空間マージ候補A,Bを導出して、導出された空間マージ候補をマージイントラブロックコピー候補リストmergeIbcCandListに登録する(図47のステップS4701)。ここで、空間マージ候補A,Bのいずれかを示すNを定義する。ブロックNのイントラブロックコピー予測情報が空間ブロックベクトルマージ候補Nとして利用できるか否かを示すフラグavailableFlagN、ブロックベクトルmvLを導出する。ただし、本実施の形態においては処理対象となる符号化ブロックを含むブロックに含まれる他の符号化ブロックを参照せずに、ブロックベクトルマージ候補を導出するので、処理対象の符号化ブロックを含むブロックに含まれる空間ブロックベクトルマージ候補は導出しない。
続いて、IBC履歴ブロックベクトル候補導出部372及びIBC履歴ブロックベクトル候補導出部472では、履歴予測ブロックベクトル候補リストHmvpIbcCandListに登録されている履歴予測ブロックベクトル候補をマージイントラブロックコピー候補リストmergeIbcCandListに追加する(図47のステップS4702)。本実施例においては、mergeIbcCandListに追加済みのブロックベクトルと履歴予測ブロックベクトル候補のブロックベクトルが同一の値を持つ場合には、mergeIbcCandListへの追加を行わないものとする。
続いて、IBC予測ブロックベクトル補充部373及びIBC予測ブロックベクトル補充部473は、マージイントラブロックコピー候補リストmergeIbcCandList内に登録されているマージ候補数numCurrMergeIbcCandが、最大イントラブロックマージ候補数MaxNumMergeIbcCandより小さい場合、マージイントラブロックコピー候補リストmergeIbcCandList内に登録されているマージ候補数numCurrMergeIbcCandが最大マージ候補数MaxNumMergeIbcCandを上限として追加イントラブロックマージ候補を導出して、マージイントラブロックコピー候補リストmergeIbcCandListに登録する(図47のステップS4703)。最大マージ候補数MaxNumMergeIbcCandを上限として、(0,0)の値を持つブロックベクトルをマージイントラブロックコピー候補リストmergeIbcCandListに追加する。
続いて、IBCマージ候補選択部374及びIBCマージ候補選択部474では、マージイントラブロックコピー候補リストmergeIbcCandList内に登録されているイントラブロックマージ候補から1つを選択する(図47のステップS4704)。IBCマージ候補選択部374では、参照位置の復号画像を復号画像メモリ104から取得して符号量とひずみ量を算出することによりマージ候補を選択し、選択されたイントラブロックマージ候補を示すマージインデックスをIBC予測モード判定部377に供給する。IBC予測モード判定部377は、符号量とひずみ量を算出することによりマージモードか否かを選択し、その結果を予測方法決定部105に供給する。一方、復号側のIBCマージ候補選択部474では、復号されたマージインデックスに基づいて、イントラブロックマージ候補を選択し、選択したイントラブロックマージ候補を参照位置補正部480に供給する。
続いて、参照位置補正部380及び参照位置補正部480では、イントラブロックマージ候補に対し参照位置を補正する処理を行う(図47のステップS4705)。参照位置補正部380及び参照位置補正部480の処理の詳細は後述する。
ブロックコピー部477は、参照位置の復号画像を復号画像メモリ208から取得し、復号画像信号重畳部207に供給する。ここで、ブロックコピー部477では、輝度成分と色差成分がコピーされる。
上記のブロックベクトルmvLは輝度のブロックベクトルを示す。色差のブロックベクトルmvCは、色差フォーマットが420の場合、
mvC = ( ( mvL >> ( 3 + 2 ) ) * 32
となる。上式により、mvCのx,y成分それぞれが処理される。
<参照位置補正部>
図49は、参照位置補正部380及び参照位置補正部480の処理を説明する図である。いま、イントラブロックコピー基準ブロックの単位は符号化ツリーブロック(CTU)であり、その大きさは128x128画素でないものとする。
まず、参照ブロックの左上および右下の位置を算出する(S6001)。参照ブロックとは、処理対象符号化ブロックがブロックベクトルを用いて参照するブロックを示す。参照ブロックの左上を( xRefTL, yRefTL )、右下を( xRefBR, yRefBR )とすると、
( xRefTL, yRefTL ) = ( xCb + ( mvL[ 0 ] >> 4 ), yCb + ( mvL[ 1 ] >> 4 ) )
( xRefBR, yRefBR ) = ( xRefTL + cbWidth - 1, yRefTL + cbHeight - 1 )
となる。ここで、処理対象符号化ブロックの位置を(xCb,yCb)、ブロックベクトルを(mvL[0],mvL[1])とし、処理対象符号化ブロックの幅はcbWidth、高さはcbHeightとする。
次に、CTUの大きさが128x128画素か否かを判定する(S6002)。いま、その大きさは128x128画素でないので(S6002:NO)、参照可能領域の左上および右下の位置を算出する(S6003)。参照可能領域の左上を( xAvlTL, yAvlTL )、右下を( xAvlBR, yAvlBR )とすると、
NL = Min( 1, 7 - CtbLog2SizeY ) - ( 1 << ((7 - CtbLog2SizeY) << 1) )
( xAvlTL, yAvlTL ) = ( ((xCb >> CtbLog2SizeY) + NL) << CtbLog2SizeY,
(yCb >> CtbLog2SizeY) << CtbLog2SizeY )
( xAvlBR, yAvlBR ) = ( ((xCb >> CtbLog2SizeY) << CtbLog2SizeY) - 1,
(((yCb >> CtbLog2SizeY) + 1) << CtbLog2SizeY) - 1 )
となる。ここで、CTUのサイズはCtbLog2SizeYとする。
次に、参照ブロックのx方向の参照位置が、参照可能領域の左上より小さいか否かを判定する(S6004)。判定が偽ならば(S6004:NO)、次の処理(S6006)に進む。一方、判定が真ならば(S6004:YES)、参照可能領域の左上に合わせてx方向の参照位置を補正する(S6005)。
図50は、参照位置を補正する様子を示す図である。6001は処理対象符号化ツリーブロックを、6002は処理対象符号化ブロックを、6003は参照可能領域を示す。いま、参照ブロックr2が6011に位置していたとすると、x方向の参照位置が、参照可能領域の左上より小さい(S6004:YES)。よって、xRefTL=xAvlTLとして6012の位置に参照位置を補正する(S6005)。ここで、S6001にあるようにxRefBR=xRefTL+cbWidth-1であるから、xRefTLを補正したことに伴ってxRefBRも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[0]を補正しても良い。つまり、
mvL[0] = (xAvlTL - xCb) << 4
と補正する。これにより、xRefTL=xAvlTLとなるので、参照位置を補正できる。
このように、参照ブロックが参照可能領域の外部に位置していた場合に、その参照位置を補正することによって、参照可能となる。
いま、イントラブロックコピー予測部352において構築したブロックベクトル候補リストのうち、いくつかのブロックベクトルが参照可能領域の外側であったとする。参照位置を補正しない場合には、それらのブロックベクトルによる参照が不可能なので、それらのブロックベクトルをIBCマージモードの候補とすることが出来ない。一方、本発明において参照位置を補正する場合には、構築したブロックベクトル候補リストの全てのブロックベクトルは、参照可能領域の内側となる。よって、全てのブロックベクトルによる参照が可能であり、全てのブロックベクトルをIBCマージモードの候補とすることが出来る。従って、IBCマージモード選択部374において、全てのブロックベクトルに対応するそれぞれのIBCマージモードの候補から最適な予測モードを選択できるので、符号化効率が向上する。
いま、イントラブロックコピー予測部362において構築したブロックベクトル候補リストのうち、いくつかのブロックベクトルが参照可能領域の外側であったとする。参照位置を補正しない場合には、それらのブロックベクトルによる参照が不可能なので、それらのブロックベクトルを用いたIBCマージモードは、復号することが出来ない。本発明ではない符号化装置では、それらのブロックベクトルを用いたIBCマージモードを示すマージインデックスは、符号化しないものとして動作する。しかし、動作不良などのため、そのようなマージインデックスが符号化されて、ビットストリームが生成される可能性がある。あるいはパケットロスなどによりビットストリームの一部が欠けるなどして、復号結果がそのようなマージインデックスとなる可能性がある。このような不完全なビットストリームを復号しようとすると、参照可能領域の外側を参照しようとして正しくない位置の復号画像メモリにアクセスする可能性がある。その結果、復号装置によって復号結果が異なったり、復号処理が停止したりする。一方、本発明において参照位置を補正する場合には、構築したブロックベクトル候補リストの全てのブロックベクトルは、参照可能領域の内側となる。従って、このような不完全なビットストリームを復号しても、参照可能領域の内側に参照位置が補正されて参照が可能となる。このように、参照位置を補正することにより、メモリアクセス範囲を保証する。その結果、復号装置によって復号結果が同じになり、復号処理を継続できるので、復号装置のロバスト性を向上させることができる。
また、参照位置の補正においてブロックベクトルを補正する場合、その対象は輝度のブロックベクトルである。ここで、色差のブロックベクトルは、輝度のブロックベクトルから算出される。つまり、輝度のブロックベクトルを補正すれば、色差のブロックベクトルも補正されることになる。よって、色差において、再び参照位置を補正する必要はない。ブロックベクトルを補正しない場合に輝度と色差の両方で参照可能か否かを判定する必要があるのに比べて、処理量を削減することができる。
加えて、参照位置の補正においてブロックベクトルを補正する場合、補正したブロックベクトルは、処理対象符号化ブロックのブロックベクトルとして、符号化情報格納メモリ111または符号化情報格納メモリ205に格納される。つまり、補正した参照位置とブロックベクトルが指す位置が同じである。ここで、復号結果を復号画像メモリに保存する際にデブロックフィルタ処理をすることがある。このフィルタ処理において、ブロック境界に面した2つのブロックが持つブロックベクトルの差分によって、フィルタの強度を制御する。ブロックベクトルを補正しない場合には補正した参照位置とブロックベクトルが指す位置が異なるのに比べて、より適切なフィルタの強度となるため、符号化効率を向上させることができる。
続いて、参照ブロックのy方向の参照位置が、参照可能領域の左上より小さいか否かを判定する(S6006)。判定が偽ならば(S6006:NO)、次の処理(S6008)に進む。一方、判定が真ならば(S6006:YES)、参照可能領域の左上に合わせてy方向の参照位置を補正する(S6007)。
いま、参照ブロックr4が6021に位置していたとすると、y方向の参照位置が、参照可能領域の左上より小さい(S6006:YES)。よって、yRefTL=yAvlTLとして6022の位置に参照位置を補正する(S6007)。ここで、S6001にあるようにyRefBR=yRefTL+cbHeight-1であるから、yRefTLを補正したことに伴ってyRefBRも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[1]を補正しても良い。つまり、
mvL[1] = (yAvlTL - yCb) << 4
と補正する。これにより、yRefTL=yAvlTLとなるので、参照位置を補正できる。
続いて、参照ブロックのx方向の参照位置が、参照可能領域の右下より大きいか否かを判定する(S6008)。判定が偽ならば(S6008:NO)、次の処理(S6010)に進む。一方、判定が真ならば(S6008:YES)、参照可能領域の右下に合わせてx方向の参照位置を補正する(S6009)。
いま、参照ブロックr7が6031に位置していたとすると、x方向の参照位置が、参照可能領域の右下より大きい(S6008:YES)。よって、xRefBR=xAvlBRとして6032の位置に参照位置を補正する(S6009)。ここで、S6001にあるようにxRefBR=xRefTL+cbWidth-1、つまりxRefTL=xRefBR-(cbWidth-1)であるから、xRefBRを補正したことに伴ってxRefTLも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[0]を補正しても良い。つまり、
mvL[0] = (xAvlBR - (xCb + cbWidth - 1)) << 4
と補正する。これにより、xRefBR=xAvlBRとなるので、参照位置を補正できる。
続いて、参照ブロックのy方向の参照位置が、参照可能領域の右下より大きいか否かを判定する(S6010)。判定が偽ならば(S6010:NO)、処理を終了する。一方、判定が真ならば(S6010:YES)、参照可能領域の右下に合わせてy方向の参照位置を補正する(S6011)。
いま、参照ブロックr5が6041に位置していたとすると、y方向の参照位置が、参照可能領域の右下より大きい(S6010:YES)。よって、yRefBR=yAvlBRとして6042の位置に参照位置を補正する(S6011)。ここで、S6001にあるようにyRefBR=yRefTL+cbHeight-1、つまりyRefTL=yRefBR-(cbHeight-1)であるから、yRefBRを補正したことに伴ってyRefTLも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[1]を補正しても良い。つまり、
mvL[1] = (yAvlBR - (yCb + cbHeitght - 1)) << 4
と補正する。これにより、yRefBR=yAvlBRとなるので、参照位置を補正できる。
ここで、参照ブロックr1が6051に位置している場合について説明する。この場合は、参照ブロックがr2の場合と同様に、x方向の参照位置を補正する。さらに、参照ブロックがr4の場合と同様に、y方向の参照位置を補正する。その結果、参照ブロックr1は、参照可能領域の内部である6052に位置する。
参照ブロックr3が6061に位置している場合、参照ブロックr6が6062に位置している場合、参照ブロックr8が6063に位置している場合は、上記と同様にx,y各方向の参照位置を補正する。その結果、それぞれの参照ブロックは、参照可能領域の内部に位置する。
以上により、CTUの大きさが128x128画素でない場合の処理は終了する。一方、CTUの大きさが128x128画素の場合(S6002:YES)、参照可能領域を矩形状とした場合の左上および右下の位置を算出する(S6012)。
図51は、参照可能領域を矩形状とした場合の左上および右下の位置を説明する図である。図51(a)の場合、処理対象の符号化ツリーブロック6101は4分割されており、その分割の左上に処理対象の符号化ブロック6102が位置している。このとき、参照可能領域は6103内の斜線部のように逆L字形となる。参照可能領域を矩形状とした場合、その範囲は6103の矩形状の範囲とする。参照可能領域を矩形状とした場合、参照ブロックの左上を( xRefTL, yRefTL )、右下を( xRefBR, yRefBR )とすると、
offset[4] = {0, 64, 128, 128}
NL = -offset[3 - blk_idx], NR = offset[blk_idx]
( xAvlTL, yAvlTL ) = ( (xCb >> CtbLog2SizeY) << CtbLog2SizeY + NL,
(yCb >> CtbLog2SizeY) << CtbLog2SizeY )
( xAvlBR, yAvlBR ) = ( ((xCb >> CtbLog2SizeY) << CtbLog2SizeY) - 1 + NR,
(((yCb >> CtbLog2SizeY) + 1) << CtbLog2SizeY) - 1 )
となる。ここで、blk_idxは、処理対象の符号化ブロックの位置を示すインデックスである。処理対象の符号化ツリーブロックを4分割したうち、処理対象の符号化ブロックが左上に位置している場合は、blk_idx=0とする。同様に、処理対象の符号化ブロックがそれぞれ右上、左下、右下に位置している場合は、blk_idxは1,2,3とする。図51(a)はblk_idx=0の場合を示す図である。同様に、図51(b)から図51(d)は、それぞれblk_idx=1から3の場合を示す図である。
次に、参照可能領域が矩形でない部分の参照位置を補正する(S6013)。図52は、参照可能領域が矩形でない部分の参照位置を補正する処理を説明する図である。まず、参照可能領域の左上の位置を算出する(S6021)。参照可能領域は図51の斜線部なので、blk_idx=3の場合を除いて、左上の位置は6111と6112の2点ある。それぞれ(X1, Y1),(X2, Y2)とすると、
offset[4] = {64, 128, 64, 0}, NL = offset[blk_idx]
(X1, Y1) = (xAvlTL, yAvlTL + 64)
(X2, Y2) = (xAvlTL + NL, yAvlTL)
となる。
次に、参照可能領域の左上に合わせて参照位置を補正するか否かを判定する(S6022)。この判定では、blk_idx=3でなく、かつ参照ブロックがX2とY1より小さい領域に位置している場合に真と判定する(S6022:YES)。偽の場合(S6022:NO)、次の処理(S6026)に進む。
次に、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さいか否かを判定する(S6023)。判定が真の場合(S6023:YES)、x方向の参照位置を補正する(S6024)。一方、判定が偽の場合(S6023:NO)、y方向の参照位置を補正する(S6025)。
図53(a)は、S6024とS6025において、参照位置を補正する様子を示す図である。いま、blk_idx=0である。参照ブロックr1が6201に位置していたとすると、blk_idx=3でなく、かつ参照ブロックの左上がX2(6112のx方向)とY1(6111のy方向)より小さい領域に位置している(S6022:YES)。また、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さい(S6023:YES)。よって、xRefTL=xAvlTL+NLとして6202の位置にx方向の参照位置を補正する(S6024)。ここで、S6001にあるようにxRefBR=xRefTL+cbWidth-1であるから、xRefTLを補正したことに伴ってxRefBRも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[0]を補正しても良い。つまり、
mvL[0] = (xAvlTL + NL - xCb) << 4
と補正する。これにより、xRefTL=xAvlTL+NLとなるので、参照位置を補正できる。
一方、参照ブロックr2が6203に位置していたとすると、blk_idx=3でなく、かつ参照ブロックの左上がX2(6112のx方向)とY1(6111のy方向)より小さい領域に位置している(S6022:YES)。また、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さくない(S6023:NO)。よって、yRefTL=yAvlTL+64として6204の位置にy方向の参照位置を補正する(S6025)。ここで、S6001にあるようにyRefBR=yRefTL+cbHeight-1であるから、yRefTLを補正したことに伴ってyRefBRも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[0]を補正しても良い。つまり、
mvL[1] = (yAvlTL + 64 - yCb) << 4
と補正する。これにより、yRefTL=yAvlTL+64となるので、参照位置を補正できる。
ここで、参照ブロックr3が6205に位置していたとする。この場合、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さい(S6023:YES)。よって、参照ブロックr1と同様にx方向の参照位置を補正することで、6206に位置する(S6024)。この時点において、参照ブロックは参照可能領域の外側である。しかし、後述のS6006とS6007の処理により、y方向の参照位置を補正する。結局、参照ブロックは、参照可能領域の内側となる。
続いて、参照可能領域の右下の位置を算出する(S6026)。参照可能領域は図51の斜線部なので、blk_idx=0の場合を除いて、右下の位置は6113と6114の2点ある。それぞれ(X3, Y3),(X4, Y4)とすると、
offset[4] = {0, 64, 128, 64}, NR = offset[blk_idx]
(X3, Y3) = (xAvlBR, yAvlBR - 64)
(X4, Y4) = (xAvlBR - NR, yAvlBR)
となる。
次に、参照可能領域の右下に合わせて参照位置を補正するか否かを判定する(S6027)。この判定では、blk_idx=0でなく、かつ参照ブロックがX4とY3より大きい領域に位置している場合に真と判定する(S6027:YES)。偽の場合(S6027:NO)、処理を終了する。
次に、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さいか否かを判定する(S6028)。判定が真の場合(S6028:YES)、x方向の参照位置を補正する(S6029)。一方、判定が偽の場合(S6028:NO)、y方向の参照位置を補正する(S6030)。
図53(b)は、S6029とS6030において、参照位置を補正する様子を示す図である。いま、blk_idx=3である。参照ブロックr1が6211に位置していたとすると、blk_idx=0でなく、かつ参照ブロックの右下がX4(6114のx方向)とY3(6113のy方向)より大きい領域に位置している(S6027:YES)。また、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さい(S6028:YES)。よって、xRefBR=xAvlBRとして6212の位置にx方向の参照位置を補正する(S6029)。ここで、S6001にあるようにxRefBR=xRefTL+cbWidth-1、つまりxRefTL=xRefBR-(cbWidth-1)であるから、xRefBRを補正したことに伴ってxRefTLも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[0]を補正しても良い。つまり、
mvL[0] = (xAvlBR - NR - (xCb + cbWitdh - 1)) << 4
と補正する。これにより、xRefBR=xAvlBRとなるので、参照位置を補正できる。
一方、参照ブロックr2が6213に位置していたとすると、blk_idx=0でなく、かつ参照ブロックの右下がX4(6114のx方向)とY3(6113のy方向)より大きい領域に位置している(S6027:YES)。また、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さくない(S6028:NO)。よって、yRefBR=yAvlBRとして6214の位置にy方向の参照位置を補正する(S6030)。ここで、S6001にあるようにyRefBR=yRefTL+cbHeight-1、つまりyRefTL=yRefBR-(cbHeight-1)であるから、yRefBRを補正したことに伴ってyRefTLも補正されることになる。この参照位置の補正において、ブロックベクトルmvL[1]を補正しても良い。つまり、
mvL[1] = (yAvlBR - 64 - (yCb + cbHeight - 1)) << 4
と補正する。これにより、yRefBR=yAvlBRとなるので、参照位置を補正できる。
ここで、参照ブロックr3が6215に位置していたとする。この場合、参照ブロックと参照可能領域のx方向との差分が、参照ブロックと参照可能領域のy方向との差分より小さくない(S6028:NO)。よって、参照ブロックr2と同様にy方向の参照位置を補正することで、6216に位置する(S6030)。この時点において、参照ブロックは参照可能領域の外側である。しかし、後述のS6008とS6009の処理により、x方向の参照位置を補正する。結局、参照ブロックは、参照可能領域の内側となる。
図53では、blk_idx=0と3の場合を例に参照位置を補正する処理を説明した。blk_idx=1や2の場合、blk_idx=0と3の場合と同様に参照位置を補正する処理をする。
参照可能領域が矩形でない部分の参照位置を補正する処理(S6013)の後、S6004からS6011の処理をする。以上により、CTUの大きさが128x128画素の場合の処理は終了する。
いま、参照可能領域が矩形でない部分の参照位置を補正する処理(S6013)において、参照可能領域の左上に合わせてx方向の参照位置を補正する処理(S6024)をしたとする。すると、参照ブロックのx方向の参照位置が、参照可能領域の左上より小さくなることはないので、S6004の判定は常に偽(S6004:NO)となる。従って、S6024の処理をした場合は、S6004とS6005の処理をしないようにしても良い。同様に、S6025の処理をした場合はS6006とS6007の処理をしないようにしても良いし、S6029の処理をした場合はS6008とS6009の処理をしないようにしても良いし、S6030の処理をした場合はS6010とS6011の処理をしないようにしても良い。
また、図52のフローチャートにおいて、ステップS6023の比較処理を省略し、常にステップS6024を実行するような構成を取っても良いし、常にステップS6025を実行するような構成を取っても良い。同様に、ステップS6028の比較処理を省略し、常にステップS6029を実行するような構成を取っても良いし、常にステップS6030を実行するような構成を取っても良い。そのような構成においては、簡便な処理で参照位置を補正することが可能となる。
図49では、CTUの大きさが128x128画素の場合において、S6012、S6013およびS6004からS6011の処理を用いて参照位置を補正している。これに代わり、図54のように、参照可能領域を2つに分解し、それぞれの参照位置を補正する処理(S6101)によっても実現出来る。
図55は、参照可能領域を2つに分解する様子を説明する図である。図51において参照可能領域を矩形状としているのとは異なり、図55では参照可能領域を2つに分解している。処理対象の符号化ツリーブロック(6101)を4分割したうち、処理対象の符号化ブロック(6102)が左上に位置している場合は、blk_idx=0とする。同様に、処理対象の符号化ブロックがそれぞれ右上、左下、右下に位置している場合は、blk_idxは1,2,3とする。図55(a)はblk_idx=0の場合を示す図である。同様に、図55(b)から図55(d)は、それぞれblk_idx=1から3の場合を示す図である。また、一方の参照可能領域(6301)を参照可能領域Aとし、他方の参照可能領域(6302)を参照可能領域Bとする。
図56は、参照可能領域を2つに分解し、それぞれの参照位置を補正する処理(S6101)を説明する図である。図56において、図49と同じ処理には同じステップ番号を付し、説明を省略する。まず、参照可能領域Aの左上および右下の位置を算出する(S6111)。参照可能領域Aの左上を( xAvlTL, yAvlTL )、右下を( xAvlBR, yAvlBR )とすると、
xOffsetTL[4] = {-128, -128, -64, 0}, yOffsetTL[4] = {64, 64, 64, 0}
xOffsetBR[4] = {0, 0, 0, 128}, yOffsetBR[4] = {128, 128, 128, 64}
( xAvlTL, yAvlTL ) = ( (xCb >> CtbLog2SizeY) << CtbLog2SizeY
+ xOffsetTL[blk_idx],
(yCb >> CtbLog2SizeY) << CtbLog2SizeY + yOffsetTL[blk_idx])
( xAvlBR, yAvlBR ) = ( ((xCb >> CtbLog2SizeY) << CtbLog2SizeY) - 1
+ xOffsetBR[blk_idx],
(((yCb >> CtbLog2SizeY) + 1) << CtbLog2SizeY) - 1 + yOffsetBR[blk_idx] )となる。
次に、参照ブロックが参照可能領域Aの外部か否かについて、
out_xRefTL = xRefTL < xAvlTL
out_yRefTL = yRefTL < yAvlTL
out_xRefBR = xRefBR > xAvlBR
out_yRefBR = yRefBR > yAvlBR
として算出する(S6112)。
次に、参照可能領域Bの左上および右下の位置を算出する(S6113)。参照可能領域Bの左上を( xAvlTL, yAvlTL )、右下を( xAvlBR, yAvlBR )とすると、
xOffsetTL[4] = {-64, 0, 0, 0}, yOffsetTL[4] = {0, 0, 0, 0}
xOffsetBR[4] = {0, 64, 128, 64}, yOffsetBR[4] = {128, 64, 64, 128}
( xAvlTL, yAvlTL ) = ( (xCb >> CtbLog2SizeY) << CtbLog2SizeY
+ xOffsetTL[blk_idx],
(yCb >> CtbLog2SizeY) << CtbLog2SizeY + yOffsetTL[blk_idx])
( xAvlBR, yAvlBR ) = ( ((xCb >> CtbLog2SizeY) << CtbLog2SizeY) - 1
+ xOffsetBR[blk_idx],
(((yCb >> CtbLog2SizeY) + 1) << CtbLog2SizeY) - 1 + yOffsetBR[blk_idx] )
となる。
次に、参照ブロックのx方向の参照位置が参照可能領域Aの左上より小さく、かつ参照ブロックのx方向の参照位置が参照可能領域Bの左上より小さいか否かを判定する(S6114)。判定が偽ならば(S6114:NO)、次の処理(S6116)に進む。一方、判定が真ならば(S6114:YES)、参照可能領域Bの左上に合わせてx方向の参照位置を補正する(S6005)。S6005の処理はすでに説明しているため、説明を省略する。
続いて、参照ブロックのy方向の参照位置が参照可能領域Aの左上より小さく、かつ参照ブロックのy方向の参照位置が参照可能領域Bの左上より小さいか否かを判定する(S6116)。判定が偽ならば(S6116:NO)、次の処理(S6118)に進む。一方、判定が真ならば(S6116:YES)、参照可能領域Bの左上に合わせてy方向の参照位置を補正する(S6007)。S6007の処理はすでに説明しているため、説明を省略する。
次に、参照ブロックのx方向の参照位置が参照可能領域Aの右下より大きく、かつ参照ブロックのx方向の参照位置が参照可能領域Bの右下より大きいか否かを判定する(S6118)。判定が偽ならば(S6118:NO)、次の処理(S6120)に進む。一方、判定が真ならば(S6118:YES)、参照可能領域Bの右下に合わせてx方向の参照位置を補正する(S6009)。S6009の処理はすでに説明しているため、説明を省略する。
次に、参照ブロックのy方向の参照位置が参照可能領域Aの右下より大きく、かつ参照ブロックのy方向の参照位置が参照可能領域Bの右下より大きいか否かを判定する(S6120)。判定が偽ならば(S6120:NO)、処理を終了する。一方、判定が真ならば(S6120:YES)、参照可能領域Bの右下に合わせてy方向の参照位置を補正する(S6011)。S6011の処理はすでに説明しているため、説明を省略する。
以上により、CTUの大きさが128x128画素の場合において、参照ブロックが参照可能領域の外部に位置していたとしても、参照位置を補正して参照可能となる。また、参照可能領域を2つに分解してそれぞれの参照位置を補正することで、処理を簡易化して演算量を削減することが出来る。ここでは、一方の参照可能領域(6301)を参照可能領域Aとし、他方の参照可能領域(6302)を参照可能領域Bとしている。代わりに、参照可能領域Aと参照可能領域Bを入れ替えて、一方の参照可能領域(6301)を参照可能領域Bとし、他方の参照可能領域(6302)を参照可能領域Aとして処理しても良い。
本実施例では、CTUの大きさが128x128画素か否かを判定し(S6002)、処理を切り替えている。これは、イントラブロックコピー基準ブロックが、符号化ツリーブロックを4分割した単位か否か判定するようにしても良いし、CTUの大きさが符号化ブロックの最大サイズより大きいか否かを判定するようにしても良い。
以上に述べた全ての実施の形態において、画像符号化装置が出力する符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有している。符号化ビットストリームは、HDD、SSD、フラッシュメモリ、光ディスク等のコンピュータ等で読み解き可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良い。従って、この画像符号化装置に対応する画像復号装置は、提供手段によらず、この特定のデータフォーマットの符号化ビットストリームを復号することができる。
画像符号化装置と画像復号装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、通信路の伝送形態に適したデータ形式に符号化ビットストリームを変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号装置に供給する受信装置とが設けられる。 送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信する送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
画像符号化装置と画像復号装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、送信装置、受信装置に加え、さらに、送信装置が送信する符号化データを受信し、受信装置に供給する中継装置が設けられても良い。中継装置は、送信装置が送信するパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、パケットされた符号化データとネットワークに送信する送信部とを含む。さらに、中継装置は、パケット化された符号化データをパケット処理して符号化ビットストリームを生成する受信パケット処理部と、符号化ビットストリームを蓄積する記録媒体と、符号化ビットストリームをパケット化する送信パケット処理部を含んでも良い。
また、画像復号装置で復号された画像を表示する表示部を構成に追加することで、表示装置としても良い。その場合、表示部は、復号画像信号重畳部207により生成され、復号画像メモリ208に格納された復号画像信号を読み出して画面に表示する。
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。その場合、撮像部は、撮像した画像信号をブロック分割部101に入力する。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ROM(リード・オンリー・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。