JP2020088805A - 画像復号化装置、画像復号化方法及び画像復号化プログラム - Google Patents

Abstract

【課題】画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供する。【解決手段】画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置１００を提供する。ブロック分割部１０１は、所定サイズの矩形に再帰的に画像を分割して符号化対象ブロックを生成する。符号化部１０５は、符号化対象のブロック分割情報を符号化する。ブロック分割部１０１は、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。４分割部は、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。【選択図】図１

Description

本発明は、画像をブロックに分割し、分割されたブロック単位で符号化及び復号化を行う技術に関する。

画像の符号化及び復号化では、所定数の画素の集合であるブロックに画像を分割し、ブロック単位で処理をする。その際、適切なブロック単位で分割することにより、イントラ予測、インター予測、直交変換、エントロピー符号化、等の効率が向上し、結果として符号化効率が向上する。

特表２０１５−５２６００８号公報

JVET, Versatile Video Coding(Draft 2), July 2018

適切な大きさ及び形状でブロックを分割しなければ、符号化効率が低下する。特に、画面端において、ピクチャ境界を超える位置の画素を含むブロックが不適切な大きさ及び形状となり、符号化効率が低下していた。

本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供することにある。

上記課題を解決するための、本発明のある態様は、画像符号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割部（１０１）と、符号化対象のブロック分割情報を符号化する符号化部（１０５）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。前記４分割部は、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。

本発明のさらに別の態様は、画像符号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化方法であって、所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割ステップと、符号化対象のブロック分割情報を符号化する符号化ステップとを有する。前記ブロック分割ステップは、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含む。前記４分割ステップは、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。

本発明のさらに別の態様は、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、復号化対象のブロック分割情報を復号化する復号化部（２０１）と、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割部（２０２）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。前記４分割部は、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。

本発明のさらに別の態様は、画像復号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、復号化対象のブロック分割情報を復号化する復号化ステップと、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割ステップとを有する。前記ブロック分割ステップは、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含む。前記４分割ステップは、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像符号化及び復号化に適したブロック分割が可能になり、符号化効率を向上させることができる。

第１の実施の形態に係る画像符号化装置のブロック図である。 第１の実施の形態に係る画像復号化装置のブロック図である。 ツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。 入力された画像をツリーブロックに分割する様子を示す図である。 ｚ−スキャンを説明する図である。 ツリーブロックの分割を説明する図である。 ツリーブロックを４分割した場合の、分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックを２分割または３分割した場合の、分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックとピクチャ境界の関係を示す図である。 ピクチャ境界と画素の関係を示す図である。 第１の実施の形態におけるブロック分割を説明するフローチャートである。 第１の実施の形態におけるブロック分割を示す図である。 第１の実施の形態において、ブロック分割に関するシンタックスを示す図である。 イントラ予測を説明する図である。 インター予測を説明する図である。 第２の実施の形態におけるブロック分割を説明するフローチャートである。 第２の実施の形態におけるブロック分割を示す図である。 第３の実施の形態におけるブロック分割を説明するフローチャートである。 第３の実施の形態におけるブロック分割を示す図である。

本発明の実施の形態は、画像を矩形のブロックに分割し、分割されたブロックを符号化、復号化する画像符号化技術を提供する。

（第１の実施の形態）
本発明の第１の実施の形態に係る画像符号化装置１００及び画像復号化装置２００について説明する。第１の実施の形態では、ブロックを４分割する際に、ブロック分割を制限する。

図１は、第１の実施の形態に係る画像符号化装置１００のブロック図である。図１は、画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなどの画像信号以外の付加情報に関するデータの流れは図示していない。画像符号化装置１００には、少なくとも画面１枚分の画像信号が入力される。

ブロック分割部１０１は、符号化の処理単位となる符号化対象ブロックに画像を分割し、符号化対象ブロック内の画像信号を残差信号生成部１０３に供給する。また、ブロック分割部１０１は、予測画像の一致度を評価するために、符号化対象ブロックの画像信号を予測画像生成部１０２に供給する。

ブロック分割部１０１は、所定サイズの矩形に再帰的に画像を分割して、符号化対象ブロックを生成する。ブロック分割部１０１は、再帰的分割における対象ブロックを４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。ブロック分割部１０１の詳細の動作については後述する。

予測画像生成部１０２は、ブロック分割部１０１から符号化対象ブロックの画像信号と、復号画像メモリ１０８から復号画像信号とが供給される。予測画像生成部１０２は供給される信号を用いて、予測モードに基づくイントラ予測（画面内予測）やインター予測（画面間予測）を行い、予測画像信号を生成する。イントラ予測では、符号化対象ブロックと同じピクチャ（符号化ピクチャ）における、符号化対象ブロックに近接する符号化済みブロックの画像信号が、復号画像メモリ１０８から予測画像生成部１０２に供給される。そして、予測画像生成部１０２は、この画像信号とブロック分割部１０１から供給される符号化対象ブロックの画像信号とを用いて、予測画像信号を生成する。インター予測では、符号化ピクチャに対して時系列で前または後ろにある符号化済みピクチャ（参照画像）の画像信号が、復号画像メモリ１０８から予測画像生成部１０２に供給される。そして、予測画像生成部１０２は、この画像信号とブロック分割部１０１から供給される符号化対象ブロックとを用いて、ブロックマッチング等により一致度を評価して、動き量を示す動きベクトルを求める。予測画像生成部１０２は、この動きベクトルを基に参照画像から動き補償をして、予測画像信号を生成する。予測画像生成部１０２は、こうして生成された予測画像信号を残差信号生成部１０３に供給する。

残差信号生成部１０３は、符号化する画像信号と予測画像生成部１０２にて生成された予測信号とを減算して残差信号を生成し、直交変換・量子化部１０４に供給する。

直交変換・量子化部１０４は、残差信号生成部１０３から供給される残差信号を直交変換・量子化する。直交変換・量子化部１０４は、直交変換・量子化された残差信号を符号化部１０５及び逆量子化・逆直交変換部１０６に供給する。

符号化部１０５は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号に対応する符号化ビットストリームを生成する。また、符号化部１０５は、各構成要素から供給された動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する符号化ビットストリームを生成する。そして、符号化部１０５は、符号化ビットストリームを画像符号化装置１００から出力する。

逆量子化・逆直交変換部１０６は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号を逆量子化・逆直交変換して、残差信号を得る。逆量子化・逆直交変換部１０６は、残差信号を復号画像信号重畳部１０７に供給する。

復号画像信号重畳部１０７は、予測画像生成部１０２により生成された予測画像信号と逆量子化・逆直交変換部１０６で得られた残差信号とを重畳して復号画像を生成し、復号画像メモリ１０８に格納する。なお、復号画像信号重畳部１０７は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１０８に格納してもよい。

図２は、実施の形態１に係る画像復号化装置２００のブロック図である。図２は、画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなどの画像信号以外の付加情報に関するデータの流れは図示していない。画像復号化装置２００には、符号化ビットストリームが入力される。

復号化部２０１は、供給された符号化ビットストリームを復号化して、直交変換・量子化された残差信号をブロック分割部２０２に供給する。また、復号化部２０１は、動きベクトルや予測モード、ブロック分割情報などの付加情報を各構成要素に供給して、付加情報と対応する処理に用いる。

ブロック分割部２０２は、復号化したブロック分割情報に基づいて復号化対象ブロックの形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆量子化・逆直交変換部２０３に供給する。

ブロック分割部２０２は、復号化されたブロック分割の情報に基づいて、所定サイズの矩形に再帰的に画像を分割して、復号化対象ブロックを生成する。ブロック分割部２０２は、再帰的分割における対象ブロックを４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。ブロック分割部２０２の詳細の動作については後述する。

逆量子化・逆直交変換部２０３は、供給される直交変換・量子化された残差信号を逆量子化・逆直交変換して、残差信号を得る。それを復号画像信号重畳部２０５に供給する。

予測画像生成部２０４は、復号画像メモリ２０６から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０５に供給する。

復号画像信号重畳部２０５は、予測画像生成部２０４で生成された予測画像信号と、逆量子化・逆直交変換部２０３で得られた残差信号とを重畳して復号画像信号を生成する。また、復号画像信号重畳部２０５は、復号画像信号を復号画像メモリ２０６に格納する。なお、復号画像信号重畳部２０５は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２０６に格納してもよい。そして、復号画像信号重畳部２０５は、復号画像を画像復号化装置２００から出力する。

次に、画像符号化装置１００におけるブロック分割部１０１の動作について、図３を用いて説明する。図３は、ブロック分割部１０１が画像をツリーブロックへ分割し、その内部をブロック分割する動作を示す。

まず、入力された画像を、所定サイズのツリーブロックに分割する（Ｓ１０００）。ここで、ツリーブロックは１２８ｘ１２８画素とする。ただし、ツリーブロックはこの大きさに限定されず、矩形であればどのような大きさや縦横比を用いてもよい。また、符号化装置と復号化装置の間で、ツリーブロックの大きさを予め定めておいてもよい。さらに、符号化装置がツリーブロックの大きさを決定して符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録されたツリーブロックの大きさを用いる構成にしてもよい。入力された画像をツリーブロックに分割する様子を図４に示す。ツリーブロックは、ラスタスキャン順、すなわち左から右、上から下に符号化される。

ツリーブロックの内部をさらに矩形のブロックに分割する。ツリーブロック内部は、図５に示すｚ−スキャン順に符号化する。ｚ−スキャン順とは、左上、右上、左下、右下、の順序を示す。ツリーブロック内部の分割は、４分割、２分割または３分割が可能である。

ブロックの４分割は、図６（ａ）のように水平方向と垂直方向とを各々半分にして４分割し、４つのブロックを生成することによりなされる。

ブロックの２分割または３分割は、水平方向または垂直方向に分割することによりなされる。水平方向にブロックを２分割する場合、図６（ｂ）のように半分に分割し、２つのブロックを生成する。また、水平方向にブロックを３分割する場合、図６（ｃ）のように１：２：１に分割し、３つのブロックを生成する。一方、垂直方向にブロックを２分割する場合、図６（ｄ）のように半分に分割し、２つのブロックを生成する。また、垂直方向にブロックを３分割する場合、図６（ｅ）のように１：２：１に分割し、３つのブロックを生成する。

再び図３を参照し、ブロック分割部１０１の動作について説明する。まず、ツリーブロック内部を水平方向と垂直方向とを各々半分に４分割するか否かを判断する（Ｓ１００１）。

ブロックを４分割するか否かの判断を含め、複数の条件から最適な場合を判断するには、Ｒ−Ｄ最適化（Rate-Distortion Optimization）と呼ばれる既存の方法がある。Ｒ−Ｄ最適化では、符号量と符号化歪から、符号化コストが算出される。そして、複数の条件で符号化した場合について、それぞれ符号化コストを算出し、符号化コストが最小となる場合を選択する。つまり、ブロックを４分割するか否かの判断は、ブロックを４分割する場合の符号化コストと、ブロックを４分割しない場合の符号化コストを算出し、符号化コストが最小となる場合を選択することによりなされる。複数の条件から最適な場合を判断するには、Ｒ−Ｄ最適化以外の方法を用いても良い。
ツリーブロック内部を４分割すると判断した場合（Ｓ１００１：Ｙｅｓ）、ツリーブロック内部を４分割する（Ｓ１００２）。４分割されたブロックの再分割処理については後述する（図７）。

ツリーブロック内部を４分割しないと判断した場合（Ｓ１００１：Ｎｏ）、ツリーブロック内部を２分割または３分割するか否かを判断する（Ｓ１００３）。

ツリーブロック内部を２分割または３分割すると判断した場合（Ｓ１００３：Ｙｅｓ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１００４）。

分割する方向を垂直方向と判断した場合（Ｓ１００４：Ｙｅｓ）、ツリーブロック内部を２分割するか否かを判断する（Ｓ１００５）。

ツリーブロック内部を２分割すると判断した場合（Ｓ１００５：Ｙｅｓ）、ツリーブロック内部を垂直方向に２分割する（Ｓ１００６）。一方、ツリーブロック内部を３分割すると判断した場合（Ｓ１００５：Ｎｏ）、ツリーブロック内部を垂直方向に３分割する（Ｓ１００７）。垂直方向に２分割または３分割されたブロックの再分割処理については後述する（図８）。

分割する方向を水平方向と判断した場合（Ｓ１００４：Ｎｏ）、ツリーブロック内部を２分割するか否かを判断する（Ｓ１００８）。

ツリーブロック内部を２分割すると判断した場合（Ｓ１００８：Ｙｅｓ）、ツリーブロック内部を水平方向に２分割する（Ｓ１００９）。一方、ツリーブロック内部を３分割すると判断した場合（Ｓ１００８：Ｎｏ）、ツリーブロック内部を水平方向に３分割する（Ｓ１０１０）。水平方向に２分割または３分割されたブロックの再分割処理については後述する（図８）。

ツリーブロック内部を２分割または３分割しないと判断した場合（Ｓ１００３：Ｎｏ）、ツリーブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１０１１）。

続いて、ツリーブロックを水平方向と垂直方向とを各々半分に４分割した場合の分割された各ブロックの処理について、図７のフローチャートを用いて説明する。

まず、ブロック内部を再び水平方向と垂直方向とを各々半分に４分割するか否かを判断する（Ｓ１１０１）。

ブロック内部を再び４分割すると判断した場合（Ｓ１１０１：Ｙｅｓ）、ブロック内部を再び４分割する（Ｓ１１０２）。

ブロック内部を再び４分割しないと判断した場合（Ｓ１１０１：Ｎｏ）、ブロック内部を２分割または３分割するか否かを判断する（Ｓ１１０３）。

ブロック内部を２分割または３分割すると判断した場合（Ｓ１１０３：Ｙｅｓ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１１０４）。

分割する方向を垂直方向と判断した場合（Ｓ１１０４：Ｙｅｓ）、ブロック内部を２分割するか否かを判断する（Ｓ１１０５）。

ブロック内部を２分割すると判断した場合（Ｓ１１０５：Ｙｅｓ）、ブロック内部を垂直方向に２分割する（Ｓ１１０６）。一方、ブロック内部を３分割すると判断した場合（Ｓ１１０５：Ｎｏ）、ブロック内部を垂直方向に３分割する（Ｓ１１０７）。

分割する方向を水平方向と判断した場合（Ｓ１１０４：Ｎｏ）、ブロック内部を２分割するか否かを判断する（Ｓ１１０８）。

ブロック内部を２分割すると判断した場合（Ｓ１１０８：Ｙｅｓ）、ブロック内部を水平方向に２分割する（Ｓ１１０９）。一方、ブロック内部を３分割すると判断した場合（Ｓ１１０８：Ｎｏ）、ブロック内部を水平方向に３分割する（Ｓ１１１０）。

ブロック内部を２分割または３分割しないと判断した場合（Ｓ１１０３：Ｎｏ）、ブロックの内部を再分割せずにブロック分割処理を終了する（Ｓ１１１１）。

４分割された各ブロックについて、図７のフローチャートに示す処理が再帰的に実行される。４分割されたブロックの内部は、ｚ−スキャン順に符号化する。

続いて、ツリーブロックを垂直方向に２分割または３分割した場合の分割された各ブロックの処理について図８のフローチャートを用いて説明する。

ツリーブロックを垂直方向に２分割または３分割した場合、分割された各ブロックについて、ブロック内部を再び２分割または３分割するか否かを判断する（Ｓ１２０１）。

ブロック内部を２分割または３分割すると判断した場合（Ｓ１２０１：Ｙｅｓ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１２０２）。

分割する方向を垂直方向と判断した場合（Ｓ１２０２：Ｙｅｓ）、ブロック内部を２分割するか否かを判断する（Ｓ１２０３）。

ブロック内部を２分割すると判断した場合（Ｓ１２０３：Ｙｅｓ）、ブロック内部を垂直方向に２分割する（Ｓ１２０４）。一方、ブロック内部を３分割すると判断した場合（Ｓ１２０３：Ｎｏ）、ブロック内部を垂直方向に３分割する（Ｓ１２０５）。

分割する方向を水平方向と判断した場合（Ｓ１２０２：Ｎｏ）、ブロック内部を２分割するか否かを判断する（Ｓ１２０６）。

ブロック内部を２分割すると判断した場合（Ｓ１２０６：Ｙｅｓ）、ブロック内部を水平方向に２分割する（Ｓ１２０７）。一方、ブロック内部を３分割すると判断した場合（Ｓ１２０６：Ｎｏ）、ブロック内部を水平方向に３分割する（Ｓ１２０８）。

ブロック内部を再び２分割または３分割しないと判断した場合（Ｓ１２０１：Ｎｏ）、ブロックの内部を再分割せずにブロック分割処理を終了する（Ｓ１２０９）。

垂直方向に２分割または３分割した場合の分割された各ブロックについて、図８のフローチャートに示す処理が再帰的に実行される。２分割または３分割されたブロックの内部は、左から右の順に符号化する。

同様に、水平方向に２分割または３分割した場合の分割された各ブロックについて、図８のフローチャートに示す処理が再帰的に実行される。２分割または３分割されたブロックの内部は、上から下の順に符号化する。

なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明したが、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック（１２８ｘ１２８画素）を４分割し、４分割されたブロック（６４ｘ６４画素）をさらに分割した場合に、再分割されたブロックの分割にも上記処理を適用する。

再帰的なブロック分割は、分割する回数を定めて、分割する回数を制限しても良い。また、符号化装置と復号化装置の間で、分割する回数を予め定めておいても良い。さらに、符号化装置が分割する回数を決定して符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録された分割する回数を用いる構成にしても良い。

次に、画面端におけるブロック分割について説明する。図９は、画像をツリーブロックに分割したときのピクチャ境界との関係を示す。この図に示すように、画像の大きさはツリーブロックの大きさの整数倍とは限らないので、画面端におけるツリーブロックは、ピクチャ境界を隔てて画面内と画面外の部分を含むことがある。この場合は図１０に示すように、画面外の部分は、画面内の最も外側の画素値と同じとして扱う。

そして、ブロックを４分割する際に、ブロック分割を制限する。これにより、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。

ブロック分割の制限は、画面端においてブロックを４分割する際に適用される。つまり、図３における４分割の処理（Ｓ１００２）や、図７における４分割の処理（Ｓ１１０２）が、以下に説明する処理に置き換わる。

ブロック分割の制限について、図１１を用いて説明する。まず、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割されるか否かを判定する（Ｓ１３０１）。

画素が分割されない場合（Ｓ１３０１：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１３０２）。

画素が分割される場合（Ｓ１３０１：Ｙｅｓ）、画素を分割する方向が垂直か否かを判定する（Ｓ１３０３）。

垂直方向の場合（Ｓ１３０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１３０４）。一方、水平方向の場合（Ｓ１３０３：Ｎｏ）、水平方向の分割は制限し、ブロックを垂直方向に２分割する（Ｓ１３０５）。

つまり、水平方向または垂直方向のどちらか一方のブロック分割によってピクチャ境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。

ここで、具体例を説明する。図１２（ａ）は、画面の下端におけるツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを４分割する際には、ピクチャ境界を超えた位置の画素が分割される。ただし、その方向は、水平方向と垂直方向の両方である。よって、ブロック分割を制限する条件に当てはまらない（Ｓ１３０１：Ｎｏ）ので、ブロックを４分割する（Ｓ１３０２）。

続いて、４分割された各ブロックの左上のブロックをさらに４分割する際の様子を図１２（ｂ）に示す。このとき、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する条件に当てはまる（Ｓ１３０１：Ｙｅｓ）。そして、画素を分割する方向は垂直であるから（Ｓ１３０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１３０４）。このときのブロック分割の様子を図１２（ｃ）に示す。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。

このブロック分割の制限は、画面の右端でも同様である。図１２（ｄ）のように、ツリーブロックを４分割した後、さらに左上のブロックを４分割する場合を考える。このとき、水平方向にブロックを分割すると、ピクチャ境界を超えた位置の画素を分割することになる。よって、水平方向の分割は制限し、ブロックを垂直方向に２分割する。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。

次に、画像復号化装置２００のブロック分割部２０２の動作について説明する。ブロック分割部２０２は、前述の画像符号化装置１００におけるブロック分割部１０１と同じ処理手順でブロックを分割する。ブロック分割部１０１では、ブロック分割のパターンを選択し、選択したブロック分割情報を出力する。一方、ブロック分割部２０２は、符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割する。ブロック分割の制限は、前述の画像符号化装置１００と同様である。

第１の実施の形態のブロック分割に関するシンタックス（符号化ビットストリームの構文規則）を図１３に示す。図１３において、QT()はブロックの４分割処理にかかるシンタックスを表し、MTT()はブロックの２分割または３分割処理にかかるシンタックスを表す。画像符号化装置１００はこのシンタックスに従って符号化し、画像復号化装置２００はこのシンタックスに従って復号化する。

まず、ブロックを４分割するか否かはQTflagで表される。４分割する場合はQTflag=1、４分割しない場合はQTflag=0とする。４分割においてブロック分割を制限した場合は、QTflag=1とする。４分割する場合(QTflag=1)、４分割した各ブロックについてさらに４分割可能であれば(QTvalid=1)、再帰的に４分割処理をする。４分割しない場合(QTflag=0)、２分割または３分割するか否かはMTTflagで表される。２分割または３分割する場合(MTTflag=1)、垂直方向に分割するか否かはvertical_flagで表され、２分割するか否かはBTflagで表される。垂直方向に分割する場合はvertical_flag=1、水平方向に分割する場合はvertical_flag=0とする。また、２分割する場合はBTflag=1、３分割する場合はBTflag=0とする。２分割または３分割した各ブロックについてさらに２分割または３分割可能であれば(MTTvalid=1)、再帰的に２分割または３分割処理をする。

ここで、４分割した各ブロックが、さらに４分割可能か否かを示す変数QTvalidについて説明する。QTvalidは、４分割した各ブロックごとに定義される。４分割するブロックに画面内の画素が含まれない場合は、QTvalid=0となる。また、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割される場合は、QTvalid=0となる。上記以外の場合は、QTvalid=1となる。

また、２分割または３分割した各ブロックが、さらに２分割または３分割可能か否かを示す変数MTTvalidについて説明する。MTTvalidは、２分割または３分割した各ブロックごとに定義される。２分割または３分割するブロックに画面内の画素が含まれない場合は、MTTvalid=0となる。上記以外の場合は、MTTvalid=1となる。

こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。

画像符号化装置１００及び画像復号化装置２００において、分割されたブロックを用いてイントラ予測やインター予測が行われる。イントラ予測、インター予測ともにメモリからの画素のコピーを伴う。

図１４にイントラ予測の一例を示す。図１４（ａ）と図１４（ｂ）は、イントラ予測の予測方向とモード番号を示す。イントラ予測は、図１４（ｃ）や図１４（ｄ）に示すように、符号化・復号化対象ブロックの左や上などの近接する符号化・復号化済の画素から画素をコピーすることで、符号化・復号化対象ブロックの予測画像を生成する。このイントラ予測では、予測画像の生成から符号化・復号化の画素生成という一連の処理をブロック単位で順次繰り返す。そのため、ブロックを小さく分割するほど上記の処理を繰り返す回数が増加して、必要となるメモリ帯域が増加する。よって、ブロックを小さく分割しすぎないことによって、イントラ予測で必要となるメモリ帯域の増加を防止することができる。

また、ブロックを小さく分割するほどイントラ予測の単位が小さくなり、画面内の細かい画素の変化を符号化できる。しかし、画面外の画素を含むブロックにおいて、画面外の部分の画素値は一定である。そのため、そのブロックの画面内の部分の画素値の変化は、画面外の画素を含まないブロックに対して相対的に小さい。よって、細かい画素の変化を符号化する必要性は少なく、むしろブロックを小さく分割しすぎないことによって符号量を小さくし、符号化効率を向上させることができる。

図１５にインター予測の一例を示す。インター予測は、参照画像からブロック単位で画素をコピーすることで、符号化・復号化対象ブロックの予測画像を生成する。参照画像から画素をコピーする処理において、参照画像が格納されているメモリから、予測に必要な画素を取得する。その際、メモリはその管理単位に沿ってアクセスするように装置を構成することが多い。そして、ブロックを小さく分割するほど前記のコピー処理の回数が増加して、必要となるメモリ帯域が増加する。また、参照画像に対して補間フィルタを用いた小数精度の動き補償を行う場合には、ブロック内に含まれる画素に数画素を加えた画素のコピーが必要となる。そのため、ブロックが小さいほど追加する画素の相対的な比率が大きくなり、必要となるメモリ帯域が増加する。よって、ブロックを小さく分割しすぎないことによって、インター予測で必要となるメモリ帯域の増加を防止することができる。

また、ブロックを小さく分割するほどインター予測の単位が小さくなり、画面間の細かい画素の変化を符号化できる。しかし、画面外の画素を含むブロックにおいて、画面外の部分の動きは無い。そのため、そのブロックの画面内の部分の画素値の変化は、画面外の画素を含まないブロックに対して相対的に小さい。よって、細かい画素の変化を符号化する必要性は少なく、むしろブロックを小さく分割しすぎないことによって符号量を小さくし、符号化効率を向上させることができる。

（第２の実施の形態）
本発明の第２の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第２の実施の形態では、ブロックを４分割する際に、ブロック分割の一部を制限する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。

ブロック分割の制限は、画面端においてブロックを４分割する際に適用される。つまり、図３における４分割の処理（Ｓ１００２）や、図７における４分割の処理（Ｓ１１０２）が、以下に説明する処理に置き換わる。

ブロック分割の制限について、図１６を用いて説明する。まず、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割されるか否かを判定する（Ｓ１４０１）。

画素が分割されない場合（Ｓ１４０１：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１４０２）。

画素が分割される場合（Ｓ１４０１：Ｙｅｓ）、画素を分割する方向が垂直か否かを判定する（Ｓ１４０３）。

垂直方向の場合（Ｓ１４０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１４０４）。さらに、水平方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを垂直方向に２分割する（Ｓ１４０５）。

一方、水平方向の場合（Ｓ１４０３：Ｎｏ）、水平方向の分割は制限し、ブロックを垂直方向に２分割する（Ｓ１４０６）。さらに、垂直方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを水平方向に２分割する（Ｓ１４０７）。

つまり、水平方向または垂直方向のどちらか一方のブロック分割によってピクチャ境界を超えた位置の画素が分割される場合、その画素を分割する位置のブロック分割を制限する。

ここで、具体例を説明する。図１２（ａ）は、画面の下端におけるツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを４分割する際には、ピクチャ境界を超えた位置の画素が分割される。ただし、その方向は、水平方向と垂直方向の両方である。よって、ブロック分割を制限する条件に当てはまらないので（Ｓ１４０１：Ｎｏ）、ブロックを４分割する（Ｓ１４０２）。

続いて、４分割された各ブロックの左上のブロックを４分割する際の様子を、図１２（ｂ）に示す。このとき、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する条件に当てはまる（Ｓ１４０１：Ｙｅｓ）。そして、画素を分割する方向は垂直であるから（Ｓ１４０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１４０４）。さらに、水平方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを垂直方向に２分割する（Ｓ１４０５）。このときのブロック分割の様子を図１７（ａ）に示す。こうしたブロック制限により、分割されたブロックが小さくなりすぎることを防止する。

このブロック分割の制限は、画面の右端でも同様である。図１７（ｂ）のように、ツリーブロックを４分割した後、さらに左上のブロックを４分割する場合を考える。このとき、水平方向にブロックを分割すると、ピクチャ境界を超えた位置の画素を分割することになる。よって、水平方向の分割は制限し、ブロックを垂直方向に２分割する。さらに、垂直方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを水平方向に２分割する。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。

第１の実施の形態では、ブロック分割の方向を制限する。一方、本実施の形態では、ブロック分割の方向の一部を制限する。これにより、画面外の画素を含まないブロックは分割し、画面外の画素を含むブロックは分割しないようにして、分割されたブロックが小さくなりすぎることを防止する。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。

（第３の実施の形態）
本発明の第３の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第３の実施の形態では、ブロック分割の深度が制限深度に達した場合に、ブロック分割を制限する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。

ここで、ブロック分割の深度について説明する。第１の実施の形態において、ブロックを４分割した後、４分割された各ブロックに対して再帰的に４分割する処理について説明した。この処理において、１回目の４分割処理を深度０と定義する。また、１回目の４分割処理によって分割された各ブロックに対する２回目の４分割処理を深度１と定義し、２回目の４分割処理によって分割された各ブロックに対する３回目の４分割処理を深度２と定義し、以下同様にして深度を定義する。また、ブロック分割を制限する深度を予め定めて、これを制限深度と定義する。

ブロック分割の制限は、画面端においてブロックを４分割する際に適用される。つまり、図３における４分割の処理（Ｓ１００２）や、図７における４分割の処理（Ｓ１１０２）が、以下に説明する処理に置き換わる。

ブロック分割の制限について、図１８を用いて説明する。まず、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割されるか否かを判定する（Ｓ１５０１）。

画素が分割されない場合（Ｓ１５０１：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１５０２）。

画素が分割される場合（Ｓ１５０１：Ｙｅｓ）、深度が制限深度に達しているか否かを判定する（Ｓ１５０３）。

制限深度に達していない場合（Ｓ１５０３：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１５０２）。制限深度に達した場合（Ｓ１５０３：Ｙｅｓ）、画素を分割する方向が垂直か否かを判定する（Ｓ１５０４）。

垂直方向の場合（Ｓ１５０４：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１５０５）。一方、水平方向の場合（Ｓ１５０４：Ｎｏ）、水平方向の分割は制限し、ブロックを垂直方向に２分割する（Ｓ１５０６）。

つまり、水平方向または垂直方向のどちらか一方のブロック分割によってピクチャ境界を超えた位置の画素が分割され、かつブロック分割の深度が制限深度に達した場合、その方向のブロック分割を制限する。

ここで、具体例を説明する。いま、制限深度は１とする。図１９（ａ）は、画面の下端におけるツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを４分割する際には、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する１つの条件に当てはまる（Ｓ１５０１：Ｙｅｓ）。ただし、深度は０であり、制限深度の１に達していない（Ｓ１５０３：Ｎｏ）。よって、ブロック分割は制限せず、ツリーブロックを４分割する（Ｓ１５０２）。

続いて、４分割された各ブロックの左下のブロックを４分割する際の様子を、図１９（ｂ）に示す。このとき、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する１つの条件に当てはまる（Ｓ１５０１：Ｙｅｓ）。そして、深度は1であり、制限深度の１に達している（Ｓ１５０３：Ｙｅｓ）。また、画素を分割する方向は垂直であるから（Ｓ１５０４：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１５０５）。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。

このブロック分割の制限は、画面の右端でも同様である。図１９（ｃ）のように、ツリーブロックを４分割するときは深度０であり制限深度１に達しないので、分割の制限なく４分割する。続いて、右上のブロックを４分割するときは深度１であり制限深度１に達したので、分割の制限がかかり、水平方向には分割しない。このブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。

本実施の形態では、ブロック分割の深度は４分割に対して定義している。これは、２分割または３分割に対して定義しても良い。また、本実施の形態では、ブロック分割の深度によって、ブロック分割を制限している。これは、ブロックが含むピクチャ境界を超えた位置の画素の数や割合によって制限しても良い。つまり、これらの値が予め定められた値より大きい場合に、そのブロック分割を制限するように構成する。加えて、これらの値は、ブロック分割の深度ごとに異なった値としても良い。これにより、画面外の画素の数や割合が少ないブロックは分割し、画面外の画素の数や割合が多いブロックは分割しないようにして、分割されたブロックが小さくなりすぎることを防止する。ブロック分割の制限深度や、ブロックが含むピクチャ境界を超えた位置の画素の数や割合など、ブロック分割の制限にかかる値は、符号化装置が符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録された値を用いる構成にしてもよい。

第１の実施の形態では、ブロック分割の深度によらずブロック分割を制限する。一方、本実施の形態では、ブロック分割の深度に応じてブロック分割を制限する。これにより、画面外の画素の割合が少ないブロックは分割し、画面外の画素の割合が多いブロックは分割しないようにして、分割されたブロックが小さくなりすぎることを防止する。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。

以上に述べた全ての実施の形態において、ブロック分割を制御する対象はピクチャ境界を超えた位置としている。これは、任意の境界を定めて、それを超えた位置についてブロック分割を制御するようにしても良い。また、任意の境界として、周辺の画素に比べて重要度が高い画素を定め、その境界を超えた位置についてブロック分割を制御する対象としても良い。さらに、任意の境界を超えた位置は画面の下端や右端とは限らず、画面の上端や左端となることもあるし、端でなくてもよい。その場合、画面端でなくてもブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。

以上に述べた全ての実施の形態は、複数を組み合わせても良い。

以上に述べた全ての実施の形態において、画像符号化装置が出力する符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号化することができるように特定のデータフォーマットを有している。また、この画像符号化装置に対応する画像復号化装置は、この特定のデータフォーマットの符号化ビットストリームを復号化することができる。

画像符号化装置と画像復号化装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、通信路の伝送形態に適したデータ形式に符号化ビットストリームを変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号化装置に供給する受信装置とが設けられる。

送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信する送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号化装置に提供するパケット処理部とを含む。

また、画像復号化装置で復号化された画像を表示する表示部を構成に追加することで、表示装置としても良い。その場合、表示部は、復号画像信号重畳部２０５により生成され、復号画像メモリ２０６に格納された復号画像信号を読み出して画面に表示する。

また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。その場合、撮像部は、撮像した画像信号をブロック分割部１０１に入力する。

以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ＲＯＭ（リード・オンリー・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 画像符号化装置、 １０１ ブロック分割部、 １０２ 予測画像生成部、 １０３ 残差信号生成部、 １０４ 直交変換・量子化部、 １０５ 符号化部、 １０６ 逆量子化・逆直交変換部、 １０７ 復号画像信号重畳部、 １０８ 復号画像メモリ、 ２００ 画像復号化装置、 ２０１ 復号化部、 ２０２ ブロック分割部、 ２０３ 逆量子化・逆直交変換部、 ２０４ 予測画像生成部、 ２０５ 復号画像信号重畳部、 ２０６ 復号画像メモリ。

Claims (5)

1. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
   復号化対象のブロック分割情報を復号化する復号化部と、
   前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割部とを備え、
   前記ブロック分割部は、
   再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、
   再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含み、
   前記４分割部は、
   水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する、
   ことを特徴とする画像復号化装置。
2. 前記４分割部は、
   水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その画素を分割する位置のブロック分割を制限する、
   請求項１に記載の画像復号化装置。
3. 前記４分割部は、
   水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、かつブロック分割の深度が予め定められた制限深度に達した場合、あるいは分割するブロックに含まれる任意の境界を超えた位置の画素の数または割合が予め定められた値より大きい場合、その方向のブロック分割を制限する、
   請求項１に記載の画像復号化装置。
4. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、
   復号化対象のブロック分割情報を復号化する復号化ステップと、
   前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割ステップとを有し、
   前記ブロック分割ステップは、
   再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、
   再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含み、
   前記４分割ステップは、
   水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限するか、
   その画素を分割する位置のブロック分割を制限するか、
   のいずれかのステップを少なくとも一つ含む、
   ことを特徴とする画像復号化方法。
5. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化プログラムであって、
   復号化対象のブロック分割情報を復号化する復号化ステップと、
   前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割ステップとを有し、
   前記ブロック分割ステップは、
   再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、
   再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含み、
   前記４分割ステップは、
   水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限するか、
   その画素を分割する位置のブロック分割を制限するか、
   のいずれかのステップを少なくとも一つ含む、
   ことを特徴とする画像復号化プログラム。