JP2012080369A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】既存の手法と比較してより少ない演算量でジオメトリ動き分割を利用すること。
【解決手段】一実施形態に係る画像処理装置は、画像内に設定されるブロックを傾きを有する境界を用いて複数の領域に区分して各領域の動きベクトルを決定する動きベクトル決定部と、上記ブロックの外周と上記境界との複数の交点を指定する境界情報を生成する境界情報生成部と、を備える。また、他の実施形態に係る画像処理装置は、画像の符号化の際に上記画像内のブロックを複数の領域に区分した境界を、上記ブロックの外周と上記境界との複数の交点を指定する境界情報に基づいて認識する境界認識部と、上記境界認識部により認識された上記境界により区分される領域ごとに、動きベクトルに基づいて画素値を予測する予測部と、を備える。
【選択図】図２

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ＩＴＵ−Ｔの策定したＨ．２６ｘ標準又はＭＰＥＧ（Moving Picture Experts Group）の策定したＭＰＥＧ−ｙ標準などの標準技術に準拠した画像符号化装置及び画像復号化装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。

ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されたＭＰＥＧ−ｙ標準の１つである。ＭＰＥＧ２は、飛び越し走査（インターレース）画像及び順次走査（ノン・インターレース）画像の双方を扱うことが可能であり、標準解像度のデジタル画像に加えて、高精細画像をも対象としている。ＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマ用途を含む広範なアプリケーションに広く用いられている。ＭＰＥＧ２によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像には４〜８Ｍｂｐｓの符号量（ビットレート）、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像には１８〜２２Ｍｂｐｓの符号量を割り当てることで、高い圧縮率及び良好な画質を共に実現することができる。

ＭＰＥＧ２は、主として、放送の用途に適合する高画質符号化を目的としており、ＭＰＥＧ１よりも低い符号量（ビットレート）、即ちより高い圧縮率には対応するものではなかった。しかし、近年の携帯端末の普及により、高い圧縮率を可能とする符号化方式のニーズは高まっている。そこで、新たにＭＰＥＧ４符号化方式の標準化が進められた。ＭＰＥＧ４符号化方式の一部である画像符号化方式に関しては、１９９８年１２月に、その規格が国際標準（ISO/IEC 14496-2）として承認された。

Ｈ．２６ｘ標準（ITU-T Q6/16 VCEG）は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。Ｈ．２６ｘ標準は、ＭＰＥＧ−ｙ標準と比較して、符号化及び復号化により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、ＭＰＥＧ４の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、２００３年３月に、Ｈ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding；ＡＶＣ）という名称で国際標準となった。

上述した画像符号化方式において重要な技術の１つは、動き補償である。一連の画像内で物体が大きく動いている場合、符号化対象画像と参照画像との差分も大きくなり、単純なフレーム間予測では高い圧縮率を得ることができない。しかし、物体の動きを認識し、動きが現れている領域の画素値をその動きに応じて補償することで、フレーム間予測による予測誤差が低減され、圧縮率が向上する。ＭＰＥＧ２において、動き補償は、フレーム動き補償モードの場合には１６×１６画素、フィールド動き補償モードの場合には第１フィールド及び第二フィールドのそれぞれに対して１６×８画素を処理単位として行われる。また、Ｈ．２６４／ＡＶＣにおいては、１６×１６画素のサイズを有するマクロブロックを１６×１６画素、１６×８画素、８×１６画素及び８×８画素のいずれかのサイズの領域（partition）に区分し、各領域に個別に動きベクトルを設定することができる。また、８×８画素の領域をさらに８×８画素、８×４画素、４×８画素及び４×４画素のいずれかのサイズの領域に区分し、各領域に動きベクトルを設定することもできる。

多くの場合、ある領域に設定される動きベクトルは、周囲のブロック又は領域に設定される動きベクトルと相関を有する。例えば、１つの動物体が一連の画像内で移動している場合、その動物体が映る範囲に属する複数の領域についての動きベクトルは、同じであるか、又は少なくとも類似するものとなる。また、ある領域に設定される動きベクトルは、時間方向の距離が近い参照画像内の対応する領域に設定される動きベクトルと相関を有する場合もある。そこで、ＭＰＥＧ４及びＨ．２６４／ＡＶＣなどの画像符号化方式は、このような動きの空間的相関又は時間的相関を利用して動きベクトルを予測し、予測された動きベクトルと実際の動きベクトルとの差分のみを符号化することにより、符号化される情報量の削減を図っている。また、下記非特許文献１は、動きの空間的相関及び時間的相関の双方を組み合わせて利用することを提案している。

動きベクトルの予測に際しては、符号化対象の領域と相関のある他のブロック又は領域を適切に選択することが求められる。その選択の基準となるのが、基準画素位置である。既存の画像符号化方式における動き補償の処理単位は、一般的に矩形の形状を有している。そのため、通常、矩形の左上若しくは右上又はその双方の画素位置が、動きベクトルの予測に際しての基準画素位置として選択され得る。

ところで、画像内に現れる動物体の輪郭線は、水平及び垂直以外の傾きを有する場合が多い。そこで、そのような動物体と背景との間の動きの差異をより的確に動き補償に反映するために、下記非特許文献２は、図３４に示したように、ブロックの中心点からの距離ρと傾き角θとにより定まる境界によって、ブロックを斜めに区分することを提案している。図３４の例では、ブロックＢＬが、距離ρと傾き角θとにより定まる境界ＢＤによって、第１の領域ＰＴ１及び第２の領域ＰＴ２に区分されている。このように、水平及び垂直以外の傾きを有する境界により動き補償のためのブロックを区分する手法を、「ジオメトリ動き分割（geometry motion partitioning）」という。また、ジオメトリ動き分割によって形成される各領域を、ジオメトリ領域（geometry partition）という。

Jungyoup Yang, Kwanghyun Won, Byeungwoo Jeon，"Motion Vector Coding with Optimal PMV Selection" (VCEG-AI22, 2008年7月) Qualcomm Inc.， "Video coding technology proposal by Qualcomm Inc."（JCTVC-A121, 2010年4月）

ジオメトリ動き分割においても、通常、動きベクトルの予測のための基準画素位置は、ジオメトリ領域に含まれるいずれかのコーナーの位置である。しかしながら、ブロックの中心点からの距離ρと傾き角θとを指定する手法では、基準画素位置の認識のために、距離ρ及び傾き角θから各ジオメトリ領域に含まれるコーナーを判定するための単純でない幾何学的演算が求められる。

また、上記非特許文献２によれば、距離ρは、画素単位で指定される。そのため、例えば１６×８画素などの長方形のブロックにジオメトリ動き分割を適用する場合には、傾き角θの値に依存してとり得る距離ρの値の範囲が変化する。図３５には、一例として、１６×８画素のブロックにおいて、傾き角θ＝３１５°であればρのとり得る値の範囲は１〜４であるのに対し、傾き角θ＝０°であればρのとり得る値の範囲は１〜７であることが示されている。即ち、長方形のブロックにジオメトリ動き分割を適用する場合には、動き探索において、傾き角θに応じて距離ρの探索範囲を動的に制御しなければならない。

既存の手法のこのような側面はいずれも、ジオメトリ動き分割を利用する際の、エンコーダ及びデコーダにおける演算量の無視できない増加をもたらす。そこで、本発明は、上述した欠点の少なくとも１つを改善し、既存の手法と比較してより少ない演算量でジオメトリ動き分割を利用することのできる画像処理装置及び画像処理方法を提供しようとするものである。

本発明のある実施形態によれば、画像内に設定されるブロックを傾きを有する境界を用いて複数の領域に区分して各領域の動きベクトルを決定する動きベクトル決定部と、上記ブロックの外周と上記境界との複数の交点を指定する境界情報を生成する境界情報生成部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。

また、上記境界情報は、上記ブロックの外周と上記境界との各交点を、上記外周上に設定される基準点からの上記外周を周回する経路に沿った道のりにより指定する情報であってもよい。

また、上記境界情報は、第１の基準点からの道のりにより第１の交点を指定する情報と第２の基準点からの道のりにより第２の交点を指定する情報とを含み、上記第１の基準点は、上記ブロックの予め選択されるコーナーであり、上記第２の基準点は、上記経路上で上記第１の交点の次に位置するコーナーであってもよい。

また、上記外周は、複数の経路に分割され、各交点を指定する情報は、各交点が属する経路を識別する情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含んでもよい。

また、上記動きベクトル決定部は、各交点についての上記道のりを１画素よりも大きい単位量で量子化してもよい。

また、上記動きベクトル決定部は、上記道のりの量子化のための上記単位量を、上記ブロックのサイズが大きいほど大きい値に設定してもよい。

また、上記外周は、上記ブロックの各辺に対応する４つの経路に分割されてもよい。

また、上記外周は、上記ブロックの上辺及び下辺の一方と上記ブロックの左辺及び右辺の一方とを含む２つの経路に分割されてもよい。

また、共通する経路に第１の交点と第２の交点とが属する場合には、上記境界情報は、上記共通する経路の起点である第１の基準点からの道のりにより上記第１の交点を指定する情報と、上記共通する経路上で上記第１の交点の次に位置するコーナーである第２の基準点からの道のりにより上記第２の交点を指定する情報とを含んでもよい。

また、上記画像処理装置は、上記画像を符号化して符号化ストリームを生成する符号化部、及び上記符号化部により生成された上記符号化ストリームと上記境界情報とを伝送する伝送手段、をさらに備えてもよい。

また、本発明の別の実施形態によれば、画像を処理するための画像処理方法において、画像内に設定されるブロックを傾きを有する境界を用いて複数の領域に区分して、区分された各領域の動きベクトルを決定するステップと、上記ブロックの外周と上記境界との複数の交点を指定する境界情報を生成するステップと、を含む画像処理方法が提供される。

また、本発明の別の実施形態によれば、画像の符号化の際に上記画像内のブロックを複数の領域に区分した境界を、上記ブロックの外周と上記境界との複数の交点を指定する境界情報に基づいて認識する境界認識部と、上記境界認識部により認識された上記境界により区分される領域ごとに、動きベクトルに基づいて画素値を予測する予測部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を復号化する画像復号化装置として実現され得る。

また、上記境界情報は、上記ブロックの外周と上記境界との各交点を、上記外周上に設定される基準点からの上記外周を周回する経路に沿った道のりにより指定する情報であってもよい。

また、上記境界情報は、第１の基準点からの道のりにより第１の交点を指定する情報と第２の基準点からの道のりにより第２の交点を指定する情報とを含み、上記第１の基準点は、上記ブロックの予め選択されるコーナーであり、上記第２の基準点は、上記経路上で上記第１の交点の次に位置するコーナーであってもよい。

また、上記外周は、複数の経路に分割され、各交点を指定する情報は、各交点が属する経路を示す情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含んでもよい。

また、上記境界認識部は、１画素よりも大きい単位量で量子化された各交点についての上記道のりを逆量子化してもよい。

また、上記境界認識部は、上記ブロックのサイズが大きいほど大きい単位量で上記道のりを逆量子化してもよい。

また、上記外周は、上記ブロックの各辺に対応する４つの経路に分割されてもよい。

また、上記外周は、上記ブロックの上辺及び下辺の一方と上記ブロックの左辺及び右辺の一方とを含む２つの経路に分割されてもよい。

また、共通する経路に第１の交点と第２の交点とが属する場合には、上記境界情報は、上記共通する経路の起点である第１の基準点からの道のりにより上記第１の交点を指定する情報と、上記共通する経路上で上記第１の交点の次に位置するコーナーである第２の基準点からの道のりにより上記第２の交点を指定する情報とを含んでもよい。

また、上記画像処理装置は、上記画像が符号化されている符号化ストリームと上記境界情報とを受け取る受け取り部、及び上記受け取り部により受け取られた上記符号化ストリームを復号化する復号化部、をさらに備えてもよい。

また、本発明の別の実施形態によれば、画像を処理するための画像処理方法において、画像の符号化の際に上記画像内のブロックを複数の領域に区分した境界を、上記ブロックの外周と上記境界との複数の交点を指定する境界情報に基づいて認識するステップと、認識された上記境界により区分される領域ごとに、動きベクトルに基づいて画素値を予測するステップと、を含む画像処理方法が提供される。

本発明に係る画像処理装置及び画像処理方法によれば、既存の手法と比較してより少ない演算量でジオメトリ動き分割を利用することができる。

一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 一実施形態に係る画像符号化装置の動き探索部の詳細な構成の一例を示すブロック図である。 ブロックの矩形領域への区分化について説明するための第１の説明図である。 ブロックの矩形領域への区分化について説明するための第２の説明図である。 ブロックの非矩形領域への区分化について説明するための説明図である。 矩形領域に設定され得る基準画素位置について説明するための説明図である。 矩形領域における空間的予測について説明するための説明図である。 矩形領域における時間的予測について説明するための説明図である。 マルチ参照フレームについて説明するための説明図である。 時間ダイレクトモードについて説明するための説明図である。 非矩形領域に設定され得る基準画素位置について説明するための説明図である。 非矩形領域における空間的予測について説明するための説明図である。 非矩形領域における時間的予測について説明するための説明図である。 ブロックの外周上に設定される経路について説明するための説明図である。 ブロックの外周を分割しない場合の境界情報の一例について説明するための説明図である。 ブロックの外周を２つの経路に分割する場合の境界情報の第１の例について説明するための説明図である。 ブロックの外周を２つの経路に分割する場合の境界情報の第２の例について説明するための説明図である。 ブロックの外周を４つの経路に分割する場合の境界情報の一例について説明するための説明図である。 境界情報の量子化の一例について説明するための説明図である。 一実施形態に係る動き探索処理の流れの一例を示すフローチャートである。 ブロックの外周を分割しない場合の境界情報生成処理の流れの一例を示すフローチャートである。 ブロックの外周を２つの経路に分割する場合の境界情報生成処理の流れの一例を示すフローチャートである。 ブロックの外周を４つの経路に分割する場合の境界情報生成処理の流れの一例を示すフローチャートである。 一実施形態に係る画像復号化装置の構成の一例を示すブロック図である。 一実施形態に係る画像復号化装置の動き補償部の詳細な構成の一例を示すブロック図である。 一実施形態に係る動き補償処理の流れの一例を示すフローチャートである。 ブロックの外周を分割しない場合の境界認識処理の流れの一例を示すフローチャートである。 ブロックの外周を２つの経路に分割する場合の境界認識処理の流れの一例を示すフローチャートである。 ブロックの外周を４つの経路に分割する場合の境界認識処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 距離ρと傾き角θとを指定する従来のジオメトリ動き分割の一例を示す説明図である。 従来のジオメトリ動き分割において傾き角θに応じて異なる距離ρの範囲について説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成例
１−２．動き探索部の構成例
１−３．動きベクトル予測処理の説明
１−４．境界情報の例
１−５．境界情報の量子化
２．一実施形態に係る符号化時の処理の流れ
２−１．動き探索処理
２−２．境界情報生成処理（外周の分割なし）
２−３．境界情報生成処理（外周２分割）
２−４．境界情報生成処理（外周４分割）
３．一実施形態に係る画像復号化装置の構成例
３−１．全体的な構成例
３−２．動き補償部の構成例
４．一実施形態に係る復号化時の処理の流れ
４−１．動き補償処理
４−２．境界認識処理（外周の分割なし）
４−３．境界認識処理（外周２分割）
４−４．境界認識処理（外周４分割）
５．応用例
６．まとめ

＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、本発明の一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。

Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。

並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。

減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。

可逆符号化部１６には、量子化部１５から入力される量子化データ、及び、後に説明するイントラ予測部３０又は動き探索部４０により生成されモード選択部５０により選択されるイントラ予測又はインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロックごとの最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、各ブロックを区分した境界を特定する境界情報、各領域について動きベクトルの予測のために使用された予測式を特定する予測式情報、差分動きベクトル情報、及び参照画像情報などを含み得る。

可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、上述したイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ（例えばブロックヘッダ又はスライスヘッダなど）内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号化画像データを生成する。そして、加算部２３は、生成した復号化画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。

デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号化画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号化画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力される復号化画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号化画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号化画像データをフレームメモリ２５から読み出し、読み出した復号化画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号化画像データをフレームメモリ２５から読み出し、読み出した復号化画像データを参照画像データとして動き探索部４０に供給する。

イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号化画像データに基づいて、Ｈ．２６４／ＡＶＣにより規定されている各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部３０は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのイントラ予測に関する情報を、モード選択部５０へ出力する。さらに、イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号化画像データに基づいて、Ｈ．２６４／ＡＶＣにより規定されている各イントラ予測モードよりもサイズの大きいブロックでイントラ予測処理を行ってもよい。その場合にも、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価し、最適なイントラ予測モードについてのイントラ予測に関する情報をモード選択部５０へ出力する。

動き探索部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号化画像データに基づいて、画像内に設定される各ブロックを対象として動き探索処理を行う。

より具体的には、動き探索部４０は、各ブロックを、複数の境界の候補によって複数の領域にそれぞれ区分する。ブロックを区分する境界の候補は、例えばＨ．２６４／ＡＶＣにおける水平方向又は垂直方向に沿った境界に加えて、ジオメトリ動き分割による傾きを有する境界を含む。そして、動き探索部４０は、参照画像の画素値と各領域内の原画像の画素値とに基づいて、各領域についての動きベクトルを算出する。

また、動き探索部４０は、各領域に設定される基準画素位置に対応するブロック又は領域について既に算出した動きベクトルに基づいて、符号化対象の領域内の画素値の予測に使用すべき動きベクトルを領域ごとに予測する。動きベクトルの予測は、複数の予測式の候補についてそれぞれ行われ得る。複数の予測式の候補は、例えば、空間的相関若しくは時間的相関又はその双方を利用する予測式を含み得る。従って、動き探索部４０は、境界の候補と予測式の候補との組合せごとに、各領域の動きベクトルを予測する。そして、動き探索部４０は、所定のコスト関数に従ったコスト関数値が最小となる（即ち、圧縮率が最も高くなる）境界と予測式との組合せを、最適な組合せとして選択する。

このような動き探索部４０による動き探索処理について、後にさらに説明する。動き探索部４０は、動き探索処理の結果として、最適な境界を特定する境界情報、最適な予測式を特定する予測式情報、差分動きベクトル情報、及びコスト関数値などのインター予測に関する情報と、予測画像データとを、モード選択部５０へ出力する。このうち、境界情報は、ブロックの中心点からの距離ρと傾き角θとを指定する情報ではなく、後に詳細に説明するように、ブロックの外周と境界との２つの交点とを指定する情報である。

モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合には、イントラ予測に関する情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。

［１−２．動き探索部の構成例］
図２は、図１に示した画像符号化装置１０の動き探索部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、動き探索部４０は、探索処理部４１、動きベクトル算出部４２、動きベクトルバッファ４３、境界情報バッファ４４、動きベクトル予測部４５、動きベクトル決定部４６、及び補償部４７を有する。

探索処理部４１は、画像内に設定されるブロックを複数の領域に区分する境界と動きベクトルの予測のための予測式との様々な組合せを対象とする探索の範囲を制御する。本実施形態において、動き探索部４０による探索の対象となる境界は、水平及び垂直の境界だけでなく、傾きを有する境界を含む。

探索処理部４１は、例えば、図３及び図４に示すように、画像内に設定されるブロックを傾きのない水平方向又は垂直方向に沿った境界の候補によって区分してもよい。この場合に形成される各領域は、矩形領域となる。図３の例では、１６×１６画素の最大マクロブロックは、水平の境界により１６×８画素の２つのブロックに区分され得る。また、１６×１６画素の最大マクロブロックは、垂直な境界により８×１６画素の２つのブロックに区分され得る。また、１６×１６画素の最大マクロブロックは、水平の境界及び垂直の境界により８×８画素の４つのブロックに区分され得る。さらに、８×８画素のマクロブロックは、８×４画素の２つのサブマクロブロック、４×８画素の２つのサブマクロブロック、又は４×４画素の４つのサブマクロブロックに区分され得る。また、探索処理部４１は、例えば、図４に示したように、Ｈ．２６４／ＡＶＣによりサポートされる１６×１６画素の最大マクロブロックよりも大きい、拡張されたサイズ（例えば６４×６４画素）を有するブロックを矩形領域に区分してもよい。

また、探索処理部４１は、例えば、図５に示したように、画像内に設定されるブロックを傾きを有する境界の候補によって区分する。この場合に形成される各領域は、非矩形領域となり得る。図５の例では、傾きを有する境界により区分される６通りのブロックＢＬ１１〜ＢＬ１６が示されている。ブロックＢＬ１１〜ＢＬ１６において形成されているジオメトリ領域の形状は、三角形、台形、又は五角形である。探索処理部４１は、このような境界の複数の候補を、例えば、ブロックの外周と境界との２つの交点の位置をそれぞれ離散的に変化させながら順次指定する。そして、探索処理部４１は、指定した境界により区分される各領域について動きベクトル算出部４２により動きベクトルを算出させる。また、探索処理部４１は、複数の予測式の候補を用いて動きベクトル予測部４５により動きベクトルを予測させる。

動きベクトル算出部４２は、探索処理部４１により指定される境界により区分される各領域について、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する。動きベクトル算出部４２は、例えば、隣り合う画素間の中間的な画素値を線型内挿処理により補間し、１／２画素精度で動きベクトルを算出してもよい。また、動きベクトル算出部４２は、例えば、６タップのＦＩＲフィルタを用いてさらに中間的な画素値を補間し、１／４画素精度で動きベクトルを算出してもよい。動きベクトル算出部４２は、算出した動きベクトルを、動きベクトル予測部４５へ出力する。

動きベクトルバッファ４３は、動きベクトル予測部４５による動きベクトル予測処理において参照される参照動きベクトルを、記憶媒体を用いて一時的に記憶する。動きベクトル予測処理において参照される動きベクトルとは、符号化済みの参照画像内のブロック又は領域に設定された動きベクトル、及び符号化対象の画像内の他のブロック又は領域に設定された動きベクトルを含み得る。

境界情報バッファ４４は、動きベクトル予測部４５による動きベクトル予測処理において参照される参照領域を特定するための境界情報を、記憶媒体を用いて一時的に記憶する。境界情報バッファ４４により記憶される境界情報は、符号化済みの参照画像内のブロックを区分した境界を特定する情報、及び符号化対象の画像内の他のブロックを区分した境界を特定する情報を含み得る。

動きベクトル予測部４５は、探索処理部４１により指定される境界により区分される領域の各々に基準画素位置を設定する。そして、動きベクトル予測部４５は、設定した基準画素位置に対応する参照ブロック又は参照領域に設定された動きベクトル（参照動きベクトル）に基づいて、各領域内の画素値の予測に使用すべき動きベクトルを予測する。

動きベクトル予測部４５は、ある１つの領域について、複数の予測式の候補を用いて、複数の動きベクトルを予測してもよい。例えば、第１の予測式は動きの空間的相関を利用する予測式であり、第２の予測式は動きの時間的相関を利用する予測式であってよい。また、第３の予測式として、動きの空間的相関と時間的相関の双方を利用する予測式が使用されてもよい。動きの空間的相関を利用する場合、動きベクトル予測部４５は、例えば、動きベクトルバッファ４３に記憶されている、基準画素位置に隣接する他のブロック又は領域に設定された参照動きベクトルを参照する。また、動きの時間的相関を利用する場合、動きベクトル予測部４５は、例えば、動きベクトルバッファ４３に記憶されている、基準画素位置とコロケーテッドな参照画像内のブロック又は領域に設定された参照動きベクトルを参照する。動きベクトル予測部４５が使用し得る予測式について、後に例を挙げて説明する。

動きベクトル予測部４５は、１つの領域について１つの予測式を用いて予測動きベクトルを算出すると、動きベクトル算出部４２により算出された動きベクトルと当該予測動きベクトルとの差分を表す差分動きベクトルを算出する。そして、動きベクトル予測部４５は、上記境界を特定する情報及び上記予測式を特定する予測式情報と関連付けて、算出した差分動きベクトル及び参照画像情報を、動きベクトル決定部４６へ出力する。

動きベクトル決定部４６は、動きベクトル予測部４５から入力される情報を用いて、コスト関数値を最小にする最適な境界と最適な予測式との組合せを選択する。それにより、画像内に設定されるブロックを区分する最適な境界と、当該境界により区分される領域内の画素値の補償のために使用すべき動きベクトルが決定される。また、動きベクトル決定部４６は、各領域内の画素値を補償する他の装置（典型的には、画像復号化装置）のために、後に詳細に説明する境界情報を生成する。即ち、本実施形態において、動きベクトル決定部４６は、動きベクトルを決定する決定手段及び境界情報を生成する生成手段としての役割を有する。そして、動きベクトル決定部４６は、生成した境界情報、最適な予測式を特定する予測式情報、対応する差分動きベクトル情報、参照画像情報、及び対応するコスト関数値などを、補償部４７へ出力する。

補償部４７は、動きベクトル決定部４６により選択された最適な境界、最適な予測式、差分動きベクトル、及びフレームメモリ２５から入力される参照画像データを用いて、予測画像データを生成する。そして、補償部４７は、生成した予測画像データ、並びに、動きベクトル決定部４６から入力された境界情報、予測式情報、差分動きベクトル情報及びコスト関数値などのインター予測に関する情報を、モード選択部５０へ出力する。また、補償部４７は、予測画像データの生成に用いた動きベクトル、即ち各領域に最終的に設定した動きベクトルを、動きベクトルバッファ４３に記憶させる。

［１−３．動きベクトル予測処理の説明］
次に、上述した動きベクトル予測部４５による動きベクトル予測処理についてより具体的に説明する。

（１）矩形領域での動きベクトルの予測
（１−１）基準画素位置
図６は、矩形領域に設定され得る基準画素位置について説明するための説明図である。図６を参照すると、境界により区分されていない矩形ブロック（１６×１６画素）、及び、水平又は垂直な境界によりそれぞれ区分された矩形領域が示されている。動きベクトル予測部４５は、これら矩形領域については、動きベクトルの予測のための基準画素位置を、各領域内の左上若しくは右上又はその双方に一律的に設定する。図６においては、これら基準画素位置が、斜線の網掛けにより示されている。なお、Ｈ．２６４／ＡＶＣでは、８×１６画素の領域の基準画素位置は、ブロック内で左側の領域については左上、ブロック内で右側の領域については右上に設定される。

（１−２）空間的予測
図７は、矩形領域における空間的予測について説明するための説明図である。図７を参照すると、１つの矩形領域ＰＴｅに設定され得る２つの基準画素位置ＰＸ１及びＰＸ２が示されている。動きの空間的相関を利用する予測式は、例えば、これら基準画素位置ＰＸ１及びＰＸ２に隣接する他のブロック又は領域に設定された動きベクトルを入力とする。なお、本明細書において、「隣接する」という用語は、例えば、２つのブロック、領域又は画素が辺を共有する場合のみならず、頂点を共有する場合をも含むものとする。

例えば、基準画素位置ＰＸ１の左の画素が属するブロックＢＬａに設定された動きベクトルをＭＶａとする。また、基準画素位置ＰＸ１の上の画素が属するブロックＢＬｂに設定された動きベクトルをＭＶｂとする。また、基準画素位置ＰＸ２の右上の画素が属するブロックＢＬｃに設定された動きベクトルをＭＶｃとする。これら動きベクトルＭＶａ、ＭＶｂ及びＭＶｃは、既に符号化済みである。符号化対象のブロック内の矩形領域ＰＴｅについての予測動きベクトルＰＭＶｅは、次のような予測式を用いて、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃから算出され得る。

ここで、式（１）におけるｍｅｄはメディアンオペレーションを表す。即ち、式（１）によれば、予測動きベクトルＰＭＶｅは、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃの水平成分の中央値と垂直成分の中央値とを成分とするベクトルである。なお、上記式（１）は、空間的相関を利用する予測式の一例に過ぎない。例えば、符号化対象のブロックが画像の端部に位置するために、動きベクトルＭＶａ、ＭＶｂ又はＭＶｃのいずれかが存在しない場合には、存在しない動きベクトルは、メディアンオペレーションの引数から省略されてもよい。また、例えば、符号化対象のブロックが画像の右端に位置する場合には、動きベクトルＭＶｃの代わりに、図７に示したブロックＢＬｄに設定された動きベクトルが使用されてもよい。

なお、予測動きベクトルＰＭＶｅは、プレディクタ（predictor）とも呼ばれる。特に、式（１）のように、動きの空間的相関を利用する予測式によって算出される予測動きベクトルを、空間的プレディクタ（spatial predictor）という。一方、次項で説明する動きの時間的相関を利用する予測式によって算出される予測動きベクトルを、時間的プレディクタ（temporal predictor）という。

動きベクトル予測部４５は、このように予測動きベクトルＰＭＶｅを決定した後、次式のように、動きベクトル算出部４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。

動き探索部４０からインター予測に関する情報の１つとして出力される差分動きベクトル情報は、この差分動きベクトルＭＶＤｅを表す。そして、差分動きベクトル情報は、可逆符号化部１６により符号化され、画像を復号化する装置へ伝送され得る。

（１−３）時間的予測
図８は、矩形領域における時間的予測について説明するための説明図である。図８を参照すると、符号化対象領域ＰＴｅを含む符号化対象画像ＩＭ０１、及び参照画像ＩＭ０２が示されている。参照画像ＩＭ０２内のブロックＢＬｃｏｌは、参照画像ＩＭ０２内で基準画素位置ＰＸ１又はＰＸ２と共通する位置の画素を含む、いわゆるコロケーテッドブロックである。動きの時間的相関を利用する予測式は、例えば、このコロケーテッドブロックＢＬｃｏｌ又はコロケーテッドブロックＢＬｃｏｌに隣接するブロック（又は領域）に設定された動きベクトルを入力とする。

例えば、コロケーテッドブロックＢＬｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、コロケーテッドブロックＢＬｃｏｌの上、左、下、右、左上、左下、右下及び右上のブロックに設定された動きベクトルを、それぞれＭＶｔ０〜ＭＶｔ７とする。これら動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７は、既に符号化済みである。この場合、予測動きベクトルＰＭＶｅは、例えば、次の予測式（３）又は（４）を用いて、動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７から算出され得る。

また、動きの空間的相関及び時間的相関の双方を利用する次のような予測式が用いられてもよい。なお、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃは、基準画素位置ＰＸ１又はＰＸ２に隣接するブロックに設定された動きベクトルである。

この場合にも、動きベクトル予測部４５は、予測動きベクトルＰＭＶｅを決定した後、動きベクトル算出部４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。そして、境界と予測式との最適な組合せに係る差分動きベクトルＭＶＤｅを表す差分動きベクトル情報が、動き探索部４０から出力され、可逆符号化部１６により符号化され得る。

なお、図８の例では１つの符号化対象画像ＩＭ０１について１つの参照画像ＩＭ０２のみを示しているが、１つの符号化対象画像ＩＭ０１内で領域ごとに異なる参照画像が使用されてもよい。図９の例では、符号化対象画像ＩＭ０１内の領域ＰＴｅ１の動きベクトルの予測の際に参照される参照画像はＩＭ０２１であり、領域ＰＴｅ２の動きベクトルの予測の際に参照される参照画像はＩＭ０２２である。このような参照画像の設定手法を、マルチ参照フレーム（Multi-Reference Frame）という。

（２）ダイレクトモード
なお、動きベクトル情報の情報量の増加に伴う圧縮率の低下を回避するために、Ｈ．２６４／ＡＶＣは、主にＢピクチャを対象として、いわゆるダイレクトモードを導入している。ダイレクトモードにおいては、動きベクトル情報は符号化されず、符号化済みのブロックの動きベクトル情報から符号化対象のブロックの動きベクトル情報が生成される。ダイレクトモードは、空間ダイレクトモード（Spatial Direct Mode）、及び時間ダイレクトモード（Temporal Direct Mode）を含み、例えばスライスごとにこれら２つのモードが切り替えられ得る。本実施形態においても、このようなダイレクトモードが利用されてよい。

例えば、空間ダイレクトモードにおいては、符号化対象の領域についての動きベクトルＭＶｅは、上述した予測式（１）を用いて、次式のように決定され得る。

図１０は、時間ダイレクトモードについて説明するための説明図である。図１０において、符号化対象画像ＩＭ０１のＬ０参照ピクチャである参照画像ＩＭＬ０、及び符号化対象画像ＩＭ０１のＬ１参照ピクチャである参照画像ＩＭＬ１が示されている。参照画像ＩＭＬ０内のブロックＢＬｃｏｌは、符号化対象画像ＩＭ０１内の符号化対象領域ＰＴｅのコロケーテッドブロックである。ここで、コロケーテッドブロックＢＬｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、符号化対象画像ＩＭ０１と参照画像ＩＭＬ０との間の時間軸上の距離をＴＤ_Ｂ、参照画像ＩＭＬ０と参照画像ＩＭＬ１との間の時間軸上の距離をＴＤ_Ｄとする。すると、時間ダイレクトモードにおいては、符号化対象領域ＰＴｅについての動きベクトルＭＶＬ０及びＭＶＬ１は、次式のように決定され得る。

なお、時間軸上の距離を表す指標として、ＰＯＣ（Picture Order Count）が使用されてもよい。このようなダイレクトモードの利用の有無は、例えば、ブロック単位で指定され得る。

（３）非矩形領域での動きベクトルの予測
上述したように、矩形領域については、例えば左上又は右上の画素というように、基準画素位置を一律的に定義付けることができる。これに対し、ジオメトリ動き分割の場合のように、傾きを有する境界によりブロックが区分される場合には、形成される非矩形領域の形状が様々であることから、基準画素位置を適応的に設定することが望ましい。

（３−１）基準画素位置
図１１は、非矩形領域に設定され得る基準画素位置について説明するための説明図である。図１１には、図５に示した６つのブロックＢＬ１１〜ＢＬ１６があらためて示されている。境界が直線であれば、ブロック内に形成される各領域は、ブロックの少なくとも１つのコーナーに位置する画素を含む。従って、そのコーナーの画素の位置は、基準画素位置となり得る。図１１の例では、ブロックＢＬ１１の領域ＰＴ１１ａの基準画素位置は画素Ｐｃの位置であってよい。ブロックＢＬ１１の領域ＰＴ１１ｂの基準画素位置は画素Ｐｄの位置であってよい。ブロックＢＬ１２の領域ＰＴ１２ａの基準画素位置は画素Ｐａ及びＰｃのいずれか一方又は双方の位置であってよい。他のブロックの各領域の基準画素位置もまた、同様に設定され得る。

（３−２）空間的予測
図１２は、非矩形領域における空間的予測について説明するための説明図である。図１２を参照すると、符号化対象ブロックＢＬｅ内の各領域の基準画素位置として設定され得る４つの画素位置Ｐａ〜Ｐｄが示されている。また、画素位置Ｐａに、ブロックＮＢａ及びＮＢｂが隣接している。画素位置Ｐｃには、ブロックＮＢｃ及びＮＢｅが隣接している。画素位置Ｐｄには、ブロックＮＢｆが隣接している。非矩形領域についての動きの空間的相関を利用する予測式は、例えば、基準画素位置Ｐａ〜Ｐｄに隣接するこれら隣接ブロック（又は領域）ＮＢａ〜ＮＢｆに設定された動きベクトルを入力とする予測式であってよい。

式（９）及び式（１０）は、それぞれ、基準画素位置が左上のコーナー（画素位置Ｐａ）である領域についての予測動きベクトルＰＭＶｅを予測するための予測式の一例である。なお、動きベクトルＭＶｎｉ（ｉ＝ａ，ｂ，…，ｆ）は、隣接ブロックＮＢｉに設定された動きベクトルを表す。

式（９）及び式（１０）は、最も単純な予測式の一例である。しかし、予測式として、他の式が使用されてもよい。例えば、領域が左上及び右上のコーナーを共に含む場合には、図７を用いて説明した矩形領域についての空間的予測と同様に、隣接ブロックＮＢａ、ＮＢｂ及びＮＢｃに設定された動きベクトルに基づく予測式が使用されてもよい。この場合の予測式は、式（１）と同様である。

なお、基準画素位置が右下のコーナー（画素位置Ｐｂ）である領域については、隣接ブロックが符号化済みでないため、隣接ブロック（又は領域）に設定された動きベクトルを使用することができない。この場合には、動きベクトル予測部４５は、空間的相関に基づく予測動きベクトルをゼロベクトルとしてもよい。

（３−３）時間的予測
図１３は、非矩形領域における時間的予測について説明するための説明図である。図１３を参照すると、符号化対象ブロックＢＬｅ内の各領域の基準画素位置として設定され得る４つの画素位置Ｐａ〜Ｐｄが示されている。基準画素位置が画素位置Ｐａである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ａとなる。基準画素位置が画素位置Ｐｂである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ｂとなる。基準画素位置が画素位置Ｐｃである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ｃとなる。基準画素位置が画素位置Ｐｄである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ｄとなる。動きベクトル予測部４５は、上述した基準画素位置に応じて、このようにコロケーテッドブロック（又はコロケーテッド領域）ＢＬｃｏｌを認識する。また、動きベクトル予測部４５は、例えば、図８を用いて説明したように、コロケーテッドブロック（又はコロケーテッド領域）ＢＬｃｏｌに隣接するブロック又は領域をさらに認識する。そして、動きベクトル予測部４５は、基準画素位置に対応するこれら参照画像内のブロック又は領域に設定された動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７（図８参照）を用いて、動きの時間的相関を利用する予測式に従って、予測動きベクトルを算出することができる。この場合の予測式は、例えば、式（３）及び式（４）と同様であってよい。

（３−４）時空間的予測
また、動きベクトル予測部４５は、非矩形領域についても、動きの空間的相関及び時間的相関の双方を利用する予測式を用いてよい。その場合には、動きベクトル予測部４５は、図１２を用いて説明した隣接ブロック（又は隣接領域）に設定された動きベクトルと、図１３を用いて説明した参照画像内のコロケーテッドブロック（又はコロケーテッド領域）に設定された動きベクトルとに基づく予測式を使用することができる。この場合の予測式は、例えば、式（５）と同様であってよい。

（４）予測式の選択
上述したように、動きベクトル予測部４５は、動きベクトルの予測（予測動きベクトルの算出）に際して、空間的相関を利用する予測式、時間的相関を利用する予測式、及び時空間的相関を利用する予測式を、予測式の候補として使用し得る。また、動きベクトル予測部４５は、例えば、時間的相関を利用する予測式として複数の予測式の候補を使用してもよい。動きベクトル予測部４５は、このように、探索処理部４１により指定される複数の境界の候補の各々について、さらに複数の予測式の候補ごとに、各領域についての予測動きベクトルを算出する。そして、動きベクトル決定部４６は、境界の候補と予測式の候補との各組合せをコスト関数値により評価し、圧縮率が最も高くなる（最良の符号化効率を達成する）最適な組合せを選択する。その結果、例えば、画像内に設定されるブロックごとに、ブロックを区分する境界が変化すると共に、当該ブロックに適用される予測式もまた適応的に切り替えられ得る。

［１−４．境界情報の例］
本実施形態において、動きベクトル決定部４６が出力する境界情報は、ブロックの中心点からの距離ρと傾き角θとを指定する情報ではなく、ブロックの外周と境界との複数の交点を指定する情報である。より具体的には、例えば、境界情報は、ブロックの外周と境界との各交点を、外周上に設定される基準点からの外周を周回する経路に沿った道のりにより指定する情報であってよい。本実施形態において、経路の基準点とは、経路に沿った道のりを計測する際の起点（あるいは原点）である。ブロックの外周が複数の経路に分割される場合には、経路ごとに１つの基準点が設定される。但し、複数の基準点の位置は互いに重なってもよい。なお、本明細書では、ブロックの外周と境界との交点の位置に依存することなく予め固定的に設定される基準点を、固定基準点という。これに対し、交点の位置に依存して動的に設定される基準点を、可変基準点という。

（１）外周上の経路の構成例
図１４は、ブロックの外周上に構成される経路について説明するための説明図である。図１４を参照すると、典型的な４種類の経路の構成例１４ａ〜１４ｄが示されている。

第１の構成例１４ａでは、左上のコーナーＰａが固定基準点に設定されている。また、基準点Ｐａを起点とし、時計回りにブロックの外周を周回する１つの経路Ｋ１１が構成されている。経路Ｋ１１の長さはブロックの外周の全長に等しい。

第２の構成例１４ｂでは、左上のコーナーＰａ及び右下のコーナーＰｂが固定基準点に設定されている。また、基準点Ｐａを起点とし時計回りにブロックの外周を半周する経路Ｋ２１と、基準点Ｐｂを起点とし時計回りにブロックの外周を半周する経路Ｋ２２とが構成されている。即ち、第２の構成例１４ｂにおいては、ブロックの外周は２つの経路に分割される。経路Ｋ２１及びＫ２２の長さはブロックの外周の半分の長さに等しい。

第３の構成例１４ｃでは、左上のコーナーＰａが固定基準点に設定されている。また、基準点Ｐａを起点とし時計回りにブロックの外周を半周する経路Ｋ３１と、基準点Ｐａを起点とし反時計回りにブロックの外周を半周する経路Ｋ３２とが構成されている。即ち、第３の構成例１４ｃにおいても、ブロックの外周は２つの経路に分割される。経路Ｋ３１及びＫ３２の長さはブロックの外周の半分の長さに等しい。

第４の構成例１４ｄでは、４つのコーナーＰａ、Ｐｃ、Ｐｂ及びＰｄが固定基準点に設定されている。また、基準点Ｐａを起点としブロックの上辺に沿った経路Ｋ４１、基準点Ｐｃを起点としブロックの右辺に沿った経路Ｋ４２、基準点Ｐｂを起点としブロックの下辺に沿った経路Ｋ４３、及び基準点Ｐｄを起点としブロックの左辺に沿った経路Ｋ４４が構成されている。即ち、第４の構成例１４ｄにおいては、ブロックの外周は４つの経路に分割される。経路Ｋ４１、Ｋ４２、Ｋ４３及びＫ４４の長さは、ブロックの対応する各辺の長さに等しい。

なお、ブロックの外周上の経路の構成は、かかる例に限定されない。例えば、図１４に示した構成例とは異なる基準点を有する経路、周回方向の異なる経路、又は分割パターンの異なる経路が構成されてもよい。

（２）境界情報の例（外周の分割なし）
図１５は、図１４の第１の構成例１４ａにおいて動きベクトル決定部４６により生成され得る境界情報の一例について説明するための説明図である。図１５から理解されるように、第１の構成例１４ａにおいては、境界情報は、基準点Ｐａからより近い第１の交点を指定する情報と、基準点Ｐａからより遠い第２の交点を指定する情報とを順に含む。このうち、第１の交点は、固定基準点Ｐａからの道のりにより指定される。一方、第２の交点は、経路Ｋ１１上で第１の交点の次に位置するコーナーを基準点（可変基準点）として、当該基準点からの道のりにより指定される。

図１５の左の例では、ブロックＢＬ１４の外周と境界Ｂ１４との第１の交点は、基準点Ｐａから第１の交点までの道のりＸ_１により指定される。また、経路Ｋ１１上で第１の交点の次に位置するコーナーは、コーナーＰｃである。従って、第２の交点は、可変基準点Ｐｃから第２の交点までの道のりＹ_１により指定される。このうち、境界情報の前半に道のりＸ_１、後半に道のりＹ_１が含められる。

図１５の中央の例では、ブロックＢＬ１３の外周と境界Ｂ１３との第１の交点は、基準点Ｐａから第１の交点までの道のりＸ_２により指定される。また、経路Ｋ１１上で第１の交点の次に位置するコーナーは、コーナーＰｃである。従って、第２の交点は、可変基準点Ｐｃから第２の交点までの道のりＹ_２により指定される。このうち、境界情報の前半に道のりＸ_２、後半に道のりＹ_２が含められる。

図１５の右の例では、ブロックＢＬ１６の外周と境界Ｂ１６との第１の交点は、基準点Ｐａから第１の交点までの道のりＸ_３により指定される。また、経路Ｋ１１上で第１の交点の次に位置するコーナーは、コーナーＰｄである。従って、第２の交点は、可変基準点Ｐｄから第２の交点までの道のりＹ_３により指定される。このうち、境界情報の前半に道のりＸ_３、後半に道のりＹ_３が含められる。

一般的に、ブロックの外周とブロックを区分する境界との２つの交点が共にブロックの一辺に位置することはない。従って、図１５の例のように、予め選択される基準点からより近くに位置する第１の交点を先に符号化し、後に符号化される第２の交点のための基準点（可変基準点）を第１の交点の次に位置するコーナーとすることで、第２の交点の道のりのダイナミックレンジが小さくなる。その結果、固定基準点からの道のりにより第２の交点を指定する場合と比較して、可変長符号化後の第２の交点に関する境界情報の符号量が削減され得る。

（３）境界情報の例（外周２分割）
図１６は、図１４の第２の構成例１４ｂにおいて動きベクトル決定部４６により生成され得る境界情報の一例について説明するための説明図である。図１６から理解されるように、第２の構成例１４ｂにおいては、境界情報は、各交点が属する経路を識別する情報（例えば、経路フラグ）と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む。また、２つの交点が共通する経路に属する場合には、固定基準点からより遠くに位置する第２の交点は、可変基準点からの道のりにより指定される。

図１６の左の例では、第１の交点は経路Ｋ２１、第２の交点は経路Ｋ２２に属する。ブロックＢＬ１５の外周と境界Ｂ１５との第１の交点は、経路Ｋ２１に沿った基準点Ｐａから第１の交点までの道のりＸ_４により指定される。また、第２の交点は、経路Ｋ２２に沿った基準点Ｐｂから第２の交点までの道のりＹ_４により指定される。この場合、いずれの交点に関する情報が先に符号化されてもよい。但し、２つの交点についての道のりよりも先に、２つの交点についての経路を識別する情報が符号化される。

図１６の中央の例では、２つの交点は共に経路Ｋ２１に属する。このうち、経路Ｋ２１の固定基準点Ｐａからより近くに位置する第１の交点は、固定基準点Ｐａから第１の交点までの道のりＸ_５により指定される。また、経路Ｋ２１上で第１の交点の次に位置するコーナーは、コーナーＰｃである。従って、第２の交点は、可変基準点Ｐｃから第２の交点までの道のりＹ_５により指定される。そして、境界情報の前半には２つの交点が属する経路を識別する情報（Ｋ２１，Ｋ２１）、後半には第１の交点の道のり（Ｘ_５）及び第２の交点の道のり（Ｙ_５）が順に含められる。

図１６の右の例では、２つの交点は共に経路Ｋ２２に属する。このうち、経路２２の固定基準点Ｐｂからより近くに位置する第１の交点は、固定基準点Ｐｂから第１の交点までの道のりＸ_６により指定される。また、経路Ｋ２２上で第１の交点の次に位置するコーナーは、コーナーＰｄである。従って、第２の交点は、可変基準点Ｐｄから第２の交点までの道のりＹ_６により指定される。そして、境界情報の前半には２つの交点が属する経路を識別する情報（Ｋ２２，Ｋ２２）、後半には第１の交点の道のり（Ｘ_６）及び第２の交点の道のり（Ｙ_６）が順に含められる。

図１７は、図１４の第３の構成例１４ｃにおいて動きベクトル決定部４６により生成され得る境界情報の一例について説明するための説明図である。第３の構成例１４ｃにおいても、境界情報は、各交点が属する経路を識別する情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む。また、２つの交点が共通する経路に属する場合には、固定基準点からより遠くに位置する第２の交点は、可変基準点からの道のりにより指定される。

図１７の左の例では、第１の交点は経路Ｋ３１、第２の交点は経路Ｋ３２に属する。ブロックＢＬ１５の外周と境界Ｂ１５との第１の交点は、経路Ｋ３１に沿った基準点Ｐａから第１の交点までの道のりＸ_７により指定される。また、第２の交点は、経路Ｋ３２に沿った基準点Ｐａから第２の交点までの道のりＹ_７により指定される。この場合、いずれの交点に関する情報が先に符号化されてもよい。但し、２つの交点についての道のりよりも先に、２つの交点についての経路を識別する情報が符号化される。

図１７の中央の例では、２つの交点は共に経路Ｋ３１に属する。このうち、経路Ｋ３１の固定基準点Ｐａからより近くに位置する第１の交点は、固定基準点Ｐａから第１の交点までの道のりＸ_８により指定される。また、経路Ｋ３１上で第１の交点の次に位置するコーナーは、コーナーＰｃである。従って、第２の交点は、可変基準点Ｐｃから第２の交点までの道のりＹ_８により指定される。そして、境界情報の前半には２つの交点が属する経路を識別する情報（Ｋ３１，Ｋ３１）、後半には第１の交点の道のり（Ｘ_８）及び第２の交点の道のり（Ｙ_８）が順に含められる。

図１７の右の例では、２つの交点は共に経路Ｋ３２に属する。このうち、経路２２の固定基準点Ｐａからより近くに位置する第１の交点は、固定基準点Ｐａから第１の交点までの道のりＸ_９により指定される。また、経路Ｋ３２上で第１の交点の次に位置するコーナーは、コーナーＰｄである。従って、第２の交点は、可変基準点Ｐｄから第２の交点までの道のりＹ_９により指定される。そして、境界情報の前半には２つの交点が属する経路を識別する情報（Ｋ３２，Ｋ３２）、後半には第１の交点の道のり（Ｘ_９）及び第２の交点の道のり（Ｙ_９）が順に含められる。

図１６及び図１７の例では、ブロックの外周が２つの経路に分割されるため、１つの交点が属する経路を１ビットで識別することができる。また、基準点から交点までの道のりのダイナミックレンジは、図１５の例と比較して半分になる。ここで、可変長符号化では、通常、より小さい値に対してより短い符号が割り当てられる。その結果、図１６及び図１７の例では、図１５の例と比較して、全体として境界情報の符号量が削減され得る。また、第２の交点を可変基準点からの道のりにより指定することで、図１５の例と同様、第２の交点に関する境界情報の符号量をさらに削減することも可能である。

（４）境界情報の例（外周４分割）
図１８は、図１４の第４の構成例１４ｄにおいて動きベクトル決定部４６により生成され得る境界情報の一例について説明するための説明図である。第４の構成例１４ｄにおいても、境界情報は、各交点が属する経路を識別する情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む。

図１８の左の例では、第１の交点は経路Ｋ４２、第２の交点は経路Ｋ４３に属する。第１の交点は、経路Ｋ４２に沿った基準点Ｐｃから第１の交点までの道のりＸ_１０により指定される。また、第２の交点は、経路Ｋ４３に沿った基準点Ｐｂから第２の交点までの道のりＹ_１０により指定される。

図１８の中央の例では、第１の交点は経路Ｋ４１、第２の交点は経路Ｋ４３に属する。第１の交点は、経路Ｋ４１に沿った基準点Ｐａから第１の交点までの道のりＸ_１１により指定される。また、第２の交点は、経路Ｋ４３に沿った基準点Ｐｂから第２の交点までの道のりＹ_１１により指定される。

図１８の右の例では、第１の交点は経路Ｋ４３、第２の交点は経路Ｋ４４に属する。第１の交点は、経路Ｋ４３に沿った基準点Ｐｂから第１の交点までの道のりＸ_１２により指定される。また、第２の交点は、経路Ｋ４４に沿った基準点Ｐｄから第２の交点までの道のりＹ_１２により指定される。

図１８の例では、ブロックの外周が４つの経路に分割されるため、１つの交点が属する経路を２ビットで識別することができる。また、基準点から交点までの道のりのダイナミックレンジは、図１５の例と比較して４分の１、図１６及び図１７の例と比較して半分になる。その結果、図１８の例では、全体として境界情報の符号量をさらに削減することができる。

［１−５．境界情報の量子化］
上述した境界情報に含まれる各交点についての道のりの指定の粒度は、典型的には、動き補償の品質、符号量、及び動き探索の処理コストなどを考慮して決定され得る。例えば、道のりの指定の粒度をより小さくすれば、実際の動物体の輪郭に近い境界を指定できる可能性が高まるため、動き補償の品質は向上し得る。しかし、その場合、境界情報の符号量は多くなる。また、動き探索における探索範囲が拡大する結果、処理コストも増大し得る。これに対し、道のりの指定の粒度をより大きくすれば、動き補償の品質が低下し得る一方で、境界情報の符号量が減少する。特に、より大きいブロックサイズは、ブロック内に現れる動きが比較的一様である場合に選択され得る。そのため、ブロックサイズが大きい場合には、道のりの指定の粒度をより大きくしても、動き補償の品質が大きく低下することはないものと予測される。そこで、本実施形態において、動きベクトル決定部４６は、ブロックサイズに応じて、各交点についての道のりを１画素よりも大きい単位量で量子化する。より具体的には、動きベクトル決定部４６は、道のりの量子化のための単位量を、ブロックサイズが大きいほど大きい値に設定する。

図１９は、動きベクトル決定部４６による境界情報の量子化の一例について説明するための説明図である。図１９を参照すると、ブロックサイズが１６×１６画素であるブロックＢＬａと、ブロックサイズが３２×３２画素であるブロックＢＬｂとが示されている。なお、各ブロックの外周は、一例として、それぞれ基準点Ｐａ及びＰｂを起点とする２つの経路Ｋ２１及びＫ２２に分割されているものとする。

ブロックＢＬａの第１の交点Ｉｓ１は、経路Ｋ２１に属している。第１の交点Ｉｓ１の基準点Ｐａからの道のりＸ_ａは２６画素と計測される。第２の交点Ｉｓ２は、経路Ｋ２２に属している。第２の交点Ｉｓ２の基準点Ｐｂからの道のりＹ_ａは１０画素と計測される。ここで、一例として、ブロックサイズ１６×１６画素のブロックについての道のりの量子化の単位量は２（画素）であるものとする。第１の交点Ｉｓ１の道のりＸ_ａは、量子化により２６／２＝１３と算出される。同様に、第２の交点Ｉｓ２の道のりＹ_ａは、量子化により１０／２＝５と算出される。従って、動きベクトル決定部４６が生成する境界情報は、各交点の経路を識別するための経路フラグ（経路Ｋ２１を意味する“０”、及び経路Ｋ２２を意味する“１”）に加えて、量子化後の第１の交点Ｉｓ１の道のり“１３”及び量子化後の第２の交点Ｉｓ２の道のり“５”を含む。

ブロックＢＬｂの第１の交点Ｉｓ３は、経路Ｋ２１に属している。第１の交点Ｉｓ３の基準点Ｐａからの道のりＸ_ｂは５２画素と計測される。第２の交点Ｉｓ４は、経路Ｋ２２に属している。第２の交点Ｉｓ２の基準点Ｐｂからの道のりＹ_ｂは２０画素と計測される。ここで、一例として、ブロックサイズ３２×３２画素のブロックについての道のりの量子化の単位量は４（画素）であるものとする。第１の交点Ｉｓ３の道のりＸ_ｂは、量子化により５２／４＝１３と算出される。同様に、第２の交点Ｉｓ４の道のりＹ_ｂは、量子化により２０／４＝５と算出される。従って、動きベクトル決定部４６が生成する境界情報は、各交点の経路を識別するための経路フラグ（経路Ｋ２１を意味する“０”、及び経路Ｋ２２を意味する“１”）に加えて、量子化後の第１の交点Ｉｓ３の道のり“１３”及び量子化後の第２の交点Ｉｓ４の道のり“５”を含む。

このような量子化の単位量は、予め画像符号化装置と画像復号化装置との間で共通的に定義されてもよい。その場合、動きベクトル決定部４６は、当該単位量に関する情報を出力しない。一方、共通的な定義が存在しない場合には、動きベクトル決定部４６は、量子化の単位量に関する情報をさらに境界情報に含めて出力してもよい。

＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図２０〜図２３を用いて、符号化時の処理の流れを説明する。

［２−１．動き探索処理］
図２０は、本実施形態に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。

図２０を参照すると、まず、探索処理部４１は、傾きを有する境界を含む複数の境界の候補により、画像内に設定されるブロックを複数の領域に区分する（ステップＳ１００）。例えば、第１の境界の候補は、Ｈ．２６４／ＡＶＣにおける水平方向又は垂直方向に沿った境界であり、第１の境界の候補によって、各ブロックは複数の矩形領域に区分され得る。また、例えば、第２の境界の候補は、ジオメトリ動き分割による傾きを有する境界（斜めの境界）であり、第２の境界の候補によって、各ブロックは複数の非矩形領域に区分され得る。

次に、動きベクトル算出部４２は、参照画像の画素値と各領域内の原画像の画素値とに基づいて、各領域についての動きベクトルを算出する（ステップＳ１１０）。

次に、動きベクトル予測部４５は、境界により区分されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを、領域ごとに複数の予測式の候補を用いて予測する（ステップＳ１２０）。次に、動きベクトル予測部４５は、候補としての境界と予測式との組合せごとに、動きベクトル算出部４２により算出された動きベクトルと予測動きベクトルとの差分を表す差分動きベクトルを算出する（ステップＳ１３０）。

次に、動きベクトル決定部４６は、動きベクトル予測部４５による予測結果に基づいて、境界と予測式との各組合せについてのコスト関数値を評価し、最良の符号化効率を達成する境界と予測式との組合せを選択する（ステップＳ１４０）。動きベクトル決定部４６に用いられるコスト関数は、例えば、原画像及び復号化後の画像の間の差分エネルギーと発生する符号量とに基づく関数であってよい。

次に、動きベクトル決定部４６は、ステップＳ１４０において選択した境界が図３及び図４に例示したような水平又は垂直の境界であるか否かを判定する（ステップＳ１５０）。そして、選択した境界が水平又は垂直の境界でない場合には、動きベクトル決定部４６は、後に詳細に説明する境界情報生成処理を行う（ステップＳ１５５）。

次に、補償部４７は、動きベクトル決定部４６により選択された最適な境界及び最適な予測式を用いて、符号化対象ブロック内の画素に関する予測画素値を算出し、予測画素データを生成する（ステップＳ１９０）。そして、補償部４７は、インター予測に関する情報と予測画素データとをモード選択部５０へ出力する（ステップＳ１９５）。インター予測に関する情報には、例えば、ステップＳ１５５において生成された境界情報、最適な予測式を特定する予測式情報、対応する差分動きベクトル情報、参照画像情報、及び対応するコスト関数値などが含まれ得る。ここで出力された境界情報は、例えば、図１に示した可逆符号化部１６により可変長符号化され得る。なお、最終的に各ブロック内の各領域に設定された動きベクトルは、参照動きベクトルとして動きベクトルバッファ４３により記憶される。また、境界情報は、境界情報バッファ４４により記憶される。

［２−２．境界情報生成処理（外周の分割なし）］
図２１は、図２０のステップＳ１５５の処理に相当する、動きベクトル決定部４６による境界情報生成処理の流れの第１の例を示すフローチャートである。図２１の例は、ブロックの外周が分割されない場合（即ち、外周上に１つの経路のみが設定される場合）の処理の流れを示している。

図２１を参照すると、まず、動きベクトル決定部４６は、ブロックの外周上の経路に沿って固定基準点からより近くに位置する第１の交点の道のりを決定する（ステップＳ１６２）。次に、動きベクトル決定部４６は、上記経路上の第１の交点の次のコーナーを可変基準点に設定する（ステップＳ１６３）。次に、動きベクトル決定部４６は、上記経路上での可変基準点からの第２の交点の道のりを決定する（ステップＳ１６４）。次に、動きベクトル決定部４６は、ブロックサイズに応じて選択される単位量で、ステップＳ１６２及びＳ１６４において決定した各交点の道のりを量子化する（ステップＳ１６６）。そして、動きベクトル決定部４６は、量子化した第１の交点の道のり、量子化した第２の交点の道のりの順に、境界情報を形成する（ステップＳ１６７）。

［２−３．境界情報生成処理（外周２分割）］
図２２は、図２０のステップＳ１５５の処理に相当する、動きベクトル決定部４６による境界情報生成処理の流れの第２の例を示すフローチャートである。図２２の例は、ブロックの外周が２つの経路に分割される場合の処理の流れを示している。

図２２を参照すると、まず、動きベクトル決定部４６は、ブロックの外周と境界との２つの交点がそれぞれ属する経路を認識する（ステップＳ１７０）。次に、動きベクトル決定部４６は、２つの交点が同じ経路に属するか否かを判定する（ステップＳ１７１）。ここで、２つの交点が同じ経路に属する場合には、処理はステップＳ１７２へ進む。一方、２つの交点が同じ経路に属しない場合には、処理はステップＳ１７５へ進む。

ステップＳ１７２では、動きベクトル決定部４６は、ブロックの外周上の経路に沿って固定基準点からより近い第１の交点の道のりを決定する（ステップＳ１７２）。次に、動きベクトル決定部４６は、上記経路上の第１の交点の次のコーナーを可変基準点に設定する（ステップＳ１７３）。次に、動きベクトル決定部４６は、上記経路上での可変基準点からの第２の交点の道のりを決定する（ステップＳ１７４）。一方、ステップＳ１７５では、動きベクトル決定部４６は、それぞれの経路に沿って固定基準点からの各交点の道のりを決定する（ステップＳ１７５）。

次に、動きベクトル決定部４６は、ブロックサイズに応じて選択される単位量で、ステップＳ１７２及びＳ１７４、又はステップＳ１７５において決定した各交点の道のりを量子化する（ステップＳ１７６）。そして、動きベクトル決定部４６は、第１の交点の経路フラグ、第２の交点の経路フラグ、量子化した第１の交点の道のり、量子化した第２の交点の道のりの順に、境界情報を形成する（ステップＳ１７７）。

［２−４．境界情報生成処理（外周４分割）］
図２３は、図２０のステップＳ１５５の処理に相当する、動きベクトル決定部４６による境界情報生成処理の流れの第３の例を示すフローチャートである。図２３の例は、ブロックの外周が各辺に対応する４つの経路に分割される場合の処理の流れを示している。

図２３を参照すると、まず、動きベクトル決定部４６は、ブロックの外周と境界との２つの交点がそれぞれ属する経路を認識する（ステップＳ１８０）。次に、動きベクトル決定部４６は、それぞれの経路に沿って固定基準点からの各交点の道のりを決定する（ステップＳ１８５）。次に、動きベクトル決定部４６は、ブロックサイズに応じて選択される単位量で、ステップＳ１８５において決定した各交点の道のりを量子化する（ステップＳ１８６）。そして、動きベクトル決定部４６は、第１の交点の経路フラグ、第２の交点の経路フラグ、量子化した第１の交点の道のり、量子化した第２の交点の道のりの順に、境界情報を形成する（ステップＳ１８７）。

＜３．一実施形態に係る画像復号化装置の構成例＞
本節では、図２４及び図２５を用いて、本発明の一実施形態に係る画像復号化装置の構成例について説明する。

［３−１．全体的な構成例］
図２４は、本発明の一実施形態に係る画像復号化装置６０の構成の一例を示すブロック図である。図２４を参照すると、画像復号化装置６０は、蓄積バッファ６１、可逆復号化部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。

蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。

可逆復号化部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号化する。また、可逆復号化部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号化する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、ブロックヘッダ内のイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号化部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号化部６２は、インター予測に関する情報を動き補償部９０へ出力する。

逆量子化部６３は、可逆復号化部６２による復号化後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号化画像データを生成する。そして、加算部６５は、生成した復号化画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。

デブロックフィルタ６６は、加算部６５から入力される復号化画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号化画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。

並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号化装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号化画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号化画像データを記憶媒体を用いて記憶する。

セレクタ７０は、可逆復号化部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号化画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング後の復号化画像データを参照画像データとして動き補償部９０へ出力する。

セレクタ７１は、可逆復号化部６２により取得されるモード情報に応じて、画像内のブロックごとに、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、可逆復号化部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。

動き補償部９０は、可逆復号化部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、生成した予測画像データをセレクタ７１へ出力する。

［３−２．動き補償部の構成例］
図２５は、図２４に示した画像復号化装置６０の動き補償部９０の詳細な構成の一例を示すブロック図である。図２５を参照すると、動き補償部９０は、境界認識部９１、差分復号化部９２、動きベクトル設定部９３、動きベクトルバッファ９４、境界情報バッファ９５及び予測部９６を有する。

境界認識部９１は、画像の符号化の際に画像内のブロックを複数の領域に区分した境界を認識する。かかる境界は、傾きを有する境界を含む複数の候補から選択される境界である。より具体的には、境界認識部９１は、まず、可逆復号化部６２から入力されるインター予測に関する情報に含まれる境界情報を取得する。ここで取得される境界情報は、ブロックの外周と境界との複数の交点を指定する情報である。そして、境界認識部９１は、取得した境界情報に基づいて、各ブロックを区分した境界を認識する。境界認識部９１による境界認識処理の流れについて、後により具体的に説明する。

差分復号化部９２は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる差分動きベクトル情報に基づいて、各領域について符号化の際に算出された差分動きベクトルを復号化する。そして、差分復号化部９２は、差分動きベクトルを、動きベクトル設定部９３へ出力する。

動きベクトル設定部９３は、境界認識部９１により認識される境界に応じて、当該境界により区分される各領域に基準画素位置を設定する。このとき、ブロックの外周と境界との交点が境界情報により直接的に指定されているため、動きベクトル設定部９３は、少ない演算量で各領域に容易に基準画素位置を設定することができる。また、動きベクトル設定部９３は、設定した基準画素位置に対応する参照ブロック又は参照領域の動きベクトル（即ち、参照動きベクトル）を、動きベクトルバッファ９４から取得する。そして、動きベクトル設定部９３は、取得した参照動きベクトルに基づいて、各領域内の画素値の予測に使用すべき動きベクトルを設定する。

より具体的には、動きベクトル設定部９３は、まず、可逆復号化部６２から入力されるインター予測に関する情報に含まれる予測式情報を取得する。予測式情報は、各領域と関連付けて取得され得る。次に、動きベクトル設定部９３は、予測式情報が特定する予測式に参照動きベクトルを代入し、予測動きベクトルを算出する。さらに、動きベクトル設定部９３は、算出した予測動きベクトルに、差分復号化部９２から入力される差分動きベクトルを加算して動きベクトルを算出する。動きベクトル設定部９３は、このように算出される動きベクトルを、各領域に設定する。また、動きベクトル設定部９３は、各領域に設定した動きベクトルを動きベクトルバッファ９４へ出力すると共に、境界情報を境界情報バッファ９５へ出力する。

動きベクトルバッファ９４は、動きベクトル設定部９３による動きベクトル設定処理において参照される動きベクトルを、記憶媒体を用いて一時的に記憶する。動きベクトルバッファ９４において参照される動きベクトルとは、復号化済みの参照画像内のブロック又は領域に設定された動きベクトル、及び符号化対象の画像内の他のブロック又は領域に設定された動きベクトルを含み得る。

境界情報バッファ９５は、動きベクトル設定部９３による動きベクトル設定処理において参照される境界情報を、記憶媒体を用いて一時的に記憶する。境界情報バッファ９５により記憶される境界情報は、例えば、基準画素位置に対応する参照ブロック又は参照領域を特定するために参照され得る。

予測部９６は、境界認識部９１により認識される境界により区分されたブロック内の領域ごとに、動きベクトル設定部９３により設定される動きベクトル及び参照画像情報、並びにフレームメモリ６９から入力される参照画像データを用いて、予測画素値を生成する。そして、予測部９３は、生成した予測画素値を含む予測画像データをセレクタ７１へ出力する。

＜４．一実施形態に係る復号化時の処理の流れ＞
［４−１．動き補償処理］
次に、図２６を用いて、復号化時の処理の流れを説明する。図２６は、本実施形態に係る画像復号化装置６０の動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。

図２６を参照すると、まず、画像符号化装置６０の境界認識部９１は、ジオメトリ動き分割が指定されているか否かを判定する（ステップＳ２００）。例えば、境界認識部９１は、インター予測に関する情報に含まれる予測モードを参照することにより、ジオメトリ動き分割が指定されているか否かを判定することができる。ここで、ジオメトリ動き分割が指定されている場合には、処理はステップＳ２０５へ進む。一方、ジオメトリ動き分割が指定されていない場合には、ブロックは、図３及び図４に例示したような水平又は垂直の境界により区分されている。この場合、処理はステップＳ２５０へ進む。

ステップＳ２０５において、境界認識部９１は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる境界情報を取得する（ステップＳ２０５）。次に、境界認識部９１は、後に詳細に説明する境界認識処理を行う（ステップＳ２１０）。

次に、差分復号化部９２は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる差分動きベクトル情報に基づいて、差分動きベクトルを取得する（ステップＳ２５０）。そして、差分復号化部９２は、取得した差分動きベクトルを、動きベクトル設定部９３へ出力する。

次に、動きベクトル設定部９３は、境界認識部９１により認識された境界に応じた基準画素位置に対応するブロック又は領域に設定された動きベクトルである参照動きベクトルを、動きベクトルバッファ９４から取得する（ステップＳ２６０）。

次に、動きベクトル設定部９３は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる予測式情報から認識される予測式に参照動きベクトルを代入することにより、各領域についての予測動きベクトルを算出する（ステップＳ２６５）。

次に、動きベクトル設定部９３は、算出した予測動きベクトルに差分復号化部９２から入力された差分動きベクトルを加算することにより、各領域についての動きベクトルを算出する（ステップＳ２７０）。動きベクトル設定部９３は、このように領域ごとに動きベクトルを算出し、算出した動きベクトルを各領域に設定する。

次に、予測部９４は、動きベクトル設定部９３により設定された動きベクトル及び参照画像情報、並びにフレームメモリ６９から入力される参照画像データを用いて、予測画素値を生成する（ステップ２８０）。そして、予測部９４は、生成した予測画素値を含む予測画像データをセレクタ７１へ出力する（ステップＳ２９０）。

［４−２．境界認識処理（外周の分割なし）］
図２７は、図２６のステップＳ２１０の処理に相当する、境界認識部９１による境界認識処理の流れの第１の例を示すフローチャートである。図２７の例は、ブロックの外周が分割されない場合（即ち、外周上に１つの経路のみが設定される場合）の処理の流れを示している。

図２７を参照すると、まず、境界認識部９１は、境界情報に含まれる各交点についての道のりを、ブロックサイズに応じた単位量で逆量子化する（ステップＳ２２１）。ここでの逆量子化の単位量は、例えば１画素よりも大きい単位量であって、図１９に関連して説明したように、ブロックのサイズが大きいほど大きい値であってよい。次に、境界認識部９１は、逆量子化後の第１の交点の道のりと固定基準点の位置とに基づいて、第１の交点を認識する（ステップＳ２２３）。次に、境界認識部９１は、上記経路上の第１の交点の次のコーナーを可変基準点に設定する（ステップＳ２２４）。次に、境界認識部９１は、逆量子化後の第２の交点の道のりと可変基準点の位置とに基づいて、第２の交点を認識する（ステップＳ２２５）。

［４−３．境界認識処理（外周２分割）］
図２８は、図２６のステップＳ２１０の処理に相当する、境界認識部９１による境界認識処理の流れの第２の例を示すフローチャートである。図２８の例は、ブロックの外周が２つの経路に分割される場合の処理の流れを示している。この場合、境界情報は、図１６及び図１７に例示したように、各交点が属する経路を識別する情報（以下、経路識別情報という）と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む。

図２８を参照すると、まず、境界認識部９１は、境界情報に含まれる経路識別情報に基づいて、ブロックの外周と境界との２つの交点がそれぞれ属する経路を識別する（ステップＳ２３０）。次に、境界認識部９１は、境界情報に含まれる各交点についての道のりを、ブロックサイズに応じた単位量で逆量子化する（ステップＳ２３１）。次に、境界認識部９１は、ステップＳ２３０での識別結果に基づいて、２つの交点が同じ経路に属するか否かを判定する（ステップＳ２３２）。ここで、２つの交点が同じ経路に属する場合には、処理はステップＳ２３３へ進む。一方、２つの交点が同じ経路に属しない場合には、処理はステップＳ２３６へ進む。

ステップＳ２３３では、境界認識部９１は、逆量子化後の第１の交点の道のりと２つの交点が属する経路の固定基準点の位置とに基づいて、第１の交点を認識する（ステップＳ２３３）。次に、境界認識部９１は、上記経路上の第１の交点の次のコーナーを可変基準点に設定する（ステップＳ２３４）。次に、境界認識部９１は、逆量子化後の第２の交点の道のりと可変基準点の位置とに基づいて、第２の交点を認識する（ステップＳ２３５）。

一方、ステップＳ２３６では、境界認識部９１は、２つの交点がそれぞれ属する経路の各固定基準点の位置と逆量子化後の各道のりとに基づいて、２つの交点を認識する（ステップＳ２３６）。

［４−４．境界認識処理（外周４分割）］
図２９は、図２６のステップＳ２１０の処理に相当する、境界認識部９１による境界認識処理の流れの第３の例を示すフローチャートである。図２９の例は、ブロックの外周が４つの経路に分割される場合の処理の流れを示している。この場合、境界情報は、図１８に例示したように、各交点が属する経路を識別する情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む。

図２９を参照すると、まず、境界認識部９１は、境界情報に含まれる経路識別情報に基づいて、ブロックの外周と境界との２つの交点がそれぞれ属する経路を識別する（ステップＳ２４０）。次に、境界認識部９１は、境界情報に含まれる各交点についての道のりを、ブロックサイズに応じた単位量で逆量子化する（ステップＳ２４１）。次に、境界認識部９１は、２つの交点がそれぞれ属する経路の各固定基準点の位置と逆量子化後の各道のりとに基づいて、２つの交点を認識する（ステップＳ２４６）。

このように、本明細書で説明した境界情報を用いることで、ジオメトリ動き分割においても、幾何学的演算を経ることなく、ブロックの外周と境界との交点を少ない演算量で簡易に認識することが可能である。

＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［５−１．第１の応用例］
図３０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受け取る、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号化する。そして、デコーダ９０４は、復号化処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号化処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号化されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受け取る、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号化装置６０の機能を有する。それにより、矩形以外の様々な形状をとり得る領域にブロックが区分される場合に、既存の手法と比較してより少ない演算量で動きを補償することができる。

［５−２．第２の応用例］
図３１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号化して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号化して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号化してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号化し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０の機能を有する。それにより、矩形以外の様々な形状をとり得る領域にブロックが区分される場合に、既存の手法と比較してより少ない演算量で動きを補償することができる。

［５−３．第３の応用例］
図３２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号化する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号化し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号化装置６０の機能を有する。それにより、矩形以外の様々な形状をとり得る領域にブロックが区分される場合に、既存の手法と比較してより少ない演算量で動きを補償することができる。

［５−４．第４の応用例］
図３３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号化し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０の機能を有する。それにより、矩形以外の様々な形状をとり得る領域にブロックが区分される場合に、既存の手法と比較してより少ない演算量で動きを補償することができる。

＜６．まとめ＞
ここまで、図１〜図３３を用いて、本発明の一実施形態に係る画像符号化装置１０及び画像復号化装置６０について説明した。本実施形態によれば、画像内に設定されるブロックを傾きを有する境界を用いて複数の領域に区分して各領域の動きベクトルが決定される場合に、ブロックの外周と境界との複数の交点を指定する境界情報が、上記動きベクトルに基づく動き補償のために出力される。かかる境界情報を画像符号化装置から画像復号化装置に受け渡すことで、既存の手法のように幾何学的演算を経ることなく、ブロックの外周と境界との交点から各領域の基準画素位置をより少ない演算量で認識し、動き補償を行うことができる。その結果、エンコード及びデコードの双方において処理の複雑さが低減され、装置の実装が容易になると共に、画像の蓄積、配信及び再生をより高速に行うことが可能となる。

また、本実施形態によれば、上記境界情報は、ブロックの外周と境界との各交点を、上記外周上に設定される基準点からの上記外周を周回する経路に沿った道のりにより指定する情報である。かかる構成によれば、画素単位で道のりを指定する場合にも、境界の傾きに応じて探索範囲が変化することがない。従って、画像を符号化する際の動き探索の処理の負荷を軽減することができる。また、既存の手法のように傾き角θと画素単位での距離ρとを指定する場合と比較して、より多くの境界の候補から最適な境界を選択することも可能となる。

また、本実施形態によれば、ブロックの外周上に設定される共通する経路に２つの交点が属する場合に、予め選択される固定基準点からより遠い第２の交点が、当該固定基準点からではなく、可変基準点からの道のりにより指定され得る。それにより、第２の交点の道のりのダイナミックレンジが小さくなるため、可変長符号化後の道のりの符号量を削減することができる。

また、本実施形態によれば、ブロックの外周上に複数の経路が設定され、各交点を指定する情報は、各交点が属する経路を識別する情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含み得る。この場合には、２つの交点の道のりのダイナミックレンジが小さくなるため、可変長符号化後の道のりの符号量をさらに削減することができる。

また、本実施形態によれば、各交点についての道のりは、１画素よりも大きい単位量で量子化され得る。それにより、境界情報の符号量をより一層削減することができる。また、ブロックサイズの大きさに応じて量子化の単位量を変化させることで、動き補償の品質を大きく低下させることなく、境界情報の符号量が削減され得る。

なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号化側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号化時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 画像符号化装置（画像処理装置）
４６ 動きベクトル決定部（境界情報生成部）
６０ 画像復号化装置（画像処理装置）
９１ 境界認識部
９６ 予測部

Claims (22)

1. 画像内に設定されるブロックを傾きを有する境界を用いて複数の領域に区分して各領域の動きベクトルを決定する動きベクトル決定部と、
   前記ブロックの外周と前記境界との複数の交点を指定する境界情報を生成する境界情報生成部と、
   を備える画像処理装置。
2. 前記境界情報は、前記ブロックの外周と前記境界との各交点を、前記外周上に設定される基準点からの前記外周を周回する経路に沿った道のりにより指定する情報である、請求項１に記載の画像処理装置。
3. 前記境界情報は、第１の基準点からの道のりにより第１の交点を指定する情報と第２の基準点からの道のりにより第２の交点を指定する情報とを含み、
   前記第１の基準点は、前記ブロックの予め選択されるコーナーであり、
   前記第２の基準点は、前記経路上で前記第１の交点の次に位置するコーナーである、
   請求項２に記載の画像処理装置。
4. 前記外周は、複数の経路に分割され、
   各交点を指定する情報は、各交点が属する経路を識別する情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む、
   請求項２に記載の画像処理装置。
5. 前記動きベクトル決定部は、各交点についての前記道のりを１画素よりも大きい単位量で量子化する、請求項２に記載の画像処理装置。
6. 前記動きベクトル決定部は、前記道のりの量子化のための前記単位量を、前記ブロックのサイズが大きいほど大きい値に設定する、請求項５に記載の画像処理装置。
7. 前記外周は、前記ブロックの各辺に対応する４つの経路に分割される、請求項４に記載の画像処理装置。
8. 前記外周は、前記ブロックの上辺及び下辺の一方と前記ブロックの左辺及び右辺の一方とを含む２つの経路に分割される、請求項４に記載の画像処理装置。
9. 共通する経路に第１の交点と第２の交点とが属する場合には、前記境界情報は、前記共通する経路の起点である第１の基準点からの道のりにより前記第１の交点を指定する情報と、前記共通する経路上で前記第１の交点の次に位置するコーナーである第２の基準点からの道のりにより前記第２の交点を指定する情報とを含む、
   請求項８に記載の画像処理装置。
10. 前記画像処理装置は、
    前記画像を符号化して符号化ストリームを生成する符号化部、及び
    前記符号化部により生成された前記符号化ストリームと前記境界情報とを伝送する伝送手段、
    をさらに備える、請求項１に記載の画像処理装置。
11. 画像を処理するための画像処理方法において、
    画像内に設定されるブロックを傾きを有する境界を用いて複数の領域に区分して、区分された各領域の動きベクトルを決定するステップと、
    前記ブロックの外周と前記境界との複数の交点を指定する境界情報を生成するステップと、
    を含む画像処理方法。
12. 画像の符号化の際に前記画像内のブロックを複数の領域に区分した境界を、前記ブロックの外周と前記境界との複数の交点を指定する境界情報に基づいて認識する境界認識部と、
    前記境界認識部により認識された前記境界により区分される領域ごとに、動きベクトルに基づいて画素値を予測する予測部と、
    を備える画像処理装置。
13. 前記境界情報は、前記ブロックの外周と前記境界との各交点を、前記外周上に設定される基準点からの前記外周を周回する経路に沿った道のりにより指定する情報である、請求項１２に記載の画像処理装置。
14. 前記境界情報は、第１の基準点からの道のりにより第１の交点を指定する情報と第２の基準点からの道のりにより第２の交点を指定する情報とを含み、
    前記第１の基準点は、前記ブロックの予め選択されるコーナーであり、
    前記第２の基準点は、前記経路上で前記第１の交点の次に位置するコーナーである、
    請求項１３に記載の画像処理装置。
15. 前記外周は、複数の経路に分割され、
    各交点を指定する情報は、各交点が属する経路を示す情報と、各経路上に設定される基準点からの当該経路に沿った道のりとを含む、
    請求項１３に記載の画像処理装置。
16. 前記境界認識部は、１画素よりも大きい単位量で量子化された各交点についての前記道のりを逆量子化する、請求項１３に記載の画像処理装置。
17. 前記境界認識部は、前記ブロックのサイズが大きいほど大きい単位量で前記道のりを逆量子化する、請求項１６に記載の画像処理装置。
18. 前記外周は、前記ブロックの各辺に対応する４つの経路に分割される、請求項１５に記載の画像処理装置。
19. 前記外周は、前記ブロックの上辺及び下辺の一方と前記ブロックの左辺及び右辺の一方とを含む２つの経路に分割される、請求項１５に記載の画像処理装置。
20. 共通する経路に第１の交点と第２の交点とが属する場合には、前記境界情報は、前記共通する経路の起点である第１の基準点からの道のりにより前記第１の交点を指定する情報と、前記共通する経路上で前記第１の交点の次に位置するコーナーである第２の基準点からの道のりにより前記第２の交点を指定する情報とを含む、
    請求項１９に記載の画像処理装置。
21. 前記画像処理装置は、
    前記画像が符号化されている符号化ストリームと前記境界情報とを受け取る受け取り部、及び
    前記受け取り部により受け取られた前記符号化ストリームを復号化する復号化部、
    をさらに備える、請求項１２に記載の画像処理装置。
22. 画像を処理するための画像処理方法において、
    画像の符号化の際に前記画像内のブロックを複数の領域に区分した境界を、前記ブロックの外周と前記境界との複数の交点を指定する境界情報に基づいて認識するステップと、
    認識された前記境界により区分される領域ごとに、動きベクトルに基づいて画素値を予測するステップと、
    を含む画像処理方法。

Images