JP2014150297A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム - Google Patents

Abstract

【課題】符号量の増加を抑えつつ、予測画像の精度を向上させること
【解決手段】入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、処理対象画素の画素値を予測する画面内予測を行う画像符号化装置であって、画面内予測を行なう際に、周辺画素のうち、処理対象画素との間に入力画像が表す被写体の境界がある周辺画素を用いることを抑制する画面内予測部を具備することを特徴とする。
【選択図】図１

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムに関する。

近年、ブロードバンドなどの通信インフラの普及や、携帯電話やビデオカメラなどによって手軽に映像を撮影できる映像取得機器の普及、あるいはテレビ放送をＨＤＤ（Hard Disk Drive；ハードディスクドライブ）やＢＤ（Blu-ray Disc；ブルーレイディスク）に録画保存できるハードディスクＢＤレコーダなどの普及によって、一般消費者が大容量の映像を取り扱う機会が増えてきている。また、映像表示方式の高解像度化に伴って取り扱う映像の容量は益々大きくなり、高性能な映像圧縮技術が必要とされている。

そうした中、国際標準動画圧縮規格Ｈ．２６４（非特許参考文献１）が、画質向上および符号化効率向上を目的として、２００３年に規格化された。Ｈ．２６４は、画像を複数のブロック（以下、マクロブロック）に分割を行い、複数の予測方式を駆使し、そのマクロブロック単位で符号化効率の高い予測方式を逐次選択することで符号化効率を高めている。

Ｈ．２６４で行われる符号化方法については、画面内で符号化が既に完了したブロックの画素情報を用いて、符号化対象ブロックを予測して符号化する画面内予測符号化方式（イントラ予測符号化方式）と、処理を行う画像とは異なる画像を参照して符号化対象ブロックを予測して符号化する画像間予測符号化方式（インター予測符号化方式）がある。

イントラ予測符号化方式は、マクロブロック（１６画素×１６画素）単位、あるいはマクロブロックをさらに分割した４画素×４画素、８画素×８画素（８画素×８画素は、Ｈ．２６４ ＦＲＥｘｔにて策定）単位で、規定の予測モードに従って生成される予測画像と符号化を行う元の画像との差分画像（残差成分）を符号化した際の符号量と、予測モードを特定するための情報を符号化する際に必要な符号量に基づいて、最適な予測方式が選択される（非特許文献１）。

１６画素×１６画素のブロックに対しては、４種類の予測モード（図６、図６については後述する）が適用可能で、１種類のＤＣ成分による予測（平均値予測）と３種類の予測角度を用いた予測（垂直予測、水平予測、平面予測）がある。４画素×４画素、あるいは８画素×８画素のブロックに対しては、９種類の予測モード（図４、図４については後述する）が適用可能であり、１種類のＤＣ成分による予測（平均値予測）と８種類の予測角度を用いた予測（４５°〜２０６．５７°の不均等角度の予測）がある。

また、予測モードを特定するための情報（例えばモードを示すインデックス値）の符号化については、処理対象ブロックの上部と左部の予測モードを用いて予測を行い、その予測に合致する場合には、１ビット分のフラグを用意し、合致したというフラグを立てて判断する。予測に合致しない場合には、そのフラグを立てずに、合致しない予測モードを除いた残りの８種類の予測モードを判断するための３ビット分の情報を付加して符号化する。予測が合えば、予測モードを符号化するのに１ビットの情報で済むが、予測が合わなければ４ビット分の情報を必要とする。

例えば、特許文献１に記載の発明は、イントラ予測符号化方式の符号化効率を向上させることを目的に、任意の予測角度で予測ができるように、Ｈ．２６４の方式に比べて予測モードの数を増やしている。予測角度と処理を行う画素の位置から、理論上の参照画素位置を求め、その画素位置に該当する画素値を、周辺の参照画素を補間することにより生成する技術について開示している。
特許文献２に記載の発明は、周囲の予測モードの角度に基づいて精度よく予測モードを予測する方式について開示している。

特開２００９−２８４２７５号公報 特開２０１０−０５６７０１号公報

角野眞也、大久保榮、菊池義浩、鈴木輝彦、改定三版H.264/AVC教科書、「H.264/AVCの画面内予測符号化」（pp110-pp116）、「8×8画面内（イントラ）予測符号化」（pp264-pp266）他、インプレス

しかしながら、特許文献１に記載の画面間予測方式では、予測精度を向上させるために予測の角度を細かくする必要がある。予測の角度を細かくすると、その角度に１対１に対応する予測モード数が増える。その結果として予測モードを表現するビット数が増えるため符号化する際の符号量が増加する問題がある。
また、特許文献２に記載の画面間予測方式は、予測モードを従来に比べて精度良く予測できたとしても、予測画像の精度を向上させることはできない。

本発明は、このような事情に鑑みてなされたもので、その目的は、符号量の増加を抑えつつ、予測画像の精度を向上させる符号化装置、復号装置、符号化方法、復号方法およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像符号化装置であって、前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記入力画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部を具備することを特徴とする。

（２）また、本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記被写体の境界を、前記入力画像の被写体までの距離を示す情報を用いて検出する被写体境界検出部を具備することを特徴とする。

（３）また、本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記周辺画素のうち、前記処理対象画素の所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界がないときは、前記所定の方向に隣接する画素を用いて、前記処理対象画素の画素値を予測し、前記所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界があるときは、前記所定の方向に隣接する画素を用いて前記処理対象画素の画素値を予測することを抑制する予測画像生成部を具備することを特徴とする。

（４）また、本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素が表す被写体までの距離を示す情報と、前記処理対象画素が表す被写体までの距離を示す情報との差に少なくとも基づき決定する予測画像生成部を具備することを特徴とする。

（５）また、本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素と前記処理対象画素との距離に少なくとも基づき決定する予測画像生成部を具備することを特徴とする。

（６）また、本発明の他の態様は、符号化画像を復号する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像復号装置であって、前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記符号化画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部を具備することを特徴とする。

（７）また、本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記被写体の境界を、前記符号化画像の被写体までの距離を示す情報を用いて検出する被写体境界検出部を具備することを特徴とする。

（８）また、本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記周辺画素のうち、前記処理対象画素の所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界がないときは、前記所定の方向に隣接する画素を用いて、前記処理対象画素の画素値を予測し、前記所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界があるときは、前記所定の方向に隣接する画素を用いて前記処理対象画素の画素値を予測することを抑制する予測画像生成部を具備することを特徴とする。

（９）また、本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素が表す被写体までの距離を示す情報と、前記処理対象画素が表す被写体までの距離を示す情報との差に少なくとも基づき決定する予測画像生成部を具備することを特徴とする。

（１０）また、本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素と前記処理対象画素との距離に少なくとも基づき決定する予測画像生成部を具備することを特徴とする。

（１１）また、本発明の他の態様は、入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像符号化方法であって、前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記入力画像が表す被写体の境界がある前記周辺画素を用いることを抑制する過程を有することを特徴とする。

（１２）また、本発明の他の態様は、符号化画像を復号する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像復号方法であって、前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記符号化画像が表す被写体の境界がある前記周辺画素を用いることを抑制する過程を有することを特徴とする。

（１３）また、本発明の他の態様は、入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像符号化装置のコンピュータを、前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記入力画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部として機能させるためのプログラムである。

（１４）また、本発明の他の態様は、符号化画像を復号する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像復号装置のコンピュータを、前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記符号化画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部として機能させるためのプログラムである。

この発明によれば、符号量の増加を抑えつつ、画面内予測符号化における、予測画像の精度を向上させることができる。

本発明の一実施形態による画像伝送システムの構成を示すブロック図である。 同実施形態における画像符号化装置の構成を示す概略ブロック図である。 同実施形態における奥行き情報利用イントラ予測部の構成を示す概略ブロック図である。 同実施形態における４×４画素のサブブロック単位の画面内予測の予測モードを示す図である。 同実施形態における４×４画素のサブブロック単位の画面内予測の符号化順序を示す図である。 同実施形態における１６×１６画素単位の画面内予測の予測モードを示す図である。 同実施形態におけるデプス利用予測モード実施部の処理概念を説明する図（垂直方向）である。 同実施形態におけるデプス利用予測モード実施部の処理概念を説明する図（水平方向）である。 同実施形態におけるデプス利用予測モード実施部の構成を示す概略ブロック図である。 同実施形態における画像符号化装置が行う画像符号化処理を示すフローチャートである。 同実施形態における画像符号化装置が実行するインター予測処理を示すフローチャートである。 同実施形態における画像符号化装置が実行するイントラ予測処理を示すフローチャートである。 同実施形態における画像復号装置の構成を示す概略ブロック図である。 同実施形態における奥行き情報利用イントラ予測部の構成を示す概略ブロック図である。 同実施形態における画像復号装置が実行する画像復号処理を示すフローチャートである。 同実施形態における画像復号装置が実行するインター処理を示すフローチャートである。 同実施形態における画像復号装置が実行するイントラ処理を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による動画像伝送システムの構成を示す概略ブロック図である。図１に示すように、本実施形態における動画像伝送システム１０は、画像符号化装置１００、通信網５００、画像復号装置８００、表示装置６００を含んで構成される。画像符号化装置１００は、符号化の対象となる画像の画像信号Ｒと該画像に対応したデプスマップのデプスマップ信号Ｄとから、該画像およびデプスマップを符号化し、これらを符号化したデータである符号化データＥを生成して出力する。通信網５００は、画像符号化装置１００が出力した符号化データＥを、画像復号装置８００に伝送する。画像復号装置８００は、伝送されてきた符号化データＥを復号し、復号結果の画像の画像信号Ｒ’を生成する。表示装置６００は、液晶ディスプレイ、プラズマディスプレイなどの画像表示デバイスを有し、画像復号装置８００が生成した画像信号Ｒ’が示す画像を表示する。

画像符号化装置１００は、例えば、テレビジョン放送局に設けられ、放送番組を符号化する。この場合、通信網５００は、放送波を用いて送信する通信網であり、画像復号装置８００および表示装置６００は、テレビジョン受像機に備えられる。あるいは、通信網５００としてインターネットや携帯電話網などを用いてもよい。また、画像符号化装置１００は、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）に格納して販売されるコンテンツを編集するコンテンツホルダに設けられ、これらのコンテンツを符号化する。この場合、符号化画像ＥはＤＶＤ、ＢＤなどに格納され、通信網５００に変えて、配送網により、配送される。そして、画像復号装置８００は、ＤＶＤプレーヤ、ＢＤプレーヤなどに備えられる。

図２は、本実施形態に係る画像符号化装置１００の構成を示す概略ブロック図である。画像符号化装置１００は、画像入力部１０１、減算部１０２、直交変換部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、予測方式制御部１０９、選択部１１０、デブロッキング・フィルタ部１１１、フレームメモリ部１１２、動き補償部１１３、動きベクトル検出部１１４、奥行き情報利用イントラ予測部１１５、デプスマップ符号化部１１６、デプスマップ復号部１１７及びデプス入力部１１８を含んで構成される。なお、デブロッキング・フィルタ部１１１と、フレームメモリ１１２と、動き補償部１１３と、動きベクトル検出１１４とで、インター予測部１２０を構成する。また、奥行き情報利用イントラ予測部１１５と、デプスマップ復号部１１７とで、イントラ予測部１２１を構成する。

画像入力部１０１は、符号化の対象となる画像（入力画像）を示す画像信号Ｒ（入力画像信号）を、一例として５フレーム毎（５フレームの種類については後述する）に、画像符号化装置１００の外部から取得する。画像入力部１０１は、取得した入力画像信号が表す入力画像フレームを予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割する。画像入力部１０１は、分割したブロックの各々を表す画像ブロック信号Ｂを、減算部１０２、動きベクトル検出部１１４及び奥行き情報利用イントラ予測部１１５に出力する。画像入力部１０１は、ブロック位置を順次変えながら、画像フレーム内のすべてのブロックについての出力が完了し、そして取得した画像が終了するまで、各画像フレームに対して、この処理を繰り返す。

本実施形態において、画像符号化装置１００への入力画像は少なくとも基準画像（ベースビュー；ｂａｓｅ ｖｉｅｗ）を含む。基準画像とは、立体表示用の多視点（マルチビュー；ｍｕｌｔｉ−ｖｉｅｗ）の動画像に含まれる予め定めた一つの視点の画像であって、デプスマップを算出する基礎となる画像である。デプスマップ（ｄｅｐｔｈ ｍａｐ）は、基準画像に表された被写体の撮影装置からの奥行又は距離を表す距離情報であって、基準画像の画素毎に与えられた量子化値を含んで構成される。その量子化値の各々をデプス（ｄｅｐｔｈ）値といい、例えば８ビットで量子化された値をとる。

画像入力部１０１に入力される５フレーム毎の画像信号Ｒは、例えばＩピクチャ（Ｉ０）、Ｂピクチャ（Ｂ３）、Ｂピクチャ（Ｂ２）、Ｂピクチャ（Ｂ４）及びＰピクチャ（Ｐ１）の画像信号を含む。画像符号化装置１００に入力される画像信号Ｒは、例えば、この順序（以下、入力順序）で入力される。ここで、符号（Ｉ０等）において、先頭のＩ等は画像の種類を示し、０等は符号化される順序（以下、符号化順序）を示す（従って、入力順序と符号化順序は異なる）。Ｉピクチャとは、フレーム内画像（Ｉｎｔｒａ Ｆｒａｍｅ Ｐｉｃｔｕｒｅ）であって、これを符号化した符号だけを用いて入力画像を復号できる画像である。Ｐピクチャとは、フレーム間順方向予測画像（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）であって、これを符号化した符号と、過去のフレームの画像信号を符号化した符号を用いて入力画像を復号できる画像である。Ｂピクチャとは、双方向予測符号化画像（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）であって、これを復号した符号と、過去もしくは未来の複数のフレームの画像信号を符号化した符号を用いて入力画像を復号できる画像である。

減算部１０２は、画像入力部１０１が出力した画像ブロック信号から、選択部１１０が出力した予測画像ブロック信号を減算して、差分画像ブロック信号を生成する。減算部１０２は、生成した差分画像ブロック信号を直交変換部１０３に出力する。
直交変換部１０３は、減算部１０２が出力した差分画像ブロック信号を直交変換し、種々の周波数特性の強度を示す信号を生成する。

直交変換部１０３は、差分画像ブロック信号を直交変換する際、その差分画像ブロック信号を、例えばＤＣＴ変換（離散コサイン変換；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）して周波数領域信号（例えば、ＤＣＴ変換を行った場合は、ＤＣＴ係数）を生成する。直交変換部１０３は、差分画像ブロック信号に基づき周波数領域信号を生成することができれば、ＤＣＴ変換に限らず、他の方法（例えば、ＦＦＴ（高速フーリエ変換；Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））を用いてもよい。直交変換部１０３は、生成した周波数領域信号に含まれる係数値を、量子化部１０４に出力する。
量子化部１０４は、直交変換部１０３が出力した各周波数特性強度を示す係数値を量子化し、生成した量子化信号ＥＤ（差分画像ブロック符号）を、エントロピー符号化部１０５と逆量子化部１０６に出力する。

逆量子化部１０６は、量子化部１０４が出力した量子化信号ＥＤを、逆量子化して復号周波数領域信号を生成し、逆直交変換部１０７に出力する。
逆直交変換部１０７は、入力された復号周波数領域信号を、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部１０７は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））を用いてもよい。
逆直交変換部１０７は、生成した復号差分画像ブロック信号を加算部１０８に出力する。

加算部１０８は、選択部１１０から予測画像ブロック信号を取得し、逆直交変換部１０７から復号差分画像ブロック信号を取得する。加算部１０８は、予測画像ブロック信号に復号差分画像ブロック信号を加算し、入力画像を符号化・復号した参照画像ブロック信号ＲＢを生成する（内部デコード）。この参照画像ブロック信号ＲＢは、インター予測部１２０及びイントラ予測部１２１に出力される。

インター予測部１２０は、加算部１０８より参照画像ブロック信号ＲＢを取得し、画像入力部１０１より画像ブロック信号を取得する。インター予測部１２０は、これらの信号を用いてインター予測し、インター予測画像ブロック信号を生成する。インター予測部１２０は、生成したインター予測画像ブロック信号を予測方式制御部１０９と選択部１１０に出力する。同時に、インター予測部１２０は、生成したインター予測符号化情報を、予測方式制御部１０９に出力する。インター予測部１２０については後述する。

イントラ予測部１２１は、加算部１０８より参照画像ブロック信号ＲＢを取得し、画像入力部１０１より画像ブロック信号を取得し、デプスマップ符号化部１１６よりデプスマップ符号化データを取得する。イントラ予測部１２１は、これらの信号およびデータを用いてイントラ予測し、イントラ予測画像ブロック信号を生成する。イントラ予測部１２１は、生成したイントラ予測画像ブロック信号を、予測方式制御部１０９と選択部１１０に出力する。同時に、イントラ予測部１２１は、生成したイントラ予測符号化情報を、予測方式制御部１０９に出力する。イントラ予測部１２１については後述する。

デプス入力部１１８は、画像入力部１０１に入力される入力画像に対応するデプスマップのデプスマップ信号Ｄを、画像符号化装置１００の外部より取得する。デプス入力部１１８は、取得したデプスマップを、画像入力部１０１において分割された入力画像ブロックと同じ位置でかつ、同じブロックサイズとなるように、分割（デプスブロック信号）し、デプスマップ符号化部１１６に出力する。デプスマップ符号化部１１６は、デプス入力部１１８が出力したデプスブロック信号を、例えば可変長符号化（エントロピー符号化）を用いて符号化し、データ量がより圧縮されたデプスマップ符号化データＥ２を生成する。デプスマップ符号化部１１６は、生成したデプスマップ符号化データＥ２をイントラ予測部１２１と画像符号化装置１００の外部（例えば、通信網５００を介して画像復号装置８００）に出力する。

続いて、インター予測部１２０について説明する。インター予測部１２０は、デブロッキング・フィルタ部１１１、フレームメモリ１１２、動き補償部１１３、及び動きベクトル検出部１１４より構成される。
デブロッキング・フィルタ部１１１は、加算部１０８より参照画像ブロック信号ＲＢを取得し、画像の符号化時に発生するブロック歪みを減少させるための、例えば公知の符号化方法（例えば、Ｈ.264 Reference Software JM ver. 13.2 Encoder, http://iphome.hhi.de/suehring/tml/, 2008）で用いられたＦＩＲ（Finite Impulse Response；有限インパルス応答）フィルタ処理を行う。デブロッキング・フィルタ部１１１は、処理結果（補正ブロック信号）をフレームメモリ１１２に出力する。

フレームメモリ１１２は、デブロッキング・フィルタ部１１１が出力した補正ブロック信号を、フレーム番号を同定できる情報と共に、該フレーム番号の画像の一部として保持する。
動きベクトル検出部１１４は、画像入力部１０１より入力される画像ブロック信号に類似するブロックを、フレームメモリ１１２に蓄積された画像より探し出し（ブロックマッチング）、探し出したブロックを表すベクトル情報（動きベクトル）を生成する。動きベクトル検出部１１４は、ブロックマッチングを行う際、当該分割されたブロックとの間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す。入力画像信号がＢピクチャである場合は、動きベクトル検出部１１４は、その指標値が最小となる参照画像の領域におけるブロックと、次に指標値が小さい参照画像の領域におけるブロックと、２つの領域を探し出す。

指標値は、画像信号間の相関性や類似性を示すものであればよい。動きベクトル検出部１１４は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌuｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。入力画像信号から分割されたブロック（例えば、大きさがＮ×Ｎ画素）と参照画像信号のブロックとの間のＳＡＤは次の式（１）で表される。

式（１）において、Ｉ_ｉｎ（ｉ_０＋ｉ，ｊ_０＋ｊ）は入力画像の座標（ｉ_０＋ｉ，ｊ_０＋ｊ）における輝度値、（ｉ_０，ｊ_０）は当該分割されたブロックの左上端の画素座標を示す。Ｉ_ｒｅｆ（ｉ_０＋ｉ＋ｐ，ｊ_０＋ｊ＋ｑ）は参照画像の座標（ｉ_０＋ｉ＋ｐ，ｊ_０＋ｊ＋ｑ）における輝度値、（ｐ，ｑ）は当該分割されたブロックの左上端の座標を基準にしたシフト量（動きベクトル）である。

即ち、動きベクトル検出部１１４は、ブロックマッチングにおいて、（ｐ，ｑ）毎にＳＡＤ（ｐ，ｑ）を算出し、ＳＡＤ（ｐ，ｑ）を最小とする（ｐ，ｑ）を探し出す。（ｐ，ｑ）は、入力画像中の当該分割されたブロックから参照画像中の当該参照領域の位置までのベクトル（動きベクトル）を表す。
動き補償部１１３は、動き検出ベクトル検出１１４より動きベクトルを取得し、該当する参照ブロックをインター予測画像ブロック信号として、予測方式制御部１０９と選択部１１０に出力する。動き補償部１１３は、動き検出部１１４が出力した動きベクトルが１つの場合には、該当する画像ブロックを出力し、動き検出部１１４が出力した動きベクトルが２つの場合には、該当する２つの画像ブロックを平均化して出力する。動き補償部１１３は、予測に必要な情報（以下、インター予測符号化情報）、例えば動きベクトルを予測方式制御部１０９へ出力する。

続いて、イントラ予測部１２１について説明する。イントラ予測部１２１は、デプスマップ復号部１１７、及び奥行き情報利用イントラ予測部１１５より構成される。
デプスマップ復号部１１７は、デプスマップ符号化部１１６が出力したデプスマップ符号化データを、例えば可変長復号を用いて情報量がより多いデプスブロック信号を復号する。デプスマップ復号部１１７は、復号したデプスマップＤ’（デプスブロック復号信号）を奥行き情報利用イントラ予測部１１５に出力する。

図３は、本実施形態に係る奥行き情報利用イントラ予測部１１５の構成を示す概略ブロック図である。図３を用いて、奥行き情報利用イントラ予測部１１５の処理について説明する。奥行き情報利用イントラ予測部１１５は、具体的には、第１予測モード実施部２００−１〜第ｎ予測モード実施部２００−ｎ（ｎは１以上の自然数、例えば６）、デプス利用予測モード実施部２０１、及び予測モード選択部２０２を含んで構成される。

第１予測モード実施部２００−１〜第ｎ予測モード実施部２００−ｎは、加算部１０８が出力した参照画像ブロック信号ＲＢから各予測モード（予測画像ブロックの生成方式）による処理に従って第１〜第ｎ予測画像ブロック信号をそれぞれ生成する。第１予測モード実施部２００−１〜第ｎ予測モード実施部２００−ｎは、生成した第１〜第ｎ予測画像ブロック信号を予測モード選択部２０２に出力する。

第１予測モード実施部２００−１〜第ｎ予測モード実施部２００−ｎの各々は、例えば従来の画面内予測モード（例えば、Ｈ.264 Reference Software JM ver. 13.2 Encoder, http://iphome.hhi.de/suehring/tml/, 2008）のいずれかを用いて、画面内予測（イントラ予測）を実施する。Ｈ．２６４では、マクロブロックをさらに分割した４×４画素のサブブロックに適用する９種類の画面内予測と、マクロブロック単位に適用する４種類の画面内予測方式がある（なお、８×８画素のサブブロックを用いた画面内予測については、Ｈ．２６４ ＦＲＥｘｔにて策定されている。４×４画素と同じ画面内予測方式が適用される。）。

具体的には、第１予測画像生成部２００−１は、例えば４×４のサブブロックを用いたイントラ予測（画面内予測）を行う。第２予測画像生成部２００−２は、例えば８×８のサブブロックを用いたイントラ予測を行う。第３予測画像生成部２００−３〜第６予測画像生成部２００−６は、例えば１６×１６のマクロブロック単位の４種類の予測方式を行う。

第１予測画像生成部２００−１は、加算部１０８が出力した参照画像ブロック信号をさらに４×４のサブブロックサイズに分割をし、図５に示した順番で４×４画素単位の予測方式を実行する。すなわち、１６×１６画素のブロックを、４つの８×８画素のブロックに分割し、これらを左上、右上、左下、右下の順に処理する。そして、これらの８×８画素のブロックの各々については、それぞれを、４つの４×４画素のサブブロックに分割し、これら各々の８×８画素のブロック内で、左上、右上、左下、右下の順にイントラ予測を行う。

４×４画素のサブブロックの予測方式は、図４に示したように予測モード０から予測モード８までの９種類の予測方式がある。第１予測画像生成部２００−１は、９種類の予測方式の各々で生成した４×４画素の予測画像ブロックと、画像入力部１０１が出力した画像ブロック信号Ｂの対応するサブブロックとの間の相関度を示す指標を算出し、その指標に基づき、サブブロック毎に予測方式を選択する。第１予測画像生成部２００−１は、その指標として例えば、輝度値の差の絶対値総和（ＳＡＤ）を算出し、ＳＡＤの値が一番小さくなる予測方式を該当する４×４画素のサブブロック予測方式として選択し、対応する位置の第１予測画像ブロック信号を生成する。また、その予測方式を保持しておく。
第１予測画像生成部２００−１は、１６×１６画素分の予測方式と第１予測画像ブロック信号が生成されるまで上記処理を繰り返す。

第２予測画像生成部２００−２は、加算部１０８が出力した参照画像ブロック信号ＲＢをさらに４つの８×８画素のサブブロックに分割し、第１予測画像生成部２００−１で用いた予測モード０から予測モード８と同様の９種類の予測方式を８×８画素のサブブロックの各々に適用し、予測画像を生成する。同時に、その予測方式を保持しておく。
第２予測画像生成部２００−２は、上記処理を繰り返し、順次８×８画素のサブブロック単位で予測方式を確定させ、１６×１６画素ブロックの全ての予測方式と、その予測方式による予測画像ブロック信号を生成する。

第３予測画像生成部２００−３から第６予測画像生成部２００−６は、１６×１６画素単位のイントラ予測（画面内予測）で、加算部１０８が出力した参照画像ブロック信号を用いて、図６の予測モード０から予測モード３に対応する予測画像ブロック信号をそれぞれ生成する。

デプス利用予測モード実施部２０１は、加算部１０８より参照画像ブロック信号とデプスマップ復号部１１７よりデプスブロック復号信号を取得し、デプスマップを用いて、被写体の境界を跨ぐ予測を抑制した画面内予測を行う。デプス利用予測モード実施部２０１の詳細については後述する。デプス利用予測モード実施部２０１は、予測画像ブロック信号と予測方式を予測モード選択部２０２に出力する。

予測モード選択部２０２は、第１予測モード実施部２００−１から第ｎ予測モード実施部２００−ｎ、およびデプス利用予測モード実施部２０１が生成した予測画像ブロック信号と予測に必要な情報を取得する。予測に必要な情報とは、例えば１６×１６画素をサブブロックにさらに分割して処理を行う第１予測モード実施部２００−１、及び第２予測モード実施部２００−２の各サブブロックに適用された予測モードを示す情報や、デプス利用予測モード実施部２０１の予測の方向を示す予測モードを示す情報である。

予測モード選択部２０２は、取得した予測画像ブロック信号の中から（デプス利用予測モード実施部２０１が出力する予測画像ブロック信号も含む）、最も指標値が小さくなる１つの予測画像ブロック信号を選択する。予測モード選択部２０２は、その指標値として、例えば次式で示すように、画像入力部１０１から入力された入力画像に含まれる該当する画像ブロックの輝度値Ｉ_ｉｎ（ｉ_０＋ｉ，ｊ_０＋ｊ）と候補予測画像ブロックの輝度値Ｉ_ｐ，ｍ（ｉ_０＋ｉ，ｊ_０＋ｊ）とのＳＡＤを用いる。

式（２）において、ｍは、どの予測モード実施部のどの予測モードであるかを表すインデックスである。したがって、Ｉ_ｐ，ｍ（ｘ，ｙ）は、予測モードｍによる予測画像の座標ｘ，ｙにおける輝度値である。また、ｉ０、ｊ０は、当該ブロックの左上頂点の座標であり、Ｎはブロックの大きさ（一辺の画素数）である。なお、本実施形態には、ＳＡＤ以外にも指標値として入力画像に含まれる画像ブロックと候補予測画像ブロックの相関、類似度、又は符号化後の情報量など、予測モード毎の処理の有効性を表す変数であれば利用することができる。

予測モード選択部２０２は、この予測モードを表すインデックスを含む予測モード情報を生成する。あるいは、予測モード選択部２０２は、予測に必要な情報が存在する予測モードを選択した場合（具体的には、第１予測モード実施部２００−１、第２予測モード実施部２００−２及びデプス利用予測モード実施部２０１の予測モード）には、インデックスとこの予測に必要な情報をまとめて、予測モード情報を生成する。
予測モード選択部２０２は、選択した予測画像ブロック信号（以下、イントラ予測画像ブロック信号）を選択部１１０と予測方式制御部１０９へ、また前記予測モード情報（以下、イントラ予測符号化情報）を予測方式制御部１０９へ出力する。

図２に戻り、予測方式制御部１０９は、入力画像のピクチャの種類と、インター予測部１２０より入力されるインター予測画像ブロック信号とそのインター予測符号化情報、及びイントラ予測部１２１より入力されるイントラ予測画像ブロック信号とそのイントラ符号化情報とに基づいて予測方式を決め、その予測方式の情報を選択部１１０とエントロピー符号化部１０５に出力する。予測方式制御部１０９は、入力画像のピクチャの種類を監視し、入力画像がＩピクチャの場合はイントラ予測方式を選択する。ＰピクチャやＢピクチャの場合には、予測方式制御部１０９は、エントロピー符号化部１０５で行う符号化により生成されるビット数と減算部１０２の原画像との残差から、例えば従来の手法（例えば、Ｈ.264 Reference Software JM ver. 13.2 Encoder, http://iphome.hhi.de/suehring/tml/, 2008）を用いてラグランジュコストを算出し、インター予測方式とイントラ予測方式のいずれかを選択する。

予測方式制御部１０９は、インター予測符号化情報もしくはイントラ予測符号化情報のうち、前記選択した予測方式に対応する符号化情報に予測方式を特定できる情報を付加し予測符号化情報として、エントロピー符号化部１０５に出力する。
選択部１１０は、予測方式制御部１０９より入力される予測方式の情報に従って、インター予測部１２０より入力されるインター予測画像ブロック信号、あるいはイントラ予測部１２１より入力されるイントラ予測画像ブロック信号を選択して、減算部１０２及び加算部１０８に予測画像ブロック信号を出力する。選択部１１０は、予測方式制御部１０９より入力される予測方式がインター予測である場合には、インター予測部１２０より入力されるインター予測画像ブロック信号を選択して出力し、予測方式制御部１０９より入力される予測方式がイントラ予測である場合は、イントラ予測部１２１より入力されるイントラ予測画像ブロック信号を選択して出力する。

エントロピー符号化部１０５は、量子化部１０４より入力される差分画像符号と、予測方式制御部１０９より入力される予測符号化情報をパッキング（ｐａｃｋｉｎｇ；詰込）し、例えば可変長符号化（エントロピー符号化）を用いて符号化し、情報量がより圧縮された符号化データＥ１を生成する。エントロピー符号化１０５は、生成した符号化データＥ１を画像符号化装置１００の外部（例えば、通信網５００を介して、画像復号装置８００）に出力する。

＜デプス利用予測モード実施部 処理概要＞
次に、デプス利用予測モード実施部２０１によって、予測画像ブロックを生成する方法について説明する。
画面内予測は、前述のように周囲の画素を用いて処理対象ブロックの画素の予測を行っている。具体的には、画面内予測は、処理の完了した周辺の画素を予測の方向に順次コピーしていくことで予測画像ブロック信号を作成する。

従って、テクスチャの特性が大きく変わらない平坦な領域は、この画面内予測によって処理対象ブロックの画素を精度よく予測することが可能で、処理対象ブロックの画素と予測ブロックの画素の差（残差）を小さくすることができ、その結果、符号量を小さく（あるいは、復号時の誤差を小さく）することができる。

一方、異なる被写体は、一般的にテクスチャの特性が大きく異なる。しかしながら、画面内予測は、異なる被写体間をまたがる領域においても、一様に処理がなされるために、予測精度が落ち、符号量を増加させる問題がある。
ここで、異なる被写体は、同一距離でお互いに接している場合を除いて、異なるデプス値を持っていることが多い。つまり、デプス値の違いを利用（例えば、デプス値のエッジを検出）することで、異なる被写体を分離する（異なる被写体の境界を検知）ことが可能である。
この情報を用いて、上記画面内予測の画素の予測を制御することで予測精度を向上させることができる。具体的には、以下のとおりである。

本実施形態におけるデプス利用予測モード実施部２０１が実施するデプスを利用した画面内予測の予測方向は、図６に示す垂直方向の予測（予測モード０）と水平方向の予測（予測モード１）である。但し、以下に説明する処理を適用できる場合（但し、図６の予測モード２を除く）には、その他の予測の方向を用いることも可能である。また、図４におけるサブブロック単位の予測方式（但し、予測モード２を除く）に対しても、以下に説明する処理を適用することも可能である。つまり、本実施形態のように、従来の予測モードを残したまま新たな予測モードとして追加するようにしてもよいし、デプス利用予測モード実施部２０１による予測方式を従来の方式に置き換えて用いることで、モード数を増やさないようにしてもよい。以下は、デプス利用予測モードを新たに追加する例について記載する。

図７、図８は、デプス利用予測モード実施部２０１の処理概念を説明するための図である。図７、図８において、円で示した図形は、処理の完了した画素を示しており、予測画素ブロックを生成する際に参照することができる。また、四角で示した図形は、処理対象画素を示しており、周辺の参照できる画素を用いて予測される対象である。さらに、矢印は、予測の方向を示しており、参照できる画素を矢印の方向に順次予測（具体的には、単純にコピー）していく。すなわち図７の予測モードでは、垂直方向に画素値をコピーし、図８の予測モードでは、水平方向に画素値をコピーする。図７、図８において、太い破線は、被写体の境界を示す。

図９は、本実施形態に係るデプス利用予測モード実施部２０１の構成を示す概略ブロック図である。図９に示すように、デプス利用予測モード実施部２０１は、境界制御予測画像生成部３００、境界予測制御部３０１、及び被写体境界検出部３０２を含んで構成される。

被写体境界検出部３０２は、処理対象の画像ブロック信号Ｂに対応する画素のデプス値を表すデプスブロック信号を、デプスマップ復号部１１７より取得し、デプスのエッジを検出する。デプスのエッジの検出は、デプスマップの隣接画素の差分を閾値処理することによって行う。デプスのエッジが水平方向に存在するか否かの判定は、式（３）に示すように、垂直方向に隣接する画素の差の絶対値が閾値Ｔ_Ｖよりも大きいか否かにより行う。同様に、デプスのエッジが垂直方向に存在するか否かの判定は、水平方向に隣接する画素の差の絶対値が閾値Ｔ_Ｈよりも大きいか否かにより行う。

ここで、Ｄ（ｉ，ｊ）は、画素位置（ｉ，ｊ）におけるデプスマップ値を表す。Ｔ_Ｖ、Ｔ_Ｈは、それぞれ水平方向と垂直方向にエッジが存在するか否かを判定する際に用いる閾値である。具体的には、閾値は、例えば１０である。

上記方法によるデプスエッジの検出結果の一例として、図７、図８の太点線の様にデプスエッジが検出された場合について説明する。図７の垂直方向予測モードと、図８の水平方向予測モードにおいて、デプスエッジの位置は、同じである。図７、図８の例では、予測対象ブロックを左右に分割するように、デプスのエッジが存在している。この場合、処理対象ブロック内の左側と右側において異なる被写体が映っている可能性が高い。従来の垂直方向の予測、あるいは、水平方向の予測では、このエッジを跨るところ、及び予測方向におけるその先の画素において、予測精度が著しく低下する。

境界予測制御部３０１は、被写体境界検出部３０２から入力される水平方向と垂直方向の被写体の境界情報（デプスエッジ）を用いて、境界制御予測画像生成部３００で行う予測を制御する。具体的には、境界予測制御部３０１は、予測方向に対して垂直なデプスエッジが存在する場合、予測方向に隣接する画素からコピーすることを抑制する制御を行う。予測方向に画素をコピーすることを抑制する制御とは、例えば、境界制御予測画像生成部３００における処理を、以下の様に制御することである。

境界制御予測画像生成部３００は、加算部１０８より参照画像ブロック信号ＲＢを取得し、以下のように予測画像ブロック信号を生成する。境界制御予測画像生成部３００の予測モードには、本実施形態では、図７に示すように予測方向が垂直である予測モードと、図８に示すように予測方向が水平である予測モードとがある（２種類の予測画像ブロック信号を生成する）。境界予測制御部３０１は、処理対象画素と、その予測方向の一つ前の画素との間に被写体の境界が存在しないとき、すなわち予測方向に垂直な方向にデプスのエッジが存在しないときは、境界制御予測画像生成部３００に従来の予測方法と同様に処理させる。すなわち、境界予測制御部３０１は、予測方向における処理対象画素の一つ前の画素値をコピーするように、境界制御予測画像生成部３００を制御する。

例えば、図７において、処理対象画素がＱｖ１のとき、予測方向に一つ前の画素であるＰｖ１との間には、デプスエッジが存在しない。このため、境界予測制御部３０１は、画素Ｐｖ１の画素値をコピーして、画素Ｑｖ１の画素値とするように、境界制御予測画像生成部３００を制御する。水平方向についても同様（図８の画素Ｐｈ２から画素Ｑｈ２への処理など）である。一方、予測方向に垂直な方向にエッジが存在する場合は、境界予測制御部３０１は、境界制御予測画像生成部３００に対して、以下の処理を実施するように制御する。

境界制御予測画像生成部３００は、予測方向に垂直なデプスエッジが存在する場合には、以下の式によって、予測画素を生成する。

式（５）は、垂直方向の予測モードにおいて、水平方向にデプスのエッジが存在する場合に、予測画素を生成するための式である。式（６）は、水平方向の予測モードにおいて、垂直方向にデプスのエッジが存在する場合に、予測画素を生成するための式である。基本的な処理は、水平方向と垂直方向で同じであるため、以下は水平方向の式（５）について説明する。
式（５）において、左辺のＧ［ｘ］は、画素ｘの予測画素値である。右辺のｐｒｅ＝｛Ｐｖ１，…，Ｐｖ１６｝が付されたａｒｇｍｉｎ｛｝は、ｐｒｅを、画素Ｐｖ１〜Ｐｖ１６のいずれかとしたときに、ａｒｇｍｉｎ｛｝内の評価式が最小となるｐｒｅを示す関数である。従って、評価式を最小にする画素値が、ｐｒｅ＝｛Ｐｖ１，…，Ｐｖ１６｝（処理を行っている画素の一つ前のラインに存在する画素）の中から選択され、左辺の処理対象画素の画素値としてコピーされる。

評価式は、２つの項から形成されている。第１項（｜Ｄ（Ｑｖｉ）−Ｄ（ｐｒｅ）｜）は、処理対象画素のデプス値と、前記ｐｒｅの中の各画素に対応したデプス値の差の絶対値を表す。第２項（Ｄｉｓ（Ｑｖｉ，ｐｒｅ））は、処理対象画素の位置と、前記ｐｒｅの中の各画素の画素位置の間の距離を表す。それぞれの項の意味は、第１項は、処理対象画素に映っている被写体と同一と考えられる被写体を映している画素をできるだけ参照できるように、デプス値の近い画素を選択するように制御する項である。すなわち、当該項も、境界予測制御部３０１による制御と同様に、処理対象画素との間に被写体の境界がある画素を用いることを抑制するようになっている。第２項は、処理対象画素と近い画素をできるだけ選択するようにする項である。また、各項に積算されている、αとβは、第１項と第２項との間の重みづけを変えるための定数である。具体的には、例えばαは０．１、βは１．０である。

なお、上述の式（５）（６）では、第１項と第２項との和を評価式に用いているが、比を用いるようにしてもよい。また、第１項のみを用いるようにしてもよい。
また、本実施形態では、処理対象の画素と、予測方向に一つ前の画素との間にデプスエッジがあるときにのみ、上述の式（５）（６）を用いるようにしているが、常に上述の式（５）（６）を用いるようにしてもよい。

このように、境界予測制御部３０１は、処理対象の画素と、予測方向（所定の方向）に一つ前の画素（隣接する画素）との間にデプスエッジ（被写体の境界）があるときは、境界制御予測画像生成部３００が上述の式（５）（６）を用いるようにすることで、予測方向に一つ前の画素の画素値を用いることを抑制している。
また、上述の式（５）（６）は、第１項が、処理対象画素と、予測方向に一つ前の列（または行）の画素（周辺画素）とのデプス値の差となっているので、処理対象画素との間に被写体の境界があり、デプス値の差が大きくなっている周辺画素を用いることを抑制することができる。

境界制御予測画像生成部３００は、水平方向と垂直方向に予測した予測画像ブロックを生成する。境界制御予測画像生成部３００は、画像入力部１０１より入力された画像ブロックと前記２種類の予測モード各々で予測した予測画像ブロックの相関性を、例えばＳＡＤ値を用いて判定する。境界制御予測画像生成部３００は、この判定の結果、より相関性の高い（類似した）予測画像ブロックを選択して、予測モード選択部２０２に出力する。境界制御予測画像生成部３００は、選択した予測画像ブロックの予測モードを示す予測符号化情報も、予測モード選択部２０２に出力する。
このように、被写体までの距離を示すデプスマップの境界（被写体境界）において、連続するような画面内画素予測を抑制する制御を行うので、予測精度を向上させることが可能である。

＜画像符号化装置１００フローチャート＞
次に、本実施形態に係る画像符号化装置１００が行う画像符号化処理について説明する。図１０は、本実施形態に係る画像符号化装置１００が行う画像符号化処理を示すフローチャートである。
（ステップＳ２０１）画像符号化装置１００は、外部からフレームごとの画像とそれに対応するデプスマップを取得する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）画像入力部１０１は、画像符号化装置１００の外部から取得したフレームごとの入力画像信号を予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割して、減算部１０２とインター予測部１２０及びイントラ予測部１２１に出力する。また、デプス入力部１１８は、画像入力部１０１に入力された画像と同期されたデプスマップを、画像入力部１０１で実施された画像の分割と同様に分割して、デプスマップ符号化部１１６に出力する。

画像符号化装置１００は、ステップＳ２０３−ステップＳ２１１の処理をフレーム内の画像ブロック毎に繰り返す。
（ステップＳ２０３）デプスマップ符号化部１１６は、デプス入力部１１８から入力されるデプスマップを符号化して、データ量がより圧縮されたデプスマップ符号化データを、イントラ予測部１２１と画像符号化装置１００の外部に（例えば、画像復号装置８００）に出力する。その後、ステップＳ２０４の処理とステップＳ２０５の処理とを並行して行う。

（ステップＳ２０４）インター予測部１２０は、画像入力部１０１から画像ブロック信号を取得し、加算部１０８より復号された参照画像ブロック信号を取得する。インター予測部１２０は、取得したこれらの信号を用いて、インター予測を実施する。インター予測部１２０は、インター予測により生成したインター予測画像ブロック信号を予測方式制御部１０９と選択部１１０に、インター予測符号化情報を予測方式制御部１０９に出力する。なお、最初の処理において、加算部１０８の処理が完了していない場合には、加算部１０８からは、リセットされた画像ブロック（全ての画素値が０の画像ブロック信号）を取得する。インター予測部１２０の処理が完了すると、ステップＳ２０６に進む。

（ステップＳ２０５）イントラ予測部１２１は、画像入力部１０１から画像ブロック信号を取得し、デプスマップ符号化部１１６からデプスマップ符号化データを取得し、加算部１０８より復号された参照画像ブロック信号を取得する。イントラ予測部１２１は、これらの取得した信号を用いて、イントラ予測を実施する。イントラ予測部１２１は、イントラ予測により生成したイントラ予測画像ブロック信号を予測方式制御部１０９と選択部１１０に、イントラ予測符号化情報を予測方式制御部１０９に出力する。なお、最初の処理において、加算部１０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック）を取得する。イントラ予測部１２１の処理が完了すると、ステップＳ２０６に進む。

（ステップＳ２０６）予測方式制御部１０９は、インター予測部１２０よりインター予測画像ブロック信号とインター予測符号化情報を受け取り、イントラ予測部１２１よりイントラ予測画像ブロック信号とイントラ予測符号化情報を受取る。予測方式制御部１０９は、上記ラグランジュコストに基づいて、符号化効率の良い予測モードを選択する。予測方式制御部１０９は、選択した予測モードを示す情報を選択部１１０に出力する。予測方式制御部１０９は、選択した予測モードに対応する予測符号化情報をエントロピー符号化部１０５に出力する。
選択部１０１は、予測方式制御部１０９から入力される予測モード情報に従って、インター予測部１２０から入力されるインター予測画像ブロック信号、あるいはイントラ予測部１２１から入力されるイントラ予測画像ブロック信号を選択して、減算部１０２と加算部１０８に出力する。その後、ステップＳ２０７に進む。

（ステップＳ２０７）減算部１０２は、画像入力部１０１が出力した画像ブロック信号から選択部１１０が出力した予測画像ブロック信号を減算し、差分画像ブロック信号を生成する。減算部１０２は、差分画像ブロック信号を直交変換部１０３に出力する。その後、ステップＳ２０８に進む。

（ステップＳ２０８）直交変換部１０３は、減算部１０２から差分画像ブロック信号を取得し、上記直交変換を実施する。直交変換部１０３は、直交変換後の信号を量子化部１０４に出力する。量子化部１０４は、直交変換部１０３から入力された信号を、上記量子化処理を実施し、差分画像符号を生成する。量子化部１０４は、差分画像符号を、エントロピー符号化部１０５と逆量子化部１０６に出力する。
エントロピー符号化部１０５は、量子化部１０４から入力される差分画像符号と予測方式制御部１０９から入力される予測符号化情報をパッキング（ｐａｃｋｉｎｇ；詰込）し、可変長符号化（エントロピー符号化）を行い、情報量がより圧縮された符号化データＥ１を生成する。エントロピー符号化部１０５は、符号化データＥ１を画像符号化装置１００の外部に（例えば、画像復号装置８００）に出力する。その後、ステップＳ２０９に進む。

（ステップＳ２０９）逆量子化部１０６は、量子化部１０４から差分画像符号ＥＤを取得し、量子化部１０４で実施した量子化の逆の処理を行う。逆量子化部１０６は、この処理により生成された信号を逆直交変換部１０７に出力する。逆直交変換部１０７は、逆量子化部１０６から逆量子化された信号を取得し、直交変換部１０３で実施した直交変換処理の逆直交変換処理を実施し、差分画像（復号差分画像ブロック信号）を復号する。逆直交変換部１０７は、復号された差分画像ブロック信号を加算部１０８に出力する。その後、ステップＳ２１０に進む。

（ステップＳ２１０）加算部１０８は、逆直交変換部１０７が出力した復号された差分画像ブロック信号に、選択部１１０が出力した予測画像ブロック信号を加算して、入力画像を復号する（参照画像ブロック信号）。加算部１０８は、参照画像ブロック信号を、インター予測部１２０とイントラ予測部１２１に出力する。その後、ステップＳ２１１に進む。
（ステップＳ２１１）画像符号化装置１００が、フレーム内の全ブロックについてステップＳ２０３−Ｓ２１０の処理が完了していない場合、処理対象となるブロックを変更してステップＳ２０２に戻る。全ての処理が完了している場合、終了する。

図１１は、インター予測部１２０の処理を説明するフローチャートである。
（ステップＳ３０１）デブロッキング・フィルタ部１１１は、インター予測部１２０の外部である加算部１０８から参照画像ブロック信号を取得し、上記ＦＩＲフィルタ処理を実施する。デブロッキング・フィルタ部１１１は、フィルタ処理後の補正ブロック信号をフレームメモリ１１２に出力する。その後、ステップＳ３０２に進む。

（ステップＳ３０２）フレームメモリ１１２は、デブロッキング・フィルタ部１１１の補正ブロック信号を取得し、フレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップＳ３０３に進む。
（ステップＳ３０３）動きベクトル検出部１１４は、画像入力部１０１から画像ブロック信号を受取ると、画像入力部１０１が出力した画像ブロックに類似するブロックを、フレームメモリ１１２に蓄積された画像より探し出し（ブロックマッチング）、探し出したブロックを表すベクトル情報（動きベクトル）を生成する。動きベクトル検出部１１４は、検出したベクトル情報を含めた符号化のために必要な情報を動き補償部１１３に出力する。その後、ステップＳ３０４に進む。

（ステップＳ３０４）動き補償部１１３は、動きベクトル検出１１４から符号化のために必要な情報を取得し、該当する予測ブロックをフレームメモリより抽出する。動き補償部１１３は、フレームメモリより抽出した予測画像ブロック信号をインター予測画像ブロック信号として予測方式制御部１０９と選択部１１０に出力する。同時に、動き補償部１１３は、動きベクトル検出部１１４より取得した予測に必要な情報を予測方式制御部１０９に出力する。その後、インター予測を終了する。

図１２は、イントラ予測部１２１の処理を説明するフローチャートである。
（ステップＳ４０１）デプスマップ復号部１１７は、デプスマップ符号化部１１６からデプスマップ符号化データE２を取得し、例えば可変長復号を用いて情報量がより多いデプスマップを復号する。デプスマップ復号部１１７は、復号したデプスマップ（デプスブロック復号信号）を奥行き情報利用イントラ予測部１１５に出力する。その後、ステップＳ４０２に進む。

（ステップＳ４０２）第１予測モード実施部２００−１〜第ｎ予測モード実施部２００−ｎは、加算部１０８から取得した参照画像ブロック信号から各予測モード（予測画像ブロックの生成方式）による処理に応じて第１〜第ｎ予測画像ブロック信号をそれぞれ生成する。第１予測モード実施部２００−１〜第ｎ予測モード実施部２００−ｎは、生成した第１〜第ｎ予測画像ブロック信号を予測モード選択部２００に出力する。
デプス利用予測モード実施部２０１は、加算部１０８から取得した参照画像ブロック信号とデプスマップ復号部１１７から取得したデプスブロック復号信号より、デプスを利用した予測画像ブロック信号を生成し、予測モード選択部２０２に出力する。その後、ステップＳ４０３に進む。なお、デプス利用予測モード実施部２０１が行う予測画像生成処理については前述のとおりである。

（ステップＳ４０３）予測モード選択部２０２は、第1予測モード実施部２００−１から第n予測モード実施部２００−ｎ、およびデプス利用予測モード実施部２０１から予測画像ブロック信号と予測に必要な情報を入力する。
予測モード選択部２０２は、前記入力した予測画像ブロック信号の中から（デプス利用予測モード実施部から入力される予測画像ブロック信号も含む）、上記方法により符号化の効率の良い予測モードを選択し、対応する予測モード情報を生成する。
予測モード選択部２０２は、選択した予測画像ブロック信号（以下、イントラ予測画像ブロック信号）を選択部１１０と予測方式制御部１０９へ、また前記予測モード情報（以下、イントラ予測符号化情報）を予測方式制御部１０９へ出力する。その後、イントラ予測を終了する。

次に、本実施形態に係る画像復号装置８００について説明する。図１３は、本実施形態に係る画像復号装置８００の構成を示す概略ブロック図である。画像復号装置８００は、符号化データ入力部８１３、エントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部８０５、選択部８０６、デブロッキング・フィルタ部８０７、フレームメモリ８０８、動き補償部８０９、奥行き情報利用イントラ予測部８１０、デプスマップ復号部８１１、画像出力部８１２、及びデプスマップ符号化データ入力部８１４を含んで構成される。なお、デブロッキング・フィルタ部８０７と、フレームメモリ８０８と、動き補償部８０９とでインター処理部８２０を構成する。また、奥行き情報利用イントラ予測部８１０と、デプスマップ復号部８１１とでイントラ処理部８２１を構成する。

符号化データ入力部８１３は、外部（例えば、画像符号化装置１００）から取得した符号化データＥ１を、処理ブロック単位に分割して、エントロピー復号部８０１に出力する。符号化データ入力部８１３は、ブロック位置を順次変えながら、フレーム内のすべてのブロックが完了し、そして取得した符号データが終了するまで繰り返して出力する。

エントロピー復号部８０１は、符号化データ入力部８１３から取得した処理単位に分割された符号化データを、エントロピー符号化部１０５が行った符号化方法（例えば、可変長符号化）と逆の処理（例えば、可変長復号）であるエントロピー復号して、差分画像ブロック符号と予測符号化情報ＰＥを生成する。エントロピー復号部８０１は、差分画像ブロック符号を逆量子化部８０２に、予測符号化情報ＰＥを予測方式制御部８０５に出力する。

逆量子化部８０２は、エントロピー復号部８０１から入力された差分画像ブロック符号を、逆量子化して復号周波数領域信号を生成し、逆直交変換部８０３に出力する。
逆直交変換部８０３は、逆量子化部８０２が出力した復号周波数領域信号を、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部８０３は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））を用いてもよい。
逆直交変換部８０３は、生成した復号差分画像ブロック信号を加算部８０４に出力する。

予測方式制御部８０５は、エントロピー復号部８０１から入力される予測符号化情報ＰＥの中から、画像符号化装置１００で採用されたマクロブロック単位の予測方式を取り出す。ここで予測方式は、インター予測あるいはイントラ予測である。予測方式制御部８０５は、抽出した予測方式に関する情報を選択部８０６に出力する。また、予測方式制御部８０５は、エントロピー復号部８０１が出力した予測符号化情報ＰＥの中から抽出した予測方式に対応する予測符号化情報を取り出し、抽出した予測方式に対応する処理部に予測符号化情報を出力する。予測方式制御部８０５は、予測方式がインター予測である場合には、インター処理部８２０にインター予測符号化情報を出力する。予測方式制御部８０５は、予測方式がイントラ予測である場合には、イントラ処理部８２１にイントラ予測符号化情報を出力する。

選択部８０６は、予測方式制御部８０５から入力された予測方式の情報に従って、後述するインター処理部８２０が出力するインター予測画像ブロック信号、あるいは後述するイントラ処理部８２１が出力するイントラ予測画像ブロック信号を選択する。予測方式が、インター予測の場合には、インター予測画像ブロック信号を選択する。予測方式が、イントラ予測の場合には、イントラ予測画像ブロック信号を選択する。選択部８０６は、選択した予測画像ブロック信号を、加算部８０４に出力する。

加算部８０４は、逆直交変換部８０３が出力した復号差分画像ブロック信号に、選択部８０６が出力した予測画像ブロック信号を加算し、復号画像ブロック信号を生成する。加算部８０４は、復号した復号画像ブロック信号を、インター処理部８２０とイントラ処理部８２１、及び画像出力部８１２に出力する。

続いて、インター処理部８２０について説明する。インター処理部８２０は、デブロッキング・フィルタ部８０７、フレームメモリ８０８、及び動き補償部８０９より構成される。
デブロッキング・フィルタ部８０７は、加算部８０４から入力される復号画像ブロック信号に対して、デブロッキング・フィルタ部１１１で行うＦＩＲフィルタと同じ処理を行い、その処理結果（補正ブロック信号）をフレームメモリ８０８に出力する。
フレームメモリ８０８は、デブロッキング・フィルタ部８０７から補正ブロック信号を取得し、フレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。

動き補償部８０９は、予測方式制御部８０５よりインター予測符号化情報を取得し、その中から参照画像情報と予測ベクトル情報（動きベクトル）を取り出す。動き補償部８０９は、取り出した参照画像情報と予測ベクトル情報に基づいて、フレームメモリ８０８に蓄積されている画像の中から対象の画像ブロック信号（予測画像ブロック信号）を抽出する。動き補償部８０９は、上記予測ベクトル（動きベクトル）が1つの場合には、該当する画像ブロックをフレームメモリ８０８より１つ取り出し、選択部８０６に出力する。上記予測ベクトル（動きベクトル）が２つの場合には、該当する２つの画像ブロックをフレームメモリ８０８より取り出し、それらを平均化して、選択部８０６に出力する。インター処理部８２０（動き補償部８０９）より選択部８０６に出力する、この信号は、インター予測画像ブロック信号である。

続いて、イントラ処理部８２１について説明する。イントラ処理部８２１は、奥行き情報利用イントラ予測部８１０とデプスマップ復号部８１１より構成される。
デプスマップ符号化データ入力部８１４は、外部（例えば、画像符号化装置１００）から入力されたデプスマップ符号化データＥ２を処理ブロック単位に分割し、イントラ処理部８２１に出力する。

デプスマップ復号部８１１は、デプスマップ符号化データ入力部８１４が出力したブロック単位のデプスマップ符号化データを、デプスマップ符号化部１１６が行った符号化方法（例えば、可変長符号化）と逆の処理（例えば、可変長復号）であるエントロピー復号して、デプスブロック復号信号を生成する。デプスマップ復号部８１１は、デプスブロック復号信号を奥行き情報利用イントラ予測部８１０に出力する。

図１４は、奥行き情報利用イントラ予測部８１０の構成を示す概略ブロック図である。奥行き情報利用イントラ予測部８１０は、第1予測モード実施部９００−１、第2予測モード実施部９００−２、第ｎ予測モード実施部９００−ｎ、デプス利用予測モード実施部９０１及び予測モード選択部９０２を含んで構成される。

予測モード選択部９０２は、予測方式制御部８０５が出力したイントラ予測符号化情報の中から、画像符号化装置１００の予測モード選択部２０２で作成した予測モードを示すインデックス（予測モード）と、予測に必要な情報をそれぞれ取り出す。なお、ここで、予測に必要な情報を取り出すのは、インデックスが示す予測モードが、予測に必要な情報が存在する予測モード（具体的には、第1予測モード、第2予測モードのサブブロック単位で予測画像を生成するモードとデプス利用予測モード）場合である。予測モード選択部９０２は、予測に必要な情報を取り出した場合には、該当する予測モード実施部９００−１〜９００−ｎ、９０１にその情報を出力する。予測モード選択部９０２は、各予測モード実施部が生成した予測画像ブロック信号の中から、上記インデックス（予測モード）が示す予測モードの予測画像ブロック信号を選択し、イントラ予測画像ブロック信号として、選択部８０６へ出力する。

第1予測モード実施部９００−１、第2予測モード実施部９００−２、第ｎ予測モード実施部９００−ｎは、画像符号化装置１００の奥行き情報利用イントラ予測部１１５に備わる第1予測モード実施部２００−１、第2予測モード実施部２００−２、第ｎ予測モード実施部２００−ｎと同じ処理が実施される。但し、16×16画素をさらに分割したサブブロック単位で予測を行う第1予測モード実施部２００−１及び、第2予測モード実施部２００−２については、各サブブロックにおける予測モード（予測に必要な情報）を予測モード選択部９０２より入力し、対応する予測モードを各サブブロック単位で実施する。予測モードについては、図４に示した内容である。

デプス利用予測モード実施部９０１は、予測モード選択部９０２より予測に必要な情報（具体的には予測の方向を示す情報）を取得し、デプスマップ復号部８１１よりデプスブロック復号信号を取得する。デプス利用予測モード実施部９０１は、これら取得した情報と信号を用いて、画像符号化装置１００のデプス利用予測モード実施部２０１が実施したように予測画像ブロック信号を生成する。予測に必要な情報とは、前記デプス利用予測モード実施部２０１が選択した予測の方向に関する情報である。デプス利用予測モード実施部９０１の構成は、基本的にデプス利用予測モード実施部２０１の構成と同じである。ただし、画像符号化装置１００の境界制御予測画像生成部３００が水平方向の予測ブロックと垂直方向の予測ブロックを入力画像との相関性を基に選択を行う最後の処理を、デプス利用予測モード実施部９０１の境界制御予測画像生成部３００では、予測に必要な情報を用いて選択するところが異なる。以上の処理によって、デプス利用予測モード実施部９０１は、符号化時のデプス利用予測モード実施部２０１と同じ予測画像ブロック信号を生成する。

次に、本実施形態に係る画像復号装置８００が行う画像復号処理について説明する。図１５は、本実施形態に係る画像復号装置８００が行う画像復号処理を示すフローチャートである。
（ステップＳ６０１）画像復号装置８００は、通信網５００を介して画像符号化装置１００から画像の符号化データＥ１とデプスマップの符号化データＥ２とからなる符号化データＥを取得する。その後、ステップＳ６０２に進む。

（ステップＳ６０２）符号化データ入力部８１３は、取得した画像の符号化データＥ１を予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）に対応する処理ブロックに分割して、エントロピー復号部８０１に出力する。また、デプスマップ符号化データ入力部８１４は、符号化データ入力部８１３に入力された符号化データと同期したデプスマップ符号化データを画像復号装置８００の外部から入力し、符号化データ入力部８１３で実施された分割と同様の処理単位に分割して、イントラ処理部８２１に出力する。

画像復号装置８００は、ステップＳ６０３−ステップＳ６０８の処理をフレーム内の画像ブロック毎に繰り返す。
（ステップＳ６０３）エントロピー復号部８０１は、符号化データ入力部８１３が出力した符号化データをエントロピー復号し、差分画像ブロック符号と予測符号化情報を生成する。エントロピー復号部８０１は、差分画像ブロック符号を、逆量子化部８０２に出力し、予測符号化情報を予測方式制御部８０５に出力する。予測方式制御部８０５は、エントロピー復号部８０１から予測符号化情報を取得し、予測方式に関する情報とその予測方式に対応する予測符号化情報を取り出す。予測方式が、インター予測の場合には、予測符号化情報をインター予測符号化情報として、インター処理部８２０に出力する。予測方式が、イントラ予測の場合には、予測符号化情報をイントラ予測符号化情報として、イントラ処理部８２１に出力する。その後、ステップＳ６０４とステップＳ６０５に進む。なお、ステップＳ６０４とステップＳ６０５とは、各ブロックについて、並行して処理を実施するようにしてもよいし、予測方式に応じて、いずれか片方の処理のみを実施するようにしてもよい。

（ステップＳ６０４）インター処理部８２０は、予測方式制御部８０５が出力するインター予測符号化情報と、加算部８０４が出力する復号画像ブロック信号とを取得して、インター処理を実施する。インター処理部８２０は、生成されたインター予測画像ブロック信号を選択部８０６に出力する。インター処理の内容については後述する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。インター処理部の処理が完了すると、ステップＳ６０６に進む。

（ステップＳ６０５）イントラ処理部８２１は、予測方式制御部８０５が出力するイントラ予測符号化情報と、加算部８０４が出力する復号画像ブロック信号とを取得して、イントラ予測を実施する。イントラ処理部８２１は、生成されたイントラ予測画像ブロック信号を選択部８０６に出力する。イントラ予測の処理については後述する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。イントラ予測部８２１の処理が完了すると、ステップＳ６０６に進む。

（ステップＳ６０６）選択部８０６は、予測方式制御部８０５から出力された予測方式に関する情報を取得し、インター処理部８２０が出力したインター予測画像ブロック信号もしくは、イントラ処理部８２１が出力したイントラ予測画像信号を選択して、加算部８０４に出力する。その後、ステップＳ６０７に進む。

（ステップＳ６０７）逆量子化部８０２は、エントロピー復号部８０１から入力した差分画像ブロック符号に対して、画像符号化装置１００の量子化部１０４で実施した量子化の逆の処理を行う。逆量子化部８０２は、生成された復号周波数領域信号を逆直交変換部８０３に出力する。逆直交変換部８０３は、逆量子化部８０２から逆量子化された復号周波数領域信号を取得し、画像符号化装置１００の直交変換部１０３で実施した直交変換処理の逆直交変換処理を実施し、差分画像（復号差分画像ブロック信号）を復号する。逆直交変換部８０３は、復号された復号差分画像ブロック信号を加算部８０４に出力する。加算部８０４は、逆直交変換部８０３が出力した復号差分画像ブロック信号に、選択部８０６が出力した予測画像ブロック信号を加算して、復号画像ブロック信号を生成する。加算部８０４は、復号した復号画像ブロック信号を画像出力部８１２とインター処理部８２０及びイントラ処理部８２１に出力する。その後、ステップＳ６０８に進む。

（ステップＳ６０８）画像出力部８１２は、加算部８０４が出力した復号画像ブロック信号を、画像内の対応する位置に配置させ出力画像信号Ｒ’を生成する。フレーム内の全ブロックについてステップＳ６０３−Ｓ６０７の処理が完了していない場合、処理対象となるブロックを変更してステップＳ６０２に戻る。
画像出力部８１２は、生成した出力画像信号Ｒ’を画像復号装置８００の外部（表示装置６００）に出力する際には、例えば上述の入力順序で５フレーム（Ｉピクチャ（Ｉ０）、Ｂピクチャ（Ｂ３）、Ｂピクチャ（Ｂ２）、Ｂピクチャ（Ｂ４）及びＰピクチャ（Ｐ１））毎に出力する。

図１６は、ステップＳ６０４のインター処理を説明するフローチャートである。
（ステップＳ７０１）デブロッキング・フィルタ部８０７は、インター処理部８２０の外部である加算部８０４から復号画像ブロック信号を取得し、上記符号化時に行ったＦＩＲフィルタ処理を実施する。デブロッキング・フィルタ部８０７は、フィルタ処理後の補正ブロック信号をフレームメモリ８０８に出力する。その後、ステップＳ７０２に進む。

（ステップＳ７０２）フレームメモリ８０８は、デブロッキング・フィルタ部８０７が出力した補正ブロック信号を、フレーム番号を同定できる情報と共に画像の一部として保持しておく。その後、ステップＳ７０３に進む。
（ステップＳ７０３）動き補償部８０９は、予測方式制御部８０５からインター予測符号化情報を取得し、該当する予測ブロック信号をフレームメモリより抽出する。動き補償部８０９は、フレームメモリより抽出した予測画像ブロック信号をインター予測画像ブロック信号として、選択部８０６に出力する。その後、インター処理を終了する。

図１７は、ステップＳ６０５のイントラ処理を説明するフローチャートである。
（ステップＳ８０１）デプスマップ復号部８１１は、デプスマップ符号化データ入力部８１４から処理単位に分割したデプスマップ符号化データを取得し、例えば可変長復号を用いて情報量がより多いデプスマップを復号する。デプスマップ復号部８１１は、復号したデプスマップ（デプスブロック復号信号）を奥行き情報利用イントラ予測部８１０に出力する。その後、ステップＳ８０２に進む。

（ステップＳ８０２）第１予測モード実施部９００−１〜第ｎ予測モード実施部９００−ｎは、加算部８０４が出力した復号画像ブロック信号を用いて、予測画像ブロック信号を生成する。サブブロック単位で処理が実施される予測モード実施部、具体的には、第１予測モード実施部９００−１と第２予測モード実施部９００−２については、画像符号化装置１００で採用された各サブブロックの予想モードを示す情報を予測モード選択部９０２から取得し、予測画像ブロック信号を生成する。第１予測モード実施部９００−１〜第ｎ予測モード実施部９００−ｎは、生成した第１〜第ｎ予測画像ブロック信号を予測モード選択部９０２に出力する。

デプス利用予測モード実施部９０１は、加算部１０８が出力した復号画像ブロック信号と、デプスデプスマップ復号部８１１が出力したデプスブロック復号信号と、予測モード選択部９０２が出力した予測に必要な情報（具体的には、予測の方向を示す情報）とを用いて、図３のデプス利用予測モード実施部２０１で行った処理と同様の処理を実施し、デプス利用予測画像を生成する。デプス利用予測モード実施部９０１は、生成した予測画像信号を予測モード選択部９０２に出力する。その後、ステップＳ８０３に進む。

（ステップＳ８０３）予測モード選択部９０２は、予測方式制御部８０５から入力したイントラ予測符号化情報から、画像符号化装置１００で採用された予測モードを示す情報を取り出し、該当する予測モードの予測画像ブロック信号を、イントラ予測画像ブロック信号として選択部８０６に出力する。予測モード選択部９０２は、取り出した予測モードがサブブロック単位で実施する予測モードである場合には、さらに各サブブロックの予測モードを取り出し、該当する予測モード実施部にその情報を出力する。その後、イントラ予測を終了する。予測モード選択部９０２は、取り出した予測モードがデプス利用予測モードである場合には、予測の方向に関する情報を取り出し、デプス利用予測モード実施部９０１に出力する。

なお、上述の画像符号化装置１００はデプス入力部１１８とデプスマップ符号化部１１６を備え、画像復号装置８００は、デプスマップ符号化データ入力部８１４とデプスマップ復号部８１１を備えていたが、これに限られない。例えば、入力画像に対応するデプスマップに関する情報を、別途の手段で画像復号装置８００において利用できるようにしてもよい。例えば、オフラインでの受け渡し、あるいは外部に設置され映像情報と対応づけてデプスマップを記憶したサーバ装置から通信回線を介して、画像符号化装置１００及び画像復号装置８００がデプスマップを受信するようにしてもよい。そのために、映像情報を示す映像のタイトルが、通信回線を通じて検索可能であって、その映像情報が選択されたときに、対応するデプスマップが受信できるようにする。

また、本実施形態に係る画像符号化装置１００は、入力画像とは異なる視点の画像も取得して、入力画像に含まれる画素と、入力画像とは異なる視点の画像に含まれる画素との間の視差を表す値を画素値とするデプスマップを生成するデプスマップ生成部を備えてもよい。その場合、デプスマップ生成部は、生成したデプスマップをデプス入力部１１８に出力する。

また、本実施形態に係る画像復号装置８００は、出力画像と、その出力画像と同じフレームのデプスマップに基づいて出力画像とは異なる視点の第２の出力画像を生成し、外部に出力してもよい。
また、上述の例では、画像符号化装置１００は、入力画像信号を５フレーム毎に入力していたが、本実施形態では、これに限らず、任意の数のフレーム数毎に入力してもよい。
また、上述の例では、画像復号装置８００は、出力画像信号を５フレーム毎に出力していたが、本実施形態では、これに限らず、任意の数のフレーム数毎に出力してもよい

また、本実施形態では、符号化する画像を動画像としたが、静止画像であってもよい。また、符号化する画像を、多視点の画像とし、対応するデプスマップのある視点の画像においてのみ、デプス利用の予測モードを用い、対応するデプスマップのない視点の画像については、従来の予測モードを用いるようにしてもよい。

このように、本実施形態では、画面内予測を行う際に、被写体までの距離を示すデプスマップの境界において、連続するような画素予測を抑制する制御を行う予測モードを２つ持つ。従来に比べて、２つの予測モードの追加のみとなっているので、予測モード数の増加による符号量の増加を抑えつつ、予測画像の精度を向上させることができる。そして、予測モード数の増加による符号量の増加を抑えつつ、予測画像の精度が向上しているので、予測画像と入力画像との残差を最小化し、高効率の画像符号化及び復号を実現することができる。
なお、従来の予測モードに変えて、デプス利用の予測モードを用いるようにすると、予測モード数の増加もないので、さらに符号量の増加を抑えることができる。

なお、上述した実施形態における画像符号化装置１００、画像復号装置８００の一部、例えば、減算部１０２、直交変換部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、予測方式制御部１０９、選択部１１０、デブロッキング・フィルタ部１１１、動き補償部１１３、動きベクトル検出部１１４、奥行き情報利用イントラ予測部１１５、デプスマップ符号化部１１６並びにデプスマップ復号部１１７、及びエントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部８０５、選択部８０６、デブロッキング・フィルタ部８０７、動き補償部８０９、奥行き情報利用イントラ予測部８１０、並びにデプスマップ復号部８１１をコンピュータで実現するようにしても良い。

その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１００又は画像復号装置８００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における画像符号化装置１００及び画像復号装置８００の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１００及び画像復号装置８００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０…動画像伝送システム
１００…画像符号化装置
１０１…画像入力部
１０２…減算部
１０３…直交変換部
１０４…量子化部
１０５…エントロピー符号化部
１０６…逆量子化部
１０７…逆直交変換部
１０８…加算部
１０９…予測方式制御部
１１０…選択部
１１１…デブロッキング・フィルタ部
１１２…フレームメモリ部
１１３…動き補償部
１１４…動きベクトル検出部
１１５…奥行き情報利用イントラ予測部
１１６…デプスマップ符号化部
１１７…デプスマップ復号部
１１８…デプス入力部
１２０…インター予測部
１２１…イントラ予測部
２００−１…第１予測モード実施部
２００−２…第２予測モード実施部
２００−ｎ…第ｎ予測モード実施部
２０１…デプス利用予測モード実施部
２０２…予測モード選択部
３００…境界制御予測画像生成部
３０１…境界予測制御部
３０２…被写体境界検出部
５００…通信網
６００…表示装置
８００…画像復号装置
８０１…エントロピー復号部
８０２…逆量子化部
８０３…逆直交変換部
８０４…加算部
８０５…予測方式制御部
８０６…選択部
８０７…デブロッキング・フィルタ部
８０８…フレームメモリ
８０９…動き補償部
８１０…奥行き情報利用イントラ予測部
８１１…デプスマップ復号部
８１２…画像出力部
８１３…符号化データ入力部
８１４…デプスマップ符号化データ入力部
８２０…インター処理部
８２１…イントラ処理部
９００−１…第１予測モード実施部
９００−２…第２予測モード実施部
９００−ｎ…第ｎ予測モード実施部
９０１…デプス利用予測モード実施部
９０２…予測モード選択部

Claims (14)

1. 入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像符号化装置であって、
   前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記入力画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部
   を具備することを特徴とする画像符号化装置。
2. 前記画面内予測部は、
   前記被写体の境界を、前記入力画像の被写体までの距離を示す情報を用いて検出する被写体境界検出部を具備すること
   を特徴とする請求項１に記載の画像符号化装置。
3. 前記画面内予測部は、
   前記周辺画素のうち、前記処理対象画素の所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界がないときは、前記所定の方向に隣接する画素を用いて、前記処理対象画素の画素値を予測し、前記所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界があるときは、前記所定の方向に隣接する画素を用いて前記処理対象画素の画素値を予測することを抑制する予測画像生成部を具備すること
   を特徴とする請求項２に記載の画像符号化装置。
4. 前記画面内予測部は、
   前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素が表す被写体までの距離を示す情報と、前記処理対象画素が表す被写体までの距離を示す情報との差に少なくとも基づき決定する予測画像生成部を具備すること
   を特徴とする請求項１に記載の画像符号化装置。
5. 前記画面内予測部は、
   前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素と前記処理対象画素との距離に少なくとも基づき決定する予測画像生成部を具備すること
   を特徴とする請求項１に記載の画像符号化装置。
6. 符号化画像を復号する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像復号装置であって、
   前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記符号化画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部
   を具備することを特徴とする画像復号装置。
7. 前記画面内予測部は、
   前記被写体の境界を、前記符号化画像の被写体までの距離を示す情報を用いて検出する被写体境界検出部を具備すること
   を特徴とする請求項６に記載の画像復号装置。
8. 前記画面内予測部は、
   前記周辺画素のうち、前記処理対象画素の所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界がないときは、前記所定の方向に隣接する画素を用いて、前記処理対象画素の画素値を予測し、前記所定の方向に隣接する画素と、前記処理対象画素との間に前記被写体の境界があるときは、前記所定の方向に隣接する画素を用いて前記処理対象画素の画素値を予測することを抑制する予測画像生成部を具備すること
   を特徴とする請求項７に記載の画像復号装置。
9. 前記画面内予測部は、
   前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素が表す被写体までの距離を示す情報と、前記処理対象画素が表す被写体までの距離を示す情報との差に少なくとも基づき決定する予測画像生成部を具備すること
   を特徴とする請求項６に記載の画像復号装置。
10. 前記画面内予測部は、
    前記処理対象画素の画素値を予測する際に用いる周辺画素を、前記周辺画素と前記処理対象画素との距離に少なくとも基づき決定する予測画像生成部を具備すること
    を特徴とする請求項６に記載の画像復号装置。
11. 入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像符号化方法であって、
    前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記入力画像が表す被写体の境界がある前記周辺画素を用いることを抑制する過程
    を有することを特徴とする画像符号化方法。
12. 符号化画像を復号する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像復号方法であって、
    前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記符号化画像が表す被写体の境界がある前記周辺画素を用いることを抑制する過程
    を有することを特徴とする画像復号方法。
13. 入力画像を符号化する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像符号化装置のコンピュータを、
    前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記入力画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部
    として機能させるためのプログラム。
14. 符号化画像を復号する際に、処理対象画素の周辺にある周辺画素の画素値を用いて、前記処理対象画素の画素値を予測する画面内予測を行う画像復号装置のコンピュータを、
    前記画面内予測を行なう際に、前記周辺画素のうち、前記処理対象画素との間に前記符号化画像が表す被写体の境界がある前記周辺画素を用いることを抑制する画面内予測部
    として機能させるためのプログラム。

Images