JP2013179554A

JP2013179554A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Info

Publication number: JP2013179554A
Application number: JP2012080006A
Authority: JP
Inventors: Takaya Yamamoto; 貴也山本; Tadashi Uchiumi; 端内海
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-01-31
Filing date: 2012-03-30
Publication date: 2013-09-09

Abstract

【課題】視差補償予測符号化する際に、精度の優れた予測ベクトルを得ることが出来る画像符号化装置を提供すること。
【解決手段】複数の視点画像を符号化する画像符号化装置であって、複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、第１の視点画像と、複数の視点画像のうちの第１の視点画像とは異なる第２の視点画像との間の視差情報を生成する視差情報生成部と、第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する視差情報に基づいて、符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、符号化対象ブロックの視点間予測符号化方式による符号化を行う画像符号化部とを備えることを特徴とする。
【選択図】図１

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムに関する。

従来の動画像符号化方式としてＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）／Ｈ．２６４方式などがある。これらの動画像符号化方式では、動き補償フレーム間予測符号化という動画像の時間方向の相関性を利用し符号量の削減を図る符号化方式を採用している。動き補償フレーム間予測符号化では、符号化対象の画像をブロック単位に分割し、ブロック毎に動きベクトルを求める。そして、この動きベクトルにより示される参照画像のブロックの画素値を予測に用いることで、効率的な符号化を実現している。

さらに、非特許文献１にあるように、ＭＰＥＧ−４やＨ．２６４／ＡＶＣ規格では、この動きベクトルの圧縮率を向上させるために、予測ベクトルを生成し、符号化対象ブロックの動きベクトルと予測ベクトルの差分を符号化している。仮に、予測ベクトルの予測精度が高ければ、動きベクトルを直接符号化するよりも、この差分値を符号化した方が、符号化効率が高くなる。具体的には、図１６に示すように符号化対象ブロックの上に隣接しているブロック（図中の隣接ブロックＡ）と右上に隣接しているブロック（図中の隣接ブロックＢ）と、左に隣接しているブロック（図中の隣接ブロックＣ）の動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとしている。

また、近年、Ｈ．２６４規格にて、複数のカメラで同一の被写体や背景を撮影した複数の動画像である多視点動画像を符号化するための拡張規格であるＭＶＣ（Multiview Video Coding）が策定された。この符号化方式では、カメラ間の相関性を表す視差ベクトルを利用して符号量の削減を図る視差補償予測符号化を用いている。また、視差補償予測の結果として検出される視差ベクトルに対しても、上記動きベクトルにおける予測ベクトル生成方式と同様な方法で生成した予測ベクトルを利用することにより、符号量の削減が可能である。

但し、動き補償フレーム間予測符号化と視差補償予測符号化では、それぞれ時間方向の相関性とカメラ間の相関性を利用して符号化するため、検出される動きベクトルと視差ベクトル間に相関性は無い。そのため、隣接ブロックが符号化対象ブロックと異なる符号化方式で符号化された場合、その隣接ブロックの動きベクトル若しくは視差ベクトルを予測ベクトルの生成に活用できないという問題点がある。具体的な一例としては、符号化対象ブロックに隣接する３つの周辺ブロック（左、上、右上）のうち、左と上は動き補償フレーム間予測方式を用い、右上は視差補償予測方式を用いるというように、予測方式が混在する場合である。この状態で、動き補償フレーム間予測を行おうとすると、右上の隣接ブロックについて予測に利用できる動きベクトルが存在しない。或いは、視差補償予測を行おうとすると、左および上の隣接ブロックについて予測に利用できる視差ベクトルが存在しない。そして、従来の方式では、利用するベクトルが存在しない隣接ブロックはゼロベクトルで置き換えられるため、予測ベクトルの精度が低下する問題があった。上記例の他にも、隣接ブロックの符号化方式が符号化対象ブロックの予測方式と全て異なる場合にも同じ問題が発生する。

この問題に対し、特許文献１では隣接ブロックの符号化方式が符号化対象ブロックと異なる場合に、符号化対象ブロックの符号化方式が動き補償フレーム間予測符号化の時には、隣接ブロックの視差ベクトルが参照する領域に最も多く含まれるブロックの動きベクトルを予測ベクトル生成時に使用し、符号化対象ブロックの符号化方式が視差補償予測符号化の時には、隣接ブロックの動きベクトルが参照する領域に最も多く含まれるブロックの視差ベクトルを予測ベクトル生成時に使用することにより、予測ベクトルの生成精度を向上させている。

また、現在、ＭＰＥＧのアドホックグループであるＭＰＥＧ−３ＤＶにおいてカメラで撮影した映像と合わせて奥行き画像も伝送する新しい規格が策定されている。
奥行き画像とはカメラから被写体までの距離を表した情報であり、生成方法としては例えば、カメラの近傍に設置された距離を測定する装置から取得する方法がある。また、複数視点のカメラから撮影された画像を解析することによって奥行き画像を生成することもできる。

ＭＰＥＧ−３ＤＶの新しい規格におけるシステムの全体図を図４０に示す。この新しい規格は、２視点以上の複数視点に対応しているが、図４０では２視点の場合で説明する。このシステムでは、被写体９０１をカメラ９０２、９０４で撮影し画像を出力するとともに、それぞれのカメラの近傍に設置されている被写体までの距離を測定するセンサ９０３、９０５を用いて奥行き画像（デプスマップ）を生成し出力する。符号化器９０６は、入力として画像と奥行き画像を受け取り、動き補償フレーム間予測符号化や視差補償予測符号化を用いて、画像及び奥行き画像を符号化し出力する。復号器９０７はローカルな伝送ラインやネットワークＮを介して伝送されてくる符号化器９０６の出力結果を入力として受け取り、復号し、復号画像及び復号した奥行き画像を出力する。表示部９０８は入力として復号画像と復号した奥行き画像を受け取り、復号画像を表示する、或いは、奥行き画像を用いた処理を復号画像に施してから表示する。

国際公開第２００８／０５３７４６号

大久保榮監修、角野眞也、菊池義浩、鈴木輝彦共編、「Ｈ．２６４／ＡＶＣ教科書」、改訂三版、インプレスＲ＆Ｄ、２００９年１月１日、ＰＰ１２３−１２５（動きベクトルの予測）

しかしながら、特許文献１に記載の方法にあっては、精度の良い予測ベクトルを生成することができないことがあるという問題がある。例えば、符号化対象ブロックを視差補償予測符号化する場合に、隣接ブロックの動きベクトルが参照する領域が必ずしも視差補償予測方式にはならないので、該隣接ブロックについて、予測ベクトルを生成するための視差ベクトルが得られないことがある。また、隣接ブロックの動きベクトルが参照するフレームは、符号化対象ブロックを含むフレームとは異なる時間であるために、カメラから被写体までの距離が変化していて、大きく異なる視差ベクトルが得られることがある。

本発明は、このような事情に鑑みてなされたもので、その目的は、視差補償予測符号化する際に、精度の優れた予測ベクトルを得ることが出来る画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、複数の視点画像を符号化する画像符号化装置であって、前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成する視差情報生成部と、前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測符号化方式による符号化を行う画像符号化部とを備えることを特徴とする。

（２）また、本発明の他の態様は、上述の画像符号化装置であって、前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化方式が前記視点間予測符号化方式ではないブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする。

（３）また、本発明の他の態様は、上述の画像符号化装置であって、前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化未済みのブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする。

（４）また、本発明の他の態様は、上述の画像符号化装置であって、前記画像符号化部は、前記符号化対象ブロックにおける視差を示す情報あるいは前記隣接ブロックにおける視差を示す情報であって、前記視差情報を含む情報の中から選択した情報を用いて、前記予測ベクトルを生成し、該選択した情報に対応するブロックを示す情報を符号化することを特徴とする。

（５）また、本発明の他の態様は、上述のいずれかの画像符号化装置であって、前記視差情報生成部は、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴とする。

（６）また、本発明の他の態様は、上述のいずれかの画像符号化装置であって、前記視差情報生成部は、前記奥行き画像を分割したブロック毎の奥行き値の代表値に対応する視差情報を生成することを特徴とする。

（７）また、本発明の他の態様は、上述のいずれかの画像符号化装置であって、前記奥行き画像を符号化する奥行き画像符号化部を更に備えることを特徴とする。

（８）また、本発明の他の態様は、複数の視点画像を復号する画像復号装置であって、前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成する視差情報生成部と、前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測復号方式による復号を行う画像復号部とを備えることを特徴とする。

（９）また、本発明の他の態様は、上述の画像復号装置であって、前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化方式が前記視点間予測符号化方式ではないブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする。

（１０）また、本発明の他の態様は、上述の画像復号装置であって、前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化未済みのブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする。

（１１）また、本発明の他の態様は、上述の画像復号装置であって、前記画像復号部は、外部から入力される、ブロックを示す情報を参照し、前記情報が示すブロックの視差を示す情報を用いて、前記予測ベクトルを生成することを特徴とする。

（１２）また、本発明の他の態様は、上述のいずれかの画像復号装置であって、前記視差情報生成部は、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴とする。

（１３）また、本発明の他の態様は、上述のいずれかの画像復号装置であって、前記視差情報生成部は、前記奥行き画像を分割したブロック毎の奥行き値の代表値に対応する視差情報を生成することを特徴とする。

（１４）また、本発明の他の態様は、上述のいずれかの画像復号装置であって、前記奥行き画像は符号化されており、前記奥行き画像を復号する奥行き画像復号部を更に備えることを特徴とする。

（１５）また、本発明の他の態様は、複数の視点画像を符号化する画像符号化方法であって、前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測符号化方式による符号化を行うステップとを有することを特徴とする。

（１６）また、本発明の他の態様は、複数の視点画像を復号する画像復号方法であって、前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測復号方式による復号を行うステップとを有することを特徴とする。

（１７）また、本発明の他の態様は、複数の視点画像を符号化する画像符号化装置のコンピュータに、前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測符号化方式による符号化を行うステップとを実行させるためのプログラムである。

（１８）また、本発明の他の態様は、複数の視点画像を復号する画像復号装置のコンピュータに、前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測復号方式による復号を行うステップとを実行させるためのプログラムである。

この発明によれば、視差補償予測符号化する際に、精度の良い予測ベクトルを得ることが出来る。

本発明の一実施形態における画像符号化装置の構成例を示すブロック図である。本発明の一実施形態における視差情報生成部の構成を示すブロック図である。本発明の一実施形態における画像符号化部の構成を示すブロック図である。本発明の一実施形態における代表奥行き値の決定処理の概念図である。本発明の一実施形態における奥行き値と視差値との関係を示す概念図である。本発明の一実施形態における平行法撮影法と交差法撮影法における、カメラの撮影距離と焦点距離の関係を示す図である。本発明の実施形態１における画像符号化装置が実行する画像符号化処理を示すフローチャートである。本発明の実施形態１における視差情報生成部が実行する視差情報生成処理を示すフローチャートである。本発明の実施形態１における画像符号化部が実行する画像符号化処理を示すフローチャートである。本発明の実施形態１における画面間予測部が実行する画面間予測処理を示すフローチャートである。本発明の実施形態２における画像復号装置の構成例を示すブロック図である。本発明の実施形態２における画像復号部の構成を示すブロック図である。本発明の実施形態２における画像復号装置が実行する画像復号処理を示すフローチャートである。本発明の実施形態２における画像復号部が実行する画像復号処理を示すフローチャートである。本発明の実施形態２における画面間予測部が実行する画面間予測処理を示すフローチャートである。本発明の実施形態２における予測ベクトルの生成方法を説明するための図である。本発明の実施形態２における予測ベクトル生成方法の一例を説明するための図である。本発明の実施形態２における予測ベクトル生成方法の別の一例を説明するための図である。本発明の実施形態２における予測ベクトル生成方法の別の一例を説明するための図である。本発明の実施形態３における画像符号化装置の構成例を示すブロック図である。本発明の実施形態３における画像符号化部の構成を示すブロック図である。本発明の実施形態３における画像符号化装置が実行する画像符号化処理を示すフローチャートである。本発明の実施形態３における画像符号化部が実行する画像符号化処理を示すフローチャートである。本発明の実施形態３における画面間予測部が実行する画面間予測処理を示すフローチャートである。本発明の実施形態３における画像復号装置の構成例を示すブロック図である。本発明の実施形態３における画像復号部の構成を示すブロック図である。本発明の実施形態４における画像復号装置が実行する画像復号処理を示すフローチャートである。本発明の実施形態４における画像復号部が実行する画像復号処理を示すフローチャートである。本発明の実施形態４における画面間予測部が実行する画面間予測処理を示すフローチャートである。本発明の実施形態５における画像符号化装置の構成例を示すブロック図である。本発明の実施形態５における画像符号化部の構成を示すブロック図である。本発明の実施形態５における画像符号化装置が実行する画像符号化処理を示すフローチャートである。本発明の実施形態５における画像符号化部が実行する画像符号化処理を示すフローチャートである。本発明の実施形態５における画面間予測部が実行する画面間予測処理を示すフローチャートである。本発明の実施形態６における画像復号装置の構成例を示すブロック図である。本発明の実施形態６における画像復号部の構成を示すブロック図である。本発明の実施形態６における画像復号装置が実行する画像復号処理を示すフローチャートである。本発明の実施形態６における画像復号部が実行する画像復号処理を示すフローチャートである。本発明の実施形態６における画面間予測部が実行する画面間予測処理を示すフローチャートである。ＭＰＥＧ−３ＤＶにおけるシステムの全体図である。

異なる視点の画像の冗長性を考慮した画面間予測によって情報量を削減する動画像符号化方式（代表的な符号化例としてＨ．２６４／ＡＶＣの拡張であるＭＶＣがある）では、隣接するブロックが符号化対象ブロックと同じ視差補償予測である場合に、その周辺ブロックの視差ベクトルを用いて予測ベクトルを生成している。以下の実施形態では、次世代の映像符号化方式であるＭＰＥＧ−３ＤＶと同様に、奥行き画像情報が、その入力情報として与えられる。そして、隣接するブロックに視差補償予測とは異なる予測方式が採用されている場合であっても、その奥行き画像情報より算出した視差情報、すなわち視差ベクトルを用いることで、視差補償予測符号化方式における予測ベクトルの予測精度を向上させている。

以下、図面を参照しながら本発明の実施の形態について説明する。図面において同じ部分については同じ符号を付し、繰り返しの説明は省略する。

（実施形態１）＜符号化装置＞
図１は、本発明の一実施形態である画像符号化装置の構成例を示す機能ブロック図である。

画像符号化装置１００は、撮影条件情報符号化部１０１、奥行き画像符号化部１０３、視差情報生成部１０４、及び画像符号化部１０６を含んで構成される。なお、画像符号化部１０６の内部に記載したブロックは、画像符号化部１０６の動作を概念的に説明するために利用する。

以下、画像符号化装置１００の機能及び動作について説明する。
画像符号化装置１００の入力データは、基準視点の視点画像、非基準視点の視点画像、奥行き画像、及び撮影条件情報である。基準視点の視点画像は単一の視点による画像に限定されるが、非基準視点の視点画像は複数の視点による画像が複数入力されてもよい。また、奥行き画像は、画像符号化装置１００に入力される視点画像のうちの１つに対応する１つの奥行き画像でもよいし、全ての視点画像に対応する複数の奥行き画像が入力されてもよい。ただし、後述する視差補償予測符号化（視点間予測符号化）を行う画像については、対応する奥行き画像が入力されている。１つの視点画像に対応する１つの奥行き画像を入力する場合、その１つの視点画像は基準視点の画像であっても非基準視点の画像であってもよい。なお、各視点画像、奥行き画像は、静止画像でも動画像でもよい。撮影条件情報は、奥行き画像に対応するものである。

基準視点符号化処理部１０２では、基準視点の視点画像を視点内予測符号化方式により圧縮符号化する。視点内予測符号化では、画面内予測や同一視点内で動き補償を行って、視点内の画像データのみに基づいて画像データを圧縮符号化する。同時に、後述する非基準視点の視点画像を符号化する際の参照用に、逆処理すなわち復号を行い、画像信号に復元しておく。

奥行き画像符号化部１０３は、奥行き画像を、例えば従来方式であるＨ．２６４方式で圧縮する。視点画像と合わせた複数視点の奥行き画像が、奥行き画像符号化部１０３に入力される場合には、前述のＭＶＣを用いて圧縮符号化することも可能である。同時に、後述する視差情報の生成用に、逆処理すなわち復号を行い、奥行き画像信号に復元しておく。つまり、本実施形態における画像符号化装置１００では、奥行き画像符号化部１０３で符号化された奥行き画像を復号する奥行き画像復号部を備える。なお、奥行き画像符号化部１０３が不可逆圧縮符号化（ロッシーな符号化）を行う場合、符号化を行う際に復号時に得られるデータを再現する必要があるため、この奥行き画像復号部は奥行き画像符号化部１０３の内部に設けられる。ここでは、内部に設けた場合を例に挙げ、画像復号部は図示していない。

本実施形態では、奥行き画像復号部を画像符号化装置１００に具備した例を挙げている。しかし、奥行き画像は、通常の画像データに比べてデータ量が小さいため、生データを送ったりロスレスで符号化したりすることもある。そのような構成の場合、オリジナルデータを画像復号装置側が取得できることになり、符号化時に内部デコードする必要がなくなる。よって、画像符号化装置１００に奥行き画像復号部を設けず、入力された奥行き画像を、そのまま視差情報生成部１０４に入力するようにしてもよい。さらに、画像符号化装置１００から生データを画像復号装置に送る場合には、奥行き画像符号化部１０３を設けなくても、単に奥行き画像が取得可能な状態になっていれば画像復号装置に送信できる。このように、画像符号化装置１００に、奥行き画像符号化部１０３及び奥行き画像復号部を設けない構成であってもよい。

視差情報生成部１０４は、復元された奥行き画像及び、外部より入力される撮影条件情報に基づいて、視点間予測符号化を行う視点画像とそれとは異なる視点画像（本実施形態では基準視点の視点画像）との間の視差情報を生成する。なお、ここで、復元された奥行き画像とは、符号化を行う視点画像（本実施形態では、非基準視点の視点画像）に対応する奥行き画像の復元されたものである。視差情報生成の詳細については後述する。

非基準視点符号化処理部１０５では、復元された基準視点画像と、視差情報生成部１０４により生成された視差情報とに基づいて、非基準視点の視点画像を視点間予測符号化方式（視差補償予測符号化方式）により圧縮符号化する。視点間予測符号化方式では、符号化対象画像とは異なる視点の画像を用いて視差補償を行い、画像データを圧縮符号化する。なお、非基準視点符号化処理部１０５では、視点内の画像データのみを用いた視点内予測符号化方式を、符号化効率に基づいて選択することもできる。

また、ここでは、非基準視点の視点画像のみを視点間予測符号化方式で符号化する例を挙げるが、基準視点の視点画像と非基準視点の視点画像の双方を視点間予測符号化方式で符号化するようにしてもよいし、双方の視点画像について、符号化効率に基づいて視点間予測符号化方式と視点内予測符号化方式とを切り替えてもよい。画像符号化装置１００は、予測符号化方式を示す情報を画像復号装置側に送信することにより、画像復号装置側での復号が可能である。

撮影条件情報符号化部１０１は、当該画像符号化装置１００に入力される複数の視点画像各々を撮影した際の条件である撮影条件情報を、所定の符号化方式で変換する符号化処理を行う。最終的に、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報の各符号化データは、図示しない符号構成部により連結・並べ替えがなされ、符号化ストリームとして画像符号化装置１００の外部（例えば、図１１を参照して後述する画像復号装置７００）へ出力される。

次に、視差情報生成部１０４の内部処理に関して、図２、図４から図６を参照して詳細に説明する。
図２は、視差情報生成部１０４の内部構成を示す機能ブロック図である。視差情報生成部１０４は、ブロック分割部２０１、代表奥行き値決定部２０２、視差算出部２０３、及び距離情報抽出部２０４より構成される。

ブロック分割部２０１は、入力される奥行き画像を所定のサイズ（例えば、１６×１６画素）に従うブロックに分割する。代表奥行き値決定部２０２は、分割されたブロック毎に奥行き値の代表値を決定する。具体的には、ブロック内の奥行き値の頻度分布（ヒストグラム）を作成し、最も出現頻度の高い奥行き値を抽出して代表値として決定する。

図４に、代表奥行き値の決定処理の概念図を示す。図４（Ｂ）で例示するように、図４（Ａ）で例示する視点画像４０１に対応する奥行き画像４０２が与えられているとする。
奥行き画像は、輝度のみのモノクロ画像として表される。輝度が高い（＝奥行き値が大きい）領域ほどカメラからの距離が近いことを意味し、輝度が低い（＝奥行き値が小さい）領域ほどカメラからの距離が遠いことを意味する。この中の分割されたブロック４０３において、奥行き値が図４（Ｃ）で例示する頻度分布４０４のような頻度分布をとる場合、最も出現頻度の高い奥行き値４０５を、ブロック４０３の代表奥行き値として決定する。

なお、奥行き値の代表値を決定する際には、前述のようなヒストグラムに基づく方法の他に、以下の方法に従って決定してもよい。例えば、ブロック内奥行き値の（ａ）中間値；（ｂ）出現頻度を考慮した平均値；（ｃ）カメラからの距離が最も近い値（ブロック内奥行き値の最大値）；（ｄ）カメラからの距離が最も遠い値（ブロック内奥行き値の最小値）；或いは（ｅ）ブロックの中心位置の奥行き値を抽出して代表値として決定してもよい。どの方法を選択するかの基準は、例えば、一番効率の良いものを、符号化及び復号で共通の方式に固定する方法、それぞれの方法に基づいて得られた奥行き代表値を用いて視差予測をした際にもっとも予測誤差の小さい方法を適応的に選択するという方法がある。
後者の場合、選択した方法を上記符号化ストリームに付加し、画像復号装置側に与える必要がある。

また、奥行き画像を分割する際のブロックサイズは、前述の１６×１６サイズに限らず、８×８、４×４などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６×８、８×１６、８×４、４×８などのサイズでもよい。これらのサイズは、後述の画像符号化部１０６が採用する符号化対象ブロックのブロックサイズに合わせる方法がある。或いは奥行き画像や対応する視点画像に含まれる被写体の大きさや、要求される圧縮率などに応じて最適なサイズを選択する方法なども可能である。

図２に戻って、視差算出部２０３は、上記奥行き値の代表値と、距離情報抽出部２０４が撮影条件情報から抽出した情報（例えば、カメラ間隔及び撮影距離を示す情報、画素ピッチ）に基づいて、各ブロックについて動き／視差ベクトル検出部３１４にて検出された視差ベクトルが示す視点画像に対する視差ベクトル（視差情報）を算出する。なお、動き／視差ベクトル検出部３１４が視差ベクトルを検出する際に、後述するフレームメモリ３１２から参照する視点画像、すなわち視差ベクトルが示す視点画像は、本実施形態では、符号化対象のフレーム１つに対して１つである。符号化対象の各フレームに対して、いずれの視点画像を参照するかは、どのような方法で決定してもよい。本実施形態では、常に基準視点画像を参照するが、例えば、符号化済みの視点画像の中から、撮影条件情報に基づき視点が最も近い視点画像を選択してもよいし、焦点距離、カメラの向きなど、その他の条件に基づき選択してもよい。

奥行き画像に含まれる奥行き値は、カメラから被写体までの距離そのものではなく、撮影した画像に含まれる距離レンジを所定の数値範囲（例えば０〜２５５）で表したものである。そこで、視差算出部２０３が視差ベクトルを算出する際には、撮影条件情報に含まれる撮影時の距離レンジを表す情報（例えば、画像に含まれる被写体に関するカメラからの距離の最小値（最近値）Ｚｎｅａｒと最大値（最遠値）Ｚｆａｒで構成される）に基づいて、次式にて奥行き値ｄｅｐｔｈを実際の距離である画像距離Ｚに変換し、撮影距離やカメラ間隔などの実距離を示す数値と次元（単位）を合わせる。
Ｚ＝１／（（ｄｅｐｔｈ／２５５）×（１／Ｚｎｅａｒ−１／Ｚｆａｒ）
＋１／Ｚｆａｒ）（１）
そして、視差算出部２０３は、ｄを視差値、ｌを撮影距離、Ｌをカメラ間隔、Ｚを画像距離（代表値）として、次式にて視差値ｄを算出する。
ｄ＝（ｌ−Ｚ）／Ｚ × Ｌ＝（ｌ／Ｚ −１）× Ｌ（２）

さらに、視差算出部２０３は、距離情報抽出部２０４が撮影条件情報抽出した画素ピッチに基づき、各ブロックについて、視差値ｄから視差ベクトルを算出する。なお、撮影条件情報を用いた奥行き値から視差ベクトルへの変換は、公知であるので、ここでは詳細な説明を省略する。

距離情報抽出部２０４は、撮影条件情報の中から、奥行き値から視差ベクトルへの変換に必要な情報（例えば、カメラ間距離（Ｌ）と撮影距離（ｌ）に相当する情報）を抽出し、視差算出部２０３へ伝送する。なお、撮影条件情報に含まれるカメラの情報（一般的にはカメラパラメータと言う）としては、内部パラメータ（焦点距離、横方向スケールファクタ、縦方向スケールファクタ、画像中心座標、歪み係数）、外部パラメータ（回転行列、併進行列）、及び上記カメラパラメータ以外の情報（最近値と最遠値）がある。なお、カメラ間距離（Ｌ）はカメラパラメータには直接は含まれないが、距離情報抽出部２０４は、上記の併進行列を用いてカメラ間距離を算出する。また、上記最近値及び最遠値は、上述した、奥行き画像を実際の距離の値に変換する処理で用いられる。

ここで、数式（２）と各パラメータの意味を説明する。図５は、奥行き値と視差値との関係を示す概念図である。視点すなわちカメラ５０１、５０２と、被写体５０３、５０４とが、図のような位置関係にある場合を想定する。この時、各被写体上の正面の点５０５、５０６は、撮影距離ｌにおける平面５０７上の、ｐｌ１、ｐｒ１及びｐｌ２、ｐｒ２の位置に投影される。平面５０７が観察時のスクリーン面に相当するとみなすと、ｐｌ１とｐｒ１は、被写体の点５０５に関する左視点画像上と右視点画像上の画素の対応点を意味し、同様にｐｌ２とｐｒ２は、被写体の点５０６に関する各視点画像上の画素の対応点を意味する。

そして、２つのカメラ間距離をＬ、カメラの撮影距離をｌ、各被写体の正面の点５０５、５０６までの距離をＺ１、Ｚ２とすると、各被写体に対応する両視点画像間の視差ｄ１，ｄ２と、上記各パラメータとの間には、以下の数式（３）、（４）の関係が成り立つ。
ここで、距離Ｚ１、Ｚ２は、数式（２）のＺと同様に、カメラからの実距離であって、奥行き画像における奥行き値そのものではない。

Ｌ：Ｚ１＝ｄ１：（ｌ−Ｚ１）・・・（３）
Ｌ：Ｚ２＝ｄ２：（Ｚ２−ｌ）・・・（４）

そして、視差値ｄを、右視点画像の対応点に対する左視点画像の対応点の位置として定義すると、前述の数式（２）の式でｄを得ることができる。最終的に、視差算出部２０３が出力する視差情報は、右視点画像の対応点と左視点画像の対応点に基づくベクトルを算出して、それを利用する。

なお、上述のカメラの撮影距離ｌは、平行法撮影の場合、すなわち２つのカメラの光軸が平行の場合には、図６（Ａ）に示すように撮影時にピントを合わせた距離（焦点距離）をｌに相当するとみなし、交差法撮影の場合、すなわち２つのカメラの光軸が前方で交差する場合には、図６（Ｂ）に示すようにカメラから交差点（クロスポイント）までの距離をｌに相当するとみなしてよい。
なお、視点画像によって、上述のスクリーン面における原点や解像度が異なる場合には、視差算出部２０３は、視差ベクトルを算出する際に、上述の回転行列、焦点距離などを用いるようにしてもよい。

続いて、画像符号化部１０６について図３を用いて説明する。図３は、画像符号化部１０６の機能構成を示す概略ブロック図である。

画像符号化部１０６は、画像入力部３０１、減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部３０９、選択部３１０、デブロッキング・フィルタ部３１１、フレームメモリ（フレームメモリ部）３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、イントラ予測部３１５、及び視差入力部３１６を含んで構成される。
なお、説明のために、画面内予測部３１７と画面間予測部３１８を点線で図示する。画面内予測部３１７はイントラ予測部３１５を含み、画面間予測部３１８はデブロッキング・フィルタ部３１１、フレームメモリ３１２、動き／視差補償部３１３、及び動き／視差ベクトル検出部３１４を含む。

図３は、画像符号化部１０６の構成を示す概略ブロック図である。図１において画像符号化部１０６の動作を説明した際には、基準視点の符号化とそれ以外の非基準視点の符号化を明示的に分けて、基準視点符号化処理部１０２の処理と非基準視点符号化処理部１０５の処理としたが、これらにはお互いに共通する処理が多いため、以下では基準視点符号化処理と非基準視点符号化処理を統合した形態について説明を行う。図３において、画像符号化部１０６は、画像入力部３０１、減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部３０９、選択部３１０、視差入力部３１６、画面内予測部３１７、画面間予測部３１８を含んで構成される。画面内予測部３１７は、イントラ予測部３１５を含んで構成される。画面間予測部３１８は、デブロッキング・フィルタ部３１１、フレームメモリ３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４を含んで構成される。

ここでは、前述の基準視点符号化処理部１０２として行う視点内予測符号化方式は、画像符号化部１０６のうち、図３の画面内予測部３１７で実施される処理と画面間予測部３１８で実施される処理の一部である同一視点の画像を参照する処理（動き補償）を組み合わせたものである。また、非基準視点符号化処理部１０５で行う視点間予測符号化方式は、画面内予測部３１７で実施される処理と画面間予測部３１８で実施される同一視点の画像を参照する処理（動き補償）及び異なる視点の画像を参照する処理（視差補償）を組み合わせたものである。

さらに、画面間予測部３１８で実施される符号化対象の視点と同一視点の画像を参照する処理（動き補償）と異なる視点の画像を参照する処理（視差補償）についても、符号化時に参照する画像が異なるだけで、参照画像を指し示すＩＤ情報（参照視点番号、参照フレーム番号）を用いることで処理を共通化することが可能である。ただし、動き／視差補償部３１３は、視差補償の場合は、動き補償の場合と異なり、動き／視差ベクトル検出部３１４が検出した視差ベクトルに加えて、視差入力部３１６が視差情報生成部１０４から取得した視差情報（各ブロックの視差ベクトル）を予測ベクトル生成の際に用いる。また、各予測部で予測した画像と入力した視点画像の残差成分を符号化する方法も、基準視点であっても非基準視点であっても共通に行える。詳細は後述する。

画像入力部３０１は、画像符号化部１０６の外部から入力される符号化対象となる視点画像（基準視点画像、或いは非基準視点画像）を示す画像信号を、予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割する。

画像入力部３０１は、分割した画像ブロック信号を、減算部３０２、画面内予測部３１７の中にあるイントラ予測部３１５及び画面間予測部３１８の内部にある動き／視差ベクトル検出部３１４に出力する。画面内予測部３１７は、符号化処理ブロックより前に処理の完了した同一画面内の情報のみを用いて符号化を行う処理部で内容については後述する。一方、画面間予測部３１８は、符号化対象画像とは異なる、過去に処理した同一視点の視点画像、或いは異なる視点の視点画像の情報を用いて符号化を行う処理部で、内容は後述する。画像入力部３０１は、ブロック位置を順次変えながら、画像フレーム内の全てのブロックが完了し、そして入力される画像が全て終了するまで繰り返して出力する。

なお、画像入力部３０１が、画像信号を分割する際のブロックサイズは、前述の１６×１６サイズに限らず、８×８、４×４などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６×８、８×１６、８×４、４×８などのサイズでもよい。これらのサイズの例は、Ｈ．２６４、ＭＶＣなどの従来方式で用いられた符号化ブロックサイズである。後述する符号化手順に従って、全ブロックサイズの符号化を一通り実施し、最終的に効率の良いものを選択する。なお、ブロックサイズについては上記サイズに限定するものではない。

減算部３０２は、画像入力部３０１から入力した画像ブロック信号から選択部３１０から入力した予測画像ブロック信号を減算して、差分画像ブロック信号を生成する。減算部３０２は、生成した差分画像ブロック信号を直交変換部３０３に出力する。

直交変換部３０３は、減算部３０２から入力した差分画像ブロック信号を直交変換し、種々の周波数特性の強度を示す信号を生成する。直交変換部３０３は、差分画像ブロック信号を直交変換する際に、その差分画像ブロック信号を、例えばＤＣＴ変換（離散コサイン変換；Discrete Cosine Transform）して周波数領域信号（例えば、ＤＣＴ変換を行った場合は、ＤＣＴ係数）を生成する。直交変換部３０３は、差分画像ブロック信号に基づき周波数領域信号を生成することができれば、ＤＣＴ変換に限らず、他の方法（例えば、ＦＦＴ（高速フーリエ変換；Fast Fourier Transform））を用いてもよい。直交変換部３０３は、生成した周波数領域信号に含まれる係数値を、量子化部３０４に出力する。

量子化部３０４は、直交変換部３０３より入力した周波数特性強度を示す係数値を所定の量子化係数にて量子化し、生成した量子化信号（差分画像ブロック符号）を、エントロピー符号化部３０５と逆量子化部３０６に出力する。なお、量子化係数は、外部より与えられる符号量を決めるためのパラメータで、逆量子化部３０６及びエントロピー符号化部３０５においても参照される。

逆量子化部３０６は、量子化部３０４から入力された差分画像符号を、上記量子化係数を用いて量子化部３０４で行った量子化と逆の処理（逆量子化）をして復号周波数領域信号を生成し、逆直交変換部３０７に出力する。

逆直交変換部３０７は、入力された復号周波数領域信号を直交変換部３０３とは逆の処理、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部３０７は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Inverse Fast Fourier Transform））を用いてもよい。逆直交変換部３０７は、生成した復号差分画像ブロック信号を加算部３０８に出力する。

加算部３０８は、選択部３１０から予測画像ブロック信号と逆直交変換部３０７から復号差分画像ブロック信号を入力する。加算部３０８は、予測画像ブロック信号に復号差分画像ブロック信号を加算し、入力画像を符号化・復号した参照画像ブロック信号を生成する（内部デコード）。この参照画像ブロック信号は、画面内予測部３１７及び画面間予測部３１８に出力される。

画面内予測部３１７は、加算部３０８より参照画像ブロック信号と画像入力部３０１より符号化対象画像の画像ブロック信号を入力し、所定の方向に画面内予測した画面内予測画像ブロック信号を予測方式制御部３０９と選択部３１０に出力する。同時に、画面内予測部３１７は、画面内予測画像ブロック信号を生成するために必要な予測の方向を示す情報を、画面内予測符号化情報として予測方式制御部３０９に出力する。画面内予測は、従来方式（例えば、Ｈ．２６４ＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅＪＭｖｅｒ．１３．２Ｅｎｃｏｄｅｒ，ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／，２００８）の画面内予測方式に従って実施される。

画面間予測部３１８は、加算部３０８より参照画像ブロック信号と画像入力部３０１より符号化対象画像の画像ブロック信号及び視差入力部３１６より視差情報を入力し、画面間予測により生成した画面間予測画像ブロック信号を予測方式制御部３０９と選択部３１０に出力する。同時に、画面間予測部３１８は、生成した画面間予測符号化情報を、予測方式制御部３０９に出力する。画面間予測部３１８については後述する。

視差入力部３１６は、前述の画像入力部３０１に入力される視点画像に対応する視差情報を、視差情報生成部１０４より入力する。入力される視差情報のブロックサイズは画像信号のブロックサイズと同じである。視差入力部３１６は、入力された視差情報を視差ベクトル信号として、動き／視差補償部３１３に出力する。

続いて、予測方式制御部３０９は、入力画像のピクチャの種類（符号化対象画像が予測画像に参照できる画像を識別するための情報で、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどがある。なお、ピクチャの種類は、量子化係数と同様に外部より与えられるパラメータによって決まるもので、従来方式のＭＶＣと同じ方法を利用できる。）及び符号化効率に基づいて、画面内予測部３１７より入力される画面内予測画像ブロック信号とその画面内予測符号化情報、及び画面間予測部３１８より入力される画面間予測画像ブロック信号とその画面間符号化情報に基づいてブロック毎の予測方式が決められ、その予測方式の情報を選択部３１０に出力する。予測方式制御部３０９は、入力画像のピクチャの種類を監視し、入力された符号化対象画像が画面内の情報しか参照できないＩピクチャの場合は画面内予測方式を確定的に選択する。符号化済みの過去のフレーム或いは異なる視点の画像を参照できるＰピクチャや符号化済みの過去及び未来のフレーム（表示順番では未来のフレームではあるが、過去に処理されたフレームの意味）と異なる視点の画像を参照できるＢピクチャの場合には、予測方式制御部３０９は、エントロピー符号化部３０５で行う符号化により生成されるビット数と減算部３０２の原画像との残差から、例えば従来の手法（例えば、Ｈ．２６４ＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅＪＭｖｅｒ．１３．２Ｅｎｃｏｄｅｒ，ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／，２００８）を用いてラグランジュコストを算出し、画面内予測方式或いは画面間予測方式を決める。

同時に、予測方式制御部３０９は、画面内予測符号化情報若しくは画面間予測符号化情報のうち、上述の方法によって選択された予測方式に対応する符号化情報に、予測方式を特定できる情報を付加し予測符号化情報として、エントロピー符号化部３０５に出力する。

選択部３１０は、予測方式制御部３０９より入力される予測方式の情報に従って、画面内予測部３１７より入力される画面内予測画像ブロック信号、或いは画面間予測部３１８より入力される画面間予測画像ブロック信号を選択して、減算部３０２及び加算部３０８に予測画像ブロック信号を出力する。選択部３１０は、予測方式制御部３０９より入力される予測方式が画面内予測である場合には、画面内予測部３１７より入力される画面内予測画像ブロック信号を選択して出力し、予測方式制御部３０９より入力される予測方式が画面間予測である場合は、画面間予測部３１８より入力される画面間予測画像ブロック信号を選択して出力するものとする。

エントロピー符号化部３０５は、量子化部３０４より入力される差分画像符号と量子化係数、予測方式制御部３０９より入力される予測符号化情報をパッキング（ｐａｃｋｉｎｇ；詰込）し、例えば可変長符号化（エントロピー符号化）を用いて符号化し、情報量がより圧縮された符号化データを生成する。エントロピー符号化部３０５は、生成した符号化データを画像符号化装置１００の外部（例えば、画像復号装置７００）に出力する。

画面間予測部３１８の詳細について説明する。
デブロッキング・フィルタ部３１１は、加算部３０８より参照画像ブロック信号を入力し、画像の符号化時に発生するブロック歪みを減少させるための、従来の手法（例えば、Ｈ．２６４ＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅＪＭｖｅｒ．１３．２Ｅｎｃｏｄｅｒ，ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／，２００８）で用いられるＦＩＲフィルタ処理を行う。デブロッキング・フィルタ部３１１は、処理結果（補正ブロック信号）をフレームメモリ３１２に出力する。

フレームメモリ３１２は、デブロッキング・フィルタ部３１１から補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。フレームメモリ３１２は、図示していないメモリ管理部によって、入力画像のピクチャの種類或いは画像の順番が管理され、その指示に従って画像を蓄えたり破棄する。画像管理については、従来方式のＭＶＣの画像管理方法を利用することもできる。

動き／視差ベクトル検出部３１４は、画像入力部３０１より入力される画像ブロック信号に類似するブロックを、フレームメモリ３１２に蓄積された画像より探し出し（ブロックマッチング）、探し出したブロックを指し示すベクトル情報、視点番号及びフレーム番号を生成する（ベクトル情報は、参照する画像が符号化対象画像と同一視点の場合は動きベクトルとなり、参照する画像が符号化対象画像と異なる視点の場合は視差ベクトルとなる）。動き／視差ベクトル検出部３１４は、ブロックマッチングを行う際、当該分割されたブロックとの間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す。指標値は、画像信号間の相関性や類似性を示すものであればよい。動き／視差ベクトル検出部３１４は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値総和（ＳＡＤ；Sum of Absolute Difference）を用いる。入力された視点画像信号から分割されたブロック（例えば、大きさがＮ×Ｎ画素）と参照画像信号のブロックとの間のＳＡＤは次の式で表される。

数式（４）において、Ｉｉｎ（ｉ０＋ｉ，ｊ０＋ｊ）は入力画像の座標（ｉ０＋ｉ，ｊ０＋ｊ）における輝度値、（ｉ０，ｊ０）は当該分割されたブロックの左上端の画素座標を示す。Ｉｒｅｆ（ｉ０＋ｉ＋ｐ，ｊ０＋ｊ＋ｑ）は参照画像の座標（ｉ０＋ｉ＋ｐ，ｊ０＋ｊ＋ｑ）における輝度値、（ｐ，ｑ）は当該分割されたブロックの左上端の座標を基準にしたシフト量（動きベクトル）である。

すなわち、動き／視差ベクトル検出部３１４は、ブロックマッチングにおいて、（ｐ，ｑ）毎にＳＡＤ（ｐ，ｑ）を算出し、ＳＡＤ（ｐ，ｑ）を最小とする（ｐ，ｑ）を探し出す。（ｐ，ｑ）は入力された視点画像から当該分割されたブロックから当該参照領域の位置までのベクトル（動き／視差ベクトル）を表す。

動き／視差補償部３１３は、動き／視差ベクトル検出部３１４より動きベクトル或いは視差ベクトルを入力し、さらに視差入力部３１６より視差情報を入力する。ここで、視差入力部３１６から入力される視差情報は、符号化対象の視点画像に対応する奥行き画像に基づく視差情報（各ブロックの視差ベクトル）である。動き／視差補償部３１３は、入力された動き／視差ベクトルに基づいて、該当する領域の画像ブロックをフレームメモリ３１２より抽出し、画面間予測画像ブロック信号として、予測方式制御部３０９と選択部３１０に出力する。さらに、動き／視差補償部３１３は、上述のブロックマッチングで算出した動き／視差ベクトルから符号化対象ブロックに隣接する符号化済みブロックで採用された動き／視差ベクトル及び上記視差情報に基づいて生成された予測ベクトルを減算し差分ベクトルを算出する。予測ベクトルの生成方法は後述する。動き／視差補償部３１３は、上記差分ベクトルと参照画像情報（参照視点画像番号、参照フレーム番号）を連結・並べ替えをし、画面間符号化情報として予測方式制御部３０９に出力する。なお、ブロックマッチングで検出された入力画像ブロックと最も類似する領域と上記予測ベクトルが指し示す領域は、少なくとも参照視点画像番号と参照フレーム番号が一致しておく必要がある。

続いて、動き／視差補償部３１３が行う、本実施形態に係わる予測ベクトルの生成方法について説明する。動き／視差補償部３１３は、図１６に示すように、従来方式と同様に、符号化対象ブロックの上に隣接しているブロック（図中の隣接ブロックＡ）と右上に隣接しているブロック（図中の隣接ブロックＢ）と、左に隣接しているブロック（図中の隣接ブロックＣ）の視差ベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとする。なお、これらの隣接ブロックは、符号化対象ブロックを符号化する際に符号化済みのブロックである。本実施形態では、符号化を行う順序は、フレームの左上端のブロックから始まり、右側に移動していき、右端に達すると、一段下の左端のブロックから始まり、右側に移動していき、右端に達すると、また、一段下の左端のブロックから始めるという、いわゆるラスタースキャン順である。このような順序であるため、左、上、右上の隣接ブロックの視差ベクトルとしているが、符号化順序が異なるときは、これに限らない。

但し、符号化対象ブロックの符号化方式が視差補償予測方式の場合には、図１７に示すように、図３の視差入力部３１６から入力される視差情報のうち符号化対象ブロックに対応する視差ベクトルｍｖ＿ｃｂをｍｖ＿ｂと置き換える。即ち、視差ベクトル（ｍｖ＿ａ、ｍｖ＿ｃｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとする。また、隣接ブロックＡ、隣接ブロックＣのうち、符号化方式が視差補償予測方式ではないブロックについては、図３の視差入力部３１６から入力される視差情報である視差ベクトルを用いる。例えば、隣接ブロックＡの符号化方式が動き補償予測方式であるときは、視差入力部３１６から入力される視差情報のうち、隣接ブロックＡと同じ位置のブロックの視差ベクトルを、ｍｖ＿ａとして用いる。

このように、動き／視差補償部３１３は、符号化を行う視点画像に関し、視差情報に基づいて異なる視点画像（つまり現符号化対象ではない視点画像）に対する予測ベクトルを生成する。ここで生成される予測ベクトルは、符号化対象画像（符号化対象ブロック）を符号化する際に用いる予測ベクトルであり、その予測ベクトルが指し示す先（ブロック）は異なる視点画像にあるブロック（ブロックマッチングで特定されたブロック）になる。

本実施形態によれば、符号化対象画像に対応した奥行き画像を用いて視差情報を生成するため、全ての画像ブロックに対して視差情報を得ることができる。また、符号化対象画像と同じ時刻の奥行き画像から算出された視差情報である。このため、従来、隣接ブロックの動きベクトルが参照するブロックの視差ベクトルを用いたときに、被写体とカメラの距離が時間変化することによる誤差も発生しない。従って、視差補償予測方式において、精度の優れた予測ベクトルを得ることができる。

なお、予測ベクトルを生成する際には、前述のような方法の他に、以下の方法に従って決定してもよい。例えば、（ａ）前述の方式で、符号化対象ブロックが視差補償予測方式であり、隣接ブロックＡ、Ｃが画面外にあるなどして視差入力部３１６から視差情報を取得できない場合には、他の隣接ブロック、例えば隣接ブロックＢの視差ベクトルもしくは視差入力部３１６から取得した隣接ブロックＢに対応する視差情報を予測ベクトルの候補とする。

或いは（ｂ）本実施形態では視差ベクトルｍｖ＿ｃｂでｍｖ＿ｂを置き換えていたが、置き換えるのではなく、図１８に示すように、視差ベクトルｍｖ＿ｃｂを予測ベクトルの候補として追加してもよい。つまり、視差ベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ、ｍｖ＿ｃｂ）の４つから予測ベクトルを選択する。選択方法としては、例えば、４つのベクトルの水平成分、垂直成分の平均値を算出し、平均値に最も近いベクトルを予測ベクトルとする。

また、視差ベクトルｍｖ＿ｃｂは符号化対象ブロックに対応する視差ベクトルのため、予測ベクトルとしての精度が比較的高いと考えた場合、視差ベクトルｍｖ＿ｃｂが予測ベクトルとして選択される確率を高くする方法として、４つのベクトルの水平成分、垂直成分それぞれをソートし、視差ベクトルｍｖ＿ｃｂの水平成分または垂直成分が２番目もしくは３番目だった場合には、視差ベクトルｍｖ＿ｃｂの水平成分または垂直成分を予測ベクトルとする。視差ベクトルｍｖ＿ｃｂの水平成分または垂直成分が最大もしくは最少だった場合には、残りの３つのベクトルの水平成分または垂直成分中央値を予測ベクトルとする。

或いは（ｃ）予測ベクトルを生成する際に利用する隣接ブロックとして、図１９に示すように、符号化未済みである符号化対象ブロックの右側の隣接ブロックＤ、下側の隣接ブロックＥを利用してもよい。隣接ブロックＤ、Ｅに対応する視差入力部３１６から入力される視差情報である視差ベクトルｍｖ＿ｄ、ｍｖ＿ｅを予測ベクトルの候補として追加する。そして、５つのベクトル（ｍｖ＿ａ、ｍｖ＿ｃｂ、ｍｖ＿ｃ、ｍｖ＿ｄ、ｍｖ＿ｅ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとする。
また、（ｄ）予測ベクトルを生成する際に、視差入力部３１６から入力される視差情報のうち、符号化方式が視差補償予測方式ではない隣接ブロックの視差情報のみを用い、符号化対象ブロックの視差情報は用いないようにしてもよい。
また、（ｅ）視差入力部３１６から入力される視差情報のみを予測ベクトルの候補とするようにしてもよい。

また、上記予測ベクトルの生成方式を符号化と復号についてあらかじめ固定にしてもよいし、或いはブロック単位で最適な方式を選択するようにしてもよい。ブロック単位で最適な方式を選択する方法では、符号化時に採用した方式をエントロピー符号化部３０５にて、上記他の符号化情報と共に連結し符号化し、復号時にはそれを参照して、予測ベクトルの生成方式を切り替える。
また、上述の中央値を選択する場合など、符号化対象ブロックや隣接ブロックの視差ベクトルの要素（視差を示す情報）の中から選択して、予測ベクトルを生成する場合は、選択した要素に対応するブロックを示す情報を、動き／視差補償部３１３が出力し、エントロピー符号化部３０５にて、上記他の符号化情報と共に連結し符号化し伝送してもよい。
復号時には、伝送されてきた前記情報を参照し、該情報が示すブロックの視差ベクトルの要素から予測ベクトルを生成する。

また、予測ベクトルの生成方法としては、上述したように、予測ベクトルを生成する際に利用する符号化対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロック（予測方式が異なるブロックや他の理由により情報が得られないブロック）に対してのみ、視差情報に基づく情報を適用すればよい。但し、必要な情報が得られるブロックについても視差情報に基づく情報を適用することもできる。つまり、必要な情報が得られないブロックであるか得られるブロックであるかに拘わらず、予測ベクトルの生成方法としては、符号化対象ブロックにおける視差情報に基づく情報を用いることができる。

＜画像符号化装置１００のフローチャート＞
次に、本実施形態に係る画像符号化装置１００が行う画像符号化処理について説明する。図７は、画像符号化装置１００が行う画像符号化処理を示すフローチャートである。図１を参照しながら説明する。

まずステップＳ１０１において、画像符号化装置１００は、外部から視点画像とそれに対応する奥行き画像及び撮影条件情報を入力する。その後、ステップＳ１０２に進む。

ステップＳ１０２において、奥行き画像符号化部１０３は、外部より入力した奥行き画像を符号化する。奥行き画像符号化部１０３は、奥行き画像の符号化データを図示しない符号構成部に出力する。同時に奥行き画像符号化部１０３は、奥行き画像の符号化データを復号し、その結果を視差情報生成部１０４に出力する。その後、ステップＳ１０３に進む。

ステップＳ１０３において、視差情報生成部１０４は、外部より入力される撮影条件情報と奥行き画像符号化部１０３より入力される符号化・復号した奥行き画像情報に基づいて視差情報を生成する。視差情報生成部１０４は、生成した視差情報を画像符号化部１０６に出力する。その後、ステップＳ１０４に進む。

ステップＳ１０４において、画像符号化部１０６は、外部より入力される視点画像と視差情報生成部１０４より入力される視差情報に基づいて画像の符号化を行う。画像符号化部１０６は、同時に前述の予測符号化情報及び量子化係数も含めて符号化する。画像符号化部１０６は、画像の符号化データを図示しない符号構成部に出力する。その後、ステップＳ１０５に進む。

ステップＳ１０５において、撮影条件情報符号化部１０１は、外部より撮影条件情報を入力し、符号化する。撮影条件情報符号化部１０１は、撮影条件情報の符号化データを図示しない符号構成部に出力する。その後、ステップＳ１０６に進む。

ステップＳ１０６において、図示しない符号構成部は、画像符号化部１０６より画像に関する符号化データ、奥行き画像符号化部１０３より奥行き画像の符号化データ、及び撮影条件情報符号化部１０１より撮影条件情報の符号化データを入力し、符号化データの連結・並べ替えを行い、符号化ストリームとして画像符号化装置１００の外部へ出力する。

上記ステップＳ１０３で実施される視差情報生成とステップＳ１０４で実施される視点画像の符号化について、より詳しく説明する。
まずは、ステップＳ１０３の視差情報生成について、図８及び図２を用いて説明する。

ステップＳ２０１において、視差情報生成部１０４は、画像符号化装置１００の外部より奥行き画像と撮影条件情報を入力する。視差情報生成部１０４は、その内部にあるブロック分割部２０１に奥行き画像を入力し、距離情報抽出部２０４に撮影条件情報を入力する。その後、ステップＳ２０２に進む。

ステップＳ２０２において、ブロック分割部２０１は、奥行き画像を入力し、所定のブロックサイズに奥行き画像を分割する。ブロック分割部２０１は、分割した奥行き画像ブロックを代表奥行き値決定部２０２に出力する。その後、ステップＳ２０３に進む。

ステップＳ２０３において、代表奥行き値決定部２０２は、ブロック分割部２０１より分割された奥行き画像を入力し、前述の奥行き値の代表値を算出する方法に従って代表奥行き値を決定する。代表奥行き値決定部２０２は、算出した代表奥行き値を視差算出部２０３に出力する。その後、ステップＳ２０４に進む。

ステップＳ２０４において、距離情報抽出部２０４は、撮影条件情報を入力し、撮影条件情報の中からカメラ間距離と撮影距離に相当する情報を抽出し、視差算出部２０３へ出力する。その後、ステップＳ２０５に進む。

ステップＳ２０５において、視差算出部２０３は、代表奥行き値決定部２０２より代表奥行き値と距離情報抽出部２０４より視差情報を算出するために必要な撮影条件情報を入力し、上述の視差算出方法に従って視差情報、すなわち視差ベクトルを算出する。視差算出部２０３は、算出した視差情報、すなわち視差ベクトルを視差情報生成部１０４の外部に出力する。

続いて、ステップＳ１０４の視点画像の符号化について、図９及び図３を用いて説明する。
まずステップＳ３０１において、画像符号化部１０６は、外部から視点画像とそれに対応する視差情報を入力する。その後、ステップＳ３０２に進む。

ステップＳ３０２において、画像入力部３０１は、画像符号化部１０６の外部から入力された視点画像である入力画像信号を予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割して、減算部３０２と画面内予測部３１７及び画面間予測部３１８に出力する。また、視差入力部３１６は、画像入力部３０１に入力された視点画像と同期された視差情報、すなわち視差ベクトルを、画像入力部３０１で実施された画像の分割と同様に分割して、画面間予測部３１８に出力する。

画像符号化部１０６は、ステップＳ３０２〜ステップＳ３１０の処理をフレーム内の画像ブロック毎に繰り返す。次に、ステップＳ３０３とステップＳ３０４に進む。

ステップＳ３０３において、画面内予測部３１７は、画像入力部３０１から視点画像の画像ブロック信号と加算部３０８より復号（内部デコード）された参照画像ブロック信号を入力し、画面内予測を実施する。画面内予測部３１７は、生成した画面内予測画像ブロック信号を予測方式制御部３０９と選択部３１０に、画面内予測符号化情報を予測方式制御部３０９に出力する。なお、最初の処理において、加算部３０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック）を入力するものとする。画面内予測部の処理が完了すると、ステップＳ３０５に進む。

ステップＳ３０４において、画面間予測部３１８は、画像入力部３０１から視点画像の画像ブロック信号と加算部３０８より復号（内部デコード）された参照画像ブロック信号及び視差入力部３１６より視差情報を入力し、画面間予測を実施する。画面間予測部３１８は、生成した画面間予測画像ブロック信号を予測方式制御部３０９と選択部３１０に、画面間予測符号化情報を予測方式制御部３０９に出力する。なお、最初の処理において、加算部３０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック信号）を入力するものとする。画面間予測部３１８の処理が完了すると、ステップＳ３０５に進む。

ステップＳ３０５において、予測方式制御部３０９は、画面内予測部３１７より画面内予測画像ブロック信号と画面内予測符号化情報、及び画面間予測部３１８より画面間予測画像ブロック信号と画面間予測符号化情報を受取り、前述のラグランジュコストに基づいて、符号化効率の良い予測モードを選択する。予測方式制御部３０９は、選択した予測モードの情報を選択部３１０に出力する。予測方式制御部３０９は、選択した予測モードに対応する予測符号化情報に選択した予測モードを識別するための情報を付加して、エントロピー符号化部３０５に出力する。

選択部３１０は、予測方式制御部３０９から入力される予測モード情報に従って、画面内予測部から入力される画面内予測画像ブロック信号、或いは画面間予測部から入力される画面間予測画像ブロック信号を選択して、減算部３０２と加算部３０８に出力する。その後、ステップＳ３０６に進む。

ステップＳ３０６において、減算部３０２は、画像入力部３０１から入力される画像ブロック信号から選択部３１０から入力される予測画像ブロック信号を減算し、差分画像ブロック信号を生成する。減算部３０２は、差分画像ブロック信号を直交変換部３０３に出力する。その後、ステップＳ３０７に進む。

ステップＳ３０７において、直交変換部３０３は、減算部３０２から差分画像ブロック信号を入力し、上述の直交変換を実施する。直交変換部３０３は、直交変換後の信号を量子化部３０４に出力する。量子化部３０４は、直交変換部３０３から入力された信号を、上述の量子化処理を実施し、差分画像符号を生成する。量子化部３０４は、差分画像符号及び量子化係数を、エントロピー符号化部３０５と逆量子化部３０６に出力する。

エントロピー符号化部３０５は、量子化部３０４から入力される差分画像符号と量子化係数及び予測方式制御部３０９から入力される予測符号化情報をパッキング（ｐａｃｋｉｎｇ；詰込）し、可変長符号化（エントロピー符号化）を行い、情報量がより圧縮された符号化データを生成する。エントロピー符号化部３０５は、符号化データを画像符号化装置１００の外部に（例えば、図１１の画像復号装置７００）に出力する。その後、ステップＳ３０８に進む。

ステップＳ３０８において、逆量子化部３０６は、量子化部３０４から差分画像符号を入力し、量子化部３０４で実施した量子化の逆の処理を行う。逆量子化部３０６は、生成された信号を逆直交変換部３０７に出力する。逆直交変換部３０７は、逆量子化部３０６から逆量子化された信号を入力し、直交変換部３０３で実施した直交変換処理の逆直交変換処理を実施し、差分画像（復号差分画像ブロック信号）を復号する。逆直交変換部３０７は、復号された差分画像ブロック信号を加算部３０８に出力する。その後、ステップＳ３０９に進む。

ステップＳ３０９において、加算部３０８は、逆直交変換部３０７から入力される復号された差分画像ブロック信号に、選択部３１０から入力される予測画像ブロック信号を加算して、入力画像を復号する（参照画像ブロック信号）。加算部３０８は、参照画像ブロック信号を、画面内予測部３１７と画面間予測部３１８に出力する。その後、ステップＳ３１０に進む。

ステップＳ３１０において、画像符号化部１０６が、フレーム内の全ブロック及び全視点画像についてステップＳ３０２〜Ｓ３１０の処理が完了していない場合、処理対象となるブロックを変更してステップＳ３０２に戻る。
全ての処理が完了している場合、終了する。

上述のステップＳ３０３で実施される画面内予測の処理フローは、従来方式であるＨ．２６４或いはＭＶＣの画面内予測の処理ステップと同じでよい。

上述のステップＳ３０４で実施される画面間予測の処理フローについて、図１０及び図３を用いて説明する。
まずステップＳ４０１において、デブロッキング・フィルタ部３１１は、画面間予測部３１８の外部である加算部３０８から参照画像ブロック信号を入力し、前述のＦＩＲフィルタ処理を実施する。デブロッキング・フィルタ部３１１は、フィルタ処理後の補正ブロック信号をフレームメモリ３１２に出力する。その後、ステップＳ４０２に進む。

ステップＳ４０２において、フレームメモリ３１２は、デブロッキング・フィルタ部３１１の補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップＳ４０３に進む。

ステップＳ４０３において、動き／視差ベクトル検出部３１４は、画像入力部３０１から画像ブロック信号を受取ると、該画像ブロックに類似するブロックを、フレームメモリ３１２に蓄積された参照画像より探し出し（ブロックマッチング）、探し出したブロックを表すベクトル情報（動きベクトル／視差ベクトル）を生成する。動き／視差ベクトル検出部３１４は、検出したベクトル情報を含めた符号化のために必要な情報（参照視点画像番号、参照フレーム番号）を動き／視差補償部３１３に出力する。その後、ステップＳ４０４に進む。

ステップＳ４０４において、動き／視差補償部３１３は、動き／視差ベクトル検出部３１４から符号化のために必要な情報を入力し、該当する予測ブロックをフレームメモリ３１２より抽出する。動き／視差補償部３１３は、フレームメモリ３１２より抽出した予測画像ブロック信号を画面間予測画像ブロック信号として予測方式制御部３０９と選択部３１０に出力する。同時に、動き／視差補償部３１３は、符号化対象ブロックの隣接ブロックのベクトル情報と視差入力部３１６より入力する視差情報である視差ベクトルに基づいて生成した予測ベクトルと動き／視差ベクトル検出部３１４より入力した動き／視差ベクトルとの差分ベクトルを算出する。動き／視差補償部３１３は、算出した差分ベクトル及び予測に必要な情報（参照視点画像番号及び参照フレーム番号）を予測方式制御部３０９に出力する。その後、画面間予測を終了する。

このように、本実施形態によれば、画像符号化装置１００は、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによる視差補償予測を行うことができる。従って、本実施形態によれば、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、符号化効率を高めることができる。

（実施形態２）＜復号装置＞
図１１は、本発明の一実施形態である画像復号装置の構成例を示す機能ブロック図である。

図１１に示すように、本実施形態における画像復号装置７００は、撮影条件情報復号部７０１、奥行き画像復号部７０３、視差情報生成部７０４、及び画像復号部７０６を含んで構成される。なお、画像復号部７０６の内部に記載したブロック（基準視点復号処理部７０２、非基準視点復号処理部７０５）は、画像復号部７０６の動作を概念的に説明するために利用する。

以下、画像復号装置７００の機能及び動作について説明する。
画像復号装置７００の入力データは、画像復号装置７００の外部（例えば前述の画像符号化装置１００）より伝送された符号化ストリームを入力し、図示しない符号分離部によって分離・抽出された基準視点画像符号、非基準視点画像符号、奥行き画像符号、撮影条件情報符号として与えられる。

基準視点復号処理部７０２は、視点内予測符号化に従う方式により圧縮符号化された符号化データを復号し、基準視点の視点画像を復元する。復元した視点画像は、そのまま表示に使用されると共に、後述する非基準視点の視点画像の復号にも使用される。

奥行き画像復号部７０３は、従来方式であるＨ．２６４方式或いはＭＶＣ方式により圧縮符号化された符号化データを復号し、奥行き画像を復元する。復元した奥行き画像は、前述の復元された視点画像以外の視点の画像を生成・表示するために使用される。以下の説明では、奥行き画像復号部７０２を画像復号装置７００に具備した例を挙げているが、画像符号化装置１００側で生データを送信する場合も想定でき、そのような構成の場合、画像復号装置７００はその生データを受信できればよい。よって、画像復号装置７００に奥行き画像復号部７０３を設けない構成を採用することもできる。

撮影条件情報復号部７０１は、撮影条件情報の符号化データから、撮影時のカメラ間距離と撮影距離を含む情報を復元する。復元した撮影条件情報は、奥行き画像と共に、必要な視点画像を生成・表示するために使用される。視差情報生成部７０４は、復元された奥行き画像及び撮影条件情報に基づいて、復号する視点画像とそれとは異なる視点画像との間の視差情報を生成する。視差情報生成の方法・手順は、前述の画像符号化装置１００における視差情報生成部１０４の処理と同様である。

非基準視点復号処理部７０５は、視点間予測符号化に従う方式により圧縮符号化された符号化データを、復元された基準視点画像と、上記視差情報とに基づいて復号し、非基準視点の視点画像を復元する。最終的に、基準視点画像、非基準視点画像は、そのまま表示用画像として使用され、また、必要に応じて、奥行き画像と撮影条件情報とに基づいて、その他の視点の画像、例えば各視点間の間の画像が表示用に生成される。視点画像の生成処理については、当画像復号装置内で行ってもよいし装置外部で行ってもよい。

また、ここでは、画像符号化装置１００側で基準視点の視点画像を視点内予測符号化方式で符号化し且つ非基準視点の視点画像を視点間予測符号化方式で符号化する例を挙げているため、画像復号装置７００でもそれに合わせた方式で復号する例を挙げている。但し、画像符号化装置１００側で、基準視点の視点画像と非基準視点の視点画像の双方を視点間予測符号化方式で符号化する場合、画像復号装置７００側でも双方の視点画像を視差補償予測復号方式（視点間予測復号方式）で復号すればよい。なお、画像符号化装置１００側で符号化効率に基づいて予測符号化方式を切り替える場合には、画像復号装置７００では予測符号化方式を示す情報（予測符号化情報）を画像符号化装置１００から受信して予測復号方式を切り替えるが、その切り替えは復号対象画像が基準視点の視点画像であるか非基準視点の視点画像であるかに依らず、予測符号化情報に基づき実行すれば済む。

続いて、画像復号部７０６について図１２を用いて説明する。
図１２は、画像復号部７０６の機能構成を示す概略ブロック図である。
画像復号部７０６は、符号化データ入力部８１３、エントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部８０５、選択部８０６、デブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部８０９、イントラ予測部８１０、画像出力部８１２及び視差入力部８１４を含んで構成される。
なお、説明のために、画面内予測部８１６と画面間予測部８１５を点線で図示する。画面内予測部８１６はイントラ予測部８１０を含み、画面間予測部８１５はデブロッキング・フィルタ部８０７、フレームメモリ８０８及び動き／視差補償部８０９を含む。

図１１において画像復号部７０６の動作を説明した際には、基準視点の復号とそれ以外の非基準視点の復号を明示的に分けて、基準視点復号処理部７０２の処理と非基準視点復号処理部７０５の処理としたが、お互いに共通する処理が多いため、以下では基準視点復号処理と非基準視点復号処理を統合した形態について説明を行う。具体的には、前述の基準視点復号処理部７０２で行う視点内予測復号方式は、図１２の画面内予測部８１６で実施される処理と画面間予測部８１５で実施される処理の一部である同一視点の画像を参照する処理（動き補償）を組み合わせたものである。

また、非基準視点復号処理部７０５で行う視点間予測符号化方式は、画面内予測部８１６で実施される処理と画面間予測部８１５で実施される同一視点の画像を参照する処理（動き補償）及び異なる視点の画像を参照する処理（視差補償）を組み合わせたものである。さらに、画面間予測部８１５で実施される処理対象視点と同一視点の画像を参照する処理（動き補償）と異なる視点を参照する処理（視差補償）についても、復号時に参照する画像が異なるだけで、参照画像を指し示すＩＤ情報（参照視点番号、参照フレーム番号）を用いることで処理を共通化することが可能である。また、画像符号化データを復号した残差成分と各予測部で予測した画像を加算して画像を復元処理する処理も、基準視点であっても非基準視点であっても共通に行える。詳細は後述する。

符号化データ入力部８１３は、外部（例えば、画像符号化装置１００）から入力された画像符号化データを、処理ブロック単位（例えば１６画素×１６画素）に分割して、エントロピー復号部８０１に出力する。符号化データ入力部８１３は、ブロック位置を順次変えながら、フレーム内のすべてのブロックが完了し、そして入力される符号データが終了するまで繰り返して出力する。

エントロピー復号部８０１は、符号化データ入力部８１３から入力された符号化データを、エントロピー符号化部３０５が行った符号化方法（例えば、可変長符号化）と逆の処理（例えば、可変長復号）であるエントロピー復号して、差分画像符号と量子化係数及び予測符号化情報を抽出する。エントロピー復号部８０１は、差分画像符号と量子化係数を逆量子化部８０２に、予測符号化情報を予測方式制御部８０５に出力する。

逆量子化部８０２は、エントロピー復号部８０１から入力された差分画像符号を、量子化係数を用いて逆量子化して復号周波数領域信号を生成し、逆直交変換部８０３に出力する。

逆直交変換部８０３は、入力された復号周波数領域信号を、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部８０３は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Inverse Fast Fourier Transform））を用いてもよい。逆直交変換部８０３は、生成した復号差分画像ブロック信号を加算部８０４に出力する。

予測方式制御部８０５は、エントロピー復号部８０１から入力される予測符号化情報の中から、画像符号化装置１００で採用されたブロック単位の予測方式を取り出す。予測方式は、画面内予測或いは画面間予測である。予測方式制御部８０５は、抽出した予測方式に関する情報を選択部８０６に出力する。また、予測方式制御部８０５は、エントロピー復号部８０１から入力される予測符号化情報の中から符号化情報を取り出し、抽出した予測方式に対応する処理部に符号化情報を出力する。予測方式制御部８０５は、予測方式が画面内予測である場合には、画面内予測部８１６に画面内予測符号化情報として符号化情報を出力する。予測方式制御部８０５は、予測方式が画面間予測である場合には、画面間予測部８１５に画面間予測符号化情報として符号化情報を出力する。

選択部８０６は、予測方式制御部８０５から入力された予測方式に従って、画面内予測部８１６から入力される画面内予測画像ブロック信号、或いは画面間予測部８１５から入力される画面間予測画像ブロック信号を選択する。予測方式が、画面内予測の場合には、画面内予測画像ブロック信号を選択する。予測方式が、画面間予測の場合には、画面間予測画像ブロック信号を選択する。選択部８０６は、選択した予測画像ブロック信号を、加算部８０４に出力する。

加算部８０４は、逆直交変換部８０３から入力した復号差分画像ブロック信号に選択部８０６から入力した予測画像ブロック信号を加算し、復号画像ブロック信号を生成する。加算部８０４は、復号した復号画像ブロック信号を、画面内予測部８１６と画面間予測部８１５、及び画像出力部８１２に出力する。

画像出力部８１２は、加算部８０４から復号画像ブロック信号を入力し、図示しないフレームメモリに画像の一部として一旦保持する。画像出力部８１２は、表示順にフレームの並び替えを行った後、全ての視点画像が揃った時に、画像復号装置７００の外部に出力する。

続いて、画面内予測部８１６と画面間予測部８１５について説明する。
まず、画面内予測部８１６について説明する。
画面内予測部８１６内のイントラ予測部８１０は、加算部８０４より復号画像ブロック信号と予測方式制御部８０５より画面内予測符号化情報を入力する。イントラ予測部８１０は、画面内予測符号化情報より、符号化時に実施した画面内予測を再現する。なお、画面内予測は上述の従来方式に従って実施できる。イントラ予測部８１０は、生成した予測画像を画面内予測画像ブロック信号として、選択部８０６に出力する。

続いて、画面間予測部８１５の詳細について説明する。
デブロッキング・フィルタ部８０７は、加算部８０４から入力される復号画像ブロック信号に対して、デブロッキング・フィルタ部３１１で行うＦＩＲフィルタと同じ処理を行い、その処理結果（補正ブロック信号）をフレームメモリ８０８に出力する。

フレームメモリ８０８は、デブロッキング・フィルタ部８０７から補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。フレームメモリ８０８は、図示していないメモリ管理部によって、入力画像のピクチャの種類或いは画像の順番が管理され、その指示に従って画像を蓄えたり破棄する。画像管理については、従来方式のＭＶＣの画像管理方法を利用することもできる。

動き／視差補償部８０９は、予測方式制御部８０５より画面間予測符号化情報を入力し、その中から参照画像情報（参照視点画像番号と参照フレーム番号）と差分ベクトル（動き／視差ベクトルと予測ベクトルの差分ベクトル）を取り出す。動き／視差補償部８０９は、視差入力部８１４から入力した視差情報である視差ベクトルを用いて、前述の動き／視差補償部３１３で実施した予測ベクトル生成方法と同じ方法によって、予測ベクトルを生成する。すなわち、動き／視差補償部８０９は、復号を行う視点画像に関し、視差情報に基づいて異なる視点画像（つまり現復号対象ではない視点画像）に対する予測ベクトルを生成する。ここで生成される予測ベクトルは、復号対象画像（復号対象ブロック）を復号する際に用いる予測ベクトルであり、その予測ベクトルが指し示す先（ブロック）は異なる視点画像にあるブロック（ブロックマッチングで特定されたブロック）になる。

動き／視差補償部８０９は、算出した予測ベクトルに差分ベクトルを加算して、動き／視差ベクトルを再現する。動き／視差補償部８０９は、参照画像情報と動き／視差ベクトルに基づいて、フレームメモリ８０８に蓄積されている画像の中から対象の画像ブロック信号（予測画像ブロック信号）を抽出する。動き／視差補償部８０９は、抽出した画像ブロック信号を画面間予測画像ブロック信号として選択部８０６に出力する。

また、動き／視差補償部８０９における予測ベクトルの生成方法としては、上述したように、予測ベクトルを生成する際に利用する復号対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対してのみ、視差情報に基づく情報を適用すればよい。但し、必要な情報が得られるブロックについても視差情報に基づく情報を適用することもできる。つまり、必要な情報が得られないブロックであるか得られるブロックであるかに拘わらず、予測ベクトルの生成方法としては、復号対象ブロックにおける視差情報に基づく情報を用いることができる。

＜画像復号装置７００のフローチャート＞
次に、本実施形態に係る画像復号装置７００が行う画像復号処理について説明する。図１３は、画像復号装置７００が行う画像復号処理を示すフローチャートである。図１１を参照しながら説明する。

まずステップＳ５０１において、画像復号装置７００は、外部（例えば、画像符号化装置１００）から符号化ストリームを入力し、図示しない符号分離部によって画像符号化データとそれに対応する奥行き画像符号化データ及び撮影条件情報符号化データを分離・抽出する。その後、ステップＳ５０２に進む。

ステップＳ５０２において、奥行き画像復号部７０３は、ステップＳ５０１で分離・抽出された奥行き画像符号化データを復号し、結果を視差情報生成部７０４及び画像復号装置７００の外部に出力する。その後、ステップＳ５０３に進む。

ステップＳ５０３において、撮影条件情報復号部７０１は、ステップＳ５０１で分離・抽出された撮影条件情報符号化データを復号し、結果を視差情報生成部７０４及び画像復号装置７００の外部に出力する。その後、ステップＳ５０４に進む。

ステップＳ５０４において、視差情報生成部７０４は、撮影条件情報復号部７０１より復号された撮影条件情報と奥行き画像復号部７０３より復号された奥行き画像を入力し、視差情報を生成する。視差情報生成部７０４は、結果を画像復号部７０６に出力する。その後、ステップＳ５０５に進む。

ステップＳ５０５において、画像復号部７０６は、ステップＳ５０１で分離・抽出された画像符号化データと視差情報生成部７０４から視差情報を入力し、画像を復号する。画像復号部７０６は、結果を画像復号装置７００の外部に出力する。

上記ステップＳ５０４で実施される視差情報生成処理は、前述のＳ１０３すなわちＳ２０１〜Ｓ２０５の処理と同じである。

続いて、ステップＳ５０５で実施される視点画像の復号について、図１４及び図１２を用いて説明する。
まずステップＳ６０１において、画像復号部７０６は、外部から画像符号化データと対応する視差情報を入力する。その後、ステップＳ６０２に進む。

ステップＳ６０２において、符号化データ入力部８１３は、画像復号部７０６の外部から入力された符号化データを予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）に対応する処理ブロックに分割して、エントロピー復号部８０１に出力する。また、視差入力部８１４は、符号化データ入力部８１３に入力された符号化データと同期した視差情報を画像復号部７０６の外部である視差情報生成部７０４から入力し、符号化データ入力部８１３と同様の処理単位に分割して、画面間予測部８１５に出力する。
画像復号部７０６は、ステップＳ６０２〜ステップＳ６０８の処理をフレーム内の画像ブロック毎に繰り返す。

ステップＳ６０３において、エントロピー復号部８０１は、符号化データ入力部から入力された画像符号化データをエントロピー復号し、差分画像符号と量子化係数、及び予測符号化情報を生成する。エントロピー復号部８０１は、差分画像符号と量子化係数を、逆量子化部８０２に出力し、予測符号化情報を予測方式制御部８０５に出力する。予測方式制御部８０５は、エントロピー復号部８０１から予測符号化情報を入力し、予測方式に関する情報とその予測方式に対応する符号化情報を取り出す。予測方式が、画面内予測の場合には、符号化情報を画面内予測符号化情報として画面内予測部８１６に出力する。予測方式が、画面間予測の場合には、符号化情報を画面間予測符号化情報として画面間予測部８１５に出力する。その後、ステップＳ６０４とステップＳ６０５に進む。

ステップＳ６０４において、画面内予測部８１６内のイントラ予測部８１０は、予測方式制御部８０５から入力される画面内予測符号化情報と加算部８０４から入力される復号画像ブロック信号を入力して、画面内予測処理を実施する。イントラ予測部８１０は、生成された画面内予測画像ブロック信号を選択部８０６に出力する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。その後、ステップＳ６０６に進む。

ステップＳ６０５において、画面間予測部８１５は、予測方式制御部８０５から入力される画面間予測符号化情報と、加算部８０４から入力される復号画像ブロック信号、及び視差入力部８１４から入力される視差情報（すなわち視差ベクトル）に基づいて、画面間予測を実施する。画面間予測部８１５は、生成された画面間予測画像ブロック信号を選択部８０６に出力する。画面間予測の処理については後述する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。その後、ステップＳ６０６に進む。

ステップＳ６０６において、選択部８０６は、予測方式制御部８０５から出力された予測方式に関する情報を入力し、画面内予測部８１６から入力された画面内予測画像ブロック信号若しくは、画面間予測部８１５から入力された画面間予測画像信号を選択して、加算部８０４に出力する。その後、ステップＳ６０７に進む。

ステップＳ６０７において、逆量子化部８０２は、エントロピー復号部８０１から入力した差分画像符号を、画像符号化部１０６の量子化部３０４で実施した量子化の逆の処理を行う。逆量子化部８０２は、生成された復号周波数領域信号を逆直交変換部８０３に出力する。逆直交変換部８０３は、逆量子化部８０２から逆量子化された復号周波数領域信号を入力し、画像符号化部１０６の直交変換部３０３で実施した直交変換処理の逆直交変換処理を実施し、差分画像（復号差分画像ブロック信号）を復号する。逆直交変換部８０３は、復号された復号差分画像ブロック信号を加算部８０４に出力する。加算部８０４は、逆直交変換部８０３から入力される復号差分画像ブロック信号に選択部８０６から入力される予測画像ブロック信号を加算して、復号画像ブロック信号を生成する。加算部８０４は、復号した復号画像ブロック信号を画像出力部８１２と画面内予測部８１６及び画面間予測部８１５に出力する。その後、ステップＳ６０８に進む。

ステップＳ６０８において、画像出力部８１２は、加算部８０４から入力される復号画像ブロック信号を、画像内の対応する位置に配置させ出力画像生成する。フレーム内の全ブロックについてステップＳ６０２〜Ｓ６０８の処理が完了していない場合、処理対象となるブロックを変更してステップＳ６０２に戻る。

画像出力部８１２は、画像を表示順に並び替えを行い、同一フレームの視点画像を揃えて画像復号装置７００の外部に出力する。

画面間予測部８１５の処理フローについては、図１５及び図１２を用いて説明する。
まずステップＳ７０１において、デブロッキング・フィルタ部８０７は、画面間予測部８１５の外部である加算部８０４から復号画像ブロック信号を入力し、上記符号化時に行ったＦＩＲフィルタ処理を実施する。デブロッキング・フィルタ部８０７は、フィルタ処理後の補正ブロック信号をフレームメモリ８０８に出力する。その後、ステップＳ７０２に進む。

ステップＳ７０２において、フレームメモリ８０８は、デブロッキング・フィルタ部８０７の補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップＳ７０３に進む。

ステップＳ７０３において、動き／視差補償部８０９は、予測方式制御部８０５から画面間予測符号化情報を入力し、その中から参照画像情報（参照視点画像番号とフレーム番号）と差分ベクトル（動き／視差ベクトルと予測ベクトルとの差分ベクトル）を取り出す。動き／視差補償部８０９は、視差入力部８１４から入力した視差情報である視差ベクトルを用いて、前述の動き／視差補償部３１３で実施した予測ベクトル生成方法と同じ方法によって、予測ベクトルを生成する。動き／視差補償部８０９は、算出した予測ベクトルに差分ベクトルを加算して、動き／視差ベクトルを生成する。動き／視差補償部８０９は、参照画像情報と動き／視差ベクトルに基づいて、フレームメモリ８０８に蓄積されている画像の中から対象の画像ブロック信号（予測画像ブロック信号）を抽出する。動き／視差補償部８０９は、抽出した画像ブロック信号を画面間予測画像ブロック信号として選択部８０６に出力する。その後、画面間予測処理を終了する。

このように、本実施形態によれば、画像復号装置７００は、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによる視差補償予測を行うことができる。つまり、本実施形態によれば、図１の画像符号化装置１００のようにして予測ベクトルの精度を向上させ符号化効率を高めて符号化されたデータを復号することができる。

（実施形態３）＜符号化装置＞
以下、図面を参照しながら本発明の第３の実施の形態について説明する。第３の実施形態では、符号化情報を伝送しない符号化モードであるスキップモード時の予測ベクトル生成方法と生成された予測ベクトルを用いた符号化について説明する。

図２０は、本実施形態における画像符号化装置の構成例を示す機能ブロック図である。
画像符号化装置１０００は、撮影条件情報符号化部１０１、奥行き画像符号化部１００３、視差情報生成部１０４、及び画像符号化部１００６を含んで構成される。撮影条件情報符号化部１０１、及び視差情報生成部１０４は画像符号化装置１００（図１）と同様なため、説明は省略する。

なお、画像符号化部１００６の内部の基準視点符号化処理部１０２と非基準視点符号化処理部１００５は実施例１とほぼ同様の処理を行うため詳しい説明は省略する。ただし、非基準視点符号化処理部１００５はスキップモードによる符号化処理がかのうである。
奥行き画像符号化部１００３は、復元された奥行き画像を視差情報生成部１０４だけではなく画像符号化部１００６にも出力する。奥行き画像符号化部１００３の処理内容は奥行き画像符号化部１０３と同様なため、説明は省略する。

画像符号化部１００６については図２１を用いて説明する。図２１は、画像符号化部１００６の機能構成を示す概略ブロック図である。
画像符号化部１００６は、画像入力部３０１、減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部１１０９、選択部１１１０、デブロッキング・フィルタ部３１１、フレームメモリ（フレームメモリ部）３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、イントラ予測部３１５、視差入力部３１６、及びスキップモード符号化部１１１９を含んで構成される。

なお、説明のために、画面内予測部３１７と画面間予測部３１８を点線で図示する。画面内予測部３１７はイントラ予測部３１５を含み、画面間予測部１１１８はデブロッキング・フィルタ部３１１、フレームメモリ３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、及びスキップモード符号化部１１１９を含む。

画像入力部３０１、減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、デブロッキング・フィルタ部３１１、フレームメモリ（フレームメモリ部）３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、イントラ予測部３１５、及び視差入力部３１６は画像符号化部１０６（図３）の各ブロックと同様なため、説明を省略する。

スキップモード符号化部１１１９は、同一視点の画像を参照するスキップモードによる符号化処理と、異なる視点の画像を参照するスキップモードによる符号化処理の両方を行う。ただし、異なる視点の画像を参照する処理を行う場合には、実施形態１の動き／視差補償部３１３と同様、動き／視差ベクトル検出部３１４が検出した視差ベクトルに加えて、視差入力部３１６が視差情報生成部１０４から取得した視差情報（各ブロックの視差ベクトル）を予測ベクトル生成の際に用いる。また、２つの処理でそれぞれ生成した予測ベクトルのうち、奥行き画像を用いることで予測ベクトルを選択しスキップモードによる符号化を行う。詳細は後述する。

予測方式制御部１１０９は、入力画像のピクチャの種類（符号化対象画像が予測画像に参照できる画像を識別するための情報で、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどがある。なお、ピクチャの種類は、量子化係数と同様に外部より与えられるパラメータによって決まるもので、従来方式のＭＶＣと同じ方法を利用できる。）及び符号化効率に基づいて、画面内予測部３１７より入力される画面内予測画像ブロック信号とその画面内予測符号化情報、及び画面間予測部１１１８の動き／視差補償部３１３より入力される画面間予測画像ブロック信号とその画面間符号化情報、及び画面間予測部１１１８のスキップモード符号化部１１１９より入力されるスキップモード予測画像ブロック信号に基づいてブロック毎の予測方式を決める。予測方式制御部１１０９は、決めた予測方式を示す情報を選択部１１１０に出力する。

予測方式制御部１１０９は、入力画像のピクチャの種類を監視し、入力された符号化対象画像が画面内の情報しか参照できないＩピクチャの場合は画面内予測方式を確定的に選択する。符号化済みの過去のフレーム或いは異なる視点の画像を参照できるＰピクチャや符号化済みの過去及び未来のフレーム（表示順番では未来のフレームではあるが、過去に処理されたフレームの意味）と異なる視点の画像を参照できるＢピクチャの場合には、予測方式制御部１１０９は、エントロピー符号化部３０５で行う符号化により生成されるビット数と減算部３０２の原画像との残差から、例えば従来の手法（例えば、Ｈ．２６４ＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅＪＭｖｅｒ．１３．２Ｅｎｃｏｄｅｒ，ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／，２００８）を用いてラグランジュコストを算出し、画面内予測方式、画面間予測方式、スキップモードのいずれかに決める。

同時に、予測方式制御部１１０９は、画面内予測符号化情報、画面間予測符号化情報若しくはスキップモード符号化情報のうち、上述の方法によって選択された予測方式に対応する符号化情報に、予測方式を特定できる情報を付加し予測符号化情報として、エントロピー符号化部３０５に出力する。

選択部１１１０は、図３の選択部３１０と処理内容はほぼ同様である。ただし、選択部１１１０は、予測方式制御部１１０９より入力される予測方式がスキップモードであった場合には、減算部３０２及び加算部３０８に何も出力しない。

スキップモード符号化部１１１９は、動き／視差ベクトル検出部３１４より動きベクトル或いは視差ベクトルと、視差入力部３１６より視差情報を入力する。ここで、視差入力部３１６から入力される視差情報は、符号化対象の視点画像に対応する奥行き画像に基づく視差情報（各ブロックの視差ベクトル）である。スキップモード符号化部１１１９は、符号化対象ブロックに隣接する符号化済みブロックで採用された動き／視差ベクトル及び上記視差情報に基づいて予測ベクトルを生成する。予測ベクトルの生成法については後述する。スキップモード符号化部１１１９は、生成された予測ベクトルに基づいて、該当する領域の画像ブロックをフレームメモリ３１２より抽出し、スキップモード予測画像ブロック信号として、予測方式制御部１１０９に出力する。

続いて、スキップモード符号化部１１１９が行う、本実施形態に係わる予測ベクトルの生成方法について説明する。
スキップモード符号化部１１１９は、図１６に示すように、従来方式と同様に、符号化対象ブロックの上に隣接しているブロック（図中の隣接ブロックＡ）と右上に隣接しているブロック（図中の隣接ブロックＢ）と、左に隣接しているブロック（図中の隣接ブロックＣ）の動き／視差ベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとする。ただし、ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃの中に視差ベクトルが存在した場合には、そのベクトルの水平成分、垂直成分を０に置き換える。こうして生成された予測ベクトルを動き予測ベクトルと呼ぶ。

また、スキップモード符号化部１１１９は、符号化対象ブロックの符号化方式が視差補償予測方式の場合に動き／視差補償部３１３が行う予測ベクトル生成処理と同じ処理をすることで、もう１つ予測ベクトルを生成する。これを、視差予測ベクトルと呼ぶ。
スキップモード符号化部１１１９は、符号化対象画像に対応する符号化済みの奥行き画像と、動き予測ベクトルおよび視差予測ベクトルが示す画像に対応する符号化済みの奥行き画像とを奥行き画像符号化部１００３から入力する。動き予測ベクトルと視差予測ベクトルが示す画像とは、例えば、符号化対象画像の直前に符号化された同一視点の画像と、別視点の画像である。

スキップモード符号化部１１１９は、符号化対象ブロックに対応する奥行き画像の領域の奥行き値と、動き予測ベクトルが示す領域に対応する奥行き画像の領域の奥行き値とのＳＡＤを算出する。同様に、スキップモード符号化部１１１９は、符号化対象ブロックに対応する奥行き画像の領域の奥行き値と、視差予測ベクトルが示す領域に対応する奥行き画像の領域の奥行き値とのＳＡＤを算出する。スキップモード符号化部１１１９は、動き予測ベクトルおよび視差予測ベクトルのうち、ＳＡＤの値が小さかった方を予測ベクトルとする。

本実施形態によれば、符号化対象画像に対応した奥行き画像を用いて視差情報を生成するため、全ての画像ブロックに対して視差情報を得ることができる。また、この視差情報は、符号化対象画像と同じ時刻の奥行き画像から算出された視差情報である。スキップモード符号化部１１１９は、この視差情報を用いて視差予測ベクトルを生成する。このため、従来のように、符号化対象画像と異なる時刻の視差ベクトルを用いることがないので、被写体とカメラの距離が時間変化することによる誤差も発生しない。従って、スキップモードによる符号化方式において、精度の優れた予測ベクトルを得ることができる。

＜画像符号化装置１０００のフローチャート＞
次に、本実施形態に係る画像符号化装置１０００が行う画像符号化処理について説明する。図２２は、画像符号化装置１０００が行う画像符号化処理を示すフローチャートである。図２２を参照しながら説明する。
ステップＳ１０１、Ｓ１０３、Ｓ１０５及びＳ１０６の処理は、画像符号化装置１００で実施される処理（図７のステップＳ１０１、Ｓ１０３、Ｓ１０５及びＳ１０６）と同様であるので、説明を省略する。また、図２２のフローチャートは、図７とは、ステップＳ１０２、Ｓ１０４に換えて、ステップＳ８０２、Ｓ８０４を有する点が異なる。

ステップＳ８０２において、奥行き画像符号化部１００３は、外部より入力した奥行き画像を符号化する。奥行き画像符号化部１０３は、奥行き画像の符号化データを図示しない符号構成部に出力する。同時に奥行き画像符号化部１００３は、奥行き画像の符号化データを復号し、その結果を視差情報生成部１０４及び画像符号化部１００６に出力する。その後、ステップＳ１０３に進む。

ステップＳ８０４において、画像符号化部１００６は、外部より入力される視点画像と、視差情報生成部１０４より入力される視差情報と、奥行き画像符号化部１００３より入力される復号された奥行き画像に基づいて画像の符号化を行う。画像符号化部１００６は、同時に前述の予測符号化情報及び量子化係数も含めて符号化する。画像符号化部１００６は、画像の符号化データを図示しない符号構成部に出力する。その後、ステップＳ１０５に進む。

上記ステップＳ８０４で実施される視点画像の符号化について、より詳しく説明する。
ステップＳ８０４の視点画像の符号化について、図２３を用いて説明する。
ステップＳ３０１からステップＳ３０３と、ステップＳ３０６からステップＳ３１０の処理は、図９の各ステップの処理と同様である。また、図２３のフローチャートは、図９のステップＳ３０４に換えて、ステップＳ９０４を有し、ステップＳ３０５に換えて、ステップＳ９０５、Ｓ９０６を有する。

ステップＳ９０４において、画面間予測部１１１８は、画像入力部３０１から視点画像の画像ブロック信号と加算部３０８より復号（内部デコード）された参照画像ブロック信号と視差入力部３１６より視差情報及び奥行き画像符号化部１００３から復号された奥行き画像を入力し、画面間予測を実施する。画面間予測部１１１８は、生成した画面間予測画像ブロック信号を予測方式制御部１１０９と選択部１１１０に、とスキップモード予測画像ブロック信号と画面間予測符号化情報を予測方式制御部１１０９に出力する。なお、最初の処理において、加算部３０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック信号）を入力するものとする。画面間予測部１１１８の処理が完了すると、ステップＳ９０５に進む。

ステップＳ９０５において、予測方式制御部１１０９は、画面内予測部３１７より画面内予測画像ブロック信号と画面内予測符号化情報、及び画面間予測部１１１８より画面間予測画像ブロック信号、スキップモード予測画像ブロック信号及び画面間予測符号化情報を受取り、前述のラグランジュコストに基づいて、符号化効率の良い予測モードを選択する。予測方式制御部１１０９は、選択した予測モードの情報を選択部１１１０に出力する。予測方式制御部１１０９は、選択した予測モードに対応する予測符号化情報に選択した予測モードを識別するための情報を付加して、エントロピー符号化部３０５に出力する。その後、ステップＳ９０６に進む。

ステップＳ９０６において、選択部１１１０は、予測方式制御部３０９から予測モードの情報を入力される。選択部１１１０は、予測モードの情報がスキップモードを示している場合には（Ｙｅｓ）、減算部３０２と加算部３０８には何も出力しない。その後、ステップＳ３０９に進む。この場合、差分画像が生成されないため、ステップＳ３０９で復号される画像ブロックは予測ベクトルが示す領域そのものとなる。

また、ステップＳ９０６において、選択部１１１０は、予測モードの情報がスキップモード以外を示している場合には（Ｎｏ）、画面内予測部３１７から入力される画面内予測画像ブロック信号、或いは画面間予測部１１１８から入力される画面間予測画像ブロック信号を選択して、減算部３０２と加算部３０８に出力する。その後、ステップＳ３０６に進む。

上述のステップＳ９０４で実施される画面間予測の処理フローについて、図２４を用いて説明する。
ステップＳ４０１からステップＳ４０４の処理は、図１０の各ステップの処理と同様である。また、図２４のフローチャートは、ステップＳ４０４の後に、ステップＳ１００５を有する。

ステップＳ１００５において、スキップモード符号化部１１１９は、動き／視差ベクトル検出部３１４から符号化のために必要な情報と視差入力部３１６から視差情報を入力される。スキップモード符号化部１１１９は、符号化のために必要な情報と視差情報から予測ベクトルを生成する。スキップモード符号化部１１１９は、生成した予測ベクトルに基づいて該当する予測ブロックをフレームメモリ３１２より抽出する。スキップモード符号化部１１１９は、フレームメモリ３１２より抽出した予測ブロックを画面間予測画像ブロック信号として予測方式制御部１１０９に出力する。その後、画面間予測を終了する。

このように、本実施形態によれば、画像符号化装置１０００は、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによるスキップモードによる符号化を行うことができる。従って、本実施形態によれば、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、スキップモード時の符号化効率を高めることができる。

実施形態４＜復号装置＞
以下、図面を参照しながら本発明の第４の実施の形態について説明する。第４の実施形態では、第３の実施形態における画像符号化装置１０００により符号化された画像の復号について説明する。図２５は、本発明の一実施形態である画像復号装置の構成例を示す機能ブロック図である。
図２５に示すように、本実施形態における画像復号装置１２００は、撮影条件情報復号部７０１、奥行き画像復号部１２０３、視差情報生成部７０４、及び画像復号部１２０６を含んで構成される。なお、画像復号部１２０６の内部に記載したブロック（基準視点復号処理部７０２、非基準視点復号処理部１２０５）は、画像復号部１２０６の動作を概念的に説明するために利用する。

以下、画像復号装置１２００の機能及び動作について説明する。
画像復号装置１２００における撮影条件情報復号部７０１及び視差情報生成部７０４は画像復号装置７００（図１１）と同様なため、説明は省略する。
奥行き画像復号部１２０３は、従来方式であるＨ．２６４方式或いはＭＶＣ方式により圧縮符号化された符号化データを復号し、奥行き画像を復元する。奥行き画像復号部１２０３は、復元した奥行き画像を、視差情報生成部７０４、画像復号部１２０６及び画像復号装置１２００の外部に出力する。

画像復号部１２０６は、画像復号部７０６に対して、非基準視点復号処理部１２０５の処理内容が異なる。なお、基準視点復号処理部７０２は、図１１と同様であるので、説明を省略する。
非基準視点復号処理部１２０５は、視点間予測符号化に従う方式により圧縮符号化された符号化データを、復元された基準視点画像と、上記視差情報と、上記復号した奥行き画像に基づいて復号し、非基準視点の視点画像を復元する。非基準視点復号処理部１２０５は、復元した非基準視点の視点画像を画像復号装置１２００の外部に出力する。

続いて、画像復号部１２０６について図２６を用いて説明する。
図２６は、画像復号部１２０６の機能構成を示す概略ブロック図である。
画像復号部１２０６は、符号化データ入力部８１３、エントロピー復号部１３０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部１３０５、選択部１３０６、デブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部１３０９、スキップモード復号部１３１７、イントラ予測部８１０、画像出力部８１２及び視差入力部８１４を含んで構成される。なお、説明のために、画面内予測部８１６と画面間予測部１３１５を点線で図示する。画面内予測部８１６はイントラ予測部８１０を含み、画面間予測部８１５はデブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部１３０９及びスキップモード復号部１３１７を含む。

図２５において画像復号部１２０６の動作を説明した際には、基準視点の復号とそれ以外の非基準視点の復号を明示的に分けて、基準視点復号処理部７０２の処理と非基準視点復号処理部１２０５の処理としたが、お互いに共通する処理が多いため、以下では基準視点復号処理と非基準視点復号処理を統合した形態について説明を行う。
符号化データ入力部８１３、逆量子化部８０２、逆直交変換部８０３、加算部８０４、デブロッキング・フィルタ部８０７、フレームメモリ８０８、イントラ予測部８１０、画像出力部８１２及び視差入力部８１４は、画像復号部７０６（図１２）と同様のため説明を省略する。

エントロピー復号部１３０１は、符号化データ入力部８１３から入力された符号化データを、エントロピー符号化部３０５が行った符号化方法（例えば、可変長符号化）と逆の処理（例えば、可変長復号）であるエントロピー復号して、差分画像符号と量子化係数及び予測符号化情報を抽出する。エントロピー復号部１３０１は、差分画像符号と量子化係数を逆量子化部８０２に出力する。ただし、符号化データがスキップモードで符号化されている場合、差分画像符号と量子化係数が存在しないため、エントロピー復号部１３０１は、全ての値が０の差分画像符号と量子化係数を逆量子化部８０２に出力する。また、エントロピー復号部１３０１は、予測符号化情報を予測方式制御部１３０５に出力する。

予測方式制御部１３０５は、エントロピー復号部１３０１から入力される予測符号化情報の中から、画像符号化装置１０００で採用されたブロック単位の予測方式を取り出す。予測方式は、画面内予測、画面間予測或いはスキップモードである。予測方式制御部１３０５は、抽出した予測方式に関する情報を選択部１３０６に出力する。また、予測方式制御部１３０５は、エントロピー復号部１３０１から入力される予測符号化情報の中から符号化情報を取り出し、抽出した予測方式に対応する処理部に符号化情報を出力する。

予測方式制御部１３０５は、予測方式が画面内予測である場合には、画面内予測部８１６に画面内予測符号化情報として符号化情報を出力する。予測方式制御部１３０５は、予測方式が画面間予測である場合には、画面間予測部１３１５の動き／視差補償部１３０９に画面間予測符号化情報として符号化情報を出力する。予測方式制御部１３０５は、予測方式がスキップモードである場合には、画面間予測部１３１５のスキップモード復号部１３１７にスキップモード符号化情報として符号化情報を出力する。

選択部１３０６は、予測方式制御部１３０５から処理対象のブロックの予測方式を入力される。選択部１３０６は、入力された予測方式に従って、画面内予測部８１６から入力される画面内予測画像ブロック信号、又は画面間予測部１３１５の動き／視差補償部１３０９から入力される画面間予測画像ブロック信号、又は画面間予測部１３１５のスキップモード復号部１３１７から入力されるスキップモード予測画像ブロック信号の中から１つを選択する。予測方式が、画面内予測の場合には画面内予測画像ブロック信号を選択し、画面間予測の場合には画面間予測画像ブロック信号を選択し、スキップモードの場合にはスキップモード予測画像ブロック信号を選択する。選択部１３０６は、選択した予測画像ブロック信号を、加算部８０４に出力する。

画面間予測部１３１５は、画面間予測部８１５とは、動き／視差補償部８０９に換えて動き／視差補償部１３０９を有する点と、スキップモード復号部１３１７が追加されている点が異なる。
動き／視差補償部１３０９は、動き／視差補償部８０９と処理内容は同様であるが、生成した動き／視差ベクトルをスキップモード復号部１３１７に出力する点が異なる。

スキップモード復号部１３１７は、予測方式制御部１３０５からスキップモード符号化情報と、視差入力部８１４から視差情報と、奥行き画像復号部１２０３から復号された奥行き画像と、動き／視差補償部１３０９から動きベクトル或いは視差ベクトルを入力される。スキップモード復号部１３１７は、処理対象のブロックに隣接しているブロックの動きベクトル或いは視差ベクトルと、視差情報と、奥行き画像とに基づいて予測ベクトルを生成する。予測ベクトルの生成方法は、画像符号化装置１０００のスキップモード符号化部１１１９の生成方法と同様である。スキップモード復号部１３１７は、生成した予測ベクトルが示す領域に対応する画像ブロックをフレームメモリ８０８から抽出する。スキップモード復号部１３１７は、抽出した画像ブロックをスキップモード予測画像ブロック信号として、選択部１３０６に出力する。

＜画像復号装置１２００のフローチャート＞
次に、本実施形態に係る画像復号装置１２００が行う画像復号処理について説明する。図２７は、画像復号装置１２００が行う画像復号処理を示すフローチャートである。図２７を参照しながら説明する。

ステップＳ５０１、ステップＳ５０３及びステップＳ５０４は、画像復号装置７００（図１３）が行う処理と同様である。図２７のフローチャートは、図１３とは、ステップＳ５０２に換えてステップＳ１１０２を有する点と、ステップＳ５０５に換えてステップＳ１１０５を有する点が異なる。
ステップＳ１１０２において、奥行き画像復号部１２０３は、ステップＳ５０１で分離・抽出された奥行き画像符号化データを復号し、結果を視差情報生成部７０４、画像復号部１２０６及び画像復号装置１２００の外部に出力する。その後、ステップＳ５０３に進む。

ステップＳ１１０５において、画像復号部１２０６は、ステップＳ５０１で分離・抽出された画像符号化データと、視差情報生成部７０４から視差情報と、奥行き画像復号部１２０３から復号された奥行き画像が入力される。画像復号部１２０６は、入力された画像符号化データと視差情報と奥行き画像に基づいて、画像を復号する。画像復号部１２０６は、結果を画像復号装置１２００の外部に出力する。

続いて、ステップＳ１１０５で実施される視点画像の復号について、図２８を用いて説明する。
ステップＳ６０１、ステップＳ６０２、ステップＳ６０４、ステップＳ６０７及びステップＳ６０８は、図１４の各ステップと同様である。図２８のフローチャートは、図１４とは、ステップＳ６０３、Ｓ６０５、Ｓ６０６の各々に換えてステップＳ１２０３、Ｓ１２０５、Ｓ１２０６を有する点が異なる。

ステップＳ１２０３において、エントロピー復号部１３０１は、符号化データ入力部８１３から入力された画像符号化データをエントロピー復号し、差分画像符号と量子化係数、及び予測符号化情報を生成する。ただし、処理対象のブロックがスキップモードで符号化されていた場合には、差分画像符号と量子化係数が存在しないため、エントロピー復号部１３０１は、全ての値が０の差分画像符号と量子化係数を生成する。

エントロピー復号部１３０１は、差分画像符号と量子化係数を、逆量子化部８０２に出力し、予測符号化情報を予測方式制御部１３０５に出力する。予測方式制御部１３０５は、エントロピー復号部１３０１から予測符号化情報を入力し、予測方式に関する情報とその予測方式に対応する符号化情報を取り出す。予測方式制御部１３０５は、予測方式が画面内予測の場合には、符号化情報を画面内予測符号化情報として画面内予測部８１６に出力し、その後、ステップＳ６０４に進む。

予測方式制御部１３０５は、予測方式が画面間予測の場合には、符号化情報を画面間予測符号化情報として画面間予測部８１５の動き／視差補償部１３０９に出力し、スキップモードの場合には、符号化情報をスキップモード符号化情報として画面内予測部８１６のスキップモード復号部１３１７に出力し、その後、ステップＳ１２０５に進む。

ステップＳ１２０５において、画面間予測部１３１５は、予測方式制御部１３０５から入力される画面間予測符号化情報と、加算部８０４から入力される復号画像ブロック信号と、視差入力部８１４から入力される視差情報（すなわち視差ベクトル）、及び奥行き画像復号部１２０３から入力される復号された奥行き画像に基づいて、画面間予測又はスキップモードによる復号処理を実施する。画面間予測部８１５は、生成された画面間予測画像ブロック信号又はスキップモード予測画像ブロック信号を選択部１３０６に出力する。画面間予測及びスキップモードの処理については後述する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。その後、ステップＳ１２０６に進む。

ステップＳ１２０６において、選択部１３０６は、予測方式制御部１３０５から出力された予測方式に関する情報を入力し、予測方式に関する情報に基づいて画面内予測部８１６から入力された画面内予測画像ブロック信号、又は画面間予測部１３１５の動き／視差補償部１３０９から入力された画面間予測画像信号、又は画面間予測部１３１５のスキップモード復号部１３１７から入力されたスキップモード予測画像ブロック信号のいずれかを加算部８０４に出力する。その後、ステップＳ６０７に進む。

画面間予測部１３１５の処理フローについては、図２９を用いて説明する。
ステップＳ７０１、ステップＳ７０２及びステップＳ７０３は、図１５の各ステップと同様である。図２９のフローチャートと、図１５とは、ステップＳ７０２とＳ７０３の間にステップＳ１３０３を有する点と、ステップＳ１３０３による分岐先の一方にステップＳ１３０４を有する点が異なる。
ステップＳ１３０３において、画面間予測部１３１５は処理対象のブロックの予測方式が画面間予測の場合（Ｙｅｓ）、予測方式制御部１３０５から画面間予測符号化情報を受け取り、ステップＳ７０３に進む。画面間予測部１３１５は処理対象のブロックの予測方式が画面間予測ではない、即ちスキップモードの場合（Ｎｏ）、予測方式制御部１３０５からスキップモード予測符号化情報を受け取り、ステップＳ１３０４に進む。

ステップＳ１３０４において、画面間予測部１３１５のスキップモード復号部１３１７は、予測方式制御部１３０５からスキップモード符号化情報と、視差入力部８１４から視差情報と、奥行き画像復号部１２０３から復号された奥行き画像と、動き／視差補償部１３０９から動きベクトル或いは視差ベクトルを入力される。スキップモード復号部１３１７は、処理対象のブロックに隣接しているブロックの動きベクトル或いは視差ベクトルと、視差情報と、奥行き画像とに基づいて予測ベクトルを生成する。予測ベクトルの生成方法は、図２４のステップＳ１００５と同様である。スキップモード復号部１３１７は、生成した予測ベクトルが示す領域に対応する画像ブロックをフレームメモリ３１２から抽出する。スキップモード復号部１３１７は、抽出した画像ブロックをスキップモード予測画像ブロック信号として、選択部１３０６に出力する。その後、画面間予測処理を終了する。

このように、本実施形態によれば、画像復号装置１２００は、奥行き画像と奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによるスキップモードを用いて符号化された画像の復号を行うことができる。つまり、本実施形態によれば、図２１の画像符号化装置１０００のようにして予測ベクトルの精度を向上させスキップモード時の符号化効率を高めて符号化されたデータを復号することができる。

（実施形態５）＜符号化装置＞
以下、図面を参照しながら本発明の第５の実施の形態について説明する。第５の実施形態では、ベクトル情報を伝送しない符号化モードであるダイレクトモード時の予測ベクトル生成方法と生成された予測ベクトルを用いた符号化について説明する。

ダイレクトモードとスキップモードの違いは、符号化対象のブロックと予測画像ブロック信号との差分情報を符号化するか否かである。そのため、本実施形態では実施形態３、４のスキップモードがダイレクトモードに置き換わり、そのダイレクトモードで符号化した際に差分情報を符号化する点が実施形態３、４と異なっているのみであり、他の点は同様である。
また、ダイレクトモードはＢピクチャにのみ適用可能なため、以下の説明の中でのダイレクトモードにおける符号化対象画像は全てＢピクチャとする。
また、ダイレクトモードには空間ダイレクトモードと時間ダイレクトモードがあるが（非特許文献１）、以下の実施形態では空間ダイレクトモードについてのみ説明する。

図３０は、本実施形態における画像符号化装置の構成例を示す機能ブロック図である。
画像符号化装置１４００は、撮影条件情報符号化部１０１、奥行き画像符号化部１００３、視差情報生成部１０４、及び画像符号化部１４０６を含んで構成される。

撮影条件情報符号化部１０１、及び視差情報生成部１０４は、画像符号化装置１００（図１）と同様なため、説明は省略する。奥行き画像符号化部１００３は、画像符号化装置１０００（図２０）と同様なため、説明は省略する。

画像符号化部１４０６については図３１を用いて説明する。図３１は、画像符号化部１４０６の機能構成を示す概略ブロック図である。
画像符号化部１４０６は、画像入力部３０１、減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部１５０９、選択部１５１０、デブロッキング・フィルタ部３１１、フレームメモリ（フレームメモリ部）３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、イントラ予測部３１５、視差入力部３１６、及びダイレクトモード符号化部１５１９を含んで構成される。

なお、説明のために、画面内予測部３１７と画面間予測部１５１８を点線で図示する。画面内予測部３１７はイントラ予測部３１５を含み、画面間予測部１５１８はデブロッキング・フィルタ部３１１、フレームメモリ３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、及びダイレクトモード符号化部１５１９を含む。

ダイレクトモード符号化部１５１９は、同一視点の画像を参照するダイレクトモードによる符号化処理と、異なる視点の画像を参照するダイレクトモードによる符号化処理との両方を行う。ただし、異なる視点の画像を参照する処理を行う場合には、実施形態１と同様、動き／視差ベクトル検出部３１４が検出した視差ベクトルに加えて、視差入力部３１６が視差情報生成部１０４から取得した視差情報（各ブロックの視差ベクトル）を予測ベクトル生成の際に用いる。また、２つの処理でそれぞれ生成した予測ベクトルのうち、奥行き画像を用いることで予測ベクトルを選択しダイレクトモードによる符号化を行う。詳細は後述する。

予測方式制御部１５０９は、入力画像のピクチャの種類（符号化対象画像が予測画像に参照できる画像を識別するための情報で、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどがある。なお、ピクチャの種類は、量子化係数と同様に外部より与えられるパラメータによって決まるもので、従来方式のＭＶＣと同じ方法を利用できる。）及び符号化効率に基づいて、画面内予測部３１７より入力される画面内予測画像ブロック信号とその画面内予測符号化情報、及び画面間予測部１５１８の動き／視差補償部３１３より入力される画面間予測画像ブロック信号とその画面間符号化情報、及び画面間予測部１５１８のダイレクトモード符号化部１５１９より入力されるダイレクトモード予測画像ブロック信号に基づいてブロック毎の予測方式を決める。予測方式制御部１５０９は、決めた予測方式の情報を選択部１５１０に出力する。

予測方式制御部１５０９は、入力画像のピクチャの種類を監視し、入力された符号化対象画像が画面内の情報しか参照できないＩピクチャの場合は画面内予測方式を確定的に選択する。符号化済みの過去のフレーム或いは異なる視点の画像を参照できるＰピクチャや符号化済みの過去及び未来のフレーム（表示順番では未来のフレームではあるが、過去に処理されたフレームの意味）と異なる視点の画像を参照できるＢピクチャの場合には、予測方式制御部１５０９は、エントロピー符号化部３０５で行う符号化により生成されるビット数と減算部３０２の原画像との残差から、例えば従来の手法（例えば、Ｈ．２６４ＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅＪＭｖｅｒ．１３．２Ｅｎｃｏｄｅｒ，ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／，２００８）を用いてラグランジュコストを算出し、画面内予測方式、画面間予測方式、ダイレクトモードのいずれかに決める。

同時に、予測方式制御部１５０９は、画面内予測符号化情報、画面間予測符号化情報若しくはダイレクトモード符号化情報のうち、上述の方法によって選択された予測方式に対応する符号化情報に、予測方式を特定できる情報を付加し予測符号化情報として、エントロピー符号化部３０５に出力する。

選択部１５１０は、予測方式制御部１５０９より予測方式と、画面間予測部３１７より画面内予測画像ブロック信号と、画面間予測部１５１８の動き／視差補償部３１３より画面間予測画像ブロック信号と、画面間予測部１５１８のダイレクトモード符号化部１５１９よりダイレクトモード予測画像ブロック信号を入力として受け取る。選択部１５１０は、予測方式に対応する予測画像ブロック信号を選択する。選択部１５１０は、選択した予測画像ブロック信号を減算部３０２及び加算部３０８に出力する。

ダイレクトモード符号化部１５１９は、動き／視差ベクトル検出部３１４より動きベクトル或いは視差ベクトルと、視差入力部３１６より視差情報を入力する。ここで、視差入力部３１６から入力される視差情報は、符号化対象の視点画像に対応する奥行き画像に基づく視差情報（各ブロックの視差ベクトル）である。

ダイレクトモード符号化部１５１９は、符号化済みの画像内の符号化対象ブロックと同じ位置のブロックで採用された動き／視差ベクトル及び上記視差情報に基づいて予測ベクトルを生成する。予測ベクトルの生成法については後述する。ダイレクトモード符号化部１５１９は、生成された予測ベクトルに基づいて、該当する領域の画像ブロックをフレームメモリ３１２より抽出し、ダイレクトモード予測画像ブロック信号として、予測方式制御部１５０９に出力する。

続いて、ダイレクトモード符号化部１５１９が行う、本実施形態に係わる予測ベクトルの生成方法について説明する。
ダイレクトモード符号化部１５１９は、図２１のスキップモード符号化部１１１９と同様の処理を行うことで、動き予測ベクトルと視差予測ベクトルを生成する。ただし、ダイレクトモード符号化部１５１９は、過去の画像に対する動き予測ベクトルと、未来の画像に対する動き予測ベクトルをそれぞれ生成する。また、ダイレクトモード符号化部１５１９は、別の視点の画像に対する視差予測ベクトルと、前記別の視点とはさらに異なる視点の画像に対する動き予測ベクトルをそれぞれ生成する。

ダイレクトモード符号化部１５１９は、符号化対象ブロックに対応する奥行き画像の領域の奥行き値と、２つの動き予測ベクトルが示す領域に対応する奥行き画像の領域の奥行き値とのＳＡＤをそれぞれ算出し、その平均値を算出する。同様に、ダイレクトモード符号化部１５１９は、符号化対象ブロックに対応する奥行き画像の領域の奥行き値と、２つの視差予測ベクトルが示す領域に対応する奥行き画像の領域の奥行き値とのＳＡＤをそれぞれ算出し、その平均値を算出する。ダイレクトモード符号化部１５１９は、動き予測ベクトルおよび視差予測ベクトルのうち、ＳＡＤの平均値が小さかった方を予測ベクトルとする。

本実施形態によれば、符号化対象画像に対応した奥行き画像を用いて視差情報を生成するため、全ての画像ブロックに対して視差情報を得ることができる。また、この視差情報は、符号化対象画像と同じ時刻の奥行き画像から算出された視差情報である。ダイレクトモード符号化部１５１９は、この視差情報を用いて視差予測ベクトルを生成する。このため、従来のように、符号化対象画像と異なる時刻の視差ベクトルを用いることがないので、被写体とカメラの距離が時間変化することによる誤差も発生しない。従って、ダイレクトモードによる符号化方式において、精度の優れた予測ベクトルを得ることができる。

＜画像符号化装置１４００のフローチャート＞
次に、本実施形態に係る画像符号化装置１４００が行う画像符号化処理について説明する。図３２は、画像符号化装置１４００が行う画像符号化処理を示すフローチャートである。図３２を参照しながら説明する。

ステップＳ１０１、Ｓ１０３、Ｓ１０５及びＳ１０６の処理は、画像符号化装置１００（図７）で実施される処理と同様である。ステップＳ８０２の処理は、画像符号化装置１０００（図２２）で実施される処理と同様である。なお、図３２のフローチャートは、図２２とは、ステップＳ８０４に換えて、ステップＳ１４０４を有する点が異なる。
ステップＳ１４０４において、画像符号化部１４０６は、外部より入力される視点画像と、視差情報生成部１０４より入力される視差情報と、奥行き画像符号化部１００３より入力される復号された奥行き画像に基づいて画像の符号化を行う。画像符号化部１４０６は、同時に前述の予測符号化情報及び量子化係数も含めて符号化する。画像符号化部１４０６は、画像の符号化データを図示しない符号構成部に出力する。その後、ステップＳ１０５に進む。

上記ステップＳ１４０４で実施される視点画像の符号化について、より詳しく説明する。
ステップＳ１４０４の視点画像の符号化について、図３３を用いて説明する。
ステップＳ３０１からステップＳ３０３と、ステップＳ３０６からステップＳ３１０の処理は、図９の各ステップの処理と同様である。図３３のフローチャートは、図９とは、ステップＳ３０４、Ｓ３０５に換えて、ステップＳ１５０４、Ｓ１５０５を有する点が異なる。

ステップＳ１５０４において、画面間予測部１５１８は、画像入力部３０１から視点画像の画像ブロック信号と加算部３０８より復号（内部デコード）された参照画像ブロック信号と視差入力部３１６より視差情報及び奥行き画像符号化部１００３から復号された奥行き画像を入力し、画面間予測を実施する。画面間予測部１５１８は、生成した画面間予測画像ブロック信号を予測方式制御部１５０９と選択部１５１０に、ダイレクトモード予測画像ブロック信号と画面間予測符号化情報を予測方式制御部１５０９に出力する。なお、最初の処理において、加算部３０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック信号）を入力する。画面間予測部１５１８の処理が完了すると、ステップＳ１５０５に進む。

ステップＳ１５０５において、予測方式制御部１５０９は、画面内予測部３１７より画面内予測画像ブロック信号と画面内予測符号化情報、及び画面間予測部１５１８より画面間予測画像ブロック信号、ダイレクトモード予測画像ブロック信号及び画面間予測符号化情報を受取り、前述のラグランジュコストに基づいて、符号化効率の良い予測モードを選択する。予測方式制御部１５０９は、選択した予測モードの情報を選択部１５１０に出力する。予測方式制御部１５０９は、選択した予測モードに対応する予測符号化情報に選択した予測モードを識別するための情報を付加して、エントロピー符号化部３０５に出力する。その後、ステップＳ３０６に進む。

上述のステップＳ１５０４で実施される画面間予測の処理フローについて、図３４を用いて説明する。
ステップＳ４０１からステップＳ４０４の処理は、図１０の各ステップで実施される処理と同様である。図３４のフローチャートは、図１０とは、ステップＳ４０４の後にステップＳ１６０５を有する点が異なる。

ステップＳ１６０５において、ダイレクトモード符号化部１５１９は、動き／視差ベクトル検出部３１４から符号化のために必要な情報と視差入力部３１６から視差情報を入力される。ダイレクトモード符号化部１５１９は、符号化のために必要な情報と視差情報から予測ベクトルを生成する。ダイレクトモード符号化部１５１９は、生成した予測ベクトルに基づいて該当する予測ブロックをフレームメモリ３１２より抽出する。ダイレクトモード符号化部１５１９は、フレームメモリ３１２より抽出した予測ブロックを画面間予測画像ブロック信号として予測方式制御部１５０９に出力する。その後、画面間予測を終了する。

このように、本実施形態によれば、画像符号化装置１４００は、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによるダイレクトモードによる符号化を行うことができる。従って、本実施形態によれば、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、ダイレクトモード時の符号化効率を高めることができる。

（実施形態６）＜復号装置＞
以下、図面を参照しながら本発明の第６の実施の形態について説明する。第６の実施形態では、第５の実施形態における画像符号化装置１４００により符号化された画像の復号について説明する。図３５は、本発明の一実施形態である画像復号装置の構成例を示す機能ブロック図である。
図３５に示すように、本実施形態における画像復号装置１５００は、撮影条件情報復号部７０１、奥行き画像復号部１２０３、視差情報生成部７０４、及び画像復号部１５０６を含んで構成される。なお、画像復号部１５０６の内部に記載したブロック（基準視点復号処理部７０２、非基準視点復号処理部１５０５）は、画像復号部１５０６の動作を概念的に説明するために利用する。

以下、画像復号装置１５００の機能及び動作について説明する。
画像復号装置１５００における撮影条件情報復号部７０１及び視差情報生成部７０４は画像復号装置７００（図１１）と同様なため、説明は省略する。
奥行き画像復号部１２０３は、従来方式であるＨ．２６４方式或いはＭＶＣ方式により圧縮符号化された符号化データを復号し、奥行き画像を復元する。奥行き画像復号部１２０３は、復元した奥行き画像を、視差情報生成部７０４、画像復号部１５０６及び画像復号装置１５００の外部に出力する。

画像復号部１５０６は、画像復号部７０６に対して、非基準視点復号処理部１５０５の処理内容が異なる。なお、基準視点復号処理部７０２は、図１１と同様であるので、説明を省略する。
非基準視点復号処理部１５０５は、視点間予測符号化に従う方式により圧縮符号化された符号化データを、復元された基準視点画像と、上記視差情報と、上記復号した奥行き画像に基づいて復号し、非基準視点の視点画像を復元する。非基準視点復号処理部１５０５は、復元した非基準視点の視点画像を画像復号装置１５００の外部に出力する。

続いて、画像復号部１５０６について図３６を用いて説明する。
図３６は、画像復号部１５０６の機能構成を示す概略ブロック図である。
画像復号部１５０６は、符号化データ入力部８１３、エントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部１６０５、選択部１６０６、デブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部１３０９、ダイレクトモード復号部１６１７、イントラ予測部８１０、画像出力部８１２及び視差入力部８１４を含んで構成される。なお、説明のために、画面内予測部８１６と画面間予測部１６１５を点線で図示する。画面内予測部８１６はイントラ予測部８１０を含み、画面間予測部１６１５はデブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部１３０９及びダイレクトモード復号部１６１７を含む。

図３５において画像復号部１５０６の動作を説明した際には、基準視点の復号とそれ以外の非基準視点の復号を明示的に分けて、基準視点復号処理部７０２の処理と非基準視点復号処理部１５０５の処理としたが、お互いに共通する処理が多いため、以下では基準視点復号処理と非基準視点復号処理を統合した形態について説明を行う。

符号化データ入力部８１３、エントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、デブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部１３０９、イントラ予測部８１０、画像出力部８１２及び視差入力部８１４は、画像復号部１２０６（図２６）と同様のため説明を省略する。

予測方式制御部１６０５は、エントロピー復号部８０１から入力される予測符号化情報の中から、画像符号化装置１４００で採用されたブロック単位の予測方式を取り出す。予測方式は、画面内予測、画面間予測或いはダイレクトモードである。予測方式制御部１６０５は、抽出した予測方式に関する情報を選択部１６０６に出力する。また、予測方式制御部１６０５は、エントロピー復号部８０１から入力される予測符号化情報の中から符号化情報を取り出し、抽出した予測方式に対応する処理部に符号化情報を出力する。予測方式制御部１６０５は、予測方式が画面内予測である場合には、画面内予測部８１６に画面内予測符号化情報として符号化情報を出力する。予測方式制御部１６０５は、予測方式が画面間予測である場合には、画面間予測部１６１５の動き／視差補償部１３０９に画面間予測符号化情報として符号化情報を出力する。予測方式制御部１６０５は、予測方式がダイレクトモードである場合には、画面間予測部１６１５のダイレクトモード復号部１６１７にダイレクトモード符号化情報として符号化情報を出力する。

選択部１６０６は、予測方式制御部１６０５から処理対象のブロックの予測方式を入力される。選択部１６０６は、入力された予測方式に従って、画面内予測部８１６から入力される画面内予測画像ブロック信号、又は画面間予測部１６１５の動き／視差補償部１３０９から入力される画面間予測画像ブロック信号、又は画面間予測部１６１５のダイレクトモード復号部１６１７から入力されるダイレクトモード予測画像ブロック信号を選択する。予測方式が、画面内予測の場合には画面内予測画像ブロック信号を選択し、画面間予測の場合には画面間予測画像ブロック信号を選択し、ダイレクトモードの場合にはダイレクトモード予測画像ブロック信号を選択する。選択部１６０６は、選択した予測画像ブロック信号を、加算部８０４に出力する。

画面間予測部１６１５は、画面間予測部１３１５に対して、スキップモード復号部１３１７に換えてダイレクトモード復号部１６１７を有する点が異なる。
動き／視差補償部１３０９は、図２６の同ブロックと処理内容は同様である。

ダイレクトモード復号部１６１７は、予測方式制御部１６０５からダイレクトモード符号化情報と、視差入力部８１４から視差情報と、奥行き画像復号部１２０３から復号された奥行き画像と、動き／視差補償部１３０９から動きベクトル或いは視差ベクトルを入力される。ダイレクトモード復号部１６１７は、処理対象のブロックに隣接しているブロックの動きベクトル或いは視差ベクトルと、視差情報と、奥行き画像とに基づいて予測ベクトルを生成する。予測ベクトルの生成方法は、画像符号化装置１４００のダイレクトモード符号化部１５１９の生成方法と同様である。ダイレクトモード復号部１６１７は、生成した予測ベクトルが示す領域に対応する画像ブロックをフレームメモリ８０８から抽出する。ダイレクトモード復号部１６１７は、抽出した画像ブロックをダイレクトモード予測画像ブロック信号として、選択部１６０６に出力する。

＜画像復号装置１５００のフローチャート＞
次に、本実施形態に係る画像復号装置１５００が行う画像復号処理について説明する。図３７は、画像復号装置１５００が行う画像復号処理を示すフローチャートである。図３７を参照しながら説明する。

ステップＳ５０１、ステップＳ５０３及びステップＳ５０４は、図１３の同ステップと同様の処理である。
ステップＳ１１０２は、図２７のステップと同様の処理である。図３７のフローチャートは、図２７とは、ステップＳ１１０４に換えてステップＳ１７０５を有する点が異なる。

ステップＳ１７０５において、画像復号部１５０６は、ステップＳ５０１で分離・抽出された画像符号化データと、視差情報生成部７０４から視差情報と、奥行き画像復号部１２０３から復号された奥行き画像が入力される。画像復号部１５０６は、入力された画像符号化データと視差情報と奥行き画像に基づいて、画像を復号する。画像復号部１５０６は、結果を画像復号装置１５００の外部に出力する。

続いて、ステップＳ１７０５で実施される視点画像の復号について、図３８を用いて説明する。
ステップＳ６０１、ステップＳ６０２、ステップＳ６０４、ステップＳ６０７及びステップＳ６０８は、図１４の各ステップと同様である。図１４のフローチャートは、図２８とは、ステップＳ６０３、Ｓ６０５、Ｓ６０６の各々に換えてステップＳ１８０３、Ｓ１８０５、Ｓ１８０６を有する点が異なる。

ステップＳ１８０３において、エントロピー復号部８０１は、符号化データ入力部８１３から入力された画像符号化データをエントロピー復号し、差分画像符号と量子化係数、及び予測符号化情報を生成する。
エントロピー復号部８０１は、差分画像符号と量子化係数を、逆量子化部８０２に出力し、予測符号化情報を予測方式制御部１６０５に出力する。予測方式制御部１６０５は、エントロピー復号部８０１から予測符号化情報を入力し、予測方式に関する情報とその予測方式に対応する符号化情報を取り出す。

予測方式が、画面内予測の場合には、符号化情報を画面内予測符号化情報として画面内予測部８１６に出力し、その後、ステップＳ６０４に進む。
予測方式が、画面間予測の場合には、符号化情報を画面間予測符号化情報として画面間予測部８１５の動き／視差補償部１３０９に出力し、ダイレクトモードの場合には、符号化情報をダイレクトモード符号化情報として画面内予測部８１６のダイレクトモード復号部１６１７に出力し、その後、ステップＳ１８０５に進む。

ステップＳ１８０５において、画面間予測部１６１５は、予測方式制御部１６０５から入力される画面間予測符号化情報と、加算部８０４から入力される復号画像ブロック信号と、視差入力部８１４から入力される視差情報（すなわち視差ベクトル）、及び奥行き画像復号部から入力される復号された奥行き画像に基づいて、画面間予測又はダイレクトモードによる復号処理を実施する。画面間予測部８１５は、生成された画面間予測画像ブロック信号又はダイレクトモード予測画像ブロック信号を選択部１６０６に出力する。画面間予測及びダイレクトモードの処理については後述する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。その後、ステップＳ１８０６に進む。

ステップＳ１８０６において、選択部１６０６は、予測方式制御部１６０５から出力された予測方式に関する情報を入力し、予測方式に関する情報に基づいて画面内予測部８１６から入力された画面内予測画像ブロック信号、又は画面間予測部１６１５の動き／視差補償部１３０９から入力された画面間予測画像信号、又は画面間予測部１６１５のダイレクトモード復号部１６１７から入力されたダイレクトモード予測画像ブロック信号のいずれかを加算部８０４に出力する。その後、ステップＳ６０７に進む。

画面間予測部１６１５の処理フローについては、図３９を用いて説明する。
ステップＳ７０１、ステップＳ７０２及びステップＳ７０３は、図１５の各ステップと同様である。図３９のフローチャートと、図１５とは、ステップＳ７０２とＳ７０３の間にステップＳ１９０３を有する点と、ステップＳ１９０３による分岐先の一方にステップＳ１９０４を有する点が異なる。
ステップＳ１９０３において、画面間予測部１６１５は処理対象のブロックの予測方式が画面間予測の場合（Ｙｅｓ）、予測方式制御部１６０５から画面間予測符号化情報を受け取り、ステップＳ７０３に進む。画面間予測部１６１５は処理対象のブロックの予測方式が画面間予測ではない、即ちダイレクトモードの場合（Ｎｏ）、予測方式制御部１６０５からダイレクトモード予測符号化情報を受け取り、ステップＳ１９０４に進む。

ステップＳ１９０４において、予測方式制御部１６０５からダイレクトモード符号化情報と、視差入力部８１４から視差情報と、奥行き画像復号部１２０３から復号された奥行き画像と、動き／視差補償部１３０９から動きベクトル或いは視差ベクトルを入力される。ダイレクトモード復号部１６１７は、処理対象のブロックに隣接しているブロックの動きベクトル或いは視差ベクトルと、視差情報と、奥行き画像とに基づいて予測ベクトルを生成する。予測ベクトルの生成方法は、図３４のステップＳ１６０５と同様である。ダイレクトモード復号部１６１７は、生成した予測ベクトルが示す領域に対応する画像ブロックをフレームメモリ３１２から抽出する。ダイレクトモード復号部１６１７は、抽出した画像ブロックをダイレクトモード予測画像ブロック信号として、選択部１６０６に出力する。その後、画面間予測処理を終了する。

このように、本実施形態によれば、画像復号装置１５００は、奥行き画像と奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによるダイレクトモードによる符号化を行うことができる。つまり、本実施形態によれば、図３０の画像符号化装置１４００のようにして予測ベクトルの精度を向上させダイレクトモード時の符号化効率を高めて符号化されたデータを復号することができる。

（実施形態７）＜ソフトウェア、方法＞
上述した各実施形態における画像符号化装置１００、１０００、１４００、画像復号装置７００、１２００、１５００各々の一部分、例えば、奥行き画像符号化部１０３の一部、視差情報生成部１０４、撮影条件情報符号化部１０１と画像符号化部１０６内の減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部３０９、選択部３１０、デブロッキング・フィルタ部３１１、動き／視差補償部３１３、動き／視差ベクトル検出部３１４並びにイントラ予測部３１５、及び奥行き画像復号部７０３の一部、視差情報生成部７０４、撮影条件情報復号部７０１と画像復号部７０６内のエントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部８０５、選択部８０６、デブロッキング・フィルタ部８０７、動き／視差補償部８０９、並びにイントラ予測部８１０をコンピュータで実現するようにしてもよい。

その場合、この制御機能を実現するためのプログラム（画像符号化プログラム及び／又は画像復号プログラム）をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１００又は画像復号装置７００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、このプログラムは、可搬の記録媒体やネットワークを介して流通させるに限らず、放送波を介して流通させることもできる。

この画像符号化プログラムは、コンピュータに、異なる視点から撮影した複数の視点画像を符号化する画像符号化処理を実行させるためのプログラムであって、そのコンピュータに、複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、符号化を行う視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを実行させるためのプログラムである。その他の応用例については、画像符号化装置について説明した通りである。

また、上述の画像復号プログラムは、コンピュータに、異なる視点から撮影した複数の視点画像を復号する画像復号処理を実行させるためのプログラムであって、そのコンピュータに、複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、復号する視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを実行させるためのプログラムである。
その他の応用例については、画像復号装置について説明した通りである。この画像復号プログラムは、多視点画像の再生ソフトウェアの一部として実装することができる。

また、上述した実施形態における画像符号化装置１００、１０００、１４００及び画像復号装置７００、１２００、１５００各々の一部分、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（IntegratedCircuit）チップセットとして実現してもよい。画像符号化装置１００、１０００、１４００及び画像復号装置７００、１２００、１５００の各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

また、本発明は、画像符号化装置、画像復号装置における制御の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの各ステップの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。

この画像符号化方法は、異なる視点から撮影した複数の視点画像を符号化する方法であって、撮影条件情報符号化部が、複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、視差情報生成部が、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像符号化部が、符号化を行う視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを有するものとする。その他の応用例については、画像符号化装置について説明した通りである。

また、上述の画像復号方法は、異なる視点から撮影した複数の視点画像を復号する方法であって、撮影条件情報復号部が、複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、視差情報生成部が、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像復号部が、復号する視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを有するものとする。その他の応用例については、画像復号装置について説明した通りである。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１００、１０００、１４００…画像符号化装置、１０１…撮影条件情報符号化部、１０２…基準視点符号化処理部、１０３、１００３…奥行き画像符号化部、１０４…視差情報生成部、１０５、１００５、１４０５…非基準視点符号化処理部、１０６、１００６、１４０６…画像符号化部、２０１…ブロック分割部、２０２…代表奥行き値決定部、２０３…視差算出部、２０４…距離情報抽出部、３０１…画像入力部、３０２…減算部、３０３…直交変換部、３０４…量子化部、３０５…エントロピー符号化部、３０６…逆量子化部、３０７…逆直交変換部、３０８…加算部、３０９、１１０９、１５０９…予測方式制御部、３１０、１１１０、１５１０…選択部、３１１…デブロッキング・フィルタ部、３１２…フレームメモリ、３１３…動き／視差補償部、３１４…動き／視差ベクトル検出部、３１５…イントラ予測部、３１６…視差入力部、３１７…画面内予測部、３１８、１１１８、１５１８…画面間予測部、１１１９…スキップモード符号化部、１５１９…ダイレクトモード符号化部、７００…画像復号装置、７０１…撮影条件情報復号部、７０２…基準視点復号処理部、７０３、１２０３…奥行き画像復号部、７０４…視差情報生成部、７０５、１２０５、１５０５…非基準視点復号処理部、７０６、１２０６、１５０６…画像復号部、８０１、１３０１…エントロピー復号部、８０２…逆量子化部、８０３…逆直交変換部、８０３…逆直交変換部、８０４…加算部、８０５、１３０５、１６０５…予測方式制御部、８０６…選択部、８０７…デブロッキング・フィルタ部、８０８…フレームメモリ、８０９、１３０９…動き／視差補償部、８１０…イントラ予測部、８１２…画像出力部、８１３…符号化データ入力部、８１４…視差入力部、８１５、１３１５、１６１５…画面間予測部、８１６…画面内予測部、１３１７…スキップモード復号部、１６１７…ダイレクトモード復号部

Claims

複数の視点画像を符号化する画像符号化装置であって、
前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成する視差情報生成部と、
前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測符号化方式による符号化を行う画像符号化部と
を備えることを特徴とする画像符号化装置。
前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化方式が前記視点間予測符号化方式ではないブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする、請求項１に記載の画像符号化装置。
前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化未済みのブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする、請求項１に記載の画像符号化装置。
前記画像符号化部は、
前記符号化対象ブロックにおける視差を示す情報あるいは前記隣接ブロックにおける視差を示す情報であって、前記視差情報を含む情報の中から選択した情報を用いて、前記予測ベクトルを生成し、
該選択した情報に対応するブロックを示す情報を符号化することを特徴とする、請求項１に記載の画像符号化装置。
前記視差情報生成部は、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴とする、請求項１から請求項４のいずれか１項に記載の画像符号化装置。
前記視差情報生成部は、前記奥行き画像を分割したブロック毎の奥行き値の代表値に対応する視差情報を生成することを特徴とする、請求項１から請求項５のいずれか１項に記載の画像符号化装置。
前記奥行き画像を符号化する奥行き画像符号化部を更に備えることを特徴とする、請求項１から請求項６のいずれか１項に記載の画像符号化装置。
複数の視点画像を復号する画像復号装置であって、
前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成する視差情報生成部と、
前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測復号方式による復号を行う画像復号部と
を備えることを特徴とする画像復号装置。
前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化方式が前記視点間予測符号化方式ではないブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする、請求項８に記載の画像復号装置。
前記画像符号化部は、前記符号化対象ブロックの隣接ブロックのうち、符号化未済みのブロックに対応する前記視差情報に基づいて、前記予測ベクトルを生成することを特徴とする、請求項８に記載の画像復号装置。
前記画像復号部は、外部から入力される、ブロックを示す情報を参照し、前記情報が示すブロックの視差を示す情報を用いて、前記予測ベクトルを生成することを特徴とする、請求項８に記載の画像復号装置。
前記視差情報生成部は、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴とする、請求項８から請求項１１のいずれか１項に記載の画像復号装置。
前記視差情報生成部は、前記奥行き画像を分割したブロック毎の奥行き値の代表値に対応する視差情報を生成することを特徴とする、請求項８から請求項１２のいずれか１項に記載の画像復号装置。
前記奥行き画像は符号化されており、
前記奥行き画像を復号する奥行き画像復号部を更に備えることを特徴とする、請求項８から請求項１３のいずれか１項に記載の画像復号装置。
複数の視点画像を符号化する画像符号化方法であって、
前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、
前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測符号化方式による符号化を行うステップと
を有することを特徴とする画像符号化方法。
複数の視点画像を復号する画像復号方法であって、
前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、
前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測復号方式による復号を行うステップと
を有することを特徴とする画像復号方法。
複数の視点画像を符号化する画像符号化装置のコンピュータに、
前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、
前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測符号化方式による符号化を行うステップと
を実行させるためのプログラム。
複数の視点画像を復号する画像復号装置のコンピュータに、
前記複数の視点画像のうちの第１の視点画像に対応する奥行き画像に基づいて、前記第１の視点画像と、前記複数の視点画像のうちの前記第１の視点画像とは異なる第２の視点画像との間の視差情報を生成するステップと、
前記第１の視点画像に含まれる符号化対象ブロック及び該符号化対象ブロックの隣接ブロックのうち、少なくとも一つに対応する前記視差情報に基づいて、前記符号化対象ブロックの予測ベクトルを生成し、該予測ベクトルを用いて、前記符号化対象ブロックの視点間予測復号方式による復号を行うステップと
を実行させるためのプログラム。