JP2017147749A

JP2017147749A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Info

Publication number: JP2017147749A
Application number: JP2017084007A
Authority: JP
Inventors: 内海　端; Tadashi Uchiumi; 端内海; 貴也山本; Takaya Yamamoto
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2017-04-20
Filing date: 2017-04-20
Publication date: 2017-08-24

Abstract

【課題】視点画像と奥行き画像を符号化または復号するにあたり、符号化と復号に際しての視点画像と奥行き画像の依存関係が異なる複数の方式を統一的に使用できるようにする。
【解決手段】画像符号化装置（１００）は、視点画像を符号化する視点画像符号化部（１１０）と、奥行き画像を符号化する奥行き画像符号化部（１２０）と、視点画像に関して、奥行き画像の参照関係を示す１ビットのフラグである画像間参照情報を、符号化された視点画像と符号化された奥行き画像とを含む符号化データ列に挿入する画像間参照情報処理部（１７０）と、を備える。
【選択図】図１

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムに関する。

複数視点の画像を記録または伝送し、これを再生することによって、視聴者であるユーザの好みの観察角度による画像を観賞することが可能である。

一例として、ＤＶＤ−Ｖｉｄｅｏにおけるマルチアングル映像は、視聴者が興味を持ちそうであるとか制作者側が見せたいと思う複数視点による同時刻の映像を予め用意したものである。ユーザは、再生時においてしかるべき操作を行うことによって、任意の映像の再生に切り替え視聴することができる。

上記のようなマルチアングル映像の機能を実現するためには、各アングル（視点）に対応する複数の映像を全て記録しておく必要がある。このために、例えば視点の数が多くなるほど、映像コンテンツのデータサイズが肥大する。このために、現実においては、例えば制作者側で特に見せたい、または、視聴者が特に興味を持ちそうなシーンに限定してマルチアングル映像を用意するようにして、例えば記録メディアの容量を超えない範囲で映像コンテンツを制作している。

例えば、特にスポーツ、コンサート、舞台演劇などの映像についてユーザが興味を持つ視点は多様である。この点からすれば、できるだけ多くの視点による映像をユーザに提供できるようにすることが好ましい。

このような要望を背景に、複数の視点画像を符号化するとともに、これらの視点画像に対応する奥行き情報も符号化し、これらの符号化データを含むストリームデータを生成するという画像符号化装置が知られている（例えば、特許文献１参照）。

この奥行き情報は、視点画像内の被写体の各々と観察位置（カメラ位置）との距離を示す情報である。奥行き情報とカメラ位置に関する情報に基づく演算により視点画像内の各被写体の三次元空間上の位置を求めることで、撮影したシーンを仮想的に再現できる。そして、再現されたシーンを、別のカメラ位置に対応するスクリーン上に射影変換することにより、任意の視点から観察しているのと同じ映像を生成できる。

奥行き情報は、カメラなどの撮影装置により撮影した際の視点位置（カメラ位置）から撮影画像内の各被写体までの距離（＝奥行き）を所定の数値範囲（例えば８ビット）で数値化した情報である。そのうえで、奥行き情報は、上記のように数値化された距離を画素の輝度値に変換したモノクローム画像の形式である。これにより、奥行き情報を画像として符号化（圧縮）することができる。

特許文献１の画像符号化装置は、入力される複数の視点画像に関して、多視点画像符号化方式の１つであるＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇ）にしたがって、時間方向の予測符号化と視点方向の予測符号化を併用した符号化方式を採用している。そのうえで、特許文献１の画像符号化装置は、奥行き情報についても、時間方向と視点方向の予測符号化を併用して符号化効率を高めている。

また、多視点画像と奥行き画像を符号化する映像符号化方法として次のものも知られている。つまり、この映像符号化方法では、奥行き画像（距離画像）とカメラの位置関係とに基づいて、基準視点以外の視点における視差補償画像を生成し、生成した視差補償画像と実際の入力画像との間で予測符号化を行うというものである（例えば、特許文献２参照）。つまり、この映像符号化方法は、奥行き画像を利用することにより視点画像の符号化効率の向上を図ろうとしている。このような映像符号化方法では、符号化のときと復号のときとで同じ視差補償画像を得る必要上、一旦符号化した後に再度復号した奥行き画像を用いて視差補償画像を生成する。このために、視点画像の符号化および復号は、奥行き画像の符号化結果と復号結果に依存する。

また、次のような映像符号化方法も知られている。つまり、視点画像（Ｖｉｄｅｏ）とともに奥行き画像（ＤＥＰＴＨ：ＭｕｌｔｉｐｌｅＡｕｘｉｌｉａｒｙＣｏｍｐｏｎｅｎｔｓの一つとして定義される）を符号化する際に、視点画像の予測符号化のときに得られた動きベクトルなどの情報を奥行き画像の符号化に利用するというものである（例えば、非特許文献１参照）。この映像符号化方法の場合には、特許文献２の場合とは反対に、奥行き画像の符号化および復号が視点画像の符号化結果と復号結果に依存する。

特開２０１０−１５７８２３号公報特開２００７−３６８００号公報

"Ｃｏｄｉｎｇｏｆａｕｄｉｏ−ｖｉｓｕａｌｏｂｊｅｃｔｓ：Ｖｉｓｕａｌ"，ＩＳＯ／ＩＥＣ１４４９６−２：２００１

上記特許文献２や非特許文献１のように視点画像と奥行き画像を符号化することは、比較的少ないデータ量で多くの視点に対応する映像を生成することができる。しかし、これらの符号化方法は、例えば、一方は奥行き画像の情報を視点画像の符号化に利用し、一方は視点画像の情報を奥行き画像の符号化に利用するというように、互いの依存関係が異なる。さらに、特許文献１の符号化は、視点画像と奥行き画像との間では利用関係がない。このように、これらの多視点画像符号化方式は、それぞれ視点画像と奥行き画像の依存関係が異なる。そのうえで、これらの多視点画像符号化方式は、それぞれが異なる利点を有している。
しかし、これらの画像符号化方式は、符号化と復号に際しての視点画像と奥行き画像の依存関係が異なるので同時的に併用することはできない。このために、現状においては、機器やサービスごとに１つの画像符号化方式を定め、この画像符号化方式を定常的に使用している。この場合、例えば、１つの機器やサービスにおいてコンテンツ内容の変化などに応じて、使用が定められた符号化方式よりも他の符号化方式を採用した方が有利となるような状況が生じたとしても、これに対応することはできなかった。

本発明は、このような事情に鑑みてなされたもので、視点画像と奥行き画像を符号化または復号するにあたり、符号化と復号に際しての視点画像と奥行き画像の依存関係が異なる複数の方式を統一的に使用できるようにすることを目的とする。

上述した課題を解決するために、本発明の一態様としての画像符号化装置は、それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像に対応する奥行き画像を参照すべきときには、符号化単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化部と、前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化部と、符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す１ビットのフラグである画像間参照情報を、符号化された視点画像と符号化された奥行き画像とを含む符号化データ列に挿入する画像間参照情報処理部と、を備える。

また、本発明の一態様としての画像復号装置は、符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化単位ごとに示す１ビットのフラグである画像間参照情報とを抽出する符号抽出部と、抽出された前記符号化視点画像を復号する視点画像復号部と、抽出された前記符号化奥行き画像を復号する奥行き画像復号部と、抽出された前記画像間参照情報が示す参照関係に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御する復号制御部と、を備える。

また、本発明の一態様としての画像符号化方法は、それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像に対応する奥行き画像を参照すべきときには、符号化単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化ステップと、前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化ステップと、符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す１ビットのフラグである画像間参照情報を、符号化された前記視点画像と符号化された前記奥行き画像を含む符号化データ列に挿入する画像間参照情報処理ステップと、を備える。

また、本発明の一態様としての画像復号方法は、符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化単位ごとに示す１ビットのフラグである画像間参照情報とを抽出する符号抽出ステップと、抽出された前記符号化視点画像を復号する視点画像復号ステップと、抽出された前記符号化奥行き画像を復号する奥行き画像復号ステップと、抽出された前記画像間参照情報が示す参照関係に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御する復号制御ステップと、を備える。

また、本発明の一態様としてのプログラムは、コンピュータに、それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像に対応する奥行き画像を参照すべきときには、符号化単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化ステップ、前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化ステップ、符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す１ビットのフラグである画像間参照情報を、符号化された前記視点画像と符号化された前記奥行き画像を含む符号化データ列に挿入する画像間参照情報処理ステップ、を実行させる。

また、本発明の一態様としてのプログラムは、コンピュータに、符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化単位ごとに示す１ビットのフラグである画像間参照情報とを抽出する符号抽出ステップ、抽出された前記符号化視点画像を復号する視点画像復号ステップ、抽出された前記符号化奥行き画像を復号する奥行き画像復号ステップ、抽出された前記画像間参照情報が示す参照関係に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御する復号制御ステップ、を実行させる。

以上説明したように、本発明によれば、視点画像と奥行き画像を符号化または復号するにあたり、符号化と復号に際しての視点画像と奥行き画像の依存関係が異なる複数の方式を統一的に使用可能とされる。そのうえで、依存関係に応じて視点画像と奥行き画像の復号順が適切に設定されるという効果が得られる。

本発明の実施形態における画像符号化装置の構成例を示す図である。本実施形態の第１符号化方式における画像の参照関係例を示す図である。本実施形態における符号化対象の画像の参照関係例を示す図である。本実施形態の符号化対象データにおけるピクチャの構造例を示す図である。本実施形態における符号化データ列の構造例を示す図である。本実施形態における符号化方式切替データ単位の種別に応じた画像間参照情報の挿入位置の例を示す図である。本実施形態の画像符号化装置が実行する処理手順例を示す図である。本実施形態の画像復号装置の構成例を示す図である。本実施形態の視点画像対応テーブルと奥行き画像対応テーブルの構造例を示す図である。本実施形態の画像復号装置が実行する処理手順例を示す図である。

［画像符号化装置の構成］
図１は、本発明の実施形態における画像符号化装置１００の構成例を示している。

この図に示す画像符号化装置１００は、視点画像符号化部１１０、奥行き画像符号化部１２０、符号化方式決定部１３０、符号化画像格納部１４０、撮影条件情報符号化部１５０、視点画像生成部１６０、画像間参照情報処理部１７０および多重化部１８０を備える。

視点画像符号化部１１０は、それぞれが異なる視点に対応する複数の視点画像Ｐｖを入力し、これら複数の視点画像Ｐｖを符号化する。

なお、各視点に対応する視点画像Ｐｖは、例えば、それぞれが異なる位置（視点）に設置され、同一の視野（被写空間）に含まれる被写体の画像を撮影した画像である。つまり、１つの視点画像Ｐｖは、或る１つの視点により被写体を観察した画像である。また、視点画像Ｐｖとしての画像信号は、被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）を二次元平面に配置された画素ごとに有し、かつ、画素ごとの色空間を表す信号値を有する画像信号である。このような色空間を表す信号値を有する画像信号の一例は、ＲＧＢ信号である。ＲＧＢ信号は、赤色成分の輝度値を表すＲ信号、緑色成分の輝度値を示すＧ信号、青色成分の輝度値を示すＢ信号を含む。

奥行き画像符号化部１２０は、奥行き画像Ｐｄを符号化する。

奥行き画像（「ｄｅｐｔｈｍａｐ（デプスマップ）」、「深度画像」、「距離画像」ともいう）Ｐｄは、被写空間に含まれる被写体や背景などの対象物に対する視点からの距離を示す信号値（「デプス値」、「深度値」、「デプス」などともいう）を二次元平面に配置された画素ごとの信号値（画素値）とした画像信号である。この奥行き画像Ｐｄを形成する画素は、視点画像を形成する画素と対応する。奥行き画像は、被写空間を二次元平面に射影した際の視点画像を用いて三次元の被写空間を表現するための情報である。

なお、これらの視点画像Ｐｖと奥行き画像Ｐｄは動画像に対応するものであってもよいし、静止画像に対応するものであってもよい。また、奥行き画像Ｐｄは、すべての視点の視点画像Ｐｖごとに対応して用意されなくともよい。一例として、３視点分の３つの視点画像Ｐｖが有る場合において、奥行き画像Ｐｄは、これら３つの視点画像Ｐｖのうちの２つに対応したものが用意されてもよい。

このように画像符号化装置１００は、視点画像符号化部１１０と奥行き画像符号化部１２０を備えることで多視点画像符号化を行うことができる。そのうえで、画像符号化装置１００は、多視点画像符号化として、下記の第１〜第３符号化方式の３つの符号化方式に対応する。

第１符号化方式は、視点画像Ｐｖと奥行き画像Ｐｄのそれぞれについて、例えば時間方向の予測符号化と視点方向の予測符号化を併用するなどして個別に符号化するというものである。この第１符号化方式では、視点画像Ｐｖの符号化および復号と、奥行き画像Ｐｄの符号化および復号は、それぞれ互いを参照すること無く独立して行われる。つまり、第１符号化方式の場合、視点画像Ｐｖ符号化および復号とは、奥行き画像Ｐｄ符号化および復号は、互いにどちらにも依存しない。

なお、第１符号化方式は、例えば特許文献１の符号化方法に対応する。

第２符号化方式は、奥行き画像Ｐｄと視点（例えば撮影装置の位置）との位置関係とに基づいて基準視点以外の視点における視差補償画像を生成し、生成した視差補償画像を利用して視点画像Ｐｖの符号化を行うというものである。この第２符号化方式では、視点画像Ｐｖの符号化と復号にあたり奥行き画像Ｐｄを参照する。つまり、第２符号化方式の場合、視点画像Ｐｖの符号化と復号は、奥行き画像Ｐｄに依存する。

なお、第２符号化方式は、例えば特許文献２の符号化方法に対応する。

第３符号化方式は、視点画像Ｐｖの予測符号化のときに得られた動きベクトルなどの情報を奥行き画像Ｐｄの符号化に利用するというものである。この第３符号化方式では、奥行き画像Ｐｄの視号化と復号にあたり視点画像Ｐｖを参照する。つまり、第３符号化方式の場合、奥行き画像Ｐｄの符号化と復号は、視点画像Ｐｖに依存する。

なお、第３符号化方式は、例えば非特許文献１の符号化方法に対応する。

そのうえで、第１〜３符号化方式は、それぞれが異なる利点を有している。

例えば、第１符号化方式は、視点画像と奥行き画像の符号化データが互いに依存しないため、符号化と復号のそれぞれにおける処理遅延を抑制することができる。また、奥行き画像または視点画像の品質が部分的に劣化しているような場合であっても、互いに独立した符号化を行うため、劣化の影響が視点画像と奥行き画像との間で伝播しない。

また、第２符号化方式は、視点画像の符号化と復号が奥行き画像の符号化結果と復号結果に依存するために処理遅延が比較的大きい。しかし、この符号化方法では、奥行き画像の品質が高ければ視差補償画像の生成精度も高くなり、その視差補償画像を利用した予測符号化による圧縮効率は大幅に向上する。

また、第３符号化方式は、奥行き画像の符号化に際して符号化後の視点画像の動きベクトルなどの情報を利用し、奥行き画像の復号に際して復号後の視点画像の動きベクトルなどの情報を利用する。これにより、奥行き画像を対象とした動き探索などの一部処理を省略することが可能となり、例えば符号化／復号に際しての処理量が削減される。

このように画像符号化装置１００は、所定の符号化方式変更単位ごとに第１から第３符号化方式の間で符号化方式を変更しながら多視点画像符号化を行っていくことができる。例えば、符号化対象の映像コンテンツの内容などに応じて、その利点が活かされるように符号化方式を切り替えることで、映像コンテンツの品質の向上と符号化効率の向上を両立させることが可能になる。

符号化方式決定部１３０は、例えば第１から第３符号化方式のうちのいずれの符号化方式により多視点画像符号化を行うべきかを決定する。この決定にあたり、符号化方式決定部１３０は、例えば外部から入力される符号化パラメータの内容を参照する。符号化パラメータには、例えば、多視点画像符号化を行うにあたっての各種のパラメータを指定する情報である。

符号化方式決定部１３０が第１符号化方式であると決定した場合、視点画像符号化部１１０は、視点画像Ｐｖを符号化するにあたり奥行き画像Ｐｄを参照すべきでないことになる。この場合、視点画像符号化部１１０は、視点画像Ｐｖについて奥行き画像Ｐｄを参照せずに符号化する。また、この場合、奥行き画像符号化部１２０は、奥行き画像Ｐｄを符号化するにあたり視点画像Ｐｖを参照すべきでないことになる。この場合、奥行き画像符号化部１２０は、奥行き画像Ｐｄについて視点画像Ｐｖを参照せずに符号化する。

また、符号化方式決定部１３０が第２符号化方式であると決定した場合、視点画像符号化部１１０は、視点画像Ｐｖを符号化するにあたり奥行き画像Ｐｄを参照すべきことになる。この場合、視点画像符号化部１１０は、視点画像Ｐｖについて奥行き画像Ｐｄを参照して符号化する。一方、この場合の奥行き画像符号化部１２０は、奥行き画像Ｐｄを符号化するにあたり視点画像Ｐｖを参照すべきでない。そこで、この場合の奥行き画像符号化部１２０は、奥行き画像Ｐｄについて視点画像Ｐｖを参照せずに符号化する。

また、符号化方式決定部１３０が第３符号化方式であると決定した場合、視点画像符号化部１１０は、視点画像Ｐｖを符号化するにあたり奥行き画像Ｐｄを参照すべきでない。このときには、視点画像符号化部１１０は、視点画像Ｐｖについて奥行き画像Ｐｄを参照せずに符号化する。一方、この場合、奥行き画像符号化部１２０は、奥行き画像Ｐｄを符号化するにあたり視点画像Ｐｖを参照すべきことになる。このときには、奥行き画像符号化部１２０は、奥行き画像Ｐｄについて視点画像Ｐｖを参照して符号化する。

符号化画像格納部１４０は、視点画像符号化部１１０が視点画像Ｐｖを符号化する過程で生成した復号視点画像を格納する。また、符号化画像格納部１４０は、奥行き画像符号化部１２０が奥行き画像Ｐｄを符号化する過程で生成した復号奥行き画像を格納する。

図１の構成の場合、視点画像符号化部１１０は、奥行き画像Ｐｄを参照する際、この符号化画像格納部１４０に格納された復号奥行き画像を参照画像として利用する。また、奥行き画像符号化部１２０は、視点画像Ｐｖを参照する際、符号化画像格納部１４０に格納された復号視点画像を参照画像として利用する。

また、撮影条件情報符号化部１５０は、撮影条件情報Ｄｓを符号化して符号化撮影条件情報Ｄｓ＿ｅｎｃを生成する。

撮影条件情報Ｄｓは、視点画像Ｐｖが撮影装置により撮影して得られた映像信号に基づくものである場合には、この撮影装置による撮影条件を示す情報として、例えば視点ごとの撮影装置の位置や間隔などの配置位置関係の情報を含む。また、撮影条件情報Ｄｓは、視点画像Ｐｖが例えばＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）により生成されたものである場合には、その画像を撮影したとする仮想の撮影装置の撮影条件を示す情報を含む。

視点画像生成部１６０は、符号化画像格納部１４０に格納されている復号視点画像と復号奥行き画像、および撮影条件情報に基づいて視点画像Ｐｖ＿ｉを生成する。符号化画像格納部１４０は、生成された視点画像Ｐｖ＿ｉを格納する。このように生成された視点画像Ｐｖ＿ｉは、視点合成予測符号化の対象となる視点画像である。これにより、例えば視点画像符号化部１１０が入力する視点画像Ｐｖ以外の任意の視点の符号化視点画像を生成することができる。

画像間参照情報処理部１７０は、画像間参照情報を符号化データ列ＳＴＲに挿入する。

つまり、画像間参照情報処理部１７０は、符号化に際しての視点画像と奥行き画像との参照関係を符号化方式切替データ単位（符号化単位）ごとに示す画像間参照情報を生成する。そして、画像間参照情報処理部１７０は、その挿入位置を指定して、生成した画像間参照情報を多重化部１８０に出力する。

画像間参照情報が示す「参照関係」とは、具体的に、符号化視点画像Ｐｖ＿ｅｎｃを符号化した際に奥行き画像Ｐｄを参照したか否か、または、符号化奥行き画像Ｐｄ＿ｅｎｃを符号化した際に視点画像Ｐｖを参照したか否かということについての関係性を示す。

なお、画像間参照情報処理部１７０は、この参照関係については、視点画像符号化部１１０の符号化処理結果と、奥行き画像符号化部１２０の符号化結果に基づいて認識できる。また、符号化方式決定部１３０の決定結果に基づいて認識することもできる。

多重化部１８０は、視点画像符号化部１１０が生成した符号化視点画像Ｐｖ＿ｅｎｃと、奥行き画像符号化部１２０が生成した符号化奥行き画像Ｐｄ＿ｅｎｃと、符号化撮影条件情報Ｄｓ＿ｅｎｃとを、所定のタイミングで適宜入力し、時分割多重により多重化する。多重化部１８０は、このように多重化したデータをビットストリーム形式の符号化データ列ＳＴＲとして出力する。

この際、多重化部１８０は、画像間参照情報Ｄｒｅｆについては、符号化データ列ＳＴＲにおいて指定された挿入位置に対して挿入する。なお、画像間参照情報処理部１７０が指定する挿入位置は、符号化方式切替データ単位として定められたデータ単位によって異なるのであるが、この点については後述する。

［符号化方式ごとにおける画像間の参照関係］
図２は、第１符号化方式における画像の参照（依存）関係例を示している。なお、この図では、すべての視点ごとに対応して奥行き画像Ｐｄが生成された場合の例を示している。

この図においては、視点＃０、＃１、＃２の３視点と時間方向の二次元において、１５個の視点画像Ｐｖ０〜Ｐｖ４、Ｐｖ１０〜Ｐｖ１４、Ｐｖ２０〜Ｐｖ２４と、これらと同視点および同時刻の奥行き画像Ｐｄ０〜Ｐｄ４、Ｐｄ１０〜Ｐｄ１４、Ｐｄ２０〜Ｐｄ２４が示されている。

この図において、矢印の終点側の画像は、符号化の対象画像である。また、矢印の始点側の画像は、その対象画像を符号化するにあたって参照される参照画像である。

一例として、視点＃１における視点画像Ｐｖ１１は、同じ視点＃１における前の時刻の視点画像Ｐｖ１０と後の時刻の視点画像Ｐｖ１２と、同じ時刻における他の視点＃０、＃２の視点画像Ｐｖ１とＰｖ２１との４つの視点画像Ｐｖを参照して符号化される。

そして、この図では図示をわかりやすくすることの便宜から視点画像Ｐｖの参照関係のみを示しているが、奥行き画像Ｐｄについても同様の参照関係をとることができる。

図２において、視点＃０は基準視点として設定されている。基準視点は、その視点の画像を符号化または復号する際に他の視点の画像を参照画像として使用しない視点である。同図に示されるように、視点＃０における視点画像Ｐｖ０〜Ｐｖ４は、いずれも、他の視点＃１または＃２の視点画像Ｐｖ１０〜Ｐｖ１４、Ｐｖ２０〜Ｐｖ２４を参照していない。

なお、図２に示される各視点画像Ｐｖと奥行き画像Ｐｄを符号化したものを復号する際にも、図２と同じ参照関係により他の画像を参照して復号が行われる。

上記の説明からも理解されるように、第１符号化方式においては、予測符号化にあたり視点画像Ｐｖ間で参照を行い、同じく奥行き画像Ｐｄ間で参照を行う。しかし、視点画像Ｐｖと奥行き画像Ｐｄとの間での参照は行わない。

図３は、本実施形態の第１〜第３符号化方式を併用した場合における視点画像Ｐｖと奥行き画像Ｐｄの参照関係例を示している。前述のように、第１〜第３符号化方式は、視点画像Ｐｖと奥行き画像Ｐｄの参照関係がそれぞれ異なるので、同じ符号化対象のデータに複数の符号化方式を併用して使用することはできない。しかし、本実施形態では、例えばピクチャなどの所定の符号化の単位（符号化方式切替データ単位）ごとに符号化方式を切り替えて使用する。図３は、例えばピクチャ単位で符号化方式を切り替えた場合の例である。

この図においては、視点＃０、＃１の２視点と時間方向の二次元において、６個の視点画像Ｐｖ０〜Ｐｖ２、Ｐｖ１０〜Ｐｖ１２と、これに対応する６個の奥行き画像Ｐｄ０〜Ｐｄ２、Ｐｄ１０〜Ｐｄ１２が示されている。

この図においても矢印の終点側の画像は符号化または復号される対象画像であり、矢印の始点側の画像は、その対象画像を符号化または復号するにあたって参照される参照画像である。

一例として、視点＃１における奥行き画像Ｐｄ１１は、同じ視点＃１における前の時刻の奥行き画像Ｐｄ１０と後の時刻の奥行き画像Ｐｄ１２と、同じ時刻における他の視点＃０の奥行き画像Ｐｄ１を参照している。さらに、奥行き画像Ｐｄ１１は、同じ視点および時刻に対応する視点画像Ｐｖ１１を参照している。

また、奥行き画像Ｐｄ１１が参照した視点画像Ｐｖ１１は、同じ視点＃１における前の時刻の視点画像Ｐｖ１０と後の時刻の視点画像Ｐｖ１２と、同じ時刻における他の視点＃０の視点画像Ｐｖ１を参照している。さらに、視点画像Ｐｖ１１は、視点画像Ｐｖ１と同じ視点および時刻に対応する奥行き画像Ｐｄ１を参照している。

図３に示す参照関係によると、例えば視点画像Ｐｖ０〜Ｐｖ２は、それぞれ第１符号化方式により符号化されている。また、視点画像Ｐｖ１０〜Ｐｖ１２は、第２符号化方式により符号化されている。また、奥行き画像Ｐｄ０〜Ｐｄ２、Ｐｄ１０〜Ｐｄ１２は、第３符号化方式により符号化されている。

また、上記のように他の画像を参照して符号化するにあたり、参照すべき画像は一旦符号化されている必要がある。したがって、視点画像Ｐｖと奥行き画像Ｐｄの符号化順は画像間の参照関係に応じて決まる。

具体的に、図３の参照関係である場合には、符号化順は、Ｐｖ０、Ｐｄ０、Ｐｖ１０、Ｐｄ１０、Ｐｖ２、Ｐｄ２、Ｐｖ１２、Ｐｄ１２、Ｐｖ１、Ｐｄ１、Ｐｖ１１、Ｐｄ１１・・・のようになる。

［符号化データ構造例］
図４は、本実施形態の画像符号化装置１００が符号化対象とするデータの一例として、視点画像Ｐｖに対応するピクチャ３００を示している。

視点画像Ｐｖに対応するピクチャ３００は、例えば映像におけるフレームに対応する画像データである。このピクチャ３００は、所定数の画素により形成され、その最小単位は１つの画素を構成する色成分の信号（Ｒ，Ｇ，Ｂ信号、またはＹ，Ｃｂ，Ｃｒ信号など）である。

このピクチャ３００は、所定数の画素の集合であるブロックの単位に分割される。そのうえで、本実施形態のおけるピクチャ３００は、ブロックの集合であるスライスにより分割される。同図では、模式的に、ピクチャ３００がスライス＃１、＃２、＃３の３つのスライスにより形成されている状態が示されている。スライスは、符号化の基本単位である。

なお、奥行き画像Ｐｄに対応するピクチャも、視点画像Ｐｖに対応するピクチャ３００と同様に所定の画素数により形成される。また、ブロックの集合であるスライスにより分割される。ただし、奥行き画像Ｐｄは、輝度値のみで色の情報を有さない点が視点画像Ｐｖと異なる。

図５は、符号化されたピクチャ３００が多重化された符号化データ列ＳＴＲの構造例を模式的に示している。この符号化データ列ＳＴＲは、例えば、画像符号化標準規格のひとつである、Ｈ．２６４／ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）またはＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇ）に準拠している。

図５に示す符号化データ列ＳＴＲは、データの前方から後方にかけて、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）＃１、ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）＃１、スライス＃１、スライス＃２、スライス＃３、ＰＰＳ＃２、スライス＃４・・・・が順次格納されている。

ＳＰＳは、複数のピクチャを含む動画のシーケンス全体において共通のパラメータを格納する情報であり、例えば、ピクチャを構成する画素数や画素構成（画素のビット数）などを含む。

ＰＰＳは、ピクチャ単位のパラメータを格納する情報であり、例えば、ピクチャ単位の符号化予測方式を示す情報や符号化における量子化パラメータの初期値などを含む。

図５の例では、ＳＰＳ＃１は、ＰＰＳ＃１とＰＰＳ＃２に対応するピクチャを含むシーケンスに共通のパラメータを格納する。ＰＰＳ＃１とＰＰＳ＃２は、ＳＰＳ＃１のＳＰＳ番号「１」を格納しており、これにより、ＰＰＳ＃１とＰＰＳ＃２に対応するピクチャごとにＳＰＳ＃１内のどのパラメータセットを適用すべきかが認識される。

ＰＰＳ＃１は、対応のピクチャを形成するスライス＃１、＃２、＃３ごとに適用されるパラメータを格納する。これに応じて、スライス＃１、＃２、＃３は、ＰＰＳ＃１の番号「１」を格納しており、これにより、スライス＃１、＃２、＃３ごとにＰＰＳ＃１内のどのパラメータセットを適用すべきかが認識される。

また、ＰＰＳ＃２は、対応のピクチャを形成するスライス＃４・・・ごとのパラメータを格納する。これに応じて、スライス＃４・・・は、ＰＰＳ＃２の番号「２」を格納しており、これにより、スライス＃４・・・・ごとにＰＰＳ＃２内のどのパラメータセットを適用すべきかが認識される。

また、図５のように符号化データ列ＳＴＲが含むＳＰＳ、ＰＰＳ、スライスなどのデータは、ＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニット（符号化ユニット）４００のデータ構造内に格納される。つまり、ＮＡＬユニットは、ＳＰＳ、ＰＰＳ、スライスなどの単位情報を格納するユニットである。

ＮＡＬユニット４００は、同じ図５に示すように、ＮＡＬユニットヘッダと、これに続くＲＢＳＰ（ＲａｗＢｙｔｅＳｅｑｕｅｎｃｅＰａｙｌｏａｄ）により形成される。

ＳＰＳ、ＰＰＳ、スライスなどが格納するパラメータセットや画像符号化データは、このＲＢＳＰ内に含められる。ＮＡＬユニットヘッダはＮＡＬユニットの識別情報を含む。この識別情報は、ＲＢＳＰに格納されるデータの種別を示す。

［符号化方式切替データ単位の例］
視点画像符号化部１１０と奥行き画像符号化部１２０は、視点画像Ｐｖおよび奥行き画像Ｐｄを符号化するにあたり、図３にて説明したように、時間方向および視点方向における他の画像を参照することによるフレーム間予測符号化を行う。

そのうえで、視点画像符号化部１１０は、視点画像Ｐｖを符号化するにあたり、奥行き画像Ｐｄを利用して生成した合成画像との予測符号化（視点合成予測符号化）を行うことができる。つまり、視点画像符号化部１１０は、第２符号化方式を行うことができる。

また、奥行き画像符号化部１２０は、奥行き画像Ｐｄを符号化する際に視点画像Ｐｖの符号化済みの情報（動きベクトルなど）を利用した符号化を行うことができる。これにより、例えば図１に示した第１符号化方式（視点画像Ｐｖと奥行き画像Ｐｄとで個別に時間方向予測のみにより符号化を行う方式）のみにより符号化を行った場合と比較して、符号化効率を高めることができる。

また、逆に、第２または第３の符号化方法のみによって符号化を行った場合には、処理遅延の増加が不利となる場合があるが、第１符号化方式を併用することで、処理遅延の増加を抑制でき、画質の維持も図られる。

そのうえで、視点画像符号化部１１０と奥行き画像符号化部１２０は、上記のように複数の符号化方式を併用して、視点画像Ｐｖおよび奥行き画像Ｐｄを符号化するにあたり、前述のように、所定の符号化方式切替データ単位ごとに符号化方式を切り替える。また、画像間参照情報処理部１７０は、符号化方式切替データ単位ごとの符号化方式に対応して復号が行えるように符号化データ列ＳＴＲに対して画像間参照情報を挿入する。

そこで、本実施形態における符号化方式切替データ単位の例と、符号化方式切替データ単位ごとに対応する符号化データ列ＳＴＲにおける画像間参照情報の挿入位置の例について説明する。

まず、符号化方式切替データ単位の一例はシーケンスである。この場合、符号化方式決定部１３０は、第１〜第３符号化方式のうちからいずれを適用すべきかをシーケンスごとに決定する。そして、視点画像符号化部１１０と奥行き画像符号化部１２０は、シーケンスごとにおける視点画像Ｐｖと奥行き画像Ｐｄをそれぞれ決定された符号化方式にしたがって符号化する。

図６（ａ）は、シーケンスを符号化方式切替データ単位とする例に対応した画像間参照情報Ｄｒｅｆの挿入位置の例を示している。符号化方式切替データ単位がシーケンスである場合、画像間参照情報処理部１７０は、同図に示すように、符号化データ列ＳＴＲにおけるＳＰＳのＲＢＳＰ内の所定位置に画像間参照情報Ｄｒｅｆを挿入する。

つまり、画像間参照情報Ｄｒｅｆは、この所定位置を挿入位置として指定して画像間参照情報Ｄｒｅｆを多重化部１８０に出力する。多重化部１８０は、指定された挿入位置に画像間参照情報Ｄｒｅｆを挿入するように符号化データ列ＳＴＲの多重化処理を行う。

また、符号化方式切替データ単位の一例はピクチャである。この場合、符号化方式決定部１３０は、第１〜第３符号化方式のうちからいずれを適用すべきかをピクチャごとに決定する。そして、視点画像符号化部１１０と奥行き画像符号化部１２０は、ピクチャごとにおける視点画像Ｐｖと奥行き画像Ｐｄをそれぞれ決定された符号化方式にしたがって符号化する。

図６（ｂ）は、ピクチャを符号化方式切替データ単位とする例に対応した画像間参照情報Ｄｒｅｆの挿入位置の例を示している。符号化方式切替データ単位がピクチャである場合、画像間参照情報処理部１７０は、同図に示すように、符号化データ列ＳＴＲにおける各ＰＰＳのＲＢＳＰ内の所定位置に画像間参照情報Ｄｒｅｆを挿入する。

また、符号化方式切替データ単位の一例はスライスである。この場合、符号化方式決定部１３０は、第１から第３符号化方式のうちからいずれを適用すべきかをスライスごとに決定する。そして、視点画像符号化部１１０と奥行き画像符号化部１２０は、スライスごとにおける視点画像Ｐｖと奥行き画像Ｐｄをそれぞれ決定された符号化方式にしたがって符号化する。

図６（ｃ）は、スライスを符号化方式切替データ単位とする例に対応した画像間参照情報Ｄｒｅｆの挿入位置の例を示している。符号化方式切替データ単位がスライスである場合、画像間参照情報処理部１７０は、同図に示すように、ＮＡＬユニット４００のＲＢＳＰの先頭に配置されるスライスヘッダ内に画像間参照情報Ｄｒｅｆを挿入する。

図６（ｄ）は、ＮＡＬユニット４００におけるＮＡＬユニットヘッダ内に画像間参照情報Ｄｒｅｆを格納した例を示している。

ＮＡＬユニットヘッダは、図５にて説明したように、ＳＰＳ、ＰＰＳ、スライスなどの各種別のデータに付加される。したがって、図６（ｄ）のようにＮＡＬユニットヘッダに画像間参照情報Ｄｒｅｆが格納される場合、そのＮＡＬユニット４００が格納する情報に応じて、画像間参照情報Ｄｒｅｆが対応する符号化方式切替データ単位が変更されることになる。これは、多視点画像符号化に際して符号化方式切替データ単位の種別を、例えばシーケンスとピクチャとスライスの間で切り替え可能であることを意味している。

つまり、ＲＢＳＰにＳＰＳを格納するＮＡＬユニット４００のＮＡＬユニットヘッダに画像間参照情報Ｄｒｅｆが挿入されている場合、符号化方式切替データ単位はシーケンスであることになる。

また、ＲＢＳＰにＰＰＳを格納するＮＡＬユニット４００のＮＡＬユニットヘッダに画像間参照情報Ｄｒｅｆが挿入されている場合、符号化方式切替データ単位はピクチャであることになる。また、ＰＰＳは、例えば、ピクチャの一部における複数のピクチャを指定することもできる。したがって、複数のスライス単位で符号化方式（参照関係）を切り替えればよい場合には、図６（ｃ）の場合と比較して符号化データの冗長度を削減することができる。

また、ＲＢＳＰにスライスを挿入するＮＡＬユニット４００のＮＡＬユニットヘッダに画像間参照情報Ｄｒｅｆが格納されている場合、符号化方式切替データ単位はスライスであることになる。

また、図６（ｄ）の例では、ＮＡＬユニット単位で視点画像と奥行き画像のいずれであるのかを区別する必要がある。このためには、画像の種別を示す情報としてＮＡＬユニットヘッダにコンポーネント種別情報を格納すればよい。コンポーネントとは、符号化対象となる画像の種別をいう。視点画像と奥行き画像は、それぞれ、コンポーネントの１種別である。

なお、この画像の種別を示す情報は、コンポーネント種別情報に代えて規格上ＮＡＬユニットヘッダに含まれるＮＡＬユニット識別情報を利用してもよい。つまり、ＮＡＬユニット識別情報により、視点画像のＳＰＳ、視点画像のＰＰＳ、視点画像のスライス、奥行き画像のＳＰＳ、奥行き画像のＰＰＳ、奥行き画像のスライスなどが識別されるようにしてもよい。

また、画像間参照情報Ｄｒｅｆは、例えば視点画像または奥行き画像としてのコンポーネントの一方について、その符号化にあたり他方のコンポーネントを参照したか否かを示す情報であればよい。この場合、画像間参照情報Ｄｒｅｆは、他の画像を参照したか否かを「１」と「０」により示す１ビットのフラグ（inter_ component_flag）として定義できる。

具体的に、第１符号化方式の場合、符号化視点画像Ｐｖ＿ｅｎｃについての画像間参照情報Ｄｒｅｆは、奥行き画像Ｐｄを参照していないことを示す「０」を格納する。また、符号化奥行き画像Ｐｄ＿ｅｎｃについての画像間参照情報Ｄｒｅｆも、視点画像Ｐｖを参照していないことを示す「０」を格納する。

また、第２符号化方式の場合、符号化視点画像Ｐｖ＿ｅｎｃについての画像間参照情報Ｄｒｅｆは、奥行き画像Ｐｄを参照していることを示す「１」を格納する。一方、符号化奥行き画像Ｐｄ＿ｅｎｃについての画像間参照情報Ｄｒｅｆは、視点画像Ｐｖを参照していないことを示す「０」を格納する。

また、第３符号化方式の場合、符号化視点画像Ｐｖ＿ｅｎｃについての画像間参照情報Ｄｒｅｆは、奥行き画像Ｐｄを参照していないことを示す「０」を格納する。一方、符号化奥行き画像Ｐｄ＿ｅｎｃについての画像間参照情報Ｄｒｅｆは、視点画像Ｐｖを参照していることを示す「１」を格納する。

なお、画像間参照情報Ｄｒｅｆに代えて、例えば第１から第３符号化方式のいずれにより符号化されたのかを示す情報であってもよい。

［画像符号化装置の処理手順例］
図７のフローチャートは、画像符号化装置１００が実行する処理手順例を示している。

ここでは、まず、視点画像Ｐｖの符号化から説明する。符号化方式決定部１３０は、予め定められた符号化方式切替データ単位ごとに視点画像Ｐｖの符号化方式を決定する（ステップＳ１０１）。

次に、視点画像符号化部１１０は、符号化方式切替データ単位に含まれる視点画像Ｐｖを対象として、決定された符号化方式による符号化を開始する。この符号化を開始するにあたり、視点画像符号化部１１０は、決定された符号化方式が他のコンポーネント、つまり、奥行き画像Ｐｄを参照すべきものであるか否かについて判定する（ステップＳ１０２）。

奥行き画像Ｐｄを参照すべき場合（ステップＳ１０２−ＹＥＳ）、視点画像符号化部１１０は、他コンポーネントである奥行き画像Ｐｄを参照して符号化を実行する（ステップＳ１０３）。つまり、前述のように、視点画像符号化部１１０は、符号化画像格納部１４０から対応の復号奥行き画像を読み出し、この読み出した復号奥行き画像を利用して視点画像Ｐｖの符号化を行う。

そして、画像間参照情報処理部１７０は、ステップＳ１０３により符号化されたコンポーネント（視点画像）が、他のコンポーネント（奥行き画像）を参照して符号化されたものであることを示す画像間参照情報Ｄｒｅｆを生成する（ステップＳ１０４）。具体的に、画像間参照情報処理部１７０は、１ビットの画像間参照情報Ｄｒｅｆに「１」を設定する。

一方、奥行き画像Ｐｄを参照すべきでない場合（ステップＳ１０２−ＮＯ）、視点画像符号化部１１０は、他コンポーネントである奥行き画像Ｐｄを参照せずに、同じコンポーネント（視点画像）間での予測符号化のみによって符号化を実行する（ステップＳ１０５）。

そして、画像間参照情報処理部１７０は、ステップＳ１０５により符号化されたコンポーネント（視点画像）が、他のコンポーネント（奥行き画像）を参照せずに符号化されたものであることを示す画像間参照情報Ｄｒｅｆを生成する（ステップＳ１０６）。具体的に、画像間参照情報処理部１７０は、１ビットの画像間参照情報Ｄｒｅｆに「０」を設定する。

また、符号化方式決定部１３０は、ステップＳ１０１において、奥行き画像Ｐｄについても同様に符号化方式を決定する。この決定に応じて、奥行き画像符号化部１２０は、ステップＳ１０２、Ｓ１０３、Ｓ１０５にしたがった処理を実行して奥行き画像Ｐｄを符号化する。また、画像間参照情報処理部１７０は、ステップＳ１０４、Ｓ１０６と同様の処理によって画像間参照情報Ｄｒｅｆを生成する。

そして、画像間参照情報処理部１７０は、上記のように生成した画像間参照情報Ｄｒｅｆを、予め定められた符号化方式切替データ単位に応じて、図６に示したように、符号化データ列ＳＴＲにおける所定位置に画像間参照情報Ｄｒｅｆを挿入する（ステップＳ１０７）。つまり、画像間参照情報処理部１７０は、その挿入位置を指定して多重化部１８０に画像間参照情報Ｄｒｅｆを出力する。

なお、この図には示されていないが、ステップＳ１０３とＳ１０５によるコンポーネントの符号化とともに、撮影条件情報符号化部１５０による撮影条件情報の符号化も行われる。そして、多重化部１８０は、符号化されたコンポーネント（符号化視点画像Ｐｖ＿ｅｎｃと符号化奥行き画像Ｐｄ＿ｅｎｃ）と符号化撮影条件情報と、ステップＳ１０８により生成されたヘッダを入力する。そして、多重化部１８０は、入力したこれらのデータをしかるべき配列順により配列するように時分割多重を行い、符号化データ列ＳＴＲとして出力する(ステップＳ１０８)。

［画像復号装置の構成］
図８は、本実施形態における画像復号装置２００の構成例を示している。この図に示す画像復号装置２００は、符号抽出部２１０、視点画像復号部２２０、奥行き画像復号部２３０、復号画像格納部２４０、復号制御部２５０、撮影条件情報復号部２６０、視点画像生成部２７０、視点画像対応テーブル記憶部２８０および奥行き画像対応テーブル記憶部２９０を備える。

符号抽出部２１０は、入力した符号化データ列ＳＴＲから、補助情報Ｄｓｕｂ、符号化視点画像Ｐｖ＿ｅｎｃ、符号化奥行き画像Ｐｄ＿ｅｎｃおよび符号化撮影条件情報Ｄｓ＿ｅｎｃを抽出する。なお、補助情報Ｄｓｕｂには、図６により説明した画像間参照情報Ｄｒｅｆが含まれている。

視点画像復号部２２０は、符号化データ列ＳＴＲから分離された符号化視点画像Ｐｖ＿ｅｎｃを復号して視点画像Ｐｖ＿ｄｅｃを生成し、復号画像格納部２４０に出力する。視点画像復号部２２０は、符号化視点画像Ｐｖ＿ｅｎｃを復号するにあたり、奥行き画像を参照する必要のある場合には、復号画像格納部２４０に格納されている奥行き画像Ｐｄ＿ｄｅｃを読み出す。そして、この読み出した奥行き画像Ｐｄ＿ｄｅｃを利用して符号化視点画像Ｐｖ＿ｅｎｃを復号する。

奥行き画像復号部２３０は、符号化データ列ＳＴＲから分離された符号化奥行き画像Ｐｄ＿ｅｎｃを復号して奥行き画像Ｐｄ＿ｄｅｃを生成し、復号画像格納部２４０に出力する。奥行き画像復号部２３０は、符号化奥行き画像Ｐｄ＿ｅｎｃを復号するにあたり、視点画像を参照する必要のある場合には、復号画像格納部２４０に格納されている視点画像Ｐｖ＿ｄｅｃを読み出す。そして、この読み出した視点画像Ｐｖ＿ｄｅｃを利用して符号化奥行き画像Ｐｄ＿ｅｎｃを復号する。

復号画像格納部２４０は、視点画像復号部２２０が復号した視点画像Ｐｖ＿ｄｅｃと、奥行き画像復号部２３０が生成した奥行き画像Ｐｄ＿ｄｅｃを格納する。また、後述する視点画像生成部２７０により生成された視点画像Ｐｖ＿ｉを格納する。視点画像Ｐｖ＿ｉは、例えば視点合成予測符号化により符号化された符号化視点画像Ｐｖ＿ｅｎｃを復号するのに利用される。

復号画像格納部２４０が格納する視点画像Ｐｖ＿ｄｅｃは、前述のように、奥行き画像復号部２３０が視点画像を参照して復号する際に利用される。同様に、復号画像格納部が格納する奥行き画像Ｐｄ＿ｄｅｃは、視点画像復号部２２０が奥行き画像を参照して復号する際に利用される。

また、復号画像格納部２４０は、格納した視点画像Ｐｖ＿ｄｅｃと奥行き画像Ｐｄ＿ｄｅｃを、例えば、指定の表示順などにしたがった出力順により外部に対して出力する。

上記のように画像復号装置２００から出力された視点画像Ｐｖ＿ｄｅｃと奥行き画像Ｐｄ＿ｄｅｃは、図示しない再生装置やアプリケーションなどにより再生される。これにより、例えば多視点画像の表示が行われる。

復号制御部２５０は、入力した補助情報Ｄｓｕｂの内容に基づいて符号化データ列ＳＴＲを解釈し、その解釈結果にしたがって、視点画像復号部２２０と奥行き画像復号部２３０の復号処理を制御する。この復号処理に対する制御の１つとして、復号制御部２５０は、補助情報Ｄｓｕｂに含まれる画像間参照情報Ｄｒｅｆに基づいて以下のように制御を行う。

つまり、符号化方式切替データ単位における復号対象のコンポーネント（復号対象画像）が他のコンポーネント（参照画像）を参照して符号化されていることを画像間参照情報Ｄｒｅｆが示しているとする。この場合、復号制御部２５０は、他のコンポーネントを参照して復号対象のコンポーネントを復号するように視点画像復号部２２０または奥行き画像復号部２３０を制御する。

具体的に、画像間参照情報Ｄｒｅｆが他のコンポーネントを参照して符号化されていることを示している場合において、復号対象のコンポーネントが視点画像で、他のコンポーネントが奥行き画像である場合、復号制御部２５０は、以下のように制御する。つまり、復号制御部２５０は、奥行き画像Ｐｄ＿ｄｅｃを参照して符号化視点画像Ｐｖ＿ｅｎｃが復号されるように視点画像復号部２２０を制御する。

一方、画像間参照情報Ｄｒｅｆが他のコンポーネントを参照して符号化されていることを示している場合において、復号対象のコンポーネントが奥行き画像で、他のコンポーネントが視点画像である場合、復号制御部２５０は、以下のように制御する。つまり、復号制御部２５０は、視点画像Ｐｖ＿ｄｅｃを参照して符号化奥行き画像Ｐｄ＿ｅｎｃが復号されるように奥行き画像復号部２３０を制御する。

また、符号化方式切替データ単位における復号対象のコンポーネントが他のコンポーネントを参照せずに符号化されていることを画像間参照情報Ｄｒｅｆが示しているとする。この場合、復号制御部２５０は、他のコンポーネントを参照せずに復号対象のコンポーネントを復号するように制御する。

具体的に、この場合の復号制御部２５０は、復号対象のコンポーネントが視点画像である場合には、奥行き画像Ｐｄ＿ｄｅｃを参照せずに符号化視点画像Ｐｖ＿ｅｎｃが復号されるように視点画像復号部２２０を制御する。一方、復号対象のコンポーネントが奥行き画像である場合には、視点画像Ｐｖ＿ｄｅｃを参照せずに符号化奥行き画像Ｐｄ＿ｅｎｃが復号されるように奥行き画像復号部２３０を制御する。

ここで、上記のように他のコンポーネントを参照して復号対象のコンポーネントを復号するにあたっては、参照する他のコンポーネントが既に復号されている必要がある。このために、復号制御部２５０は、符号化視点画像Ｐｖ＿ｅｎｃと符号化奥行き画像Ｐｄ＿ｅｎｃの復号に際しては、参照すべきコンポーネントが復号済みの状態となっているように、符号化視点画像Ｐｖ＿ｅｎｃと符号化奥行き画像Ｐｄ＿ｅｎｃを制御する。

この制御にあたり、復号制御部２５０は、視点画像対応テーブル記憶部２８０に記憶される視点画像対応テーブルと、奥行き画像対応テーブル記憶部２９０に記憶される奥行き画像対応テーブルを利用する。なお、視点画像対応テーブルと奥行き画像対応テーブルを利用した復号順制御の例については後述する。

撮影条件情報復号部２６０は、分離された符号化撮影条件情報Ｄｓ＿ｅｎｃを復号して撮影条件情報Ｄｓ＿ｄｅｃを生成する。撮影条件情報Ｄｓ＿ｄｅｃは、外部に出力されるとともに、視点画像生成部２７０に出力される。

視点画像生成部２７０は、復号画像格納部２４０に格納されている復号視点画像および復号奥行き画像と、撮影条件情報Ｄｓ＿ｄｅｃとを利用して視点画像Ｐｖ＿ｉを生成する。復号画像格納部２４０は、生成された視点画像Ｐｖ＿ｉを格納する。

視点画像対応テーブル記憶部２８０は、視点画像対応テーブルを記憶する。

図９（ａ）は、視点画像対応テーブル２８１の構造例を示している。この図に示すように、視点画像対応テーブル２８１は、視点番号ごとに、画像間参照情報値と復号結果情報が対応付けられる。

視点番号は、視点画像Ｐｖが対応する複数の視点ごとに予め付与された番号である。例えば、図２に示した視点＃０、＃１、＃２には、それぞれ視点番号０、１、２が付与されている。

画像間参照情報値は、同時刻における視点番号ごとの符号化視点画像Ｐｖ＿ｅｎｃについての画像間参照情報Ｄｒｅｆの内容、つまり、画像間参照情報Ｄｒｅｆが示す値を格納する。前述のように、画像間参照情報Ｄｒｅｆは、「１」の値により他のコンポーネント（この場合は奥行き画像）を参照していることを示し、「０」の値により他のコンポーネントを参照していないことを示す。

復号結果情報は、対応の視点番号の符号化視点画像Ｐｖ＿ｅｎｃについての復号が終了したか否かを示す。この場合、復号結果情報は例えば１ビットの情報とされて、「１」の値により復号が完了したことを示し、「０」の値により復号が完了していないことを示す。

図９（ａ）の例では、視点番号は「０」〜「５」が示されている。つまり、この場合は、６つの異なる視点が設定された例を示している。

そのうえで、図９（ａ）における画像間参照情報値は、視点番号「０」の符号化視点画像Ｐｖ＿ｅｎｃについては奥行き画像を参照して符号化されていないが、残る視点番号「１」〜「５」の符号化視点画像Ｐｖ＿ｅｎｃについては、奥行き画像を参照して符号化されていることを示している。これは、視点番号「０」の符号化視点画像Ｐｖ＿ｅｎｃについては奥行き画像を参照して復号すべきでないが、視点番号「１」〜「５」の符号化視点画像Ｐｖ＿ｅｎｃについては、奥行き画像を参照して復号すべきであることを示している。

また、図９（ａ）における復号結果情報は、ある時点において、視点番号「０」と「１」の符号化視点画像Ｐｖ＿ｅｎｃについては復号が完了しているが、視点番号「２」〜「５」の符号化視点画像Ｐｖ＿ｅｎｃについては復号が完了していないことを示している。

奥行き画像対応テーブル記憶部２９０は、奥行き画像対応テーブルを記憶する。

図９（ｂ）は、奥行き画像対応テーブル２９１の構造例を示している。この図に示すように、奥行き画像対応テーブル２９１は、視点番号ごとに、画像間参照情報値と復号結果情報が対応付けられる。

視点番号は、奥行き画像Ｐｄに対応する視点画像Ｐｖの複数の視点ごとに予め付与された番号である。

画像間参照情報値は、同時刻における視点番号ごとの符号化奥行き画像Ｐｄ＿ｅｎｃについての像間参照情報が示す値を格納する。

復号結果情報は、対応の視点番号の符号化奥行き画像Ｐｄ＿ｅｎｃについての復号が終了したか否かを示す。この場合、復号結果情報は例えば１ビットの情報とされて、「１」により復号が完了したことを示し、「０」により復号が完了していないことを示す。

図９（ｂ）においても、視点番号として「０」〜「５」が示されており、６つの異なる視点が設定された例を示している。

そのうえで、図９（ｂ）における画像間参照情報値は、視点番号「０」と「２」〜「５」の符号化奥行き画像Ｐｄ＿ｅｎｃについては視点画像を参照して符号化されていないが、視点番号「１」の符号化奥行き画像Ｐｄ＿ｅｎｃについては、視点画像を参照して符号化されていることを示している。これは、視点番号「０」と「２」〜「５」の符号化奥行き画像Ｐｄ＿ｅｎｃについては視点画像を参照して復号すべきでないが、視点番号「１」の符号化奥行き画像Ｐｄ＿ｅｎｃについては、視点画像を参照して復号すべきであることを示している。

また、図９（ｂ）における復号結果情報は、ある時点において、視点番号「０」〜「２」の奥行き画像Ｐｄ＿ｅｎｃについては復号が完了しているが、視点番号「３」〜「５」の奥行き画像Ｐｄ＿ｅｎｃについては復号が完了していないことを示している。

図１０のフローチャートは、画像復号装置２００が或る１つの視点による符号化視点画像Ｐｖ＿ｅｎｃを復号するための処理手順例を示している。

まず、復号制御部２５０は、入力した補助情報Ｄｓｕｂに含まれる画像間参照情報Ｄｒｅｆを参照し（ステップＳ２０１）、参照した画像間参照情報Ｄｒｅｆの値を、視点画像対応テーブル２８１において復号対象の符号化視点画像Ｐｖ＿ｅｎｃに対応する視点番号の画像間参照情報値に格納する（ステップＳ２０２）。

また、これとともに、復号制御部２５０は、視点画像対応テーブル２８１において復号対象の符号化視点画像Ｐｖ＿ｅｎｃに対応する視点番号の復号結果情報に、復号が完了していないことを示す「０」を初期値として格納する（ステップＳ２０３）。

次に、復号制御部２５０は、ステップＳ２０２により格納した画像間参照情報値が「１」であるか否かについて判定する（ステップＳ２０４）。これは、復号対象の符号化視点画像Ｐｖ＿ｅｎｃが奥行き画像を参照して符号化されたものであるか否か、すなわち、復号対象の符号化視点画像Ｐｖ＿ｅｎｃは奥行き画像を参照して復号すべきか否かについて判定することに相当する。

画像間参照情報値が「１」である場合（ステップＳ２０４−ＹＥＳ）、復号制御部２５０は、奥行き画像対応テーブル２９１において復号対象の符号化視点画像Ｐｖ＿ｅｎｃと同じ視点番号の復号結果情報が「１」となるのを待機する（ステップＳ２０５−ＮＯ）。つまり、復号制御部２５０は、復号対象の符号化視点画像Ｐｖ＿ｅｎｃの復号に際して、参照すべき奥行き画像Ｐｄ＿ｄｅｃ（他コンポーネント）が復号されるまで待機する。

そして、奥行き画像Ｐｄ＿ｄｅｃが復号されたことに応じて復号結果情報が「１」となると（ステップＳ２０５−ＹＥＳ）、復号制御部２５０は、視点画像復号部２２０に対して復号開始を指示する（ステップＳ２０６）。

また、画像間参照情報値が「１」ではなかった場合（ステップＳ２０４−ＮＯ）、復号制御部２５０は、ステップＳ２０５をスキップして視点画像復号部２２０に対して復号開始を指示する（ステップＳ２０６）。つまり、この場合の復号制御部２５０は、同じ視点番号と時刻に対応する符号化奥行き画像Ｐｄ＿ｅｎｃの復号を待つことなく視点画像復号部２２０に復号開始を指示するものである。

復号開始指示に応じて、視点画像復号部２２０は、視点画像対応テーブル２８１において復号対象の符号化視点画像Ｐｖ＿ｅｎｃの視点番号の画像間参照情報値が「１」であるか否かについて判定する（ステップＳ２０７）。つまり、視点画像復号部２２０は、復号対象の符号化視点画像Ｐｖ＿ｅｎｃについて奥行き画像を参照して復号すべきか否かについて判定する。

画像間参照情報値が「１」である場合（ステップＳ２０７−ＹＥＳ）、視点画像復号部２２０は、参照画像を利用した符号化対象画像の復号を開始する（ステップＳ２０８）。つまり、視点画像復号部２２０は、復号画像格納部２４０から参照画像として、復号対象の符号化視点画像Ｐｖ＿ｅｎｃと同じ視点番号と時刻に対応する奥行き画像Ｐｄ＿ｄｅｃを復号画像格納部２４０から読み込む。そして、この読み込んだ奥行き画像Ｐｄ＿ｄｅｃを利用して符号化視点画像Ｐｖ＿ｅｎｃの復号を開始する。

一方、画像間参照情報値が「０」である場合（ステップＳ２０７−ＮＯ）、視点画像復号部２２０は、奥行き画像Ｐｄ＿ｄｅｃ（参照画像）を利用しない符号化視点画像Ｐｖ＿ｅｎｃ（復号対象画像）の復号を開始する（ステップＳ２０９）。

このように、視点画像復号部２２０は、復号制御部２５０が格納した画像間参照情報値を参照して、復号対象の符号化視点画像Ｐｖ＿ｅｎｃについて奥行き画像を参照して復号すべきか否かを決定する。これは、視点画像復号部２２０の復号処理が復号制御部２５０により制御されていることを意味する。

ステップＳ２０８またはＳ２０９による符号化視点画像Ｐｖ＿ｅｎｃの復号を開始した後、復号制御部２５０は、その復号が完了するのを待機する（ステップＳ２１０−ＮＯ）。そして、復号が完了すると（ステップＳ２１０−ＹＥＳ）、視点画像復号部２２０は、視点画像対応テーブル２８１において復号対象の符号化視点画像Ｐｖ＿ｅｎｃの視点番号に対応する復号結果情報に対して、復号が完了したことを示す「１」を格納する（ステップＳ２１１）。

なお、符号化奥行き画像Ｐｄ＿ｅｎｃを復号するにあたっても、図１０と同様の処理が適用される。

この場合、復号制御部２５０は、復号対象の符号化奥行き画像Ｐｄ＿ｅｎｃに対応する画像間参照情報Ｄｒｅｆを参照する（ステップＳ２０１）。そして、復号制御部２５０は、参照した画像間参照情報Ｄｒｅｆの値を奥行き画像対応テーブル２９１において復号対象の符号化奥行き画像Ｐｄ＿ｅｎｃが対応する視点番号の画像間参照情報値に格納する（ステップＳ２０２）。また、復号制御部２５０は、奥行き画像対応テーブル２９１において復号対象の符号化奥行き画像Ｐｄ＿ｅｎｃに対応する視点番号の復号結果情報に、復号が完了していないことを示す「０」を初期値として格納する（ステップＳ２０３）。

復号制御部２５０は、画像間参照情報値が「１」であると判定した場合（ステップＳ２０４−ＹＥＳ）、視点画像対応テーブル２８１において復号対象の符号化奥行き画像Ｐｄ＿ｅｎｃと同じ視点番号の復号結果情報が「１」となるのを待機する（ステップＳ２０５−ＮＯ）。

復号結果情報が「１」となるのに応じて（ステップＳ２０５−ＹＥＳ）、復号制御部２５０は、奥行き画像復号部２３０に対して復号開始を指示する（ステップＳ２０６）。

また、画像間参照情報値が「１」ではなかった場合（ステップＳ２０４−ＮＯ）、復号制御部２５０は、ステップＳ２０５をスキップして奥行き画像復号部２３０に対して復号開始を指示する（ステップＳ２０６）。

復号開始指示に応じて、奥行き画像復号部２３０は、奥行き画像対応テーブル２９１において復号対象の符号化奥行き画像Ｐｄ＿ｅｎｃの視点番号の画像間参照情報値が「１」であるか否かについて判定する（ステップＳ２０７）。

画像間参照情報値が「１」である場合（ステップＳ２０７−ＹＥＳ）、奥行き画像復号部２３０は、復号画像格納部２４０から読み込んだ視点画像Ｐｖ＿ｄｅｃを利用して符号化奥行き画像Ｐｄ＿ｅｎｃの復号を開始する。

一方、画像間参照情報値が「０」である場合（ステップＳ２０７−ＮＯ）、奥行き画像復号部２３０は、視点画像Ｐｖ＿ｄｅｃ（参照画像）を利用しない符号化奥行き画像Ｐｄ＿ｅｎｃ（復号対象画像）の復号を開始する。（ステップＳ２０９）。

ステップＳ２０８またはＳ２０９による符号化奥行き画像Ｐｄ＿ｅｎｃの復号を開始した後、復号制御部２５０は、その復号が終了するのを待機する（ステップＳ２１０−ＮＯ）。そして、復号が終了すると（ステップＳ２１０−ＹＥＳ）、奥行き画像復号部２３０は、奥行き画像対応テーブル２９１において復号対象の符号化奥行き画像Ｐｄ＿ｅｎｃの視点番号に対応する復号結果情報に対して、復号が完了したことを示す「１」を格納する（ステップＳ２１１）。

図３にて説明したように、符号化データ列ＳＴＲにおける符号化視点画像Ｐｖ＿ｅｎｃと符号化奥行き画像Ｐｄ＿ｅｎｃの配列順は、符号化の参照関係にしたがった順である。

このために、例えば図１０のステップＳ２０４の判定のために視点画像対応テーブル２８１または奥行き画像対応テーブル２９１の画像間参照情報値を参照しているタイミングでは、参照先の画像の復号が開始されている。したがって、他のコンポーネントの画像を参照して復号すべき符号化画像の復号にあたり、図１０のステップＳ２０４とＳ２０５が適用されることにより、参照先の画像の復号が確実に完了した後に、復号対象の符号化画像の復号を開始させることができる。すなわち、本実施形態は、他のコンポーネントを参照して復号する方式の画像復号処理の遅延を大幅に抑制することができる。

なお、図１および図８における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像の符号化と復号を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

（本発明の別の表現）
また、本発明の一態様は、以下のようにも表現できる。

（１）本発明の一態様としての画像符号化装置は、それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像の被写空間に含まれる対象物に対する視点からの距離を示す奥行き画像を参照すべきときには、符号化方式切替データ単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化方式切替データ単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化部と、前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化方式切替データ単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化方式切替データ単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化部と、符号化に際しての前記視点画像と前記奥行き画像との参照関係を前記符号化方式切替データ単位ごとに示す画像間参照情報を、符号化された視点画像と符号化された奥行き画像を含む符号化データ列に挿入する画像間参照情報処理部とを備える。

（２）また、本発明の画像符号化装置において、前記画像間参照情報処理部は、前記符号化方式切替データ単位がシーケンスとされるのに応じて、前記符号化データ列におけるシーケンスのヘッダに前記画像間参照情報を挿入する。

（３）また、本発明の画像符号化装置において、前記画像間参照情報処理部は、前記符号化方式切替データ単位がピクチャとされるのに応じて、前記符号化データ列におけるピクチャのヘッダに前記画像間参照情報を挿入する。

（４）また、本発明の画像符号化装置において、前記画像間参照情報処理部は、前記符号化方式切替データ単位がスライスであるのに応じて、前記符号化データ列におけるスライスのヘッダに前記画像間参照情報を挿入する。

（５）また、本発明の画像符号化装置において、前記符号化方式切替データ単位が符号化ユニット単位であるのに応じて、前記符号化データ列における符号化ユニット単位のヘッダに前記画像間参照情報を挿入する。

（６）また、本発明の一態様としての画像復号装置は、符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像の被写空間に含まれる対象物に対する視点からの距離を示す奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化方式切替データ単位ごとに示す画像間参照情報とを抽出する符号抽出部と、抽出された前記符号化視点画像を復号する視点画像復号部と、抽出された前記符号化奥行き画像を復号する奥行き画像復号部と、抽出された前記画像間参照情報が示す参照関係に基づいて、前記符号化視点画像と前記符号化奥行き画像の復号順を決定する復号制御部とを備える。

（７）また、本発明の画像復号装置において、前記復号制御部は、符号化視点画像と符号化奥行き画像のうちの一方の画像が他方の画像を参照して符号化されているという参照関係を前記画像間参照情報が示している場合、前記一方の画像の復号を完了した後に前記他方の画像の復号が開始されるように制御し、符号化視点画像と符号化奥行き画像のうちの一方の画像が他方の画像を参照せずに符号化されているという参照関係を前記画像間参照情報が示している場合、前記一方の画像の復号を完了していなくとも前記他方の画像の復号が開始されるように制御する。

（８）また、本発明の画像復号装置において、前記復号制御部は、前記符号化データ列におけるシーケンスのヘッダから抽出された前記画像間参照情報に基づいて、前記符号化方式切替データ単位としての前記シーケンスにおける前記符号化視点画像と前記符号化奥行き画像の復号順を決定する。

（９）また、本発明の画像復号装置において、前記復号制御部は、前記符号化データ列におけるピクチャのヘッダから抽出された前記画像間参照情報に基づいて、前記符号化方式切替データ単位としての前記ピクチャにおける前記符号化視点画像と前記符号化奥行き画像の復号順を決定する。

（１０）また、本発明の画像復号装置において、前記復号制御部は、前記符号化データ列におけるスライスのヘッダから抽出された前記画像間参照情報に基づいて、前記符号化方式切替データ単位としての前記スライスにおける前記符号化視点画像と前記符号化奥行き画像の復号順を決定する。

（１１）また、本発明の画像復号装置において、前記復号制御部は、前記符号化データ列における符号化ユニットのヘッダから抽出された前記画像間参照情報に基づいて、前記符号化方式切替データ単位としての前記符号化ユニットにおける前記符号化視点画像と前記符号化奥行き画像の復号順を決定する。

（１２）また、本発明の一態様としての画像符号化方法は、それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像の被写空間に含まれる対象物に対する視点からの距離を示す奥行き画像を参照すべきときには、符号化方式切替データ単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化方式切替データ単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化ステップと、前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化方式切替データ単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化方式切替データ単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化ステップと、符号化に際しての前記視点画像と前記奥行き画像との参照関係を前記符号化方式切替データ単位ごとに示す画像間参照情報を、前記符号化視点画像と前記符号化奥行き画像を含む符号化データ列に挿入する画像間参照情報処理ステップとを備える。

（１３）また、本発明の一態様としての画像復号方法は、符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像の被写空間に含まれる対象物に対する視点からの距離を示す奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化方式切替データ単位ごとに示す画像間参照情報とを抽出する符号抽出ステップと、抽出された前記符号化視点画像を復号する視点画像復号ステップと、抽出された前記符号化奥行き画像を復号する奥行き画像復号ステップと、抽出された前記画像間参照情報が示す参照関係に基づいて、前記符号化視点画像と前記符号化奥行き画像の復号順を決定する復号制御ステップとを備える。

（１４）また、本発明の一態様としてのプログラムは、コンピュータに、それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像の被写空間に含まれる対象物に対する視点からの距離を示す奥行き画像を参照すべきときには、符号化方式切替データ単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化方式切替データ単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化ステップ、前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化方式切替データ単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化方式切替データ単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化ステップ、符号化に際しての前記視点画像と前記奥行き画像との参照関係を前記符号化方式切替データ単位ごとに示す画像間参照情報を、前記符号化視点画像と前記符号化奥行き画像を含む符号化データ列に挿入する画像間参照情報処理ステップを実行させるためのものである。

（１５）また、本発明の一態様としてのプログラムは、コンピュータに、符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像の被写空間に含まれる対象物に対する視点からの距離を示す奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化方式切替データ単位ごとに示す画像間参照情報とを抽出する符号抽出ステップ、抽出された前記符号化視点画像を復号する視点画像復号ステップ、抽出された前記符号化奥行き画像を復号する奥行き画像復号ステップ、抽出された前記画像間参照情報が示す参照関係に基づいて、前記符号化視点画像と前記符号化奥行き画像の復号順を決定する復号制御ステップを実行させるためのものである。

１００画像符号化装置
１１０視点画像符号化部
１２０奥行き画像符号化部
１３０符号化方式決定部
１４０符号化画像格納部
１５０撮影条件情報符号化部
１６０視点画像生成部
１７０画像間参照情報処理部
１８０多重化部
２００画像復号装置
２１０符号抽出部
２２０視点画像復号部
２３０奥行き画像復号部
２４０復号画像格納部
２５０復号制御部
２６０撮影条件情報復号部
２７０視点画像生成部
２８０視点画像対応テーブル記憶部
２８１視点画像対応テーブル
２９０奥行き画像対応テーブル記憶部
２９１奥行き画像対応テーブル

Claims

それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像に対応する奥行き画像を参照すべきときには、符号化単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化部と、
前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化部と、
符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す１ビットのフラグである画像間参照情報を、符号化された視点画像と符号化された奥行き画像とを含む符号化データ列に挿入する画像間参照情報処理部と、
を備えることを特徴とする画像符号化装置。
前記画像間参照情報処理部は、
前記符号化単位がスライスであるのに応じて、前記符号化データ列におけるスライスのヘッダに符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す前記画像間参照情報を挿入する、
ことを特徴とする請求項１に記載の画像符号化装置。
符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化単位ごとに示す１ビットのフラグである画像間参照情報とを抽出する符号抽出部と、
抽出された前記符号化視点画像を復号する視点画像復号部と、
抽出された前記符号化奥行き画像を復号する奥行き画像復号部と、
抽出された前記画像間参照情報が示す参照関係に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御する復号制御部と、
を備えることを特徴とする画像復号装置。
前記復号制御部は、
前記符号化データ列におけるスライスのヘッダから抽出された前記画像間参照情報に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御することを特徴とする請求項３に記載の画像復号装置。
それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像に対応する奥行き画像を参照すべきときには、符号化単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化ステップと、
前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化ステップと、
符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す１ビットのフラグである画像間参照情報を、符号化された前記視点画像と符号化された前記奥行き画像を含む符号化データ列に挿入する画像間参照情報処理ステップと、
を備えることを特徴とする画像符号化方法。
符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化単位ごとに示す１ビットのフラグである画像間参照情報とを抽出する符号抽出ステップと、
抽出された前記符号化視点画像を復号する視点画像復号ステップと、
抽出された前記符号化奥行き画像を復号する奥行き画像復号ステップと、
抽出された前記画像間参照情報が示す参照関係に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御する復号制御ステップと、
を備えることを特徴とする画像復号方法。
コンピュータに、
それぞれが異なる視点に対応する複数の視点画像を符号化するにあたり、前記視点画像に対応する奥行き画像を参照すべきときには、符号化単位における前記視点画像について前記奥行き画像を参照して符号化し、前記奥行き画像を参照すべきでないときには、前記符号化単位における前記視点画像について前記奥行き画像を参照せずに符号化する視点画像符号化ステップ、
前記奥行き画像を符号化するにあたり、前記視点画像を参照すべきときには、前記符号化単位における前記奥行き画像について前記視点画像を参照して符号化し、前記視点画像を参照すべきでないときには、前記符号化単位における前記奥行き画像について前記視点画像を参照せずに符号化する奥行き画像符号化ステップ、
符号化対象の前記視点画像に関して、前記奥行き画像を参照して符号化されたか、前記奥行き画像を参照せずに符号化されたかの参照関係を前記符号化単位ごとに示す１ビットのフラグである画像間参照情報を、符号化された前記視点画像と符号化された前記奥行き画像を含む符号化データ列に挿入する画像間参照情報処理ステップ、
を実行させるためのプログラム。
コンピュータに、
符号化データ列から、それぞれが異なる視点に対応する視点画像を符号化した符号化視点画像と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像と、前記視点画像または前記奥行き画像を符号化した際の前記視点画像と前記奥行き画像との参照関係を所定の符号化単位ごとに示す１ビットのフラグである画像間参照情報とを抽出する符号抽出ステップ、
抽出された前記符号化視点画像を復号する視点画像復号ステップ、
抽出された前記符号化奥行き画像を復号する奥行き画像復号ステップ、
抽出された前記画像間参照情報が示す参照関係に基づいて、復号対象の前記符号化視点画像に関して、前記符号化奥行き画像を参照して復号するか、前記符号化奥行き画像を参照せずに復号するかを制御する復号制御ステップ、
を実行させるためのプログラム。