JP2016131405A - 画像復号装置 - Google Patents
画像復号装置 Download PDFInfo
- Publication number
- JP2016131405A JP2016131405A JP2016085082A JP2016085082A JP2016131405A JP 2016131405 A JP2016131405 A JP 2016131405A JP 2016085082 A JP2016085082 A JP 2016085082A JP 2016085082 A JP2016085082 A JP 2016085082A JP 2016131405 A JP2016131405 A JP 2016131405A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- unit
- information
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】画像復号処理の効率向上を図る。【解決手段】画像符号化装置は、テクスチャ画像とデプス画像を符号化する。この際、画像符号化装置は、符号化制御パラメータにしたがってデプス情報を利用したテクスチャ画像の符号化と、デプス情報を利用しないテクスチャ画像の符号化を行う。また、画像符号化装置は、テクスチャ画像の符号化に際してデプス情報を利用したか否かを示す利用結果情報を符号化する。画像復号装置は、テクスチャ画像とデプス画像を復号する。この際、画像復号装置は、復号した利用結果情報がデプス情報を利用したことを示す場合にはデプス画像を復号し、デプス情報を利用していないことを示す場合にはデプス画像の復号処理を省略する。【選択図】図５
Description
本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムに関する。
動画像符号化方式としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）／Ｈ．２６４方式などが知られている（例えば、非特許文献１参照）。
これらの動画像符号化方式では、動き補償フレーム間予測符号化を行う。動き補償フレーム間予測符号化は、動画像の時間方向の相関性を利用して符号量を削減する。この動き補償フレーム間予測符号化では、符号化対象の画像をブロック単位に分割し、ブロック毎に動きベクトルを求めて、さらに動きベクトルにより示される参照画像のブロックの画素値を予測に用いることで、効率的な符号化を実現している。
これらの動画像符号化方式では、動き補償フレーム間予測符号化を行う。動き補償フレーム間予測符号化は、動画像の時間方向の相関性を利用して符号量を削減する。この動き補償フレーム間予測符号化では、符号化対象の画像をブロック単位に分割し、ブロック毎に動きベクトルを求めて、さらに動きベクトルにより示される参照画像のブロックの画素値を予測に用いることで、効率的な符号化を実現している。
また、近年、Ｈ．２６４規格において、複数のカメラで同一の被写体や背景を撮影した複数の動画像から成る多視点動画像を符号化するための拡張規格であるＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＡｎｎｅｘＨとして策定された。この符号化方式では、カメラ間の相関性を表す視差ベクトルを利用して符号量の削減を図る視差補償予測符号化を用いている。
さらに、現状では、ＭＰＥＧのアドホックグループであるＭＰＥＧ−３ＤＶにおいて撮影装置により撮影した映像をテクスチャ画像と定め、そのテクスチャ画像と合わせてデプス（奥行き）画像も伝送するようにした新しい規格が策定されている。
デプス画像とはカメラから被写体までの距離を表した情報である。このデプス画像は、例えば、撮影装置の近傍に設置された距離を測定する装置から取得することにより生成することができる。また、デプス画像は、複数視点の撮影装置により撮影された画像を解析することによって生成することもできる。
デプス画像とはカメラから被写体までの距離を表した情報である。このデプス画像は、例えば、撮影装置の近傍に設置された距離を測定する装置から取得することにより生成することができる。また、デプス画像は、複数視点の撮影装置により撮影された画像を解析することによって生成することもできる。
更に、Ｈ．２６４／ＡＶＣやＭＶＣでは、符号化されるシーケンスのカラーフォーマットやピクチャの表示順序などのシーケンス全体についてのシーケンス情報を作成し、このシーケンス情報を符号化可能であることも規定されている。具体的に、このようなシーケンス情報は、そのパラメータセットであるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）として符号化される。
このようなことを背景として、デプス画像に基づく情報を利用してテクスチャ画像を符号化することが提案されている。例えば、特許文献１の映像符号化装置は、基準視点以外のテクスチャ画像を符号化する際に、基準視点画像に対応するデプス画像とカメラの位置関係に基づいて基準視点画像を符号化対象のテクスチャ画像の視点に変換するようにして視差補償画像を生成する。そして、特許文献１の映像符号化装置は、符号化対象のテクスチャ画像と視差補償画像との差分により視差差分画像、つまり、基準視点以外のテクスチャ画像を生成し、これを符号化するというものである。
ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４（０３／２００９）−Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ
例えばＭＰＥＧ−３ＤＶなどの規格の下では、デプス画像の情報を利用したテクスチャ画像の符号化を行うか否かについては、例えばアプリケーションなどに応じて任意に選択することが可能である。このことは、例えば、符号化画像において、デプス画像の情報を利用して圧縮されたテクスチャ画像と、デプス画像の情報を利用して圧縮されていないテクスチャ画像が混在し得ることを意味する。この場合において、復号装置は、デプス画像の情報を利用して圧縮されたテクスチャ画像についてはデプス画像を復号に利用する必要があるが、デプス画像の情報を利用して圧縮されていないテクスチャ画像についてはデプス画像の情報を復号に利用する必要がない。
しかし、例えば特許文献１や非特許文献１に記載される技術の下では、デプス画像の情報を利用して符号化されたテクスチャ画像と、デプス画像の情報を利用せずに符号化されたテクスチャ画像とを復号前の段階で区別して認識することができない。
このため、復号装置は、テクスチャ画像の復号にデプス画像の情報を利用する可能性があるために、デプス画像の情報を利用する必要が無い場合であっても、必ずデプス画像を復号する処理を実行しなければならない。これにより、本来は不要な信号処理が定常的に実行されることになってしまい、例えば復号処理の効率を低下させる。
本発明は、このような事情に鑑みてなされたもので、画像復号処理の効率向上を図ることを目的とする。
この発明は上述した課題を解決するためになされたもので、本発明の一態様としての画像復号装置は、テクスチャ画像及びデプス画像を含むビットストリームを受信する受信部と、前記テクスチャ画像を復号するテクスチャ画像復号部と、前記デプス画像を復号するデプス画像復号部と、利用結果情報フラグを復号する利用結果情報復号部と、を備え、前記テクスチャ画像復号部は、前記利用結果情報フラグを用いて前記デプス画像を前記テクスチャ画像の復号に際して利用するか否かを判定し、前記デプス画像を利用する場合には、前記デプス画像を利用して前記テクスチャ画像を復号することを特徴とする。
本発明によれば、画像復号処理の効率向上が図られるという効果が得られる。
図１は、本発明の実施形態における画像符号化装置と画像復号装置を備える画像処理シ
ステムの構成例を示している。
この図に示す画像処理システムは、撮影装置１００−１、１００−２、画像前置処理部２００、画像符号化装置３００、画像復号装置４００を備える。
ステムの構成例を示している。
この図に示す画像処理システムは、撮影装置１００−１、１００−２、画像前置処理部２００、画像符号化装置３００、画像復号装置４００を備える。
撮影装置１００−１、１００−２は、互いに異なる位置（視点）に設置され、同一の視野（被写空間）に含まれる被写体の画像を、予め定めた時間間隔（例えば１／３０秒ごとに１回）で撮影し、撮影した画像内容の画像信号を出力する。
撮影装置１００−１、１００−２が出力する画像信号は、それぞれテクスチャ画像（ｔｅｘｔｕｒｅ ｍａｐ；二次元画像）Ｐｔｘ１、Ｐｔｘ２である。このテクスチャ画像としての画像信号は、被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）を二次元平面に配置された画素ごとに有する信号である。また、このテクスチャ画像としての画像信号は、画素ごとの色空間を表す信号値を有する画像信号である。このような色空間を表す信号値を有する画像信号の一例は、ＲＧＢ信号である。ＲＧＢ信号は、赤色成分の輝度値を表すＲ信号、緑色成分の輝度値を示すＧ信号、青色成分の輝度値を示すＢ信号を含む。
画像前置処理部２００は、撮影装置１００−１から入力したテクスチャ画像Ｐｔｘ１に対応するデプス画像Ｐｄｐ１を生成する。また、撮影装置１００−２から入力したテクスチャ画像Ｐｔｘ２に対応するデプス画像Ｐｄｐ２を生成する。
このために、画像前置処理部２００は、例えば、まず、撮影装置１００−１から入力したテクスチャ画像Ｐｔｘ１を基準画像と定める。そして、画像前置処理部２００は、この基準画像と、他の撮影装置(この例では撮影装置１００−２)から入力したテクスチャ画像Ｐｔｘ２との視差を画素ごとに算出する。これにより、画像前置処理部２００は、撮影装置１００−１により撮影されたテクスチャ画像Ｐｔｘ１に対応するデプス画像Ｐｄｐ１を生成する。
このために、画像前置処理部２００は、例えば、まず、撮影装置１００−１から入力したテクスチャ画像Ｐｔｘ１を基準画像と定める。そして、画像前置処理部２００は、この基準画像と、他の撮影装置(この例では撮影装置１００−２)から入力したテクスチャ画像Ｐｔｘ２との視差を画素ごとに算出する。これにより、画像前置処理部２００は、撮影装置１００−１により撮影されたテクスチャ画像Ｐｔｘ１に対応するデプス画像Ｐｄｐ１を生成する。
デプス画像（「ｄｅｐｔｈ ｍａｐ（デプスマップ）」、「深度画像」、「距離画像」ともいう）とは、被写空間に含まれる被写体や背景などの対象物に対する視点（図１では撮影装置１００−１、１００−２となる）からの距離を示す信号値（「デプス値」、「深度値」、「デプス」などともいう）を二次元平面に配置された画素ごとの信号値（画素値）とした画像信号である。デプス画像を形成する画素は、基準画像を形成する画素と対応する。デプス画像は、被写空間を二次元平面に射影した際の基準画像を用いて三次元の被写空間を表現するための情報である。
また、テクスチャ画像は、例えばフレーム単位により生成される。これに応じて、デプス画像も例えばフレーム単位により生成される。
また、テクスチャ画像は、例えばフレーム単位により生成される。これに応じて、デプス画像も例えばフレーム単位により生成される。
次に、画像前置処理部２００は、他の撮影装置（この場合は撮影装置１００−２）から入力したテクスチャ画像Ｐｔｘ２を基準画像とする。そして、上記撮影装置１００−１により撮影されたテクスチャ画像に対応するデプス画像Ｐｄｐ１を生成するのと同様の処理によって、撮影装置１００−２のテクスチャ画像Ｐｔｘ２に対応するデプス画像Ｐｄｐ２を生成する。
そして、画像前置処理部２００は、撮影装置１００−１により撮影されテクスチャ画像Ｐｔｘ１と撮影装置１００−２により撮影されたテクスチャ画像Ｐｔｘ２をフレームごとに交互に出力する。これとともに、画像前置処理部２００は、撮影装置１００−１により撮影されたテクスチャ画像Ｐｔｘ１に対応するデプス画像Ｐｄｐ１と、撮影装置１００−２により撮影されたテクスチャ画像Ｐｔｘ２に対応するデプス画像Ｐｄｐ２をフレームごとに交互に出力する。
なお、以降において、テクスチャ画像Ｐｔｘ１とＰｔｘ２とを特に区別して言及する必要のない場合には、テクスチャ画像Ｐｔｘと記載する。また、デプス画像Ｐｄｐ１とＰｄｐ２とを特に区別して言及する必要のない場合には、デプス画像Ｐｄｐと記載する。
画像符号化装置３００は、上記のように画像前置処理部２００から出力されるテクスチャ画像Ｐｔｘ１、Ｐｔｘ２と、デプス画像Ｐｄｐ１、Ｐｄｐ２を入力する。また、符号化制御パラメータｐｍｔを入力する。
なお、テクスチャ画像Ｐｔｘ１、Ｐｔｘ２は、例えば撮影装置１００−１と１００−２の撮影画像である。つまり、テクスチャ画像Ｐｔｘは、複数の視点ごとに応じた画像として画像符号化装置３００に入力される。また、デプス画像Ｐｄｐは、一部のテクスチャ画像Ｐｔｘに対応するもののみが入力されてもよいし、すべてのテクスチャ画像Ｐｔｘごとに対応するデプス画像Ｐｄｐが入力されてもよい。また、テクスチャ画像Ｐｔｘ、デプス画像Ｐｄｐは動画像に対応するものであってもよいし、静止画像に対応するものであってもよい。
なお、テクスチャ画像Ｐｔｘ１、Ｐｔｘ２は、例えば撮影装置１００−１と１００−２の撮影画像である。つまり、テクスチャ画像Ｐｔｘは、複数の視点ごとに応じた画像として画像符号化装置３００に入力される。また、デプス画像Ｐｄｐは、一部のテクスチャ画像Ｐｔｘに対応するもののみが入力されてもよいし、すべてのテクスチャ画像Ｐｔｘごとに対応するデプス画像Ｐｄｐが入力されてもよい。また、テクスチャ画像Ｐｔｘ、デプス画像Ｐｄｐは動画像に対応するものであってもよいし、静止画像に対応するものであってもよい。
また、画像符号化装置３００は、入力した符号化制御パラメータｐｍｔを利用してテクスチャ画像Ｐｔｘ１、Ｐｔｘ２とデプス画像Ｐｄｐ１、Ｐｄｐ２をそれぞれ符号化（圧縮）する。
また、画像符号化装置３００は、入力した符号化制御パラメータｐｍｔを利用して、シーケンス情報を生成する。シーケンス情報は、画像（テクスチャ画像とデプス画像）のシーケンスについての情報であり、例えば、画像サイズ、アスペクト比、フレームレート、ビットレート、カラーフォーマット、ピクチャ表示順などの情報を含む。
そのうえで、画像符号化装置３００は、シーケンス情報についても符号化（圧縮）する。この際、画像符号化装置３００は、例えばシーケンス情報をＳＰＳ（Ｓｅｑｕｅｎｃｅ
Ｐａｒａｍｅｔｅｒ Ｓｅｔ）の形式となるように符号化する。
また、画像符号化装置３００は、入力した符号化制御パラメータｐｍｔを利用して、シーケンス情報を生成する。シーケンス情報は、画像（テクスチャ画像とデプス画像）のシーケンスについての情報であり、例えば、画像サイズ、アスペクト比、フレームレート、ビットレート、カラーフォーマット、ピクチャ表示順などの情報を含む。
そのうえで、画像符号化装置３００は、シーケンス情報についても符号化（圧縮）する。この際、画像符号化装置３００は、例えばシーケンス情報をＳＰＳ（Ｓｅｑｕｅｎｃｅ
Ｐａｒａｍｅｔｅｒ Ｓｅｔ）の形式となるように符号化する。
そして、画像符号化装置３００は、符号化テクスチャ画像と、符号化デプス画像と、生成したシーケンス情報を多重化したビットストリームｅを生成し、このビットストリームｅを伝送路５００経由で画像復号装置４００に出力する。
画像復号装置４００は、伝送路５００経由で伝送されるビットストリームｅを入力し、このビットストリームｅから符号化テクスチャ画像と符号化デプス画像とシーケンス情報を分離する。
そして、画像復号装置４００は、分離された符号化テクスチャ画像についてシーケンス情報を利用して復号を行ってテクスチャ画像Ｐｔｘ１＿ｄｅｃ、Ｐｔｘ２＿ｄｅｃを生成する。テクスチャ画像Ｐｔｘ１＿ｄｅｃ、Ｐｔｘ２＿ｄｅｃは、それぞれ符号化前のテクスチャ画像Ｐｔｘ１、Ｐｔｘ２に対応する。
また、画像復号装置４００は、分離された符号化デプス画像についてシーケンス情報を利用して復号を行ってデプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃを生成する。画像復号装置４００は、このように生成したテクスチャ画像Ｐｔｘ１＿ｄｅｃ、Ｐｔｘ２＿ｄｅｃと、デプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃを外部に出力する。
また、画像復号装置４００は、分離された符号化デプス画像についてシーケンス情報を利用して復号を行ってデプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃを生成する。画像復号装置４００は、このように生成したテクスチャ画像Ｐｔｘ１＿ｄｅｃ、Ｐｔｘ２＿ｄｅｃと、デプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃを外部に出力する。
また、画像復号装置４００にはデプス画像要求信号ＲＱｄが入力される。デプス画像要求信号ＲＱｄは、画像復号装置４００が復号した信号を利用する装置やアプリケーションがデプス画像を要求しているか否かを示す信号であり、例えばユーザの操作に応じて出力される。なお、デプス画像要求信号ＲＱｄに応じた画像復号装置４００の動作については後述する。
画像復号装置４００から出力されたテクスチャ画像Ｐｔｘ１＿ｄｅｃ、Ｐｔｘ２＿ｄｅ
ｃとデプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃは、例えば図示しない再生装置や再生回路が入力して再生を行うことで、例えば多視点画像の表示が行われる。
ｃとデプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃは、例えば図示しない再生装置や再生回路が入力して再生を行うことで、例えば多視点画像の表示が行われる。
なお、図１に示す画像処理システムでは、２つの撮影装置１００−１、１００−２を備えた例が示されているが、これに限定されるものではなく、３以上の撮影装置が備えられてよい。また、画像符号化装置３００が入力するテクスチャ画像Ｐｔｘとデプス画像Ｐｄｐは、撮影装置１００−１、１００−２が撮影した画像に基づくものでなくともよく、例えば、コンピュータグラフィックスなどにより予め生成された画像であってもよい。
また、伝送路５００は、例えば映像信号を伝送するケーブルのようなものであってもよいし、ネットワークであってもよい。また、画像復号装置４００は、伝送路５００により接続されない独立した装置とされ、例えばビットストリームｅに相当するデータが記録された記録媒体からテクスチャ画像Ｐｔｘとデプス画像Ｐｄｐを生成するものであってもよい。
また、伝送路５００は、例えば映像信号を伝送するケーブルのようなものであってもよいし、ネットワークであってもよい。また、画像復号装置４００は、伝送路５００により接続されない独立した装置とされ、例えばビットストリームｅに相当するデータが記録された記録媒体からテクスチャ画像Ｐｔｘとデプス画像Ｐｄｐを生成するものであってもよい。
図２は、画像符号化装置３００の構成例を示している。画像符号化装置３００は、制御部３１０、テクスチャ画像符号化部３２０、デプス画像符号化部３３０、シーケンス情報符号化部３４０および多重化部３５０を備える。
制御部３１０は、符号化に関する管理を実行する。制御部３１０は、例えば図示するように、符号化管理部３１１とデプス情報利用可否判定部３１２を備える。
符号化管理部３１１は、符号化制御パラメータｐｍｔを入力し、この入力した符号化制御パラメータｐｍｔを利用してシーケンス情報Ｄｓｅｑを生成し、テクスチャ画像およびデプス画像に関連するヘッダ情報（ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットヘッダ）などを生成する。シーケンス情報Ｄｓｅｑは、シーケンス情報符号化部３４０に入力される。
符号化管理部３１１は、符号化制御パラメータｐｍｔを入力し、この入力した符号化制御パラメータｐｍｔを利用してシーケンス情報Ｄｓｅｑを生成し、テクスチャ画像およびデプス画像に関連するヘッダ情報（ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットヘッダ）などを生成する。シーケンス情報Ｄｓｅｑは、シーケンス情報符号化部３４０に入力される。
デプス情報利用可否判定部３１２は、テクスチャ画像Ｐｔｘを、そのテクスチャ画像Ｐｔｘに対応するデプス画像Ｐｄｐに基づく情報であるデプス情報Ｄｄｐを利用して符号化すべきか否かを判定する。このために、デプス情報利用可否判定部３１２は、符号化制御パラメータｐｍｔを入力する。符号化制御パラメータｐｍｔは、テクスチャ画像Ｐｔｘを符号化する際に、デプス情報Ｄｄｐを利用すべきか否かを指示するデプス情報利用指示情報を含む。
テクスチャ画像符号化部３２０は、例えばデプス画像符号化部３３０がデプス画像Ｐｄｐを符号化する際に生成する情報であるデプス情報Ｄｄｐを利用してテクスチャ画像を符号化することができる。例えばデプス情報Ｄｄｐを利用してテクスチャ画像Ｐｔｘを符号化することにより、デプス情報Ｄｄｐを利用しない場合よりも符号化効率を高くすることができる。
ただし、符号化制御パラメータｐｍｔに含まれるデプス情報利用指示情報が、デプス情報を利用した符号化を実行してはならない旨を指示している場合には、デプス情報を利用せずにテクスチャ画像Ｐｔｘを符号化する必要がある。
ただし、符号化制御パラメータｐｍｔに含まれるデプス情報利用指示情報が、デプス情報を利用した符号化を実行してはならない旨を指示している場合には、デプス情報を利用せずにテクスチャ画像Ｐｔｘを符号化する必要がある。
そこで、デプス情報利用可否判定部３１２は、符号化制御パラメータｐｍｔにおけるデプス情報利用指示情報を参照することで、テクスチャ画像Ｐｔｘの符号化に際してデプス画像Ｐｄｐについての情報（デプス情報Ｄｄｐ）を利用すべきか否かを判定する。そして、その判定結果にしたがって、デプス情報利用可否判定部３１２は、デプス情報Ｄｄｐを利用すべきか否かをテクスチャ画像符号化部３２０に指示する。この際、デプス情報利用可否判定部３１２は、デプス情報Ｄｄｐを利用すべきか否かを指示する指示信号Ｓｉをテクスチャ画像符号化部３２０に対して出力する。
テクスチャ画像符号化部３２０は、テクスチャ画像Ｐｔｘ１、Ｐｔｘ２を入力し、この入力したテクスチャ画像Ｐｔｘ１、Ｐｔｘ２を符号化して符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃを生成する。なお、以降において、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃについて特に区別しない場合には、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃと記載する。
そのうえで、テクスチャ画像符号化部３２０は、テクスチャ画像Ｐｔｘを符号化する際に、デプス画像符号化部３３０から入力されるデプス情報Ｄｄｐを利用して符号化することができる。しかし、制御部３１０がデプス情報Ｄｄｐを利用した符号化を実行してはならないと判定した場合には、デプス情報Ｄｄｐを利用せずにテクスチャ画像Ｐｔｘを符号化する。
そのうえで、テクスチャ画像符号化部３２０は、テクスチャ画像Ｐｔｘを符号化する際に、デプス画像符号化部３３０から入力されるデプス情報Ｄｄｐを利用して符号化することができる。しかし、制御部３１０がデプス情報Ｄｄｐを利用した符号化を実行してはならないと判定した場合には、デプス情報Ｄｄｐを利用せずにテクスチャ画像Ｐｔｘを符号化する。
このために、テクスチャ画像符号化部３２０は、例えばテクスチャ画像符号化処理部３２１とデプス情報入力部３２２を備える。
テクスチャ画像符号化処理部３２１は、テクスチャ画像Ｐｔｘ１、Ｐｔｘ２を入力して符号化処理を実行することで符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃを生成する。この際に、デプス情報入力部３２２からデプス情報Ｄｄｐが出力される場合には、このデプス情報入力部３２２が出力するデプス情報Ｄｄｐを利用してテクスチャ画像Ｐｔｘ１、Ｐｔｘ２を符号化する。これに対して、デプス情報入力部３２２からデプス情報Ｄｄｐが出力されていない場合には、デプス情報Ｄｄｐを利用せずにテクスチャ画像Ｐｔｘ１、Ｐｔｘ２を符号化する。
テクスチャ画像符号化処理部３２１は、テクスチャ画像Ｐｔｘ１、Ｐｔｘ２を入力して符号化処理を実行することで符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃを生成する。この際に、デプス情報入力部３２２からデプス情報Ｄｄｐが出力される場合には、このデプス情報入力部３２２が出力するデプス情報Ｄｄｐを利用してテクスチャ画像Ｐｔｘ１、Ｐｔｘ２を符号化する。これに対して、デプス情報入力部３２２からデプス情報Ｄｄｐが出力されていない場合には、デプス情報Ｄｄｐを利用せずにテクスチャ画像Ｐｔｘ１、Ｐｔｘ２を符号化する。
デプス情報入力部３２２は、デプス画像符号化部３３０からデプス情報Ｄｄｐを入力し、制御部３１０から指示信号Ｓｉを入力する。デプス情報入力部３２２は、指示信号Ｓｉがデプス情報Ｄｄｐを利用すべきことを指示している場合、デプス画像符号化部３３０から入力したデプス情報Ｄｄｐをテクスチャ画像符号化処理部３２１に出力する。これにより、テクスチャ画像符号化処理部３２１は、デプス情報Ｄｄｐを利用したテクスチャ画像Ｐｔｘの符号化を行う。
一方、デプス情報入力部３２２は、指示信号Ｓｉがデプス情報Ｄｄｐを利用すべきでないことを指示している場合、デプス画像符号化部３３０から入力したデプス情報Ｄｄｐをテクスチャ画像符号化処理部３２１に出力しない。これにより、テクスチャ画像符号化処理部３２１は、デプス情報Ｄｄｐを利用せずにテクスチャ画像Ｐｔｘの符号化を行う。
このような構成により、テクスチャ画像符号化部３２０は、デプス情報を利用したテクスチャ画像Ｐｔｘの符号化と、デプス情報を利用しないテクスチャ画像Ｐｔｘの符号化とで、符号化の動作を切り替えることができる。
このような構成により、テクスチャ画像符号化部３２０は、デプス情報を利用したテクスチャ画像Ｐｔｘの符号化と、デプス情報を利用しないテクスチャ画像Ｐｔｘの符号化とで、符号化の動作を切り替えることができる。
なお、テクスチャ画像符号化処理部３２１におけるテクスチャ画像Ｐｔｘの符号化方式については特に限定されるものではないが、例えば、ＭＰＥＧ−２を採用することができる。また、現在、ＩＴＵ−Ｔの「ＶＣＥＧ」とＩＳＯ／ＩＥＣの「ＭＰＥＧ」が共同で設立したＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）で標準策定中の次世代映像符号化規格であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に準拠する方式を採用することもできる。
デプス画像符号化部３３０は、デプス画像Ｐｄｐ１、Ｐｄｐ２を入力し、この入力したデプス画像Ｐｄｐ１、Ｐｄｐ２について符号化処理を行って符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃを生成する。なお、以降において、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃについて特に区別しない場合には、符号化デプス画像Ｐｄｐ＿ｅｎｃと記載する。
また、デプス画像符号化部３３０は、符号化処理を行ったデプス画像Ｐｄｐに関する所定の情報を有するデプス情報Ｄｄｐを生成し、テクスチャ画像符号化部３２０に出力する
。
また、デプス画像符号化部３３０は、符号化処理を行ったデプス画像Ｐｄｐに関する所定の情報を有するデプス情報Ｄｄｐを生成し、テクスチャ画像符号化部３２０に出力する
。
また、デプス画像符号化部３３０は、フレーム単位のテクスチャ画像Ｐｔｘに対応するデプス画像Ｐｄｐに基づくデプス情報Ｄｄｐを生成する。
一例として、デプス画像符号化部３３０は、以下のようにデプス情報Ｄｄｐを生成する。つまり、デプス画像符号化部３３０は、フレーム単位による符号化デプス画像Ｐｄｐ＿ｅｎｃについて逆処理、すなわち、復号を行って復号デプス画像を生成する。この復号デプス画像は、画像復号装置４００において復号されるデプス画像Ｐｄｐと同一のデータである。このように、画像符号化装置３００と画像復号装置４００とでデプス画像を同一とすることにより、生成される予測ベクトルを一致させることができる。
そして、デプス画像符号化部３３０は、例えばこの復号デプス画像の画素値を、デプス情報Ｄｄｐとして出力する。
また、デプス情報Ｄｄｐは、デプス画像を符号化した際の各ブロックの符号化モードや分割方法(例えば１６×１６、８×８など)や、動きベクトル、視差ベクトル、または、参照画像を指定するインデックスなどの情報のすべてあるいは一部を含むようなものであってもよい。
一例として、デプス画像符号化部３３０は、以下のようにデプス情報Ｄｄｐを生成する。つまり、デプス画像符号化部３３０は、フレーム単位による符号化デプス画像Ｐｄｐ＿ｅｎｃについて逆処理、すなわち、復号を行って復号デプス画像を生成する。この復号デプス画像は、画像復号装置４００において復号されるデプス画像Ｐｄｐと同一のデータである。このように、画像符号化装置３００と画像復号装置４００とでデプス画像を同一とすることにより、生成される予測ベクトルを一致させることができる。
そして、デプス画像符号化部３３０は、例えばこの復号デプス画像の画素値を、デプス情報Ｄｄｐとして出力する。
また、デプス情報Ｄｄｐは、デプス画像を符号化した際の各ブロックの符号化モードや分割方法(例えば１６×１６、８×８など)や、動きベクトル、視差ベクトル、または、参照画像を指定するインデックスなどの情報のすべてあるいは一部を含むようなものであってもよい。
なお、デプス画像符号化部３３０が対応するデプス画像の符号化方式としては、例えばＨ．２６４／ＡＶＣ方式やＨＥＶＣに準拠する方式を採用することができる。また、テクスチャ画像Ｐｔｘの各視点に対応するデプス画像Ｐｄｐがデプス画像符号化部３３０に入力される場合には、Ｈ．２６４／ＭＶＣの復号方式に対応する符号化方式を用いて符号化することができる。
シーケンス情報符号化部３４０は、シーケンス情報Ｄｓｅｑを入力し、この入力したシーケンス情報Ｄｓｅｑを符号化して、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを生成する。
ここで、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報Ｄｄｐを利用して符号化されたものである場合、その復号に際しては、デプス情報Ｄｄｐが必要になる。一方、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報Ｄｄｐを利用して符号化されたものでない場合、その復号に際してデプス情報Ｄｄｐは不要である。
そこで、シーケンス情報符号化部３４０は、テクスチャ画像Ｐｔｘの符号化処理の結果にしたがって、テクスチャ画像Ｐｔｘごとに対応のデプス情報Ｄｄｐを利用して符号化を行ったか否かを示す利用結果情報（ｉｎｄｅｐｅｎｄｅｎｔ＿ｆｌａｇ）を生成する。この利用結果情報は、復号側においては、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃの生成のために符号化デプス画像Ｐｄｐ＿ｅｎｃを復号すべきか否かを示す情報として利用される。シーケンス情報符号化部３４０は、生成した利用結果情報を含めるように符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを生成する。
このために、シーケンス情報符号化部３４０は、シーケンス情報符号化処理部３４１と、利用結果情報符号化部３４２を備える。
シーケンス情報符号化処理部３４１は、シーケンス情報Ｄｓｅｑを入力して符号化処理を実行し、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを生成する。また、シーケンス情報符号化処理部３４１は、利用結果情報符号化部３４２から符号化利用結果情報が入力されるのに応じて、この符号化利用結果情報を付加して符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを生成する。
シーケンス情報符号化処理部３４１は、シーケンス情報Ｄｓｅｑを入力して符号化処理を実行し、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを生成する。また、シーケンス情報符号化処理部３４１は、利用結果情報符号化部３４２から符号化利用結果情報が入力されるのに応じて、この符号化利用結果情報を付加して符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを生成する。
利用結果情報符号化部３４２は、利用結果情報を符号化する。
このために、利用結果情報符号化部３４２は、シーケンス情報Ｄｓｅｑを入力して、こ
のシーケンス情報Ｄｓｅｑに含まれるデプス情報利用指示情報を参照する。利用結果情報符号化部３４２は、デプス情報利用指示情報がデプス情報Ｄｄｐを利用した符号化を指示していれば、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐを利用したことを示す利用結果情報を生成する。一方、利用結果情報符号化部３４２は、デプス情報利用指示情報がデプス情報Ｄｄｐを利用した符号化を指示していなければ、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐを利用していないことを示す利用結果情報を生成する。
そして、利用結果情報符号化部３４２は、上記のように生成した利用結果情報を符号化する。
このために、利用結果情報符号化部３４２は、シーケンス情報Ｄｓｅｑを入力して、こ
のシーケンス情報Ｄｓｅｑに含まれるデプス情報利用指示情報を参照する。利用結果情報符号化部３４２は、デプス情報利用指示情報がデプス情報Ｄｄｐを利用した符号化を指示していれば、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐを利用したことを示す利用結果情報を生成する。一方、利用結果情報符号化部３４２は、デプス情報利用指示情報がデプス情報Ｄｄｐを利用した符号化を指示していなければ、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐを利用していないことを示す利用結果情報を生成する。
そして、利用結果情報符号化部３４２は、上記のように生成した利用結果情報を符号化する。
多重化部３５０は、テクスチャ画像符号化部３２０により生成された符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、デプス画像符号化部３３０により生成された符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃと、シーケンス情報符号化部３４０により生成された符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを入力する。
そして、多重化部３５０は、入力したこれらの符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃと、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを例えば時分割により多重化してビットストリームｅとして伝送路５００に出力する。
このように、画像符号化装置３００は、圧縮符号化されたテクスチャ画像とデプス画像に対して、テクスチャ画像Ｐｔｘの符号化に際して対応のデプス情報Ｄｄｐを利用したか否かを示す利用結果情報をシーケンス情報に付加して出力することができる。
このように、画像符号化装置３００は、圧縮符号化されたテクスチャ画像とデプス画像に対して、テクスチャ画像Ｐｔｘの符号化に際して対応のデプス情報Ｄｄｐを利用したか否かを示す利用結果情報をシーケンス情報に付加して出力することができる。
なお、ビットストリームｅに含まれる符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃは、例えばＮＡＬユニットである。
ＮＡＬユニットは、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４において規定されている。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４におけるビットストリームのシンタックスにおいては、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）とＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）の２層構造であるべきことが規定されている。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４におけるビットストリームのシンタックスにおいては、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）とＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）の２層構造であるべきことが規定されている。
このようにＮＡＬが規定される場合、画像のコンテンツは、複数種類のＮＡＬユニットに分割して符号化される。そして、このようなＮＡＬ構造を有することで、例えば符号化したデータをＭＰ４などのファイルフォーマットに格納したり、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ＿Ｔｒａｎｓｐｏｒｔ＿Ｐｒｏｔｏｃｏｌ）のパケットに分割して伝送するなど、多様な用途に適用することが可能となる。
そして、本実施形態においては、複数種類のＮＡＬユニットのうちの一部として、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃの各ＮＡＬユニットの種類が生成される。
これらのＮＡＬユニットは、ユニット識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。このユニット識別子により、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃの各ＮＡＬユニットは、シーケンス情報、テクスチャ画像、デプス画像のいずれの種類であるのかが識別できる。
これらのＮＡＬユニットは、ユニット識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。このユニット識別子により、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃの各ＮＡＬユニットは、シーケンス情報、テクスチャ画像、デプス画像のいずれの種類であるのかが識別できる。
また、ＮＡＬユニットは、ＶＣＬ−ＮＡＬユニットと、非ＶＣＬ−ＮＡＬユニットに分
類される。コンテンツのデータの実体に相当する符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃのＮＡＬユニットは、ＶＣＬ−ＮＡＬユニットに該当する。また、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃのＮＡＬユニットもＶＣＬ−ＮＡＬユニットに該当する。これに対して、例えばＳＰＳとして生成される符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃのＮＡＬユニットは、非ＶＣＬ−ＮＡＬユニットに該当する。
類される。コンテンツのデータの実体に相当する符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃのＮＡＬユニットは、ＶＣＬ−ＮＡＬユニットに該当する。また、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃのＮＡＬユニットもＶＣＬ−ＮＡＬユニットに該当する。これに対して、例えばＳＰＳとして生成される符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃのＮＡＬユニットは、非ＶＣＬ−ＮＡＬユニットに該当する。
図３および図４のフローチャートは、画像符号化装置３００が実行する処理手順例を示している。
図３において、制御部３１０における符号化管理部３１１は、符号化制御パラメータｐｍｔを入力し（ステップＳ１０１）、シーケンス情報Ｄｓｅｑを生成する（ステップＳ１０２）。
また、制御部３１０におけるデプス情報利用可否判定部３１２は、符号化制御パラメータｐｍｔにおけるデプス情報利用指示情報を参照して、テクスチャ画像Ｐｔｘを符号化するにあたりデプス情報Ｄｄｐを利用すべきか否かについて判定する（ステップＳ１０３）。
図３において、制御部３１０における符号化管理部３１１は、符号化制御パラメータｐｍｔを入力し（ステップＳ１０１）、シーケンス情報Ｄｓｅｑを生成する（ステップＳ１０２）。
また、制御部３１０におけるデプス情報利用可否判定部３１２は、符号化制御パラメータｐｍｔにおけるデプス情報利用指示情報を参照して、テクスチャ画像Ｐｔｘを符号化するにあたりデプス情報Ｄｄｐを利用すべきか否かについて判定する（ステップＳ１０３）。
そして、デプス情報利用可否判定部３１２は、ステップＳ１０３の判定結果にしたがって、テクスチャ画像Ｐｔｘを符号化するにあたりデプス情報Ｄｄｐを利用すべきか否かについての指示をテクスチャ画像符号化部３２０に行う（ステップＳ１０４）。この際、デプス情報利用可否判定部３１２は、上記の判定結果に応じて、デプス情報Ｄｄｐを利用すべきことを指示する指示信号Ｓｉとデプス情報Ｄｄｐを利用すべきでないことを指示する指示信号Ｓｉのいずれかをテクスチャ画像符号化部３２０に出力する。
次に、デプス画像符号化部３３０は、デプス画像Ｐｄｐを入力して符号化処理を行うことで符号化デプス画像Ｐｄｐ＿ｅｎｃを生成し、多重化部３５０に出力する（ステップＳ１０５）。また、デプス画像符号化部３３０は、符号化対象のデプス画像Ｐｄｐに基づくデプス情報を生成してテクスチャ画像符号化部３２０に出力する（ステップＳ１０５）。
多重化部３５０は、ステップＳ１０５により生成された符号化デプス画像Ｐｄｐ＿ｅｎｃをビットストリームｅに対して時分割多重する（ステップＳ１０６）。
次に、テクスチャ画像符号化部３２０は、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐを利用すべきことの指示が制御部３１０から行われたか否かについて判定する（ステップＳ１０７）。このため、例えば、テクスチャ画像符号化部３２０におけるデプス情報入力部３２２は、指示信号Ｓｉがデプス情報Ｄｄｐを利用すべきことを示しているか否かについて判定する。
デプス情報Ｄｄｐを利用すべきことの指示が行われたと判定した場合（ステップＳ１０７−ＹＥＳ）、デプス情報入力部３２２は、デプス画像符号化部３３０から出力されるデプス情報Ｄｄｐをテクスチャ画像符号化処理部３２１に入力させる。これにより、テクスチャ画像符号化処理部３２１は、デプス情報Ｄｄｐを利用してテクスチャ画像Ｐｔｘを符号化して、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを生成する（ステップＳ１０８）。
一方、デプス情報Ｄｄｐを利用すべきとの指示が行われていないと判定した場合（ステップＳ１０７−ＮＯ）、デプス情報Ｄｄｐをテクスチャ画像符号化処理部３２１に入力させない。これにより、テクスチャ画像符号化処理部３２１は、デプス情報Ｄｄｐを利用せずにテクスチャ画像Ｐｔｘを符号化して、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを生成する（ステップＳ１０９）。
多重化部３５０は、ステップＳ１０８により生成された符号化テクスチャ画像Ｐｔｘ＿
ｅｎｃをビットストリームｅに対して時分割多重する（ステップＳ１１０）。
ｅｎｃをビットストリームｅに対して時分割多重する（ステップＳ１１０）。
また、図４に示すように、シーケンス情報符号化部３４０におけるシーケンス情報符号化処理部３４１は、ステップＳ１０２にて生成されたシーケンス情報Ｄｓｅｑを入力し、シーケンス情報を符号化する（ステップＳ１１１）。
また、シーケンス情報符号化部３４０における利用結果情報符号化部３４２は、入力したシーケンス情報Ｄｓｅｑに含まれるデプス情報利用指示情報が、テクスチャ画像Ｐｔｘの符号化にあたりデプス情報を利用すべきことを示しているか否かについて判定する（ステップＳ１１２）。
ここで、利用結果情報は、例えば１ビットの情報であり、「０」のときにデプス情報を利用してテクスチャ画像を符号化したことを示し、「１」のときにデプス情報を利用してテクスチャ画像を符号化していないことを示す。
そこで、利用結果情報符号化部３４２は、デプス情報利用指示情報がデプス情報を利用すべきことを示している場合（ステップＳ１１２−ＹＥＳ）、「０」の値を有する利用結果情報を生成する（ステップＳ１１３）。
そこで、利用結果情報符号化部３４２は、デプス情報利用指示情報がデプス情報を利用すべきことを示している場合（ステップＳ１１２−ＹＥＳ）、「０」の値を有する利用結果情報を生成する（ステップＳ１１３）。
一方、デプス情報利用指示情報がデプス情報を利用すべきでないことを示している場合、利用結果情報符号化部３４２は、「１」の値を有する利用結果情報を生成する（ステップＳ１１４）。
そして、利用結果情報符号化部３４２は、ステップＳ１１３またはＳ１１４により生成し符号化した利用結果情報を符号化して、符号化利用結果情報を生成する（ステップＳ１１５）。
そして、利用結果情報符号化部３４２は、ステップＳ１１３またはＳ１１４により生成し符号化した利用結果情報を符号化して、符号化利用結果情報を生成する（ステップＳ１１５）。
シーケンス情報符号化処理部３４１は、ステップＳ１１１により生成した符号化シーケンス情報に、ステップＳ１１５により生成された符号化利用結果情報を付加して、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃとして出力する（ステップＳ１１６）。
多重化部３５０は、ステップＳ１１６により出力された符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを入力し、ビットストリームｅに対して時分割多重する（ステップＳ１１７）。
多重化部３５０は、すべての画像の符号化が終了したか否かについて判定し（ステップＳ１１８）、符号化が終了したのであれば（ステップＳ１１８−ＹＥＳ）、この図に示す処理を終了する。これに対して、符号化が終了していなければ（ステップＳ１１８−ＮＯ）、多重化部３５０はステップＳ１０１に戻る。これにより、画像符号化装置３００は、次の画像の符号化を実行する。
次に、画像復号装置４００について説明する。
図５は、画像復号装置４００の構成例を示している。この図に示す画像復号装置４００は、分離部４１０、シーケンス情報復号部４２０、テクスチャ画像復号部４３０、デプス画像復号部４４０を備える。
図５は、画像復号装置４００の構成例を示している。この図に示す画像復号装置４００は、分離部４１０、シーケンス情報復号部４２０、テクスチャ画像復号部４３０、デプス画像復号部４４０を備える。
前述のようにビットストリームｅには、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃとが多重化されている。
分離部４１０は、入力したビットストリームｅから、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃとを分離する。
分離部４１０は、入力したビットストリームｅから、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃと、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃとを分離する。
前述のように、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃと、符号化デプス画像Ｐｄｐ＿ｅｎｃは、それぞれ、ＮＡＬユニットである。そして、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃと、符号化デプス画像Ｐｄｐ＿ｅｎｃは、それぞれのＮＡＬユニットヘッダにおいて、ユニット識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含んでいる。そして、ユニット識別子は、それぞれ、そのＮＡＬユニットとしての内容がシーケンス情報とテクスチャ画像とデプス画像のいずれであるのかを示している。
そこで、分離部４１０は、ビットストリームｅからＮＡＬユニットを分離し、このＮＡＬユニットが含むユニット識別子を抽出し、抽出したユニット識別子が示すデータの内容を認識する。
分離部４１０は、ユニット識別子がシーケンス情報を示していると認識した場合、このＮＡＬユニットのデータを符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃとしてシーケンス情報復号部４２０に出力する。
また、分離部４１０は、ユニット識別子がテクスチャ画像を示していると認識した場合には、そのユニット識別子を含むＮＡＬユニットのデータを符号化テクスチャ画像Ｐｔｘ＿ｅｎｃとしてテクスチャ画像復号部４３０に出力する。
また、分離部４１０は、ユニット識別子がデプス画像を示していると認識した場合には、そのユニット識別子を含むＮＡＬユニットのデータを符号化デプス画像Ｐｄｐ＿ｅｎｃとしてデプス画像復号部４４０に出力する。
分離部４１０は、ユニット識別子がシーケンス情報を示していると認識した場合、このＮＡＬユニットのデータを符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃとしてシーケンス情報復号部４２０に出力する。
また、分離部４１０は、ユニット識別子がテクスチャ画像を示していると認識した場合には、そのユニット識別子を含むＮＡＬユニットのデータを符号化テクスチャ画像Ｐｔｘ＿ｅｎｃとしてテクスチャ画像復号部４３０に出力する。
また、分離部４１０は、ユニット識別子がデプス画像を示していると認識した場合には、そのユニット識別子を含むＮＡＬユニットのデータを符号化デプス画像Ｐｄｐ＿ｅｎｃとしてデプス画像復号部４４０に出力する。
シーケンス情報復号部４２０は、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを復号してシーケンス情報Ｄｓｅｑを生成する。また、シーケンス情報復号部４２０は、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃに付加されている符号化利用結果情報も復号して、利用結果情報を復元する。
このために、シーケンス情報復号部４２０は、例えばシーケンス情報復号処理部４２１と利用結果情報復号部４２２を備える。
このために、シーケンス情報復号部４２０は、例えばシーケンス情報復号処理部４２１と利用結果情報復号部４２２を備える。
シーケンス情報復号処理部４２１は、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを復号してシーケンス情報を生成する。また、シーケンス情報復号処理部４２１は、利用結果情報復号部４２２から入力した復号後の利用結果情報を、生成したシーケンス情報に付加する。そして、シーケンス情報復号処理部４２１は、このように利用結果情報が付加されたシーケンス情報Ｄｓｅｑを、テクスチャ画像復号部４３０とデプス画像復号部４４０出力する。
利用結果情報復号部４２２は、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃから符号化利用結果情報を抽出し、抽出した符号化利用結果情報を復号して利用結果情報を生成する。
テクスチャ画像復号部４３０は、符号化テクスチャ画像Ｐｔｘ１＿ｅｎｃ、Ｐｔｘ２＿ｅｎｃを復号して、テクスチャ画像Ｐｔｘ１＿ｄｅｃ、Ｐｔｘ２＿ｄｅｃを生成する。この復号に際して、テクスチャ画像復号部４３０は、復号されたシーケンス情報Ｄｓｅｑを利用する。また、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報を利用して符号化されている場合には、符号化のときと同じデプス情報がデプス画像復号部４４０にて生成される。テクスチャ画像復号部４３０は、このようにデプス情報が生成された場合、この生成されたデプス情報も利用して符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを復号する。
デプス画像復号部４４０は、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃを復号し、デプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃを生成する。また、復号されたデプス画像Ｐｄｐ＿ｄｅｃを利用して、符号化の際に利用されたのと同じデプス情報Ｄｄｐを生成し、テクスチャ画像復号部４３０に出力する。
そのうえで、デプス画像復号部４４０は、デプス情報Ｄｄｐが符号化テクスチャ画像Ｐ
ｔｘ＿ｅｎｃの符号化に際して利用されていたことが利用結果情報により示されている場合、符号化デプス画像Ｐｄｐ＿ｅｎｃを復号する復号処理を実行する。また、デプス画像復号部４４０は、デプス情報Ｄｄｐが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃの符号化に際して利用されていないことが利用結果情報により示されている場合、上記の復号処理を省略する。つまり、このときのデプス画像復号部４４０は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号を行わない。
そのうえで、デプス画像復号部４４０は、デプス情報Ｄｄｐが符号化テクスチャ画像Ｐ
ｔｘ＿ｅｎｃの符号化に際して利用されていたことが利用結果情報により示されている場合、符号化デプス画像Ｐｄｐ＿ｅｎｃを復号する復号処理を実行する。また、デプス画像復号部４４０は、デプス情報Ｄｄｐが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃの符号化に際して利用されていないことが利用結果情報により示されている場合、上記の復号処理を省略する。つまり、このときのデプス画像復号部４４０は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号を行わない。
このために、デプス画像復号部４４０は、復号可否判定部４４１とデプス画像復号処理部４４２を備える。
復号可否判定部４４１は、シーケンス情報Ｄｓｅｑを入力し、このシーケンス情報Ｄｓｅｑに付加されている利用結果情報を抽出する。そして、復号可否判定部４４１は、抽出した利用結果情報の内容（値）を認識する。
ここで、「０」の値を有する利用結果情報は、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐが利用されていたことを示す。この場合、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを復号したテクスチャ画像Ｐｔｘを再生するにあたっては、そのテクスチャ画像Ｐｔｘに対応するデプス画像Ｐｄｐを必要とする。
そこで、復号可否判定部４４１は、利用結果情報の値が「０」であると認識した場合、符号化デプス画像Ｐｄｐ＿ｅｎｃについて復号処理を実行すべきであると判定する。
ここで、「０」の値を有する利用結果情報は、テクスチャ画像Ｐｔｘの符号化に際してデプス情報Ｄｄｐが利用されていたことを示す。この場合、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを復号したテクスチャ画像Ｐｔｘを再生するにあたっては、そのテクスチャ画像Ｐｔｘに対応するデプス画像Ｐｄｐを必要とする。
そこで、復号可否判定部４４１は、利用結果情報の値が「０」であると認識した場合、符号化デプス画像Ｐｄｐ＿ｅｎｃについて復号処理を実行すべきであると判定する。
一方、「１」の値を有する利用結果情報は、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃの符号化に際してデプス情報Ｄｄｐが利用されずに符号化されていたことを示す。この場合、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを復号したテクスチャ画像Ｐｔｘを再生するにあたっては、そのテクスチャ画像Ｐｔｘに対応するデプス画像Ｐｄｐは不要である。
そこで、復号可否判定部４４１は、利用結果情報の値が「１」であると認識した場合、符号化デプス画像Ｐｄｐ＿ｅｎｃについて復号処理を実行すべきでないと判定する。
そこで、復号可否判定部４４１は、利用結果情報の値が「１」であると認識した場合、符号化デプス画像Ｐｄｐ＿ｅｎｃについて復号処理を実行すべきでないと判定する。
また、復号可否判定部４４１は、デプス画像要求信号ＲＱｄを入力する。
デプス画像要求信号ＲＱｄがデプス画像の要求を示している場合、復号可否判定部４４１は、利用結果情報の値が「０」と「１」のいずれであるのかに係わらず、デプス画像を復号する。
一方、デプス画像要求信号ＲＱｄがデプス画像の要求を示していない場合、復号可否判定部４４１は、利用結果情報にしたがう。つまり、復号可否判定部４４１は、利用結果情報の値が「０」であると認識した場合にはデプス画像を復号し、利用結果情報の値が「１」であると認識した場合にはデプス画像の復号を省略する。
デプス画像要求信号ＲＱｄがデプス画像の要求を示している場合、復号可否判定部４４１は、利用結果情報の値が「０」と「１」のいずれであるのかに係わらず、デプス画像を復号する。
一方、デプス画像要求信号ＲＱｄがデプス画像の要求を示していない場合、復号可否判定部４４１は、利用結果情報にしたがう。つまり、復号可否判定部４４１は、利用結果情報の値が「０」であると認識した場合にはデプス画像を復号し、利用結果情報の値が「１」であると認識した場合にはデプス画像の復号を省略する。
なお、図５の構成の場合、復号可否判定部４４１はシーケンス情報Ｄｓｅｑから利用結果情報を抽出するようにしているが、例えばシーケンス情報復号部４２０の利用結果情報復号部４２２から、直接に復号された利用結果情報を入力するようにしてもよい。
デプス画像復号処理部４４２は、復号可否判定部４４１により復号処理を実行すべきであると判定された場合には、判定対象とされた符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を実行してデプス画像Ｐｄｐ＿ｄｅｃを生成する。
一方、デプス画像復号処理部４４２は、復号可否判定部４４１により復号処理を実行すべきでないと判定された場合には、判定対象とされた符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を実行しないようにする。
一方、デプス画像復号処理部４４２は、復号可否判定部４４１により復号処理を実行すべきでないと判定された場合には、判定対象とされた符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を実行しないようにする。
なお、符号化デプス画像Ｐｄｐ＿ｅｎｃが復号されない場合には、復号されたデプス画像Ｐｄｐ＿ｄｅｃに基づくデプス情報Ｄｄｐも生成されない。
また、復号されない符号化デプス画像Ｐｄｐ＿ｅｎｃは、以降の画像再生において利用されない。そこで、デプス画像復号処理部４４２は、復号処理を実行しなかった符号化デプス画像Ｐｄｐ＿ｅｎｃについては、例えば破棄するようにする。
また、復号されない符号化デプス画像Ｐｄｐ＿ｅｎｃは、以降の画像再生において利用されない。そこで、デプス画像復号処理部４４２は、復号処理を実行しなかった符号化デプス画像Ｐｄｐ＿ｅｎｃについては、例えば破棄するようにする。
このように、本実施形態の画像復号装置４００は、デプス情報Ｄｄｐを利用して符号化された符号化テクスチャ画像Ｐｔｘ＿ｅｎｃに対応する符号化デプス画像Ｐｄｐ＿ｅｎｃのみを復号する。そして、デプス情報Ｄｄｐを利用せずに符号化された符号化テクスチャ画像Ｐｔｘ＿ｅｎｃに対応する符号化デプス画像Ｐｄｐ＿ｅｎｃについては復号しない。これにより、本実施形態の画像復号装置４００では、無駄な復号処理が省略されることとなって処理負荷が大幅に軽減され、例えば復号処理効率が向上する。
図６は、画像復号装置４００が実行する処理手順例を示している。
分離部４１０は、入力されるビットストリームｅから例えばＮＡＬユニット単位のデータを分離する（ステップＳ２０１）。次に、分離部４１０は、分離したＮＡＬユニットのデータに含まれるユニット識別子の内容を認識した結果、この分離したＮＡＬユニットのデータが符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃであるか否かについて判定する（ステップＳ２０２）。
符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃである場合（ステップＳ２０２−ＹＥＳ）、シーケンス情報復号部４２０におけるシーケンス情報復号処理部４２１は、ＮＡＬユニットとしての符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを復号する（ステップＳ２０３）。また、シーケンス情報復号部４２０における利用結果情報復号部４２２は、この符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃに付加されていた符号化利用結果情報を抽出し、この抽出した符号化利用結果情報を復号する（ステップＳ２０４）。
分離部４１０は、入力されるビットストリームｅから例えばＮＡＬユニット単位のデータを分離する（ステップＳ２０１）。次に、分離部４１０は、分離したＮＡＬユニットのデータに含まれるユニット識別子の内容を認識した結果、この分離したＮＡＬユニットのデータが符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃであるか否かについて判定する（ステップＳ２０２）。
符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃである場合（ステップＳ２０２−ＹＥＳ）、シーケンス情報復号部４２０におけるシーケンス情報復号処理部４２１は、ＮＡＬユニットとしての符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃを復号する（ステップＳ２０３）。また、シーケンス情報復号部４２０における利用結果情報復号部４２２は、この符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃに付加されていた符号化利用結果情報を抽出し、この抽出した符号化利用結果情報を復号する（ステップＳ２０４）。
そして、シーケンス情報復号処理部４２１は、ステップＳ２０３により復号したシーケンス情報に対して、ステップＳ２０４により復号した利用結果情報を付加する。そして、シーケンス情報復号処理部４２１は、利用結果情報の付加されたシーケンス情報Ｄｓｅｑをテクスチャ画像復号部４３０とデプス画像復号部４４０に出力する（ステップＳ２０５）。
分離したＮＡＬユニットのデータが符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃでない場合、（ステップＳ２０２−ＮＯ）分離部４１０は、さらに、この分離したＮＡＬユニットのデータが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃであるか否かについて判定する（ステップＳ２０６）。
分離したＮＡＬユニットのデータが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃである場合（ステップＳ２０６−ＹＥＳ）、テクスチャ画像復号部４３０は、分離された符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを復号してテクスチャ画像Ｐｔｘ＿ｄｅｃを生成する（ステップＳ２０７）。
分離したＮＡＬユニットのデータが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃである場合（ステップＳ２０６−ＹＥＳ）、テクスチャ画像復号部４３０は、分離された符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを復号してテクスチャ画像Ｐｔｘ＿ｄｅｃを生成する（ステップＳ２０７）。
一方、分離したＮＡＬユニットのデータが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃでない場合（ステップＳ２０６−ＮＯ）、分離部４１０は、さらに、その分離したＮＡＬユニットのデータが符号化デプス画像Ｐｄｐ＿ｅｎｃであるか否かについて判定する（ステップＳ２０８）。
分離したＮＡＬユニットのデータが符号化デプス画像Ｐｄｐ＿ｅｎｃである場合（ステップＳ２０８−ＹＥＳ）、デプス画像復号部４４０における復号可否判定部４４１は、デプス画像要求信号ＲＱｄがデプス画像の要求を示しているか否かについて判定する(ステ
ップＳ２０９)。
デプス画像の要求を示している場合(ステップＳ２０９−ＹＥＳ)、復号可否判定部４４１は、利用結果情報の値に係わらず、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定し、後述のステップＳ２１１に進む。
一方、デプス画像の要求を示していない場合(ステップＳ２０９−ＮＯ)、復号可否判定部４４１は、さらにシーケンス情報Ｄｓｅｑに付加されている利用結果情報の値が「０」と「１」のいずれであるのかを判定する（ステップＳ２１０）。
分離したＮＡＬユニットのデータが符号化デプス画像Ｐｄｐ＿ｅｎｃである場合（ステップＳ２０８−ＹＥＳ）、デプス画像復号部４４０における復号可否判定部４４１は、デプス画像要求信号ＲＱｄがデプス画像の要求を示しているか否かについて判定する(ステ
ップＳ２０９)。
デプス画像の要求を示している場合(ステップＳ２０９−ＹＥＳ)、復号可否判定部４４１は、利用結果情報の値に係わらず、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定し、後述のステップＳ２１１に進む。
一方、デプス画像の要求を示していない場合(ステップＳ２０９−ＮＯ)、復号可否判定部４４１は、さらにシーケンス情報Ｄｓｅｑに付加されている利用結果情報の値が「０」と「１」のいずれであるのかを判定する（ステップＳ２１０）。
前述のように、「０」の値の利用結果情報は、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報Ｄｄｐを利用して符号化されたことを示している。したがって、利用結果情報の値が「０」であると判定した場合（ステップＳ２１０−「０」）、復号可否判定部４４１は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定したことになる。
このように符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定された場合、デプス画像復号処理部４４２は、符号化デプス画像Ｐｄｐ＿ｅｎｃを復号してデプス画像Ｐｄｐ＿ｄｅｃを生成する(ステップＳ２１１)。これとともに、デプス画像復号処理部４４２は、デプス画像Ｐｄｐ＿ｄｅｃに基づくデプス情報Ｄｄｐを生成する（ステップＳ２１１）。
このように符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定された場合、デプス画像復号処理部４４２は、符号化デプス画像Ｐｄｐ＿ｅｎｃを復号してデプス画像Ｐｄｐ＿ｄｅｃを生成する(ステップＳ２１１)。これとともに、デプス画像復号処理部４４２は、デプス画像Ｐｄｐ＿ｄｅｃに基づくデプス情報Ｄｄｐを生成する（ステップＳ２１１）。
一方、「１」の値の利用結果情報は、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報Ｄｄｐを利用せずに符号化されたことを示している。したがって、利用結果情報の値が「１」であると判定した場合（ステップＳ２１０−「１」）、復号可否判定部４４１は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきでないと判定したことになる。
この場合、デプス画像復号処理部４４２は、判定結果にしたがって、ステップＳ２１１の符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を省略する。つまり、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を実行しないようにする。
この場合、デプス画像復号処理部４４２は、判定結果にしたがって、ステップＳ２１１の符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を省略する。つまり、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を実行しないようにする。
なお、分離したＮＡＬユニットのデータが符号化デプス画像Ｐｄｐ＿ｅｎｃではない場合（ステップＳ２０８−ＮＯ）、そのＮＡＬユニットのデータは、符号化シーケンス情報Ｄｓｅｑ＿ｅｎｃと、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃと符号化デプス画像Ｐｄｐ＿ｅｎｃのいずれでもない。この場合、図５に示していない所定の機能部において、そのＮＡＬユニットのデータの種別に応じた所定の処理が実行される（ステップＳ２１２）。
ここまでの処理を経ると、分離部４１０は、例えばすべてのデータの復号が終了したか否かについて判定する（ステップＳ２１３）。これについては、例えばビットストリームｅにおける終端が検出されたか否かにより判定することができる。
すべてのデータの復号が終了していない場合（ステップＳ２１３−ＮＯ）、分離部４１０は、ステップＳ２０１に戻る。これに対して、すべてのデータの復号が終了した場合には（ステップＳ２１３−ＹＥＳ）、この図に示す復号のための処理が終了される。
すべてのデータの復号が終了していない場合（ステップＳ２１３−ＮＯ）、分離部４１０は、ステップＳ２０１に戻る。これに対して、すべてのデータの復号が終了した場合には（ステップＳ２１３−ＹＥＳ）、この図に示す復号のための処理が終了される。
なお、図２に示す画像符号化装置３００は、例えば独立した装置として具現化することができる。また、図５に示す画像復号装置４００も、独立した装置として具現化することができる。
また、図２に示す画像符号化装置３００を構成する機能部である、制御部３１０、テクスチャ画像符号化部３２０、デプス画像符号化部３３０、シーケンス情報符号化部３４０および多重化部３５０の一部またはすべてについて、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などの集積回路として具現化してよい。または、画像符号化装置３００を構成する機能部の一部またはすべてをＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などによるチップセットとして具現化してもよい。
同様に、図５に示す画像復号装置４００を構成する機能部である分離部４１０、シーケンス情報復号部４２０、テクスチャ画像復号部４３０、デプス画像復号部４４０の一部またはすべてについてＬＳＩなどの集積回路として具現化してよい。または、画像符号化装置３００を構成する機能部の一部またはすべてをＩＣなどによるチップセットとして具現
化してもよい。
この場合において、画像符号化装置３００または画像復号装置４００を構成する各機能部は、個別にプロセッサ化されてもよいし、その一部またはすべてが集積されてプロセッサ化されてもよい。
また、画像符号化装置３００または画像復号装置４００を集積回路化するにあたっては、例えば専用回路として具現化されてもよいし、汎用プロセッサにより具現化されてもよい。
化してもよい。
この場合において、画像符号化装置３００または画像復号装置４００を構成する各機能部は、個別にプロセッサ化されてもよいし、その一部またはすべてが集積されてプロセッサ化されてもよい。
また、画像符号化装置３００または画像復号装置４００を集積回路化するにあたっては、例えば専用回路として具現化されてもよいし、汎用プロセッサにより具現化されてもよい。
また、上記実施形態においては、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の符号化方式に準拠した例を挙げているが、これに限定されるものではない。つまり、本発明は、本実施形態のテクスチャ画像とデプス画像に相当する種類の画像を符号化、復号する各種の符号化方式に適用してよい。
また、図２の画像符号化装置３００や図５の画像復号装置４００における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより多視点画像の符号化と復号を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１００ 撮影装置
２００ 画像前置処理部
３００ 画像符号化装置
３１０ 制御部
３１１ 符号化管理部
３１２ デプス情報利用可否判定部
３２０ テクスチャ画像符号化部
３２１ テクスチャ画像符号化処理部
３２２ デプス情報入力部
３３０ デプス画像符号化部
３４０ シーケンス情報符号化部
３４１ シーケンス情報符号化処理部
３４２ 利用結果情報符号化部
３５０ 多重化部
４００ 画像復号装置
４１０ 分離部
４２０ シーケンス情報復号部
４２１ シーケンス情報復号処理部
４２２ 利用結果情報復号部
４３０ テクスチャ画像復号部
４４０ デプス画像復号部
４４１ 復号可否判定部
４４２ デプス画像復号処理部
５００ 伝送路
２００ 画像前置処理部
３００ 画像符号化装置
３１０ 制御部
３１１ 符号化管理部
３１２ デプス情報利用可否判定部
３２０ テクスチャ画像符号化部
３２１ テクスチャ画像符号化処理部
３２２ デプス情報入力部
３３０ デプス画像符号化部
３４０ シーケンス情報符号化部
３４１ シーケンス情報符号化処理部
３４２ 利用結果情報符号化部
３５０ 多重化部
４００ 画像復号装置
４１０ 分離部
４２０ シーケンス情報復号部
４２１ シーケンス情報復号処理部
４２２ 利用結果情報復号部
４３０ テクスチャ画像復号部
４４０ デプス画像復号部
４４１ 復号可否判定部
４４２ デプス画像復号処理部
５００ 伝送路
Claims (2)
- テクスチャ画像及びデプス画像を含むビットストリームを受信する受信部と、
前記テクスチャ画像を復号するテクスチャ画像復号部と、
前記デプス画像を復号するデプス画像復号部と、
利用結果情報フラグを復号する利用結果情報復号部と、を備え、
前記テクスチャ画像復号部は、前記利用結果情報フラグを用いて前記デプス画像を前記テクスチャ画像の復号に際して利用するか否かを判定し、前記デプス画像を利用する場合には、前記デプス画像を利用して前記テクスチャ画像を復号することを特徴とする画像復号装置。 - 前記受信部は、前記ビットストリームに含まれるＮＡＬユニットのユニット識別子に基づいて前記ＮＡＬユニットの内容が前記テクスチャ画像又は前記デプス画像であることを判定することを特徴とする請求項１に記載の画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016085082A JP2016131405A (ja) | 2016-04-21 | 2016-04-21 | 画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016085082A JP2016131405A (ja) | 2016-04-21 | 2016-04-21 | 画像復号装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012065537A Division JP2013198059A (ja) | 2012-03-22 | 2012-03-22 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017160997A Division JP2017204898A (ja) | 2017-08-24 | 2017-08-24 | 画像復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016131405A true JP2016131405A (ja) | 2016-07-21 |
Family
ID=56416036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016085082A Pending JP2016131405A (ja) | 2016-04-21 | 2016-04-21 | 画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016131405A (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010157825A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
| JP2011519226A (ja) * | 2008-04-25 | 2011-06-30 | トムソン ライセンシング | 奥行きを用いた視点間スキップモード |
-
2016
- 2016-04-21 JP JP2016085082A patent/JP2016131405A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011519226A (ja) * | 2008-04-25 | 2011-06-30 | トムソン ライセンシング | 奥行きを用いた視点間スキップモード |
| JP2010157825A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101619450B1 (ko) | 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치 | |
| US9363500B2 (en) | Image processing device, image processing method, and program | |
| CA2941085C (en) | Method for low-latency illumination compensation process and depth lookup table based coding | |
| US9350972B2 (en) | Encoding device and encoding method, and decoding device and decoding method | |
| US20130271565A1 (en) | View synthesis based on asymmetric texture and depth resolutions | |
| US9924197B2 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program | |
| KR20150034131A (ko) | 화상 처리 장치 및 방법 | |
| JP6039178B2 (ja) | 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム | |
| US8798356B2 (en) | Apparatus and method for encoding and decoding multi-view image | |
| US20150288985A1 (en) | Method and apparatus of constrained disparity vector derivation in 3d video coding | |
| WO2012060156A1 (ja) | 多視点画像符号化装置及び多視点画像復号装置 | |
| JP6571646B2 (ja) | マルチビュービデオのデコード方法及び装置 | |
| JP2015005899A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
| KR20160034259A (ko) | 비디오 신호 처리 방법 및 장치 | |
| WO2013146636A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
| WO2013031573A1 (ja) | 符号化装置および符号化方法、復号装置および復号方法 | |
| KR20140124919A (ko) | 객체 기반 적응적 밝기 보상 방법 및 장치 | |
| WO2013141075A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
| JP2017204898A (ja) | 画像復号装置 | |
| JP2016131405A (ja) | 画像復号装置 | |
| JP6232117B2 (ja) | 画像符号化方法、画像復号方法、及び記録媒体 | |
| TWI782382B (zh) | 編解碼器及編解碼方法、電腦程式產品、非暫態性存儲介質 | |
| TWI545935B (zh) | Encoding apparatus and an encoding method, a decoding apparatus and decoding method | |
| KR101672008B1 (ko) | 변이 벡터 예측 방법 및 장치 | |
| KR20130116826A (ko) | ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160421 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170606 |