JP2011205529A

JP2011205529A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2011205529A
Application number: JP2010072503A
Authority: JP
Inventors: Takahiro Fukuhara; 隆浩福原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-26
Filing date: 2010-03-26
Publication date: 2011-10-13
Anticipated expiration: 2030-03-26
Also published as: EP2555527A4; KR20130018241A; US8879840B2; JP5660361B2; EP2555527A1; RU2012140180A; WO2011118435A1; TW201206153A; CN102812716A; BR112012023710A2; TWI448145B; US20120328192A1

Abstract

【課題】符号化効率をより向上させることができるようにする。
【解決手段】ステップＳ１０４において、ビットシフトチェンジ部１１２は、検出された画像データのビット深度を用いて、ステップＳ１０３において取得された奥行きデータＤをシフトチェンジし、奥行きデータＤのビット深度を、画像データのビット深度に合わせる。ステップＳ１０５において、エンコード部１１３は、画像データと奥行きデータＤを符号化する。ステップＳ１０６において、レート制御部１１４は、ステップＳ１０５において行われた画像データと奥行きデータの符号化結果に基づいて、ステップＳ１０５において行われる、各符号化のレートを制御する。この曲面が予測画像とされる。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図６

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、符号化効率をより向上させることができるようにした画像処理装置および方法、並びにプログラムに関する。

近年、立体視可能な、所謂３Ｄ（Dimension（３次元））対応の画像（以下、３Ｄ画像と称する）が普及しつつある。例えば、立体視可能な３Ｄ画像を用いた映画が積極的に制作されるようになってきている。３Ｄ画像は、従来の平面視のみ可能な、所謂２Ｄ（２次元）画像と比較して大きな差別化が可能である。したがって、映画制作においてこのような３Ｄ画像を適用することは、とても有用な手段である。

また、３Ｄ画像を用いた映像コンテンツ（例えば映画等）は、２Ｄ画像の映像コンテンツの場合と同様に、MPEG-4 AVCの拡張フォーマットであるMVC（Multi-view Video Coding）規格によって高能率に圧縮されて、例えばBlu-Ray Disc等に記録したり、ネットワークを介して配信したりすることができる。そして家庭用機器も３Ｄ画像再生に対応するものが開発されだしている。つまり、家庭においても、３Ｄ画像を楽しむことができる環境が整いつつある。

現在最も普及している立体視は、人間の目の両眼視差を利用したステレオ画像である。この方式の場合、ユーザは、左眼と右眼用の映像コンテンツを別々に見ながら視差を感じることで、画像内の物体を立体的に認知することができる仕組みとなっている。

しかしながら、この両眼視差による立体視では、一般的に予め視差量が設定されており、任意の方向からの立体視を実現することが困難である。このような任意の方向からの立体視を実現するためには、画像データから、その画像内の各物体の奥行き方向のデータ情報（Depth_Map）を抽出する必要がある。

画像データから画像処理や分析技術を用いて、大まかな奥行き情報を自動的に抽出する研究は盛んに行われている（例えば非特許文献１および非特許文献２）。これらの技術や、比較的容易とされる複数のカメラから画像内の被写体の奥行き情報を抽出する技術によって、２眼のみならず複数の自由視点からの立体画像が生成できるようになってきた。

"Fast Approximate Energy Minimization via Graph Cuts"IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.23, No.11, November 2001, "Stereo Matching Using Belief Propagation"IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.25, No.7, July 2003

しかしながら、２眼のステレオ画像ならば元々のデータ量には限界があるが、３以上の複数眼の画像データ及びそれらの奥行きデータをトータルすると、膨大なデータ量になってしまう恐れがあった。データ量が増大すると、伝送、記録、または再生等の処理の負荷や処理時間も増大してしまう恐れがあった。

本発明はこのような問題を解決するためのものであり、立体視可能な画像データと奥行きデータをより効率よく符号化することを目的とするものである。

本発明の一側面は、画像データと、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとを所定の符号化方式で符号化する符号化手段と、前記符号化手段による前記画像データの符号化結果、および、前記符号化手段による前記奥行きデータの符号化結果の両方を用いて、前記符号化手段による前記画像データの符号化における発生符号量のレート制御、および、前記符号化手段による前記奥行きデータの符号化における発生符号量のレート制御の両方を行うレート制御手段とを備える画像処理装置である。

前記画像データのビット深度を検出する検出手段と、前記奥行きデータを、前記検出手段により検出された前記画像データのビット深度と前記奥行きデータのビット深度との差分だけシフトチェンジするシフトチェンジ手段とをさらに備えることができる。

前記シフトチェンジ手段は、前記奥行きデータを前記差分だけシフトアップし、シフトアップされた前記奥行きデータより下位のビットに対して、値「０」の係数を挿入するゼロ埋めを行うことができる。

前記シフトチェンジ手段は、前記奥行きデータの最下位ビットから前記差分の分のデータを削除し、前記奥行きデータの削除されなかった上位ビットを、前記差分だけシフトダウンすることができる。

前記シフトチェンジ手段によるシフトチェンジのシフト量を示すシフトチェンジ情報を、前記画像データの符号化データに多重化する多重化手段をさらに備える
ことができる。

前記符号化手段は、所定のサイズのマクロブロック毎に、前記画像データおよび前記奥行きデータを直交変換する直交変換手段と、前記直交変換手段により前記画像データおよび前記奥行きデータが直交変換されて得られた係数データをエントロピ符号化するエントロピ符号化手段とを備えることができる。

前記符号化手段は、前記画像データおよび前記奥行きデータをウェーブレット変換するウェーブレット変換手段と、前記ウェーブレット変換手段により前記画像データおよび前記奥行きデータがウェーブレット変換されて得られた係数データを所定のサイズのコードブロック毎に分割する分割手段と、前記分割手段により分割されて得られた前記コードブロック毎の前記係数データをビットプレーン展開する展開手段と、前記展開手段により展開された前記画像データおよび前記奥行きデータの係数データの前記ビットプレーンを、重要度順に並べ替えてエントロピ符号化するエントロピ符号化手段とを備えることができる。

前記符号化手段は、前記奥行きデータを、前記画像データの係数データのビット深度と、前記ウェーブレット変換手段により前記奥行きデータがウェーブレット変換されて得られた係数データのビット深度との差分だけシフトチェンジするシフトチェンジ手段とをさらに備えることができる。

前記シフトチェンジ手段によるシフトチェンジのシフト量を示すシフトチェンジ情報を、前記画像データの符号化データに多重化する多重化手段をさらに備えることができる。

前記画像データは、輝度Ｙ、色差Ｃｂ、および色差Ｃｒのコンポーネント画像データであり、前記奥行きデータは、グレースケールのビットマップデータであることができる。

本発明の一側面は、また、画像処理装置の情報処理方法であって、前記画像処理装置の符号化手段が、画像データと、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとを所定の符号化方式で符号化し、前記画像処理装置のレート制御手段が、前記画像データおよび前記奥行きデータの符号化結果の両方を用いて、前記画像データおよび前記奥行きデータの両方の符号化における発生符号量のレート制御を行う画像処理方法である。

本発明の一側面は、さらに、コンピュータを、画像データと、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとを所定の符号化方式で符号化する符号化手段と、前記符号化手段による前記画像データの符号化結果、および、前記符号化手段による前記奥行きデータの符号化結果の両方を用いて、前記符号化手段による前記画像データの符号化における発生符号量のレート制御、および、前記符号化手段による前記奥行きデータの符号化における発生符号量のレート制御の両方を行うレート制御手段として機能させるプログラムである。

本発明の他の側面は、画像データが符号化された符号化データ、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、前記シフト量を示すシフトチェンジ情報が多重化された多重化データから、前記シフトチェンジ情報を分離する分離手段と、前記符号化データを所定の復号方式で復号する復号手段と、前記復号手段により復号されて得られたシフトチェンジ後の奥行きデータを、前記シフトチェンジの方向とは逆方向に、前記分離手段により分離された前記シフトチェンジ情報に示される前記シフト量分シフトチェンジするシフトチェンジ手段とを備える画像処理装置である。

前記シフトチェンジ手段は、前記奥行きデータの最下位ビットから前記シフト量分のデータを削除し、前記奥行きデータの削除されなかった上位ビットを、前記シフト量分シフトダウンすることができる。

前記シフトチェンジ手段は、前記奥行きデータを前記シフト量分シフトアップし、シフトアップされた前記奥行きデータより下位のビットに対して、値「０」の係数を挿入するゼロ埋めを行うことができる。

前記復号手段は、画像データが符号化された符号化データ、および、シフトチェンジ後の前記奥行きデータが符号化された符号化データをエントロピ復号するエントロピ復号手段と、前記エントロピ復号手段によりエントロピ復号されて得られた、前記画像データが直交変換された係数データ、および、前記奥行きデータが直交変換された係数データを、逆直交変換する逆直交変換手段とを備えることができる。

前記復号手段は、画像データが符号化された符号化データ、および、シフトチェンジ後の前記奥行きデータが符号化された符号化データをエントロピ復号するエントロピ復号手段と、前記エントロピ復号手段によりエントロピ復号されて得られた、ビットプレーン展開された係数データの前記ビットプレーンを合成するビットプレーン合成手段と、前記ビットプレーン合成手段により合成されて得られた、所定のサイズのコードブロック毎の前記係数データを合成するコードブロック合成手段と、前記コードブロック合成手段により合成されて得られた、サブバンド毎の係数データをウェーブレット逆変換し、前記画像データおよび前記奥行きデータを得るウェーブレット逆変換手段とを備えることができる。

本発明の他の側面は、また、画像処理装置の情報処理方法であって、前記画像処理装置の分離手段が、画像データが符号化された符号化データ、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、前記シフト量を示すシフトチェンジ情報が多重化された多重化データから、前記シフトチェンジ情報を分離し、前記画像処理装置の復号手段が、前記符号化データを所定の復号方式で復号し、前記画像処理装置のシフトチェンジ手段が、復号されて得られたシフトチェンジ後の奥行きデータを、前記シフトチェンジの方向とは逆方向に、前記符号化データから分離された前記シフトチェンジ情報に示される前記シフト量分シフトチェンジする画像処理方法である。

本発明の他の側面は、さらに、コンピュータを、画像データが符号化された符号化データ、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、前記シフト量を示すシフトチェンジ情報が多重化された多重化データから、前記シフトチェンジ情報を分離する分離手段と、前記符号化データを所定の復号方式で復号する復号手段と、前記復号手段により復号されて得られたシフトチェンジ後の奥行きデータを、前記シフトチェンジの方向とは逆方向に、前記分離手段により分離された前記シフトチェンジ情報に示される前記シフト量分シフトチェンジするシフトチェンジ手段として機能させるプログラムである。

本発明の一側面においては、画像データと、画像データの画像から視差を含み、立体視可能な画像を生成するための、画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとが所定の符号化方式で符号化され、画像データおよび奥行きデータの符号化結果の両方を用いて、画像データおよび奥行きデータの両方の符号化における発生符号量のレート制御が行われる。

本発明の他の側面においては、画像データが符号化された符号化データ、画像データの画像から視差を含み、立体視可能な画像を生成するための、画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、シフト量を示すシフトチェンジ情報が多重化された多重化データから、シフトチェンジ情報が分離され、符号化データが所定の復号方式で復号され、復号されて得られたシフトチェンジ後の奥行きデータが、シフトチェンジの方向とは逆方向に、符号化データから分離されたシフトチェンジ情報に示されるシフト量分シフトチェンジされる。

本発明によれば、データ伝送を行うことができる。特に、不要な遅延の増大を抑制しながら、後続データへのエラー伝搬を抑制するように、データを伝送させることができる。

本発明を適用した画像符号化装置の主な構成例を示すブロック図である。３Ｄ画像の構成例を示すブロック図である。シフトアップの例を説明する図である。本発明を適用した画像復号装置の主な構成例を示すブロック図である。シフトダウンの例を説明する図である。画像符号化処理の流れの例を説明するフローチャートである。画像復号処理の流れの例を説明するフローチャートである図１のエンコード部の主な構成例を説明するブロック図である。マクロブロックの例を示す図である。図４のデコード部の主な構成例を説明するブロック図である。符号化処理の流れの例を説明するフローチャートである。復号処理の流れの例を説明するフローチャートである。図１のエンコード部の他の構成例を説明するブロック図である。サブバンドの構成例を示す図である。サブバンドの構成例を示す図である。各サブバンド中のコードブロックの例を示す図である。ビットプレーンの例を説明する図である。符号化パスの例を説明する図である。係数の走査の例を説明する図である。パケットの構成例を説明する図である。ビットプレーン展開の様子の例を説明する図である。図４のデコード部の他の構成例を説明するブロック図である。符号化処理の流れの他の例を説明するフローチャートである。エントロピ符号化処理の流れの例を説明するフローチャートである。復号処理の流れの例を説明するフローチャートである。サブバンドの選択順を示す図である。サブバンドの重みづけの例を説明する図である。本発明を適用した画像符号化装置の他の構成例を示すブロック図である。図２８のエンコード部の主な構成例を説明するブロック図である。シフトアップの例を説明する図である。本発明を適用した画像復号装置の他の構成例を示すブロック図である。図３２のデコード部の主な構成例を説明するブロック図である。シフトダウンの例を説明する図である。符号化処理の流れの他の例を説明するフローチャートである。復号処理の流れの例を説明するフローチャートである。本発明を適用した画像符号化装置の、さらに他の構成例を示すブロック図である。本発明を適用した画像復号装置の、さらに他の構成例を示すブロック図である。本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置、画像復号装置）
２．第２の実施の形態（画像符号化装置、画像復号装置）
３．第３の実施の形態（画像符号化装置、画像復号装置）
４．第４の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［画像符号化装置の構成］
図１は、本発明を適用した画像符号化装置の主な構成例を示すブロック図である。

図１に示される画像符号化装置１００は、平面画像の画像データと、その平面画像の全画素の、平面画像の奥行き方向（平面画像に向かって前後方向）の位置を示す奥行きデータとを所定の符号化方式で符号化する装置である。

この平面画像は、奥行きデータを用いることにより、視差を含む、所謂３Ｄ（Dimension（３次元））対応の画像（以下、３Ｄ画像と称する）に変換可能である。奥行きデータには、平面画像内の全ての部分の奥行き方向の位置が示されているので、平面画像から３Ｄ画像を生成する３Ｄ画像生成装置は、平面画像を見ることができる範囲であれば、任意の方向から見たときの３Ｄ画像を容易に生成することができる。

図１に示されるように、画像符号化装置１００は、ビット深度検出部１１１、ビットシフトチェンジ部１１２、エンコード部１１３−１乃至エンコード部１１３−４、レート制御部１１４、並びに多重化部１１５を有する。

画像符号化装置１００には、画像データが、輝度データＹ（矢印１２１−１）、色差データＣｂ（矢印１２１−２）、および色差データＣｒ（矢印１２１−３）の３本よりなるコンポーネント画像データとして供給される。

ビット深度検出部１１１は、輝度データＹ、色差データＣｂ、および色差データＣｒのそれぞれのビット深度を検出する。このビット深度の検出は、任意のデータ単位毎に行うことができる。ビット深度検出部１１１は、検出済みの輝度データＹ、色差データＣｂ、および色差データＣｒをエンコード部１１３−１乃至エンコード部１１３−３に供給する。また、ビット深度検出部１１１は、検出結果をビットシフトチェンジ部１１２に供給する（矢印１２３）。

画像符号化装置１００には、さらに、奥行きデータＤが供給される（矢印１２４）。ビットシフトチェンジ部１１２は、奥行きデータＤのビット深度をコンポーネント画像データのビット深度に合わせるように、奥行きデータＤのビットをシフトチェンジする。

例えば、ビット深度検出部１１１により検出されたコンポーネント画像データのビット深度がＭビットであり、奥行きデータＤのビット深度がＮビット（Ｍ＞Ｎ）である場合、ビットシフトチェンジ部１１２は、奥行きデータＤを（Ｍ−Ｎ）ビットだけシフトアップする。このとき、ビットシフトチェンジ部１１２は、例えば、奥行きデータＤの下位（Ｍ−Ｎ）ビットに値「０」のビットを挿入する。

なお、以下において、ビットシフトチェンジには、ビットを増やす方向のシフトアップと、ビットを削減する方向のシフトダウンとだけでなく、０ビットのシフトチェンジ、すなわち、シフトしない場合も含まれるものとする。シフトチェンジを行うと、ビットシフトチェンジ部１１２は、シフトチェンジさせた奥行きデータＤ’をエンコード部１１３−４に供給する（矢印１２５）。

エンコード部１１３−１は、輝度データＹを所定の方式で符号化し、生成された符号化データをレート制御部１１４に供給する（矢印１２６−１）。同様に、エンコード部１１３−２は、色差データＣｂを所定の方式で符号化し、生成された符号化データをレート制御部１１４に供給する（矢印１２６−２）。同様に、エンコード部１１３−３は、色差データＣｒを所定の方式で符号化し、生成された符号化データをレート制御部１１４に供給する（矢印１２６−３）。また、エンコード部１１３−４は、奥行きデータＤ’を所定の方式で符号化し、生成された符号化データをレート制御部１１４に供給する（矢印１２６−４）。

なお、以上のエンコード部１１３−１乃至エンコード部１１３−４による符号化処理の方法は任意である。

レート制御部１１４は、輝度データＹの符号化データ、色差データＣｂの符号化データ、色差データＣｒの符号化データ、および奥行きデータＤ’の符号化データの各データ量に基づいて各符号化処理のレート制御を行う。

レート制御部１１４は、輝度データＹの符号化データのレートを制御するレート制御情報を、エンコード部１１３−１に供給する（矢印１２８−１）。同様に、レート制御部１１４は、色差データＣｂの符号化データのレートを制御するレート制御情報を、エンコード部１１３−２に供給する（矢印１２８−２）。同様に、レート制御部１１４は、色差データＣｒの符号化データのレートを制御するレート制御情報を、エンコード部１１３−３に供給する（矢印１２８−３）。さらに、レート制御部１１４は、奥行きデータＤ’の符号化データのレートを制御するレート制御情報を、エンコード部１１３−４に供給する（矢印１２８−４）。

エンコード部１１３−１乃至エンコード部１１３−４は、それぞれ、レート制御部１１４から供給されるレート制御情報を参照し、符号化処理のレート制御を行う。

また、レート制御部１１４は、レート制御に利用した後の輝度データＹの符号化データを多重化部１１５に供給する（矢印１２７−１）。同様に、レート制御部１１４は、レート制御に利用した後の色差データＣｂの符号化データを多重化部１１５に供給する（矢印１２７−２）。また、レート制御部１１４は、レート制御に利用した後の色差データＣｒの符号化データを多重化部１１５に供給する（矢印１２７−３）。さらに、レート制御部１１４は、レート制御に利用した後の奥行きデータＤ’の符号化データを多重化部１１５に供給する（矢印１２７−４）。

また、ビットシフトチェンジ部１１２は、その奥行きデータのシフト量を示すビットシフトチェンジ情報を多重化部１１５に供給する（矢印１２９）

多重化部１１５は、レート制御部１１４から供給される各符号化データと、ビットシフトチェンジ部１１２から供給されるビットシフトチェンジ情報を多重化し、１本のコードストリーム（多重化データ）として画像符号化装置１００の外部に出力する（矢印１３０）。なお、この多重化方法は、後述する画像復号装置において各データを正しく分離可能な方法であれば、どのような方法であってもよい。

この画像符号化装置１００から出力された多重化データは、例えば、記録媒体に記録されたり、ネットワークを介して伝送されたりする。

なお、以上においては、輝度データＹの符号化をエンコード部１１３−１で行い、色差データＣｂの符号化をエンコード部１１３−２で行い、色差データＣｒの符号化をエンコード部１１３−３で行い、奥行きデータＤ’の符号化をエンコード部１１３−４で行うように説明したが、これに限らず、エンコード部１１３−１乃至エンコード部１１３−４を１つのエンコード部１１３としてもよい。つまり、輝度データＹ、色差データＣｂ、色差データＣｒ、および奥行きデータＤ’を１つのエンコード部１１３において符号化するようにしてもよい。この場合、エンコード部１１３は、各データに対する符号化を時分割で行うようにしてもよいし、各データをまとめて符号化するようにしてもよい。

［３Ｄ画像の構成］
図２は、３Ｄ画像の構成例を示すブロック図である。

図２Ａに示される画像データ１４１は、例えばＹＣｂＣｒからなるコンポーネント画像データであり、上述したように３系統として画像符号化装置１００に供給される。

図２Ｂに示される奥行きデータ１４２は、画像データ１４１の奥行きデータである。図２Ｂに示されるように、奥行きデータ１４２は、画像データ１４１の全領域の奥行き方向の位置を、例えば画素毎やブロック毎のように所定の範囲毎に、所定のビット数で示す情報である。したがって、奥行きデータ１４２は、一般的にグレースケールのビットマップデータとして表すことができる。このビットマップデータの階調数が、奥行きデータ１４２のビット深度となる。

画像符号化装置１００に入力される画像データ１４１には、必ず、奥行きデータ１４２が付与されているものとする。

［シフトアップの例］
図３は、ビットシフトチェンジ部１１２が行う処理の例として、シフトアップの例を説明する図である。

図３に示されるように、輝度データＹ、色差データＣｂ、および色差データＣｒのビット深度がＭビットで、奥行きデータＤのビット深度がＮビットであるとする。また、Ｍ＞Ｎとする。ビットシフトチェンジ部１１２は、奥行きデータＤをシフトチェンジすることにより、各データの最上位ビット位置（ビット深度）を揃える。つまり、ビットシフトチェンジ部１１２は、奥行きデータＤ全体を（Ｍ−Ｎ）ビットだけシフトアップする（奥行きデータＤ’）。このとき、ビットシフトチェンジ部１１２は、全て値「０」の（Ｍ−Ｎ）ビットのビット列を、奥行きデータＤ’の、奥行きデータＤの部分より下位ビットに挿入する（ゼロ埋めする）。つまり、奥行きデータＤ’は、下位（Ｍ−Ｎ）ビットが全て値「０」のビットにより構成され、上位Ｎビットが奥行きデータＤにより構成される、ビット深度がＭビットのデータとなる。

なお、Ｍ＝Ｎの場合、ビットシフトチェンジ部１１２は、奥行きデータＤをシフトチェンジせずに出力する。つまり、この場合、奥行きデータＤ’＝奥行きデータＤとなる。

また、Ｍ＜Ｎの場合、ビットシフトチェンジ部１１２は、奥行きデータＤをシフトダウンする。つまり、この場合、奥行きデータＤのビット深度は浅くなる。ビットシフトチェンジ部１１２は、例えば、奥行きデータＤの下位（Ｎ−Ｍ）ビットを削除し、残りの上位Ｍビットをシフトダウンする。

もちろん、ビットシフトチェンジ部１１２が画像データをシフトアップするようにしてもよい。ただし、一般的に、奥行きデータの変化は、画像データの変化よりも視覚的影響が小さい。また、奥行きデータは精度が低い場合も多い。さらに、画像データをシフトアップすると、後段における画像処理等が不可能になる場合や、処理可能でも負荷が増大してしまう場合が考えられる。そのため、ビットシフトチェンジ部１１２は、Ｍ＜Ｎの場合、画像データよりも重要度が低い奥行きデータＤをシフトダウンする。

なお、実際には、上述した理由から、奥行きデータＤのビット深度も解像度も、画像データよりも低い場合が一般的である。

［画像復号装置の構成］
図４は、本発明を適用した画像復号装置の主な構成例を示すブロック図である。

図４に示される画像復号装置１５０は、図１に示される画像符号化装置１００により符号化された符号化データを、画像符号化装置１００において採用される符号化方式に対応する所定の復号方式で復号する装置である。

画像復号装置１５０は、図１に示される画像符号化装置１００から出力された多重化データ（コードストリーム）を取得する（矢印１６１）。この多重化データの伝送経路は任意であり、例えば記録媒体、ネットワーク、または他の装置等を介して画像符号化装置１００から画像復号装置１５０に伝送されるようにしてもよい。また、例えば、画像符号化装置１００と画像復号装置１５０を一体化し、互いに内部バスで接続し、その内部バスを介して多重化データが画像符号化装置１００から画像復号装置１５０に伝送されるようにしてもよい。また、無線通信を介して多重化データが画像符号化装置１００から画像復号装置１５０に伝送されるようにしてもよい。

図４に示されるように、画像復号装置１５０は、分離部１５１、デコード部１５２−１乃至デコード部１５２−４、並びに、ビットシフトチェンジ部１５３を有する。

分離部１５１は、取得した多重化データを、輝度データＹの符号化データ、色差データＣｂの符号化データ、色差データＣｒの符号化データ、奥行きデータＤ’の符号化データ、および、ビットシフトチェンジ情報に分離する。

分離部１５１は、輝度データＹの符号化データをデコード部１５２−１に供給し（矢印１６２−１）、色差データＣｂの符号化データをデコード部１５２−２に供給し（矢印１６２−２）、色差データＣｒの符号化データをデコード部１５２−３に供給し（矢印１６２−３）、奥行きデータＤ’の符号化データをデコード部１５２−４に供給する（矢印１６２−４）。

デコード部１５２−１は、輝度データＹの符号化データを復号し、得られた輝度データＹを画像復号装置１５０の外部に出力する（矢印１６３−１）。デコード部１５２−２は、色差データＣｂの符号化データを復号し、得られた色差データＣｂを画像復号装置１５０の外部に出力する（矢印１６３−２）。デコード部１５２−３は、色差データＣｒの符号化データを復号し、得られた色差データＣｒを画像復号装置１５０の外部に出力する（矢印１６３−３）。デコード部１５２−４は、奥行きデータＤ’の符号化データを復号し、得られた奥行きデータＤ’をビットシフトチェンジ部１５３に供給する（矢印１６３−４）。

また、分離部１５１は、ビットシフトチェンジ情報をビットシフトチェンジ部１５３に供給する（矢印１６４）。

ビットシフトチェンジ部１５３は、デコード部１５２−４から供給された奥行きデータＤ’を、ビットシフトチェンジ情報に示されるビット数分、画像符号化装置１００において行われたシフトと逆方向にシフトさせる。つまり、ビットシフトチェンジ部１５３は、奥行きデータＤ’に対して、ビットシフトチェンジ情報に示されるシフト量分、ビットシフトチェンジを行い、奥行きデータＤを生成する。

例えば、画像符号化装置１００において、奥行きデータＤが（Ｍ−Ｎ）ビット分、シフトアップされた場合、ビットシフトチェンジ部１５３は、奥行きデータＤ’を（Ｍ−Ｎ）ビット分、シフトダウンさせ、奥行きデータＤを生成する。

ビットシフトチェンジ部１５３は、生成した奥行きデータＤを画像復号装置１５０の外部に出力する（矢印１６５）。

この画像復号装置１５０から出力された画像データおよび奥行きデータは、例えば他の装置に供給され、処理される。例えば、画像処理装置等において３Ｄ画像に変換されたり、画像編集装置等において編集されたりする。

なお、以上においては、輝度データＹの符号化データをデコード部１５２−１で復号し、色差データＣｂの符号化データをデコード部１５２−２で復号し、色差データＣｒの符号化データをデコード部１５２−３で復号し、奥行きデータＤ'の符号化データをデコード部１５２−４で復号するように説明したが、これに限らず、デコード部１５２−１乃至デコード部１５２−４を１つのデコード部１５２としてもよい。つまり、輝度データＹの符号化データ、色差データＣｂの符号化データ、色差データＣｒの符号化データ、および奥行きデータＤ'の符号化データを１つのデコード部１５２において復号するようにしてもよい。この場合、デコード部１５２は、各符号化データに対する復号を時分割で行うようにしてもよいし、各符号化データをまとめて復号するようにしてもよい。

［シフトダウンの例］
図５は、ビットシフトチェンジ部１５３が行う処理の例として、シフトダウンの例を説明する図である。

図５に示されるように、輝度データＹ、色差データＣｂ、および色差データＣｒのビット深度がＭビットで、奥行きデータＤのビット深度がＮビットであるとする。また、Ｍ＞Ｎとする。さらに、画像符号化装置１００（ビットシフトチェンジ部１１２）において、奥行きデータＤがＭビットにシフトアップされているとする（奥行きデータＤ’）。

ビットシフトチェンジ部１５３は、ビットシフトチェンジ情報に基づいて、奥行きデータＤ’を、シフトチェンジすることにより、元のビット深度（Ｎビット）の奥行きデータＤに戻す。ビットシフトチェンジ情報には、ビットシフトチェンジ部１１２において行われたシフトチェンジのシフト量（（Ｍ−Ｎ）ビット）が示されている。

ビットシフトチェンジ部１５３は、その情報に基づいて、奥行きデータＤ’全体の下位（Ｍ−Ｎ）ビットを削除し、奥行きデータＤ’の上位Ｎビットを（Ｍ−Ｎ）ビット分、シフトダウンする。このようにすることにより、ビット深度Ｎビットの奥行きデータＤが復元される。

なお、Ｍ＝Ｎの場合、ビットシフトチェンジ部１１２はシフトチェンジを行わない。つまり、ビットシフトチェンジ情報に示されるシフト量は０ビットであるので、ビットシフトチェンジ部１５３は、奥行きデータＤ’をシフトチェンジせずに出力する。つまり、この場合、奥行きデータＤ＝奥行きデータＤ’となる。

また、Ｍ＜Ｎの場合、ビットシフトチェンジ部１１２は、奥行きデータＤを（Ｎ−Ｍ）ビット分シフトダウンする。したがって、ビットシフトチェンジ情報に示されるシフト量は（Ｎ−Ｍ）ビットである。この場合シフトダウンなので、ビットシフトチェンジ情報には、その旨が分るような記述がなされている。このようなシフトチェンジの方向を示す方法は任意である。例えば、「−（Ｎ−Ｍ）ビット」のように符号を用いてシフトダウンを表すようにしてもよいし、「シフトダウン」と「（Ｎ−Ｍ）ビット」のように、シフトダウンが行われたことを示す情報を、シフト量とは別に示すようにしてもよい。

ビットシフトチェンジ部１５３は、例えば、奥行きデータＤ’を（Ｎ−Ｍ）ビットだけシフトアップする。このとき、ビットシフトチェンジ部１５３は、シフトアップされた奥行きデータＤ'より下位ビットをゼロ埋めする。つまり、この場合、復元された奥行きデータＤは、ビットシフトチェンジ部１１２においてシフトチェンジされる前の奥行きデータＤとは、厳密には値が異なる。ただし、上述したように奥行きデータＤの重要度は低く、実際の視覚的な影響は少ないので、ビットシフトチェンジ部１５３は、このように復元された奥行きデータＤを、シフトチェンジ結果として出力する。

なお、以上においては、画像データがＹＣｂＣｒのコンポーネント画像データであるように説明したが、これに限らず、画像データは、どのようなデータであってもよく、例えばＲＧＢのコンポーネント画像データであってもよいし、コンポーネント画像データ以外のデータであってもよい。また、奥行きデータＤの形式も任意であり、ビットマップデータでなくてもよい。以下においても同様である。

［画像符号化処理の流れ］
次に以上のような各装置により実行される処理の流れについて説明する。まず、画像符号化装置１００により実行される画像符号化処理の流れの例を、図６のフローチャートを参照して説明する。

画像符号化処理が開始されると、画像符号化装置１００は、ステップＳ１０１において、画像データ（輝度データＹ、色差データＣｂ、および色差データＣｒ）を取得する。ビット深度検出部１１１は、ステップＳ１０２において、ステップＳ１０１において取得された画像データ（輝度データＹ、色差データＣｂ、および色差データＣｒ）のビット深度を検出する。

ステップＳ１０３において、画像符号化装置１００は、取得した画像データに対応する奥行きデータＤを取得する。ステップＳ１０４において、ビットシフトチェンジ部１１２は、ステップＳ１０２において検出された画像データのビット深度を用いて、ステップＳ１０３において取得された奥行きデータＤをシフトチェンジし、奥行きデータＤのビット深度を、画像データのビット深度に合わせる。

ステップＳ１０５において、エンコード部１１３（若しくは、エンコード部１１３−１乃至エンコード部１１３−４）は、画像データと奥行きデータＤを符号化する。

ステップＳ１０６において、レート制御部１１４は、ステップＳ１０５において行われた画像データと奥行きデータの符号化結果に基づいて、ステップＳ１０５において行われる、各符号化のレートを制御する。

例えば、あるコンポーネント画像のデータ発生量が目標値よりも多い場合には、発生量を抑制するように制御データを出力し、他方画像のデータ発生量が目標値よりも少ない場合には、発生量を促進するように制御データを出力する。これによってコンポーネント画像及び奥行きデータの全体の符号量が安定して維持することができる。

ステップＳ１０７において、多重化部１１５は、ステップＳ１０５の処理により得られた各符号化データと、ステップＳ１０４におけるシフトチェンジのシフト量を示すビットシフトチェンジ情報とを多重化し、多重化データ（コードストリーム）を生成する。

ステップＳ１０８において、多重化部１１５は、ステップＳ１０７において生成された多重化データを画像符号化装置１００の外部に出力する。

ステップＳ１０９において、画像符号化装置１００は、画像符号化処理を終了するか否かを判定し、終了しないと判定された場合、ステップＳ１０１に処理を戻し、それ以降の処理を繰り返す。

また、ステップＳ１０９において、例えば、符号化対象の画像データの供給が停止するなどして、画像符号化処理を終了すると判定された場合、画像符号化装置１００は、画像符号化処理を終了する。

［画像復号処理の流れ］
次に、画像復号装置１５０により実行される画像復号処理の流れの例を、図７のフローチャートを参照して説明する。

画像復号処理が開始されると、画像復号装置１５０は、ステップＳ１２１において、多重化データ（コードストリーム）を取得する。ステップＳ１２２において、分離部１５１は、ステップＳ１２１において取得された多重化データを、多重化部１１５による多重化に対応する方法で、輝度データＹの符号化データ、色差データＣｂの符号化データ、色差データＣｒの符号化データ、奥行きデータＤの符号化データ、および、ビットシフトチェンジ情報に分離する。

ステップＳ１２３において、デコード部１５２（デコード部１５２−１乃至デコード部１５２−４）は、輝度データＹの符号化データ、色差データＣｂの符号化データ、色差データＣｒの符号化データ、および奥行きデータＤの符号化データをそれぞれ復号する。

ステップＳ１２４において、ビットシフトチェンジ部１５３は、ビットシフトチェンジ情報に基づいて、奥行きデータをビットシフトチェンジする。

ステップＳ１２５において、画像復号装置１５０は、画像データおよび奥行きデータを出力する。

ステップＳ１２６において、画像復号装置１５０は、画像復号処理を終了するか否かを判定し、終了しないと判定された場合、ステップＳ１２１に処理を戻し、それ以降の処理を繰り返す。

また、ステップＳ１２６において、例えば、復号対象の多重化データの供給が停止するなどして、画像復号処理を終了すると判定された場合、画像復号装置１５０は、画像復号処理を終了する。

以上のように、画像符号化装置１００は、従来、画像データと奥行きデータとを別々に符号化していたものを、奥行きデータのビット深度を画像データに合わせてから、画像データの符号化と奥行きデータの符号化の両方をまとめてレート制御する。

画像データの符号化と奥行きデータの符号化を総合的にレート制御することにより、レート制御部１１４は、各符号化に対するレートの割り当ての自由度が向上し、各符号化により適切なレートを割り当てることができるようになる。例えば、重要度の低い奥行きデータに割り当てるレートを低くし、重要度の高い画像データに割り当てるレートを高くすることもできる。もちろん、その逆も可能である。また、状況に応じてその比率を変えることもできる。

さらに、奥行きデータのビット深度を画像データに合わせることにより、レート制御の演算が容易になるので、レート制御部１１４は、より高速にレート制御を行うことができる。また、レート制御の演算が容易になることにより、レート制御部１１４は、より適切にレート制御を行うことができ、符号化効率をより向上させることができる。

符号化効率が向上することにより、符号化データを復号して得られる復号画像の画質が向上する。つまり、画像符号化装置１００は、より高画質な復号画像を得られるように、画像を符号化することができる。

また、画像復号装置１５０は、以上のように、復号処理を行うことにより、画像符号化装置１００により符号化されて多重化された多重化データを、高速かつより適切に復号することができる。また、画像復号装置１５０は、高速かつ適切に奥行きデータを復号し、シフトチェンジすることができる。

［エンコード部の構成］
次に、図１の画像符号化装置１００が有するエンコード部について具体的な例を説明する。図１の画像符号化装置１００のエンコード部１１３（または、エンコード部１１３−１乃至エンコード部１１３−４）の符号化方式は任意である。例えば、MPEG（Moving Picture Experts Group）-2、MPEG-4、若しくはAVC（Advanced Video Coding）などであってもよいし、JPEG（Joint Photographic Experts Group）、若しくはJPEG2000等であってもよい。

その一例として、エンコード部１１３−１乃至エンコード部１１３−４の符号化方式がAVCの場合について説明する。図８は、図１のエンコード部１１３−１の主な構成例を説明するブロック図である。

図８に示されるエンコード部１１３−１は、例えば、H．264及びMPEG-4 Part１０（以下H．264/AVCと称する）方式で画像を符号化する。

図８の例において、エンコード部１１３−１は、A/D（Analog / Digital）変換部２０１、画面並べ替えバッファ２０２、演算部２０３、直交変換部２０４、量子化部２０５、可逆符号化部２０６、および蓄積バッファ２０７を有する。また、エンコード部１１３−１は、逆量子化部２０８、逆直交変換部２０９、および演算部２１０を有する。さらに、エンコード部１１３−１は、デブロックフィルタ２１１、およびフレームメモリ２１２を有する。また、エンコード部１１３−１は、選択部２１３、イントラ予測部２１４、動き予測補償部２１５、および選択部２１６を有する。さらに、エンコード部１１３−１は、レート制御部２１７を有する。

A/D変換部２０１は、入力された画像データをA/D変換し、画面並べ替えバッファ２０２に出力し、記憶させる。画面並べ替えバッファ２０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２０２は、フレームの順番を並び替えた画像を、演算部２０３、イントラ予測部２１４、および動き予測補償部２１５に供給する。

演算部２０３は、画面並べ替えバッファ２０２から読み出された画像から、選択部２１６から供給される予測画像を減算し、その差分情報を直交変換部２０４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部２０３は、画面並べ替えバッファ２０２から読み出された画像にイントラ予測部２１４から供給される予測画像を加算する。また、例えば、インター符号化が行われる画像の場合、演算部２０３は、画面並べ替えバッファ２０２から読み出された画像に動き予測補償部１１５から供給される予測画像を加算する。

直交変換部２０４は、演算部２０３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２０５に供給する。量子化部２０５は、直交変換部２０４が出力する変換係数を量子化する。量子化部２０５は、量子化された変換係数を可逆符号化部２０６に供給する。

可逆符号化部２０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

可逆符号化部２０６は、イントラ予測を示す情報をイントラ予測部２１４から取得し、インター予測モードを示す情報などを動き予測補償部２１５から取得する。なお、イントラ予測を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部２０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２０６は、符号化して得られた符号化データを蓄積バッファ２０７に供給して蓄積させる。

例えば、可逆符号化部２０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ２０７は、可逆符号化部２０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部２０５において量子化された変換係数は、逆量子化部２０８にも供給される。逆量子化部２０８は、その量子化された変換係数を、量子化部２０５による量子化に対応する方法で逆量子化し、得られた変換係数を、逆直交変換部２０９に供給する。

逆直交変換部２０９は、供給された変換係数を、直交変換部２０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力は、演算部２１０に供給される。

演算部２１０は、逆直交変換部２０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部２１６から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部２１０は、その差分情報にイントラ予測部２１４から供給される予測画像を加算する。また、たとえば、差分情報が、インター符号化が行われる画像に対応する場合、演算部２１０は、その差分情報に動き予測補償部２１５から供給される予測画像を加算する。

その加算結果は、デブロックフィルタ２１１またはフレームメモリ２１２に供給される。

デブロックフィルタ２１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去するとともに、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行う。デブロックフィルタ２１１は、各画素をクラス分類し、クラスごとに適切なフィルタ処理を施す。デブロックフィルタ２１１は、そのフィルタ処理結果をフレームメモリ２１２に供給する。

フレームメモリ２１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部２１３を介してイントラ予測部２１４または動き予測補償部２１５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ２１２は、参照画像を、選択部２１３を介してイントラ予測部２１４に供給する。また、例えば、インター符号化が行われる画像の場合、フレームメモリ２１２は、参照画像を、選択部２１３を介して動き予測補償部２１５に供給する。

エンコード部１１３−１においては、例えば、画面並べ替えバッファ２０２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部２１４に供給される。また、画面並べ替えバッファ１０２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測補償部２１５に供給される。

選択部２１３は、フレームメモリ２１２から供給される参照画像を、イントラ符号化を行う画像の場合、イントラ予測部２１４に供給し、インター符号化を行う画像の場合、動き予測補償部２１５に供給する。

イントラ予測部２１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部２１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。

このイントラ予測モードには、選択部２１３を介してフレームメモリ２１２から供給された参照画像に基づいて予測画像を生成するモードがある。また、このイントラ予測モードには、画面並べ替えバッファ２０２から読み出されたイントラ予測する画像自身（処理対象ブロックの画素値）を用いて予測画像を生成するモードもある。

イントラ予測部２１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部２１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部２１６を介して演算部１０３に供給する。

また、上述したように、イントラ予測部２１４は、採用したイントラ予測モードを示すイントラ予測モード情報を、適宜可逆符号化部２０６に供給する。

動き予測補償部２１５は、インター符号化が行われる画像について、画面並べ替えバッファ２０２から供給される入力画像と、選択部２１３を介してフレームメモリ２１２から供給される参照フレームとなる復号画像とを用いて、動きベクトルを算出する。動き予測補償部２１５は、算出した動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

動き予測補償部２１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測補償部２１５は、生成された予測画像を、選択部２１６を介して演算部２０３に供給する。

動き予測補償部２１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部２０６に供給する。

選択部２１６は、イントラ符号化を行う画像の場合、イントラ予測部２１４の出力を演算部２０３に供給し、インター符号化を行う画像の場合、動き予測補償部２１５の出力を演算部２０３に供給する。

レート制御部２１７は、蓄積バッファ２０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御する。

［マクロブロック］
図９は、マクロブロックの例を示す図である。図９に示されるように、Ｙ：Ｃｂ：Ｃｒ＝２：１：１のとき、奥行きデータＤのマクロブロックは、例えば、輝度データＹのマクロブロックと同様のサイズ（１６×１６）に設定される。このようにすることにより、奥行きデータをコンポーネント画像データに加え、４つのコンポーネント画像とすることができる。なお、マクロブロックのサイズは任意である。

エンコード部１１３−２乃至エンコード部１１３−４は、エンコード部１１３−１と同様の構成とすることができるので、それらの説明は省略する。

なお、図８を参照して説明したエンコード部１１３−１の構成は、エンコード部１１３の構成としても適用することができる。

［デコード部の構成］
図１０は、図４のデコード部の主な構成例を説明するブロック図である。

図１０に示されるように、デコード部１５２−１は、蓄積バッファ２５１、可逆復号部２５２、逆量子化部２５３、逆直交変換部２５４、演算部２５５、デブロックフィルタ２５６、画面並べ替えバッファ２５７、D/A変換部２５８、フレームメモリ２５９、選択部２６０、イントラ予測部２６１、動き予測補償部２６２、および選択部２６３を有する。

蓄積バッファ２５１は、伝送されてきた符号化データを蓄積する。この符号化データは、エンコード部１１３−１により符号化されたものである。可逆復号部２５２は、蓄積バッファ２５１から所定のタイミングで読み出された符号化データを、図８の可逆符号化部２０６の符号化方式に対応する方式で復号する。

逆量子化部２５３は、可逆復号部２５２により復号されて得られた係数データを、図８の量子化部２０５の量子化方式に対応する方式で逆量子化する。逆量子化部２５３は、逆量子化された係数データを、逆直交変換部２５４に供給する。逆直交変換部２５４は、図８の直交変換部２０４の直交変換方式に対応する方式で、その係数データを逆直交変換し、エンコード部１１３−１において直交変換される前の残差データに対応する復号残差データを得る。

逆直交変換されて得られた復号残差データは、演算部２５５に供給される。また、演算部２５５には、選択部２６３を介して、イントラ予測部２６１若しくは動き予測補償部２６２から予測画像が供給される。

演算部２５５は、その復号残差データと予測画像とを加算し、エンコード部１１３−１の演算部２０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２５５は、その復号画像データをデブロックフィルタ２５６に供給する。

デブロックフィルタ２５６は、復号された画像のブロック歪を除去した後、フレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７にも供給する。

画面並べ替えバッファ２５７は、画像の並べ替えを行う。すなわち、図８の画面並べ替えバッファ２０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２５８は、画面並べ替えバッファ２５７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

選択部２６０は、インター処理される画像と参照される画像をフレームメモリ２５９から読み出し、動き予測補償部２６２に供給する。また、選択部２６０は、イントラ予測に用いられる画像をフレームメモリ２５９から読み出し、イントラ予測部２６１に供給する。

イントラ予測部２６１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２５２から適宜供給される。イントラ予測部２６１は、この情報に基づいて、予測画像を生成し、生成した予測画像を選択部２１３に供給する。

動き予測補償部２６２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報）を可逆復号部２５２から取得る。インター予測モードを示す情報が供給された場合、動き予測補償部２６２は、可逆復号部２５２からのインター動きベクトル情報に基づいて、予測画像を生成し、生成した予測画像を選択部２６３に供給する。

選択部２６３は、動き予測補償部２６２またはイントラ予測部２６１により生成された予測画像を選択し、演算部２５５に供給する。

デコード部１５２−２乃至デコード部１５２−４は、デコード部１５２−１と同様の構成とすることができるので、それらの説明は省略する。

なお、図１０を参照して説明したデコード部１５２−１の構成は、デコード部１５２の構成としても適用することができる。

［符号化処理の流れ］
次に、以上のようなエンコード部１１３−１により実行される符号化処理の流れの例を、図１１のフローチャートを参照して説明する。この符号化処理は、図６のステップＳ１０５およびステップＳ１０６に対応する。

符号化処理が開始されると、ステップＳ２０１において、A/D変換部２０１は入力された画像をA/D変換する。ステップＳ２０２において、画面並べ替えバッファ２０２は、A/D変換部２０１から供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ２０３において、演算部２０３は、ステップＳ２０２で並び替えられた画像と、後述する予測処理により得られる予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測補償部２１５から、イントラ予測する場合はイントラ予測部２１４から、それぞれ選択部２１６を介して演算部２０３に供給される。

差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ２０４において、直交変換部２０４は演算部２０３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ２０５において、量子化部２０５は変換係数を量子化する。

この量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ２０６において、逆量子化部２０８は量子化部２０５により量子化された変換係数を量子化部２０５の特性に対応する特性で逆量子化する。ステップＳ２０７において、逆直交変換部２０９は、逆量子化部２０８により逆量子化された変換係数を直交変換部２０４の特性に対応する特性で逆直交変換する。

ステップＳ２０８において、演算部２１０は、選択部２１６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部２０３への入力に対応する画像）を生成する。ステップＳ２０９においてデブロックフィルタ２１１は、演算部２１０から出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２１０においてフレームメモリ２１２は、フィルタリングされた画像を記憶する。なお、フレームメモリ２１２にはデブロックフィルタ２１１によりフィルタ処理されていない画像も演算部２１０から供給され、記憶される。

ステップＳ２１１において、イントラ予測部２１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ２１２において、動き予測補償部２１５は、インター予測モードの動き予測補償処理を行う。

ステップＳ２１３において、選択部２１６は、イントラ予測部２１４および動き予測補償部２１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部２１６は、イントラ予測部２１４により生成された予測画像と、動き予測補償部２１５により生成された予測画像のいずれか一方を選択する。

また、この予測画像の選択情報は、イントラ予測部２１４または動き予測補償部２１５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部２０６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測補償部２１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部２０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。

ステップＳ２１４において、可逆符号化部２０６は量子化部２０５から出力された量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。

なお、可逆符号化部２０６は、ステップＳ２１３の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データのヘッダ情報に付加する。

つまり、可逆符号化部２０６は、イントラ予測部２１４から供給されるイントラ予測モード情報、または、動き予測補償部２１５から供給される最適インター予測モードに応じた情報なども符号化し、ヘッダ情報に付加する。

ステップＳ２１５において蓄積バッファ２０７は、可逆符号化部２０６から出力される符号化データを蓄積する。蓄積バッファ２０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２１６においてレート制御部２１７は、蓄積バッファ２０７に蓄積された圧縮画像と、レート制御部１１４から供給されるレート制御情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御する。

ステップＳ２１６の処理が終了すると、符号化処理が終了される。エンコード部１１３−１は、このような符号化処理を符号化処理単位毎に繰り返す。

なお、エンコード部１１３−２乃至エンコード部１１３−４も同様の処理を行う。また、エンコード部１１３とする場合も同様の符号化処理が行われる。

［復号処理の流れ］
次に、図１０のデコード部１５２−１により実行される復号処理の流れの例を、図１２のフローチャートを参照して説明する。この復号処理は、図７のステップＳ１２３に対応する。

復号処理が開始されると、ステップＳ２３１において、蓄積バッファ２５１は伝送されてきた符号化データを蓄積する。ステップＳ２３２において、可逆復号部２５２は、蓄積バッファ２５１から供給される符号化データを復号する。すなわち、図８の可逆符号化部２０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、およびフラグ情報等も復号される。

すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２６１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き予測補償部２６２に供給される。

ステップＳ２３３において、逆量子化部２５３は可逆復号部２５２により復号された変換係数を、図８の量子化部２０５の特性に対応する特性で逆量子化する。ステップＳ２３４において逆直交変換部２５４は逆量子化部２５３により逆量子化された変換係数を、図８の直交変換部２０４の特性に対応する特性で逆直交変換する。これにより図８の直交変換部２０４の入力（演算部２０３の出力）に対応する差分情報が復号されたことになる。

ステップＳ２３５において、演算部２５５は、ステップＳ２３４の処理により得られた差分情報に予測画像を加算する。これにより元の画像データが復号される。

ステップＳ２３６において、デブロックフィルタ２５６は、演算部２５５から供給された復号画像データをフィルタリングする。これによりブロック歪みが除去される。

ステップＳ２３７において、フレームメモリ２５９は、フィルタリングされた復号画像データを記憶する。

ステップＳ２３８において、イントラ予測部２６１は、イントラ予測処理を行う。また、動き予測補償部２６２は、インター予測処理を行う。ステップＳ２３９において、選択部２６３は、生成された２つの予測画像のうちいずれか一方を選択する。

ステップＳ２４０において、画面並べ替えバッファ２５７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、図８の画面並べ替えバッファ２０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２４１において、D/A変換部２５８は、画面並べ替えバッファ２５７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが例えば図示せぬディスプレイに出力され、その画像が表示される。

ステップＳ２４１の処理が終了すると、復号処理が終了される。デコード部１５２−１は、このような復号処理を復号処理単位毎に繰り返す。

なお、デコード部１５２−２乃至デコード部１５２−４も同様の処理を行う。また、デコード部１５２とする場合も同様の符号化処理が行われる。

以上のように、エンコーダ部１１３（エンコーダ部１１３−１乃至エンコーダ部１１３−４）およびデコーダ部１５２（デコーダ部１５２−１乃至デコーダ部１５２−４）として、AVC方式の符号化装置・復号装置を適用することができる。この場合も、画像符号化装置１００は、立体視可能な画像データと奥行きデータをより効率よく符号化することができる。また、画像復号装置１５０は、このように符号化された立体視可能な画像データと奥行きデータを、高速かつより適切に復号することができる。

［エンコード部の構成］
図１３は、図１のエンコード部１１３として、JPEG2000方式で符号化を行うエンコーダを用いる場合の例を示している。図１３においては、輝度データＹ、色差データＣｂ、色差データＣｒ、および奥行きデータＤ’をまとめて符号化し、１系統のコードストリーム（符号化データ）とする場合、つまり、エンコード部が１つのエンコード部１１３として構成される場合について説明する。

図１３に示されるように、エンコード部１１３は、DCレベルシフト部３０１、ウェーブレット変換部３０２、量子化部３０３、コードブロック化部３０４、およびビットプレーン展開部３０５を有する。

DCレベルシフト部３０１は、後段のウェーブレット変換を効率的に行うために、矢印３３１のようにエンコード部１１３に入力された画像データのDC成分のレベルシフトを行う。例えば、ＲＧＢ信号が正の値（符号無しの整数）を持っている。そこで、DCレベルシフト部３０１は、そのことを利用し、原信号のダイナミックレンジを半分にするレベルシフトを行うことで、圧縮効率の向上を図る。従って、ＹＣｂＣｒ信号の色差データＣｂや色差データＣｒの様に符号（正負両方あり）の整数値を持つ信号を原信号とする場合には、このレベルシフトは行われない。

ウェーブレット変換部３０２は、通常低域フィルタと高域フィルタから構成されるフィルタバンクによって実現される。また、デジタルフィルタは通常複数タップ長のインパルス応答（フィルタ係数）を有するので、ウェーブレット変換部３０２は、フィルタリングが行えるだけの入力画像を予めバッファリングするバッファを有する。

ウェーブレット変換部３０２は、矢印３３２のようにDCレベルシフト部３０１より出力された画像データを、フィルタリングに最低限必要なデータ量以上取得すると、そのDCレベルシフト後の画像データに対して、所定のウェーブレット変換フィルタを用いてフィルタリングを行い、ウェーブレット係数を生成する。なお、ウェーブレット変換部３０２は、画像の垂直方向および水平方向のそれぞれに対して、画像データを低域成分と高域成分に分離するフィルタリングを行う。

そして、ウェーブレット変換部３０２は、このようなフィルタリング処理を、垂直方向および水平方向の両方において低域成分として分離されたサブバンドに対して再帰的に所定回数繰り返す。これは、例えば図１４に示されるように、画像のエネルギーの多くが低域成分に集中しているからである。

図１４は、サブバンドの構成例を示す図である。図１４に示されるように、分割レベル数１の状態においても分割レベル数３の状態においても、画像のエネルギーの多くは、低域成分に集中している。

図１５は、分割レベル数４のウェーブレット変換処理により生成されるサブバンドの構成例を示す図である。

この場合、ウェーブレット変換部３０２は、まず、画像全体をフィルタリングし、サブバンド1LL（図示せず）、1HL、1LH、および1HHを生成する。次に、ウェーブレット変換部３０２は、生成されたサブバンド1LLに対して再度フィルタリングを行い、2LL（図示せず）、2HL、2LH、および2HHを生成する。さらに、ウェーブレット変換部３０２は、生成されたサブバンド2LLに対して再度フィルタリングを行い、3LL、3HL、3LH、および3HHを生成する。さらに、ウェーブレット変換部３０２は、生成されたサブバンド3LLに対して再度フィルタリングを行い、4LL、4HL、4LH、および4HHを生成する。

このように、分割レベル数４まで分析フィルタリングが行われると、１３個のサブバンドが生成される。図１５に示されるように、分割レベルが１つ上位に進むごとに、サブバンドのサイズは、縦方向および横方向にそれぞれ２分の１となる。

つまり、例えば横方向に１９２０画素の画像のベースバンドの画像データが１回分析フィルタリングされると、横方向に９６０画素のサブバンドが４つ（1LL,1HL,1LH,1HH）生成される。さらに、サブバンド1LLが１回分析フィルタリングされると、横方向に４８０画素のサブバンドが４つ（2LL,2HL,2LH,2HH）が生成される。さらに、サブバンド2LLが回分析フィルタリングされると、横方向に２４０画素のサブバンドが４つ（3LL,3HL,3LH,3HH）が生成される。さらに、サブバンド3LLが１回分析フィルタリングされると、横方向に１２０画素のサブバンドが４つ（4LL,4HL,4LH,4HH）が生成される。

なお、ウェーブレット変換の分割レベル数は任意である。

ウェーブレット変換部３０２は、フィルタリングにより得られたウェーブレット係数を、サブバンド毎に、矢印３３３に示されるように量子化部３０３に供給する。量子化部３０３は、供給されたウェーブレット係数を量子化する。この量子化の方法は任意であるが、量子化ステップサイズで除算するスカラ量子化が一般的である。量子化部３０３は、量子化により得られた量子化係数を、矢印３３４に示されるように、コードブロック化部３０４に供給する。なお、これより後段においては、ウェーブレット係数の代わりに量子化係数が供給されることになるが、この量子化係数もウェーブレット係数の場合と基本的に同様に扱われる。したがって、以下においては、必要でない限りその点についての説明は省略し、単に係数または係数データと称する。

なお、エンコード部１１３が、復号処理により元のデータを完全に復元可能な可逆符号化方式により画像データを符号化する場合、この量子化部３０３の処理は省略され、矢印３３５に示されるように、ウェーブレット変換部３０２の出力がコードブロック化部３０４に供給される。

ウェーブレット係数は、コードブロック化部３０４で、エントロピ符号化の処理単位である所定の大きさのコードブロックに分割される。図１６は各サブバンド中のコードブロックの位置関係を示したものである。例えば64×64画素程度のサイズのコードブロックが、分割後のすべてのサブバンド中に生成される。後段の各処理部は、このコードブロック毎に処理を行う。

コードブロック化部３０４は、矢印３３６に示されるように、各コードブロックをビットプレーン展開部３０５に供給する。ビットプレーン展開部３０５は、係数データを、ビットの位毎のビットプレーンに展開する。

ビットプレーンは、所定の数のウェーブレット係数よりなる係数群を、１ビット毎、つまり位毎に分割（スライス）したものである。つまり、ビットプレーンは、その係数群の互いに同一の位のビット（係数ビット）の集合である。

図１７にその具体例を示す。図１７の左図は縦４個、横４個の計１６個の係数を示している。この１６個の係数のうち、絶対値が最大のものは１３で、２進数で１１０１と表現される。ビットプレーン展開部３０５は、このような係数群を、絶対値を示す４枚のビットプレーン（絶対値のビットプレーン）と、符号を示す１枚のビットプレーン（符号のビットプレーン）に展開する。つまり、図１７中左の係数群は、図１７中右に示されるように、４枚の絶対値のビットプレーンと１枚の符号のビットプレーンに展開される。ここで、絶対値のビットプレーンの要素はすべて０か１の値をとる。また、符号を示すビットプレーンの要素は、係数の値が正であることを示す値、係数の値が０であることを示す値、または係数の値がマイナスを示す値のいずれかをとる。

エンコード部１１３は、さらに、ビットモデリング部３０６、算術符号化部３０７、符号量加算部３０８、レート制御部３０９、ヘッダ生成部３１０、およびパケット生成部３１１を有する。

ビットプレーン展開部３０５は、展開したビットプレーンを、矢印３３７に示されるように、ビットモデリング部３０６に供給する。

ビットモデリング部３０６および算術符号化部３０７は、EBCOT（Embedded Coding with Optimized Truncation）部３２１として動作し、入力される係数データに対して、JPEG2000規格で定められたEBCOTと呼ばれるエントロピ符号化を行う。EBCOTは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行う手法である。

ビットモデリング部３０６は、JPEG2000規格で定められた手順に従って、係数データに対してビットモデリングを行い、矢印３３８に示されるように、制御情報、シンボル、およびコンテキスト等の情報を算術符号化部３０７に供給する。算術符号化部３０７は、係数のビットプレーンを算術符号化する。

コードブロックの縦横のサイズは４から２５６まで２のべき乗で、通常使用される大きさは、３２×３２、６４×６４、１２８×３２等がある。係数値がｎビットの符号付き２進数で表されていて、bit０からbit（ｎ−２）がLSBからMSBまでのそれぞれのビットを表すとする。残りの１ビットは符号を示す。符号ブロックの符号化は、MSB側のビットプレーンから順番に、次の３種類の符号化パスによって行われる。

（１）Significant Propagation Pass
（２）Magnitude Refinement Pass
（３）Cleanup Pass

３つの符号化パスの用いられる順序は、図１８で示される。最初にBit-plane（n-1）（MSB）がCleanup Passによって符号化される。続いて順次LSB側に向かい、各ビットプレーンの符号化が、３つの符号化パスをSignificant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いて行われる。

ただし、実際にはMSB側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、MSB側から連続するオール０のビットプレーン（ゼロビットプレーンと称する）は符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの、任意の符号化パス迄で符号化を打ち切ることにより、符号量と画質のトレードオフを取る（レート制御を行う）。

次に、係数の走査（スキャニング）について図１９を用いて説明する。コードブロックは高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅はコードブロックの幅に等しい。スキャン順とは、１個のコードブロック内の、すべての係数をたどる順番で、コードブロック中では上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では上から下へという順序である。各符号化パスにおいてコードブロック中のすべての係数が、このスキャン順で処理される。

以下、３つの符号化パスについて述べる。以下はいずれもJPEG-2000規格書（参考文献：ISO/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記述されている内容である。

（１）Significance Propagation Pass（SPパス）：
あるビットプレーンを符号化するSignificance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けてMQ符号化する。

ここでsignificanceというJPEG2000特有の用語について説明する。significanceとは、各係数に対して符号化器が持つ状態で、significanceの初期値はnon-significantを表す０、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続けるものである。従って、significanceとは有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでsignificantになれば、以降のビットプレーンではsignificantになったままである。

（２）Magnitude Refinement Pass（MRパス）：
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで、且つ符号化していないsignificantな係数のビットプレーンの値をMQ符号化する。

（３）Cleanup Pass（CUパス）：
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで、且つ符号化していないnon-significantな係数のビットプレーンの値をMQ符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるか（Sign情報）を続けてMQ符号化する。

尚、以上の３つの符号化パスでのMQ符号化では、ケースに応じて、ZC（Zero Coding）、RLC（Run-Length Coding）、SC（Sign Coding）、およびMR（Magnitude Refinement）が使い分けられる。ここでMQ符号化と呼ばれる算術符号が用いられる。MQ符号化は、JBIG2（参考文献：ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000）で規定された学習型の２値算術符号である。

図１３に戻り、算術符号化部３０７は、生成したコードストリームを、矢印３３９に示されるように、符号量加算部３０８に供給する。符号量加算部３０８は、そのコードストリームの符号量をカウントし、累積する。

そして、符号量加算部３０８は、そのコードストリームを、矢印３４２および矢印３４３に示されるように、ヘッダ作成部３１０およびパケット生成部３１１に供給するとともに、矢印３４０に示されるように、符号量の累積値をレート制御部３０９に供給する。レート制御部３０９は、供給された符号量の累積値と、レート制御部１１４（図１）から供給される目標符号量とを比較し、累積値が目標符号量より小さい場合、矢印３４１に示されるように、EBCOT部３２１を制御し、次のビットプレーンの符号化を行わせる。

EBCOT部３２１は、その制御に従って次に重要なビットプレーンを符号化し、生成したコードストリームを符号量加算部３０８に供給する。符号量加算部３０８は、そのコードストリームの符号量をカウントして累積し、累積値をレート制御部３０９に供給する。

累積値が目標符号量に達するまで、以上のような処理が繰り返される。そして、累積値が目標符号量に達すると、レート制御部３０９は、EBCOT部３２１を制御し、符号化処理を終了させる。

パケット生成部３１１は、供給された符号化コードストリームをパケット化する。ヘッダ生成部３１０は、そのパケットのヘッダ情報を生成し、そのヘッダ情報を矢印３４４に示されるように、パケット生成部３１１に供給する。パケット生成部３１１は、そのヘッダ情報を用いてパケット化を行う。

このパケットの概念を図２０に示す。図２０に示される例では、ウェーブレット変換を３回施した例で、その結果、最低域のPacket-1から最高域のPacket-4までの4個のパケットが生成されることを示している。従って、これら個々のパケット内のサブバンド中に存在する、すべての符号ブロックの符号化コードストリームが、パケット毎にパッキングされることになる。

生成されたパケットは矢印３４５に示されるように、エンコード部１１３の外部に出力され、レート制御部１１４（図１）に供給される。

なお、エンコード部が、エンコード部１１３−１乃至エンコード部１１３−４の４つのエンコード部として構成されるようにしてもよい。この場合、エンコード部１１３−１乃至エンコード部１１３−４のそれぞれが、上述したエンコード部１１３と同様の構成を有するので、それらの説明は省略する。

［ビットプレーン展開］
JPEG2000方式の符号化における最大の特徴は、ビットプレーン毎の符号化である。JPEGやMPEGでは係数データを２次元データとして表現しているが、JPEG2000では２次元のバイナリデータの複数プレーンによって表現している。

従来のように、コンポーネント画像データと奥行きデータとを別々に符号化する場合、予め各々の目標レートを決めてから符号化することになる。そのため、コンポーネント画像データと奥行きデータの、最も効率の良い符号化レートの組み合わせを実現することができないことが多く、符号化効率を向上させることが困難であった。これに対して、エンコード部１１３は、コンポーネント画像データと奥行きデータの両方を合わせて、同時にレート制御しながらエンコードする。

図２１は、奥行きデータのビット深度をコンポーネント画像データのビット深度に合わせた後のレート制御の様子を示している。なお、エンコーダ部１１３は、既存のRD（Rate-Distortion）特性を利用したレート制御方法とは大きく異なり、基本的には、重要度の高いもの（MSB方向のビット）から低いもの（LSB方向のビット）の順番に符号化を行っている。

エンコーダ部１１３は、コンポーネント画像データと奥行きデータを１つのコンポーネントとみなして処理する。すなわち、エンコーダ部１１３は、コンポーネント画像データと奥行きデータを、輝度データＹ、色差データＣｂ、色差データＣｒ、および奥行きデータＤ’の４つからなるコンポーネントデータとして符号化を行う。

図２１に示される例の場合、EBCOT部３２１は、まず、輝度データＹの最もビット位置の高いビットプレーンに対してEBCOTを行う。係数が０しか存在しないゼロビットプレーンではEBCOTを行わないので、実際に最初にEBCOTの対象になるのは、最も高い位置（MSBに近い位置）の番号「１」のビット位置のビットプレーンになる。なお、図２１中においては、このビット位置を示す番号を丸囲み数字で表している。

図２１に示される例において、この番号「１」のビット位置では、輝度データのコードブロックCB_１しか値「１」の係数を有するビットプレーンが存在しない。したがって、EBCOT部３２１は、輝度データのCB_１のビットプレーンだけをEBCOTする。

同じビット位置においては、EBCOTは、輝度データＹのビットプレーン、色差データＣｂのビットプレーン、色差データＣｒのビットプレーン、奥行きデータＤ’のビットプレーンの順で行われる。

番号「１」のビット位置の処理が終了すると、処理対象は、次のビット位置（１つ下位のビット位置）に移動する。つまり番号「２」のビット位置のビットプレーンがEBCOTの対象になる。

図２１に示される例の場合、番号「２」のビット位置においては、まず、輝度データＹのコードブロックCB_０とCB_１のビットプレーンが順にEBCOTの対象となる。色差データＣｂと色差データＣｒには値「１」の係数を有するビットプレーンが存在しないので、次に、奥行きデータＤ’のコードブロックCB_１のビットプレーンがEBCOTの対象となる。

番号「２」のビット位置の処理が終了すると、処理対象は、番号「３」のビット位置に移動する。図２１に示される例の場合、番号「３」のビット位置においては、輝度データＹのコードブロックCB_０、CB_１、CB_ｎ、色差データＣｂのコードブロックCB_１、色差データＣｒのコードブロックCB_１、奥行きデータのコードブロックCB_１、CB_ｎのビットプレーンがこの順にEBCOTの対象となる。

このように、番号「１」のビット位置から番号「Ｘ」のビット位置まで、上位ビットから下位ビットに向かう方向に１ビットずつ処理対象を変えながら、EBCOTが進められる。

なお、このようにEBCOTが繰り返し行われる間、符号量加算部３０８は、上述したように、生成される符号量を加算していく。

尚、図２１においては、説明の都合上、輝度データＹ、色差データＣｂ、色差データＣｒ、および奥行きデータＤ’のいずれにおいても、サブバンドについての説明を省略したが、実際には、図１６に示される様に、ウェーブレット変換後に生成されるサブバンドのすべてにコードブロックが存在する。従って、サブバンド内のコードブロック分だけ、図２１に図示したレート制御の対象になる。

以上のように、JPEG2000方式の場合、エンコード部１１３は、輝度データＹ、色差データＣｂ、色差データＣｒ、および奥行きデータＤ’の全てにおいて、ゼロビットプレーンでない上位ビットのビットプレーンから順に検索する。したがって、特に奥行きデータのビット深度が画像データに対して浅いと、その奥行きデータの優先度が極端に低くなってしまう恐れがある。

上述したように、奥行きデータのビット深度を、画像データのビット深度に合わせるようにビットシフトチェンジを行うことにより、画像符号化装置１００は、EBCOTの対象を選択するときの優先度の、コンポーネント間での過度な偏りを低減させるようにすることができる。これにより、例えば、符号化データに奥行きデータがほとんど含まれなくなってしまう等の不具合の発生を抑制することができる。

［デコード部の構成］
次に、このようなエンコード部１１３に対応するデコード部１５２（図４）について説明する。図２２は、デコード部１５２の主な構成例を示すブロック図である。図２２に示されるように、デコード部１５２は、JPEG2000方式で符号化された符号化データを復号することができる。つまり、デコード部１５２は、図１３に示されるエンコード部１１３により符号化された符号化データを復号することができる。

図２２において、デコード部１５２は、パケット解読部３６１、算術復号部３６２、ビットモデリング部３６３、ビットプレーン合成部３６４、コードブロック合成部３６５、ウェーブレット逆変換部３６６、およびDCレベル逆シフト部３６７を有する。

パケット解読部３６１は、矢印３８１に示されるように、画像符号化装置１００から供給されるパケットを解読し、矢印３８２に示されるように、コードストリームを算術復号部３６２に供給する。

算術復号部３６２およびビットモデリング部３６３は、EBCOT部３７１として動作し、入力されるコードストリームに対して、JPEG2000規格で定められたEBCOTと呼ばれるエントロピ復号を行う。

算術復号部３６２は、算術符号化部３０７に対応する方法でコードストリームを復号し、矢印３８３に示されるように、コンテキストをビットモデリング部３６３に供給する。ビットモデリング部３６３は、ビットモデリング部３０６に対応する方法で、ビットプレーンに展開されたウェーブレット係数を生成する。ビットモデリング部３６３は、生成したビットプレーン毎の係数データを、矢印３８４に示されるように、ビットプレーン合成部３６４に供給する。

ビットプレーン合成部３６４は、ビットプレーンに展開されたウェーブレット係数を合成する。ビットプレーン合成部３６４は、ビットプレーンを合成したウェーブレット係数を、矢印３８５に示されるように、コードブロック合成部３６５に供給する。

コードブロック合成部３６５は、供給されたビットプレーンを用いてコードブロック単位の係数データを生成し、さらにそれらを合成し、サブバンド毎の係数データを生成する。コードブロック合成部３６５は、矢印３８６に示されるように、それをウェーブレット逆変換部３６６に供給する。

ウェーブレット逆変換部３６６は、供給されたウェーブレット係数をウェーブレット逆変換し、ベースバンドの画像データを生成する。ウェーブレット逆変換部３６６は、生成したベースバンドの画像データを、矢印３８７に示されるように、DCレベル逆シフト部３６７に供給する。

DCレベル逆シフト部３６７は、その画像データのDC成分に対して、DCレベルシフト部３０１においてシフトした分を元に戻すDCレベル逆シフト処理を必要に応じて行う。DCレベル逆シフト部３６７は、DCレベル逆シフト処理後の画像データを、矢印３８８に示されるように、デコード部１５２の外部に出力する。より具体的には、コンポーネント画像データは、画像復号装置１５０の外部に出力され、奥行きデータは、ビットシフトチェンジ部１５３に供給される。

なお、デコード部が、デコード部１５２−１乃至デコード部１５２−４の４つのデコード部として構成されるようにしてもよい。この場合、デコード部１５２−１乃至デコード部１５２−４のそれぞれが、上述したデコード部１５２と同様の構成を有するので、それらの説明は省略する。

［符号化処理の流れ］
次に、この場合の符号化処理の流れの例を説明する。最初に、エンコード部１１３により行われる符号化処理の流れの例を、図２３のフローチャートを参照して説明する。この符号化処理は、図６のステップＳ１０５およびステップＳ１０６に対応する。

符号化処理が開始されると、エンコード部１１３は、ステップＳ３０１において、入力系３３１から画像データおよび奥行きデータを取得する。

ステップＳ３０２において、DCレベルシフト部３０１は、ステップＳ３０１において入力された画像データおよび奥行きデータのDCレベルをシフトする。ステップＳ３０３において、ウェーブレット変換部３０２は、ステップＳ３０２においてDCレベルがシフトされた画像データおよび奥行きデータをウェーブレット変換する。

ステップＳ３０４において、量子化部３０３は、非可逆符号化方式の場合、ステップＳ３０３において画像データおよび奥行きデータから生成されたウェーブレット係数を量子化する。なお、可逆符号化方式の場合、この処理は省略される。

ステップＳ３０５において、コードブロック化部３０４は、画像データおよび奥行きデータの係数データをコードブロック単位で分割する。ステップＳ３０６において、ビットプレーン展開部３０５は、ステップＳ３０５において分割されたコードブロック毎の係数をビットプレーンに展開する。

ステップＳ３０７において、EBCOT部２２１は、ステップＳ３０６においてビットプレーン展開された画像データおよび奥行きデータの係数データをエントロピ符号化する。

ステップＳ３０８において、レート制御部３０９は、符号量加算部３０８において加算された符号量や、レート制御部１１４から供給される目標符号量等を用いて、発生符号量のレートを制御する。

ステップＳ３０９において、ヘッダ生成部３１０は、パケットヘッダを生成する。ステップＳ３１０において、パケット生成部３１１は、パケットを生成する。ステップＳ３１１において、エンコーダ部１１３は、パケットを外部に出力する。

ステップＳ３１１の処理が終了すると、符号化処理が終了される。なお、この符号化処理は、画像データおよび奥行きデータの供給が終了するか、終了の指示を受けるまで、所定のデータ単位毎に繰り返し実行される。

なお、エンコード部がエンコード部１１３−１乃至エンコード部１１３−４として構成される場合、エンコード部１１３−１乃至エンコード部１１３−４のそれぞれが、エンコード部１１３と同様の処理を行う。

［エントロピ符号化処理の流れ］
次に、図２４のフローチャートを参照して、図２３のステップＳ３０７において実行されるエントロピ符号化処理の流れの例を説明する。

エントロピ符号化処理が開始されると、EBCOT部３２１は、ステップＳ３３１において、初期条件を設定する。より具体的には、EBCOT部３２１は、符号化対象のコンポーネントをNc＝｛1,2,…,Lc｝と設定し、サブバンドをNs＝｛1,2,…,Ls｝と設定し、コードブロック（B）のビットプレーン（C）の情報量＝T（B,C,Nc,Ns）とし、累積加算符号量＝Yとする。

ステップＳ３３２において、EBCOT部３２１は、図１３のビットプレーン展開部３０５での動作が終了した時点で、所定のメモリにウェーブレット変換係数または量子化係数のビットプレーン情報（ゼロビットプレーン情報も含む）を保持させる。

ステップＳ３３３において、EBCOT部３２１は、初期値としてY=0とする。ステップＳ３３４において、EBCOT部３２１は、ゼロビットプレーンを含むサブバンド間で、最もビット位置が高い最初の符号ブロックのビットプレーンを選択する。

ステップＳ３３５において、EBCOT部３２１は、選択されたビットプレーンに対してEBCOTを行う。ステップＳ３３６において、符号量加算部３０８は、ステップＳ３３５の処理の結果生成された符号の符号量を以下の式で加算する。

Y=Y+T(B,C,Nc,Ns) ・・・（１）

ステップＳ３３７において、レート制御部３０９は、式（１）において加算して得られた加算符号量Yが、レート制御部１１４から取得した目標符号量を下回るか否かを判定する。加算符号量Yが目標符号量を下回ると判定された場合、レート制御部３０９は、処理をステップＳ３３８に進める。

ステップＳ３３８において、EBCOT部３２１は、同じビット位置のビットプレーンが他にもあるか否かを判定する。あると判定された場合、EBCOT部３２１は、処理をステップＳ３３９に処理を進める。ステップＳ３３９において、EBCOT部３２１は、同じビット位置の次のビットプレーンを選択する。EBCOT部３２１は、処理をステップＳ３３５に戻し、選択されたビットプレーンに対してEBCOTを行う。

また、ステップＳ３３８において、同じビット位置のビットプレーンが他に存在しないと判定された場合、EBCOT部３２１は、処理をステップＳ３４０に進める。

ステップＳ３４０において、EBCOT部３２１は、現在よりも下位のビット位置に未処理のビットプレーンが残っているか否かを判定する。未処理のビットプレーンが存在すると判定された場合、EBCOT部３２１は、処理対象を次のビット位置に移動し、最初のコードブロックのビットプレーンを選択する。EBCOT部３２１は、処理をステップＳ３３５に戻し、選択されたビットプレーンに対してEBCOTを行う。

また、ステップＳ３４０において、未処理のビットプレーンが存在しないと判定された場合、EBCOT部３２１は、エントロピ符号化処理を終了し、処理を図２３のステップＳ３０７に戻し、ステップＳ３０８以降の処理を行う。

さらに、ステップＳ３３７において、加算符号量Yが目標符号量を上回ると判定された場合、レート制御部３０９は、エントロピ符号化処理を終了し、処理を図２３のステップＳ３０７に戻し、ステップＳ３０８以降の処理を行う。

［復号処理の流れ］
図２５は、復号処理の流れの例を説明するフローチャートである。この復号処理は、図７のステップＳ１２３に対応する。

復号処理が開始されると、デコード部１５２は、ステップＳ３６１において、入力系３８１から符号化データのパケットを取得する。ステップＳ３６２において、パケット解読部３６１は、ステップＳ３６１において取得されたパケットから符号化データを抽出する。

ステップＳ３６３において、EBCOT部３７１は、ステップＳ３６２において抽出された符号化データを復号する。ステップＳ３６４において、ビットプレーン合成部３６４は、ステップＳ３６３の処理により得られた係数データのビットプレーンを合成し、コードブロック毎の係数データを生成する。

ステップＳ３６５において、コードブロック合成部３６５は、ステップＳ３６４の処理により生成された係数データのコードブロックを合成し、サブバンド毎の係数データを生成する。

ステップＳ３６６において、ウェーブレット逆変換部３６６は、ステップＳ３６５の処理により生成されたサブバンド毎の係数データをウェーブレット逆変換し、ベースバンドの画像データを生成する。ステップＳ３６７において、DCレベル逆シフト部３６７は、ステップＳ３６６の処理により生成されたベースバンドの画像データのDCレベルを逆シフトする。

ステップＳ３６８において、デコード部１５２は、ステップＳ３６７においてDCレベル逆シフト処理が施された画像データを復号画像データとして出力系３８８から出力する。例えば、この復号画像データが例えば図示せぬディスプレイに出力され、その画像が表示される。

ステップＳ３６８の処理が終了すると、デコード部１５２は、復号処理を終了する。デコード部１５２は、このような復号処理を復号処理単位毎に繰り返す。

なお、デコード部がデコード部１５２−１乃至デコード部１５２−４として構成される場合、デコード部１５２−１乃至デコード部１５２−４のそれぞれが、デコード部１５２と同様の処理を行う。

以上のように、エンコーダ部１１３（エンコーダ部１１３−１乃至エンコーダ部１１３−４）およびデコーダ部１５２（デコーダ部１５２−１乃至デコーダ部１５２−４）として、JPEG2000方式の符号化装置・復号装置を適用することができる。この場合も、画像符号化装置１００は、立体視可能な画像データと奥行きデータをより効率よく符号化することができる。また、画像復号装置１５０は、このように符号化された立体視可能な画像データと奥行きデータを、高速かつより適切に復号することができる。

［サブバンド選択順］
ところで、以上においては、コンポーネント画像データの各データが、その優先度の高い順、すなわち、輝度データＹ、色差データＣｂ、色差データＣｒ、奥行きデータＤ’の順に処理対象として選択され、EBCOTされるように説明した（図２１）。

このような処理対象の選択は、各コンポーネント内においても同様に行われるようにしてもよい。例えば、優先度の高いサブバンドのコードブロックから優先的に選択されるようにしてもよい。

図２６は、サブバンド毎の選択の優先順を示す図である。上述したように、一般的には、より低域成分のサブバンドほど、より多くのエネルギーが集中している。したがって、より低域な成分のサブバンドほど重要であり、その優先度は高い。

したがって、例えば、１つのコンポーネント内において、あるビット位置のビットプレーンを選択する場合、低域成分から高域成分に向かう順に、各サブバンドのコードブロックのビットプレーンが選択されるようにしてもよい。図２６に示される丸囲みの番号は、サブ場温度毎の優先順を示している。つまり、あるビット位置においてゼロビットプレーンでないビットプレーンが存在する場合、番号が若いサブバンドのコードブロックのビットプレーンから優先的に選択される。

もちろん、各サブバンドの優先度の付け方は任意であるので、このサブバンド毎の選択の優先順も任意である。例えば、図２６に示される番号を用いて説明すると、各サブバンドが、１→３→２→４→５→・・・の順に選択されるようにしてもよいし、１→２→４→３→５→・・・の順に選択されるようにしてもよいし、１→３→４→２→５→・・・の順に選択されるようにしてもよい。もちろん、これ以外の順であってもよい。

このような順での選択が、各コンポーネントにおいて行われる。このとき、コンポーネント毎にサブバンドの優先順が異なるようにしてもよい。

また、サブバンド毎に重要度を反映させた重み係数を予め定義し、この重み係数を量子化係数に乗算し、その値を補正するようにしてもよい。図２７は、そのサブバンド毎に定義される重み係数の例を示す図である。図２７の例の場合、最低域のサブバンド（図中左上のサブバンド）の係数は「１．０」であるので、このサブバンドにおいては、量子化係数に重み係数を乗算してもその値は変化しない。

これに対して、その他のサブバンドにおいては、高域になるほど重み係数の値が小さくなってる。従って、これらのサブバンドにおいて量子化係数に重み係数を乗算すると、その値は小さくなる。つまり、非ゼロのビットプレーン数が少なくなる。その度合いは高域になるほど大きくなる。上述したように処理対象の選択は上位ビットから下位ビットに向かう順に行われるので、高域成分のサブバンドほど、処理対象として選択される順が後に移動することになる。

このように、量子化係数の値を重み係数で補正することにより、EBCOTの処理対象として選択される順を制御するようにしてもよい。

ところで、上述したように、複数のコンポーネントが存在する場合、各コンポーネントの優先度は、輝度データＹ、色差データＣｂ、色差データＣｒ、奥行きデータＤ’の順となる。

この理由としては、コンポーネント画像データに割り当てる符号量を、奥行きデータに割り当てる符号量よりも多めに設定する方が、総合的な画質が向上するとの研究報告が、各種機関から出されていることによる。

なお、奥行きデータにおいて、どの帯域のサブバンドを重視するかによって符号化効率が変化する可能性がある。また、復号画像における視覚的影響が大きくなる場合も考えられる。したがって、優先度の低い奥行きデータであっても、各サブバンドの優先度は、装置、画像の内容、または用途等に応じて適切に制御することが望ましい。

一般に、奥行きデータのサブバンドの低域重視だと、異なる被写体（人物と背景など）の境界線がぼけるので境界部のリンギングが発生する可能性がある。逆に、高域重視の場合には、奥行き画像の平坦部、つまり凹凸が本来存在しない部分が発生することで、デコード画像がでこぼこする可能性もある。

＜２．第２の実施の形態＞
［画像符号化装置の構成］
上述したようなJPEG2000方式のエンコーダをエンコード部として用いる場合、奥行きデータのビットシフトチェンジを、エンコード部内部で行うようにしてもよい。

図２８は、本発明を適用した画像符号化装置の他の構成例を示すブロック図である。

図２８に示される画像符号化装置４００は、図１の画像符号化装置１００と同様の装置であり、画像符号化装置１００と基本的に同様の構成を有する。ただし、画像符号化装置４００は、ビット深度検出部１１１およびビットシフトチェンジ部１１２が省略され、エンコード部１１３の代わりにエンコード部４１３を有する。

エンコード部４１３は、その内部において、画像データおよび奥行きデータＤのビット深度検出と、奥行きデータＤのビットシフトチェンジを行う。したがって、画像符号化装置４００に入力されたコンポーネント画像データ（輝度データＹ（矢印１２１−１）、色差データＣｂ（矢印１２１−２）、および色差データＣｒ（矢印１２１−３））は、エンコード部４１３に供給される。また、外部より入力される奥行きデータＤもエンコード部４１３に供給される（矢印１２４）。

エンコード部４１３は、供給されたコンポーネント画像データや奥行きデータＤをJPEG2000方式で符号化し、その符号化結果である符号化データをレート制御部１１４に供給するとともに（矢印３２６）、レート制御部１１４から、目標符号量を指定するレート制御情報を取得する（矢印３２８）。また、エンコード部４１３は、画像データおよび奥行きデータＤのビット深度を検出し、その検出結果に従って、奥行きデータＤのビットをシフトさせ、そのシフト量を示すビットシフトチェンジ情報を多重化部１１５に供給する（矢印３２９）。

［エンコード部の構成］
次に、このエンコード部４１３の詳細について説明する。図２９は、図２８のエンコード部４１３の主な構成例を説明するブロック図である。

エンコード部４１３は、基本的に、図１３を参照して説明したエンコード部１１３と同様の構成を有し、同様の処理を行う。ただし、エンコード部４１３は、ビットプレーン展開部３０５とEBCOT部３２１の間にビット深度検出部４２０およびビットシフトチェンジ部４３０を有する。

ビット深度検出部４２０は、基本的にビット検出部１１１と同様の構成を有し、同様の処理を行う。ただし、ビット深度検出部４２０には、ビットプレーン展開部３０５から、画像データや奥行きデータＤの、ビットプレーン展開された係数データが供給される（矢印３３７）。ビット深度検出部４２０は、各係数データのビット深度を検出する。ビット深度検出部４２０は、ビットプレーン展開された各係数データとともに、その検出結果（画像データおよび奥行きデータＤのビット深度を示す情報）を、ビットシフトチェンジ部４３０に供給する（矢印４２１）。

ビットシフトチェンジ部４３０は、ビット深度検出部４２０から供給されたビットプレーン展開された各係数データのうち、奥行きデータＤの係数データのビットをシフトチェンジする。このシフトチェンジの方法は、処理対象がベースバンドのデータではなく、ウェーブレット変換された係数データであること以外、ビットシフトチェンジ部１１２の場合と同様である。

ただし、この場合、係数データをビットシフトさせるので、そのシフト量は、第１の実施の形態の場合と異なる可能性がある。ビットシフトチェンジ部４３０は、奥行きデータＤの係数データのビット深度を、コンポーネント画像データの係数データのビット深度に合わせるように、奥行きデータＤの係数データのビットをシフトチェンジする。

ビットシフトチェンジ部４３０は、コンポーネント画像データの係数データを、そのビットをシフトチェンジせずにEBCOT部３２１に供給する（矢印４３１）。また、ビットシフトチェンジ部４３０は、シフトチェンジ後の奥行きデータＤ’の係数データをEBCOT部３２１に供給する（矢印４３１）。さらに、ビットシフトチェンジ部４３０は、奥行きデータＤの係数データのシフト量を示すビットシフトチェンジ情報を多重化部１１５に供給する（矢印４３２）。

なお、この場合も、シフトチェンジには、シフトアップ、シフトダウン、およびシフトチェンジしない（０ビットシフト）の全てが含まれる。

その他の各処理は、図１３に示されるエンコード部１１３の場合と同様に行われる。

［シフトアップの例］
図３０は、この場合のシフトアップの例を説明する図である。

図３０に示されるように、コンポーネント画像データの係数データ４４１（ここでは説明の便宜上輝度データＹのみ示す）がＭビットであり、奥行きデータＤの係数データがＮビット（Ｍ＞Ｎ）である場合、ビットシフトチェンジ部４３０は、奥行きデータＤの係数データを（Ｍ−Ｎ）ビット分シフトアップし、その下位の（Ｍ−Ｎ）ビットをゼロ埋めする（奥行きデータＤ’）。ビットシフトチェンジ部４３０は、この奥行きデータＤ’の係数データ４４３をEBCOT部３２１に供給する。

このようにエンコード部内においてシフトチェンジを行う場合、例えばバッファ等に保持されている係数データを読み出す際にシフトチェンジしたものとして取り扱うようにすればよく、実際にデータ量を増大させて保持しなくてもよい。そのため、このようなエンコード部内のシフトチェンジにより、少なくともEBCOTが行われる前の係数データを保持するメモリ量の増大を抑制することができる。また、ビットシフトチェンジ部１１２を省略することができるので、回路規模やコストの増大を抑制することができる。

［画像復号装置の構成］
このような画像符号化装置に対応する画像復号装置の構成例を図３１に示す。図３１において、画像復号装置４５０は、基本的に図４の画像復号装置１５０と同様の構成を有するが、ビットシフトチェンジ部１５３は省略され、デコード部１５２の代わりにデコード部４５２を有する。この場合、分離部１５１は、画像データおよび奥行きデータからビットシフトチェンジ情報を分離する。分離部１５１は、画像データおよび奥行きデータとビットシフトチェンジ情報をデコード部４５２に供給する（矢印１６２および矢印１６３）

つまり、デコード部４５２は、その内部において奥行きデータＤ’のビットシフトチェンジを行う。デコード部４５２は、コンポーネント画像データを出力する（矢印１６３−１乃至矢印１６３−３）とともに、シフトチェンジ後の奥行きデータＤ’を出力する（矢印１６５）。

［デコード部の構成］
図３２は、図３１のデコード部４５２の主な構成例を説明するブロック図である。

図３２に示されるデコード部４５２は、基本的に図２２に示されるデコード部１５２と同様の構成を有する。ただし、デコード部４５２は、EBCOT部３７１とビットプレーン合成部３６４との間に、ビットシフトチェンジ部４６０を有する。

このビットシフトチェンジ部４６０は、処理対象が奥行きデータＤ’の係数データであること以外、基本的にビットシフトチェンジ部１５３と同様の処理を行う。ビットシフトチェンジ部４６０は、分解部１５１から供給される（矢印４６１＝矢印１６４）ビットシフトチェンジ情報に示されるシフト量分、奥行きデータＤ’の係数データを、ビットシフトチェンジ部４３０によるシフトチェンジとは逆方向にシフトチェンジする。

ビットシフトチェンジ部４６０は、シフトチェンジした奥行きデータＤをビットプレーン合成部３６４に供給する（矢印４６２）。

［シフトダウンの例］
例えば奥行きデータＤの係数データが（Ｍ−Ｎ）ビットシフトアップされている場合、ビットシフトチェンジ部４６０は、ゼロ埋めされた奥行きデータＤ’の係数データの下位（Ｍ−Ｎ）ビットを削除し、上位Ｎビットをシフトダウンする。

このようにデコード部内においてシフトチェンジすることにより、エンコード部内においてシフトチェンジされた奥行きデータを正しく元のビット深度に戻すことができる。

［符号化処理の流れ］
次に、各処理の流れの例について説明する。まず、図３４のフローチャートを参照してエンコード部４１３により実行される符号化処理の流れの例を説明する。

なお、画像符号化装置４００が実行する画像符号化処理は、図６を参照して説明した画像符号化処理から、ステップＳ１０４の処理を省略するのみでよいのでその説明は省略する。

また、エンコード部４１３による符号化処理も、基本的に図２３を参照して説明した符号化処理と同様である。ただし、ステップＳ４０７において、ビット深度検出部４２０は、ステップＳ４０６においてビットプレーン展開された画像データの係数データおよび奥行きデータの係数データのビット深度をそれぞれ検出する。

ステップＳ４０８において、ビットシフトチェンジ部４３０は、ステップＳ４０７において検出された各係数データのビット深度に基づいて、奥行きデータＤの係数データのビット深度を画像データの係数データのビット深度に合わせるように、奥行きデータＤの係数データのビットをシフトチェンジする。ステップＳ４０８において、EBCOT部３２１は、画像データ、および、シフトチェンジされた奥行きデータＤ’をエントロピ符号化する。

なお、ステップＳ４０１乃至ステップＳ４０６、並びに、ステップＳ４０９乃至ステップＳ４１３の各処理は、図２３のステップＳ３０１乃至ステップＳ３１１の各処理と同様に行われる。

［復号処理の流れ］
次に、デコード部４５２により行われる復号処理の流れの例を、図３５のフローチャートを参照して説明する。なお、画像復号装置４５０が実行する画像復号処理は、図７を参照して説明した画像復号処理から、ステップＳ１２４の処理を省略するのみでよいので、その説明は省略する。

また、デコード部４５２による復号処理も、基本的に図２５を参照して説明した復号処理と同様である。ただし、ステップＳ４６４において、ビットシフトチェンジ部４６０は、ステップＳ４６３において復号された、奥行きデータＤの係数データのビットをシフトチェンジする。ステップＳ４６５において、ビットプレーン合成部３６４は、画像データおよび奥行きデータＤのそれぞれについて、ビットプレーンを合成する。

なお、ステップＳ４６１乃至ステップＳ４６３、並びに、ステップＳ４６５乃至ステップＳ４６９の各処理は、図２５のステップＳ３６１乃至ステップＳ３６８の各処理と同様に行われる。

以上のように、エンコーダ部４１３およびデコーダ部４５２の内部において係数データのビットシフトを行うようにすることもできる。この場合も、画像符号化装置４００は、立体視可能な画像データと奥行きデータをより効率よく符号化することができる。また、画像復号装置４５０は、このように符号化された立体視可能な画像データと奥行きデータを、高速かつより適切に復号することができる。

＜３．第３の実施の形態＞
［画像符号化装置の構成］
図３６は、本発明を適用した画像符号化装置の、さらに他の構成例を示すブロック図である。図３６に示されるように、上述したエンコーダを、実際の３次元画像入力・エンコードシステムの中に適用することができる。

図３６の画像符号化装置５００は、３次元画像を入力し符号化する装置である。画像符号化装置５００の奥行きデータ生成部５１１は、Ｘ個のカメラ映像またはＸ個の出力画像（５２１−１，５２１−２，・・・，５２１−Ｘ）を入力し、これらの画像の同一時刻のピクチャ同士をピクセル単位で比較することで、その時刻のピクチャの奥行きデータ５２２を生成する。生成された奥行きデータは例えば、図２Ｂを参照して説明したようにグレースケールのビットマップデータで表すことができる。

奥行きデータ生成部５１１が奥行きデータを生成する方法としては、複数の研究機関の研究成果がある。例えばProceedings of SPIE："Algorithm for dynamic 3D object generation from multi-viewpoint image" (5599, 2004, 153,161) by K.Tomiyama, Y.Orihira, M.Katayama, and Y.Iwadate)では、複数視点の画像から被写体画像の３Ｄ形状を自動で推定して生成する手法が報告されている。

奥行きデータ生成部５１１は、例えば、このような手法を用いて奥行きデータを生成する。

次に、奥行きデータ５２２は、奥行きデータエンコード部５１２に供給される。奥行きデータエンコード部５１２は、上述した他の実施の形態において説明したように奥行きデータ５２２を符号化し、コードストリーム５２３を生成する。

また、Ｘ個の出力画像（５２１−１，５２１−２，・・・，５２１−Ｘ）は、カメラ画像選択部５１３に供給される。カメラ画像選択部５１３は、そのＸ個の出力画像の中からＹ個の画像を選択する。このＹ個のカメラ画像（５２４−１，５２４−２，・・・，５２４−Ｙ）は、カメラ画像エンコード部５１４に供給される。カメラ画像エンコード部５１４は、上述した他の実施の形態において説明したようにＹ個のカメラ画像を符号化し、コードストリーム５２５−１乃至コードストリーム５２５−Ｙを生成する。

なお、このとき、奥行きデータエンコード部５１２とカメラ画像エンコード部５１４は、互いの発生符号量等の情報を授受することにより、画像データと奥行きデータの両方のレート制御を互いに連携して行う。

コードストリーム５２３は、多重化部５１５に供給される。また、コードストリーム５２５−１乃至コードストリーム５２５−Ｙは、多重化部５１５に供給される。

多重化部５１５は、奥行きデータエンコード部５１２から、さらに、ビットシフトチェンジ情報を取得する。多重化部５１５は、コードストリーム５２３、並びに、コードストリーム５２５−１乃至コードストリーム５２５−Ｙを多重化し、多重化データ５２６を生成する。多重化データ５２６は、画像符号化装置５００の外部に出力される。

尚、以上のＸ個の画像からＹ個の画像を選択する手段であるが、例えばＸの値が大きい場合にはそのままでは情報量が大きいことから、Ｘ画像の内のキーになる画像だけを選択することが有効である。このキーピクチャの選択方法としては、例えば１つ置きに画像を選ぶとか、被写体画像（例えば人物や車など）が含まれている画像を優先的に選択する手段等が効果的である。

このようにすることにより、対象画像の数を間引いて減らすことでエンコーダの処理負担のみならず、後述のデコーダの処理負担も軽減され、コードストリーム全体のデータ量も減り、例えばネットワーク伝送の際には早く伝送できるという効果もある。

複数機関からの研究成果によると、一般に画像の奥行きデータを高精度に推定・生成する場合、複数視点からの画像が多いほど精度が高い。従って図３６のＸのデータは大きいほど良い。しかし上記で述べた様にこれらのＸ個の画像を全部エンコードして伝送することは効率が悪く、間引きが有効である。間引かれた部分の画図の補充は、後述のデコーダで行うことになる。

また、図３６の構成に加えて、カメラ画像のビット深度を検出し、検出されたビット深度と奥行きデータのビット深度を比較して、奥行きデータをカメラ画像のビット深度に合わせるためのビットシフトを行い、上記Ｙ個の画像データと上記ビットシフト後の奥行きデータを合わせて、合計（Y+1）個の画像データとしてエンコードして、ビットシフト値を多重化部から送出することで、奥行きデータとカメラ画像とを同一のエンコード手段でエンコードすることが出来る。

［画像復号装置の構成］
図３７は、本発明を適用した画像復号装置の、さらに他の構成例を示すブロック図である。図３７に示される画像復号装置６００は、図３６の画像符号化装置５００に対応する装置であり、３次元の画像データが符号化された符号化データを復号する装置である。画像復号装置６００は、分離部６１１、奥行きデータデコード部６１２、カメラ画像デコード部６１３、および画像レンダリング部６１４を有する。

多重化されたコードストリーム６２１が供給されると、分離部６１１は、それを、奥行きデータのコードストリーム６２２と、Ｙ個のカメラ画像のコードストリーム（６２４−１，６２４−２，・・・，６２４−Ｙ）に分離する。Ｙ個のカメラ画像のコードストリーム（６２４−１，６２４−２，・・・，６２４−Ｙ）は、カメラ画像デコード部６１３に供給され、奥行きデータのコードストリーム６２２は、奥行きデータデコード部６１２に供給される。

カメラ画像デコード部６１３は、Ｙ個のカメラ画像のコードストリーム（６２４−１，６２４−２，・・・，６２４−Ｙ）を、カメラ画像エンコード部５１４の符号化方法に対応する復号方法で復号し、Ｙ個のカメラ画像（６２５−１，６２５−２，・・・，６２５−Ｙ）を生成する。Ｙ個のカメラ画像（６２５−１，６２５−２，・・・，６２５−Ｙ）は、画像レンダリング部６１４に供給される。

また、奥行きデータのコードストリーム６２２は、奥行きデータデコード部６１２に供給される。奥行きデータデコード部６１２は、奥行きデータのコードストリーム６２２を、奥行きデータエンコード部５１２の符号化方法に対応する復号方法で復号する。

奥行きデータデコード部６１２は、復号して得られた奥行きデータ６２３を、画像レンダリング部６１４に供給する。

画像レンダリング部６１４は、奥行きデータ６２３とＹ個のカメラ画像（６２５−１，６２５−２，・・・，６２５−Ｙ）を用いてＸ個のカメラ画像を合成する（Ｘ＞Ｙ）。このＸ個のカメラ画像を合成する方法は、任意であるが、例えばSPIE-IS&T/Vol.5291："Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV" by Christoph Fehn(HHI)で報告されている手法がある。

以上のように、従来はコンポーネント画像と奥行きデータとを別々にエンコードしていたものを、奥行きデータのビット深度をコンポーネント画像に合わせてから、同じエンコード手段で同時にレート制御を行いながらエンコードを行うので、従来の別々のエンコードに比べて高速且つ高能率（画質が向上）に符号化することができる。

またJPEG2000のビットプレーンを用いたエンコードにおいては、ウェーブレット変換後の係数をビットプレーン展開した後に、コードブロック単位にビットシフトを行い、MSBの位置合わせを行うことで、奥行きデータのビットプレーンとコンポーネント画像のビットプレーンを同時にレート制御が出来る。

＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図３８において、パーソナルコンピュータ７００のCPU７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。

入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図３８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明は、例えば、デジタルシネマ用編集装置、アーカイブシステム、放送局の画像伝送装置、画像データベース、医用画像の記録システム、ネットワークサーバ、インターネット上の画像伝送装置、無線伝送装置、映画館からの２次映像配信装置、ノンリニア編集装置、ゲーム機、テレビ受像機システム、HDDレコーダ、PC上のオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。

１００画像符号化装置，１１１ビット深度検出部，１１２ビットシフトチェンジ部，１１３エンコード部，１１４レート制御部，１１５多重化部，１５０画像復号装置，１５１分離部，１５２デコード部，１５３ビットシフトチェンジ部，４００画像処理装置，４１３エンコード部，４３０ビットシフトチェンジ部，４５０画像復号装置，４５２デコード部，４６０ビットシフトチェンジ部

Claims

画像データと、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとを所定の符号化方式で符号化する符号化手段と、
前記符号化手段による前記画像データの符号化結果、および、前記符号化手段による前記奥行きデータの符号化結果の両方を用いて、前記符号化手段による前記画像データの符号化における発生符号量のレート制御、および、前記符号化手段による前記奥行きデータの符号化における発生符号量のレート制御の両方を行うレート制御手段と
を備える画像処理装置。
前記画像データのビット深度を検出する検出手段と、
前記奥行きデータを、前記検出手段により検出された前記画像データのビット深度と前記奥行きデータのビット深度との差分だけシフトチェンジするシフトチェンジ手段と
をさらに備える請求項１に記載の画像処理装置。
前記シフトチェンジ手段は、前記奥行きデータを前記差分だけシフトアップし、シフトアップされた前記奥行きデータより下位のビットに対して、値「０」の係数を挿入するゼロ埋めを行う
請求項２に記載の画像処理装置。
前記シフトチェンジ手段は、前記奥行きデータの最下位ビットから前記差分の分のデータを削除し、前記奥行きデータの削除されなかった上位ビットを、前記差分だけシフトダウンする
請求項２に記載の画像処理装置。
前記シフトチェンジ手段によるシフトチェンジのシフト量を示すシフトチェンジ情報を、前記画像データの符号化データに多重化する多重化手段をさらに備える
請求項２に記載の画像処理装置。
前記符号化手段は、
所定のサイズのマクロブロック毎に、前記画像データおよび前記奥行きデータを直交変換する直交変換手段と、
前記直交変換手段により前記画像データおよび前記奥行きデータが直交変換されて得られた係数データをエントロピ符号化するエントロピ符号化手段と
を備える請求項１に記載の画像処理装置。
前記符号化手段は、
前記画像データおよび前記奥行きデータをウェーブレット変換するウェーブレット変換手段と、
前記ウェーブレット変換手段により前記画像データおよび前記奥行きデータがウェーブレット変換されて得られた係数データを所定のサイズのコードブロック毎に分割する分割手段と、
前記分割手段により分割されて得られた前記コードブロック毎の前記係数データをビットプレーン展開する展開手段と、
前記展開手段により展開された前記画像データおよび前記奥行きデータの係数データの前記ビットプレーンを、重要度順に並べ替えてエントロピ符号化するエントロピ符号化手段と
を備える請求項１に記載の画像処理装置。
前記符号化手段は、
前記奥行きデータを、前記画像データの係数データのビット深度と、前記ウェーブレット変換手段により前記奥行きデータがウェーブレット変換されて得られた係数データのビット深度との差分だけシフトチェンジするシフトチェンジ手段と
をさらに備える
請求項７に記載の画像処理装置。
前記シフトチェンジ手段によるシフトチェンジのシフト量を示すシフトチェンジ情報を、前記画像データの符号化データに多重化する多重化手段をさらに備える
請求項８に記載の画像処理装置。
前記画像データは、輝度Ｙ、色差Ｃｂ、および色差Ｃｒのコンポーネント画像データであり、
前記奥行きデータは、グレースケールのビットマップデータである
請求項１に記載の画像処理装置。
画像処理装置の画像処理方法であって、
前記画像処理装置の符号化手段が、画像データと、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとを所定の符号化方式で符号化し、
前記画像処理装置のレート制御手段が、前記画像データおよび前記奥行きデータの符号化結果の両方を用いて、前記画像データおよび前記奥行きデータの両方の符号化における発生符号量のレート制御を行う
画像処理方法。
コンピュータを、
画像データと、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータとを所定の符号化方式で符号化する符号化手段と、
前記符号化手段による前記画像データの符号化結果、および、前記符号化手段による前記奥行きデータの符号化結果の両方を用いて、前記符号化手段による前記画像データの符号化における発生符号量のレート制御、および、前記符号化手段による前記奥行きデータの符号化における発生符号量のレート制御の両方を行うレート制御手段
として機能させるプログラム。
画像データが符号化された符号化データ、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、前記シフト量を示すシフトチェンジ情報が多重化された多重化データから、前記シフトチェンジ情報を分離する分離手段と、
前記符号化データを所定の復号方式で復号する復号手段と、
前記復号手段により復号されて得られたシフトチェンジ後の奥行きデータを、前記シフトチェンジの方向とは逆方向に、前記分離手段により分離された前記シフトチェンジ情報に示される前記シフト量分シフトチェンジするシフトチェンジ手段と
を備える画像処理装置。
前記シフトチェンジ手段は、前記奥行きデータの最下位ビットから前記シフト量分のデータを削除し、前記奥行きデータの削除されなかった上位ビットを、前記シフト量分シフトダウンする
請求項１３に記載の画像処理装置。
前記シフトチェンジ手段は、前記奥行きデータを前記シフト量分シフトアップし、シフトアップされた前記奥行きデータより下位のビットに対して、値「０」の係数を挿入するゼロ埋めを行う
請求項１３に記載の画像処理装置。
前記復号手段は、
画像データが符号化された符号化データ、および、シフトチェンジ後の前記奥行きデータが符号化された符号化データをエントロピ復号するエントロピ復号手段と、
前記エントロピ復号手段によりエントロピ復号されて得られた、前記画像データが直交変換された係数データ、および、前記奥行きデータが直交変換された係数データを、逆直交変換する逆直交変換手段と
を備える請求項１３に記載の画像処理装置。
前記復号手段は、
画像データが符号化された符号化データ、および、シフトチェンジ後の前記奥行きデータが符号化された符号化データをエントロピ復号するエントロピ復号手段と、
前記エントロピ復号手段によりエントロピ復号されて得られた、ビットプレーン展開された係数データの前記ビットプレーンを合成するビットプレーン合成手段と、
前記ビットプレーン合成手段により合成されて得られた、所定のサイズのコードブロック毎の前記係数データを合成するコードブロック合成手段と、
前記コードブロック合成手段により合成されて得られた、サブバンド毎の係数データをウェーブレット逆変換し、前記画像データおよび前記奥行きデータを得るウェーブレット逆変換手段と
を備える請求項１３に記載の画像処理装置。
画像処理装置の画像処理方法であって、
前記画像処理装置の分離手段が、画像データが符号化された符号化データ、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、前記シフト量を示すシフトチェンジ情報が多重化された多重化データから、前記シフトチェンジ情報を分離し、
前記画像処理装置の復号手段が、前記符号化データを所定の復号方式で復号し、
前記画像処理装置のシフトチェンジ手段が、復号されて得られたシフトチェンジ後の奥行きデータを、前記シフトチェンジの方向とは逆方向に、前記符号化データから分離された前記シフトチェンジ情報に示される前記シフト量分シフトチェンジする
画像処理方法。
コンピュータを、
画像データが符号化された符号化データ、前記画像データの画像から視差を含み、立体視可能な画像を生成するための、前記画像データの画像内の全領域の奥行き方向の位置を示す奥行きデータが所定のシフト量分シフトチェンジされて符号化された符号化データ、および、前記シフト量を示すシフトチェンジ情報が多重化された多重化データから、前記シフトチェンジ情報を分離する分離手段と、
前記符号化データを所定の復号方式で復号する復号手段と、
前記復号手段により復号されて得られたシフトチェンジ後の奥行きデータを、前記シフトチェンジの方向とは逆方向に、前記分離手段により分離された前記シフトチェンジ情報に示される前記シフト量分シフトチェンジするシフトチェンジ手段
として機能させるプログラム。