JP2015228577A - 動画像符号化装置及び動画像復号装置並びに方法 - Google Patents

Abstract

【課題】CPUのSIMD演算等を利用する場合における、デプスに予測が適用される多視点映像の符号化・復号において、デプスルックアップデーブル(DLT)によるデプスとインデクス番号との変換の際の計算量を削減する。【解決手段】DLTと同様の変換を、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって実現する。ここで、エンコーダ側において所定長の多視点映像において現れているデプス値を調べ、DLTの情報を求め、折れ線グラフで近似して、当該グラフを構成する１次関数に基づいて、DLTと同様の変換を実現する有限回の演算命令を構成する。【選択図】図１２

Description

本発明は、動画像符号化装置及び動画像復号装置並びに方法に関し、特に、多視点映像における各視点のテクスチャ及び奥行きマップを対象として、奥行きマップに対するデプスイントラ予測と領域DC符号化を適用する動画像符号化装置及び動画像復号装置並びに方法に関する。

多視点映像符号化方式として、非特許文献１に開示のように、動画像符号化方式AVCを拡張したMVCが国際標準として規格化されている。また、非特許文献２に記載のように次世代動画像符号化方式HEVCを拡張したMV-HEVCが国際標準として規格化作業中である。

さらに、上記に加えて、多視点の映像（テクスチャ）と奥行（デプス）を対象とする符号化方式が検討されており、非特許文献３にその実装等の詳細が、また、非特許文献４にその概要的な内容が、記載されている。

図1は、当該符号化対象となる奥行きマップが対応付けられた多視点映像のデータ構成を概念的に示す図である。図示するように、カメラ位置に対応する各視点１〜ｎにおいて撮影された画像としてテクスチャ１〜ｎが与えられ、それぞれに奥行きマップ１〜ｎが用意され、このようなデータが各時刻ｔにおいて用意される。

テクスチャｉ（i=1,2,…,n）の各画素位置(x,y)において撮影される対象（オブジェクト）の、当該撮影しているカメラからの奥行きの値d(x,y)を与えたものが、奥行きマップｉ(i=1,2,…,n)となる。こうしたテクスチャ及び奥行きマップは、各視点１〜ｎ以外の任意視点での映像の生成その他の、種々の利用が可能である。

なお、奥行きマップは、既存の手法により用意される。例えば、各視点間の位置関係や各カメラパラメータなどの利用のうえ、各テクスチャｉ間において同一の特徴点の対応付け等の処理を行うことにより、各奥行きマップｉを用意することができる。

当該各視点ｉ(i=1,2,…,n)のテクスチャｉ及び奥行きマップｉを対象とする符号化方式において、非特許文献３，４に記載のように、次のような手法を適用することができる。まず、テクスチャには、通常のイントラ予測と動き補償、予測残差の変換・量子化から構成される動画像符号化方式（非特許文献１、２等の方式）を用いることができる。

一方、奥行きマップは、奥行きの値を画素値として有する「画像」とみなすこともできるので、テクスチャと同一の上記動画像符号化方式（通常方式）を適用することができる。さらに、当該通常方式の代わりに、あるいは当該通常方式と併用して、奥行きマップ専用のデプスイントラ予測を用いることもできる。なお、ここで、奥行きマップは信号特性がテクスチャのそれと大きく異なることから、専用のデプス予測方式が用意されている。

奥行きマップの信号特性として、オブジェクト境界においては奥行きが異なるため急峻なエッジが生じる一方で、オブジェクト表面は比較的、奥行きの変化が少ないといった点が挙げられる。すなわち、例えば、手前に存在する第一オブジェクトの「人物」と後方に背景として存在する第二オブジェクトの「壁」といったように、オブジェクトが異なるとオブジェクト内の平均の奥行きが大きく異なるという特性がある。

また、奥行きマップの別の信号特性として、テクスチャ信号との相関があるといった点が挙げられる。すなわち、例えば、手前に存在する第一オブジェクトの「人物」と後方に背景として存在する第二オブジェクトの「壁」といったように、テクスチャ映像について平均画素値をしきい値として前景・背景の2領域に分割した場合、奥行きマップでも同一の分割結果を得られるという特性がある。

また、奥行きマップの別の信号特性として、デプスマップの取りうる値が著しく少ない場合があるといった点が挙げられる。すなわち、例えば、第ｉオブジェクトは平均の奥行きとその前後数種類の奥行き値しか存在しないため、全てのオブジェクトを含む画像全体でも奥行き値の種類がテクスチャのそれと比べて例えば２分の１以下になるという特性がある。

図２及び図３はそれぞれ、当該各視点ｉ(i=1,2,…,n)のテクスチャｉ及び奥行きマップｉからなる多視点映像を対象とした動画像符号化装置及び動画像復号装置の機能ブロック図である。当該構成は、非特許文献１〜４に開示された周知の構成であるが、当該「背景技術」（及び後述の「発明を実施するための形態」）の説明において、対象となるデータや機能ブロック等がどれであるかを明確にする必要上から、以下、当該図２及び図３の各部を説明する。

図２にて、動画像符号化装置100は、入力部101、差分器102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、加算器106、ローカル復号画像メモリ107、インループフィルタ108、フレームバッファ109、動き補償部110、デプスイントラ予測部111、イントラ予測部112及び制御部113を備える。

図３にて、動画像復号装置200は、出力部201、エントロピー復号部204、逆量子化・逆変換部205、加算器206、ローカル復号画像メモリ207、インループフィルタ208、フレームバッファ209、動き補償部210、デプスイントラ予測部211、イントラ予測部212及び制御部213を備える。

動画像符号化装置100には、図１で説明したような多視点映像における各視点のテクスチャに奥行きマップを対応づけたデータが入力され、種々の予測などを適用し、変換・量子化して符号化する。動画像復号装置200は、当該符号化されたデータを復号して、逆量子化・逆変換し、対応する予測などを適用してから、当初の図１のデータ（多視点映像）に対応するものを出力する。

なお、動画像符号化装置100をエンコーダ、動画像復号装置200をデコーダと略称する。以下、非特許文献１〜４に開示の、エンコーダ及びデコーダの各部の概要を説明する。なお、同一又は対応する処理については、エンコーダ及びデコーダの機能部を併記しながら説明する。

入力部101では、図１のデータ（多視点映像）をエンコーダ側の入力として受け取り、当該データを差分器102に渡す。出力部201では、当該図１のデータに対応するものがデコーダ側で復号されてフレームバッファ209に蓄積されているのを、デコーダ側の出力として、出力する。差分器102は、入力部101から受け取ったデータにおける信号と、その予測信号として、制御部113の判断によって動き補償部110、デプスイントラ予測部111またはイントラ予測部112のいずれかが生成した信号と、の差分を求めて、当該差分の値を変換・量子化部103へ渡す。

変換・量子化部103は、差分器102より得た差分を、ブロック単位で直交変換して変換係数とし、さらに当該変換係数を量子化して、量子化値をエントロピー符号化部104及び逆量子化・逆変換部105へ渡す。エントロピー符号化部104は、変換・量子化部103から得た量子化値と、制御部113が適宜、必要に応じて出力した予測のパラメータ等と、をエントロピー符号化して、エンコーダ側の出力とする。

エントロピー復号部204は、エンコーダ側がエントロピー符号化部104で出力したビットストリームを、デコーダ側での入力として受け取り、エントロピー復号して、量子化値及び予測パラメータ等となす。量子化値は逆量子化・逆変換部205へ渡され、予測パラメータ等は、制御部213に渡される。

逆量子化・逆変換部105（逆量子化・逆変換部205）は、変換・量子化部103（エントロピー復号部204）より受け取った量子化値を、変換・量子化部103の逆の処理によって、逆量子化及び逆変換して、差分値となし、加算器106,206に渡す。

加算器106,206は、制御部113,213の判断によって、動き補償部110,210、デプスイントラ予測部111,211またはイントラ予測部112,212のいずれかが生成した予測信号と、逆量子化・逆変換部105,205が出力した差分値と、を加算して、復号された信号となし、当該復号された信号を、ローカル復号画像メモリ107,207に渡す。

ローカル復号画像メモリ107,207は、当該復号された信号を保持して、デプスイントラ予測部111,211とイントラ予測部112,212が予測を行う際の参照に供すると共に、当該復号された信号をインループフィルタ108,208に出力する。インループフィルタ108,208は、当該復号された信号にインループフィルタの処理を施して、フレームバッファ109,209に出力する。

フレームバッファ109,209は、フィルタ処理された信号を保持して、動き補償部110,210及びデプスイントラ予測部111,211が予測を行う際の参照に供する。デコーダ側では前述のように、フレームバッファ209は当該フィルタ処理された信号をデコーダの出力として、出力部201へ渡す。

動き補償部110,210は、フレームバッファ109,209の参照信号を用いて周知の動き予測を行い、予測信号を生成し、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。動きベクトルなどの予測パラメータは、エンコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、デコーダ側では、サイド情報として復号された後に予測信号を生成するために利用される。

デプスイントラ予測部111,211は、ローカル復号画像メモリ107,207とフレームバッファ109,209の参照信号を用いて、対象ブロックを２領域に分割するウェッジパターンを生成し、領域ごとに予測デプス値dを導出する。ウェッジパターン及びその生成については後述するが、ウェッジパターンの情報は利用されるモードに応じて適宜、サイド情報として符号化される。なお、別の予測手法では、２領域に分割せず対象ブロック全体について予測デプス値dを導出することもできる。

ここで、前述のようにデプス値dは取りうる値の種類がテクスチャのそれに比べて少ない等の特性があるので、取りうるデプス値dを0から始まるインデクス番号Iに紐付けて予め登録しておいたデプスルックアップテーブル(DLT)が利用され、符号化（及び復号化）は、デプス値dではなく対応するインデクス番号Iの形で実施される。

また、領域ごとに予測デプス値dとして導出されさらに変換されたインデクス番号Iは、一実施形態では、図２，３に実線で示すように、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡され、別の一実施形態では図２，３に点線で示すように、インデクス番号Iのまま直接、エントロピー符号化部104に入力（デコーダ側ではエントロピー復号部204から出力）される。いずれの場合も、インデクス番号Iに変換することで、デプス値dを直接符号化するよりも符号化効率が向上する。

なお、図２，３では、テクスチャとデプスとの共通の処理の流れを明示するという観点から、デプスのみに関連する当該DLTの利用に関する機能ブロックが省略されている。そこで、図２，３のうち当該DLTの利用に関連する部分に、関連する機能ブロックを追加して描いたのが、それぞれ図４，５及び、図６，７である。

図４，５は、導出されたインデクス番号Iが差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡された後に変換・量子化処理を経てからエントロピー符号化部104に入力（デコーダ側ではエントロピー復号部204から出力）される一実施形態における図２，３それぞれの該当部分を示している。また、図６，７は、同様に導出され渡されたインデクス番号Iが変換・量子化処理を経ずにそのまま直接、エントロピー符号化部104に入力（デコーダ側ではエントロピー復号部204から出力）される一実施形態における図２，３それぞれの該当部分を示している。

図４，６では、図２の構成に対して、正変換部151,152及び逆変換部161が追加され、図５，７では、図２の構成に対して、正変換部252及び逆変換部261が追加されている。3つの正変換部151,152,252は、入出力される信号がそれぞれ図示されるように異なるが、入力信号に対して出力信号を得るために処理する内容は同一であり、同一のDLTを参照して入力されたデプスdをインデクス番号Iに変換して出力する。逆変換部161,261も同様に、入出力される信号がそれぞれ図示されるように異なるが、信号に対して処理する内容は同一であり、正変換部151,152,252と同一のDLTを逆方向に参照してインデクス番号Iをデプスdに逆変換する。

そして、図示するように、当該正変換部151,152,252及び逆変換部161,261に関連する信号の流れは以下の通りである。

図４，５の一実施形態では、デプスイントラ予測部111,211（あるいは後述するように予測モードによってはイントラ予測部112,212）により予測されたデプス値dは、正変換部152にてインデクス番号Iに変換された後、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡される。エンコーダ側において差分器102では、デプスイントラ予測部111（あるいはイントラ予測部112）が予測する対象となった入力部101からの本来のデプス値dが正変換部151によってインデクス番号Iに変換されたものと、当該予測されたインデクス番号Iとの差分（オフセット）を算出して、変換・量子化部103に渡す。

当該オフセットは、エンコーダ側及びデコーダ側でそれぞれ、逆量子化・逆変換部105,205によって再構成されたオフセットとしてのインデクス番号Iとなり、加算器106,206に渡され、正変換部152,252から得られる予測されたインデクス番号Iと加算されることで、再構成されたインデクス番号Iとなり、逆変換部161,261において再構成されたデプス値dに変換された後、ローカル復号画像メモリ107,207に渡される。

図６，７の実施形態においても図示するように、以上の図４，５と同様の処理が、インデクス番号Iが量子化・変換及びその逆処理を受けることなく直接エントロピー符号化・復号されるという形で実施される。

図２，３の説明に戻り、イントラ予測部112,212は、ローカル復号画像メモリ107,207の参照信号を用いてイントラ予測を行い、予測信号を生成して差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。予測モードなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。

制御部113,213は、図１のように構成される多視点映像のデータに対して、各視点におけるテクスチャ及び奥行きマップをどのような順番でどのような予測を適用して符号化・復号するかに関して、総合的な制御を行う。当該制御にはブロックサイズの設定なども含まれる。エンコーダ側では、当該制御に必要なパラメータ等を符号化させるようにし、デコーダ側では、復号して当該パラメータを必要とする機能部に渡す。

エンコーダ側では、制御部113は、いずれかの予測部110,111,112において予測パラメータが生成された場合、エントロピー符号化部104へと渡す。デコーダ側では、予測パラメータが復号された場合、対応する予測部（動き補償部210、デプスイントラ予測部211又はイントラ予測部212）へと渡す。なお、図２，３では、当該制御部113又は213と、予測部110,111,112又は210,211,212と、の間における予測パラメータの授受の流れは、図が煩雑となるため、描くのを省略している。

以上のようなエンコーダ及びデコーダにより、テクスチャについては、デプスイントラ予測部111,211以外を利用して、従来の手法と同様にして符号化・復号が可能である。図示はしていないが、4つめの予測部として、視点間での予測を適用する視点間予測部をさらに備えて、視点間予測を適用してもよい。

また、奥行きマップ（デプス）については、上記テクスチャと同様の手法で符号化・復号が可能であると共に、デプスイントラ予測部111,211の適用も可能である。

図８は、デプスイントラ予測を適用する際の符号化・復号順序の例を示す図である。なお、周知のように、デコーダにおける復号順序はエンコーダにおける再構成順序にも対応している。(2)に示すように、視点i(i=1, 2, ..., n)における時刻tの奥行きマップは、ラスタスキャン順でB10の部分まで符号化・復号済みであり、現時点での符号化・復号対象であるブロックB0以降の領域B11が符号化・復号未完了とする。なお、B10の部分の各ブロックについては、必ずしもデプスイントラ予測が適用されている必要はなく、その他のイントラ予測などが適用されていてもよい。

一方、(1)に示すように、同じ視点iの同じ時刻tのテクスチャにおいては、奥行きマップのブロックB0と同位置のブロックA0は符号化・復号済みである。また、ラスタスキャン順でブロックA0までの領域A10も符号化・復号済みである。ブロックA0より後の領域A11は、符号化・復号済みであっても、未完了であってもよい。

このような符号化・復号対象の奥行きマップのブロックB0を符号化・復号する際には、非特許文献３，４に開示されているような種々のモードが可能である。

例えば、デプスイントラ予測部111,211が非特許文献３の「ＩＮＴＲＡ＿ＤＭＭ＿ＷＦＵＬＬ」の手法（あるいは、非特許文献４の「2.3.3.3 Constant partition value coding」）を用いる場合、以下の[手順1]〜[手順4]に従う。

[手順1] ウェッジパターンの構築と選択
[手順2] エッジ方向の検出
[手順3] ２領域の予測DC値とDCオフセット値の導出
[手順4] 予測DC値とDCオフセットの取得、デプス予測値の算出

[手順1]では、ブロックサイズに応じて予め定められたウェッジレットをテーブル化したウェッジパターン郡を作成する。ウェッジレットは、奥行きマップ内のブロックにおけるオブジェクト境界（例えば、人物と背景である壁との境界など）を直線としてモデル化したものである。

図９は、ウェッジレット及びウェッジレットによる予測を説明するための図である。図９の(1)には、予測対象となっているブロックB0が示されており、当該ブロックB0の4辺L1〜L4の中から、異なる2辺に属する点（画素位置の点）を選んで線分として結んだものが、ウェッジレットとなる。例えば(2)に示すように、辺L4上の点P1と、辺L3上の点P2とを結ぶ線分W1が、一つのウェッジレットとなり、当該ウェッジレットW1によって、ブロックB0は領域R1及びR2へと分割される。

当該異なる2辺上の2点を結ぶ線分として構成されるウェッジレットの可能なものの全て、または一部を候補として列挙することで、[手順1]にてウェッジパターン群が作成される。なお、ブロックサイズごとに、ウェッジレットの端点に利用しうる点の所定設定を決めておくことで、[手順1]にてウェッジパターン群が作成される。例えば、ブロックサイズが大きい場合は何点おきかに間引いて、ブロックサイズが小さい場合は1/2画素位置も含めて、端点を設定するといったことが可能である。

[手順2]では、デコーダ側では、あらかじめストリーム中に符号化されたウェッジパターンの番号を用いて、当該ブロックに適用するウェッジパターンを特定する。

また、エンコーダ側では[手順2]では、所定の予測モードによってウェッジパターンを決定したうえで、必要に応じてサイド情報として符号化する。ウェッジパターンを具体的に決定するための予測モードに関しては、非特許文献３，４に開示のいずれかを用いればよい。

[手順3]では、ウェッジパターンの四隅について、左上と同じ領域に属するかに応じて参照画素を特定し、さらに左上とそれ以外の領域の予測DC値を導出する。また、デコーダ側では、あらかじめストリーム中に符号化され、復号して得られたDCオフセット値を導出し、エンコーダ側では、当該導出されるべきDCオフセット値の算出を行う。

例えば、図９の(2)に示すウェッジパターンW1で分割された領域R1,R2については、図１０に示すように、それぞれ灰色、斜線で示す領域R10,R20における平均を予測DC値とすることができる。DCオフセット値は、各領域における当該予測DC値と、領域R1,R2内の各位置でのデプス値との差として、各位置につき算出される。なお、図１０では、図９の(2)に示すブロックB0のサイズが4×4であるものとして、領域R10,R20をそれぞれ7画素、2画素（「画素」位置にデプスが与えらている）の領域として示している。

[手順4]では、前記特定されたウェッジパターンと、前記導出された予測DC値、DCオフセット値を用いて、画素位置（デプスの画素位置）ごとあるいは領域ごとに予測DC値とDCオフセット値を取得し、その合計をデプスルックアップテーブル(DLT)の番号として予測画像を生成する。

例えば、画素位置ごとに予測画像を生成する場合であれば、図９の(2)の領域R1に対して予測画像として生成される番号は、ブロックB0の位置(x,y)における予測値をpredSamples[x][y]、予測DC値をpredDcVal、DCオフセットをdcOffset、DLTを参照しての正変換及び逆変換をそれぞれDepthValue2Idx, Idx2DepthValueとすると、以下の式(1)で与えられる。
predSamples[ x ][ y ]
= Idx2DepthValue[ DepthValue2Idx[ predDcVal ] + dcOffset ] …(1)

なお、上記の式(1)は、図６，７の構成における以下の部分に対応している。

すなわち、図６にて、デプスイントラ予測部111が予測DC値predDcValを出力し、これが正変換部152によってDepthValue2Idx[ predDcVal ]へ変換される。一方、dcOffsetは、入力部101から入力される入力画像のデプス値が正変換部151によって変換されたインデクス番号と、当該変換されたDepthValue2Idx[ predDcVal ]との差分を差分器102で取得することで得られる。

そして、上記の式(1)は、加算器106において当該変換されたDepthValue2Idx[ predDcVal ]と当該得られたdcOffsetとがインデクスの形で加算された後に、逆変換部161によって逆変換され、予測されたデプス値predSamples[ x ][ y ]となることを表している。

また、上記の式(1)は図７でも同様のことを表している。すなわち、エントロピー復号部204がインデクスとしてのdcOffsetを出力したものと、デプスイントラ予測部211が予測DC値predDcValを出力した後に正変換部152によってインデクスとしてのDepthValue2Idx[ predDcVal ]へ変換されたものと、が加算器206によってインデクスの形で足しあわされた後に、逆変換部261によってデプス値に逆変換され、予測されたデプス値predSamples[ x ][ y ]となることを表している。

以上、その一例を示したように、非特許文献３，４のデプスを対象とした予測においては、各種の予測とDLT（デプスルックアップテーブル）とが組み合わせて利用される。なお、DLTはエンコーダ側で作成してからデコーダ側にその情報を送る必要があるが、復号手法に関しては非特許文献３の「I.8.3.6」に開示されている。

DLT利用の機能ブロックは図４〜７に示した通りであるが、DLTの利用がなされうる具体的な態様を列挙すると、次の[場合1]〜[場合3]の通りである。すなわち、上記に例を挙げたような[場合1]デプスイントラ予測と、[場合2]一部のイントラ予測モードにおいて逆量子化・逆変換した残差信号との加算と、[場合3]予測信号とDC差分との加算と、である。

図１１は、非特許文献３，４における当該DLTの利用がなされうる場合分けと、各場合における対象ブロックに対する符号化／復号の処理内容と示したフローチャートである。

ステップS1では、当該ブロックに適用するイントラ予測モードが何であるかを特定する変数「predModeIntra」の値が「INTRA_DMM_XXX」であるか否か、すなわち、デプス予測を適用するか否か、の判断が行われ、肯定であればステップS2に進み、否定であればステップS3へ進む。

なおここで、「XXX」は「WFULL」又は「CPREDTEX」を表している。すなわち、ステップS1では非特許文献３のI.8.4.2節Table I-4に列挙されている「INTRA_DMM_WFULL」又は「INTRA_DMM_CPREDTEX」であるかが判断されるが、デプス予測は種々検討可能であるため、当該テーブルに今後増減が生じた場合、それらについても同様に判断対象としてよい。このような意味にて、以降の説明でも「INTRA_DMM_XXX」の記載を用いることとする。

ステップS2では、当該ブロックにはデプスイントラ予測部111,211によって領域ベースのデプス予測が適用される旨と、この際にDLTが利用可能である判断を得て、ステップS4へ進む。なお、領域ベースのデプス予測とは、ウェッジレットによって２つに分割される各領域を対象としたデプス予測、あるいは、分割はなされず全体を１領域とするデプス予測を意味する。

ステップS3では、当該ブロックにはイントラ予測部112,212によって通常のイントラ予測が（デプス信号を対象として）適用される旨の判断を得て、ステップS４へ進む。

ステップS4では、当該ブロックを対象として、デプス予測における簡易予測実施のオプションである、SDC（Segment-wise DC）を利用するか否かの判断が行われ、肯定であればステップS5へ進み、否定であればステップS7へ進む。なお、SDCオプションを利用する場合は、予測が画素位置単位ではなく、領域単位（ウェッジレットで分割されていれば2領域それぞれ、分割されていなければブロック全体の1領域）で行われる。

ステップS5では、SDCオプション適用により領域単位でのDC差分信号を各予測手法（イントラデプス予測又は通常のイントラ予測）に従って算出したうえで、エンコーダ側では符号化し、デコーダ側では復号して、ステップS6へ進む。なお、オフセットが領域全体で定義されることから、「DC差分信号」と称している。

ステップS6では、エンコーダ側では再構成された信号から与えられデコーダ側では復号された信号から与えられる予測信号と、ステップS5で求まったDC差分信号とを加算することで、エンコーダ側では再構成されたデプス信号を、デコーダ側では復号されたデプス信号を、それぞれ領域ごとに得て、フローは終了する。

なお、当該ステップS5,S6を通る場合は、予測の態様としては上記[場合3]に相当し、DLT利用の態様としては、図６，７のように、インデクス番号が変換・量子化処理を経ずに直接符号化・復号される態様に相当する。

一方、ステップS4にてSDCオプションの利用はしない判断を得てステップS7へ進むと、当該予測モード（イントラデプス予測又は通常のイントラ予測）の適用のもとで、量子化・変換処理を行ってから、ステップS8へ進む。従って、ステップS7へ進んだ場合で、且つDLTを利用する場合（後述のステップS9へ進んだ場合）、その態様は図４，５に示すものとなる。

ステップS8では、DLTを利用する旨のフラグ変数である「DltFlag」が真である、すなわち「DltFlag=1」であり、且つ、イントラ予測モードが所定のいずれかに設定されているか、が判断され、肯定であればステップS9へ進み、否定であればステップS10へ進む。

当該ステップS8では、所定のイントラ予測モードとして、イントラ予測部112,212がDC予測（INTRA_DC）、水平予測(INTRA_HOR)若しくは垂直予測(INTRA_VER)を適用するか、又は、デプスイントラ予測部111,211がデプスイントラ予測(INTRA_DMM_XXX)を適用するか、の４通りのいずれかに該当するか否かが判断される。

ステップS9では、DLTを利用して対応するイントラ予測を実施して予測信号を得て、エンコーダ側では予測信号を入力信号に対して差分して得られる残差信号を符号化し、デコーダ側では予測信号と復号された残差信号とを加算して復号を実施し、フローを終了する。ここで、イントラ予測部112,212が適用された場合が、上記の[場合2]に相当し、デプスイントラ予測部111,211が適用された場合が、上記の[場合1]に相当する。

一方、ステップS8にて否定の判断を得てステップS10に進んだ場合は、イントラ予測部112,212が上記ステップS8,S9における3通りの予測手法以外の予測実施してから、フローを終了する。

なお、当該ステップS10にて、「DltFlag=0」の場合、DLTは利用されないが、「DltFlag=1」の場合は、対応するイントラ予測のもとで、DLTを利用する。当該DLTを利用する場合も上記の[場合2]に含まれる。

なお、ウェッジレットに基づく領域ベースの予測信号生成処理（図１１のステップS2を経由する場合）の詳細は、非特許文献３の「I.8.4.4.2.9」に開示されている。一部のイントラ予測モードについて予測線号と残差信号との加算（図１１のステップS9を経由し、且つ[場合2]に該当する場合）の詳細は、非特許文献３の「I.8.4.4.1」に開示されている。予測信号とDC差分信号との加算（図１１のステップS6を経由する場合）の詳細は、非特許文献３の「I.8.4.4.3」に開示されている。

ISO/IEC 14496-10 - MPEG-4 Part 10, Advanced Video Coding. JCT3V-G1004, MV-HEVC Draft Text 7 JCT3V-G1001, 3D-HEVC Draft Text 3 JCT3V-G1005, Test Model 7 of 3D-HEVC and MV-HEVC

以上のように、非特許文献３，４におけるデプスの符号化／復号においては、適用される予測に応じた各デプス信号を対象として、DLTが活用されている。

ここで、一般には、複雑な計算よりもルックアップテーブルの方が、処理時間を削減できると考えられる。これは、メモリが十分大きくかつメモリアクセスが演算時間と比較して十分に高速であることを前提としている。DLTも当該前提のもとで活用されている。

一方、近年、CPU(中央演算装置)やGPU(グラフィック処理装置)の処理性能の向上や専用集積回路（ASIC）の開発リスク上昇の結果、動画像符号化装置及び動画像復号装置を、SIMD(Single Instruction Multiple Data)演算器あるいはMIMD(Multiple Instruction stream, Multiple Instruction stream)などCPUやGPUに備えられたアクセラレーション機能を用いて実現するケースが増加している。

しかしながら、CPUのSIMDやGPUのMIMDを用いて実装する場合、上記のルックアップテーブル利用メリットについての前提が成り立たない場合がある。例えば、SIMDやMIMDのレジスタの数には制限があり、テーブル全体を格納する十分なメモリがない。そのため、テーブルの置かれたキャッシュメモリや主記憶メモリへ参照しに行くため、メモリアクセスはCPUやGPUの内部計算と比較し、相対的に低速となる。例えば、SIMD演算やMIMD演算には数サイクルの時間が必要だが、テーブルを格納可能な場所として数MBの容量を有するキャッシュを想定した場合、1アクセスにつき数十サイクルの時間が必要となる。

特に、以上説明してきたデプスイントラ予測で用いられるデプスルックアップテーブル(DLT)は、上記前提が成り立たず、SIMD演算器あるいはMIMD演算器を有するCPUやGPUを用いた実装において、処理時間が多く必要となってしまう課題があった。すなわち、例えば前述の[手順1]〜[手順4]の手法を取る場合、[手順4]において予測された奥行き値をテーブル内の番号に変換している。当該変換はその他の手法を取る場合も同様に必要となるが、テーブルのエントリ数に比例して番号の探索をする必要があるため、その処理時間は多い。

本発明は、当該課題に鑑み、デプスルックアップデーブルによる変換の際の計算量を削減することが可能な、動画像符号化装置及び動画像復号装置並びに方法を提供することを目的とする。

上記目的を達成するため、本発明は、多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して符号化する動画像符号化装置であって、当該予測され符号化されるデプスをインデクス番号に変換する正変換部と、当該予測され符号化される対象となったインデクス番号を再構成するためにデプスに逆変換する逆変換部と、を備え、
前記正変換部及び逆変換部は、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記正変換及び逆変換を行うことを特徴とする。

また、本発明は、多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して復号する動画像復号装置であって、当該予測され復号される、インデクス番号をデプスに逆変換する逆変換部と、当該逆変換されたデプスを再構成するためにインデクス番号に変換する変換部と、を備え、前記逆変換部及び正変換部は、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記逆変換及び正変換を行うことを特徴とする。

また、本発明は、多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して符号化する動画像符号化方法であって、当該予測され符号化されるデプスをインデクス番号に変換する正変換段階と、当該予測され符号化される対象となったインデクス番号を再構成するためにデプスに逆変換する逆変換段階と、を備え、前記正変換段階及び逆変換段階は、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記正変換及び逆変換を行うことを特徴とする。

さらに、本発明は、多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して復号する動画像復号方法であって、当該予測され復号される、インデクス番号をデプスに逆変換する逆変換段階と、当該逆変換されたデプスを再構成するためにインデクス番号に変換する変換段階と、を備え、前記逆変換段階及び正変換段階は、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記逆変換及び正変換を行うことを特徴とする。

本発明によれば、デプスルックアップテーブル(DLT)を直接参照して行うのと同様の正変換及び逆変換を、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって行うので、SIMD演算器を有するCPUを用いた実装等においてDLTを直接参照するよりも計算量を削減することができる。

多視点映像における各視点の画像（テクスチャ）に奥行きマップが対応づけられて構成されたデータ構成を説明するための図である。 多視点映像を対象とした動画像符号化装置の機能ブロック図である。 多視点映像を対象とした動画像復号装置の機能ブロック図である。 図２の構成のうちデプスルックアップテーブルに関連する部分に、関連する機能ブロックを追加して描いた図であり、インデクス番号が変換・量子化処理を経る一実施形態に係る図である。 図３の構成のうちデプスルックアップテーブルに関連する部分に、関連する機能ブロックを追加して描いた図であり、インデクス番号が変換・量子化処理を経る一実施形態に係る図である。 図２の構成のうちデプスルックアップテーブルに関連する部分に、関連する機能ブロックを追加して描いた図であり、インデクス番号が変換・量子化処理を経ずに符号化・復号される一実施形態に係る図である。 図３の構成のうちデプスルックアップテーブルに関連する部分に、関連する機能ブロックを追加して描いた図であり、インデクス番号が変換・量子化処理を経ずに符号化・復号される一実施形態に係る図である。 デプスイントラ予測を適用する際の符号化・復号順序の例を示す図である。 ウェッジレット及びウェッジレットによる予測を説明するための図である。 予測DC値及びDCオフセット値を説明するための図である。 デプスルックアップテーブルの利用がなされうる場合分けと、各場合における対象ブロックに対する符号化／復号の処理内容と示したフローチャートである。 デプスルックアップテーブルを折れ線グラフとして近似する例を示す図である。

本発明の一実施形態に係る動画像符号化装置は、図２、図４、図６に示すのと同様の構成に係る動画像符号化装置100である。また、本発明の一実施形態に係る動画像復号装置は、図３、図５、図７に示すのと同様の構成に係る動画像復号装置200である。

ただし、本発明においては、動画像符号化装置100及び動画像復号装置200における正変換部151,152,252及び逆変換部161,261がそれぞれ、従来技術のようにDLTをそのまま参照することで正変換及び逆変換を実施するのに代えて、SIMD演算やMIMD演算における、加算、減算、乗算、シフト演算及び条件分岐をその演算命令の構成要素になりうるものとして有する有限回の演算命令で、DLTと同様の正変換及び逆変換を実施する。

こうして本発明では、正変換部151,152,252において前述の式(1)等ではDLTを参照することによって実現されていた正変換DepthValue2Idxと全く同様の正変換を、当該有限回の演算命令による変換DepthValue2IdxEqとして実現する。同様に、逆変換部161,261において前述の式(1)等ではDLTを参照することによって実現されていた逆変換Idx2DepthValueと全く同様の逆変換を、当該有限回の演算命令による変換Idx2DepthValueEqとして実現する。

ここで、DLTと同様の正変換／逆変換を、加算、減算、乗算、シフト演算及び条件分岐からなる群から選択された有限回の演算命令で実現するには、具体的には次のようにすればよい。

まず、DLTの情報を、動画像符号化装置100において生成しておく必要がある。その一例として、入力される多視点映像におけるデプス画像（デプス映像）の所定部分、例えば、シーケンスの先頭１秒分のデプス画像を対象に、奥行き値（デプス値d）が利用されているかの有無を調査し、利用されている奥行き値のみに、小さい値から順に、開始値0から始まる番号を付与する。こうして、DLTが得られる。なお、当該DLTを得る方法自体は、非特許文献４の「2.3.4.1.1 Construction of the depth lookup table」等にも開示されている。

そして、本発明ではさらに、当該得られたDLTにおいて、番号I(I=0, 1, 2, …, n-1)に対して単調に増加するデプス値d(I)を、１次関数の集合としての折れ線グラフで近似したうえで、該グラフを一連の加算・減算・乗算・シフト演算・条件分岐を要素演算として有し、所定順番で適用されるような数式へと変換する。近似の結果、当初、変換テーブルの形で与えられていたDLTは演算命令として表現される。当該表現された演算命令の情報は、サイド情報として符号化され復号されることで、デコーダ側においても利用可能となる。

図１２は、当該近似された折れ線グラフd=d(I)の概念的な例である。当該折れ線グラフの情報を演算名の形で保持しておくことで、デプス値dから番号Iへの正変換は以下の式(2)で、番号Iからデプス値dへの逆変換は、以下の式(3)で可能である。

DepthValue2IdxEq( d )= (d-d(i)) * mulFW(i) >> 8 …(2)
Idx2DepthValueEq( I ) = -(I(i)-I)*mulIV(i)+d(i) …(3)

上記の式(2)は、折れ線グラフの情報を、dとd(i)の比較を行いd>d(i)を満たす場合にmulFWによる乗算と右シフト演算によりインデクス番号を算出する形で保持しておくことで、有限回であるi回の比較と加算、乗算、右シフト演算で実現されることは明らかである。同様に式(3)は、IとI(i)の比較を行いI<I(i)を満たす場合にmulIVによる乗算と加算（減算）により実現されることは明らかである。また、mulIV * mulFWは概ね1<<8=256に近い値とし、いずれかをサイド情報として符号化しておく。

なお、折れ線グラフで近似する手法としては、種々の周知手法が利用可能である。例えば以下のURLに開示の、幾何研究分野で一般的な図形の輪郭線を直線群で近似する手法などが利用可能である。
http://www.mm.media.kyoto-u.ac.jp/education/DIP/WEBPAGE_SECTION/section7/node17.html

こうして、本願発明においてはDLTをそのままテーブルとして参照するのに代えて、同様の処理が可能な演算命令によって正変換部151,152,252及び逆変換部161,261を実現することで、必要なメモリ量が削減されると共に、計算が高速化される。

特に、数式により変換が実現されるため、変換テーブルによるメモリアクセスが不必要になる。また、SIMD演算やMIMD演算による変換が可能となり、複数のデプス値と番号を同時に変換可能になる。これらの結果、処理時間を削減可能となる。なお、CPU/GPUと異なりSIMD/MIMD演算自体を拡張可能なFPGAやASICでの実装においては、動画像符号化装置100側においてサイド情報として符号化・復号された変換式から、動画像復号装置200側においてルックアップテーブルを再構築し、従来と同様にテーブル引きによる変換を実現することも可能である。すなわち、数式表現のほうが変換テーブルよりもサイド情報としては汎用性が高い。また、動画像符号化装置100側の再構成処理においても、同様のことが可能である。

式(2),(3)の特別な場合として、具体例を挙げると、例えばデプス値dが離散的であり5の倍数でしか存在しない場合、近似される折れ線グラフは「d=5*I」であり、デプス値dから番号Iへの正変換DepthValue2IdxEq(d)と、番号Iからデプス値dへの逆変換Idx2DepthValueEq( I )は、以下の式(4), (5)のような数式によって実現することができる。
DepthValue2IdxEq( d ) = ( 51 * d ) >> 8 …(4)
Idx2DepthValueEq( I ) = 5 * I …(5)

なお、式(4)は、最も単純には以下の式(4b)のように、5で割ることによってデプス値dから番号Iへと変換することとなる。
DepthValue2IdxEq( d ) = d/5 …(4b)

しかしながら、本発明において使用可能な要素演算は「加算・減算・乗算・シフト演算・条件分岐」であって、除算は使用不可能であるため、除算と（概ね）同様の処理を周知のように、当該要素演算の組み合わせで実現したものが式(4)である。式(4)では、「5で除算すること」を「51で乗算すること」に続いて「右シフト演算を8回行うこと」によって模擬的に実現している。

以上のような、本願発明においてDLTを直接用いるのに代えて有限回の演算処理として実現された正変換及び逆変換は、従来技術においてDLTが利用されている各所において実施することが可能である。以下、各実施例を説明する。

（実施例１）
当該実施例では、有限回の演算処理として実現された正変換DepthValue2IdxEq及び逆変換Idx2DepthValueEqを、前述の式(1)で説明したデプスイントラ予測（図２、図３のデプスイントラ予測部111,112）において実施する。図１１の場合分けでは、ステップS9を「predModeIntra=INTRA_DMM_XXX」で実施する場合に相当する。当該実施例はすなわち、以下の式(6)で表現することができる。
predSamples[ x ][ y ]
= Idx2DepthValueEq( DepthValue2IdxEq( predDcVal ) + dcOffset ) …(6)

上記式(6)中の各値は式(1)で説明したのと同様であり、式(1)においてDLTを直接参照することで実現されていた正変換及び逆変換DepthValue2Idx, Idx2DepthValueが、式(6)では同様の変換を有限回の演算処理で実現するものに置き換えられている。式(1)と同様、上記式(6)も正変換・逆変換に関連する機能ブロックとしては図４，５の構成（変換・量子化処理を経る構成）で実現される。

（実施例２）
当該実施例では、有限回の演算処理として実現された正変換DepthValue2IdxEq及び逆変換Idx2DepthValueEqを、デプス値を対象とした通常のイントラ予測（図２，３のイントラ予測部112,212）において実施する。図１１の場合分けでは、ステップS9を「predModeIntra=INTRA_DC,INTRA_HOR又はINTRA_VER」で実施する場合に相当する。当該実施例はすなわち、以下の式(7),(8)で表現することができ、正変換・逆変換に関連する機能ブロックとしては図４，５（変換・量子化処理を経る構成）で実現される。
idx = DepthValue2IdxEq( predSamples[ i ][ j ] ) + resSamples[ i ][ j ] …(7)
SL[ xTb0 + i ][ yTb0 + j ] = Idx2DepthValueEq( idx ) …(8)

式(7)は、デプス値に対してイントラ予測を適用してから、番号idxに正変換することを表しており、式(8)はその逆に、復号処理あるいは再構成処理において番号idxをデプス値に逆変換することを表している。なお、離散値演算（ルックアップテーブル）は[]として表記し、連続値演算（数式）は()として表記してある。

すなわち、式(7),(8)は図４，５における次の処理を表している。イントラ予測部112,212において、通常のイントラ予測（テクスチャ用イントラ予測）をデプス値に適用して得られた各位置[i][j]での予測値predSamplesは、正変換部152,252に渡されることで、式(7)のインデクス番号DepthValue2IdxEq( predSamples )へと変換される。一方、入力部101から得られたデプス値が正変換部151でインデクス番号に変換されたものと、当該変換されたインデクス番号DepthValue2IdxEq( predSamples )との差分を差分器102で生成して、式(7)における差分に対応するインデクスresSamplesが各位置[i][j]で得られ、エンコーダ側では再構成処理に渡され、デコーダ側では復号される。

そして、式(8)は、当該エンコーダ側における再構成処理及びデコーダ側における復号処理の両者を表している。すなわち、エンコーダ側の加算器106及びデコーダ側の加算器206のそれぞれにおいて式(7)によりインデクス形式で加算されidxが得られた後に、逆変換部161,261により再構成・復号されるデプス値SLを表しているのが式(8)である。

なお、式(7),(8)にて(xTb0, yTb0)は対象ブロックの左上位置を、(i, j)は対象ブロック内での位置を表している。

（実施例３）
当該実施例では、有限回の演算処理として実現された正変換DepthValue2IdxEq及び逆変換Idx2DepthValueEqを、図１１の場合分けにおけるステップS6の場合において適用する。

すなわち、再構成画像の生成処理において、フレームバッファの参照画像を用いて、一領域とみなす、もしくは前述のように二領域に分割するウェッジパターンを生成し、領域ごとに予測DC値とサイド情報として符号化・復号されるオフセット値（番号）を加える。ただし、オフセット値（番号）はデプス値の差分を表しているため、予測値も一度番号に変換する必要がある。なお、当該変換処理は、図６，７に示されている通りである。従って、当該実施例は以下の式(9a),(9b), (10)で表すことができる。
dltIdxPred = DepthValue2IdxEq( dcPred[ wedgePattern[ x ][ y ] ] ) …(9a)
dltIdxResi = DcOffset[ xTb ][ yTb ][ wedgePattern[ x ][ y ] ] …(9b)
S[ xTb0 + x ][ yTb0 + y ] = predSamples[ x ][ y ] +
Idx2DepthValueEq( dltIdxPred + dltIdxResi ) - dcPred[ wedgePattern[ x ][ y ] ]…(10)

式(9a),(9b)はそれぞれ、予測DC値及びオフセット値をインデクス番号に変換したものとして「dltIdxPred」及び「dltIdxResi」を表しており、式(10)はエンコーダ側にて再構成されデコーダ側にて復号されるデプス値「S」を表している。式(9a),(9b),(10)のwedgePatternとdcPredは分割された領域のインデックス番号と、領域（インデックス番号）に対する予測DC値とをそれぞれ表している。

以上、有限回の演算処理として実現された正変換DepthValue2IdxEq及び逆変換Idx2DepthValueEqを、既存のDLTの直接参照による処理が適用されているどの箇所を置き換えるか、という観点により（実施例１）〜（実施例３）を説明した。以下、別の観点から、当該（実施例１）〜（実施例３）とそれぞれ組み合わせ可能な各実施例を説明する。

（実施例４）
有限回の演算処理として実現する正変換DepthValue2IdxEq及び逆変換Idx2DepthValueEqを構成する変換式は、S8のintraPredModeの条件とは独立に、イントラ予測モードに応じて変換式を変えるようにしてよい。

たとえば、水平から左上、垂直にわたる予測方向については変換を行わず、それ以外の予測方向については変換を適用する。その結果、参照画素の信頼性を考慮可能となり、処理時間の削減と符号化性能が改善する。

なお、当該実施例では、変換式を変えようとするイントラ予測モード毎に、あらかじめ予測方向（信頼度）に応じて1次関数の近似精度を変える（信頼度が低いほど粗い近似とし、信頼度が高いほど高精度な近似とする）ことで、イントラ予測モードに応じた変換式を構築することができる。例えば、水平から左上、垂直にわたる予測方向では通常の変換式（高信頼に相当）を用い、それ以外の予測方向については、インデックス番号の個数を半分にする等して減らすことで、別の変換式（低信頼に相当）を用いるようにしてよい。

（実施例５）
有限回の演算処理として実現する正変換DepthValue2IdxEq及び逆変換Idx2DepthValueEqは、前述のように「加算・減算・乗算・シフト演算・条件分岐」の数式を要素とするのに加えて、さらに、SIMD分野において周知の小規模テーブル（例えばテーブルサイズが１６）とを組み合わせて実現してもよい。すなわち、入力値をテーブルサイズごとに分割し、分割された値ごとに小規模テーブルを適用することで実現してもよい。なお、小規模テーブルは周知のように１命令で実現できるので、当該実施例のように、演算命令の１種類として利用してもよい。

以上、本発明によれば、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、DLTを直接参照するのと同様の正変換・逆変換を実現するので、SIMD演算器を有するCPUを用いた実装等においてDLTを直接参照するよりも計算量を削減することができる。

なお、本発明はコンピュータ（CPU、メモリ及び各種インタフェースといった周知のハードウェア構成を備えるコンピュータ）を図２〜図７の各部として機能させる、あるいはコンピュータに図２〜図７の各部に対応するステップを実行させる動画像符号化プログラム又は動画像復号プログラムとして、提供することが可能である。さらに、当該各プログラムは、コンピュータ読み取り可能な読み取り媒体に記録して、提供されてもよい。

100…動画像符号化装置、200…動画像復号装置、111,211…デプスイントラ予測部、112,212…イントラ予測部、151,152,252…正変換部、161,261…逆変換部

Claims (13)

1. 多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して符号化する動画像符号化装置であって、
   当該予測され符号化されるデプスをインデクス番号に変換する正変換部と、
   当該予測され符号化される対象となったインデクス番号を再構成するためにデプスに逆変換する逆変換部と、を備え、
   前記正変換部及び逆変換部は、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記正変換及び逆変換を行うことを特徴とする動画像符号化装置。
2. 前記正変換部及び逆変換部では、符号化対象の多視点映像における所定部分から取得されたデプスが取りうる値をインデクス番号に対応付けたテーブルを参照して行われるのと同様の正変換及び逆変換を、前記有限回の演算命令によって行うことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記正変換部及び逆変換部のそれぞれにおける前記有限回の演算命令は、前記テーブルを１次関数の集合としての折れ線グラフに変換し、当該折れ線グラフを構成している１次関数に基づいて構築されていることを特徴とする請求項２に記載の動画像符号化装置。
4. 前記正変換部及び逆変換部は、加算、減算、乗算、シフト演算及び条件分岐からなる前記群にさらに所定規模の変換テーブルを加えた群より選択された有限回の演算命令によって、それぞれ前記正変換及び逆変換を行うことを特徴とする請求項１ないし３のいずれかに記載の動画像符号化装置。
5. 前記予測され符号化されるデプスは、
   予測を適用し、予測残差を変換・量子化して符号化されるものである、または、予測を適用し、DC成分のみが符号化されるものである、ことを特徴とする請求項１ないし４のいずれかに記載の動画像符号化装置。
6. 前記デプスに適用される予測は、デプス専用の予測である、または、テクスチャ用の予測をデプスに適用したものである、ことを特徴とする請求項１ないし５のいずれかに記載の動画像符号化装置。
7. 前記有限回の演算命令が、デプスに対して適用されるイントラ予測モードに応じて定まっていることを特徴とする請求項１ないし６のいずれかに記載の動画像符号化装置。
8. 多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して復号する動画像復号装置であって、
   当該予測され復号されるインデクス番号をデプスに逆変換する逆変換部と、
   当該逆変換されたデプスを再構成するためにインデクス番号に変換する変換部と、を備え、
   前記逆変換部及び正変換部は、加算、減算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記逆変換及び正変換を行うことを特徴とする動画像復号装置。
9. 前記逆変換部及び正変換部は、加算、減算、乗算、シフト演算及び条件分岐からなる前記群にさらに所定規模の変換テーブルを加えた群より選択された有限回の演算命令によって、それぞれ前記逆変換及び正変換を行うことを特徴とする請求項８に記載の動画像復号装置。
10. 前記予測され復号されるデプスは、
    予測を適用し、予測残差を逆量子化・逆変換して復号されるものである、または、予測を適用し、DC成分のみが復号されるものである、ことを特徴とする請求項８または９に記載の動画像復号装置。
11. 前記デプスに適用される予測は、デプス専用の予測である、または、テクスチャ用の予測をデプスに適用したものである、ことを特徴とする請求項８ないし１０のいずれかに記載の動画像復号装置。
12. 多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して符号化する動画像符号化方法であって、
    当該予測され符号化されるデプスをインデクス番号に変換する正変換段階と、
    当該予測され符号化される対象となったインデクス番号を再構成するためにデプスに逆変換する逆変換段階と、を備え、
    前記正変換段階及び逆変換段階は、加算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記正変換及び逆変換を行うことを特徴とする動画像符号化方法。
13. 多視点映像における各視点のテクスチャ及びデプスに対して予測を適用して復号する動画像復号方法であって、
    当該予測され復号されるインデクス番号をデプスに逆変換する逆変換段階と、
    当該逆変換されたデプスを再構成するためにインデクス番号に変換する変換段階と、を備え、
    前記逆変換段階及び正変換段階は、加算、乗算、シフト演算及び条件分岐からなる群より選択された有限回の演算命令によって、それぞれ前記逆変換及び正変換を行うことを特徴とする動画像復号方法。