JP2016537858A - マルチビュービデオをデコードするビデオデコード方法及び装置 - Google Patents

Abstract

本発明は、マルチビュービデオをコーディングする方法及び装置に関し、本発明に係るデコード装置は、ビットストリームをエントロピーデコードして、レジデュアル予測に関する情報を現在ブロックの周辺ブロックを参照してデコードするエントロピーデコード部と、現在ブロックのデコードに参照されるピクチャを格納するメモリと、前記レジデュアルに関する情報を利用して、前記メモリに格納されたピクチャにおいて前記現在ブロックに対応する第１ブロック及び第２ブロック間のサンプル値差に基づいて、現在ブロックに対する予測サンプルを引き出す予測部と、前記予測サンプルを利用して復元された現在ピクチャにフィルタリングを適用するフィルタリング部とを備えることができる。【選択図】図７

Description

本発明は、ビデオコーディングに関する技術であり、さらに具体的には、３Ｄビデオ映像のコーディングに関する。

最近、高解像度、高品質の映像に対する要求が多様な応用分野において増加している。しかしながら、映像が高解像度を有し高品質になるほど、該当映像に関する情報量も共に増加する。

したがって、従来の有無線広帯域回線のような媒体を利用して、映像情報を送信するか、または従来の格納媒体を利用して映像情報を格納する場合には、情報の送信費用と格納費用が増加するようになる。高解像度、高品質映像の情報を効果的に送信して格納し、再生するために、高効率の映像圧縮技術を利用できる。

一方、高解像／大容量の映像を処理できるようになるにつれて、３Ｄビデオを利用したデジタル放送サービスが次世代放送サービスの一つとして注目されている。３Ｄビデオは、複数の視点（ｖｉｅｗ）チャネルを利用して臨場感と没入感を提供できる。

３Ｄビデオは、ＦＶＶ（ｆｒｅｅ ｖｉｅｗ ｐｏｉｎｔ ｖｉｄｅｏ）、ＦＴＶ（ｆｒｅｅ ｖｉｅｗ ｐｏｉｎｔ ＴＶ）、３ＤＴＶ、社会安全網（ｓｕｒｖｅｉｌｌａｎｃｅ）及びホームエンターテイメントのような多様な領域に使用されることができる。

シングルビュービデオ（ｓｉｎｇｌｅ ｖｉｅｗ ｖｉｄｅｏ）とは異なり、マルチビューを利用した３Ｄビデオは、同じＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）のビューの間に高い相関度（ｃｏｒｒｅｌａｔｉｏｎ）を有する。マルチビュー映像は、隣接した複数のカメラ、すなわち、複数視点（ｖｉｅｗ）を利用して全く同じ場面を同時に撮影するから、視差と一抹の照明差を除外すると、ほとんど同じ情報を含んでいるので、互いに異なるビュー間の相関度が高い。

したがって、マルチビュービデオのエンコード／デコードでは、互いに異なるビュー間の相関度を考慮して、現在ビューのエンコード及び／またはデコードに必要な情報を獲得できる。例えば、現在ビューのデコード対象ブロックを他のビューのブロックを参照して予測またはデコードできる。

本発明は、他のビューの情報を利用して現在ブロックの予測サンプルを効果的に引き出す方法及び装置を提供することを目的とする。

本発明は、周辺ブロックの情報を利用して効果的にエントロピーコーディングを行う方法及び装置を提供することを目的とする。

本発明は、周辺ブロックに同じ方式が適用されたか否かを考慮して、他のビューの情報を利用したレジデュアル予測を適用するための情報をエントロピーコーディングする方法及び装置を提供することを目的とする。

本発明の一実施の形態は、マルチビュービデオをデコードするビデオデコード装置であって、前記ビデオ装置は、ビットストリームをエントロピーデコードして、レジデュアル予測に関する情報を現在ブロックの周辺ブロックを参照してデコードするエントロピーデコード部と、現在ブロックのデコードに参照されるピクチャを格納するメモリと、前記レジデュアルに関する情報を利用して、前記メモリに格納されたピクチャにおいて前記現在ブロックに対応する第１ブロック及び第２ブロック間のサンプル値差に基づいて、現在ブロックに対する予測サンプルを引き出す予測部と、前記予測サンプルを利用して復元された現在ピクチャにフィルタリングを適用するフィルタリング部とを備え、前記第１ブロック及び第２ブロックのうち、少なくとも一つは、前記現在ブロックのビューとは異なるビューに属し、前記第１ブロックは、前記現在ブロックの動きベクトルまたはディスパリティベクトルにより特定され、前記第２ブロックは、前記現在ブロックの動きベクトル及びディスパリティベクトルにより特定されることができる。

本発明の他の実施の形態は、マルチビュービデオをデコードするビデオデコード方法であって、前記ビデオデコード方法は、現在ブロックの周辺ブロックを参照して、レジデュアル予測に関する情報をエントロピーデコードするステップと、前記レジデュアルに関する情報を利用して、前記現在ブロックに対応する第１ブロック及び第２ブロック間のサンプル値差に基づいて、現在ブロックに対する予測サンプルを引き出すステップと、前記予測サンプルを利用して復元された現在ピクチャにフィルタリングを適用するステップとを含み、前記第１ブロック及び第２ブロックのうち、少なくとも一つは、前記現在ブロックのビューとは異なるビューに属し、前記第１ブロックは、前記現在ブロックの動きベクトルまたはディスパリティベクトルにより特定され、前記第２ブロックは、前記現在ブロックの動きベクトル及びディスパリティベクトルにより特定することができる。

本発明によれば、他のビューの情報を利用して、現在ブロックの予測サンプルを効果的に引き出すことができる。

本発明によれば、周辺ブロックの情報を利用して、効果的にエントロピーコーディングを行うことができる。

本発明によれば、周辺ブロックに同じ方式が適用されたか否かを考慮して、他のビューの情報を利用したレジデュアル予測を適用するための情報を効果的にエントロピーコーディングできる。

３Ｄビデオのエンコード及びデコード過程を概略的に説明する図である。 ビデオエンコード装置の構成を概略的に説明する図である。 ビデオデコード装置の構成を概略的に説明する図である。 インタビューコーディングを概略的に説明する図である。 デプスマップを利用するマルチビューコーディング方法を概略的に説明する。 本発明に係るレジデュアル予測を概略的に説明する図である。 ＩＶＭＣを概略的に説明するための図である。 現在ブロックの周辺ブロックを概略的に示したものである。 本発明に係るビデオエンコード装置の動作を概略的に説明するフローチャートである。 本発明に係るビデオデコード装置の動作を概略的に説明するフローチャートである。

本明細書においてピクセル（ｐｉｘｅｌ）またはペル（ＰＥＬ）は、一つの映像を構成する最小の単位を意味できる。また、特定のピクセルの値を表す用語として「サンプル（ｓａｍｐｌｅ）」を使用することができる。サンプルは、一般にピクセルの値を表すが、輝度（Ｌｕｍａ）成分のピクセル値のみを指示することもでき、色差（Ｃｈｒｏｍａ）成分のピクセル値のみを指示することもできる。

「ユニット（ｕｎｉｔ）」は、映像処理の基本単位または映像の特定位置を意味できる。ユニットは、場合によって「ブロック（ｂｌｏｃｋ）」または「領域（ａｒｅａ）」などの用語と互いに混用して使用することができる。通常の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表すことができる。

以下、図を利用して、本発明について具体的に説明する。

図１は、３Ｄビデオのエンコード及びデコード過程を概略的に説明する図である。

図１を参照すると、３Ｄビデオエンコーダは、ビデオピクチャ及びデプスマップ（ｄｅｐｔｈ ｍａｐ）とエンコーダをエンコードして、ビットストリームとして出力できる。

デプスマップは、対応するビデオピクチャ（テクスチャピクチャ）のピクセルに対して、カメラと被写体間の距離情報（深さ情報）から構成することができる。例えば、デプスマップは、深さ情報をビットデプス（ｂｉｔ ｄｅｐｔｈ）に従って正規化した映像でありうる。このとき、デプスマップは、色差表現なしで記録された深さ情報から構成することができる。

一般に、被写体との距離と変位（ディスパリティー）は、互いに反比例するので、カメラパラメータを利用してデプスマップの深さ情報からビュー間の相関度を表すディスパリティー情報を引き出すことができる。

一般的なカラー映像、すなわち、ビデオピクチャ（テクスチャピクチャ）と共にデプスマップとカメラ情報を含むビットストリームは、ネットワークまたは格納媒体を介してデコーダに送信されることができる。

デコーダ側では、ビットストリームを受信してビデオを復元できる。デコーダ側において３Ｄビデオデコーダが利用される場合に、３Ｄビデオデコーダは、ビットストリームからビデオピクチャとデプスマップ及びカメラパラメータをデコードできる。デコードされたビデオピクチャとデプスマップ、そしてカメラパラメータを基盤とするマルチビュー（ｍｕｌｔｉ ｖｉｅｗ）ディスプレイに必要なビューを合成できる。このとき、使用されるディスプレイがステレオ（ｓｔｒｅｏ）ディスプレイであると、復元されたマルチビューのうち、二つのピクチャを利用して３Ｄ映像をディスプレイできる。

ステレオビデオデコーダが使用される場合に、ステレオビデオデコーダは、ビットストリームから両眼に各々入射される二つのピクチャを復元できる。ステレオディスプレイでは、左眼に入射される左側映像と右眼に入射される右側映像の視差（ｖｉｅｗ ｄｉｆｆｅｒｅｎｃｅ）あるいは変位（ｄｉｓｐａｒｉｔｙ）を利用して立体映像をディスプレイできる。ステレオビデオデコーダと共にマルチビューディスプレイが使用される場合には、復元された二つのピクチャに基づいて他のビューを生成して、マルチビューをディスプレイすることもできる。

２Ｄデコーダが使用される場合には、２次元映像を復元して２Ｄディスプレイに映像を出力できる。２Ｄディスプレイを使用するが、デコーダは、３Ｄビデオデコーダを使用するか、またはステレオビデオデコーダを使用する場合には、復元された映像のうちのいずれか一つを２Ｄディスプレイに出力することもできる。

図１の構成において、ビュー合成は、デコーダ側で行われることもでき、ディスプレイ側で行われることもできる。また、デコーダとディスプレイは、一つの装置の場合であってもよく、別の装置であってもよい。

図１では、説明の便宜上、３Ｄビデオデコーダとステレオビデオデコーダ、及び２Ｄビデオデコーダが別のデコーダであると説明したが、一つのデコード装置が３Ｄビデオデコード、ステレオビデオデコード、及び２Ｄビデオデコードを全部行うこともできる。また、３Ｄビデオデコード装置が３Ｄビデオデコードを行い、ステレオビデオデコード装置がステレオビデオデコードを行い、２Ｄビデオデコード装置が２Ｄビデオデコード装置を行うこともできる。なお、マルチビューディスプレイが２Ｄビデオを出力するか、またはステレオビデオを出力することもできる。

図２は、ビデオエンコード装置の構成を概略的に説明する図である。図２に示すように、ビデオエンコード装置２００は、ピクチャ分割部２０５、予測部２１０、減算部２１５、変換部２２０、量子化部２２５、再整列部２３０、エントロピーエンコード部２３５、逆量子化部２４０、逆変換部２４５、加算部２５０、フィルタ部２５５及びメモリ２６０を備える。

ピクチャ分割部２０５は、入力されたピクチャを少なくとも一つの処理単位ブロックに分割できる。このとき、処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、コーディングの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割（Ｐａｒｔｉｔｉｏｎｉｎｇ）されるブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることができ、変換係数を引き出す単位ブロックまたは変換係数から残留信号を引き出す単位ブロックでありうる。

以下、説明の便宜上、コーディング単位ブロックは、コーディングブロックまたはコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ：ＣＵ）といい、予測単位ブロックは、予測ブロックまたは予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ：ＰＵ）といい、変換単位ブロックは、変換ブロックまたは変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ：ＴＵ）という。

予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、予測サンプルのアレイを意味することもできる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、変換係数またはレジデュアルサンプルのアレイを意味することもできる。

予測部２１０は、処理対象ブロック（以下、現在ブロックとする）に対した予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部２１０で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。

予測部２１０は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定できる。

イントラ予測の場合に、予測部２１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを引き出すことができる。このとき、予測部２１０は、（ｉ）現在ブロックの周辺参照サンプルの平均あるいは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を基盤とする予測サンプルを引き出すこともでき、（ｉｉ）現在ブロックの周辺ブロックのうち、予測対象ピクセルに対して特定方向に存在する参照サンプルに基づいて、予測サンプルを引き出すこともできる。説明の便宜上、（ｉ）の場合を非方向性モード、（ｉｉ）の場合を方向性モードという。予測部２１０は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

インター予測の場合に、予測部２１０は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを引き出すことができる。予測部２１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを引き出すことができる。スキップモードとマージモードの場合に、予測部２１０は、周辺ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプル間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ：ＭＶＰ）として利用して、現在ブロックの動きベクトルを引き出すことができる。

インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロックと参照ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）に存在する時間的周辺ブロックを含む。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。

従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）に対するエンコードの場合に、予測部２１０は、インタビュー予測を行うことができる。

予測部２１０は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。インタビュー予測のために、予測部２１０は、ディスパリティ（ｄｉｓｐａｒｉｔｙ）ベクトルを引き出すことができる。現在ビュー内の他のピクチャで現在ブロックに対応するブロックを特定する動きベクトルとは異なり、ディスパリティベクトルは、現在ピクチャと同じＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）の他のビューで現在ブロックに対応するブロックを特定できる。

予測部２１０は、ディスパリティベクトルに基づいて、デプスビュー（ｄｅｐｔｈ ｖｉｅｗ）内のデプスブロック（ｄｅｐｔｈ ｂｌｏｃｋ）を特定でき、マージリストの構成、インタビュー動き予測（ｉｎｔｅｒｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）、レジデュアル予測、ＩＣ（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、ビュー合成などを行うことができる。

現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から引き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから引き出されることができる。

例えば、予測部２１０は、参照ビュー（ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ）の時間的動き情報に対応するインタビューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ：ＩｖＭＣ）、ディスパリティベクトルに対応するインタビューディスパリティベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ：ＩｖＤＣ）、ディスパリティベクトルのシフト（ｓｈｉｆｔ）により引き出されるシフトインタビューマージ候補（ｓｈｉｆｔｅｄ ＩｖＭＣ）、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから引き出されるテクスチャマージ候補（ｔｅｘｔｕｒｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ：Ｔ）、テクスチャマージ候補からディスパリティを利用して引き出されるディスパリティ引き出しマージ候補（ｄｉｓｐａｒｉｔｙ ｄｅｒｉｖｅｄ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ：Ｄ）、ビュー合成を基盤として引き出されるビュー合成予測マージ候補（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ：ＶＳＰ）などをマージ候補リストに追加できる。

このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限することができる。

また、予測部２１０は、インタ−ビュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部２１０は、対応する深さブロック内の最大深さ値の転換（ｃｏｎｖｅｒｓｉｏｎ）に基づいて、ディスパリティベクトルを引き出すことができる。参照ビュー内の現在ブロックのサンプル位置にディスパリティベクトルを加えて参照ビュー内の参照サンプルの位置が特定されると、参照サンプルを含むブロックを参照ブロックとして利用できる。予測部２１０は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、前記ディスパリティベクトルをＤＣＰのための候補ディスパリティーベクトルとして利用できる。

減算部２１５は、原本サンプルと予測サンプル間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、上述のように、レジデュアルサンプルを生成しなくても良い。

変換部２２０は、変換ブロック単位にレジデュアルサンプルを変換して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。量子化部２２５は、変換係数を量子化して、量子化された変換係数を生成できる。

再整列部２３０は、量子化された変換係数を再整列する。再整列部２３０は、係数をスキャニング（Ｓｃａｎｎｉｎｇ）方法によりブロック形態の量子化された変換係数を１次元ベクトル形態に再整列できる。

エントロピーエンコード部２３５は、量子化された変換係数に対するエントロピーエンコードを行うことができる。エントロピーエンコードには、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などのようなエンコード方法を使用することができる。エントロピーエンコード部２３５は、量子化された変換係数の他にビデオ復元に必要な情報（例えば、シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別にエンコードすることもできる。

エントロピーエンコードされた情報は、ビットストリーム形態でＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット単位に送信または格納されることができる。

逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）部２４０は、量子化された変換係数を逆量子化して、変換係数を生成する。逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）部２４５は、変換係数を逆変換してレジデュアルサンプルを生成する。

加算部２５０は、レジデュアルサンプルと予測サンプルを合わせてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックを生成することもできる。ここで、加算部２５０は、別の構成と説明したが、加算部２５０は、予測部２１０の一部であっても良い。

復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部２５５は、デブロッキングフィルタ及び／またはオフセットを適用できる。デブロッキングフィルタリング及び／またはオフセットを介して、復元ピクチャ内のブロック境界のアーチファクトまたは量子化過程での歪みが補正されることができる。オフセットは、サンプル単位に適用されても良く、デブロッキングフィルタリングの過程が完了した後に適用されても良い。

メモリ２６０は、復元ピクチャまたはエンコード／デコードに必要な情報を格納することができる。例えば、メモリ２６０は、インター予測／インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インター予測／インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。

ここでは、一つのエンコード装置が独立ビュー及び従属ビューをエンコードすると説明したが、これは、説明の便宜のためのものであり、各ビュー別に別のエンコード装置が構成されるか、または各ビュー別に別の内部モジュール（例えば、各ビュー別予測部）が構成されることもできる。

図３は、ビデオデコード装置の構成を概略的に説明する図である。図３を参照すると、ビデオデコード装置３００は、エントロピーデコード部３１０、再整列部３２０、逆量子化部３３０、逆変換部３４０、予測部３５０、加算部３６０、フィルタ部３７０、メモリ３８０を備える。

ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置３００は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元できる。

例えば、ビデオデコード装置３００は、ビデオエンコード装置で適用された処理単位を利用して、ビデオデコードを行うことができる。したがって、ビデオデコードの処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、デコードの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割される（ｐａｒｔｉｔｉｏｎｉｎｇ）ブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることもでき、変換係数を引き出す単位ブロックまたは変換係数から残留信号を引き出す単位ブロックでありうる。

エントロピーデコード部３１０は、ビットストリームをパッシングしてビデオ復元またはピクチャ復元に必要な情報を出力できる。例えば、エントロピーデコード部３１０は、指数ゴロム、ＣＡＶＬＣ、ＣＡＢＡＣなどに基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力できる。このとき、エントロピーデコード部３１０は、現在ブロックの周辺ブロックを参照して、現在ブロックに対する情報をエントロピーデコードすることもできる。

３Ｄビデオを再生するために、複数のビュー（ｖｉｅｗ）を処理する場合、ビットストリームは、各ビュー別に入力されることができる。あるいはビットストリーム内で各ビューに対する情報がマルチプレクスされていることもできる。この場合、エントロピーデコード部３１０は、ビットストリームを逆多重化（ｄｅ−ｍｕｌｔｉｐｌｅｘｉｎｇ）して、ビュー別にパッシングすることもできる。

再整列部３２０は、量子化されている変換係数を２次元のブロック形態に再整列できる。再整列部３２０は、エンコード装置で行われた係数スキャニングに対応して再整列を行うことができる。

逆量子化部３３０は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して、変換係数を出力できる。このとき、量子化パラメータを引き出すための情報は、エンコード装置からシグナリングされることができる。

逆変換部３４０は、変換係数を逆変換してレジデュアルサンプルを引き出すことができる。

予測部３５０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部３５０で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。

予測部３５０は、イントラ予測を適用するかインター予測を適用するかを決定できる。このとき、イントラ予測とインター予測のうちのどれを適用するかを決定する単位と予測サンプル生成する単位とは、互いに異なりうる。また、インター予測とイントラ予測において、予測サンプルを生成する単位もやはり、互いに異なりうる。

イントラ予測の場合に、予測部３５０は、現在ピクチャ内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを引き出すことができる。予測部３５０は、現在ブロックの周辺参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを引き出すことができる。このとき、周辺ブロックのイントラ予測モードを利用して、現在ブロックに適用する予測モードが決定されることもできる。

インター予測の場合に、予測部３５０は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを引き出すことができる。予測部３５０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを引き出すことができる。

スキップモードとマージモードの場合に、周辺ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。

予測部３５０は、利用可能な（ａｖａｉｌａｂｌｅ）周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。

スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。

ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ＭＶＰ）として利用して、現在ブロックの動きベクトルが引き出されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。

従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）に対するエンコードの場合に、予測部３５０は、インタビュー予測を行うこともできる。このとき、予測部３５０は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。

インタビュー予測のために、予測部２１０は、ディスパリティ（ｄｉｓｐａｒｉｔｙ）ベクトルを引き出すことができる。予測部３５０は、ディスパリティベクトルに基づいて、デプスビュー（ｄｅｐｔｈ ｖｉｅｗ）内のデプスブロック（ｄｅｐｔｈ ｂｌｏｃｋ）を特定でき、マージリストの構成、インタビュー動き予測（ｉｎｔｅｒｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）、レジデュアル予測、ＩＣ（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、ビュー合成などを行うことができる。

現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から引き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから引き出されることができる。カメラパラメータは、エンコード装置からシグナリングされることができる。

従属ビューの現在ブロックにマージモードを適用する場合に、予測部３５０は、参照ビュー（ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ）の時間的動き情報に対応するＩｖＭＣ、ディスパリティベクトルに対応するＩｖＤＣ、ディスパリティベクトルのシフト（ｓｈｉｆｔ）により引き出されるシフトＩｖＭＣ、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから引き出されるテクスチャマージ候補（Ｔ）、テクスチャマージ候補からディスパリティを利用して引き出されるディスパリティ引き出しマージ候補（Ｄ）、ビュー合成を基盤として引き出されるビュー合成予測マージ候補（ＶＳＰ）などをマージ候補リストに追加できる。

このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。

また、予測部３５０は、インタ−ビュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部３５０は、ディスパリティベクトルによって特定される参照ビュー内のブロックを参照ブロックとして利用できる。予測部３５０は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、前記ディスパリティベクトルをＤＣＰのための候補ディスパリティーベクトルとして利用できる。

加算部３６０は、レジデュアルサンプルと予測サンプルを足して現在ブロックあるいは現在ピクチャを復元できる。加算部３６０は、レジデュアルサンプルと予測サンプルをブロック単位に足して現在ピクチャを復元することもできる。スキップモードが適用された場合には、レジデュアルが送信されないので、予測サンプルが復元サンプルになることができる。ここでは、加算部３６０を別の構成と説明したが、加算部３６０は、予測部３５０の一部であっても良い。

フィルタ部３７０は、復元されたピクチャにデブロッキングフィルタリング及び／またはオフセットを適用できる。このとき、オフセットは、サンプル単位のオフセットとして適応的に適用されることができる。

メモリ３８０は、復元ピクチャまたはデコードに必要な情報を格納することができる。例えば、メモリ３８０は、インター予測／インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インター予測／インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、参照ピクチャとして利用されることができる。

また、メモリ３８０は、復元されたピクチャを出力順序に従って出力することもできる。３Ｄ映像を再生するために、図示していないが、出力部は、複数の互いに異なるビューをディスプレイできる。

図３の例では、一つのデコード装置において独立ビュー（ｉｎｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）と従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）がデコードされると説明したが、これは、説明の便宜のためのものであり、本発明は、これに限定されない。例えば、ビュー別に各々のデコード装置が動作することもでき、一つのデコード装置内に各ビューに対応する動作部（例えば、予測部）が備えられることができる。

マルチビューのビデオをコーディングする場合に、エンコード装置及びデコード装置は、現在ピクチャと同じＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）に属する他のビューのコーディングされるデータを利用して、現在ビューに対するビデオコーディングの効率を上げることができる。このとき、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）が同じピクチャを一つのＡＵとすることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応する。

エンコード装置及びデコード装置は、ＡＵ単位にビューをコーディングすることもでき、ビュー単位にピクチャをコーディングすることもできる。ビューの間には、決まった順序にしたがってコーディングが行われる。最も速くコーディングされるビューをベースビュー（ｂａｓｅ ｖｉｅｗ）または独立ビューということができる。独立ビューがコーディングされた後に、他のビューを参照してコーディングされることのできるビューを従属ビューということができる。また、現在ビューが従属ビューである場合に、現在ビューのコーディング（エンコード／デコード）に参照される他のビューを参照ビューということもできる。

図４は、インタビューコーディングを概略的に説明する図である。図４の例において、コーディングは、ＡＵ単位に行われ、Ｖ０を独立ビュー、Ｖ１を従属ビューとする。現在ピクチャ４１０内のブロックＡのように、動きベクトル４４０を利用して同じビューの他のピクチャ４３０を参照するインターピクチャ予測を動き補償予測（Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ：ＭＣＰ）とすることができる。また、現在ピクチャ内のブロックＢのように、ディスパリティベクトル４５０を利用して、同じアクセスユニット内の、すなわち同じＰＯＣを有する他のビューのピクチャ４２０を参照するインターピクチャ予測をディスパリティ補償予測（Ｄｉｓｐａｒｉｔｙ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｉｃｔｕｒｅ：ＤＣＰ）とすることができる。

マルチビューのビデオをコーディングする時、他のビューのピクチャを利用する方法の他にデプスマップ（ｄｅｐｔｈ ｍａｐ）を利用することもできる。

図５は、デプスマップを利用するマルチビューコーディング方法を概略的に説明する。

図５に示すように、現在ビュー内の現在ピクチャ５００のブロック（現在ブロック）５０５は、デプスマップ５１０を利用してコーディング（エンコード／デコード）されることができる。このとき、現在ブロック５０５内のサンプル５１５の位置（ｘ，ｙ）に対応するデプスマップ５１０内のサンプル５２０の位置（ｘ，ｙ）の深さ（ｄｅｐｔｈ）値ｄがディスパリティベクトル５２５に変換されることができる。深さ値ｄは、サンプル（ピクセル）とカメラ間の距離を基盤として引き出されることができる。

エンコード装置及びデコード装置は、ディスパリティベクトル５２５をサンプル５３０位置（ｘ，ｙ）に足して、参照ビュー内の現在ピクチャ５４０内の参照サンプル５３５の位置を決定できる。ディスパリティベクトルは、ｘ軸成分のみを有していることができる。したがって、ディスパリティベクトルの値は、（ｄｉｓｐ，０）でありえ、参照サンプル５４０の位置（ｘｒ，ｙ）は、（ｘ＋ｄｉｓｐ，ｙ）と決定されることができる。

エンコード装置及びデコード装置は、参照ピクセル５３５を含む参照ブロック５４５の動きパラメータ（ｍｏｔｉｏｎ ｐａｒａｍｅｔｅｒ）現在ブロックの動きパラメータの候補として使用することができる。例えば、参照ビュー内の参照ピクチャ５５０が参照ブロック５４５に対した参照ピクチャである場合、参照ブロック５４５の動きベクトル５５５は、現在ブロック５０５の動きベクトル５６０に引き出されることもできる。このとき、ピクチャ５６５は、現在ビュー内の参照ピクチャである。

一方、エンコード装置及びデコード装置は、従属ビューのＭＣＰブロックに対してレジデュアル予測（ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ）を行うことができる。ここでは、説明の便宜上、レジデュアル予測がエンコード装置とデコード装置の予測部で行われると説明する。

予測部は、現在ブロックに対応する参照ビューのブロックで予測した動きベクトルを利用して、現在ブロックのレジデュアルを予測できる。

図６は、本発明に係るレジデュアル予測を概略的に説明する図である。

現在ピクチャ６００内の現在ブロック６５０のレジデュアルサンプルを予測する場合、予測部は、現在ブロック６０５に対応する参照ビュー（Ｖｒｅｆ）内のブロック６１０の位置をディスパリティベクトル６１５を利用して特定できる。現在ビュー内で現在ブロック６０５に対したインター予測が行われる場合に、ブロックＡ６２０は、Ｌ０方向に参照されうるブロックであり、ブロックＢ６２５は、Ｌ１方向に参照されうるブロックである。ブロックＡ６２０は、動きベクトルｍｖ０ ６３０により特定されることができ、ブロックＢ６２５は、動きベクトルｍｖ１ ６３５により特定されることができる。

予測部は、参照ビュー内でｍｖ０を利用して対応ブロック６１０の参照ブロックＣ６４０を特定し、ｍｖ１を利用して対応ブロック６２０の参照ブロックＤ６４５を特定できる。このとき、参照ブロックＣ６４０が属するピクチャのＰＯＣと参照ブロックＡ６２０が属するピクチャのＰＯＣとは同一でありうる。また、参照ブロックＤ６４５が属するピクチャのＰＯＣと参照ブロックＢ６２５が属するピクチャのＰＯＣとは同一でありうる。

インタ−ビューレジデュアル予測は、複雑度を考慮して、特定予測方向に対してのみ適用されることもできる。例えば、図６では、Ｌ０方向の動きベクトルｍｖ０とＬ１方向の動きベクトルｍｖ１が全部考慮されうると示したが、Ｌ０方向のｍｖ０のみを利用することもできる。

以下、説明の便宜上、現在ビュー内では、Ｌ０の動きベクトルｍｖ０のみを利用して、インタ−ビューレジデュアル予測を行うことを説明する。

インタ−ビューレジデュアル予測が適用される場合は、（１）現在ブロック６０５に対して同一ビュー参照ブロック６２０を利用した予測が行われる場合と、（２）現在ブロック６０５に対して他のビューの参照ブロック６１０を利用して予測が行われる場合とがある。

現在ブロック６０５に対した予測サンプルが参照ブロック６２０を参照して引き出される場合に、予測部は、参照ビュー（ｖｒｅｆ）内の対応ブロック６１０のサンプル値と参照ブロック６４０のサンプル値間の差値を利用して、現在ブロック６０５の予測サンプルを修正（ｍｏｄｉｆｙ）できる。このとき、利用されるブロックのサンプル値は、予測サンプルのサンプル値でありうる。

現在ブロック６０５に対した予測サンプルが参照ビュー内の対応ブロック６１０を利用して引き出される場合に、予測部は、現在ビュー内の参照ブロックＡ６２０のサンプル値と参照ビュー内の参照ブロックＣ６４０のサンプル値間の差値を利用して、現在ブロック６０５の予測サンプルを修正できる。このとき、利用されるブロックのサンプル値は、予測サンプルのサンプル値でありうる。

上述のように、現在ブロックに対するインター予測に参照ビューの対応ピクチャが参照されると、レジデュアル予測には、現在ブロックと同じビューの参照ピクチャと前記対応ピクチャの参照ピクチャが利用されることができる。したがって、この場合、同一ビューの参照ピクチャ内の第１ブロックは、動きベクトルと特定でき、対応ピクチャの参照ピクチャ内の第２ブロックは、ディスパリティベクトルと動きベクトルと特定でき、第１ブロックと第２ブロックサンプルの差を利用して、現在ブロックの予測サンプルを修正できる。

現在ブロックに対するインター予測に現在ブロックと同じビュー内の参照ピクチャが利用されると、レジデュアル予測には、参照ビューの対応ピクチャと対応ピクチャの参照ピクチャが利用されることができる。したがって、この場合、参照ビューの対応ピクチャ内の第１ブロックは、ディスパリティベクトルと特定でき、対応ピクチャの参照ピクチャ内の第２ブロックは、ディスパリティベクトルと動きベクトルと特定でき、第１ブロックと第２ブロックサンプルの差を利用して、現在ブロックの予測サンプルを修正できる。

一方、現在ブロック６０５の予測サンプルは、前記差値に所定の加重値を付加した値を足すことによって修正できる。前記差値を他のビューのサンプルを利用して得た差値という意味でインタ−ビューレジデュアルということができる。

予測部あるいは加算部は、修正された予測サンプルに基づいて現在ブロックの復元サンプルを引き出すことができる。例えば、予測部あるいは加算部は、修正された予測サンプルに現在ブロックに対するレジデュアルサンプルを足して、現在ブロックに対する復元サンプルを引き出すことができる。

一方、引き出したインタ−ビューレジデュアルサンプルに適用される加重値（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）は、０、０．５または１のうちのいずれか一つの値でありうる。加重値０は、レジデュアル予測が適用されないということを指示することでありうる。どんな加重値を適用するかを指示するインデックス情報がブロック単位に送信されることができる。

インタ−ビューレジデュアル予測は、ＤＣＰブロックまたはイントラモードのブロックのように動きベクトルがない場合には適用されない場合もある。

上述のインタ−ビューレジデュアル予測の他にも、マルチビュービデオコーディングでは、他のビューを参照して現在ビューを復元する多様な方法が使用されることができる。例えば、参照ビデオと深さ（ｄｅｐｔｈ）を使用してビューを合成するビュー合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ：ＶＳＰ）が行われることもでき、深さビューの特性を活用して現在ビューを復号化することもできる。しかしながら、他のビューを利用して現在ビューを復号化する場合に、各ビュー（すなわち、各カメラ）の撮影に使用された照明またはカメラの特性が異なるから、ビュー間の特性が異なって現在ビューに対する予測の性能が低下する恐れがある。したがって、マルチビューコーディングにおいて、予測の正確度を高めるために、ビュー間の差を補償することをインタ−ビューミスマッチ補償（Ｉｎｔｅｒ−Ｖｉｅｗ Ｍｉｓｍａｔｃｈ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＩＶＭＣ）という。ＩＶＭＣのうち、代表的なものに、照度補償（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＩＣ）がある。

図７は、ＩＶＭＣを概略的に説明するための図である。図７のように、現在ピクチャ７１０の現在ブロック７２０をコーディング（エンコード／デコード）する場合を考慮しよう。このとき、現在ブロック７２０は、予測ブロックでありうる。インタ−ビュー予測を適用する場合に、インタ−ビュー参照ピクチャ７３０内の参照ブロック７４０を利用して予測が行われることができる。

このとき、互いに異なるビューに属する現在ピクチャ７１０と参照ピクチャ７３０とは、互いに異なるカメラを介して撮影されたピクチャである。したがって、上述のように、カメラ別に撮影条件、撮影設定などが異なるから、ビュー間のミスマッチ（ｍｉｓｍａｔｃｈ）が存在しうる。

このミスマッチを補償して予測を行う場合、さらに正確なインタ−ビュー予測を行うことができる。このとき、インタ−ビュー予測は、デプスマップ（ｄｅｐｔｈ ｍａｐ）に基づいて、仮像ビューを合成して予測を行う場合を含むことができる。

３Ｄビデオコーディングにおいて、このようにビュー間の差を補償する方法について論議され続いている。

例えば、式１のように現在ブロック（例えば、ＣＵ）とインタビュー参照ブロックの周辺ピクセルの特性を反映して、現在ＰＵの予測と参照に対する補償をすることもできる。

〔式１〕

式１中、サンプル位置（ｉ，ｊ）は、現在ＰＵ内のサンプルの位置であり、Ｒは、ディスパリティベクトルｄｖにより特定されるインタビュー参照ブロックの参照サンプルである。ａとｂは、補償のための所定の線形係数である。

しかしながら、このようなＩＶＭＣ方式は（例えば、コンピュータで生成したシーケンスのように）、インタビューピクチャ間ピクセル値の分布差が大きくない場合、むしろコーディング性能の低下を引き起こすことができる。したがって、スライスヘッダに現在コーディングされるピクチャとインタビュー参照ピクチャのピクセル値分布差を見て、補償を行うか否かを指示する情報がシグナリングされるようにすることもできる。

ピクセル値分布の差を計算する方式は、いろいろありうるが、例として両ヒストグラムのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算する方式がありうる。この方式は、次のように行われることができる。

（１）エンコーダは、現在ピクチャとインタビュー参照ピクチャのピクセル値分布を表すヒストグラムを生成する。このヒストグラムは、各ピクチャにおいて該当ピクセル値が何回現れるかを表示できる。

（２）エンコーダは、両ヒストグラムの各ピクセル値に差値を求めて合算する。ヒストグラムのＳＡＤを求める。

（３）エンコーダは、ヒストグラムのＳＡＤが決まった臨界値（ｔｈｒｅｓｈｏｌｄ）以上であると、補償を行うか否かを指示するフラグの値を１に設定し、ピクセル値分布の差を補償する。ＳＡＤ値が臨界値以下であると、フラグ値を０に設定して、補償が行われないようにする。

（１）〜（３）の方式の他に、効率的なシグナリングのためにエンコーダが前記フラグ情報をＡＰＳ（Ａｄａｐｔｉｖｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に格納し、変化があるときのみにその値を送信して、スライス単位に適用されうるようにする方式も使用することができる。

このとき、デコーダ側では、エンコーダが送信するフラグ情報の指示に従って、ピクセル値分布の差を補償できる。

上述のように、レジデュアル予測またはＩＶＭＣなどを効果的に制御できるように、エンコーダ側からデコーダ側へ関連情報が送信されることができる。ビデオ情報のシグナリングは、ネットワーク上に送信されることもでき、記録媒体などを介して送信されることもできる。

このようにエンコーダからデコーダに送信される情報をコーディングするのにエントロピーコーディング（エントロピーエンコード／エントロピーデコード）が利用されることができる。ビデオ情報は、エントロピーエンコードされてビットストリームとしてデコーダに送信されることができ、デコード装置は、ビットストリームをエントロピーデコードして情報を獲得できる。ビデオ情報のエントロピーコーディングのために、ＣＡＢＡＣ（Ｃｏｎｔｅｘ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ：コンテキスト基盤適応型算術コード）が利用されることができる。

ビデオ情報がシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値として送信される場合に、エントロピーデコード部は、入力された値を２進化してビンストリング（ｂｉｎ ｓｔｒｉｎｇ）に出力できる。ここで、ビンストリングは、一つ以上のビン（ｂｉｎ）から構成される２進シーケンス（ｂｉｎａｒｙ ｓｅｑｕｅｎｃｅ）または２進コード（ｂｉｎａｒｙ ｃｏｄｅ）を意味できる。ビン（ｂｉｎ）は、シンボル及び／またはシンタックス要素の値が２進化を介して２進シーケンス（または２進コード）で表現される場合、２進シーケンス（または２進コード）を構成する各桁の値（０または１）を意味できる。

２進化（ｂｉｎａｒｉｚａｔｉｏｎ）方式は、シンタックスエレメントによって異なって決まることができる。シンタックスエレメントに適用されうる２進化タイプには、例えば、ユナリ（ｕｎａｒｙ）２進化、切削されたユナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）２進化、切削されたライス（ｔｒｕｎｃａｔｅｄ ｒｉｃｅ）２進化、指数ゴロム（Ｅｘｐ−Ｇｏｌｏｍｂ）２進化及び固定長（ｆｉｘｅｄ−ｌｅｎｇｔｈ）２進化などがありうる。

２進化された信号（ビンストリング）は、ビン別に算術コーディング（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）されるかバイパスされるかが決定されることができる。

算術コーディングが適用される場合に、デコードするビンに対しては、確率値を反映するコンテキストが割り当てられ、割り当てられたコンテキストに基づいて該当ビンがコーディング（エントロピーエンコード／エントロピーデコード）されうる。各ビンに対するコーディング後に、コンテキストはアップデートされることができる。

符号化されたシンタックスエレメント、すなわちシンタックスエレメント値のビンストリームにおいて各々のビンは、ビンインデックス（ｂｉｎＩｄｘ）によりインデクシングされうる。エントロピーデコード部は、各ビンに対しコンテキストインデックス（ｃｔｘＩｄｘ）を引き出すことができる。ビンに適用する確率、すなわち、コンテキストモデルを指示するコンテキストインデックス（ｃｔｘＩｄｃ）は、コンテキストインデックスオフセット値（ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ、ｃｔｘＩｄｘＯｆｆｓｅｔ）とコンテキストインデックス増加分（ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔｓ、ｃｔｘＩｄｃ）を利用して引き出されることができる。

エントロピーデコード部は、スライスタイプ（Ｉスライス、ＰスライスまたはＢスライス）に応じて、異なるコンテキストが適用されるように、オフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）値を設定できる。

エントロピーデコード部は、ビンインデックス別にコンテキストインデックス増加分（ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔｓ、ｃｔｘＩｄｃ）を決定できる。例えば、エントロピーデコード部は、予め設定された「コンテキストテーブル」に基づいてコンテキストインデックス増加分を決定することもできる。

エントロピーデコード部は、コンテキストインデックス増加分をコンテキストインデックスオフセットと足すことによって、該当ビンに対するコンテキストインデックスを導き、コンテキストインデックスに基づいて確率変数（ｐＳｔａｔｅＩｄｘ）を引き出すことができる。確率変数は、シンタックスエレメント別に設定されたコンテキストインデックステーブル上においてコンテキストインデックスにより指示される初期値（ｉｎｉｔ Ｖａｌｕｅ）を利用して決定されることができる。エントロピーデコード部は、確率変数に基づいて発生確率の高い状態値（ｖａｌＭｐｓ）を決定して、対象ビンをデコードできる。

バイパスコーディングされる場合には、ビンに対してコンテキストを割り当てて更新する手順などがバイパス（ｂｙｐａｓｓ）されることができる。例えば、バイパスモードでは、均一な確率分布を適用してコーディングを行うことができる。

シンタックスエレメントに対するビンに対してデコードが完了すると、エントロピーデコード部は、デコードされたビンを合せた２進コードが特定シンタックスエレメントにマッピングされる場合、前記２進コードを前記シンタックスエレメントの値として決定できる。

インタ−ビューレジデュアル予測の場合、レジデュアル予測をブロック単位よりより高いレベルで制御できるように、スライスヘッダ、ピクチャ、シーケンスまたはビデオレベルでレジデュアル予測を適用できるかに関する情報、すなわちレジデュアル予測の適用有無に関する情報が送信されることができる。以下、説明の便宜上、インタ−ビューレジデュアル予測を場合によってＡＲＰ（Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）という。

ＡＲＰを適用するにおいて、レジデュアル予測が適用されるか否かを指示する情報、加重値インデックスが使用されたか否かを指示する情報、どんな加重値が適用されたか否かを指示するインデックスに関する情報などは、ブロック単位に送信されることもできる。送信の単位になるブロックは、予測ブロックでありうる。または、送信の単位になるブロックは、予測ブロックでありうる。加重値インデックスが使用されたか否かは、フラグに送信されることもできる。

現在スライスにレジデュアル予測が適用されうるように設定された場合、現在ブロックがレジデュアル予測に基づいて予測されたか否かを指示するために、ブロック単位にレジデュアル予測が適用されるかを指示するフラグ、加重値が適用されるかを指示するフラグ及び／または加重値インデックスが送信されることができる。

現在ブロックが動きベクトル予測に基づいて符号化された場合に、参照した参照ピクチャリストがＬ０なのかＬ１なのかを指示する情報と参照ピクチャリスト内の参照ピクチャインデックスが送信される。このとき、参照ピクチャインデックスがインタ−ビュー映像を指示する場合、エンコード装置は、レジデュアル予測が適用されるか否かを指示するＡＲＰ（Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ）フラグ（ＡＲＰ ｆｌａｇ）と加重値インデックスを送信しないときもある。この場合、デコード装置は、現在ブロックに対するＡＲＰフラグと加重値インデックスに関するパッシングを省略できる。

一方、現在ブロックがインター予測で符号化された場合、特にマージモードで符号化され、マージ候補リスト上において最上端候補が利用された場合（すなわち、マージインデックスが０の場合）においてのみ、エンコード装置がＡＲＰフラグを送信し、デコード装置がＡＲＰフラグをパッシングすることもできる。現在ブロックにマージモードが適用されるが、マージインデックスが０より大きな場合には、マージ候補ブロックからＡＲＰフラグ及び加重値インデックスを引き出して使用することもできる。

具体的には、レジデュアル予測を適用するために、エンコード装置は、二つのシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）値を符号化して、デコード装置に送信できる。このとき、デコード装置に情報を送信するということは、情報をネットワーク上においてデコード装置に送信するということだけでなく、情報を格納媒体に格納してデコード装置に伝達することを含む。

レジデュアル予測を行うための二つのシンタックスエレメント、すなわち情報要素（ｉｎｆｏｒｍａｔｉｏｎ ｅｌｅｍｅｎｔ）は、現在ブロックにレジデュアル予測が適用されることができるか否かを表すＡＲＰ ｆｌａｇ（ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）と現在ブロックにレジデュアル予測が適用されることができる場合に、レジデュアル予測に使用される加重値インデックス（ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘ）である。

エンコード装置は、ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの値とｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘ値をエンコードして、デコード装置に送信できる。

上述のように、ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇは、インタ−ビューレジデュアル予測がデコード過程に利用されるか否かを指示する。ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの値が０の場合には、インタ−ビューレジデュアル予測が適用されないということを指示する。ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの値が１の場合には、インタ−ビューレジデュアル予測が適用されうることを指示する。

ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘは、レジデュアル予測に使用される加重値（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）のインデックスを指示できる。ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘの値が０であると、現在ブロックにレジデュアル予測が適用されないということを指示できる。ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘの値が０でないと、現在ブロックにレジデュアル予測が利用されるということを指示できる。

レジデュアル予測を適用する場合に、エンコード装置は、符号化効率を考慮して周辺ブロックのＡＲＰフラグとの相関性を考慮して、現在ブロックに対するＡＲＰフラグをコーディング（エンコード／デコード）できる。

図８は、現在ブロックの周辺ブロックを概略的に示したものである。

図８を参照すると、現在ブロックの周辺ブロックのうち、Ａ１とＢ１ブロックのＡＲＰフラグ情報を使用して、現在ブロックのＡＲＰフラグをエンコード／デコードする時に使用するコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）が決定されることができる。コンテキストモデルは、シンタックスエレメントをコーディングする時に使用するコンテキストを特定するから、該当シンタックスエレメントに適用するコンテキストを指示するコンテキストインデックス（ｃｏｎｔｅｘｔ ｉｎｄｅｘ）でありうる。このとき、Ａ１ブロックは、現在ブロックの左側ブロックであり、Ｂ１ブロックは、現在ブロックの上側ブロックである。

このとき、エンコード装置及びデコード装置は、Ａ１ブロックとＢ１ブロックを全部考慮して、現在ブロックのＡＲＰフラグをコーディングできる。また、エンコード装置及びデコード装置は、Ａ１ブロックを考慮して現在ブロックのＡＲＰフラグをコーディングすることもできる。また、エンコード装置及びデコード装置は、Ｂ１ブロックを考慮して現在ブロックのＡＲＰフラグをコーディングすることもできる。

具体的には、Ａ１ブロックとＢ１ブロックが全部レジデュアル予測に基づいてコーディングされた場合（すなわち、左側周辺ブロックと上側周辺ブロックを全部考慮するものの、上側周辺ブロックと左側周辺ブロックが全部レジデュアル予測に基づいてコーディングされた場合）、現在ブロックのＡＲＰフラグをコーディングする時に使用するコンテキストモデルの値は２となる。

二つの周辺ブロックのうち、一つのブロックのみがレジデュアル予測に基づいてコーディングされた場合に、現在ブロックのコンテキストモデル値は１となる。

例えば、現在ブロックの左側周辺ブロックと上側周辺ブロックを全部考慮するものの、二つの周辺ブロックのうち、いずれか一つがレジデュアル予測に基づいてコーディングされた場合に、現在ブロックに対するＡＲＰフラグのコーディングに適用されるコンテキストモデル値は、１となることができる。

あるいは現在ブロックの左側周辺ブロックのみを考慮するものの、左側周辺ブロックがレジデュアル予測に基づいてコーディングされた場合に、現在ブロックに対するＡＲＰフラグのコーディングに適用されるコンテキストモデル値は、１となることができる。また、現在ブロックの上側周辺ブロックのみを考慮するものの、上側周辺ブロックがレジデュアル予測に基づいてコーディングされた場合に、現在ブロックに対するＡＲＰフラグのコーディングに適用されるコンテキストモデル値は、１となることができる。

周辺ブロックＡ１とＢ１のうち、いずれのブロックにもレジデュアル予測が行われないと、現在ブロックのＡＲＰフラグのためのコンテキストモデル値は、０となる。

現在ブロックの左側周辺ブロックと上側周辺ブロックを全部考慮するものの、二つの周辺ブロックのうち、いずれもレジデュアル予測に基づいてコーディングされない場合に、現在ブロックに対するＡＲＰフラグのコーディングに適用されるコンテキストモデル値は、０となることができる。

あるいは現在ブロックの左側周辺ブロックのみを考慮するものの、左側周辺ブロックがレジデュアル予測に基づいてコーディングされない場合に、現在ブロックに対するＡＲＰフラグのコーディングに適用されるコンテキストモデル値は、０となることができる。また、現在ブロックの上側周辺ブロックのみを考慮するものの、上側周辺ブロックがレジデュアル予測に基づいてコーディングされない場合に、現在ブロックに対するＡＲＰフラグのコーディングに適用されるコンテキストモデル値は、０となることができる。

このような計算されたコンテキストモデル値を通じて、ＡＲＰフラグをデコードして現在ブロックのコーディングにレジデュアル予測が適用されるかが分かる。

ＡＲＰフラグをデコードする場合に、上記のようなコンテキストモデリング（ｃｏｎｔｅｘｔ ｍｏｄｅｌｌｉｎｇ）を使用して、現在ブロックのコンテキストモデルを可変的に設定できるが、エントロピーデコード部は、ＡＲＰフラグに適用可能なコンテキストモデル（コンテキストインデックス）に初期値（ｉｎｉｔＶａｌｕｅ）を全部同様に設定して、周辺ブロックとの相関性を考慮せずにコンテキストを引き出すことができる。

また、エントロピーデコード部は、現在ブロックと周辺ブロック間の相関性を考慮して、各コンテキストモデル別に初期値（ｉｎｉｔ ｖａｌｕｅ）を異なって設定することもできる。この場合、周辺ブロックのコンテキストを考慮して、現在ブロックに確率がより正確に反映されることができる。

表１は、ＡＲＰフラグの各コンテキストモデルに互いに異なる初期値が適用される場合の一例を簡単に表したものである。

エンコード装置は、現在ブロックに対してインタ−ビューレジデュアル予測（ＡＲＰ）を行うことができる場合には、ＡＲＰフラグをエンコードして送信した後に、加重値情報（ＡＲＰ ｗｅｉｇｈｔｉｎｇ ｉｎｄｅｘ）をエンコードして送信できる。

ＡＲＰには、総３個の加重値（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）０、０．５、１のうち、何れか一つが使用されることができる。しかしながら、加重値が０であると、ＡＲＰを使用しないということを意味するので、加重値情報（ＡＲＰ ｗｅｉｇｈｔｉｎｇ ｉｎｄｅｘ）を実際に加重値が適用されるかを指示すると同時に、適用される場合、０．５の加重値と１の加重値のうち、どんな加重値を適用するかを指示する情報として使用されることができる。

上述のように、周辺ブロックを考慮せずに現在ブロックに適用するコンテキストを適用できる。このとき、ＡＲＰを適用する場合に、ＡＲＰの加重値を決定するために、０．５の加重値と１の加重値の発生頻度を考慮せずに加重値インデックス（ｗｅｉｇｈｔｉｎｇ ｉｎｄｅｘ）のコンテキストモデルに対する初期値（ｉｎｉｔｖａｌｕｅ）を設定できる。

また、上述のように、周辺ブロックを考慮して現在ブロックに適用するコンテキストが決定されることもできる。この場合、各加重値の発生頻度などを考慮して、現在ブロックに適用する加重値を決定できる。一般に、加重値インデックスの値が１の場合が加重値インデックスの値が０．５の場合に比べて多く発生するので、これを考慮して初期値を設定することもできる。すなわち、エンコード装置は、加重値情報であるｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘを周辺ブロックのコンテキストを考慮してコーディングした後に送信することによって、現在ブロックにＡＲＰが適用されるか否かを指示できる。また、ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘがＡＲＰが適用されないということを指示する値でない場合には、ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘ値を通じてＡＲＰが適用され、加重値は、いくらであるかを指示することもできる。

また、デコード装置は、加重値情報であるｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘの値をビットストリームとして受信し、周辺ブロックを考慮してデコードできる。デコード装置は、デコードされたｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘの値が０であると、インタ−レイヤレジデュアル予測（ＡＲＰ）を適用しない場合もある。デコードされた加重値情報（ｉｖ＿ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｉｄｘ）の値が０でない場合に、デコード装置は、加重値情報の値が指示する加重値を適用して、ＡＲＰを現在ブロックに適用できる。

このとき、周辺ブロックを考慮する方法には、上述のように、（１）現在ブロックの左側ブロックを考慮する方法、（２）現在ブロックの上側ブロックを考慮する方法、（３）現在ブロックの上側ブロックと左側ブロックを考慮する方法のうち、いずれか一つが使用されることができる。

周辺ブロックを考慮する方式として、該当ブロックで同じシンタックスエレメントがどのようにデコードされたかを考慮する方法が利用されることができる。例えば、左側ブロックを考慮して現在ブロックの加重値情報をデコードする場合に、デコード装置は、左側ブロックでデコードされた加重値情報の値がいくらなのかに基づいて、現在ブロックに対する加重値情報をデコードできる。

表２は、加重値に関するシンタックスエレメントのコーディングに使用される初期値テーブルの一例を表したものである。

表２において初期値は、周辺ブロックを考慮して決定された値でありうる。あるいはコンテキストモデルが周辺ブロックを考慮して決定された値であっても良い。表２に示していないが、コンテキストインデックス増加分またはコンテキストインデックスオフセットを決定するのに周辺ブロックが考慮されることもできる。

一方、いままで説明の便宜上、現在ブロックに周辺ブロックを考慮してシンタックス情報をデコードする場合に、現在ブロックに隣接するブロックのうち、左側ブロックと上側ブロックのうち、少なくとも一つを考慮する方法を説明したが、本発明は、これに限定されない。例えば、周辺ブロックを考慮してＡＲＰフラグまたは加重値情報をコーディングする場合に、図８に示す周辺ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２のうち、少なくとも一つを考慮してコンテキストモデルを決定することもできる。この場合、該当シンタックスエレメントをデコードするのに考慮できる隣接ブロックの数によってコンテキストモデルの数を決定することもできる。

インタ−レイヤレジデュアル予測のように、ＩＶＭＣの場合にも、ＩＶＭＣの適用のために必要な情報（シンタックスエレメント）がエンコードされて、ビットストリームに送信されることができる。

例えば、ＩＶＭＣを行うにおいて、ブロックレベルでビュー間ミスマッチの補償有無をシグナリングするフラグが必要となることができる。このフラグは、周辺ブロックの統計と連関性が大きい可能性が高い。すなわち、現在ブロックに隣接したブロックが仮にビュー間ミスマッチの補償になったブロックであると、現在ブロックもミスマッチ補償の対象である可能性が高い。

したがって、現在ブロックに対してミスマッチ補償（例えば、照度補償）が適用されるか否かを指示するミスマッチフラグをコーディングする場合に、隣接ブロックとの相関関係を考慮すると、さらに効率的にミスマッチフラグをコーディングできる。

従来のミスマッチフラグコーディング方法は、現在ブロックに対するミスマッチフラグと周辺ブロックに対するミスマッチフラグ間の相関性を考慮せずにコーディングを行うから、一つのコンテキストモデルを利用してミスマッチフラグをコーディングした。

しかしながら、周辺ブロックのミスマッチフラグとの相関性を考慮して、現在ブロックのミスマッチフラグをコーディングすると、効率をさらに高めることができる。この場合、周辺ブロックのミスマッチフラグとの相関性を考慮するようになるので、いくつかのコンテキストモデルが使用されることができる。

本出願では、周辺ブロックに対するコンテキストモデルとの相関性を考慮して、総３個のコンテキストモデルの中で現在ブロックのミスマッチフラグに適したコンテキストモデルを選択して、コーディングを行うことができる。

図８に示す現在ブロックの周辺ブロックは、ミスマッチフラグのコーディングにも使用されることができる。例えば、エンコード装置とデコード装置は、ミスマッチフラグのコーディングに現在ブロックの左側ブロックＡ１と現在ブロックの上側ブロックＢ１のうち、少なくとも一つを考慮することができる。

式２は、隣接ブロックＡ１のミスマッチフラグ（ｉｃ＿ｆｌａｇ（Ａ１））と隣接ブロックＢ２のミスマッチフラグ（ｉｃ＿ｆｌａｇ（Ｂ１））を使用して、現在ブロックのミスマッチフラグ値を決定する方法を表したものである。

〔式２〕

式２中、Ａ１ブロックにＩＶＭＣが適用されると、ｉｃ＿ｆｌａｇ（Ａ１）の値は、１となり、Ａ１ブロックにＩＶＭＣが適用されないと、ｉｃ＿ｆｌａｇ（Ａ１）の値は、０となる。Ｂ１ブロックに対しても同様に、Ｂ１ブロックにＩＶＭＣが適用されると、ｉｃ＿ｆｌａｇ（Ｂ１）は、１となり、Ｂ１ブロックにＩＶＭＣが適用されないと、ｉｃ＿ｆｌａｇ（Ｂ１）の値は、０となる。

したがって、二つのブロックＡ１とＢ１ともＩＶＭＣが行われると、現在ブロックに対するｉｃ＿ｆｌａｇのコンテキストモデルｃｔｘ＿ｃｕｒｒｅｎｔの値は、２となる。二つのブロックＡ１とＢ１のうち、何れか一つのブロックのみにＩＶＭＣが適用されると、ｃｔｘ＿ｃｕｒｒｅｎｔの値は、１となり、二つのブロックＡ１とＢ１ともＩＶＭＣが適用されないと、ｃｔｘ＿ｃｕｒｒｅｎｔの値は、０となる。

仮に、ｃｔｘ＿ｃｕｒｒｅｎｔの値が２であると、現在ブロックにもＩＶＭＣが行われる確率が高いということを意味する。ｃｔｘ＿ｃｕｒｒｅｎｔの値が０であると、現在ブロックにＩＶＭＣが行われる確率が高くないとのことを意味する。したがって、周辺ブロックを考慮したｃｔｘ＿ｃｕｒｒｅｎｔの値を利用して現在ブロックのｉｃ＿ｆｌａｇに対する各コンテキストモデルに適した初期値が割り当てられることができる。表３は、各ｃｔｘ＿ｃｕｒｒｅｎｔに応じてｉｃ＿ｆｌａｇに割り当てられる初期値（ｉｎｉｔ ｖａｌｕｅ）を表す。

一方、説明の便宜上、現在ブロックに周辺ブロックを考慮してシンタックス情報（ｉｃ＿ｆｌａｇ）をデコードする場合に、現在ブロックに隣接するブロックのうち、左側ブロックＡ１と上側ブロックＢ１を考慮する方法を説明したが、本発明は、これに限定されない。図８に示す周辺ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２の多様な組み合わせにより、現在ブロックのミスマッチフラグ（ｉｃ＿ｆｌａｇ）をコーディングするためのコンテキストモデルを決定することもできる。

例えば、Ａ０、Ｂ０、Ｂ２ブロックに基づいて現在ブロックに対するミスマッチフラグをコーディング（エンコード／デコード）するためのコンテキストモデルを決定できる。この場合、各ブロックのミスマッチフラグ（ｉｃ＿ｆｌａｇ）値を式３のように適用して、現在ブロックのｃｔｘ＿ｃｕｒｒｅｎｔを計算できる。

〔式３〕

エンコード装置とデコード装置は、式３により決定された現在ブロックのｃｔｘ＿ｃｕｒｒｅｎｔ値に応じて、現在ブロックのｉｃ＿ｆｌａｇをコーディングするための初期値を割り当てることができる。

また、図８に示す周辺ブロックを全部使用して、ミスマッチフラグをコーディングするためのコンテキストモデルを決定することもできる。例えば、式４のように各ブロックに対するミスマッチフラグの値を反映して、現在ブロックのｃｔｘ＿ｃｕｒｒｅｎｔ値を決定できる。エンコード装置とデコード装置は、ｃｔｘ＿ｃｕｒｒｅｎｔの値に応じて、現在ブロックに対するｉｃ＿ｆｌａｇの値をコーディングするための初期値を割り当てることができる。

〔式４〕

式４中、ｉｃ＿ｆｌａｇ（ＡＸ）は、ブロックＡＸ（Ｘ＝０，１）に対するミスマッチフラグ（ｉｃ＿ｆｌａｇ）で、ｉｃ＿ｆｌａｇ（ＢＹ）は、ブロックＢＹ（Ｙ＝０，１，２）に対するミスマッチフラグである。

このように、現在ブロックのミスマッチフラグをコーディングするために考慮される隣接ブロックに従って、多様なコンテキストモデルを使用することができる。

図９は、本発明に係るビデオエンコード装置の動作を概略的に説明するフローチャートである。

図９を参照すると、エンコード装置は、現在ブロックに対する予測サンプルを引き出す（Ｓ９１０）。エンコード装置は、予測サンプルを引き出すために、現在ブロックに対してインタ−ビューレジデュアル予測を適用することもできる。また、エンコード装置は、予測サンプルを引き出すために、現在ブロックに対してミスマッチ補償を行うこともできる。インタ−ビューレジデュアル予測とミスマッチ補償の具体的な内容は、上述のとおりである。

エンコード装置は、現在ブロックに対するレジデュアルサンプルを引き出すことができる（Ｓ９２０）。エンコード装置は、インタ−ビューレジデュアル予測及び／またはミスマッチ補償を適用して引き出した予測サンプルと現在ブロックの原本サンプル間の差をレジデュアルサンプルとして引き出すことができる。

エンコード装置は、ビデオデコードのためのビデオ情報をエントロピーデコードできる（Ｓ９３０）。エンコード装置は、ビデオ情報をエントロピーデコードして、ビットストリームとして出力できる。出力されたビットストリームは、ネットワークを介して送信されるか、または格納媒体に格納されることができる。ビデオ情報は、現在ブロックに対するレジデュアルサンプル値またはレジデュアルサンプル値を特定する情報を含むことができる。ビデオ情報は、インタ−ビューレジデュアル予測を行うための情報（例えば、ＡＲＰフラグ及び／または加重値インデックス）を含むことができ、ミスマッチ補正のための情報（例えば、ＩＣフラグ）を含むことができる。

図１０は、本発明に係るビデオデコード装置の動作を概略的に説明するフローチャートである。

図１０を参照すると、デコード装置は、ビットストリームに含まれたビデオ情報をエントロピーデコードする（Ｓ１０１０）。デコード装置がエントロピーデコードして引き出すビデオ情報は、現在ブロックに対するレジデュアル情報だけでなく、現在ブロックを復元するためのシンタックスエレメントの値を含む。

例えば、デコード装置は、現在ブロックにインタ−ビューレジデュアル予測が適用されることができるか否かを指示する情報をエントロピーデコードできる。デコード装置は、現在ブロックにインタ−ビューレジデュアル予測が適用されることができる場合、インタ−ビューレディーデュアル予測が適用されるか、適用される場合、どんな加重値が適用されるかを指示する情報をエントロピーデコードできる。

デコード装置は、現在ブロックにミスマッチ補正が適用されるか否かを指示する情報をエントロピーデコードすることもできる。

デコード装置は、エントロピーデコードされた情報に基づいて、現在ブロックの予測サンプルを引き出すことができる（Ｓ１０２０）。デコード装置は、予測サンプルを引き出すために、現在ブロックに対してインタ−ビューレジデュアル予測を適用することができる。また、デコード装置は、予測サンプルを引き出すために、現在ブロックに対してミスマッチ補償を行うことができる。インタ−ビューレジデュアル予測とミスマッチ補償の具体的な内容は、上述のとおりである。

デコード装置は、引き出した予測サンプルとレジデュアルサンプルに基づいて復元サンプルを引き出して、現在ピクチャを復元できる。サンプルの復元は、ブロック単位またはピクチャ単位に行われることができる。

デコード装置は、復元されたピクチャにフィルタリングを適用できる（Ｓ１０３０）。デコード装置は、復元されたピクチャにデブロッキングフィルタを適用したりサンプル単位のオフセットを適用して、復元されたピクチャが原本ピクチャにさらに近くなるように修正できる。

上述の例示的なシステムにおいて、方法は、一連のステップまたはブロックとしてフローチャートに基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、上述と異なるステップと異なる順序で、または同時に発生できる。また、上述の実施の形態は、多様な様態の例示を含む。よって、本発明は、以下の特許請求の範囲内に属するすべての他の取替、修正及び変更を含むはずである。

Claims (14)

1. マルチビュービデオをデコードするビデオデコード装置であって、
   ビットストリームをエントロピーデコードして、レジデュアル予測に関する情報を現在ブロックの周辺ブロックを参照してデコードするエントロピーデコード部と、
   現在ブロックのデコードに参照されるピクチャを格納するメモリと、
   前記レジデュアルに関する情報を利用して、前記メモリに格納されたピクチャにおいて前記現在ブロックに対応する第１ブロック及び第２ブロック間のサンプル値差に基づいて、現在ブロックに対する予測サンプルを引き出す予測部と、
   前記予測サンプルを利用して復元された現在ピクチャにフィルタリングを適用するフィルタリング部とを備え、
   前記第１ブロック及び前記第２ブロックのうち、少なくとも一つは、前記現在ブロックのビューとは異なるビューに属し、
   前記第１ブロックは、前記現在ブロックの動きベクトルまたはディスパリティベクトルにより特定され、
   前記第２ブロックは、前記現在ブロックの動きベクトル及びディスパリティベクトルにより特定される、ビデオデコード装置。
2. 前記レジデュアル予測に関する情報は、前記現在ブロックにレジデュアル予測を適用するか否かを指示する指示情報を含み、
   前記エントロピーデコード部は、前記現在ブロックの左側ブロックまたは上側ブロックの情報に基づいて、前記指示情報をデコードする、請求項１に記載のビデオデコード装置。
3. 前記エントロピーデコード部は、前記現在ブロックの左側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報をデコードする、請求項２に記載のビデオデコード装置。
4. 前記エントロピーデコード部は、前記現在ブロックの左側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報のデコードに適用するコンテキストを決定する、請求項３に記載のビデオデコード装置。
5. 前記エントロピーデコード部は、前記現在ブロックの上側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報をデコードする、請求項２に記載のビデオデコード装置。
6. 前記エントロピーデコード部は、前記現在ブロックの上側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報のデコードに適用するコンテキストを決定する、請求項５に記載のビデオデコード装置。
7. 前記エントロピーデコード部は、前記現在ブロックの左側ブロックまたは上側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報をデコードする、請求項２に記載のビデオデコード装置。
8. 前記第１ブロックのサンプル及び前記第２ブロックのサンプルは、予測サンプルである、請求項１に記載のビデオデコード装置。
9. マルチビュービデオをデコードするビデオデコード方法であって、
   現在ブロックの周辺ブロックを参照して、レジデュアル予測に関する情報をエントロピーデコードするステップと、
   前記レジデュアルに関する情報を利用して、前記現在ブロックに対応する第１ブロック及び第２ブロック間のサンプル値差に基づいて、現在ブロックに対する予測サンプルを引き出すステップと、
   前記予測サンプルを利用して復元された現在ピクチャにフィルタリングを適用するステップと、を含み、
   前記第１ブロック及び前記第２ブロックのうち、少なくとも一つは、前記現在ブロックのビューとは異なるビューに属し、
   前記第１ブロックは、前記現在ブロックの動きベクトルまたはディスパリティベクトルにより特定され、
   前記第２ブロックは、前記現在ブロックの動きベクトル及びディスパリティベクトルにより特定される、ビデオデコード方法。
10. 前記レジデュアル予測に関する情報は、前記現在ブロックにレジデュアル予測を適用するか否かを指示する指示情報を含み、
    前記エントロピーデコードステップは、前記現在ブロックの左側ブロックまたは上側ブロックの情報に基づいて、前記指示情報をデコードすることを含む、請求項９に記載のビデオデコード方法。
11. 前記エントロピーデコードステップでは、前記現在ブロックの左側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報をデコードする、請求項１０に記載のビデオデコード方法。
12. 前記エントロピーデコードステップでは、前記現在ブロックの上側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報をデコードする、請求項１０に記載のビデオデコード方法。
13. 前記エントロピーデコードステップでは、前記現在ブロックの左側ブロックまたは上側ブロックにレジデュアル予測が適用されたか否かに基づいて、前記指示情報をデコードする、請求項１０に記載のビデオデコード方法。
14. 前記第１ブロックのサンプル及び前記第２ブロックのサンプルは、予測サンプルである、請求項９に記載のビデオデコード方法。

Images