JP2010517409A - ビデオ信号処理方法及び装置 - Google Patents

Abstract

視点間ピクチャの冗長性が除去されたビデオ信号をデコーディングすることができるビデオ信号処理方法及び装置が開示される。本発明は、参照リストに含まれた第１参照視点内の第１対応ブロックのブロックタイプを獲得することと、前記第１対応ブロックのブロックタイプがイントラブロックである場合、前記参照リストに含まれた第２参照視点内の第２対応ブロックのブロックタイプ及びモーション情報を獲得することと、前記第２対応ブロックのブロックタイプがイントラブロックでない場合、前記第２対応ブロックのモーション情報を用いて現在のブロックをデコーディングすることとを含む。

Description

本発明は、ビデオ信号の処理に関するもので、より詳細には、ビデオ信号をデコーディングするビデオ信号処理方法及び装置に関するものである。本発明は、広範囲のアプリケーションに適するが、特にビデオ信号のデコーディングに適する。

一般に、圧縮符号化とは、デジタル化した情報を通信回線を通して伝送したり、保存媒体に適した形態で保存したりするための一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像及び文字などが存在し、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮という。ビデオ映像の一般的な特徴は、空間的重複性及び時間的重複性を有する点にある。

しかしながら、このような空間的重複性及び時間的重複性を充分に除去しないと、ビデオ信号の符号化において圧縮率が低下するだけでなく、空間的重複性及び時間的重複性を過度に除去した場合、ビデオ信号をデコーディングするのに必要な情報を生成できないので、復元率が悪くなるという問題点があった。

特に、多視点ビデオ信号において、視点間ピクチャには、ほとんどの場合、カメラの位置による差のみが存在するので、視点間ピクチャは、その関連性及び重複性が非常に高いが、このような視点間ピクチャの重複性を充分に除去しないか、または過度に除去した場合、圧縮率または復元率が低下するという問題点があった。

本発明は、従来技術の制限や欠点による上記の問題点のうちの一つ又は複数を実質的に予防するビデオ信号処理方法及び装置を対象とする。

本発明の目的は、視点間ピクチャの重複性が除去されたビデオ信号をデコーディングすることができるビデオ信号処理方法及び装置を提供することにある。

本発明の他の目的は、視点間ピクチャの関連性に基づいて現在のピクチャのモーション情報を獲得することで、動き補償を行うことができるビデオ信号処理方法及び装置を提供することにある。

本発明の更に他の目的は、現在のピクチャのモーション情報と類似性の高い参照視点のモーション情報を用いることで、現在のピクチャの復元率を高めることができるビデオ信号処理方法及び装置を提供することにある。

上記目的及び他の利点を達成するため、本発明の目的に従って、本発明に係るビデオ信号処理方法は、その実施形態が広範囲に記載されているように、参照リストに含まれた第１参照視点内の第１対応ブロックのブロックタイプを獲得する段階と、前記第１対応ブロックのブロックタイプがイントラブロックである場合、前記参照リストに含まれた第２参照視点内の第２対応ブロックのブロックタイプ及びモーション情報を獲得する段階と、前記第２対応ブロックのブロックタイプがイントラブロックでない場合、前記第２対応ブロックのモーション情報を用いて現在のブロックをデコーディングする段階とを含む。

本発明によると、前記参照リストは、第１参照リスト及び第２参照リストを含むことが好ましい。

本発明によると、前記第１参照リストは順方向の参照視点を含み、前記第２参照リストは逆方向の参照視点を含むことがさらに好ましい。

本発明によると、前記参照リストは、現在の視点との視点従属性に基づいて獲得されることが好ましい。

本発明によると、前記第１参照視点は、前記参照リストに含まれた参照視点のうち、前記ビデオ信号のビットストリームに含まれる順序を示すインデックスが最も低い参照視点に該当することが好ましい。

本発明によると、前記第１参照視点は、前記参照リストに含まれた参照視点のうち、現在の視点に最も近い参照視点に該当することが好ましい。

本発明によると、前記第１対応ブロックは、前記第１参照視点に対するグローバルモーションベクトルに基づいて獲得されたものであることが好ましい。

本発明によると、前記第１対応ブロックは、前記参照リストのうち第１参照リスト内の参照視点に属し、前記第２対応ブロックは、前記参照リストのうち第２参照リスト内の参照視点に属することが好ましい。

本発明によると、前記第２対応ブロックは、前記第２参照視点に対するグローバルモーションベクトルに基づいて獲得されたものであることが好ましい。

本発明によると、前記モーション情報は、モーションベクトル及び参照ピクチャインデックスを含むことが好ましい。

本発明によると、前記デコーディング段階は、視点内（ｉｎｔｒａ−ｖｉｅｗ）方向の参照ピクチャを獲得する段階をさらに含むことがさらに好ましい。

本発明によると、前記ビデオ信号は、放送信号を通して受信されたものであることが好ましい。

本発明によると、前記ビデオ信号は、デジタル媒体を通して受信されたものであることが好ましい。

上記及び他の利点をさらに達成するため、本発明の目的に従って、コンピュータ可読記録媒体は、参照リストに含まれた第１参照視点内の第１対応ブロックのブロックタイプを獲得する段階と、前記第１対応ブロックのブロックタイプがイントラブロックである場合、前記参照リストに含まれた第２参照視点内の第２対応ブロックのブロックタイプ及びモーション情報を獲得する段階と、前記第２対応ブロックのブロックタイプがイントラブロックでない場合、前記第２対応ブロックのモーション情報を用いて現在のブロックをデコーディングする段階とを含む方法を実行するためのプログラムを有する。

上記及び他の利点をさらに達成するため、本発明の目的に従って、ビデオ信号処理装置は、参照リストに含まれた第１参照視点内の第１対応ブロックのブロックタイプを獲得し、前記第１対応ブロックのブロックタイプがイントラブロックである場合、前記参照リストに含まれた第２参照視点内の第２対応ブロックのブロックタイプ及びモーション情報を獲得するモーション情報獲得部と、前記第２対応ブロックのブロックタイプがイントラブロックでない場合、前記第２対応ブロックのモーション情報を用いて現在のブロックをデコーディングするデコーディング部とを含む。

上記及び他の利点をさらに達成するため、本発明の目的に従って、ビデオ信号処理方法は、第１参照リスト及び第２参照リストのうち少なくとも一つの参照リストを再配列する段階と、ビットストリームから抽出した第１モーション情報または参照視点上の対応ブロックの第２モーション情報のうち一つのモーション情報を用いて、モーションベクトルを決定する段階と、ビットストリームから抽出したインターモーション情報または参照視点上の対応ブロックから抽出したイントラモーション情報のうち少なくとも一つのモーション情報を用いて、モーションベクトルを決定する段階と、前記モーションベクトルを用いて参照ブロックを獲得する段階と、前記参照ブロックを用いて現在のピクチャの現在のブロックをデコーディングする段階とを含む。

本発明によると、現在のピクチャがアンカーピクチャであるとき、前記モーションベクトルは前記インターモーション情報のみを用いることが好ましい。

本発明によると、前記参照ブロックは、インターモーション情報と関連しており、現在のブロックと同一の時間及び異なる視点に存在するものであることがさらに好ましい。

上記及び他の利点をさらに達成するため、本発明の目的に従って、ビデオ信号処理装置は、第１参照リスト及び第２参照リストのうち少なくとも一つの参照リストを再配列し、ビットストリームから抽出した第１モーション情報または参照視点上の対応ブロックの第２モーション情報のうち一つのモーション情報を用いて、モーションベクトルを決定し、ビットストリームから抽出したインターモーション情報または参照視点上の対応ブロックから抽出したイントラモーション情報のうち少なくとも一つのモーション情報を用いて、モーションベクトルを決定するモーション情報獲得部と、前記モーションベクトルを用いて参照ブロックを獲得し、前記参照ブロックを用いて現在のピクチャの現在のブロックをデコーディングするデコーディング部とを含む。

したがって、本発明は、次のような効果及び利点を提供する。
本発明によれば、第一に、ビデオ信号の符号化において、重複性の高いモーション情報を省略することができ、圧縮率が高くなるという効果がある。

第二に、ビデオ信号の復号化において、現在のピクチャのモーション情報が伝送されない場合にも、現在のピクチャのモーション情報と類似性の高い参照視点のモーション情報を用いることで、ビデオ信号の復元率を高めることができる。

第三に、ビデオ信号の復号化において、隣接した視点のピクチャにモーション情報が存在しない場合、他の視点のピクチャに存在するモーション情報を用いることができる。

本発明に係るビデオ信号デコーディング装置の概略的なブロック図である。 本発明の実施例に係るビデオ信号処理装置の構成図である。 本発明の実施例に係るビデオ信号処理方法のフローチャートである。 モーションスキップ判別段階（Ｓ１００段階）のサブステップの一例を示すフローチャートである。 視点従属性及び参照リストの概念を説明するための図である。 現在の視点に対する参照リストの一例を示した図である。 参照視点及び対応ブロックを決定する段階（Ｓ３００段階）のサブステップの一例を示すフローチャートである。 現在の視点に対する参照リストの他の例を示した図である。 参照視点及び対応ブロックを決定する段階（Ｓ３００段階）のサブステップの他の例を示すフローチャートである。 現在の視点に対する参照リストの更に他の例を示した図である。 参照視点及び対応ブロックを決定する段階（Ｓ３００段階）のサブステップの更に他の例を示すフローチャートである。 マッピングレベルがマクロブロックレベルである場合または８×８ブロックレベルである場合をそれぞれ説明するための図である。 マッピングレベルが４×４ブロックである場合またはサブピクセルレベルである場合をそれぞれ説明するための図である。

添付図面は、本発明をさらに理解するために包含されており、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を説明し、明細書の記載と共に本明細書の原理を説明するためのものである。

本発明の他の特徴及び利点は、以下の記載で述べるが、その一部については、明細書の記載から明らかになるであろうし、或いは、本発明の実施によって理解されるであろう。本発明の目的及び他の利点は、書面の明細書及び特許請求の範囲並びに添付図面で特に指摘された構成によって、実現され達成されるであろう。

以下の概略及び詳細についての記載は、ともに例示及び説明のためのものであり、特許請求の範囲に記載された本発明をさらに説明することを意図している。
以下、添付図面に図示された本発明の好適な実施形態について詳細に述べる。

特に、本発明でのモーション情報は、時間方向のモーション情報のみならず、視点間方向のモーション情報を含む概念として理解されるべきである。さらに、モーションベクトルは、時間方向の動きの差のみならず、視点間方向の変移の差も含む概念として理解されるべきである。

本発明におけるコーディングとは、エンコーティング及びデコーディングを全て含む概念として理解されるべきである。

一方、視点内予測（ｉｎｔｒａ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）とは、同一の視点内に存在する各ピクチャ間の予測で、その例としては時間的予測がある。また、視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）とは、異なる視点に存在する各ピクチャ間の予測を意味する。

図１は、本発明に係るビデオ信号デコーディング装置の概略的なブロック図を示す。図１を参照すると、デコーディング装置は、ＮＡＬパージング部１００、エントロピデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００及びインター予測部７００を含む。そして、インター予測部７００は、照明オフセット予測部７１０、照明補償部７２０及び動き補償部７３０を含む。

パージング部１００は、受信されたビデオ映像を復号するためにＮＡＬ単位でパージングを行う。一般に、一つまたはそれ以上のシークエンスパラメータセット及びピクチャパラメータセットは、スライスヘッダ及びスライスデータがデコーディングされる前にデコーダに伝送される。このとき、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には多様な属性情報が含まれる。ＭＶＣは、既存のＡＶＣ技術に対する追加的な技術であるので、無条件に追加するよりも、ＭＶＣビットストリームである場合に限って多様な属性情報を追加することがより効率的である。例えば、前記ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域にＭＶＣビットストリームであるかどうかを識別可能なフラグ情報を追加することができる。前記フラグ情報によって入力されたビットストリームが多視点映像コーディングされたビットストリームである場合に限って、多視点映像に対する属性情報を追加することができる。例えば、前記属性情報は、時間的レベル情報、視点レベル情報、視点間ピクチャグループ識別情報、視点識別情報などを含むことがある。

パージングされたビットストリームは、エントロピデコーディング部２００を通してエントロピデコーディングされ、各マクロブロックの係数及び動きベクトルなどが抽出される。逆量子化／逆変換部３００では、受信された量子化された値に一定の常数を掛けることで、変換された係数値を獲得し、前記係数値を逆変換することで画素値を復元する。前記復元された画素値を用いて、イントラ予測部４００では、現在のピクチャ内のデコーディングされたサンプルから画面内予測を行う。一方、デブロッキングフィルタ部５００は、ブロック歪曲現象を減少させるために、それぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックのエッジを滑らかにして、デコーディングされたピクチャの画質を向上させる。フィルタリング過程の選択は、境界の強さ及び境界の周囲のイメージサンプルのグラディエントによって左右される。フィルタリングを経た各ピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部６００に保存されたりする。

復号ピクチャバッファ部６００は、画面間予測を行うために、以前にコーディングされた各ピクチャを保存または開放する役割を行う。このとき、ピクチャを復号ピクチャバッファ部６００に保存または復号ピクチャバッファ部６００から開放するために、各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣ（Picture Order Count：ピクチャオーダカウント）を用いる。したがって、ＭＶＣにおいて、前記以前にコーディングされた各ピクチャのうち現在のピクチャと異なる視点にあるピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣのみならず、ピクチャの視点を識別する視点情報も一緒に用いることがある。上記のように管理される各参照ピクチャは、インター予測部７００で用いられる。

インター予測部７００は、復号ピクチャバッファ部６００に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分けられ、各マクロブロックパーティションは、一つまたは二つの参照ピクチャから予測される。前記インター予測部７００は、照明オフセット予測部７１０、照明補償部７２０及び動き補償部７３０を含む。

入力されたビットストリームが多視点映像に該当する場合、各視点映像は、それぞれ異なるカメラで取得された映像であるので、カメラの内外的要因によって照明差が発生するようになる。これを防止するために、照明補償部７２０は照明補償を行う。照明補償において、ビデオ信号の一定の階層に対する照明補償を行うか否かを表すフラグ情報を用いることができる。例えば、該当のスライスまたは該当のマクロブロックの照明補償を行うか否かを表すフラグ情報を用いて、照明補償を行うことができる。また、前記フラグ情報を用いた照明補償において、照明補償は、多様なマクロブロックのタイプ（例えば、インター１６×１６モード、Ｂ−ｓｋｉｐモードまたは直接モードなど）に適用可能である。

動き補償部７３０は、エントロピデコーディング部２００から伝送された動き情報を用いて現在のブロックの動きを補償する。ビデオ信号から現在のブロックに隣接する各ブロックの動きベクトルを抽出し、前記現在のブロックの動きベクトル予測値を獲得する。前記獲得された動きベクトル予測値と前記ビデオ信号から抽出されるオフセットベクトルを用いて、現在のブロックの動きを補償する。また、このような動き補償は、一つの参照ピクチャまたは複数のピクチャを用いて行われる。多視点ビデオコーディングにおいて、現在のピクチャが異なる視点にあるピクチャを参照する場合、前記復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに関する情報を用いて動き補償を行うことができる。また、そのピクチャの視点を識別する視点情報を用いて動き補償を行うこともできる。

一方、上記のように動き補償を行うためには動き情報が必要であるが、特定のブロックに該当する動き情報を伝送しないことがある。このような方式として、モーションスキップモードという方式が存在する。モーションスキップモードとは、復号化が終了したブロックの動き情報から現在のブロックの動き情報を求める方式である。例えば、現在のブロックの参照ピクチャインデックス及び動きベクトルなどは、現在のブロックの動き情報と類似した動き情報を有する参照視点に存在する対応ブロックから求めることができる。この方法によると、現在のブロックの動き情報が伝送されないので、動き情報を符号化するために必要なビット数を節約することができる。

上記の過程を通してインター予測されたピクチャとイントラ予測されたピクチャが予測モードによって選択され、現在のピクチャを復元する。以下では、モーションスキップモードに関する多様な実施例を説明する。

図２は、本発明の実施例に係るビデオ信号処理装置の構成を示した図で、図３は、本発明の実施例に係るビデオ信号処理方法のフローチャートである。まず、図２を参照すると、本発明の実施例に係るビデオ信号処理装置１０００は、情報抽出部１０５０、モーションスキップ判別部１１００、参照リスト獲得部１２００、グローバルモーションベクトル獲得部１２５０、対応ブロック決定部１３００及びデコーディング部１４００を含む。モーション情報獲得部は、参照リスト獲得部１２００、グローバルモーションベクトル獲得部１２５０及び対応ブロック決定部１３００を含むことがある。以下、図２及び図３を一緒に参照しながら、本発明の実施例に関して概略的に説明する。

情報抽出部１０５０は、モーションスキップ許容フラグ情報及びモーションスキップ適用フラグ情報を抽出し、モーションスキップ判別部１１００は、抽出された情報に基づいて現在のブロックがモーションスキップモードに該当するかどうかを判断する（Ｓ１００段階）。現在のブロックがモーションスキップモードでない場合、ビットストリームから現在のブロックのモーション情報を抽出する過程を経て、デコーディング部１４００で、抽出されたモーション情報を用いて現在のブロックをデコーディングする。一方、情報抽出部１０５０は、図１を参照して説明されたエントロピデコーディング部２００に含まれるが、本発明がこれに限定されることはない。Ｓ１００段階については、後述の“１．モーションスキップ判別段階”で具体的に説明する。

参照リスト獲得部１２００は、視点従属性に基づいて第１参照リスト及び第２参照リストを獲得する（Ｓ２００段階）。視点従属性及び参照リストに関しては、後述の“２．１参照リスト獲得段階”で具体的に説明する。

オフセット獲得部１２５０は、対応ブロックを探索するために必要なオフセット（例えば、グローバルモーションベクトル、ローカルモーションベクトル、ゼロベクトル）を獲得する（Ｓ２５０段階）。ここで、オフセットの種類及びオフセットを求める方法に関する多様な実施例は、後述の“２．２オフセット獲得段階”で具体的に説明する。

対応ブロック決定部１３００は、Ｓ２００段階で獲得された参照リスト及びＳ２５０段階で獲得されたオフセットに基づいて、参照視点及び対応ブロックを決定する（Ｓ３００）。この過程で、現在の視点との視点従属性が存在する一つ以上の参照視点のうちいずれの視点を優先的に探索するか、及び探索された視点の対応ブロックにモーション情報が存在しないとき、次善の策としていずれの視点を探索するかに関する多様な実施例は、後述の“３．参照視点及び対応ブロック決定段階”で説明する。一方、対応ブロックがマクロブロックレベルであるか、それとも８×８ブロックレベルであるかによって対応ブロックを決定する方法が異なるが、これに関しても後で説明する。

デコーディング部１４００は、Ｓ３００段階で決定された対応ブロックのモーション情報を用いて現在のブロックをデコーディングする（Ｓ４００段階）。また、対応ブロックのモーション情報のみならず、レジデュアル情報も用いることができるが、これについては、後述の“４．対応ブロックのモーション情報を用いて現在のブロックをデコーディングする段階”で具体的に説明する。一方、モーションスキップ判別部１１００、参照リスト獲得部１２００、オフセット獲得部１２５０、対応ブロック決定部１３００及びデコーディング部１４００は、既に図１を参照して説明された動き補償部７３０に含まれるが、本発明がこれに限定されることはない。

１．モーションスキップ判別段階
Ｓ１００段階で、情報抽出部１０５０は、モーションスキップ許容フラグ情報及びモーションスキップ適用フラグ情報を抽出し、モーションスキップ判別部１１００は、抽出された情報に基づいて現在のブロックがモーションスキップモードに該当するかどうかを判断する。図４は、Ｓ１００段階のサブステップを示している。

図４を参照すると、まず、スライスヘッダからモーションスキップ許容フラグ情報を抽出する（Ｓ１１０段階）。モーションスキップ許容フラグ情報とは、スライスに属する各ブロックのうちモーションスキップモードに該当するブロックが一つ以上存在するかどうかに関する情報である。すなわち、スライス内の各ブロックに対してモーションスキップモードが許容されるかどうかに関する情報である。モーションスキップ許容フラグは、スライスヘッダに含まれるが、本発明がこれに限定されることはない。モーションスキップ許容フラグがスライスヘッダに含まれるシンタックスの一例を、次のテーブルに表している。

上記のテーブルのうち、右側に（Ａ）が表示された行を参照すると、“ｍｏｔｉｏｎ＿ｓｋｉｐ＿ｅｎａｂｌｅ＿ｆｌａｇ”というシンタックスエレメントが存在する。これがモーションスキップ許容フラグであるが、０または１の値を有する１ビットのフラグである。各フラグ値による意味は、次のテーブルのように定義される。

現在のスライスにモーションスキップが適用されない場合、モーションスキップ許容フラグを伝送する必要がない。したがって、上記のテーブルに表したように、モーションスキップが適用される条件を追加することができる。すなわち、現在のスライスがノンアンカー（ｎｏｎ−ａｎｃｈｏｒ）ピクチャで、他の視点との参照関係がある場合のみにモーションスキップ許容フラグを伝送すれば充分である。

Ｓ１１０段階で抽出されたモーションスキップ許容フラグに基づいて、現在のスライスに対してモーションスキップモードが許容されるかどうかを判断する（Ｓ１２０段階）。モーションスキップモードが許容されない場合（Ｓ１２０段階の‘いいえ’）（例えば、モーションスキップ許容フラグ（ｍｏｔｉｏｎ＿ｓｋｉｐ＿ｅｎａｂｌｅ＿ｆｌａｇ）が０であるとき）、スライス内にモーションスキップモードに該当するブロックが一つも存在しないので、該当のスライス全体がモーションスキップモードでないと判別し、ブロックレベルで現在のブロックのモーション情報を抽出する（Ｓ１５０段階）。

その反対に、Ｓ１２０段階で現在のスライスにモーションスキップが許容される場合（Ｓ１２０段階の‘はい’）、スライス内の各ブロックがモーションスキップモードに該当するかどうかを判断する段階を行うことができる。まず、ブロックレベルでモーションスキップ適用フラグ情報を抽出する（Ｓ１３０段階）。モーションスキップ適用フラグ情報とは、現在のブロックがモーションスキップモードに該当するかどうかを表す情報である。Ｓ１１０段階で抽出したモーションスキップ許容フラグに基づいてマクロブロックレイヤからモーションスキップ適用フラグを抽出する一例を、次のテーブルに示している。

上記のテーブルのうち右側に（Ｃ１）及び（Ｆ）が示された行を参照すると、モーションスキップ許容フラグが０でない場合に、（（Ｃ１）行のｉｆ（…ｍｏｔｉｏｎ＿ｓｋｉｐ＿ｅｎａｂｌｅ＿ｆｌａｇ）を参照）、モーションスキップ適用フラグ（（Ｆ）行のｍｏｔｉｏｎ＿ｓｋｉｐ＿ｆｌａｇを参照）を抽出することが分かる。すなわち、モーションスキップ許容フラグが０である場合には、マクロブロックレイヤからモーションスキップ適用フラグを抽出しない。

上記の［テーブル１の変形］のように、スライスヘッダでスライスにモーションスキップの適用可否条件が適用されると、各マクロブロックでは、モーションスキップ許容フラグのみをチェックすればよい。したがって、上記のテーブルのように現在のスライスでのモーションスキップ許容フラグが１である場合、各マクロブロックに対してモーションスキップ適用フラグを伝送すれば充分である。

Ｓ１３０段階で抽出されたモーションスキップ適用フラグに基づいて、現在のブロックがモーションスキップモードであるかどうかを判断する（Ｓ１４０段階）。モーションスキップ適用フラグも、０または１の値を有する１ビットフラグである。各フラグ値による意味は、次のテーブルのように定義される。

Ｓ１４０段階の判断結果、現在のブロックがモーションスキップモードに該当しない場合（Ｓ１４０段階の‘いいえ’）（例えば、モーションスキップ適用フラグ（ｍｏｔｉｏｎ＿ｓｋｉｐ＿ｆｌａｇ）が０であるとき）、モーションスキップモードでないと判別し、ビットストリームから現在のブロックのモーション情報を抽出する（Ｓ１５０段階）（テーブル３の（ＣＣ１）及び（Ｐ１）行を参照）。

その反対に、現在のブロックがモーションスキップモードに該当する場合（Ｓ１４０段階の‘はい’）、Ｓ１００段階を終了し、上述したＳ２００段階〜Ｓ４００段階が進行される。

２．１ 参照リスト獲得段階
上述したように、Ｓ２００段階では、視点従属性に基づいて第１参照リスト及び第２参照リストを獲得する。視点従属性とは、現在の視点と異なる視点との関連性を意味するもので、現在の視点をデコーディングするために、異なる視点が必要であるかどうかに関するものである。視点従属性は、シークエンス拡張フィールド（ＳＰＳ ＭＶＣ ｅｘｔｅｎｓｉｏｎ）に含まれた情報から推定される。

Ｓ２００段階は、視点従属性のうち、特に、ノンアンカーピクチャの視点従属性に基づいて行うことができる。ここで、アンカーピクチャは、視点間予測のみを行うピクチャとして、異なる視点内のピクチャのみを参照し、同一視点内のピクチャは参照しないピクチャを称し、ノンアンカーピクチャは、アンカーピクチャに該当しないピクチャとして、同一視点または異なる視点のピクチャを全て参照可能なピクチャを称する。また、ノンアンカーピクチャ間の視点従属性は、現在の視点のノンアンカーピクチャと異なる視点のノンアンカーピクチャとの関連性である。アンカーピクチャは、視点間予測のみを行う特性を有するので、モーションスキップモードが適用されず、ノンアンカーピクチャのみにモーションスキップモードが適用されるので、ノンアンカーピクチャの視点従属性に基づいてＳ２００段階が行われる。

一方、現在の視点とノンアンカーピクチャとの間の視点従属性を有する視点情報は、第１参照リストの視点情報と第２参照リストの視点情報に分けられるが、例えば、Ｌ０方向の参照リストの視点情報（ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｌ０［ｊ］［ｉ］、ｊ＝現在の視点、ｉ＝０、…、ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０−１）と、Ｌ１方向の参照リストの視点情報（ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｌ１［ｊ］［ｉ］、ｊ＝現在の視点、ｉ＝０、…、ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１−１）とに分けられる。このような視点情報を用いて、現在の視点との視点従属性を有する異なる視点の視点識別子（ｖｉｅｗ＿ｉｄ）を知ることができる。

図５は、視点従属性及び参照視点リストの概念を説明するための図である。図５を参照すると、現在の視点ＶｃのノンアンカーピクチャＰ_C1、…、Ｐ_Cnが存在する。右側の点線矢印は、現在の視点Ｖｃと異なる視点Ｖ_C-1、Ｖ_C-2、Ｖ_C+1、Ｖ_C+2との間のノンアンカーピクチャの視点従属性を表している。順方向に現在の視点Ｖｃとのノンアンカーピクチャの視点従属性が存在する各視点（ｎｏｎ＿ａｎｃｈｏｒ−ｒｅｆ＿ｌ０［Ｖｃ］［ｉ］、ｉ＝０、１）は、視点Ｖ_C-1及び視点Ｖ_C-2で、逆方向に現在の視点Ｖｃとのノンアンカーピクチャの視点従属性が存在する各視点（ｎｏｎ＿ａｎｃｈｏｒ−ｒｅｆ＿ｌ１［Ｖｃ］［ｉ］、ｉ＝０、１）は、視点Ｖ_C+1及び視点Ｖ_C+2であることが分かる。図５に示すように、第１参照視点リストＲＬ１は、視点Ｖ_C-1及び視点Ｖ_C-2を含み、第２参照視点リストＲＬ２は、視点Ｖ_C+1及び視点Ｖ_C+2を含む概念である。上記の技術は、図５の場合の一実施例に過ぎず、参照視点リストに保存される順序が、必ず現在の視点と空間的に近い順序のみに定められるのではなく、エンコーダで指定することができる。また、逆方向視点が第１参照視点リストに含まれ、順方向視点が第２参照視点リストに含まれることもある。また、参照ピクチャリスト再配列（ＲＰＬＲ：Reference Picture List Reordering）演算を通して、基本リスト構成で各スライス別に異なるように設定することもできる。

現在のブロックと同一の時間基準にある参照視点に含まれた第１参照ブロックは、インターモーション情報と関連した参照ブロックであり、現在のブロックと同一の視点基準にある現在の視点に含まれた第２参照ブロックは、イントラモーション情報と関連した参照ブロックである。

上記のように第１参照視点リスト及び第２参照視点リストを獲得した後、これを用いてＳ３００段階で参照視点を決定する。

２．２ オフセット獲得段階
後述のＳ３００段階で対応ブロックを探索するためには、現在のブロックと参照ピクチャの対応ブロックとのオフセット値が必要である。このオフセット値は、ａ）ゼロベクトル、ｂ）グローバルモーションベクトル、ｃ）ローカルモーションベクトルなどの多様な方法で求められ、このオフセット値を用いて対応ブロックを探索する方式にも多様な方式があるが、以下では、それぞれの多様な実施例について説明する。

２．２．１ オフセットの種類及びオフセットを求める方法
（１）ゼロベクトル
現在のブロックと対応ブロックとのオフセットをゼロベクトルに設定することができるが、これは、対応ブロックを現在のブロックと同一位置のブロックに設定する場合である。

（２）グローバルモーションベクトル
グローバルモーションベクトルは、現在のピクチャと参照ピクチャの全体的なモーションまたは変移の差を代表する値として、ピクチャのみならず、スライス、フィールド、フレーム、シークエンスなどに対応するオフセットである。モーションスキップモードが時間方向へのモーション情報をスキップするためのものである場合、グローバルモーションベクトルは視点方向のモーションまたは変移の差になり、その反対に、モーションスキップモードが視点方向へのモーション情報をスキップするためのものである場合、グローバルモーションベクトルは時間方向のモーションまたは変移の差になる。

グローバルモーションベクトルを伝送する方法には多様な方法があるが、グローバルモーションベクトルがピクチャごとにまたはアンカーピクチャごとに伝送されたり、シークエンス全体に対して一つのグローバルモーションベクトルが伝送されたりする。グローバルモーションベクトルがアンカーごとに伝送される場合、モーションスキップモードはノンアンカーピクチャのみに適用されるので、ノンアンカーピクチャの視点従属性が存在する視点のみに対してグローバルモーションベクトルを伝送することができる。例えば、現在の視点の視点識別子がＶｃで、ノンアンカーピクチャ間の視点従属性が存在する視点がＬ０方向にＶ_C-1で、Ｌ１方向にＶ_C+2である場合、グローバルモーションベクトルとしては、Ｌ０方向にｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｌ０［０］（ここで、ＶｉｅｗＩＤ［０］＝Ｖ_C-1）が伝送され、Ｌ１方向にｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｌ１［１］（ここで、ＶｉｅｗＩＤ［１］＝Ｖ_C+2）が伝送される。

このように、グローバルモーションベクトルがアンカーピクチャごとに伝送される場合、隣接したアンカーピクチャのグローバルモーションベクトルを用いてノンアンカーピクチャのグローバルモーションベクトルを求めることができる。このような方法には多様な方法があるが、現在のピクチャがノンアンカーピクチャであるとき、最も隣接するアンカーピクチャのグローバルモーションベクトルのうち一つをそのまま持ってくることもでき、現在のピクチャと隣接するアンカーピクチャとの間の出力順序（ＰＯＣ）を考慮して、二つの隣接するアンカーピクチャのグローバルモーションベクトルを補間して求めることもできるが、本発明がこれに限定されることはない。

グローバルモーションベクトルの解像度は、マクロブロック、８×８ブロック、４×４ブロック、ピクセル、サブピクセルなどの解像度を有することができる。参照ピクチャは８×８ブロック単位で定められ、モーションベクトルは４×４ブロック単位で定められるので、８×８ブロックレベル単位でグローバルベクトルを求める場合、マクロブロックレベル単位で求めるときより詳細な対応ブロックを指定することもできる。

（３）ローカルモーションベクトル
ローカルモーションベクトルは、ピクチャ全体に該当するオフセットでなく、ピクチャ内で特定のマクロブロック、特定の８×８ブロックまたは特定の４×４ブロックに対応するオフセットとして、一般に１／４ｐｅｌ解像度を有する。現在のブロックと隣接した各ブロックが視点方向にモーションベクトル（または変移ベクトル）を有している場合、その隣接する各ブロックのモーションベクトルを用いて現在のブロックのローカルモーションベクトルを求めることができる。具体的に説明すると、隣接する各ブロックが現在のブロックと同一の参照ピクチャを有するかどうかに基づいて、現在のピクチャの参照ピクチャと同一の参照ピクチャを有する隣接するブロックのモーションベクトルのみを用いることができる。代替方法として、特定のブロック（例えば、最初が左上のブロックで、次に上のブロックなど）に優先順位をおいて、順位に従って参照ピクチャが同一か否かをチェックしながら、参照ピクチャが同一である隣接したブロックのモーションベクトルを用いることができる。

２．２．２ オフセットリファインメント（ｒｅｆｉｎｅｍｅｎｔ）方法
前記２．２．１で求めたゼロベクトル、視点方向のモーションベクトル（グローバルモーションベクトルまたはローカルモーションベクトル）は、現在のブロックの視点方向の実際のモーションベクトルと差があり得る。その差を下記のテーブルのように伝送すると、求められたモーションベクトルの値を予測値に設定し、この予測値に伝送された差値を足してモーションベクトルを獲得することができる。

前記差値は、用いるモーションベクトルの解像度レベルによってマクロブロック（１６×１６）レベル、８×８ブロックレベル、４×４ブロックレベル、ピクセルレベルまたはサブピクセル単位の値になり得る。

上記のように、多様な実施例によって現在のブロックと対応ブロックとのオフセットを求めることができる。

３．参照視点及び対応ブロック決定段階
上記のような過程で獲得された参照リスト及びオフセットを用いて、参照視点及び参照視点に存在する対応ブロックを決定することができる。視点の対応ブロックにモーション情報が存在する場合には、その視点は現在のブロックの最終的な参照視点になり、その対応ブロックは最終的な対応ブロックになる。一方、対応ブロックは同一時間帯のピクチャ内に属するものであるが、対応ブロックが異なる時間帯のピクチャに属する場合には、出力順序（ＰＯＣ）情報をさらに用いることができる。

このような参照視点に関する情報は、明示的方式ではエンコーダでビットストリームを通して伝送され、黙示的方式ではデコーダで任意に決定される。以下、明示的方式及び黙示的方式に対してそれぞれ説明する。

一方、現在のブロックと対応ブロックとのマッピングにおいて、マクロブロックレベル、８×８ブロックレベルなどのレベルが異なる多様な実施例が存在するが、以下では、これについても説明する。

３．１ 参照視点及び対応ブロックを決定する方式
（１）明示的方式（ｅｘｐｌｉｃｉｔ ｓｃｈｅｍｅ）
第１参照リスト及び第２参照リストに含まれている各視点のうちいずれの視点を参照視点として設定するかに関する情報、すなわち、参照視点の視点識別子を明示的に伝送することができる。

さらに、各参照リストに属する各視点のうち、現在の視点と最も近い視点から参照視点になり得るかどうかをチェックするように設定されている場合には、参照視点の視点識別子を明示的に伝送する必要はない。しかし、この場合にも、第１参照リスト及び第２参照リストが両方とも存在するので、これら二つのうちいずれからチェックするかを表すモーションスキップ参照リストフラグを、下記のテーブルのように明示的に伝送してもよい。

［テーブル１の変形］のようにスライスヘッダにモーションスキップ許容条件が適用された場合には、上記のテーブルのようにモーションスキップフラグ情報のみを確認すれば充分である。

（２）黙示的方式（ｉｍｐｌｉｃｉｔ ｓｃｈｅｍｅ）
第１参照リスト及び第２参照リストに含まれている各参照視点のうちいずれの視点を参照視点に設定するかに関する情報が伝送されない場合がある。この場合、各参照視点の対応ブロックにモーション情報が存在するかどうかをチェックしながら、最終的な参照視点及び対応ブロックを決定することができる。第１参照リスト及び第２参照リストのうちいずれの参照リストに属する参照視点を最優先にチェックするかに関する多様な実施例が存在し、その参照視点にモーション情報がない場合、その後にはどのような順にチェックするかに関する多様な実施例が存在する。

特定の参照リストに属する各参照視点間の優先順位において、第一に、第１参照リスト（または第２参照リスト）に含まれている各参照視点は、参照視点を示すインデックスが低い順にチェックすることができる。ここで、参照視点を示すインデックスとは、エンコーダでビットストリームをコーディングするときに設定された各参照視点のシリアル番号であるが、例えば、シークエンス拡張情報（ＳＰＳ ｅｘｔｅｎｓｉｏｎ）でのノンアンカーピクチャの参照視点をｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］またはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ1［ｉ］と表現するとき、ｉは参照視点を示すインデックスである。エンコーダは、現在の視点と近い順に低いインデックスを与えることができるが、本発明がこれに限定されることはない。インデックス‘ｉ’が０から始まる場合、ｉ＝０である参照視点をチェックし、次にｉ＝１である参照視点をチェックし、その次にｉ＝２である参照視点をチェックすることができる。

第二に、第１参照リスト（または第２参照リスト）に含まれている各参照視点は、現在の視点と近い順にチェックすることができる。

第三に、第１参照リスト（または第２参照リスト）に含まれている各参照視点は、基準視点と近い順にチェックすることができる。

第１参照リストと第２参照リストとの間の優先順位において、第２参照リストより第１参照リストに属する参照視点からチェックするように設定することができる。このような設定を前提にして、参照視点が第１参照リスト及び第２参照リストの両方に存在する場合と、第１参照リストまたは第２参照リストのいずれかに存在する場合とについて以下で説明する。

（２）−１ 参照視点が二つの参照リストの両方に存在する場合
図６は、現在の視点に対する参照リストの一例を示した図で、図７は、参照視点及び対応ブロックを決定する段階（Ｓ３００段階）のサブステップの一例を示すフローチャートである。まず、図６を参照すると、現在の視点Ｖｃ及び現在のブロックＭＢｃを基準にして、Ｌ０方向の第１参照リストＲＬ１及びＬ１方向の第２参照リストＲＬ２の両方が存在することが分かる。

図６及び図７を参照すると、まず、第１参照リストＲＬ１で参照視点を示すインデックスが最も低い視点（Ｖ_C-1＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［０］）を第１参照視点ＲＶ１に決定し、現在の視点Ｖｃと第１参照視点ＲＶ１との間のオフセット（ＧＤＶ＿ｌ０［０］）が示すブロックを第１対応ブロックＣＢ１に決定する（Ｓ３１０段階）。第１対応ブロックＣＢ１がイントラブロックでない場合、すなわち、モーション情報が存在する場合（Ｓ３２０段階の‘いいえ’）、第１対応ブロックを最終的に対応ブロックとして決定し、第１対応ブロックからモーション情報を獲得する（Ｓ３３２段階）。

その反面、第１対応ブロックＣＢ１のブロックタイプが画面内予測ブロックである場合（Ｓ３２０段階の‘はい’）、第２参照リストＲＬ２でインデックスが最も低い視点（Ｖ_C+1＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［０］）を第２参照視点ＲＶ２に決定し、現在の視点Ｖｃと第２参照視点ＲＶ２との間のオフセット（ＧＤＶ＿ｌ１［０］）が示すブロックを第２対応ブロックＣＢ２に決定する（Ｓ３３４段階）。その次に、上述したＳ３２０段階、Ｓ３３２段階、Ｓ３３４段階と同様に、第２対応ブロックＣＢ２にモーション情報が存在しない場合、第１参照リストでインデックスが２番目に低い視点（Ｖ_C-2＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［１］）を第３参照視点ＲＶ３に決定し、第２参照リストでインデックスが２番目に低い視点（Ｖ_C+2＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［１］）を第４参照視点ＲＶ４に決定し、第３対応ブロックＣＢ３及び第４対応ブロックＣＢ４に関して順次的にチェックする。すなわち、参照視点を示すインデックスを考慮して、第１参照リストＲＬ１と第２参照リストＲＬ２の各参照視点を交互にチェックしながら、モーション情報が存在するか否かをチェックする。

現在の視点に対する視点従属性情報で最も低いインデックスを有する視点（例えば、ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］、ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］、ｉ＝０）が現在の視点Ｖｃと最も近い視点である場合、参照視点の候補（すなわち、前記第１参照視点、前記第２参照視点など）の選定基準は、現在の視点Ｖｃと最も近い順序になることもある。一方、最も低いインデックスを有する視点が基準視点と近い視点である場合、参照視点の候補選定基準は、基準視点または基準視点と最も近い順序になることもあるが、本発明がこれに限定されることはない。

（２）−２ 参照視点が一方の参照リストに存在する場合
図８は、現在の視点に対する参照リストの他の例を示した図で、図９は、参照視点及び対応ブロックを決定する段階（Ｓ３００段階）のサブステップの他の例を示すフローチャートである。図８及び図９は、第１参照リストＲＬ１のみを示す。この場合、第１参照リストＲＬ１でインデックスが最も低い視点（Ｖ_C-1＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［０］）を第１参照視点ＲＶ１及び第１対応ブロックＣＢ１に決定し、２番目にインデックスが低い視点（Ｖ_C-2＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［１］）を第２参照視点ＲＶ２及び第２対応ブロックＣＢ２に決定し、３番目にインデックスが低い視点を第３参照視点（ＲＶ３＝ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［２］）（図示せず）及び第３対応ブロックＣＢ３（図示せず）に決定した後、各対応ブロックのタイプがイントラブロックであるかどうかを順次的にチェックすることで、最終的にモーション情報を用いることができる参照視点及び対応ブロックを決定する。

図１０は、現在の視点に対する参照リストの更に他の例を示した図で、図１１は、参照視点及び対応ブロックを決定する段階（Ｓ３００段階）のサブステップの更に他の例を示すフローチャートである。図１０及び図１１は、第２参照リストＲＬ２のみを示す。この場合、図８及び図９の場合と類似した形態で、第２参照リストＲＬ２でインデックスが低い順に第１参照視点ＲＶ１及び第１対応ブロックＣＢ１、第２参照視点ＲＶ２及び第２対応ブロックＣＢ２、第３参照視点ＲＶ３及び第３対応ブロックＣＢ３などを決定した後、各対応ブロックのタイプがイントラブロックであるかどうかを順次チェックする。すなわち、第１参照リストＲＬ１に参照視点が存在しない場合、Ｌ０方向への参照視点はテストせず、第２参照リストＲＬ２の参照視点のうちインデックスが低い視点から対応ブロックのブロックタイプを順次チェックする。

上記のような過程を通して、Ｓ３００段階でモーション情報を獲得する参照視点及び対応ブロックを決定する。

３．２ 各マッピングレベルによる対応ブロック
参照視点内で対応ブロックを探索するために、グローバルモーションベクトルのみならず、マクロブロック（１６×１６ブロック）、８×８ブロック、４×４ブロック、ピクセル及びサブピクセルなどに対応するローカルモーションベクトルを使用することもできる。一方、グローバルモーションベクトルまたはローカルモーションベクトルの単位も、マクロブロック（１６×１６）、８×８ブロック、４×４ブロック、ピクセル及びサブピクセル単位などであり得る。

このようなグローバルモーションベクトルまたはローカルモーションベクトルを用いた現在のブロックと対応ブロックとのマッピングにおいて、多様なレベルを提供することができる。図１２は、マッピングレベルがマクロブロックレベルまたは８×８ブロックレベルである場合をそれぞれ説明するための図で、図１３は、マッピングレベルが４×４ブロックまたはサブピクセルレベルである場合をそれぞれ説明するための図である。以下、図１２及び図１３を参照しながら、それぞれの場合に対応ブロックを決定する方法に関して説明する。

（１）マクロブロックレベル
図１２の（Ａ）を参照すると、グローバル（またはローカル）モーションベクトルを適用したブロックＬＢの左上端地点が表示されている。グローバル（またはローカル）モーションベクトルを適用したブロックＬＢと最も近いマクロブロックＣＢ₀を対応ブロックに決定することができる。すなわち、対応ブロックのブロックタイプ情報、参照ピクチャインデックス、モーションベクトルなどの全てのモーション情報をそのまま現在のブロックのモーション情報として用いることができる。ただし、対応ブロックがＰスキップ（Ｐ＿ｓｋｉｐ）、Ｂスキップ（Ｂ＿ｓｋｉｐ）のようなスキップブロックである場合には、インター８×８モードに再設定することもできる。

（２）８×８ブロックレベル
図１２の（Ｂ）を参照すると、グローバル（またはローカル）モーションベクトルを適用したブロックＬＢと最も近い８×８ブロックＣＢ₀、及びそのブロックと隣接した８×８ブロックＣＢ₁、ＣＢ₂、ＣＢ₃が示されている。この場合、その４個の８×８ブロックを全て対応ブロックにし、各ブロックのモーション情報を全て現在のブロックのデコーディングに用いることができる。４個のブロックの全てがインターブロックとしてモーション情報を有する場合、現在のブロックのタイプをインター８×８に決定し、現在のブロックがマクロブロック（１６×１６）である場合、４個の８×８ブロックＭＢ_c0、ＭＢ_c1、ＭＢ_c2、ＭＢ_c3（図示せず）に分けて、各８×８ブロックに該当する対応ブロックのモーション情報を用いる。例えば、現在のブロックがＭＢ_c2である場合、対応ブロックＣＢ₂のモーション情報を用いる。さらに、４個の対応ブロックにおいてイントラブロックが存在する場合、異なるインターブロックに該当するモーション情報を用いることができる。

（３）４×４ブロックレベル
図１３の（Ａ）を参照すると、グローバル（またはローカル）モーションベクトルを適用したブロックＬＢと最も近い４×４ブロックＣＢ₀₀、その４×４ブロックを含む８×８ブロックＣＢ₀、その８×８ブロックと隣接した８×８ブロックＣＢ₁、ＣＢ₂、ＣＢ₃が示されている。これら各ブロックのモーション情報を用いる方法には多様な実施例が存在するが、まず、ブロックＬＢと最も近いブロックＣＢ₀₀のモーションベクトル及び参照ピクチャインデックス情報をそのまま用いることができる。代替方法として、参照ピクチャインデックスは、４×４ブロックＣＢ₀₀を含む８×８ブロックＣＢ₀の参照ピクチャインデックス情報を用いて求め、モーションベクトルは、その４×４ブロックＣＢ₀₀、及び各参照ブロックＣＢ₁₀、ＣＢ₂₀、ＣＢ₃₀の各モーションベクトルの中央値または平均値などを取る方法で求めることができる。

更に他の方法として、４×４ブロックＣＢ₀₀、ＣＢ₁₀、ＣＢ₂₀、ＣＢ₃₀のモーション情報を現在のブロックの各８×８ブロックにマッピングさせることもできる。更に他の方法として、３個の４×４ブロックＣＢ₀₀、ＣＢ₁₀、ＣＢ₂₀の参照ピクチャインデックスの最も小さい値を現在のブロックの参照ピクチャインデックスに決定し、その３個の４×４ブロックのモーションベクトルを用いて現在のブロックのモーションベクトルを求める。前記３個の４×４ブロックのモーション情報を用いることができないとき、残りの右側下端の４×４ブロックＣＢ₃₀のモーション情報を用いることができる。マクロブロックのタイプはｉｎｔｅｒ＿８×８モードに設定することができる。

（４）ピクセル／サブピクセルレベル
図１３の（Ｂ）を参照すると、グローバル（またはローカル）モーションベクトルを適用したブロックＬＢと最も近い４×４ブロック及びその隣接した各ブロックＣＢ₀₀、ＣＢ₀₁、ＣＢ₀₂、ＣＢ₀₃が示されている。最も近い４×４ブロックの参照ピクチャインデックス及びモーションベクトルは、そのまま用いることもでき、４個の４×４ブロックの参照ピクチャインデックス及びモーションベクトルから求めることもできる。モーションベクトルを求めるとき、中央値または平均値を取る方法が使用可能であり、マクロブロックのタイプはｉｎｔｅｒ＿８×８モードに設定することができる。

上記の四つの場合のレベルに関して説明したが、各レベル別マッピング方法は、独立して用いられたり、一緒に組み合わされて用いられたりする。一方、初期マッピング位置がコーナー、エッジ、ブロック中央などの特殊な場所に位置する場合、例外処理が必要である。そして、左側、右側、上側、下側、上左側、上右側、下左側、下上側などの順序は任意に指定される。また、イントラブロックである場合、または、参照インデックスが同一視点上に存在しない場合などに関する処理が必要である。

４．対応ブロックのモーション情報を用いて現在のブロックをデコーディングする段階
Ｓ３００段階でモーション情報を獲得する参照視点及び対応ブロックを決定した後、Ｓ４００段階では、その対応ブロックのモーション情報を用いて現在のブロックのモーション情報を求める。対応ブロックが１６×１６レベル、８×８レベルなどのように多様である場合、上記の“３．２各マッピングレベルによる対応ブロック”で説明したように、多様な実施例が存在する。一方、対応ブロックのモーション情報のみならず、レジデュアル情報などを求める方法があり、モーション情報の正確性を高めるために、モーションスキップ方式で求められたモーションベクトル値と実際値との差値を伝送する方法などが存在するが、以下では、これについて説明する。

４．１ レジデュアルを求める方法
対応ブロックのモーション情報のみならず、対応ブロックのレジデュアルを現在のブロックのレジデュアルとして用いることができる。具体的に説明すると、モーションスキップモードのプロセスによって獲得された参照ピクチャインデックス及びモーションベクトルを用いて、現在のブロックの予測値を獲得し、この予測値に対応ブロックのレジデュアルを足して現在のブロックを復元する。

４．２ モーションベクトルリファインメント方法
上述したようにモーションスキップモードのプロセスによって獲得されたモーションベクトルは、現在のブロックの実際のモーションベクトルと差が生じることがある。この差値をビットストリームを通して伝送した場合、デコーディング過程において、モーションスキップモードに従って求められたモーションベクトルに、この差値を足し、より正確なモーションベクトルを獲得することができる。このモーションベクトルを用いて動き補償を行うことで、現在のブロックの復元率を高めることができる。

４．３ レジデュアルスキップ方法
現在のブロックのモーション情報と対応ブロックのモーション情報の類似性が非常に高く、現在のブロックの動き補償が行われた後、復元率が非常に高い場合、現在のブロックのレジデュアルはほぼ０に近い。この場合、レジデュアル値を全く伝送しないことで、レジデュアルコーディングに必要なビット数を減少させることができる。レジデュアル値をビットストリームに含ませない場合、レジデュアルデータが伝送されるかどうかを示すフラグ情報（例えば、ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇ）をビットストリームに含ませることができる。すなわち、前記フラグ情報が０である場合、レジデュアルデータを抽出しないだけでなく、レジデュアルデコーディングを行わない。そして、前記フラグ情報が１である場合、レジデュアルデータを抽出し、現在のブロックの予測値に、抽出されたレジデュアルデータを加算する。

また、本発明が適用されるデコーディング／エンコーティング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に保存可能であり、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に保存される。前記コンピュータ可読記録媒体は、コンピュータシステムが読み取り可能なデータが保存される全ての種類の保存デバイスを含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光データ保存デバイスなどがあり、搬送波（例えば、インターネットを通した伝送）の形態で具現されるものも含む。また、前記エンコーティング方法によって生成されたビットストリームは、コンピュータ可読記録媒体に保存されたり、有／無線通信網を用いて伝送されたりする。

以上のように、本発明は、限定された実施例及び図面に基づいて説明されたが、これらによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び下記に記載される特許請求の範囲の均等範囲内で多様な修正及び変形が可能である。

本発明は、ビデオ信号をエンコーティング及びデコーディングするために適用される。

Claims (19)

1. 参照リストに含まれた第１参照視点内の第１対応ブロックのブロックタイプを獲得する段階と、
   前記第１対応ブロックのブロックタイプがイントラブロックである場合、前記参照リストに含まれた第２参照視点内の第２対応ブロックのブロックタイプ及びモーション情報を獲得する段階と、
   前記第２対応ブロックのブロックタイプがイントラブロックでない場合、前記第２対応ブロックのモーション情報を用いて現在のブロックをデコーディングする段階と、
   を含むことを特徴とするビデオ信号処理方法。
2. 前記参照リストは、第１参照リスト及び第２参照リストを含むことを特徴とする、請求項１に記載のビデオ信号処理方法。
3. 前記第１参照リストは順方向の参照視点を含み、前記第２参照リストは逆方向の参照視点を含むことを特徴とする、請求項２に記載のビデオ信号処理方法。
4. 前記参照リストは、現在の視点との視点従属性に基づいて獲得されるものであることを特徴とする、請求項１に記載のビデオ信号処理方法。
5. 前記第１参照視点は、前記参照リストに含まれた参照視点のうち、前記ビデオ信号のビットストリームに含まれる順序を示すインデックスが最も低い参照視点に該当することを特徴とする、請求項１に記載のビデオ信号処理方法。
6. 前記第１参照視点は、前記参照リストに含まれた参照視点のうち、現在の視点と最も近い参照視点に該当することを特徴とする、請求項１に記載のビデオ信号処理方法。
7. 前記第１対応ブロックは、前記第１参照視点に対するグローバルモーションベクトルに基づいて獲得されることを特徴とする、請求項１に記載のビデオ信号処理方法。
8. 前記第１対応ブロックは、前記参照リストのうち第１参照リスト内の参照視点に属し、
   前記第２対応ブロックは、前記参照リストのうち第２参照リスト内の参照視点に属することを特徴とする、請求項１に記載のビデオ信号処理方法。
9. 前記第２対応ブロックは、前記第２参照視点に関するグローバルモーションベクトルに基づいて獲得されることを特徴とする、請求項１に記載のビデオ信号処理方法。
10. 前記モーション情報は、モーションベクトル及び参照ピクチャインデックスを含むことを特徴とする、請求項１に記載のビデオ信号処理方法。
11. 前記デコーディング段階は、視点内方向の参照ピクチャを獲得する段階をさらに含むことを特徴とする、請求項１０に記載のビデオ信号処理方法。
12. 前記ビデオ信号は、放送信号を通して受信されることを特徴とする、請求項１に記載のビデオ信号処理方法。
13. 前記ビデオ信号は、デジタル媒体を通して受信されることを特徴とする、請求項１に記載のビデオ信号処理方法。
14. 請求項１に記載された方法を行うためのプログラムが記録されたコンピュータ可読記録媒体。
15. 参照リストに含まれた第１参照視点内の第１対応ブロックのブロックタイプを獲得し、前記第１対応ブロックのブロックタイプがイントラブロックである場合、前記参照リストに含まれた第２参照視点内の第２対応ブロックのブロックタイプ及びモーション情報を獲得するモーション情報獲得部と、
    前記第２対応ブロックのブロックタイプがイントラブロックでない場合、前記第２対応ブロックのモーション情報を用いて現在のブロックをデコーディングするデコーディング部と、を含むことを特徴とするビデオ信号処理装置。
16. 第１参照リスト及び第２参照リストのうち少なくとも一つの参照リストを再配列する段階と、
    ビットストリームから抽出した第１モーション情報または参照視点上の対応ブロックの第２モーション情報のうち一つのモーション情報を用いて、モーションベクトルを決定する段階と、
    前記ビットストリームから抽出したインターモーション情報または前記参照視点上の対応ブロックから抽出したイントラモーション情報のうち少なくとも一つのモーション情報を用いて、モーションベクトルを決定する段階と、
    前記モーションベクトルを用いて参照ブロックを獲得する段階と、
    前記参照ブロックを用いて現在のピクチャの現在のブロックをデコーディングする段階と、を含むことを特徴とするビデオ信号処理方法。
17. 前記現在のピクチャがアンカーピクチャである場合、前記モーションベクトルは前記インターモーション情報のみを用いることを特徴とする、請求項１６に記載のビデオ信号処理方法。
18. 前記参照ブロックは、前記インターモーション情報と関連しており、前記現在のブロックと同一の時間及び異なる視点に存在することを特徴とする、請求項１７に記載のビデオ信号処理方法。
19. 第１参照リスト及び第２参照リストのうち少なくとも一つの参照リストを再配列し、ビットストリームから抽出した第１モーション情報または参照視点上の対応ブロックの第２モーション情報のうち一つのモーション情報を用いて、モーションベクトルを決定し、前記ビットストリームから抽出したインターモーション情報または前記参照視点上の対応ブロックから抽出したイントラモーション情報のうち少なくとも一つのモーション情報を用いて、モーションベクトルを決定するモーション情報獲得部と、
    前記モーションベクトルを用いて参照ブロックを獲得し、前記参照ブロックを用いて現在のピクチャの現在のブロックをデコーディングするデコーディング部と、を含むことを特徴とするビデオ信号処理装置。