JP2014513897A

JP2014513897A - 多視点ビデオの動きベクトル符号化方法及び装置、その復号化方法及び装置

Info

Publication number: JP2014513897A
Application number: JP2014506327A
Authority: JP
Inventors: チェー，ビョン−ドゥ; チョウ，デ−ソン; ジョン，スン−ス
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-04-19
Filing date: 2012-04-19
Publication date: 2014-06-05
Anticipated expiration: 2032-04-19
Also published as: KR20120118780A; US20120269269A1; WO2012144829A3; JP6100240B2; EP2700231A2; EP2700231A4; CN103609125A; WO2012144829A2

Abstract

多視点ビデオ映像シーケンスで動きベクトルを符号化する方法及び装置が開示される。本発明の一実施形態によれば、視点方向または時間方向に予測された現在ブロックの動きベクトルを、現在ブロックの周辺ブロック及び現在ブロックと対応する参照フレームの対応領域の動きベクトルを用いて予測することで、多視点ビデオコーディングの圧縮効率を高める。

Description

本発明は、ビデオ符号化及び復号化に係り、さらに詳細には、多視点ビデオ映像の動きベクトルを予測して符号化する方法及び装置、復号化する方法及び装置に関する。

多視点ビデオ符号化（ｍｕｌｔｉ−ｖｉｅｗｖｉｄｅｏｃｏｄｉｎｇ：ＭＶＣ）は、複数のカメラから獲得された互いに異なる視点の複数の映像を処理するものであり、多視点映像を、時間的相関関係及びカメラ間（ｉｎｔｅｒ−ｖｉｅｗ）の空間的相関関係を用いて圧縮符号化する。

時間的相関関係を用いる時間予測（ｔｅｍｐｏｒａｌｐｒｅｄｉｃｔｉｏｎ）、及び空間的相関関係を用いる視点間予測（ｉｎｔｅｒ−ｖｉｅｗｐｒｅｄｉｃｔｉｏｎ）では、一つ以上の参照ピクチャーを用いて現在ピクチャーの動きをブロック単位で予測して補償し、映像を符号化する。時間予測及び視点予測では、現在ブロックと最も類似したブロックを参照ピクチャーの定められた検索範囲で検索し、類似したブロックが検索されれば、現在ブロックと類似したブロックとの間の残差データのみ伝送することで、データの圧縮率を高める。

ＭＰＥＧ−４Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接している、以前に符号化されたブロックの動きベクトルを用いる。現在ブロックに左側、上部及び右側上部に隣接している、以前た符号化されたブロックの動きベクトルの中央値（ｍｅｄｉａｎ）を、現在ブロックの予測動きベクトル（ＭｏｔｉｏｎｖｅｃｔｏｒＰｒｅｄｉｃｔｏｒ）として用いる。

本発明が解決するための課題は、多視点ビデオコーディング時に視点方向に予測された動きベクトル及び時間方向に予測された動きベクトルを符号化する方法及び装置、その復号化方法及び装置を提供することである。

本発明の一実施形態による多視点ビデオの動きベクトル符号化方法は、符号化される現在ブロックの第１視点と異なる第２視点の第１参照フレームに対して前記現在ブロックに対する動き予測を行って、前記現在ブロックの視点方向動きベクトルを定める段階と、前記現在ブロックの周辺ブロックのうち、前記第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）と異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて、視点方向予測動きベクトル候補を定める段階と、前記視点方向予測動きベクトル候補から選択された一つの視点方向予測動きベクトルと前記現在ブロックの視点方向動きベクトルとの差値、及び前記選択された視点方向予測動きベクトルに関するモード情報を符号化する段階と、を含む。

本発明の他の実施形態による多視点ビデオの動きベクトル符号化方法は、符号化される現在ブロックの第１視点と同じ視点の第１参照フレームに対して前記現在ブロックに対する動き予測を行って、前記現在ブロックの時間方向動きベクトルを定める段階と、前記現在ブロックの周辺ブロックのうち、前記第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び前記現在ブロックと異なる第２視点に属しつつ、前記現在フレームのＰＯＣと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて、時間方向予測動きベクトル候補を定める段階と、前記時間方向予測動きベクトル候補から選択された一つの時間方向予測動きベクトルと前記現在ブロックの時間方向動きベクトルとの差値、及び前記選択された時間方向予測動きベクトルに関するモード情報を符号化する段階と、を含む。

本発明の一実施形態による多視点ビデオの動きベクトル復号化方法は、ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの差値を復号化する段階と、前記復号化された現在ブロックの予測動きベクトルに関する情報に基づいて前記現在ブロックの予測動きベクトルを定める段階と、前記予測動きベクトル及び前記差値に基づいて前記現在ブロックの動きベクトルを復元する段階と、を含み、前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記現在ブロックの第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて定められた視点方向予測動きベクトル候補から、前記予測動きベクトル情報に含まれたインデックス情報によって選択されることを特徴とする。

本発明の他の実施形態による多視点ビデオの動きベクトル復号化方法は、ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの差値を復号化する段階と、前記復号化された現在ブロックの予測動きベクトルに関する情報に基づいて前記現在ブロックの予測動きベクトルを定める段階と、前記予測動きベクトル及び前記差値に基づいて前記現在ブロックの動きベクトルを復元する段階と、を含み、前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び前記現在ブロックと異なる第２視点に属しつつ、前記現在フレームのＰＯＣと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて生成された時間方向予測動きベクトル候補から、前記予測動きベクトル情報に含まれたインデックス情報によって選択されることを特徴とする。

本発明の一実施形態による多視点ビデオの動きベクトル符号化装置は、符号化される現在ブロックの第１視点と異なる第２視点の第１参照フレームに対して前記現在ブロックに対する動き予測を行って、前記現在ブロックの視点方向動きベクトルを定める視点方向動き予測部と、前記現在ブロックの周辺ブロックのうち、前記第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて視点方向予測動きベクトル候補を定め、前記視点方向予測動きベクトル候補から選択された一つの視点方向予測動きベクトルと前記現在ブロックの視点方向動きベクトルとの差値、及び前記選択された視点方向予測動きベクトルに関するモード情報を符号化する動きベクトル符号化部と、を備える。

本発明の他の実施形態による多視点ビデオの動きベクトル符号化装置は、符号化される現在ブロックの第１視点と同じ視点の第１参照フレームに対して前記現在ブロックに対する動き予測を行って、前記現在ブロックの時間方向動きベクトルを定める時間方向動き予測部と、前記現在ブロックの周辺ブロックのうち、前記第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び前記現在ブロックと異なる第２視点に属しつつ、前記現在フレームのＰＯＣと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて時間方向予測動きベクトル候補を定め、前記時間方向予測動きベクトル候補から選択された一つの時間方向予測動きベクトルと前記現在ブロックの時間方向動きベクトルとの差値、及び前記選択された時間方向予測動きベクトルに関するモード情報を符号化する動きベクトル符号化部と、を備える。

本発明の一実施形態による多視点ビデオの動きベクトル復号化装置は、ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの差値を復号化する動きベクトル復号化部と、前記復号化された現在ブロックの予測動きベクトルに関する情報に基づいて前記現在ブロックの予測動きベクトルを定め、前記予測動きベクトル及び前記差値に基づいて前記現在ブロックの動きベクトルを復元する動き補償部と、を備え、前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記現在ブロックの第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて定められた視点方向予測動きベクトル候補から、前記予測動きベクトル情報に含まれたインデックス情報によって選択されることを特徴とする。

本発明の他の実施形態による多視点ビデオの動きベクトル復号化装置は、ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの差値を復号化する動きベクトル復号化部と、前記復号化された現在ブロックの予測動きベクトルに関する情報に基づいて前記現在ブロックの予測動きベクトルを定め、前記予測動きベクトル及び前記差値に基づいて前記現在ブロックの動きベクトルを復元する動き補償部と、を備え、前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び前記現在ブロックと異なる第２視点に属しつつ、前記現在フレームのＰＯＣと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて定められた時間方向予測動きベクトル候補から、前記予測動きベクトル情報に含まれたインデックス情報によって選択されることを特徴とする。

本発明によれば、多視点ビデオの動きベクトルを効率的に符号化することで、多視点ビデオの圧縮率を高める。

本発明の一実施形態による多視点ビデオ符号化及び復号化方法によって符号化される多視点ビデオシーケンスを示す図面である。本発明の一実施形態によるビデオ符号化装置の構成を示すブロック図である。図２の動き予測部の具体的な構成を示すブロック図である。本発明の一実施形態による視点方向及び時間方向動きベクトルの生成過程を説明するための参照図である。本発明の一実施形態による動きベクトルの予測過程を説明するための参照図である。本発明の他の実施形態による視点方向予測動きベクトルを生成する過程を説明するための参照図である。本発明の他の実施形態による時間方向予測動きベクトルを生成する過程を説明するための参照図である。本発明の一実施形態による視点方向動きベクトルの符号化過程を示すフローチャートである。本発明の一実施形態による時間方向動きベクトルの符号化過程を示すフローチャートである。本発明の一実施形態による多視点ビデオ復号化装置を示すブロック図である。本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。

以下、添付した図面を参照して本発明の望ましい実施形態について具体的に説明する。

以下の説明で、“視点方向動きベクトル”は、異なる視点に属する参照フレームを用いて予測符号化される動きブロックが持つ動きベクトルを意味し、“時間方向動きベクトル”は、‘同一視点に属する参照フレームを用いて予測符号化される動きブロックが持つ動きベクトルを意味する。

図１は、本発明の一実施形態による多視点ビデオ符号化及び復号化方法によって符号化される多視点ビデオシーケンスを示す図面である。図１を参照すれば、ｘ軸は時間軸で、ｙ軸は視点軸である。ｘ軸のＴ０ないしＴ８は、それぞれ映像のサンプリング時間を示し、ｙ軸のＳ０ないしＳ８は、それぞれ互いに異なる視点を示すものである。図１で、それぞれの行は同視点で入力された映像ピクチャーグループを示し、それぞれの列は、同時間での多視点映像を示す。

多視点映像の符号化では、基本視点の映像に対して周期的にイントラピクチャーを生成し、生成されたイントラピクチャーに基づいて時間的予測または視点間予測を行って他のピクチャーを予測符号化する。

時間的予測とは、同視点、すなわち、図１で同じ行にある映像の間に時間的な相関関係を用いる予測である。時間的予測のために、階層的Ｂピクチャーを用いる予測構造が用いられる。視点間予測は同じ時間、すなわち、同列にある映像の間に空間的な相関関係を用いる予測である。以下の説明では、階層的Ｂピクチャーを用いて映像ピクチャーグループを符号化することを説明するが、本発明による符号化及び復号化方式は、階層的Ｂピクチャー構造以外に他の構造を持つ多視点映像シーケンスにも適用できる。

階層的Ｂピクチャーを用いる多視点映像ピクチャーの予測構造は、同視点、すなわち、同じ行にある映像の間に存在する時間的な相関関係を用いる予測を行う時、同一視点の映像ピクチャーグループを、アンカーピクチャーを用いて双方向ピクチャー（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌＰｉｃｔｕｒｅ、以下“Ｂピクチャー”という）で予測符号化するものである。ここで、アンカーピクチャーは、図１に図示された列のうち、イントラピクチャーを含んでいる最初Ｔ０と最後の時間Ｔ８での列１１０及び１２０に含まれているピクチャーを意味する。アンカーピクチャー１１０及び１２０は、イントラピクチャー（Ｉｎｔｒａｐｉｃｔｕｒｅ、以下“Ｉピクチャー”という）を除いて視点間予測のみを用いて予測符号化される。イントラピクチャーを含んでいる列１１０及び１２０を除いた残りの列１３０に含まれているピクチャーは、非アンカーピクチャーと称する。

一例として、最初の視点Ｓ０で所定の時間の間に入力された映像ピクチャーを、階層的Ｂピクチャーを用いて符号化する場合を説明する。最初の視点Ｓ０で入力された映像ピクチャーのうち、最初の時間Ｔ０に入力されたピクチャー１１１及び最後の時間Ｔ８に入力されたピクチャー１２１は、Ｉピクチャーに符号化される。次いで、Ｔ４時間に入力されたピクチャー１３１は、アンカーピクチャーであるＩピクチャー１１１、１２１を参照して双方向予測符号化され、Ｂピクチャーに符号化される。Ｔ２時間に入力されたピクチャー１３２は、Ｉピクチャー１１１及びＢピクチャー１３１を用いて双方向予測符号化され、Ｂピクチャーに符号化される。類似してＴ１時間に入力されたピクチャー１３３は、Ｉピクチャー１１１及びＢピクチャー１３２を用いて双方向予測符号化され、Ｔ３時間に入力されたピクチャー１３４は、Ｂピクチャー１３２及びＢピクチャー１３１を用いて双方向予測符号化される。このように、同一視点の映像シーケンスは、アンカーピクチャーを用いて階層的に双方向予測符号化されるため、このような予測符号化方式を階層的Ｂピクチャーと呼ぶ。一方、図１に図示されたＢｎ（ｎ＝１，２，３，４）で、ｎは、ｎ番目の双方向予測されたＢピクチャーを示し、、例えば、Ｂ１は、ＩピクチャーまたはＰピクチャーであるアンカーピクチャーを用いて最初に双方向予測されたピクチャーを示し、Ｂ２は、Ｂ１ピクチャー以後に双方向予測されたピクチャーを示し、Ｂ３は、Ｂ２ピクチャー以後に双方向予測されたピクチャーを示し、Ｂ４は、Ｂ３ピクチャー以後に双方向予測されたピクチャーを示す。

多視点ビデオシーケンスの符号化時には、先ず、基本視点である最初の視点Ｓ０の映像ピクチャーグループを、前述した階層的Ｂピクチャーを用いて符号化する。残りの視点の映像シーケンスを符号化するために、先ず、最初の視点Ｓ０のＩピクチャー１１１、１２１を用いる視点間予測を通じて、アンカーピクチャー１１０、１２０に備えられた奇数番目の視点Ｓ２、Ｓ４、Ｓ６及び最後の視点Ｓ７の映像ピクチャーを、Ｐピクチャーに予測符号化する。アンカーピクチャー１１０、１２０に備えられた偶数番目の視点Ｓ１、Ｓ３、Ｓ５の映像ピクチャーは、視点間予測を通じて隣接している視点の映像ピクチャーを用いて双方向予測され、Ｂピクチャーに符号化される。例えば、Ｔ０時間に二番目の視点Ｓ１で入力されたＢピクチャー１１３は、隣接している視点Ｓ０、Ｓ２のＩピクチャー１１１及びＰピクチャー１１２を用いて双方向予測される。

アンカーピクチャー１１０、１２０に備えられた全視点の映像ピクチャーがＩＢＰのうちいずれか一つのピクチャーに符号化されれば、非アンカーピクチャー１３０は、前述したように、階層的Ｂピクチャーを用いる時間的予測及び視点間予測を通じて双方向予測符号化される。

非アンカーピクチャー１３０のうち奇数番目の視点Ｓ２、Ｓ４、Ｓ６及び最後の視点Ｓ７の映像ピクチャーは、階層的Ｂピクチャーを用いる時間的予測を通じて同一視点のアンカーピクチャーを用いて双方向予測符号化される。非アンカーピクチャー１３０のうち偶数番目の視点Ｓ１、Ｓ３、Ｓ５、Ｓ７のピクチャーは、階層的Ｂピクチャーを用いる時間的予測だけではなく、隣接している視点のピクチャーを用いる視点間予測を通じて双方向予測される。例えば、Ｔ４時間に二番目の視点Ｓ２で入力されたピクチャー１３６は、アンカーピクチャー１１３、１２３及び隣接している視点のピクチャー１３１、１３５を用いて予測される。

アンカーピクチャー１１０、１２０に備えられたＰピクチャーは、前述したように同一時間に入力された異なる視点のＩピクチャーまたは以前のＰピクチャーを用いて予測符号化される。例えば、Ｔ８時間に三番目の視点Ｓ２で入力されたＰピクチャー１２２は、同一時間の最初の視点Ｓ０で入力されたＩピクチャー１２１を参照ピクチャーとして用いて予測符号化される。

図１に示したような多視点ビデオシーケンスでＰピクチャーやＢピクチャーは、前述したように同一時間に入力された異なる視点のピクチャーを参照ピクチャーとして用いて予測符号化されるか、または異なる時間に入力された同一視点のピクチャーを参照ピクチャーとして用いて予測符号化される。すなわち、ＰピクチャーやＢピクチャーに備えられた符号化されるブロックは、同一時間に入力された異なる視点のピクチャーを参照ピクチャーとして用いる場合には、視点方向の動きベクトルを持ち、異なる時間に入力された同一視点のピクチャーを参照ピクチャーとして用いる場合には、時間方向の動きベクトルを持つ。一般的に、単一視点のビデオ符号化では、現在ブロックの動きベクトル情報はそのまま符号化されるものではなく、現在ブロックの上側、左側及び右上側に位置している周辺ブロックが持つ動きベクトルの中間値を用いて予測された予測動きベクトルと実際動きベクトルとの差値が、動きベクトル情報として符号化される。しかし、多視点ビデオ符号化では、周辺ブロックに視点方向動きベクトルと時間方向動きベクトルとが混在される恐れがあるため、従来の技術のように、周辺ブロックが持つ動きベクトルの中間値をそのまま現在ブロックの予測動きベクトルとして用いる場合、現在ブロックの動きベクトルの類型と、予測動きベクトルの決定に用いられる周辺ブロックの動きベクトルの類型とが同一でない可能性がある。よって、本発明では、多視点ビデオの符号化時に現在ブロックの動きベクトルを効率的に予測できる動きベクトルの符号化及び復号化方式を提供することで、多視点ビデオの圧縮効率を高める。

図２は、本発明の一実施形態によるビデオ符号化装置の構成を示すブロック図である。図２を参照すれば、ビデオ符号化装置２００は、イントラ予測部２１０、動き予測部２２０、動き補償部２２５、周波数変換部２３０、量子化部２４０、エントロピー符号化部２５０、逆量子化部２６０、周波数逆変換部２７０、デブロッキング部２８０及びループフィルタリング部２８０を備える。

イントラ予測部２１０は、多視点映像のうちアンカーピクチャー内のＩピクチャーに符号化されるブロックに対してイントラ予測を行い、動き予測部２２０及び動き補償部２２５は、符号化される現在ブロックと同一視点の映像シーケンスに属しつつ、異なるフレーム番号（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ：ＰＯＣ）を持つ参照フレームを参照するか、または、現在ブロックと異なる視点であり、現在ブロックと同じフレーム番号を持つ参照フレームを参照して動き予測及び動き補償を行う。

図３は、図２の動き予測部の具体的な構成を示すブロック図である。図３を参照すれば、動き予測部３００は、視点方向動き予測部３１０、時間方向動き予測部３２０及び動きベクトル符号化部３３０を備える。

視点方向動き予測部３１０は、符号化される現在ブロックの第１視点と異なる第２視点の第１参照フレームに対して現在ブロックに対する動き予測を行って、現在ブロックの視点方向動きベクトルを定める。このように現在ブロックが異なる視点の参照フレームを参照して予測された場合、動きベクトル符号化部３３０は、現在ブロックの周辺ブロックのうち異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び現在ブロックと同じ視点に属しつつ、現在フレームのＰＯＣと異なるＰＯＣを持つ参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて視点方向予測動きベクトル候補を生成し、視点方向予測動きベクトル候補から選択された一つの視点方向予測動きベクトルと現在ブロックの視点方向動きベクトルとの差値、及び選択された視点方向予測動きベクトルに関するモード情報を符号化する。

時間方向動き予測部３２０は、符号化される現在ブロックの第１視点と同じ視点の第１参照フレームに対して現在ブロックに対する動き予測を行って、現在ブロックの時間方向動きベクトルを定める。このように現在ブロックが同一視点の異なるＰＯＣを持つ参照フレームを参照して予測された場合、動きベクトル符号化部３３０は、現在ブロックの周辺ブロックのうち同一視点の異なる参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び現在ブロックと異なる視点に属しつつ、現在フレームと同じＰＯＣを持つ参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて時間方向予測動きベクトル候補を生成し、時間方向予測動きベクトル候補から選択された一つの時間方向予測動きベクトルと現在ブロックの時間方向動きベクトルとの差値、及び選択された時間方向予測動きベクトルに関するモード情報を符号化する。制御部（図示せず）では、現在ブロックの動きベクトルを定めるために、視点方向の動きベクトルと、時間方向の動きベクトルによるＲ−Ｄ（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）コストとを比較して、現在ブロックに適用される動きベクトルを定める。

再び図２を参照すれば、イントラ予測部２１０、動き予測部２２０及び動き補償部２２５から出力されたデータは、周波数変換部２３０及び量子化部２４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部２６０、周波数逆変換部２７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デ−ブルロキングブ２８０及びループフィルタリング部２９０を経て後処理され、参照フレーム２９５に出力される。ここで、参照フレームは、多視点映像シーケンスのうち、他の視点の映像シーケンスに比べて先ず符号化された特定視点の映像シーケンスである。例えば、アンカーピクチャーが含まれた特定視点の映像シーケンスは、他の視点の映像シーケンスに比べて先ず符号化され、他の視点の映像シーケンスの視点方向予測符号化時に参照ピクチャーとして用いられる。量子化された変換係数は、エントロピー符号化部２５０を経てビットストリーム２５５に出力される。

以下、本発明の実施形態による視点方向動きベクトル及び時間方向動きベクトルの予測動きベクトルを生成する過程について具体的に説明する。

図４は、本発明の一実施形態による視点方向及び時間方向動きベクトルの生成過程を説明するための参照図である。

図２及び図４を参照すれば、先ず、本発明の一実施形態による符号化装置２００は、第２視点ｖｉｅｗ０の映像シーケンス４１０内に備えられたフレーム４１１、４１２、４１３に対して予測符号化を行った後、異なる視点の映像シーケンスの予測符号化のための参照フレームとして用いるために符号化された第２視点ｖｉｅｗ０の映像シーケンス４１０に属するフレーム４１１、４１２、４１３を復元する。すなわち、第２視点ｖｉｅｗ０の映像シーケンス４１０に属するフレームは、第１視点ｖｉｅｗ１の映像シーケンス４２０より先に符号化されて復元されたフレームである。第２視点ｖｉｅｗ０の映像シーケンス４１０に属するフレームは、図示されたように、同一視点ｖｉｅｗ０内の映像シーケンス４１０に属する他のフレームを参照して、すなわち、時間方向のみに予測符号化されるか、図示されていないさらに他の視点の映像シーケンスを参照して、以前に符号化された後で復元されたフレームでありうる。図４で、矢印は、いかなる参照フレームを参照して各フレームが予測されるかを示す予測方向を示す。例えば、符号化される現在ブロック４２４が属する第１視点ｖｉｅｗ１のＰフレーム４２３は、同一視点の異なるＰフレーム４２１を参照して予測符号化されるか、または、第２視点ｖｉｅｗ０に属する同一フレーム番号ＰＯＣ２を持つＰフレーム４１３を参照して予測符号化される。すなわち、図４に図示されたように、現在ブロック４２４は、第２視点ｖｉｅｗ０に属しつつ、同一ＰＯＣ２を持つＰフレーム４１３で最も類似して検索された対応領域４１４を示す視点方向動きベクトルＭＶ１、及び第１視点ｖｉｅｗ１に属しつつ、異なるＰＯＣ０を持つＰフレーム４２１で最も類似して検索された対応領域４２１を示す時間方向動きベクトルＭＶ２を持つ。現在ブロック４２４の最終的な動きベクトルは、視点方向動きベクトルＭＶ１と時間方向動きベクトルＭＶ２それぞれによるＲ−Ｄコストを比べ、さらに小さなＲ−Ｄコストを持つ動きベクトルが、現在ブロック４２４の最終的な動きベクトルとして定められる。

動き予測部２２０で、現在ブロック４２４の視点方向スキップ動きベクトルＭＶ１または時間方向動きベクトルＭＶ２が定められれば、動き補償部２２５は、視点方向スキップ動きベクトルＭＶ１が示す対応領域４１４または時間方向動きベクトルＭＶ２が示す対応領域４２５を、現在ブロックの予測値と定める。

図５は、本発明の一実施形態による動きベクトルの予測過程を説明するための参照図である。図５を参照すれば、第２視点ｖｉｅｗ０の映像シーケンス５１０に属するフレーム５４０、５６０は、第１視点ｖｉｅｗ１の映像シーケンス５２０より先に符号化されて復元されたフレームであり、符号化される現在ブロック５３１が属するフレーム５３０は、Ｂというフレーム番号を持つと仮定する。また、図５に示されたように、現在ブロック５３１の周辺ブロック５３２ないし５４０のうち、ａｏ５３２、ａ２５３４、ｂ１５３６、ｃ５３９及びｄ５４０それぞれは、同一フレーム番号Ｂを持ち、かつ現在ブロック５３１が属するフレーム５３０と異なる視点ｖｉｅｗ０に属するフレーム５４０の対応領域であるａｏ’５４１、ａ２’５４４、ｂ１’５４３、ｃ’５４６及びｄ’５４５を参照して、視点方向に予測された周辺ブロックであると仮定する。また、ａ１５３３、ｂｏ５３５、ｂ２５３７及びｅ５３８それぞれは、現在ブロック５３１と同一視点の映像シーケンス５２０に属しつつ、異なるフレーム番号Ａを持つフレーム５５０の対応領域であるａ１’５５１、ｂｏ’５５２、ｂ２’５５３及びｅ’５５４を参照して時間方向に予測された周辺ブロックであると仮定する。

現在ブロック５３１が、異なる第２視点ｖｉｅｗ０の参照フレーム５４０を参照して予測された場合、動きベクトル符号化部３３０は、現在ブロック５３１の周辺ブロック５３２ないし５４０のうち異なるの第２視点ｖｉｅｗ０の参照フレーム５４０を参照する周辺ブロック、すなわち、ａｏ５３２、ａ２５３４、ｂ１５３６、ｃ５３９及びｄ５４０の視点方向動きベクトルを用いて視点方向予測動きベクトル候補を生成する。具体的に、動きベクトル符号化部３３０は、現在ブロック５３１の左側に隣接しているブロックｂ０ないしｂ２のうち、第２視点ｖｉｅｗ０の参照フレーム５４０を参照する、最初にスキャンされたブロックｂ１が持つ動きベクトルを、視点方向第１予測動きベクトルと選択する。また、動きベクトル符号化部３３０は、現在ブロック５３１の上側に隣接しているブロックａ０ないしａ２のうち、第２視点ｖｉｅｗ０の参照フレーム５４０を参照する、最初にスキャンされたブロックａ０が持つ動きベクトルを、視点方向第２予測動きベクトルと選択する。また、動きベクトル符号化部３３０は、現在ブロック５３１のコーナーに隣接しているブロックｃ、ｄ、ｅのうち、第２視点ｖｉｅｗ０の参照フレーム５４０を参照する、最初にスキャンされたブロックｄが持つ動きベクトルを、視点方向第３予測動きベクトルと選択する。また、動きベクトル符号化部３３０は、視点方向第１予測動きベクトル、視点方向第２予測動きベクトル及び視点方向第３予測動きベクトルの中間値を、視点方向予測動きベクトル候補にさらに含ませる。この時、動きベクトル符号化部３３０は、第１予測動きベクトル、視点方向第２予測動きベクトル及び視点方向第３予測動きベクトルのうち存在していない予測動きベクトルについては、該予測動きベクトルを０ベクトルと設定し、中間値を定める。

図６は、本発明の他の実施形態による視点方向予測動きベクトルを生成する過程を説明するための参照図である。

本発明の他の実施形態による動きベクトル符号化部３３０は、現在ブロックと同じ視点、異なるＰＯＣを持つ参照フレームに属しつつ、現在ブロックと同位置のブロックが持つ視点方向動きベクトル、及び前記同位置のブロックを、現在ブロックの周辺ブロックの時間方向動きベクトルを用いてシフトした対応ブロックが持つ視点方向動きベクトルを、視点方向予測動きベクトル候補に含ませる。

図６を参照すれば、現在ブロック６１１と同じ視点ｖｉｅｗ１に属しつつ、現在フレーム６１０のフレーム番号Ｂと異なるフレーム番号Ａを持つフレーム６２０の同一位置ブロック６２１は、異なる視点ｖｉｅｗ０のフレーム６３０の領域６３１を参照する視点方向に予測されたブロックであり、視点方向動きベクトルｍｖ＿ｃｏｌを持つと仮定する。このような場合、動きベクトル符号化部３３０は、同一位置ブロック６２１が持つ視点方向動きベクトルｍｖ＿ｃｏｌを、現在ブロック６１１の視点方向予測動きベクトル候補と定める。また、動きベクトル符号化部３３０は、現在ブロック６１１の周辺ブロックのうち、フレーム６２０を参照する周辺ブロックの時間方向動きベクトルを用いて同一位置ブロック６２１をシフトさせ、シフトされた対応ブロック６２２が持つ視点方向動きベクトルｍｖ＿ｃｏｒを現在ブロック６１１の視点方向予測動きベクトル候補と定める。一例として、現在ブロック６１１の周辺ブロックａ６１２、ｂ６１３及びｃ６１４が、それぞれフレーム６２０を参照する時間方向に予測された周辺ブロックであると仮定すれば、動きベクトル符号化部３３０は、周辺ブロックａ６１２、ｂ６１３及びｃ６１４が持つ中間値ｍｖ＿ｍｅｄを計算し、同一位置ブロック６２１を中間値ｍｖ＿ｍｅｄほどシフトさせ、シフトされた対応ブロック６２２を定める。そして、動きベクトル符号化部３３０は、シフトされた対応ブロック６２２が持つ視点方向動きベクトルｍｖ＿ｃｏｒを、現在ブロック６１１の視点方向予測動きベクトル候補と定める。

再び図５を参照すれば、現在ブロック５３１が同一視点ｖｉｅｗ１の異なるＰＯＣを持つ参照フレーム５５０を参照して予測された場合、動きベクトル符号化部３３０は、現在ブロック５３１の周辺ブロック５３２ないし５４０のうち同一視点の異なるＰＯＣを持つ参照フレーム５５０を参照する周辺ブロック、すなわち、ａ１５３３、ｂ０５３５、ｂ２５３７及びｅ５３８の時間方向動きベクトルを用いて時間方向予測動きベクトル候補を生成する。具体的に、動きベクトル符号化部３３０は、現在ブロック５３１の左側に隣接しているブロックｂ０ないしｂ２のうち同一視点ｖｉｅｗ１の異なるＰＯＣを持つ参照フレーム５５０を参照する、最初にスキャンされたブロックｂ０が持つ動きベクトルを、時間方向第１予測動きベクトルと選択する。また、動きベクトル符号化部３３０は、現在ブロック５３１の上側に隣接しているブロックａ０ないしａ２のうち同一視点ｖｉｅｗ１の異なるＰＯＣを持つ参照フレーム５５０を参照する、最初にスキャンされたブロックａ１が持つ動きベクトルを、時間方向第２予測動きベクトルと選択する。また、動きベクトル符号化部３３０は、現在ブロック５３１のコーナーに隣接しているブロックｃ、ｄ、ｅのうち同一視点ｖｉｅｗ１の異なるＰＯＣを持つ参照フレーム５５０を参照する、最初にスキャンされたブロックｅが持つ動きベクトルを、時間方向第３予測動きベクトルと選択する。また、動きベクトル符号化部３３０は、時間方向第１予測動きベクトル、時間方向第２予測動きベクトル及び時間方向第３予測動きベクトルの中間値を、時間方向予測動きベクトル候補にさらに含ませる。この時、動きベクトル符号化部３３０は、時間方向第１予測動きベクトル、時間方向第２予測動きベクトル及び時間方向第３予測動きベクトルのうち存在していない予測動きベクトルについては、該予測動きベクトルを０ベクトルと設定して中間値を定める。前述した例では、周辺ブロックのうち現在ブロックと同じ参照フレームを持つ場合を中心として説明したが、時間方向予測動きベクトルを生成する時、現在フレームと同じ視点に属しつつ、現在ブロックが参照する参照フレームと異なる参照フレームを参照する周辺ブロックの時間方向動きベクトルをスケーリングし、現在ブロックの時間方向予測動きベクトルと定める。

図７は、本発明の他の実施形態による時間方向予測動きベクトルを生成する過程を説明するための参照図である。

本発明の他の実施形態による動きベクトル符号化部３３０は、現在ブロックと異なる視点、同一ＰＯＣを持つ参照フレームに属しつつ、現在ブロックと同位置のブロックが持つ時間方向動きベクトル、及び同位置のブロックを、現在ブロックの周辺ブロックの視点方向動きベクトルを用いてシフトした対応ブロックが持つ時間方向動きベクトルを、時間方向予測動きベクトル候補に含ませる。

図７を参照すれば、現在ブロック７１１と異なる視点ｖｉｅｗ１に属しつつ、現在フレーム７１０と同じＰＯＣＢを持つフレーム７２０の同一位置ブロック７２１は、異なるＰＯＣＡのフレーム７３０の領域７３２を参照する時間方向に予測されたブロックであり、時間方向動きベクトルｍｖ＿ｃｏｌを持つと仮定する。このような場合、動きベクトル符号化部３３０は、同一位置ブロック７２１が持つ時間方向動きベクトルｍｖ＿ｃｏｌを、現在ブロック７１１の時間方向予測動きベクトル候補と定める。また、動きベクトル符号化部３３０は、現在ブロック７１１の周辺ブロックのうち、フレーム７２０を参照する周辺ブロックの視点方向動きベクトルを用いて同一位置ブロック７２１をシフトさせ、シフトされた対応ブロック７２２が持つ時間方向動きベクトルｍｖ＿ｃｏｒを、現在ブロック７１１の時間方向予測動きベクトル候補と定める。一例として、現在ブロック７１１の周辺ブロックａ７１２、ｂ７１３及びｃ７１４が、それぞれフレーム７２０を参照する視点方向に予測された周辺ブロックであると仮定すれば、動きベクトル符号化部３３０は、周辺ブロックａ７１２、ｂ７１３及びｃ７１４が持つ中間値ｍｖ＿ｍｅｄを計算し、同一位置ブロック７２１を中間値ｍｖ＿ｍｅｄほどシフトさせ、シフトされた対応ブロック７２２を定める。そして、動きベクトル符号化部３３０は、シフトされた対応ブロック７２２が持つ時間方向動きベクトルｍｖ＿ｃｏｒを、現在ブロック７１１の時間方向予測動きベクトル候補と定める。

前述した図５ないし図７のように、多様な方式で現在ブロックの視点方向予測動きベクトル候補または時間方向予測動きベクトル候補が生成されれば、本発明による多視点ビデオ符号化装置２００は、現在ブロックが持つ動きベクトルと各予測動きベクトル候補との差値によるコストを比べ、現在ブロックが持つ動きベクトルと最も類似した予測動きベクトル、すなわち、最小コストを持つ予測動きベクトルを定め、現在ブロックの動きベクトルと予測動きベクトルとの差値のみを現在ブロックの動きベクトル情報として符号化する。この時、多視点ビデオ符号化装置２００は、視点方向予測動きベクトル候補及び時間方向予測動きベクトル候補を所定インデックスによって区別し、現在ブロックの動きベクトルに用いられた予測動きベクトルに対応するインデックス情報を、符号化されたビットストリームに動きベクトルに関する情報として含ませる。

図８は、本発明の一実施形態による視点方向動きベクトルの符号化過程を示すフローチャートである。図８を参照すれば、段階８１０で、視点方向動き予測部３１０は、符号化される現在ブロックの第１視点と異なる第２視点の第１参照フレームに対して現在ブロックについての動き予測を行い、現在ブロックの視点方向動きベクトルを定める。

段階８２０で、動きベクトル符号化部３３０は、現在ブロックの周辺ブロックのうち第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び現在ブロックと同じ第１視点に属しつつ、現在フレームと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて、視点方向予測動きベクトル候補を生成する。前述したように、視点方向予測動きベクトル候補は、異なる視点の参照フレームを参照する現在ブロックの左側に隣接しているブロックの視点方向動きベクトルから選択された視点方向第１予測動きベクトル、現在ブロックの上側に隣接しているブロックの視点方向動きベクトルから選択された視点方向第２予測動きベクトル、及び現在ブロック以前に符号化されたコーナーに位置しているブロックの視点方向動きベクトルから選択された視点方向第３予測動きベクトルを含む。また視点方向予測動きベクトル候補は、視点方向第１予測動きベクトル、視点方向第２予測動きベクトル及び視点方向第３予測動きベクトルの中間値をさらに含む。また、視点方向予測動きベクトル候補は、第２参照フレームに属しつつ、現在ブロックと同位置のブロックを、現在ブロックの周辺ブロックの時間方向動きベクトルを用いてシフトした対応ブロックが持つ視点方向動きベクトルを含む。

段階８３０で、動きベクトル符号化部３３０は、視点方向予測動きベクトル候補から選択された一つの視点方向予測動きベクトルと、現在ブロックの視点方向動きベクトルとの差値、及び選択された視点方向予測動きベクトルに関するモード情報を符号化する。

図９は、本発明の一実施形態による時間方向動きベクトルの符号化過程を示すフローチャートである。図９を参照すれば、段階９１０で、時間方向動き予測部３２０は、符号化される現在ブロックの第１視点と同じ視点の第１参照フレームに対して現在ブロックについての動き予測を行い、現在ブロックの時間方向動きベクトルを定める。

段階９２０で、動きベクトル符号化部３３０は、現在ブロックの周辺ブロックのうち第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び現在ブロックと異なる第２視点に属しつつ、現在フレームと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて、時間方向予測動きベクトル候補を生成する。前述したように、時間方向予測動きベクトル候補は、第１視点の参照フレームを参照する現在ブロックの左側に隣接しているブロックの時間方向動きベクトルから選択された時間方向第１予測動きベクトル、現在ブロックの上側に隣接しているブロックの時間方向動きベクトルから選択された時間方向第２予測動きベクトル、及び現在ブロック以前に符号化されたコーナーに位置しているブロックの時間方向動きベクトルから選択された時間方向第３予測動きベクトルを含む。また、時間方向予測動きベクトル候補は、時間方向第１予測動きベクトル、時間方向第２予測動きベクトル及び時間方向第３予測動きベクトルの中間値をさらに含む。また、時間方向予測動きベクトル候補は、第２参照フレームに属しつつ、現在ブロックと同位置のブロックを、現在ブロックの周辺ブロックの視点方向動きベクトルを用いてシフトした対応ブロックが持つ時間方向動きベクトルを含む。

段階９３０で、動きベクトル符号化部３３０は、時間方向予測動きベクトル候補から選択された一つの時間方向予測動きベクトルと現在ブロックの時間方向動きベクトルとの差値、及び選択された時間方向予測動きベクトルに関するモード情報を符号化する。

図１０は、本発明の一実施形態による多視点ビデオ復号化装置を示すブロック図である。図１０を参照すれば、本発明の一実施形態によるビデオ復号化装置１０００は、パージング部１０１０、エントロピー復号化部１０２０、逆量子化部１０３０、周波数逆変換部１０４０、イントラ予測部１０５０、動き補償部１０６０、デブロッキング部１０７０、ループフィルタリング部１０８０を備える。

ビットストリーム１００５がパージング部１０１０を経て、復号化対象である符号化された多視点映像データ及び復号化のために必要な情報がパージングされる。符号化された映像データは、エントロピー復号化部１０２０及び逆量子化部１０３０を経て逆量子化されたデータに出力され、周波数逆変換部１０４０を経て空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部１０５０は、イントラモードのブロックについてイントラ予測を行い、動き補償部１０６０は、参照フレームを用いてインタモードのブロックについて動き補償を行う。特に、本発明の一実施形態による動き補償部１０６０は、復号化される現在ブロックの予測モード情報が視点方向にインター予測された場合、ビットストリーム路から読出された現在ブロックの動きベクトル情報を用いて現在ブロックの予測動きベクトルを生成し、ビットストリームに備えられた予測動きベクトル及び差値を加算して現在ブロックの動きベクトルを復元し、復元された動きベクトルを用いて動き補償を行う。前述したように、動き補償部１０６０は、現在ブロックが視点方向に予測符号化された場合、現在ブロックの周辺ブロックのうち現在ブロックの第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び現在ブロックと同じ第１視点に属しつつ、現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて生成された視点方向予測動きベクトル候補のうち、予測動きベクトル情報に含まれたインデックス情報によって一つの視点方向予測動きベクトルを選択する。また、動き補償部１０６０は、現在ブロックが時間方向に予測符号化された場合、現在ブロックの周辺ブロックのうち第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び現在ブロックと異なる第２視点に属しつつ、現在フレームと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて生成された時間方向予測動きベクトル候補のうち、予測動きベクトル情報に含まれたインデックス情報によって一つの時間方向予測動きベクトルを選択する。動き補償部１０６０で時間方向及び視点方向予測動きベクトルを生成する過程は、前述した図２の動き予測部２２０と同一であるため、具体的な説明は略する。

イントラ予測部１０５０及び動き補償部１０６０を経た空間領域のデータは、デ−ブルロキングブ１０７０及びループフィルタリング部１０８０を経て後処理され、復元フレームに出力される。また、デ−ブルロキングブ１０７０及びループフィルタリング部１０８０を経て後処理されたデータは、参照フレーム１０８５として出力される。

図１１は、本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。

段階１１１０で、ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び現在ブロックの動きベクトルと現在ブロックの予測動きベクトルとの差値が復号化される。

段階１１２０で、復号化された現在ブロックの予測動きベクトルに関する情報に基づいて現在ブロックの予測動きベクトルを生成する。前述したように、予測動きベクトルは、現在ブロックの周辺ブロックのうち現在ブロックの第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて生成された視点方向予測動きベクトル候補のうち、予測動きベクトル情報に含まれたインデックス情報によって選択される。また、予測動きベクトルは、現在ブロックの周辺ブロックのうち第１視点の参照フレームを参照する周辺ブロックの時間方向動きベクトル、及び現在ブロックと異なる第２視点に属しつつ、現在フレームのＰＯＣと同じＰＯＣを持つ第２参照フレームに属する対応領域が持つ時間方向動きベクトルを用いて生成された時間方向予測動きベクトル候補のうち、予測動きベクトル情報に含まれたインデックス情報によって選択される。

段階１１３０で、予測動きベクトル及び差値に基づいて現在ブロックの動きベクトルが復元される。現在ブロックの動きベクトルが復元されれば、動き補償部１０６０は、動き補償を通じて現在ブロックの予測ブロックを生成し、生成された予測ブロック及びビットストリームから読出されて復号化された残差値を加算し、現在ブロックが復元される。

本発明はまたコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードで保存されて実行される。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。

Claims

多視点ビデオの動きベクトル符号化方法において、
符号化される現在ブロックの第１視点と異なる第２視点の第１参照フレームに対して前記現在ブロックに対する動き予測を行って、前記現在ブロックの視点方向動きベクトルを定める段階と、
前記現在ブロックの周辺ブロックのうち、前記第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）と異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて、視点方向予測動きベクトル候補を定める段階と、
前記視点方向予測動きベクトル候補から選択された一つの視点方向予測動きベクトルと前記現在ブロックの視点方向動きベクトルとの差値、及び前記選択された視点方向予測動きベクトルに関するモード情報を符号化する段階と、を含むことを特徴とする多視点ビデオの動きベクトル符号化方法。
前記視点方向予測動きベクトル候補は、前記第１視点と異なる視点の参照フレームを参照する前記現在ブロックの左側に隣接しているブロックの視点方向動きベクトルから選択された視点方向第１予測動きベクトル、前記現在ブロックの上側に隣接しているブロックの視点方向動きベクトルから選択された視点方向第２予測動きベクトル、及び前記現在ブロック以前に符号化されたコーナーに位置しているブロックの視点方向動きベクトルから選択された視点方向第３予測動きベクトル、を含むことを特徴とする請求項１に記載の多視点ビデオの動きベクトル符号化方法。
前記視点方向予測動きベクトル候補は、
前記視点方向第１予測動きベクトル、前記視点方向第２予測動きベクトル及び前記視点方向第３予測動きベクトルの中間値（ｍｅｄｉａｎ）をさらに含むことを特徴とする請求項２に記載の多視点ビデオの動きベクトル符号化方法。
前記視点方向予測動きベクトル候補は、
前記第２参照フレームに属しつつ、前記現在ブロックと同位置のブロックを、前記現在ブロックの周辺ブロックの時間方向動きベクトルを用いてシフトした、対応ブロックが持つ視点方向動きベクトルを含むことを特徴とする請求項１に記載の多視点ビデオの動きベクトル符号化方法。
前記現在ブロックと同位置のブロックは、前記現在ブロックの周辺ブロックの時間方向動きベクトルの中間値ほどシフトされることを特徴とする請求項４に記載の多視点ビデオの動きベクトル符号化方法。
前記視点方向予測動きベクトル候補は、
前記第１視点と異なる視点であり、前記現在ブロックが属する現在フレームと同じＰＯＣを持つ第３参照フレームに属する同位置のブロックが持つ時間方向動きベクトルを用いて、前記第２参照フレームに属しつつ、前記現在ブロックと同位置のブロックをシフトした、対応ブロックが持つ視点方向動きベクトルを含むことを特徴とする請求項１に記載の多視点ビデオの動きベクトル符号化方法。
前記選択された視点方向予測動きベクトルに関するモード情報を符号化する段階は、前記視点方向予測動きベクトル候補を所定インデックスによって区別し、前記現在ブロックの視点方向動きベクトルの予測に用いられた視点方向予測動きベクトルに対応するインデックス情報を符号化することを特徴とする請求項１に記載の多視点ビデオの動きベクトル符号化方法。
多視点ビデオの動きベクトル復号化方法において、
ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの差値を復号化する段階と、
前記復号化された現在ブロックの予測動きベクトルに関する情報に基づいて前記現在ブロックの予測動きベクトルを定める段階と、
前記予測動きベクトル及び前記差値に基づいて前記現在ブロックの動きベクトルを復元する段階と、を含み、
前記予測動きベクトルは、
前記現在ブロックの周辺ブロックのうち、前記現在ブロックの第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて定められた視点方向予測動きベクトル候補から、前記予測動きベクトル情報に含まれたインデックス情報によって選択されることを特徴とする多視点ビデオの動きベクトル復号化方法。
前記視点方向予測動きベクトル候補は、前記第１視点と異なる視点の参照フレームを参照する前記現在ブロックの左側に隣接しているブロックの視点方向動きベクトルから選択された視点方向第１予測動きベクトル、前記現在ブロックの上側に隣接しているブロックの視点方向動きベクトルから選択された視点方向第２予測動きベクトル、及び前記現在ブロック以前に符号化されたコーナーに位置しているブロックの視点方向動きベクトルから選択された視点方向第３予測動きベクトル、を含むことを特徴とする請求項８に記載の多視点ビデオの動きベクトル復号化方法。
前記視点方向予測動きベクトル候補は、
前記視点方向第１予測動きベクトル、前記視点方向第２予測動きベクトル及び前記視点方向第３予測動きベクトルの中間値をさらに含むことを特徴とする請求項９に記載の多視点ビデオの動きベクトル復号化方法。
前記視点方向予測動きベクトル候補は、
前記第２参照フレームに属しつつ、前記現在ブロックと同位置のブロックを、前記現在ブロックの周辺ブロックの時間方向動きベクトルを用いてシフトした、対応ブロックが持つ視点方向動きベクトルを含むことを特徴とする請求項８に記載の多視点ビデオの動きベクトル復号化方法。
前記現在ブロックと同位置のブロックは、前記現在ブロックの周辺ブロックの時間方向動きベクトルの中間値ほどシフトされることを特徴とする請求項１１に記載の多視点ビデオの動きベクトル復号化方法。
前記視点方向予測動きベクトル候補は、
前記第１視点と異なる視点であり、前記現在ブロックが属する現在フレームと同じＰＯＣを持つ第３参照フレームに属する同位置のブロックが持つ時間方向動きベクトルを用いて、前記第２参照フレームに属しつつ、前記現在ブロックと同位置のブロックをシフトした対応ブロックが持つ視点方向動きベクトルを含むことを特徴とする請求項８に記載の多視点ビデオの動きベクトル復号化方法。
多視点ビデオの動きベクトル符号化装置において、
符号化される現在ブロックの第１視点と異なる第２視点の第１参照フレームに対して前記現在ブロックに対する動き予測を行って、前記現在ブロックの視点方向動きベクトルを定める視点方向動き予測部と、
前記現在ブロックの周辺ブロックのうち、前記第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて視点方向予測動きベクトル候補を定め、前記視点方向予測動きベクトル候補から選択された一つの視点方向予測動きベクトルと前記現在ブロックの視点方向動きベクトルとの差値、及び前記選択された視点方向予測動きベクトルに関するモード情報を符号化する動きベクトル符号化部と、を備えることを特徴とする多視点ビデオの動きベクトル符号化装置。
多視点ビデオの動きベクトル復号化装置において、
ビットストリームから復号化される現在ブロックの予測動きベクトルに関する情報、及び前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの差値を復号化する動きベクトル復号化部と、
前記復号化された現在ブロックの予測動きベクトルに関する情報に基づいて前記現在ブロックの予測動きベクトルを定め、前記予測動きベクトル及び前記差値に基づいて前記現在ブロックの動きベクトルを復元する動き補償部と、を備え、
前記予測動きベクトルは、
前記現在ブロックの周辺ブロックのうち、前記現在ブロックの第１視点と異なる視点の参照フレームを参照する周辺ブロックの視点方向動きベクトル、及び前記現在ブロックと同じ第１視点に属しつつ、前記現在フレームのＰＯＣと異なるＰＯＣを持つ第２参照フレームに属する対応領域が持つ視点方向動きベクトルを用いて定められた視点方向予測動きベクトル候補から、前記予測動きベクトル情報に含まれたインデックス情報によって選択されることを特徴とする多視点ビデオの動きベクトル復号化装置。