JP2014512720A

JP2014512720A - 多視点ビデオの符号化方法及び装置、その復号化方法及び装置

Info

Publication number: JP2014512720A
Application number: JP2013555362A
Authority: JP
Inventors: チェー，ビョン−ドゥ; チョウ，デ−ソン; ジョン，スン−ス
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-02-21
Filing date: 2012-02-21
Publication date: 2014-05-22
Anticipated expiration: 2032-02-21
Also published as: JP5830548B2; EP2676445A2; WO2012115436A3; CN103493492A; US20120213282A1; KR20120095610A; WO2012115436A2; EP2676445A4

Abstract

現在ブロックの現在フレームの視点と異なる視点を持つ参照フレームを用いて、多視点映像の現在ブロックを符号化及び復号化する多視点映像の符号化及び復号化方法及び装置が開示される。

Description

本発明はビデオ符号化及び復号化に係り、さらに詳細には、多視点ビデオ映像の動きベクトルを予測して符号化する方法及び装置、復号化する方法及び装置に関する。

多視点ビデオ符号化（ｍｕｌｔｉ−ｖｉｅｗｖｉｄｅｏｃｏｄｉｎｇ：ＭＶＣ）は、複数のカメラから獲得された互いに異なる視点の複数の映像を処理することであり、多視点映像を時間的相関関係（ｔｅｍｐｏｒａｌｃｏｒｒｅｌａｔｉｏｎ）及びカメラ間（ｉｎｔｅｒ−ｖｉｅｗ）の空間的相関関係（ｓｐａｔｉａｌｃｏｒｒｅｌａｔｉｏｎ）を用いて圧縮符号化する。

時間的相関関係を用いる時間予測（ｔｅｍｐｏｒａｌｐｒｅｄｉｃｔｉｏｎ）及び空間的相関関係を用いる視点間予測（ｉｎｔｅｒ−ｖｉｅｗｐｒｅｄｉｃｔｉｏｎ）では、一つ以上の参照ピクチャーを用いて現在ピクチャーの動きをブロック単位で予測及び補償して映像を符号化する。時間予測及び視点予測では、現在ブロックと最も類似したブロックを参照ピクチャーの所定の検索範囲で検索し、類似したブロックが検索されれば、現在ブロックと類似したブロック間の残差データのみ伝送することで、データの圧縮率を高める。

本発明が解決しようとする課題は、互いに異なる視点の映像間の相関関係を用いて多視点ビデオの符号化時の効率を向上させるところにある。

本発明の実施形態は、多視点ビデオコーディング時に視点方向にスキップモードを提供することで映像の圧縮効率を向上させる多視点ビデオ符号化方法及び装置と、その復号化方法及び装置を提供する。

本発明によれば、時間方向だけではなく視点方向に現在ブロックの動きベクトルを予測し、モード情報のみを伝送するスキップモードを提供することで、多視点ビデオコーディング時の圧縮効率を向上させる。

本発明の一実施形態による多視点ビデオ符号化及び復号化方法によって符号化される多視点ビデオシーケンスを示す図面である。本発明の一実施形態によるビデオ符号化装置の構成を示すブロック図である。本発明の一実施形態による視点方向スキップモード予測符号化過程を説明するための参照図である。本発明の一実施形態による視点方向スキップ動きベクトルを生成する過程を説明するための参照図である。本発明の他の実施形態による視点方向スキップ動きベクトルを生成する過程を説明するための参照図である。本発明のさらに他の実施形態による視点方向スキップ動きベクトルを生成する過程を説明するための参照図である。本発明の一実施形態による多視点ビデオ符号化方法を示すフローチャートである。本発明の一実施形態によるビデオ復号化装置を示すブロック図である。本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。

本発明の一実施形態による多視点ビデオの符号化方法は、符号化される第１視点の現在ブロック以前に符号化された後で復元された第２視点のフレームを参照するブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成する段階と、前記スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う段階と、前記スキップ動きベクトルに関するモード情報を符号化する段階と、を含むことを特徴とする。

本発明の一実施形態による多視点ビデオの復号化方法は、ビットストリームから復号化される第１視点の現在ブロックの予測モード情報を復号化する段階と、前記予測モード情報が視点方向スキップモードである場合、前記復号化される第１視点の現在ブロック以前に復号化された第２視点のフレームを参照するブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成する段階と、前記スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う段階と、前記現在ブロックの動き補償値と、前記ビットストリームから抽出された残差値とを加算して前記現在ブロックを復元する段階と、を含むことを特徴とする。

本発明の一実施形態による多視点ビデオの符号化装置は、符号化される第１視点の現在ブロックの周辺ブロックのうち、以前に符号化された後で復元された第２視点のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成する予測部と、前記スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う動き補償部と、前記現在ブロックの動き補償値と前記現在ブロックとの差値を符号化する符号化部と、前記スキップ動きベクトルに関するモード情報を符号化するエントロピー符号化部と、を備えることを特徴とする。

本発明の一実施形態による多視点ビデオの復号化装置は、ビットストリームから復号化される第１視点の現在ブロックの予測モード情報を復号化するエントロピー復号化部と、前記予測モード情報が視点方向スキップモードである場合、前記復号化される第１視点の現在ブロック以前に復号化された第２視点のフレームを参照するブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成し、前記スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う動き補償部と、前記現在ブロックの動き補償値と、前記ビットストリームから抽出された残差値とを加算して前記現在ブロックを復元する復元部と、を備えることを特徴とする。

以下、添付した図面を参照して本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態による多視点ビデオ符号化及び復号化方法によって符号化される多視点ビデオシーケンスを示す図面である。図１を参照すれば、ｘ軸は、時間軸で、ｙ軸は、視点軸である。ｘ軸のＴ０ないしＴ８は、それぞれ映像のサンプリング時間を示し、ｙ軸のＳ０ないしＳ７は、それぞれ互いに異なる視点を示している。図１でそれぞれの行は、同じ視点で入力された映像ピクチャーグループを示し、それぞれの列は、同じ時間での多視点映像を示す。

多視点映像の符号化では、基本視点の映像について周期的にイントラピクチャーを生成し、生成されたイントラピクチャーに基づいて時間的予測または視点間予測を行って他のピクチャーを予測符号化する。

時間的予測とは、同じ視点（ｖｉｅｗ）、すなわち、図１で同じ行にある映像間の時間的な相関関係を用いる予測である。時間的予測のために、階層的Ｂピクチャーを用いた予測構造が用いられる。視点間予測は、同じ時間、すなわち、同じ列にある映像間の空間的な相関関係を用いる予測である。以下の説明では、階層的Ｂピクチャーを用いて映像ピクチャーグループを符号化することを説明するが、本発明による符号化及び復号化方式は、階層的Ｂピクチャー構造以外に他の構造を持つ多視点映像シーケンスにも適用されうる。

階層的Ｂピクチャーを用いた多視点映像ピクチャーの予測構造は、同じ視点、すなわち、同じ行にある映像間に存在する時間的な相関関係を用いた予測を行う時、同一視点の映像ピクチャーグループを、アンカー（Ａｎｃｈｏｒ）ピクチャーを用いて双方向ピクチャー（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌＰｉｃｔｕｒｅ、以下“Ｂピクチャー”という）で予測符号化するものである。ここで、アンカーピクチャーは、図１に示した列のうち、イントラピクチャーを含んでいる最初の時間Ｔ０及び最後の時間Ｔ８での列１１０及び１２０に含まれているピクチャーを意味する。アンカーピクチャー１１０及び１２０は、イントラピクチャー（Ｉｎｔｒａｐｉｃｔｕｒｅ、以下“Ｉピクチャー”という）を除いて視点間予測のみを用いて予測符号化される。イントラピクチャーを含んでいる列１１０及び１２０を除いた残りの列１３０に含まれているピクチャーは、非アンカーピクチャー（ｎｏｎ−ａｎｃｈｏｒｐｉｃｔｕｒｅｓ）という。

一例として、最初の視点Ｓ０で所定時間の間に入力された映像ピクチャーを、階層的Ｂピクチャーを用いて符号化する場合を説明する。最初の視点Ｓ０で入力された映像ピクチャーのうち、最初の時間Ｔ０に入力されたピクチャー１１１及び最後の時間Ｔ８に入力されたピクチャー１２１は、Ｉピクチャーに符号化される。次いで、Ｔ４時間に入力されたピクチャー１３１は、アンカーピクチャーであるＩピクチャー１１１、１２１を参照して双方向予測符号化され、Ｂピクチャーに符号化される。Ｔ２時間に入力されたピクチャー１３２は、Ｉピクチャー１１１及びＢピクチャー１３１を用いて双方向予測符号化され、Ｂピクチャーに符号化される。類似してＴ１時間に入力されたピクチャー１３３は、Ｉピクチャー１１１及びＢピクチャー１３２を用いて双方向予測符号化され、Ｔ３時間に入力されたピクチャー１３４は、Ｂピクチャー１３２及びＢピクチャー１３１を用いて双方向予測符号化される。このように、同一視点の映像シーケンスは、アンカーピクチャーを用いて階層的に双方向予測符号化されるため、このような予測符号化方式を階層的Ｂピクチャーと呼ぶ。一方、図１に示したＢｎ（ｎ＝１、２、３、４）で、ｎは、ｎ番目の双方向予測されたＢピクチャーを示すものであり、例えば、Ｂ１は、ＩピクチャーまたはＰピクチャーであるアンカーピクチャーを用いて最初に双方向予測されたピクチャーを、Ｂ２は、Ｂ１ピクチャー以後に双方向予測されたピクチャーを、Ｂ３は、Ｂ２ピクチャー以後に双方向予測されたピクチャーを、Ｂ４は、Ｂ３ピクチャー以後に双方向予測されたピクチャーを示す。

多視点ビデオシーケンスの符号化時には、先ず基本視点である最初の視点Ｓ０の映像ピクチャーグループを、前述した階層的Ｂピクチャーを用いて符号化する。残りの視点の映像シーケンスを符号化するために、先ず、最初の視点Ｓ０のＩピクチャー１１１、１２１を用いた視点間予測により、アンカーピクチャー１１０、１２０に備えられた奇数番目の視点Ｓ２、Ｓ４、Ｓ６及び最後の視点Ｓ７の映像ピクチャーを、Ｐピクチャーで予測符号化する。アンカーピクチャー１１０、１２０に備えられた偶数番目の視点Ｓ１、Ｓ３、Ｓ５の映像ピクチャーは、視点間予測により隣接している視点の映像ピクチャーを用いて双方向予測され、Ｂピクチャーに符号化される。例えば、Ｔ０時間に２番目の視点Ｓ１で入力されたＢピクチャー１１３は、隣接している視点Ｓ０、Ｓ２のＩピクチャー１１１及びＰピクチャー１１２を用いて双方向予測される。

アンカーピクチャー１１０、１２０に備えられた全視点の映像ピクチャーが、Ｉピクチャー、Ｂピクチャー及びＰピクチャーのうちいずれか一つのピクチャーに符号化されれば、非アンカーピクチャー１３０は、前述したように、階層的Ｂピクチャーを用いた時間的予測及び視点間予測により双方向予測符号化される。

非アンカーピクチャー１３０のうち奇数番目の視点Ｓ２、Ｓ４、Ｓ６及び最後の視点Ｓ７の映像ピクチャーは、階層的Ｂピクチャーを用いた時間的予測により、同一視点のアンカーピクチャーを用いて双方向予測符号化される。非アンカーピクチャー１３０のうち偶数番目の視点Ｓ１、Ｓ３、Ｓ５、Ｓ７のピクチャーは、階層的Ｂピクチャーを用いた時間的予測だけではなく、隣接している視点のピクチャーを用いた視点間予測により双方向予測される。例えば、Ｔ４時間に２番目の視点Ｓ２で入力されたピクチャー１３６は、アンカーピクチャー１１３、１２３及び隣接している視点のピクチャー１３１、１３５を用いて予測される。

アンカーピクチャー１１０、１２０に備えられたＰピクチャーは、前述したように同一時間に入力された他の視点のＩピクチャーまたは以前のＰピクチャーを用いて予測符号化される。例えば、Ｔ８時間に３番目の視点Ｓ２で入力されたＰピクチャー１２２は、同一時間の最初の視点Ｓ０で入力されたＩピクチャー１２１を参照ピクチャーとして用いて予測符号化される。

図１に示したような多視点ビデオシーケンスで、ＰピクチャーやＢピクチャーは、前述したように同一時間に入力された他の視点のピクチャーを参照ピクチャーとして用いて予測符号化される。このような他の参照ピクチャーを用いる予測符号化モードのうちスキップモード及びダイレクトモードは、現在ブロック以前に符号化された少なくとも一つのブロックの動きベクトルに基づいて現在ブロックの動きベクトルを定め、定められた動きベクトルに基づいて現在ブロックを符号化し、現在ブロックに関する情報として動きベクトルを別途に符号化しないモードである。ダイレクトモードは、現在ブロックの周辺ブロックの動きベクトルを用いて生成された予測ブロックと現在ブロックとの差である残差ブロックを、ピクセル値に関する情報として符号化するのに対し、スキップモードは、予測ブロックが現在ブロックと同一であると見なし、スキップモードに符号化されたことを示すシンタックス情報のみを符号化するモードである。

ダイレクトモード及びスキップモードはいずれも動きベクトルを別途に符号化しないため、圧縮率向上に大きく寄与する。しかし、従来技術によれば、このようなダイレクトモード及びスキップモードは、従来同一視点の映像シーケンスの間、すなわち、時間方向にのみ適用され、互いに異なる視点の映像シーケンスの間には適用されない。よって、本発明では、多視点ビデオシーケンスの符号化時に符号化される現在ブロックと異なる視点の参照フレームを参照して予測符号化を行いつつ、現在ブロックの動きベクトル情報は別途に符号化しないスキップモードを提供することで多視点ビデオの圧縮効率を向上させる。

図２は、本発明の一実施形態によるビデオ符号化装置の構成を示すブロック図である。図２を参照すれば、多視点映像２０５を符号化するビデオ符号化装置２００は、イントラ予測部２１０、動き予測部２２０、動き補償部２２５、周波数変換部２３０、量子化部２４０、エントロピー符号化部２５０、逆量子化部２６０、周波数逆変換部２７０、デブロッキング部２８０及びループフィルタリング部２９０を備える。

イントラ予測部２１０は、多視点映像のうちアンカーピクチャー内のＩピクチャーに符号化されるブロックについてイントラ予測を行い、動き予測部２２０及び動き補償部２２５は、符号化される現在ブロックと同一視点の映像シーケンスに属しつつ他のフレーム番号（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ：ＰＯＣ）を持つ参照フレームを参照するか、または現在ブロックと異なる視点でありつつ現在ブロックと同じフレーム番号を持つ参照フレームを参照して、動き予測及び動き補償を行う。特に、後述されるように本発明の実施形態による動き予測部２２０及び動き補償部２２５は、現在ブロックと異なる視点の参照フレームを参照して予測符号化を行いつつ、現在ブロックの動きベクトル情報は、別途に符号化しないスキップモードを通じて現在ブロックを予測する。

イントラ予測部２１０、動き予測部２２０及び動き補償部２２５から出力されたデータは、周波数変換部２３０及び量子化部２４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部２６０、周波数逆変換部２７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部２８０及びループフィルタリング部２９０を経て後処理され、参照フレーム２９５に出力される。ここで参照フレームは、多視点映像シーケンスのうち他の視点の映像シーケンスに比べて先に符号化された特定視点の映像シーケンスである。例えば、アンカーピクチャーが含まれた特定視点の映像シーケンスは、他の視点の映像シーケンスに比べて先に符号化され、他の視点の映像シーケンスの視点方向予測符号化時に参照ピクチャーとして用いられる。量子化された変換係数は、エントロピー符号化部２５０を経てビットストリーム２５５に出力される。

以下、視点方向予測符号化時にスキップモードで現在ブロックを符号化する過程について具体的に説明する。

図３は、本発明の一実施形態による視点方向スキップモード予測符号化過程を説明するための参照図である。図３を参照すれば、先ず、本発明の一実施形態による符号化装置２００は、第２視点ｖｉｅｗ０の映像シーケンス３１０内に備えられたフレーム３１１、３１２、３１３について予測符号化を行った後、他の視点の映像シーケンスの予測符号化のための参照フレームとして用いるために符号化された第２視点ｖｉｅｗ０の映像シーケンス３１０に属するフレーム３１１、３１２、３１３を復元する。すなわち、第２視点ｖｉｅｗ０の映像シーケンス３１０に属しているフレームは、フレーム３２１、３２２、３２３を含む第１視点ｖｉｅｗ１の映像シーケンス３２０より先に符号化されて復元されたフレームである。第２視点ｖｉｅｗ０の映像シーケンス３１０に属しているフレームは、図示されたように同一視点ｖｉｅｗ０内の映像シーケンス３１０に属している他のフレームを参照して、すなわち、時間方向にのみ予測符号化されるか、または図示されていないさらに他の視点の映像シーケンスを参照して以前に符号化された後で復元されたフレームである。図３で矢印は、いかなる参照フレームを参照して各フレームが予測されるかを示す予測方向を示す。例えば、符号化される現在ブロック３２４が属している第１視点ｖｉｅｗ１のＰフレーム３２３は、同一視点の他のＰフレーム３２１を参照して予測符号化されるか、または第２視点ｖｉｅｗ０に属している同一フレーム番号ＰＯＣ２を持つＰフレーム３１３を参照して予測符号化される。同一視点の映像シーケンスに属しているフレーム間の予測符号化過程は、従来技術による予測符号化過程と同じく行われるので、以下の説明では、互いに異なる視点の参照フレームを参照して予測符号化を行う視点方向予測符号化過程を中心として説明する。

動き予測部２２０は、第１視点ｖｉｅｗ１の現在ブロック３２４の周辺ブロックのうち、以前に符号化された後で復元された第２視点ｖｉｅｗ０のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、現在ブロック３２４の視点方向スキップ動きベクトルを生成する。ここで視点方向動きベクトルは、他の視点の参照フレームを示す動きベクトルを意味し、視点方向スキップ動きベクトルとは、現在ブロック３２４の動きベクトル情報としてモード情報のみ伝送され、実際の動きベクトル情報は伝送されない、本発明の実施形態による視点方向スキップモードで現在ブロックの動き補償のために用いられるベクトルを意味する。言い換えれば、視点方向スキップ動きベクトルは、従来時間方向のスキップモードで現在ブロックの周辺ブロックから定められるスキップモードの動きベクトルと類似して、視点方向の参照フレームの対応領域の決定に用いられるベクトルを意味する。

動き予測部２２０で現在ブロック３２４の視点方向スキップ動きベクトルが定められれば、動き補償部２２５は、第２視点ｖｉｅｗ０の映像シーケンス３１０に属しつつ、現在ブロック３２４が属しているフレーム３２３と同じフレーム番号ＰＯＣ２を持つＰフレーム３１３で、視点方向スキップ動きベクトルが示す対応領域３１４を現在ブロックの予測値と定める。視点方向スキップモードでは、対応領域３１４を現在ブロックの値と見なして、視点方向スキップモードを示すシンタックス情報のみ符号化され、視点方向ダイレクトモードでは、対応領域３１４と現在ブロック３２４との差値である残差情報が、ダイレクトモードであることを示すシンタックス情報に付け加えられた伝送される。

図４は、本発明の一実施形態による視点方向スキップ動きベクトルを生成する過程を説明するための参照図である。図４を参照すれば、第２視点ｖｉｅｗ０の映像シーケンス４１０に属しているフレーム４４０、４６０は、第１視点ｖｉｅｗ１の映像シーケンス４２０より先に符号化されて復元されたフレームであり、符号化される現在ブロック４３１が属しているフレーム４３０は、（ｎ＋１）というフレーム番号を持つと仮定する。また、図４に示したように、現在ブロック４３１の周辺ブロック４３２ないし４４０のうちａｏ４３２、ａ２４３４、ｂ１４３６、ｃ４３９及びｄ４４０それぞれは、同一フレーム番号（ｎ＋１）を持つと共に、現在ブロック４３１が属しているフレーム４３０と異なる視点ｖｉｅｗ０に属しているフレーム４４０の対応領域であるａｏ’ ４４１、ａ２’ ４４４、ｂ１’ ４４３、ｃ’ ４４６及びｄ’ ４４５を参照して予測符号化された、視点方向予測された周辺ブロックでると仮定する。また、ａ１４３３、ｂｏ４３５、ｂ２４３７及びｅ４３８それぞれは、現在ブロック４３１と同一視点の映像シーケンス４２０に属すると共に、他のフレーム番号ｎを持つフレーム４５０の対応領域であるａ１’ ４５１、ｂｏ’ ４５２、ｂ２’ ４５３及びｅ’ ４５４を参照して予測符号化された、時間方向予測された周辺ブロックであると仮定する。

前述したように、動き予測部２２０は、符号化される第１視点ｖｉｅｗ１の現在ブロック４３１の周辺ブロック４３２ないし４４０のうち、以前に符号化された後で復元された第２視点ｖｉｅｗ０のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、現在ブロックの視点方向スキップ動きベクトルを生成する。具体的に、動き予測部２２０は、現在ブロック４３１が属しているフレーム４３０と同一フレーム番号（ｎ＋１）を持つと共に、他の視点ｖｉｅｗ０に属する参照フレーム４４０を参照する周辺ブロックであるａｏ４３２、ａ２４３４、ｂ１４３６、ｃ４３９及びｄ４４０が持つ視点方向動きベクトルを用いて、現在ブロック４３１の視点方向スキップ動きベクトルを生成する。前述した例のように、周辺ブロックが複数の視点方向動きベクトルを持つ場合、現在ブロック４３１に適用する一つの視点方向スキップ動きベクトルを定めるために、中間値（ｍｅｄｉａｎ）を用いる。例えば、動き予測部２２０は、現在ブロック４３１上側に隣接している周辺ブロックａ０ないしａ２から一つの第１代表視点方向動きベクトルｍｖ＿ｖｉｅｗ１を定め、左側に隣接している周辺ブロックｂ０ないしｂ２から一つの第２代表視点方向動きベクトルｍｖ＿ｖｉｅｗ２を定め、コーナーに位置しているブロックｃ、ｄ、ｅのうち一つの第３代表視点方向動きベクトルｍｖ＿ｖｉｅｗ３を定めた後、第１ないし第３代表視点方向動きベクトルの中間値、すなわち、ｍｅｄｉａｎ（ｍｖ＿ｖｉｅｗ１、ｍｖ＿ｖｉｅｗ２、ｍｖ＿ｖｉｅｗ３）を現在ブロック４３１の視点方向スキップ動きベクトルと定める。

前述した例のように、上側に隣接している周辺ブロックａ０ないしａ２のうち視点方向動きベクトルを持つ周辺ブロックａ０４３２、ａ２４３４が複数存在する場合、先にスキャンされるａ０４３２が持つ視点方向動きベクトルを、第１代表視点方向動きベクトルｍｖ＿ｖｉｅｗ１と定める。類似してコーナーに位置している周辺ブロック４３８、４３９、４４０のうち視点方向動きベクトルを持つ複数の周辺ブロックｃ４３９、ｄ４４０が存在する場合、既定のスキャン順、例えば、ｃ、ｄ、ｅのスキャン順にコーナーに位置している周辺ブロックの動き予測情報を読み出すと仮定した時、先ず視点方向動きベクトルを持つと定められた周辺ブロックｃ４３９の視点方向動きベクトルを、第３代表動きベクトルと定める。もし、現在ブロック４３１の左側に隣接しているブロック、上側に隣接しているブロック及びコーナーに位置しているブロックそれぞれについて、第２視点ｖｉｅｗ０のフレーム４４０を参照する周辺ブロックが存在しない場合には、該グループの周辺ブロックに対して代表視点方向動きベクトルを０に設定して中間値を計算する。例えば、もし現在ブロック４３１の左側に隣接している周辺ブロック４３５、４３６、４３７のうち、フレーム４４０を参照する視点方向予測された周辺ブロックが存在しない場合には、第２代表動きベクトルｍｖ＿ｖｉｅｗ２を０に設定して中間値を計算する。

現在ブロック４３１の視点方向スキップ動きベクトルが定められれば、動き補償部２２５は、第２視点ｖｉｅｗ０のフレーム４４０で視点方向スキップ動きベクトルが示す対応領域を現在ブロックの予測値と定める。前述したように、視点方向スキップモードでは対応領域を現在ブロックの値と見なし、視点方向スキップモードを示すシンタックス情報のみ符号化され、視点方向ダイレクトモードでは、対応領域と現在ブロック４３１との差値である残差情報が、ダイレクトモードであることを示すシンタックス情報に付け加えられて伝送される。

図５は、本発明の他の実施形態による視点方向スキップ動きベクトルを生成する過程を説明するための参照図である。図５を参照すれば、現在ブロック５１１と同じ視点ｖｉｅｗ１に属しつつ、現在フレーム５１０のフレーム番号（ｎ＋１）と異なるフレーム番号ｎを持つフレーム５２０の同一位置ブロック（ｃｏ−ｌｏｃａｔｅｄｂｌｏｃｋ）５２１は、ブロック５３１を含む他の視点ｖｉｅｗ０のフレーム５３０を参照する視点方向に予測されたブロックであり、視点方向動きベクトルｍｖ＿ｃｏｌを持つと仮定する。このような場合、動き予測部２２０は、同一位置ブロック５２１が持つ視点方向動きベクトルｍｖ＿ｃｏｌを、現在ブロック５１１の視点方向スキップ動きベクトルと定める。また、動き予測部２２０は、現在ブロック５１１の周辺ブロックのうちフレーム５２０を参照する周辺ブロックの時間方向動きベクトルを用いて同一位置ブロック５２１をシフトさせ、シフトされた対応ブロック５２２が持つ視点方向動きベクトルを、現在ブロック５１１の視点方向スキップ動きベクトルと定める。一例として、現在ブロック５１１の周辺ブロックａ５１２、ｂ５１３及びｃ５１４が、それぞれフレーム５２０を参照する時間方向に予測された周辺ブロックであると仮定すれば、動き予測部２２０は、周辺ブロックａ５１２、ｂ５１３及びｃ５１４が持つ中間値ｍｖ＿ｍｅｄを計算し、同一位置ブロック５２１を中間値ｍｖ＿ｍｅｄほどシフトさせ、シフトされた対応ブロック５２２を定め、シフトされた対応ブロック５２２が持つ視点方向動きベクトルを、現在ブロック５１１の視点方向スキップ動きベクトルと定める。

図６は、本発明のさらに他の実施形態による視点方向スキップ動きベクトルを生成する過程を説明するための参照図である。図６を参照すれば、現在ブロック６１１と異なる視点ｖｉｅｗ２に属しつつ、現在フレーム６１０のフレーム番号（ｎ＋１）と同じフレーム番号を持つフレーム６２０の同一位置ブロック６２１は、さらに他の視点ｖｉｅｗ３のフレーム６３０を参照する視点方向に予測されたブロックであり、視点方向動きベクトルｍｖ＿ｃｏｌを持つと仮定する。このような場合、動き予測部２２０は、同一位置ブロック６２１が持つ視点方向動きベクトルｍｖ＿ｃｏｌを、現在ブロック６１１の視点方向スキップ動きベクトルと定める。また、動き予測部２２０は、現在ブロック６１１の周辺ブロックのうち、フレーム６２０を参照する周辺ブロックの視点方向動きベクトルを用いて同一位置ブロック６２１をシフトさせ、シフトされた対応ブロック６２２が持つ視点方向動きベクトルを、現在ブロック６１１の視点方向スキップ動きベクトルと定める。一例として、現在ブロック６１１の周辺ブロックａ６１２、ｂ６１３及びｃ６１４が、それぞれフレーム６２０を参照する視点方向に予測された周辺ブロックであると仮定すれば、動き予測部２２０は、周辺ブロックａ６１２、ｂ６１３及びｃ６１４が持つ中間値ｍｖ＿ｍｅｄを計算し、同一位置ブロック６２１を中間値ｍｖ＿ｍｅｄほどシフトさせ、シフトされた対応ブロック６２２を定め、シフトされた対応ブロック６２２が持つ視点方向動きベクトルを、現在ブロック６１１の視点方向スキップ動きベクトルと定める。

前述した図４ないし図６のように、多様な方式で視点方向スキップ動きベクトルが生成されれば、本発明によるビデオ符号化装置２００は、各視点方向スキップ動きベクトルの生成方式によるコストを比べて、最適のコストを持つ視点方向スキップ動きベクトルを最終視点方向スキップ動きベクトルと定め、該視点方向スキップ動きベクトルの生成に用いられる生成方式を示すインデックス情報のみを符号化する。例えば、現在ブロックの周辺ブロックのうち視点方向動きベクトルを用いて現在ブロックの視点方向スキップ動きベクトルを生成する場合をｍｏｄｅ０、現在ブロックと同じ視点でありつつ他のフレームに属している同一位置のブロックが持つ視点方向動きベクトルを用いて現在ブロックの視点方向スキップ動きベクトルを生成する場合をｍｏｄｅ１、現在ブロックと同じ視点でありつつ、他のフレームに属している同一位置のブロックをシフトさせた対応ブロックが持つ視点方向動きベクトルを用いる場合をｍｏｄｅ２、現在ブロックと異なる視点でありつつ、同じフレーム番号を持つフレームに属している同一位置のブロックが持つ視点方向動きベクトルを用いる場合をｍｏｄｅ４、現在ブロックと異なる視点でありつつ、同じフレーム番号を持つフレームに属している同一位置のブロックをシフトさせた対応ブロックが持つ視点方向動きベクトルを用いる場合をｍｏｄｅ５と区別すると仮定すれば、エントロピー符号化部２５０は、現在ブロックの最終視点方向スキップ動きベクトルの生成に用いたモード情報のみをビットストリームに付け加える。視点方向スキップモードでは、このようなモード情報のみ符号化され、視点方向ダイレクトモードでは、モード情報以外に、現在ブロックと、視点方向スキップ動きベクトルを用いて獲得された現在ブロックの動き補償値との差値である残差データに関する情報も符号化される。

図７は、本発明の一実施形態による多視点ビデオ符号化方法を示すフローチャートである。図７を参照すれば、段階７１０で、動き予測部２２０は、符号化される第１視点の現在ブロックの周辺ブロックのうち、以前に符号化された後で復元された第２視点のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成する。前述したように、視点方向スキップ動きベクトルは、現在ブロックの周辺ブロックのうち視点方向動きベクトルを用いるか、または、現在ブロックと同じ視点でありつつ他のフレームに属している同一位置のブロックが持つ視点方向動きベクトルを用いるか、または、現在ブロックと同じ視点でありつつ他のフレームに属している同一位置のブロックをシフトさせた対応ブロックが持つ視点方向動きベクトルを用いるか、または、現在ブロックと異なる視点でありつつ同じフレーム番号を持つフレームに属している同一位置のブロックが持つ視点方向動きベクトルを用いるか、または、現在ブロックと異なる視点でありつつ同じフレーム番号を持つフレームに属している同一位置のブロックをシフトさせた対応ブロックが持つ視点方向動きベクトルを用いる。

段階７２０で、動き補償部２２５は、スキップ動きベクトルに基づいて第２視点のフレームから現在ブロックについての動き補償を行う。

段階７３０で、エントロピー符号化部２５０は、スキップ動きベクトルに関するモード情報を符号化する。前述したように、視点方向スキップモードでは、モード情報のみ符号化され、視点方向ダイレクトモードでは、モード情報以外に現在ブロックと、視点方向スキップ動きベクトルを用いて獲得された現在ブロックの動き補償値との差値である残差データに関する情報も符号化される。

図８は、本発明の一実施形態によるビデオ復号化装置を示すブロック図である。図８を参照すれば、本発明の一実施形態によるビデオ復号化装置８００は、パージング部８１０、エントロピー復号化部８２０、逆量子化部８３０、周波数逆変換部８４０、イントラ予測部８５０、動き補償部８６０、デブロッキング部８７０、ループフィルタリング部８８０を備える。

ビットストリーム８０５がパージング部８１０を経て、復号化対象である符号化された多視点映像データ及び復号化のために必要な情報がパージングされる。符号化された映像データは、エントロピー復号化部８２０及び逆量子化部８３０を経て逆量子化されたデータに出力され、周波数逆変換部８４０を経て空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部８５０は、イントラモードのブロックについてイントラ予測を行い、動き補償部８６０は、参照フレーム８８５を共に用いてインタモードのブロックについて動き補償を行う。特に、本発明の一実施形態による動き補償部８６０は、復号化される現在ブロックの予測モード情報が視点方向スキップモードである場合、復号化される第１視点の現在ブロックの周辺ブロックのうち、以前に復号化された第２視点のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、現在ブロックの視点方向スキップ動きベクトルを生成し、スキップ動きベクトルに基づいて第２視点のフレームから現在ブロックについての動き補償を行った後、動き補償された値を現在ブロックの復元された値と定める。もし、現在ブロックの予測モード情報が視点方向ダイレクトモードである場合、動き補償部８６０は、周波数逆変換部８４０から出力される現在ブロックの残差値及び視点方向スキップ動きベクトルによって動き補償値を加算し、現在ブロックを補償する。動き補償部８６０で視点方向スキップ動きベクトルを生成する過程は、前述した図２の動き予測部２２０で視点方向スキップ動きベクトルを生成する過程と同一であるので、具体的な説明は略する。

イントラ予測部８５０及び動き補償部８６０を経た空間領域のデータは、デブロッキング部８７０及びループフィルタリング部８８０を経て後処理されて復元フレーム８９５に出力される。また、デブロッキング部８７０及びループフィルタリング部８８０を経て後処理されたデータは、参照フレーム８８５として出力される。

図９は、本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。図９を参照すれば、段階９１０で、エントロピー復号化部８２０は、ビットストリームから復号化される第１視点の現在ブロックの予測モード情報を復号化する。

段階９２０で、動き補償部８６０は、現在ブロックの予測モード情報が視点方向スキップモードである場合、復号化される第１視点の現在ブロックの周辺ブロックのうち、以前に復号化された第２視点のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、現在ブロックの視点方向スキップ動きベクトルを生成する。そして、段階９３０で、動き補償部８６０は、生成されたスキップ動きベクトルに基づいて第２視点のフレームから現在ブロックについての動き補償を行う。

段階９４０で、現在ブロックの動き補償値及びビットストリームから抽出された残差値が加算されて現在ブロックが復元される。このような段階９４０は、視点方向ダイレクトモードである場合に行われ、視点方向スキップモードでは、動き補償値自体が復元された現在ブロックに当たるため、段階９４０が省略される。

本発明はまた、コンピューターで読み取り可能な記録媒体にコンピューターで読み取り可能なコードとして具現できる。コンピューターで読み取り可能な記録媒体は、コンピューターシステムによって読み取られるデータが保存されるすべての記録装置を含む。コンピューターで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。またコンピューターで読み取り可能な記録媒体は、ネットワークに連結されたコンピューターシステムに分散され、分散方式でコンピューターで読み取り可能なコードに保存されて行われる。

本発明の実施形態は、装置の各構成要素に連結されたバス、前記機能を具現してコマンドを行うための装置の動作を制御するためにバスに連結される少なくとも一つのプロセッサ（例えば中央処理装置、マイクロプロセッサなど）、及びコマンド、受信メッセージ及び生成されたメッセージを保存するためにバスに連結されたメモリを備える装置によって具現される。

また、当業者ならば、構成単位及び／またはモジュールを含む例示的な実施形態が、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）またはＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）のように所定タスクを行うソフトウェア及び／またはハードウェア構成要素により具現されることもありうるということを理解できるであろう。構成単位またはモジュールは、アドレスできる（ａｄｄｒｅｓｓａｂｌｅ）記録媒体内に構成されるか、あるいは、一つ以上のプロセッサまたはマイクロプロセッサによって行われるように構成される。よって、一つの構成単位またはモジュールは、ソフトウェア構成要素、客体向けソフトウェア構成要素、クラス構成要素及びタスク構成要素、プロセス、関数、属性、手続き、サブルーチン、プログラムコードの部分、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列及び変数などの構成要素を含む。各構成要素及び構成単位で提供される機能は、互いに結合または分離される。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は本発明に含まれていると解釈されねばならない。

Claims

多視点ビデオの符号化方法において、
符号化される第１視点の現在ブロック以前に符号化された後で復元された第２視点のフレームを参照するブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成する段階と、
前記視点方向スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う段階と、
前記視点方向スキップ動きベクトルに関するモード情報を符号化する段階と、を含むことを特徴とする多視点ビデオの符号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロック以前に符号化された周辺ブロックのうち、前記第２視点のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項１に記載の多視点ビデオの符号化方法。
前記現在ブロックの視点方向スキップ動きベクトルは、
前記第２視点のフレームを参照する現在ブロックの左側に隣接しているブロックの視点方向動きベクトル、前記第２視点のフレームを参照する前記上側に隣接しているブロックの視点方向動きベクトル、及び前記第２視点のフレームを参照する前記現在ブロック以前に符号化されたコーナーに位置しているブロックの視点方向動きベクトルから選択された視点方向動きベクトルの中間値を含むことを特徴とする請求項１に記載の多視点ビデオの符号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロックと同じ第１視点でありつつ、前記現在ブロックの現在フレームと異なるフレームに属し、前記現在ブロックと同じ位置の対応ブロックが持つ視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項１に記載の多視点ビデオの符号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロック以前に符号化された周辺ブロックのうち、前記第１視点の現在ブロックが属しているフレームと異なるフレームを参照する周辺ブロックの時間方向動きベクトルを用いて、前記他のフレームに属している前記現在ブロックと同じ位置の対応ブロックをシフトさせ、シフトされた対応ブロックが持つ視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項１に記載の多視点ビデオの符号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロック以前に符号化された周辺ブロックのうち、前記第１視点の現在ブロックが属しているフレームと異なるフレームを参照する周辺ブロックの時間方向動きベクトルを用いて、前記第１視点の現在ブロックと異なる、第３視点に属しつつ前記現在ブロックと同じＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）を持つフレームに属している前記現在ブロックと同じ位置の対応ブロックをシフトさせ、前記シフトされた対応ブロックが持つ視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項１に記載の多視点ビデオの符号化方法。
前記スキップ動きベクトルに関するモード情報を符号化する段階は、
前記現在ブロックの視点方向スキップ動きベクトル生成方式を所定インデックスによって区別し、前記現在ブロックの視点方向スキップ動きベクトルの生成に用いられた視点方向スキップ動きベクトル生成方式を示すインデックス情報を符号化することを特徴とする請求項１に記載の多視点ビデオの符号化方法。
多視点ビデオの復号化方法において、
ビットストリームから復号化される第１視点の現在ブロックの予測モード情報を復号化する段階と、
前記復号化される第１視点の現在ブロック以前に復号化された第２視点のフレームを参照するブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成する段階と、
前記スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う段階と、
前記現在ブロックの動き補償値と、前記ビットストリームから抽出された残差値とを加算して前記現在ブロックを復元する段階と、を含むことを特徴とする多視点ビデオの復号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロック以前に復号化された周辺ブロックのうち、前記第２視点のフレームを参照する周辺ブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項８に記載の多視点ビデオの復号化方法。
前記現在ブロックの視点方向スキップ動きベクトルは、
前記第２視点のフレームを参照する現在ブロックの左側に隣接しているブロックの視点方向動きベクトル、前記第２視点のフレームを参照する前記上側に隣接しているブロックの視点方向動きベクトル、及び前記第２視点のフレームを参照する前記現在ブロック以前に復号化されたコーナーに位置しているブロックの視点方向動きベクトルから選択された視点方向動きベクトルの中間値を含むことを特徴とする請求項８に記載の多視点ビデオの復号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロックと同じ第１視点でありつつ、前記現在ブロックの現在フレームと異なるフレームに属し、前記現在ブロックと同じ位置の対応ブロックが持つ視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項８に記載の多視点ビデオの復号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロック以前に復号化された周辺ブロックのうち、前記第１視点の現在ブロックが属しているフレームと異なるフレームを参照する周辺ブロックの時間方向動きベクトルを用いて、前記他のフレームに属している前記現在ブロックと同じ位置の対応ブロックをシフトさせ、シフトされた対応ブロックが持つ視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項８に記載の多視点ビデオの復号化方法。
前記現在ブロックの視点方向スキップ動きベクトルを生成する段階は、
前記現在ブロック以前に復号化された周辺ブロックのうち、前記第１視点の現在ブロックが属しているフレームと異なるフレームを参照する周辺ブロックの時間方向動きベクトルを用いて、前記第１視点の現在ブロックと異なる、第３視点に属しつつ前記現在ブロックと同じＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）を持つフレームに属している前記現在ブロックと同じ位置の対応ブロックをシフトさせ、前記シフトされた対応ブロックが持つ視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成することを特徴とする請求項８に記載の多視点ビデオの復号化方法。
前記予測モード情報は、
前記現在ブロックが視点方向スキップ動きベクトルを用いて符号化された場合、前記現在ブロックの視点方向スキップ動きベクトル生成方式を区別するための所定インデックス情報を含むことを特徴とする請求項８に記載の多視点ビデオの復号化方法。
多視点ビデオの復号化装置において、
ビットストリームから復号化される第１視点の現在ブロックの予測モード情報を復号化するエントロピー復号化部と、
前記予測モード情報が視点方向スキップモードである場合、前記復号化される第１視点の現在ブロック以前に復号化された第２視点のフレームを参照するブロックの視点方向動きベクトルを用いて、前記現在ブロックの視点方向スキップ動きベクトルを生成し、前記スキップ動きベクトルに基づいて、前記第２視点のフレームから前記現在ブロックについての動き補償を行う動き補償部と、
前記現在ブロックの動き補償値と、前記ビットストリームから抽出された残差値とを加算して前記現在ブロックを復元する復元部と、を備えることを特徴とする多視点ビデオの復号化装置。