本発明の一実施形態による多視点ビデオ予測方法は、基本視点映像間の映像間予測(Inter Prediction)を行って、I−ピクチャータイプの基本視点キー映像及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する段階と、前記基本視点映像を参照して付加視点映像を予測する視点間予測(Inter−View Prediction)、前記付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像を除いた付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する段階と、を含む。
一実施形態による前記多視点ビデオ予測方法は、前記基本視点映像及び前記付加視点映像のうち、同一シーン(Scene)に対する基本視点映像及び付加視点映像間の視点間深度(Depth)を示す距離画像(Depth Map)を生成する段階と、前記基本階層映像ストリーム及び前記向上階層映像ストリームと共に前記距離画像を伝送する段階と、をさらに含む。
一実施形態による前記向上階層映像ストリーム生成段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して、前記現在付加視点キー映像の映像間予測を行う段階を含む。
一実施形態による前記向上階層映像ストリーム生成段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して、前記現在付加視点キー映像の映像間予測を行う段階を含む。
本発明の一実施形態による多視点ビデオ予測復元方法は、基本階層映像ストリーム及び向上階層映像ストリームを受信する段階と、前記基本階層映像ストリームのうち、I−ピクチャータイプの基本視点キー映像を復元して前記基本視点キー映像を参照して、前記基本視点映像の動き補償を行って基本視点映像を復元する段階と、前記向上階層映像ストリームのうち付加視点キー映像をアクセスした場合、前記復元された基本視点キー映像を参照する視差補償、及び前記向上階層ストリームのうち異なる付加視点キー映像を参照する動き補償のうち少なくとも1つを行って前記付加視点キー映像を復元する段階と、前記向上階層映像ストリームのうち前記付加視点キー映像を除いた付加視点映像について、前記復元された基本視点映像を参照する視差補償、及び前記向上階層ストリームのうち先に復元された付加視点映像を参照する動き補償のうち少なくとも1つを行って、前記付加視点キー映像を除いた付加視点映像を復元する段階と、を含む。
一実施形態による前記受信段階は、前記基本視点映像及び前記付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像を受信する段階を含む。
一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期に前記現在付加視点キー映像の参照映像が復元されていない場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。
一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された前記現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。
一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された前記現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。
一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像を参照して、前記現在付加視点キー映像を復元する段階を含む。
一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。
本発明の一実施形態による多視点ビデオ予測装置は、基本視点映像間の映像間予測を行って、I−ピクチャータイプの基本視点キー映像及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する基本階層符号化部と、前記基本視点映像を参照して付加視点映像を予測する視点間予測、前記付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像を除いた付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する向上階層符号化部と、を備える。
本発明の一実施形態による多視点ビデオ予測復元装置は、基本階層映像ストリーム及び向上階層映像ストリームを受信する受信部と、前記基本階層映像ストリームのうち、I−ピクチャータイプの基本視点キー映像を復元し、かつ前記基本視点キー映像を参照して、前記基本視点映像の動き補償を行って基本視点映像を復元する基本階層復号化部と、前記向上階層映像ストリームのうち付加視点キー映像をアクセスした場合、前記復元された基本視点キー映像を参照する視差補償、及び前記向上階層ストリームのうち異なる付加視点キー映像を参照する動き補償のうち少なくとも1つを行って前記付加視点キー映像を復元し、前記向上階層映像ストリームのうち付加視点キー映像を除いた付加視点映像に対して、前記復元された基本視点映像を参照する視差補償、及び前記向上階層ストリームのうち先に復元された付加視点映像を参照する動き補償のうち少なくとも1つを行って、前記付加視点キー映像を除いた付加視点映像を復元する向上階層復号化部と、を備える。
本発明の一実施形態による多視点ビデオ予測方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。
本発明の一実施形態による多視点ビデオ予測復元方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。
以下、図1ないし図10を参照して、一実施形態による多視点ビデオ予測装置及び多視点ビデオ予測復元装置と多視点ビデオ予測方法、多視点ビデオ予測復元方法が開示される。また、図11ないし図23を参照して、一実施形態によるツリー構造の符号化単位に基づく、一実施形態による多視点ビデオ予測装置及び多視点ビデオ予測復元装置、多視点ビデオ予測方法及び多視点ビデオ予測復元方法が開示される。また、図24Aないし図29を参照して、一実施形態による多視点ビデオ予測方法、多視点ビデオ予測復元方法、ビデオ符号化方法、ビデオ復号化方法が適用可能な多様な実施形態が開示される。以下、‘映像’は、ビデオの静止画または動画、すなわち、ビデオそのものを示す。
先ず、図1ないし図10を参照して、一実施形態による多視点ビデオ予測装置及び多視点ビデオ予測方法、そして多視点ビデオ予測復元装置及び多視点ビデオ予測復元方法が開示される。
図1は、一実施形態による多視点ビデオ予測装置10のブロック図を示す。
一実施形態による多視点ビデオ予測装置10は、基本階層符号化部12及び向上階層符号化部14を備える。
一実施形態による多視点ビデオ予測装置10は、基本視点映像と付加視点映像を符号化する。例えば、左視点映像及び右視点映像が符号化されて、左視点映像の符号化結果が基本階層映像ストリームとして出力され、右視点映像の符号化結果が向上階層映像ストリームとして出力される。
また、付加視点が2つ以上の場合、基本視点映像と第1の付加視点に対する第1の付加視点映像、第2の付加視点に対する第2の付加視点映像、…、第Kの付加視点に対する第Kの付加視点映像が符号化される。これによって、基本視点映像の符号化結果が基本階層映像ストリームとして出力され、第1、第2、…、第Kの付加視点映像の符号化結果がそれぞれ第1、第2、…、第Kの向上階層映像ストリームとして出力される。
一実施形態による多視点ビデオ予測装置10は、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であってもよい。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などである。ツリー構造による符号化単位に基づいたビデオ符復号化方式は、図11ないし図23を参照して後述する。
一実施形態による多視点ビデオ予測装置10は、映像を互いに参照して予測する映像間予測を行える。また、一実施形態による多視点ビデオ予測装置10は、基本視点映像を参照して付加視点映像を予測する視点間予測を行える。一実施形態による多視点ビデオ予測装置10は、第1の付加視点映像を参照して第2の付加視点映像を予測する視点間予測を行うこともできる。映像間予測及び視点間予測は、符号化単位、予測単位、変換単位などのブロックに基づいて行われてもよい。
一実施形態による基本階層符号化部12は、基本視点映像を符号化して基本階層映像ストリームを生成する。基本階層符号化部12は、基本視点映像間の映像間予測を行える。一実施形態による基本階層符号化部12は、基本視点映像のうちI−ピクチャータイプの基本視点キー映像は、他の映像を全く参照せずに符号化する。基本階層符号化部12は、基本視点映像のうち基本視点キー映像を除いた基本視点映像に対して、他の基本視点映像を参照する映像間予測を行える。
一実施形態による基本階層符号化部12は、基本視点キー映像を除いた基本視点映像の映像間予測を通じて生成されたレジデュアル値を生成し、レジデュアル値について符号化を行える。例えば、レジデュアル値の映像ブロックについて変換、量子化、エントロピー符号化などが行われる。
一実施形態による基本階層符号化部12は、基本視点キー映像の符号化データと、残りの基本視点映像のレジデュアル値の符号化データとを含む基本階層映像ストリームを生成する。
一実施形態による向上階層符号化部14は、付加視点映像を符号化して向上階層映像ストリームを生成する。一実施形態による向上階層符号化部14は、付加視点映像を符号化するために、基本視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測を行える。
一実施形態による向上階層符号化部14は、基本視点映像を参照して付加視点映像を予測する視点間予測を行える。所定付加視点については、基本視点映像だけではなく、現在付加視点ではない他の付加視点の映像も参照する視点間予測が行われる。
また向上階層符号化部14は、付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測を行える。他の実施形態による向上階層符号化部14は、付加視点キー映像のうち一部の付加視点キー映像のためには、他の付加視点キー映像を参照する映像間予測及び異なる視点映像を参照する視点間予測をいずれも行うが、残りの付加視点キー映像のためには、他の付加視点キー映像を参照する映像間予測を行わずに基本視点キー映像を参照する視点間予測のみを行える。
また向上階層符号化部14は、付加視点キー映像を除いた残りの付加視点映像を予測するために、付加視点映像を参照する映像間予測を行える。キー映像ではない付加視点映像のためには、基本視点映像を参照する視点間予測と、同一視点映像を参照する映像間予測とがいずれも行われる。
一実施形態による向上階層符号化部14は、基本視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測を通じて生成された、付加視点映像のレジデュアル値を符号化する。具体的に、レジデュアル値の映像ブロックについて、変換、量子化、エントロピー符号化などが行われる。したがって、向上階層符号化部14は、付加視点映像のレジデュアル値の符号化データを含む向上階層映像ストリームを生成する。
一実施形態による向上階層符号化部14は、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して、現在付加視点キー映像の映像間予測を行える。
他の実施形態による向上階層符号化部14は、現在付加視点キー映像の復元時期以後に復元された付加視点キー映像を参照して、現在付加視点キー映像の映像間予測を行える。
一実施形態による向上階層符号化部14は、付加視点映像の参照映像で、同一視点の他のキー映像を参照して予測されるキー映像を除く。他の例として、付加視点映像の参照映像に、同一視点の他のキー映像を参照して予測されるキー映像が含まれてもよい。
一実施形態による多視点ビデオ予測装置10は、多視点映像間の距離画像を生成する。多視点ビデオ予測装置10は、基本視点映像及び付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像ごとに、視点間深度を示す距離画像を生成する。
一実施形態による多視点ビデオ予測装置10は、基本階層映像ストリーム及び向上階層映像ストリームと共に距離画像を符号化して伝送してもよい。
一実施形態による多視点ビデオ予測装置10は、基本階層符号化部12及び向上階層符号化部14を総括的に制御する中央プロセッサ(図示せず)を備える。または、基本階層符号化部12及び向上階層符号化部14が、それぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することで、多視点ビデオ予測装置10が全体的に作動することもある。または、一実施形態による多視点ビデオ予測装置10の外部プロセッサ(図示せず)の制御によって、基本階層符号化部12及び向上階層符号化部14が制御される。
一実施形態による多視点ビデオ予測装置10は、基本階層符号化部12及び向上階層符号化部14の入出力データが保存される1つ以上のデータ保存部(図示せず)を備える。多視点ビデオ予測装置10は、データ保存部(図示せず)のデータ入出力を管轄するメモリ制御部(図示せず)を備える。
図2は、一実施形態による多視点ビデオ予測復元装置20のブロック図を示す。
一実施形態による多視点ビデオ予測復元装置20は、受信部22、基本階層復号化部24及び向上階層復号化部26を備える。
一実施形態による受信部22は、基本階層映像ストリーム及び向上階層映像ストリームを受信する。
一実施形態による受信部22は、基本階層映像ストリーム及び向上階層映像ストリームと共に、基本視点映像及び前記付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像を受信することもできる。
一実施形態による多視点ビデオ予測復元装置20は、基本階層映像ストリーム及び向上階層映像ストリームを復号化して、基本視点映像及び付加視点映像を復元する。例えば、基本階層映像ストリームから左視点映像が復元され、向上階層映像ストリームから右視点映像が復元される。また、付加視点が2つ以上の場合、基本階層映像ストリームから基本視点映像が復元され、第1の向上階層映像ストリームから第1の付加視点に対する第1の付加視点映像が復元され、第2の向上階層映像ストリームから第2の付加視点に対する第2の付加視点映像が復元され、…、第Kの向上階層映像ストリームから第Kの付加視点に対する第Kの付加視点映像が復元される。
一実施形態による多視点ビデオ予測復元装置20は、ビデオのそれぞれの映像のブロック別に復号化する。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などである。
一実施形態による多視点ビデオ復元装置20は、映像間予測を通じて予測された映像を互いに参照する動き補償を行って映像を復元する。また、一実施形態による多視点ビデオ予測復元装置20は、視点間予測を通じて予測された付加視点映像を復元するために、基本視点映像を参照して視差補償(Disparity Compensation)を行える。視差補償は、互いに異なる視点映像の視点間変異を補償する動作を意味する。
一実施形態による多視点ビデオ予測復元装置20は、第1の付加視点映像を参照して予測された第2の付加視点映像を復元するための視点間予測を行う。符号化単位または予測単位に基づいて、映像間予測及び視点間予測を通じる復元が行われる。
一実施形態による基本階層復号化部24は、基本階層映像ストリームを受信する場合、基本階層映像ストリームを復号化して基本視点映像を復元する。具体的に、基本階層映像ストリームをパージングして抽出されたシンボルについて、エントロピー復号化、逆量子化、逆変換を行って予測のレジデュアル値が復元される。基本階層復号化部24は、量子化された変換係数のビットストリームを受信する。量子化された変換係数について逆量子化、逆変換を行った結果、レジデュアル値が復元される。基本階層復号化部24は、映像間予測を通じて、基本視点映像を互いに参照して復元する。
一実施形態による基本階層復号化部24は、基本階層映像ストリームのうち、I−ピクチャータイプの基本視点キー映像の量子化された変換係数を復号化して基本視点キー映像を復元する。一実施形態による基本階層復号化部24は、基本視点映像のうちI−ピクチャータイプの基本視点キー映像は、他の基本視点映像を参照せずに復元する。
また基本階層復号化部24は、基本視点映像のうち基本視点キー映像を除いた基本視点映像については、他の基本視点映像を参照する動き補償を通じて基本視点映像を復元する。基本階層復号化部24は、基本階層映像ストリームのうち基本視点キー映像を除いた基本視点映像については、基本視点映像のレジデュアル値の量子化された変換係数を復号化し、参照映像である基本視点映像にレジデュアル値ほど補償することで基本視点映像を復元する。
一実施形態による向上階層復号化部26は、向上階層映像ストリームを復号化して付加視点映像を復元する。具体的に向上階層映像ストリームをパージングして抽出されたシンボルについて、エントロピー符号化、逆量子化、逆変換を行ってブロック別レジデュアル値が復元される。レジデュアル値の量子化された変換係数のビットストリームを受信し、ビットストリームについて逆量子化、逆変換を行った結果、レジデュアル値が復元される。
一実施形態による向上階層復号化部26は、向上階層映像ストリームを復号化するために、基本階層映像ストリームから復元された基本視点映像を参照する視点間予測と、同一視点映像を参照する映像間予測とを通じて付加視点映像を復元する。
一実施形態による向上階層復号化部26は、基本階層復号化部24で復元された基本視点映像を参照する視点間予測を通じて付加視点映像を復元する。所定付加視点については、基本視点映像だけではなく、現在付加視点ではない他の付加視点の映像も参照して付加視点映像が復元される。
向上階層映像ストリームから、基本視点映像と付加視点映像間の変異情報、または基本視点映像と付加視点映像間の距離画像が抽出される。向上階層復号化部26は、基本視点映像と付加視点映像間の変異情報または距離画像を用いて、基本視点映像から付加視点映像を復元する。
また向上階層復号化部26は、付加視点キー映像を参照して異なる付加視点キー映像を復号化する映像間予測を行って付加視点キー映像を復元する。他の実施形態による向上階層復号化部26は、一部付加視点キー映像を、他の付加視点キー映像を参照する映像間予測と、基本視点キー映像を参照する視点間予測とをいずれも行うことで復元する。しかし、残りの付加視点キー映像は、他の付加視点キー映像を参照する映像間予測を行わずに、基本視点キー映像を参照する視点間予測のみを行うことで復元される。
また一実施形態による向上階層復号化部26は、付加視点キー映像を除いた残りの付加視点映像については、付加視点映像を参照する映像間予測を通じて付加視点映像を復元する。キー映像ではない付加視点映像のためには、基本視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測を通じて付加視点映像が復元される。
付加視点映像のうち付加視点キー映像を除いた映像は、他の付加視点映像を参照する動き補償を通じて復元される。すなわち、向上階層復号化部26は、付加視点キー映像を除いた付加視点映像は、向上階層映像ストリームのうち付加視点映像の動きベクトル及びレジデュアル値の符号化データを復号化し、動きベクトルを用いて他の付加視点映像から参照映像を決定し、参照映像をレジデュアル値ほど補償することで付加視点映像を復元する。現在映像の現在ブロックの動きベクトルを用いて参照映像から参照ブロックが定められる。
一実施形態による向上階層復号化部26は、現在付加視点キー映像から再生するための現在付加視点キー映像に対してアクセスする場合、映像間予測の必要性によって付加視点キー映像の復元過程を異ならせる。
一実施形態による向上階層復号化部26は、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点参照映像を復元する。
他の実施形態による向上階層復号化部26は、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像の復元を省略し、現在付加視点キー映像の次の付加視点キー映像を復元する。
一実施形態による向上階層復号化部26は、付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。すなわち、参照映像である付加視点キー映像の復元以後までディレイせず、距離画像を用いて現在付加視点キー映像が復元される。
他の実施形態による向上階層復号化部26は、付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像の復元をディレイする。これによって向上階層復号化部26は、参照映像である付加視点キー映像が復元された後、これを参照して現在付加視点キー映像を復元する。
一実施形態による向上階層復号化部26は、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像を参照する視差補償を通じて現在付加視点キー映像を復元する。他の実施形態による向上階層復号化部26は、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像を復元する。
一実施形態による向上階層復号化部26は、付加視点映像の参照映像に、同一視点の他のキー映像を参照する付加視点キー映像を含める。他の実施形態による向上階層復号化部26は、付加視点映像の参照映像に、同一視点の他のキー映像を参照する付加視点キー映像を含めない。
したがって、アクセスされた付加視点キー映像が復元された後、復元された付加視点キー映像を直間接的に参照する残りの付加視点キー映像も復元される。
一実施形態による多視点ビデオ予測復元装置20は、受信部22、基本階層復号化部24及び向上階層復号化部26を総括的に制御する中央プロセッサ(図示せず)を備える。または、受信部22、基本階層復号化部24及び向上階層復号化部26がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が互いに有機的に作動することで多視点ビデオ予測復元装置20が全体的に作動する。または、一実施形態による多視点ビデオ予測復元装置20の外部プロセッサ(図示せず)の制御によって、受信部22、基本階層復号化部24及び向上階層復号化部26が制御される。
一実施形態による多視点ビデオ予測復元装置20は、受信部22、基本階層復号化部24及び向上階層復号化部26の入出力データが保存される1つ以上のデータ保存部(図示せず)を備える。多視点ビデオ予測復元装置20は、データ保存部(図示せず)のデータ入出力を管轄するメモリ制御部(図示せず)を備える。
一実施形態による多視点ビデオ予測装置10は、付加視点映像のうち一部のキー映像に対して映像間予測を行うため、付加視点映像の符号化効率が高くなり、かつ向上階層映像ストリームのビットレートが低くなる。また視点間予測だけではなく距離画像が符号化されるので、多視点ビデオの符号化効率が向上する。
一実施形態による多視点ビデオ予測復元装置20は、基本視点映像を参照する視点間予測だけではなく、同一視点キー映像を参照する映像間予測を通じて付加視点キー映像を復元する。また、参照映像である同一視点キー映像がまだ復元されていない場合、距離画像を用いて基本視点映像から付加視点映像が復元される。また複数の視点間の視点間予測を通じて生成されたレジデュアル値及び距離画像を通じて3視点以上の多視点ビデオが復元される。
図3は、多視点ビデオ予測構造を示す。
一般的な多視点ビデオ予測構造30によれば、横方向に同一視点の映像が配列され、縦方向にPOC(Picture Order Count)順序の同じ映像が配列される。したがって、基本視点View0映像がPOC順序によって横方向に配列され、第1付加視点View1映像がPOC順序によって横方向に配列され、第2付加視点View2映像がPOC順序によって横方向に配列されている。また、基本視点映像と同じ列(column)に位置している第1付加視点映像及び第2付加視点映像は、いずれも視点は異なるもののPOC順序が同じである映像である。
各視点映像のうち4個の連続映像が1つのGOP(Group of Picture)を構成している。各GOPは、連続するキー映像間の映像及び1つのキー映像(Key Picture)を含む。キー映像は、ランダムアクセスポイントであり、映像再生時の映像の再生順序、すなわち、POC順序によって配列された映像のうち任意に再生位置が選択されれば、再生位置でPOC順序の最も隣接しているキー映像が再生される。基本視点映像は、基本視点キー映像31、32、33、34、35を含み、第1付加視点映像は、第1付加視点キー映像131、132、133、134、135を含み、第2付加視点映像は、第2付加視点キー映像231、232、233、234、235を含む。
多視点ビデオ予測構造30によれば、映像に対して視点間予測及び映像間予測がいずれも行われる。多視点ビデオ予測構造30で、矢印の始まる映像が参照映像であり、矢印の終わる映像が、参照映像を用いて予測される映像である。
基本視点映像の予測結果は、符号化された後で基本階層映像ストリームの形態で出力され、付加視点映像の予測結果は、符号化された後で向上階層映像ストリームの形態で出力される。また第1付加視点映像の予測符号化結果は、第1向上階層映像ストリームとして、第2付加視点映像の予測符号化結果は、第2向上階層映像ストリームとして出力される。
基本視点映像に対しては映像間予測のみ行われる。すなわち、I−ピクチャータイプのキー映像は他の映像を参照しないが、B−ピクチャータイプ及びb−ピクチャータイプの残りの映像は、他の基本視点映像を参照して予測される。B−ピクチャータイプ映像は、POC順序の先立つI−ピクチャータイプキー映像及び後続のI−ピクチャータイプキー映像を参照して予測される。b−ピクチャータイプ映像は、POC順序の先立つI−ピクチャータイプキー映像及び後続のB−ピクチャータイプ映像を参照するか、POC順序の先立つB−ピクチャータイプ映像及び後続のI−ピクチャータイプキー映像を参照して予測される。
第1付加視点映像及び第2付加視点映像に対しては、異なる視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測が行われる。
基本視点映像と同様に、第1付加視点映像も映像間予測が行われ、第2付加視点映像も映像間予測が行われる。第1付加視点映像及び第2付加視点映像のうちキー映像131、132、133、134、135、231、232、233、234、235は同一視点映像を参照しないが、キー映像ではない残りの映像は同一視点映像を参照して予測される。
但し、第1付加視点映像及び第2付加視点映像のうちキー映像131、132、133、134、135、231、232、233、234、235もPOC順序が同じである基本視点キー映像を参照するので、P−ピクチャータイプ映像またはB−ピクチャータイプ映像である。
第1付加視点キー映像131、132、133、134、135は、それぞれPOC順序が同じである基本視点キー映像31、32、33、34、35及び第2付加視点キー映像231、232、233、234、235を参照して予測されるので、第1付加視点キー映像131、132、133、134、135は、B−ピクチャータイプ映像である。第2付加視点キー映像231、232、233、234、235は、それぞれPOC順序が同じである基本視点映像31、32、33、34、35のみを参照して予測されるので、第2付加視点キー映像231、232、233、234、235は、P−ピクチャータイプ映像である。
また、第1付加視点映像及び第2付加視点映像のうちキー映像131、132、133、134、135、231、232、233、234、235ではない残りの映像に対しても、映像間予測だけではなく、POCの同じ異なる視点映像を参照する視点間予測が行われるので、B−ピクチャータイプ映像またはb−ピクチャータイプ映像である。
映像を再生するための復元過程も予測過程と類似している。但し、各映像の参照映像が復元されて初めて参照映像を用いて各映像が復元される。
先ず、基本視点映像は、映像間予測を通じて各映像が復元される。I−ピクチャータイプの基本視点キー映像31、32、33、34、35が復元されれば、基本視点キー映像31、32、33、34、35を参照してB−ピクチャータイプの基本視点映像が復元され、I−ピクチャータイプまたはB−ピクチャータイプの基本視点復元映像を参照してb−ピクチャータイプの基本視点映像が復元される。
第2付加視点映像は、基本視点映像を参照する視点間予測及び第2付加視点映像を参照する映像間予測を通じて符号化されたので、第2付加視点映像は、基本視点の参照映像及び第2付加視点の参照映像が復元された後で、復元された参照映像を用いて復元される。
第1付加視点映像は、基本視点映像及び第2付加視点映像を参照する視点間視差補償、及び第1付加視点映像を参照する映像間動き補償を通じて符号化されたので、第1付加視点映像は、基本視点の参照映像、第2付加視点の参照映像及び第1付加視点の参照映像が復元された後で、復元された参照映像を用いて復元される。
図4Aは、一実施形態による多視点ビデオ予測構造40を示す。
一実施形態による多視点ビデオ予測構造40でも、映像に対して視点間予測及び映像間予測がいずれも行われる。
一実施形態による多視点ビデオ予測装置10は、多視点ビデオ予測構造40によって基本視点映像、第1付加視点映像及び第2付加視点映像を予測符号化する。
多視点ビデオ予測装置10は、基本視点映像の予測及び符号化結果を含む基本階層映像ストリームを出力し、第1付加視点映像の予測符号化結果を含む第1向上階層映像ストリーム、及び第2付加視点映像の予測符号化結果を含む第2向上階層映像ストリームを出力する。
一実施形態による多視点ビデオ予測復元装置20は、多視点ビデオ予測構造40によって基本視点映像、第1付加視点映像及び第2付加視点映像を復元する。
多視点ビデオ予測復元装置20は、受信された基本階層映像ストリームを復号化して基本視点映像を復元し、受信された第1向上階層映像ストリームを復号化して第1付加視点映像を復元し、受信された第2向上階層映像ストリームを復号化して第2付加視点映像を復元する。
基本視点映像に対しては映像間予測のみ行われる。第1付加視点映像及び第2付加視点映像に対しては、異なる視点映像を参照する視点間予測、及び同一視点映像を参照する映像間予測が行われる。
それぞれの第1付加視点映像に対しては、POC順序が同じである基本視点映像及び第2付加視点映像を参照する視点間予測が行われ、それぞれの第2付加視点映像に対しては、POC順序が同じである基本視点映像を参照する視点間予測が行われる。
第1付加視点映像及び第2付加視点映像に対しても、それぞれ映像間予測が行われる。
但し、一般的な多視点ビデオ予測構造30とは異なって一実施形態による多視点ビデオ予測構造40では、第1付加視点映像及び第2付加視点映像のうちキー映像141、142、143、144、145、241、242、243、244、245のうち一部のキー映像143、145、243、245は、同一視点キー映像142、144、242、244を参照して予測される。
第1付加視点キー映像141、142、143、144、145は、それぞれPOC順序が同じである基本視点キー映像41、42、43、44、45及び第2付加視点キー映像241、242、243、244、245を参照して予測されるので、第1付加視点キー映像141、142、143、144、145は、B−ピクチャータイプ映像である。また、第1付加視点キー映像142、144は、基本視点キー映像42、44だけではなく他の第1付加視点キー映像143、145をさらに参照して予測される。
第2付加視点キー映像241、242、243、244、245のうち一部のキー映像241、242、244は、それぞれPOC順序が同じである基本視点映像41、42、44のみを参照して予測されるので、P−ピクチャータイプ映像である。しかし、第2付加視点キー映像243、245は、それぞれPOC順序が同じである基本視点映像43、45だけではなく、他の第2付加視点キー映像242、244をさらに参照して予測されるので、B−ピクチャータイプ映像である。
第1付加視点映像及び第2付加視点映像のうち同一視点キー映像142、144、242、244を参照して予測されるキー映像143、145、243、245に対する復元過程も、一般的な多視点ビデオ予測構造30の復元過程と異なる。それぞれのキー映像143、145、243、245のための参照映像となる同一視点キー映像142、144、242、244が復元された場合に、同一視点キー映像142、144、242、244を参照して各キー映像143、145、243、245が復元される。
先ず、基本視点映像は、映像間動き補償を通じて基本視点映像が復元される。
第2付加視点映像は、基本視点の参照映像及び第2付加視点の参照映像が復元された後で、復元された参照映像を用いて復元される。特に、第2付加視点キー映像243の参照映像となる第2付加視点キー映像242が復元された後で、基本視点キー映像43を参照する視点間視差補償、及び第2付加視点キー映像242を参照する動き補償を通じて第2付加視点キー映像243が復元される。同様に、第2付加視点キー映像245の参照映像となる第2付加視点キー映像244が復元された後で、基本視点キー映像45を参照する視点間視差補償、及び第2付加視点キー映像244を参照する動き補償を通じて第2付加視点キー映像245が復元される。
第1付加視点映像は、基本視点参照映像、第2付加視点参照映像及び第1付加視点参照映像が復元された後で、復元された参照映像を用いて復元される。特に、第1付加視点キー映像143の参照映像となる第1付加視点キー映像142が復元された後で、基本視点キー映像43及び第2付加視点キー映像243を参照する視点間視差補償、及び第1付加視点キー映像142を参照する動き補償を通じて第1付加視点キー映像143が復元される。同様に、第1付加視点キー映像145の参照映像となる第1付加視点キー映像144が復元された後で、基本視点キー映像45、第2付加視点キー映像245を参照する視点間視差補償と、第1付加視点キー映像144を参照する動き補償とを通じて第1付加視点キー映像145が復元される。
以下、図4Aないし図8Bを参照して、向上階層の付加視点キー映像の映像間予測を示す多様な実施形態が詳述される。図4Aないし図8Bでは、複数の付加視点のうち第Kの付加視点映像、すなわち、任意に選択された付加視点に対する付加視点映像の映像間予測が図示される。図4Aないし図8Bで視点間予測が表示されていないとしても、先立って多視点ビデオ予測構造40を参考にして説明したように、基本視点映像または他の付加視点映像を参照する視点間予測及び視点間視差補償は行われる。
図4Bは、図4Aの多視点ビデオ予測構造40のうち付加視点映像のための向上階層の映像間予測構造49を示す。
一実施形態による向上階層の映像間予測構造49によれば、付加視点映像81、82、83、84、85、180、181、182、183、184、185、186、187、188、283、284、285に対して映像間予測が行われ、付加視点キー映像81、82、83、84、85を順次に0、1、2、3、4番目のキー映像であると並べる場合、偶数番目のキー映像83、85が直前のキー映像82、84を参照して予測される。
予測符号化された映像を復元して再生する復号化過程では、付加視点キー映像83、85のための参照映像となる付加視点キー映像82、84が復元された後で、付加視点キー映像82、84を参照する動き補償を通じて付加視点キー映像83、85が復元される。説明の便宜上、付加視点キー映像83、85を、‘現在’付加視点キー映像と称し、現在付加視点キー映像よりPOC順序の先立つ付加視点キー映像82、84を、‘以前’付加視点キー映像と称する。
したがって、もし以前付加視点キー映像82が復元されていないが、現在付加視点キー映像83に対する復元要請または再生要請が発生した場合、例えば、現在付加視点キー映像83に対してランダムアクセスが発生した場合に、多視点ビデオ予測復元装置20は、現在付加視点キー映像83とPOC順序が同じである基本視点映像及び現在付加視点キー映像83の距離画像を用いて現在付加視点キー映像83を復元する。
但し、図4Aで参照された向上階層の映像間予測構造49によれば、現在付加視点キー映像83と同じGOP1に属するB−ピクチャータイプ映像183、またはb−ピクチャータイプ映像184、185は、以前付加視点キー映像52の復元結果も直間接的に参照する。よって、現在付加視点キー映像83に対してランダムアクセスが発生して以前付加視点キー映像52が復元されていない場合には、B−ピクチャータイプ映像183またはb−ピクチャータイプ映像184、185のために以前付加視点キー映像52を参照した動き補償が行われない。したがって、このような場合には、B−ピクチャータイプ映像183またはb−ピクチャータイプ映像184、185は、それぞれの距離画像及び基本視点映像を用いて復元される。GOP2の映像のB−ピクチャータイプ映像186またはb−ピクチャータイプ映像187、188は、復元された現在付加視点キー映像83を参照して復元される。
図5は、一実施形態による多視点ビデオ予測構造のうち付加視点映像のための向上階層の映像間予測構造50を示す。
一実施形態による向上階層の映像間予測構造50によれば、付加視点映像51、52、53、54、55、150、151、152、153、154、155、156、157、158、253、254、255に対して映像間予測が行われ、付加視点キー映像51、52、53、54、55を順次に0、1、2、3、4番目のキー映像であると並べる場合、奇数番目のキー映像52、54が直後のキー映像53、55を参照して予測される。
予測符号化された映像を復元して再生する復号化過程では、付加視点キー映像52、54のための参照映像となる付加視点キー映像53、55が復元されて初めて、付加視点キー映像53、55を参照する動き補償を通じて付加視点キー映像52、54が復元される。説明の便宜上、POC順序の先立つ付加視点キー映像52、54を‘現在’付加視点キー映像と称し、POC順序の遅れる付加視点キー映像53、55を‘次の’付加視点キー映像と称する。
したがって、もし次の付加視点キー映像53がまだ復元されていないが、現在付加視点キー映像52に対する復元要請または再生要請が発生した場合、例えば、現在付加視点キー映像52に対してランダムアクセスが発生した場合に、現在付加視点キー映像52を復元するための下記の2種の方法が詳述される。
(i)多視点ビデオ予測復元装置20は、次の付加視点キー映像53が復元される前に現在付加視点キー映像52に対する復元要請が発生した場合、次の付加視点キー映像53はまだ復元されていないので、基本視点映像のうち現在付加視点キー映像52とPOC順序が同じである基本視点映像と、現在付加視点キー映像52の距離画像とを用いて現在付加視点キー映像52を復元する。
(ii)多視点ビデオ予測復元装置20は、次の付加視点キー映像53が復元される前に現在付加視点キー映像52に対する復元要請が発生した場合、付加視点映像の復元順序によって、次の付加視点キー映像53が復元されるまで現在付加視点キー映像52の復元をディレイする。多視点ビデオ予測復元装置20は、付加視点映像の復元順序によって次の付加視点キー映像53を復元した後、復元された次の付加視点キー映像53を参照して現在付加視点キー映像52を復元する。このような場合、多視点ビデオ予測復元装置20は、次の付加視点キー映像53が復元されるまで、現在付加視点キー映像52をはじめとしてGOP0及びGOP1の映像153、154、155のうちまだ復元されていない映像の符号化データたちをバッファに保存する。次の付加視点キー映像53が復元されれば、次の付加視点キー映像53を用いてバッファに保存された映像を復元した後、復元映像52、53、150、151、152、153、154、155をいずれもPOC順序によって再配列する。
先ず、キー映像52、54の復元過程とは異なって、他のキー映像を参照しないキー映像53、55に対する復元要請または再生要請が発生した場合には、多視点ビデオ予測復元装置20は、他のキー映像の復元順序を待つ必要なく、直ちに視差補償を通じてキー映像53、55を復元する。
但し、図5で参照された向上階層の映像間予測構造50によれば、キー映像53の直後のb−ピクチャータイプ映像157またはB−ピクチャータイプ映像156は、キー映像53だけではなく、キー映像54の復元結果も直間接的に参照するので、キー映像53が復元されるとしても、キー映像54の復元が完了した後でb−ピクチャータイプ映像157またはB−ピクチャータイプ映像156が復元される。その場合、キー映像54の復元は、キー映像55の復元以後に完了するので、多視点ビデオ予測復元装置20は、GOP3の映像253、254、255が復元可能な時、GOP2の映像156、157、158も復元される。したがって、GOP2の映像156、157、158の復元時期が、1つのGOPほどディレイされる。
図6は、他の実施形態による多視点ビデオ予測構造のうち付加視点映像のための向上階層の映像間予測構造60を示す。
他の実施形態による向上階層の映像間予測構造60によれば、付加視点映像61、62、63、64、65、160、161、162、163、164、165、166、167、168、263、264、265に対して映像間予測が行われ、付加視点キー映像61、62、63、64、65を順に0、1、2、3、4番目のキー映像であると並べる場合、奇数番目のキー映像62、64が直後のキー映像63、65を参照して予測される。
図5で参照された向上階層の映像間予測構造50と比べて、図6で参照される向上階層の映像間予測構造60では、付加視点キー映像62、64がPOC順序の遅れる付加視点キー映像63、65を参照するという点は同一である。
但し、図5の向上階層の映像間予測構造50及び図6の向上階層の映像間予測構造60を比べれば、b−ピクチャータイプ及びB−ピクチャータイプ映像160、161、162、163、164、165、166、167、168、263、264、265のうち、映像160、162、166、168の参照映像が変更される。すなわち、図6の向上階層の映像間予測構造60で、b−ピクチャータイプ及びB−ピクチャータイプ映像160、162、166、168の参照映像で、現在付加視点キー映像62、64が除かれる。
これによって、図5で参照された向上階層の映像間予測構造50とは異なって、図6の向上階層の映像間予測構造60によれば、b−ピクチャータイプ及びB−ピクチャータイプ映像160、162は、付加視点キー映像62の復元結果を待つ必要なく、先ず復元された付加視点キー映像61を参照して復元される。これと類似して、b−ピクチャータイプ及びB−ピクチャータイプ映像166、168は、付加視点キー映像64の復元結果を待つ必要なく、先ず復元された付加視点キー映像63を参照して復元される。
したがって、図6の向上階層の映像間予測構造60によれば、POC順序によってb−ピクチャータイプ及びB−ピクチャータイプ映像160、162、166、168の直後に位置しているキー映像62、64があるとしても、キー映像62、64がPOC順序のさらに遅れるキー映像63、65を参照すれば、b−ピクチャータイプ及びB−ピクチャータイプ映像160、162、166、168は、キー映像62、64を参照しない。
図7は、さらに他の実施形態による多視点ビデオ予測構造のうち付加視点映像のための向上階層の映像間予測構造70を示す。
さらに他の実施形態による向上階層の映像間予測構造70によれば、付加視点映像71、72、73、74、75、170、171、172、173、174、175、176、177、178、273、274、275に対して映像間予測が行われ、付加視点キー映像71、72、73、74、75を順に0、1、2、3、4番目のキー映像であると並べる場合、奇数番目のキー映像72、74が直前のキー映像71、73を参照して予測される。
図5及び図6で参照された向上階層の映像間予測構造50、60と比べて、図7で参照される向上階層の映像間予測構造70では、付加視点キー映像72、74がPOC順序の先立つ付加視点キー映像71、73を参照するという点で差がある。
但し、図7の向上階層の映像間予測構造70によれば、他のキー映像71、73を参照するキー映像72、74が、b−ピクチャータイプ及びB−ピクチャータイプ映像173、174、273、274の参照映像から付加視点キー映像72、74が除かれる。
POC順序によってb−ピクチャータイプ及びB−ピクチャータイプ映像173、174、273、274の直前に位置しているキー映像72、74があるとしても、キー映像72、74がPOC順序の先立つキー映像71、73を参照すれば、b−ピクチャータイプ及びB−ピクチャータイプ映像173、174、273、274は、キー映像72、74を参照しない。
図8A及び図8Bは、それぞれ図7の実施形態による向上階層の映像間予測構造70でランダムアクセスが発生する場合の復元結果を示す。
図5及び図6で参照された向上階層の映像間予測構造50、60とは異なって、図7の向上階層映像間予測構造70によれば、現在キー映像に対してランダムアクセスが発生する場合に、現在キー映像より先立つ以前キー映像は原則的には復元されていない。
したがって、図8Aのようにキー映像71を参照するキー映像72に対してランダムアクセスが発生した場合、キー映像71が復元されていないため、キー映像72は復元されていない。したがって、多視点ビデオ予測復元装置20は、以前キー映像71を参照するキー映像72に対してランダムアクセスする場合、キー映像72の復元を省略し、GOP1、GOP2、GOP3の付加視点映像73、173、174、175、74、176、177、178、75、273、274、275を復元する。復元映像174、173、175、73、177、176、178、74、274、273、275、75は、POC順序によって再配列されて(80)再生される。よって、キー映像72に対するランダムアクセスの結果、復元映像を再生する時に1つのキー映像72が損失処理される。
他の例として、距離画像が用いられる。
図8Aのようにキー映像71を参照するキー映像72にランダムアクセス要請が発生した場合、付加視点キー映像72とPOC順序が同じである基本視点映像及び距離画像を用いて付加視点キー映像72が復元される。
図8Bのようにキー映像73にランダムアクセス要請が発生した場合、他の付加視点キー映像の復元結果を待つ必要がないので、直ちにキー映像73を復元してGOP2、GOP3の付加視点映像74、176、177、178、75、273、274、275を復元する。復元映像73、177、176、178、74、274、273、275、75は、POC順序によって再配列されて(85)再生する。
図4Aないし図8Bの実施形態に限定せず、一実施形態による多視点ビデオ予測装置10及び一実施形態による多視点ビデオ予測復元装置20は、向上階層の映像間予測(動き補償)のために、正方向(forward)予測または逆方向(backward)予測を採択する。例えば、付加視点キー映像のうち偶数番目のキー映像を参照して奇数番目のキー映像を予測(復元)するか、または奇数番目のキー映像を参照して偶数番目のキー映像を予測(復元)する。
図4A及び図4Bの実施形態のように、参照キー映像のPOC順序が現在付加視点キー映像のPOC順序より先立つが、現在付加視点キー映像に対してランダムアクセスが発生した場合に、多視点ビデオ予測復元装置20は、現在付加視点キー映像の距離画像及び基本視点映像を用いて現在付加視点キー映像を復元する。
図5及び図6の実施形態のように、参照キー映像のPOC順序が現在付加視点キー映像のPOC順序より遅れた場合には、多視点ビデオ予測復元装置20は、参照キー映像が復元されるまで現在付加視点キー映像の復元をディレイし、参照キー映像が復元されて初めて現在付加視点キー映像を復元する。他の例として、参照キー映像が復元されていなければ、多視点ビデオ予測復元装置20は現在付加視点キー映像のための動き補償を省略し、現在付加視点キー映像の距離画像及び基本視点映像を用いて現在付加視点キー映像を復元する。
図7、図8A及び図8Bの実施形態のように、参照キー映像のPOC順序が現在付加視点キー映像のPOC順序より前であるとしても、現在付加視点キー映像に対してランダムアクセス要請がある場合には参照キー映像が復元されていないので、多視点ビデオ予測復元装置20は、現在付加視点キー映像の復元が省略され、その次のPOC順序の映像が復元される。
また、図6、図7、図8A及び図8Bの実施形態のように、キー映像ではないb−ピクチャータイプまたはB−ピクチャータイプ映像のうち一部は、同一視点の他のキー映像を参照して予測されるキー映像を参照対象から除く。
但し、図4A、図4B及び図5の実施形態のように、同一視点の他のキー映像を参照して予測される現在付加視点キー映像を復元するために、基本視点キー映像及び距離画像を用いて参照キー映像が復元されうる場合には、キー映像ではないb−ピクチャータイプまたはB−ピクチャータイプの付加視点映像も、現在付加視点キー映像を参照して復元される。
図9は、一実施形態による多視点ビデオ予測方法のフローチャートを示す。段階91で、基本視点映像間の映像間予測を行って、I−ピクチャータイプの基本視点キー映像、及び基本視点映像のレジデュアル値の符号化データを含む基本階層映像ストリームが生成される。
段階92で、(i)基本視点映像を参照して付加視点映像を予測する視点間予測、(ii)付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び(iii)付加視点映像を参照して付加視点キー映像を除いた付加視点映像を予測する映像間予測が行われる。(i)視点間予測、(ii)付加視点キー映像の映像間予測、及び(iii)キー映像を除いた付加視点映像の映像間予測を通じて生成された付加視点映像のレジデュアル値を含む向上階層映像ストリームが生成される。
段階93で、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して、現在付加視点キー映像の映像間予測が行われてもよい。他の例として、付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して、現在付加視点キー映像の映像間予測が行われる。
一実施形態によって、基本視点映像及び付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像が生成される。生成された距離画像は、基本階層映像ストリーム及び向上階層映像ストリームと共に伝送される。
図10は、一実施形態による多視点ビデオ予測復元方法のフローチャートを示す。段階101で、基本階層映像ストリーム及び向上階層映像ストリームが受信される。
段階103で、基本階層映像ストリームのうち、I−ピクチャータイプの基本視点キー映像を復元し、基本視点キー映像を参照して基本視点映像の動き補償が行われることで基本視点映像が復元される。
段階105で、向上階層映像ストリームのうち、付加視点キー映像がアクセスされた場合に、復元された基本視点キー映像を参照する視差補償及び向上階層ストリームのうち異なる付加視点キー映像を参照する動き補償のうち少なくとも1つが行われることで、付加視点キー映像が復元される。
段階107で、向上階層映像ストリームのうち付加視点キー映像を除いた付加視点映像に対して、復元された基本視点映像を参照する視差補償及び向上階層ストリームのうち先に復元された付加視点映像を参照する動き補償のうち少なくとも1つが行われることで、付加視点キー映像を除いた付加視点映像が復元される。
段階101では、基本視点映像及び付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像がさらに受信される。
キー映像の復元のために、キー映像に対してアクセスが発生する。
一例として、段階105で、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像が復元される。
他の例として、段階105で、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像の復元が省略され、現在付加視点キー映像の次の付加視点キー映像が復元される。
一例として、段階105で、現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像が復元される。
他の例として、段階105で、現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像の復元がディレイされる。参照映像である付加視点キー映像が復元された後で、復元された参照映像を用いて現在付加視点キー映像が復元される。
一例として、段階105で、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像に対応する基本視点映像を参照して現在付加視点キー映像が復元される。
他の例として、段階105で、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像が復元される。
図9による多視点ビデオ予測方法を行う多視点ビデオ符号化端は、一実施形態による多視点ビデオ予測装置10を備える。一実施形態による多視点ビデオ予測装置10を備える多視点ビデオ符号化端は、映像ブロック別にイントラ予測、インター予測(映像間予測、視点間予測)、変換、量子化を行ってサンプルを生成し、サンプルに対してエントロピー符号化を行ってビットストリームの形態で出力する。一実施形態による多視点ビデオ予測装置10を備える多視点ビデオ符号化端が、ビデオ符号化結果、すなわち、基本階層映像ストリーム及び向上階層映像ストリームを出力するために、多視点ビデオ予測装置10は、多視点ビデオ符号化端の内部に搭載されたビデオエンコードプロセッサまたは外部ビデオエンコードプロセッサと連係して作動することで、変換を含むビデオ符号化動作を行える。一実施形態による前記多視点ビデオ符号化端の内部ビデオエンコードプロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置または中央演算装置、グラフィック演算装置がビデオエンコードプロセッシングモジュールを備えることで基本的なビデオ符号化動作を具現する場合も含む。
また、ビデオ予測過程で参照映像を生成するためにも、ビデオ復元過程が必要である。よって、前記多視点ビデオ符号化端は、図10による多視点ビデオ予測復元方法を行う多視点ビデオ予測復元装置20をさらに備える。一実施形態による多視点ビデオ予測復元装置20を備える多視点ビデオ符号化端は、基本階層及び向上階層別にインター予測(映像間予測、視点間予測)、イントラ予測、変換、量子化を通じて生成されたデータストリームに対して復号化を行う。すなわち、基本階層及び向上階層に対して、映像ブロック別に逆量子化、逆変換、イントラ予測、動き補償(映像間動き補償、視点間視差補償)を行って基本視点映像及び付加視点映像のサンプルが復元される。一実施形態による多視点ビデオ符号化端は、復元された参照映像を出力するために、多視点ビデオ予測復元装置20は、多視点ビデオ符号化端の内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連係して作動することで、逆量子化、逆変換、予測/補償を含むビデオ復元動作を行える。一実施形態による多視点ビデオ符号化端の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、多視点ビデオ符号化端または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを備えることで基本的なビデオ復元動作を具現する場合も含む。
また、図10による多視点ビデオ予測復元方法を行う多視点ビデオ復号化端は、一実施形態による多視点ビデオ予測復元装置20を備える。一実施形態による多視点ビデオ予測復元装置20を備える多視点ビデオ復号化端は、受信された基本階層映像ストリーム及び向上階層映像ストリームに対してそれぞれ復号化を行う。すなわち、基本階層映像ストリーム及び向上階層映像ストリームに対してそれぞれ、映像ブロック別に逆量子化、逆変換、イントラ予測、動き補償(映像間動き補償、視点間視差補償)を行って、基本階層映像ストリームから基本視点映像のサンプルを復元して、向上階層映像ストリームから付加視点映像のサンプルを復元する。一実施形態による多視点ビデオ復号化端は、復号化の結果として生成された復元映像を出力するため、多視点ビデオ予測復元装置20は、多視点ビデオ復号化端内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連係して作動することで、逆量子化、逆変換、予測/補償を含むビデオ復元動作を行える。一実施形態による多視点ビデオ復号化端の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、多視点ビデオ復号化端または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを備えることで基本的なビデオ復元動作を具現する場合も含む。
一実施形態による多視点ビデオ予測装置10及び一実施形態による多視点ビデオ予測復元装置20で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対する視点間予測または映像間予測のために符号化単位、予測単位、変換単位が用いられる場合があるということは、前述した通りである。以下、図11ないし図23を参照して、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置が開示される。
原則的に多視点ビデオのための符号化/復号化過程で、基本階層のための符号化/復号化過程と、向上階層のための符号化/復号化過程とが別途に行われる。すなわち、多視点ビデオのうち視点間予測が発生する場合には、単一視点ビデオの符号化/復号化結果が互いに参照されるが、単一視点ビデオごとに別途の符号化/復号化過程が発生する。
したがって、説明の便宜上、図11ないし図23を参照して後述されるツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、単一視点ビデオに対するビデオ符号化過程及びビデオ復号化過程であるので、映像間予測及び動き補償が詳述される。しかし、図1ないし図10を参照して前述したように、多視点ビデオ符号化/復号化のために、基本視点映像と付加視点映像間の視点間予測及び視点間視差補償が行われる。
したがって、一実施形態による多視点ビデオ予測装置10がツリー構造の符号化単位に基づいて多視点ビデオを符号化するためには、それぞれの単一視点ビデオごとにビデオ符号化を行うために、図11のビデオ符号化装置100を多視点ビデオの視点数ほど備え、各ビデオ符号化装置100ごとに割り当てられた単一視点ビデオの符号化を行うように制御する。また多視点ビデオ予測装置10は、各ビデオ符号化装置100の別個単一視点の符号化結果を用いて視点間予測を行える。これによって多視点ビデオ予測装置10は、視点別に符号化結果を収録した基本階層映像ストリーム及び向上階層映像ストリームを階層別に生成する。
これと類似して、一実施形態による多視点ビデオ予測復元装置20が、ツリー構造の符号化単位に基づいて多視点ビデオを復号化するためには、受信した基本階層映像ストリーム及び向上階層映像ストリームに対して階層別にビデオ復号化を行うために、図12のビデオ復号化装置200を多視点ビデオの視点数ほど備え、各ビデオ復号化装置200ごとに割り当てられた単一視点ビデオの復号化を行うように制御する。そして、多視点ビデオ予測復元装置20が、各ビデオ復号化装置200の別個単一視点の復号化結果を用いて視点間視差補償を行える。これによって多視点ビデオ予測復元装置20は、階層別に復元された基本視点映像及び付加視点映像を生成する。
図11は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図を示す。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、符号化単位決定部120及び出力部130を備える。以下、説明の便宜上、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、‘デオ符号化装置100’略称する。
符号化単位決定部120は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32×32、64×64、128×128、256×256などのデータ単位で、横及び縦のサイズが2の累乗である正方形のデータ単位である。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは低減するので、上位深度の符号化単位は複数の下位深度の符号化単位を含む。
前述したように、符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが既定のものである。
符号化単位決定部120は、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部120は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最も小さな符号化誤差が発生する深度を選択して符号化深度として定める。定められた符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも1つの符号化深度が定められる。
最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、1つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が定められる。よって、1つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって定められる。よって、1つの最大符号化単位に対して符号化深度が1つ以上設定され、最大符号化単位のデータは、1つ以上の符号化深度の符号化単位によって区切られる。
したがって、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域に対しては独立して定められる。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して定められる。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が0であれば、最大符号化単位が1回分割された符号化単位の深度は1と設定され、2回分割された符号化単位の深度が2と設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位ならば、深度0、1、2、3、4の深度レベルが存在するので、第1最大深度は4、第2最大深度は5に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、かつ最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。
最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位に対して、予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜上、少なくとも1つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び変換を説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択する。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、すべての段階にわたって同じデータ単位が使われても、段階別にデータ単位が変更されてもよい。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、それ以上分割されない符号化単位を‘予測単位’称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも1つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同じサイズのパーティションである。
例えば、サイズ2N×2N(但し、Nは、正の整数)の符号化単位がそれ以上分割されない場合、サイズ2N×2Nの予測単位になり、パーティションのサイズは、2N×2N、2N×N、N×2N、N×Nなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、1:nまたはn:1のように非対称的な割合で分割されたパーティション、幾何学的な形態で分割されたパーティション、任意的形態のパーティションなどを選択的に含む。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも1つである。例えば、イントラモード及びインターモードは、2N×2N、2N×N、N×2N、N×Nサイズのパーティションに対して行われる。また、スキップモードは、2N×2Nサイズのパーティションに対してのみ行われる。符号化単位以内の1つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。符号化単位の変換のためには、符号化単位より小さいかまたは同じサイズの変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含む。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが変換深度によって、ツリー構造による変換単位によって区切られる。
一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2N×2Nの現在符号化単位の変換単位のサイズが2N×2Nならば、変換深度0、変換単位のサイズがN×Nならば、変換深度1、変換単位のサイズがN/2×N/2ならば、変換深度2に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。よって、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、及び変換単位の決定方式に対しては、図13ないし図23を参照して詳細に後述する。
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数法(Lagrangian Multiplier)基盤の率−歪曲最適化技法(Rate−Distortion Optimization)を用いて測定する。
出力部130は、符号化単位決定部120で定められた少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態で出力する。
符号化された映像データは、映像のレジデュアルデータの符号化結果である。
深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。
符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はそれ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みるべきなので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が1つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われ、同じ深度の符号化単位ごとに再帰的符号化が行われる。
1つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも1つの符号化モードに関する情報が定められねばならないので、1つの最大符号化単位に対しては、少なくとも1つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるため、データに対して符号化深度及び符号化モードに関する情報が設定される。
したがって、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも1つに対して、該符号化深度及び符号化モードに関する符号化情報を割り当てる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。
例えば、出力部130を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。
ピクチャー、スライスまたはGOP別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどに挿入される。
また現在ビデオに対して許容される変換単位の最大サイズに関する情報、及び変換単位の最小サイズに関する情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどを通じて出力される。出力部130は、図1ないし図6を参照して前述した予測に関する参照情報、予測情報、単一方向予測情報、第4スライスタイプを含むスライスタイプ情報などを符号化して出力する。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが2N×2Nならば、下位深度の符号化単位のサイズはN×Nである。また、2N×2Nサイズの現在符号化単位は、N×Nサイズの下位深度符号化単位を最大4個含む。
したがって、ビデオ符号化装置100は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めて、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。
したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャー当りマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなってデータ圧縮効率が低下する。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。
図1を参照して前述した多視点ビデオ予測装置10は、多視点ビデオの視点ごとに単一視点映像の符号化のために、視点数ほどのビデオ符号化装置100を備える。例えば、基本階層符号化部12が1つのビデオ符号化装置100を備え、向上階層符号化部14が付加視点の数ほどのビデオ符号化装置100を備える。
ビデオ符号化装置100が基本視点映像を符号化する場合に、符号化単位決定部120は、最大符号化単位ごとにツリー構造による符号化単位別に映像間予測のための予測単位を定め、予測単位ごとに映像間予測を行える。
ビデオ符号化装置100が付加視点映像を符号化する場合にも、符号化単位決定部120は、最大符号化単位ごとにツリー構造による符号化単位及び予測単位を定め、予測単位ごとに映像間予測を行える。
特に、付加視点映像に対するビデオ符号化装置100は、映像間予測のために付加視点キー映像を、同一視点の他のキー映像を参照して予測できる。ビデオ符号化装置100は、付加視点映像とPOC順序が同じである基本視点映像間の深度差が記録された距離画像を生成する。
一例として、キー映像ではないb−ピクチャータイプまたはB−ピクチャータイプ映像のうち一部は、同一視点の他のキー映像を参照して予測されるキー映像を参照対象から除く。他の例として、キー映像ではないb−ピクチャータイプまたはB−ピクチャータイプの付加視点映像も、現在付加視点キー映像を参照して予測される。
図12は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図を示す。
一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を備える。以下、説明の便宜上、一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、‘ビデオ復号化装置200’と略称する。
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図11及びビデオ符号化装置100を参照して前述した通りである。
受信部210は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャーに対するヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230が最大符号化単位ごとに映像データを復号化可能にする。
最大符号化単位別符号化深度及び符号化モードに関する情報は、1つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出される。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って、最小符号化誤差を発生させると定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元する。
一実施形態による符号化深度及び符号化モードに関する符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられるので、映像データ及び符号化情報抽出部220は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出する。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいてそれぞれの最大符号化単位の映像データを復号化し、現在ピクチャーを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行える。
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別にツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行える。逆変換を通じて、符号化単位の空間領域の画素値を復元する。
映像データ復号化部230は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度で、それ以上分割されないということを示すならば、現在深度が符号化深度である。よって、映像データ復号化部230は、現在最大符号化単位の映像データに対して現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部230によって同じ符号化モードで復号化する1つのデータ単位と見なされる。このような形で定められた符号化単位ごとに符号化モードに関する情報を獲得し、現在符号化単位の復号化が行われる。
図1を参照して前述した多視点ビデオ予測装置10は、多視点ビデオの視点ごとに映像間予測のための参照映像を生成するために、ビデオ復号化装置200のうち映像データ復号化部230を視点数ほど備える。例えば、基本階層符号化部12が、1つの映像データ復号化部230を備え、向上階層符号化部14が、付加視点の数ほどのビデオ復号化装置200を備える。
また、図2を参照して前述した多視点ビデオ予測復元装置20は、受信された基本階層映像ストリーム及び向上階層映像ストリームを復号化して基本視点映像及び付加視点映像を復元するために、ビデオ復号化装置200を視点数ほど備える。例えば、基本階層復号化部24が1つのビデオ復号化装置200を備え、向上階層復号化部26が付加視点の数ほどのビデオ復号化装置200を備える。
基本階層映像ストリームが受信された場合には、ビデオ復号化装置200の映像データ復号化部230は、抽出部220によって基本階層映像ストリームから抽出された基本視点映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分ける。映像データ復号化部230は、基本視点映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行って基本視点映像を復元する。
向上階層映像ストリームが受信された場合には、ビデオ復号化装置200の映像データ復号化部230は、抽出部220によって向上階層映像ストリームから抽出された付加視点映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分ける。映像データ復号化部230は、付加視点映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行って、付加視点映像を復元する。
特に、付加視点映像のための映像データ復号化部230は、現在付加視点キー映像を復元する時、現在付加視点キー映像の参照映像である付加視点キー映像(参照キー映像)が未だ復元されていない場合に、現在付加視点キー映像とPOC順序が同じである基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。
一例として、参照キー映像のPOC順序が現在付加視点キー映像のPOC順序より前であるとしても、参照キー映像が復元されていない状態で現在付加視点キー映像が復元されねばならない場合(例えば、現在付加視点キー映像に対してアクセス要請がある場合)には、映像データ復号化部230は、現在付加視点キー映像の距離画像及び基本視点映像を用いて現在付加視点キー映像を復元する。
一例として、映像データ復号化部230は、同一視点の他のキー映像を参照して予測される現在付加視点キー映像を復元するために、基本視点キー映像及び距離画像を用いて参照キー映像を復元できる場合には、キー映像ではないb−ピクチャータイプまたはB−ピクチャータイプの付加視点映像も、現在付加視点キー映像を参照して復元できる。
但し、キー映像ではないb−ピクチャータイプまたはB−ピクチャータイプの付加視点映像の参照キー映像が復元されていない場合にも、付加視点映像の距離画像及び基本視点映像を用いて付加視点映像が復元される。
結局、ビデオ復号化装置200は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーに対する復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位として定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
したがって、高解像度の映像またはデータ量が多すぎる映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。
図13は、本発明の一実施形態による符号化単位の概念を示す。
符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ64×64の符号化単位から、32×32、16×16、8×8を含む。サイズ64×64の符号化単位は、サイズ64×64、64×32、32×64、32×32のパーティションに分割され、サイズ32×32の符号化単位は、サイズ32×32、32×16、16×32、16×16のパーティションに分割され、サイズ16×16の符号化単位は、サイズ16×16、16×8、8×16、8×8のパーティションに分割され、サイズ8×8の符号化単位は、サイズ8×8、8×4、4×8、4×4のパーティションに分割される。
ビデオデータ310については、解像度は1920×1080、符号化単位の最大サイズは64、最大深度が2に設定されている。ビデオデータ320については、解像度は1920×1080、符号化単位の最大サイズは64、最大深度が3に設定されている。ビデオデータ330については、解像度は352×288、符号化単位の最大サイズは16、最大深度が1に設定されている。図13に示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ330に比べて、解像度の高いビデオデータ310、320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度は2であるので、ビデオデータ310の符号化単位315は、長軸サイズ64の最大符号化単位から、2回分割されて深度が2階層深くなって長軸サイズが32、16である符号化単位まで含む。一方、ビデオデータ330の最大深度は1であるので、ビデオデータ330の符号化単位335は、長軸サイズ16である符号化単位から、1回分割されて深度が1階層深くなって長軸サイズが8である符号化単位まで含む。
ビデオデータ320の最大深度は3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64の最大符号化単位から、3回分割されて深度が3階層深くなって長軸サイズが32、16、8の符号化単位まで含む。深度が深くなるほど詳細情報の表現能力が向上する。
図14は、本発明の一実施形態による符号化単位に基づいた映像符号化部400のブロック図を示す。
一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で映像データの符号化において経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を用いてインター推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、逆変換部470を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループフィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピー符号化部450を経てビットストリーム455として出力される。
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びループフィルタリング部490がいずれも、最大符号化単位ごとに最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部430は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。
映像符号化部400が多視点ビデオ符号化構造のうち付加視点映像を符号化する場合に、動き推定部420は、最大符号化単位ごとにツリー構造による符号化単位別に、映像間予測のための予測単位を定め、予測単位ごとに映像間予測を行う時、付加視点キー映像を同一視点の他のキー映像を参照して予測する。また映像符号化部400は、付加視点映像とPOC順序が同じである基本視点映像間の深度差が記録された距離画像を生成する。
また動き補償部425は、映像間予測のための予測単位別に動き補償を行って付加視点映像を復元する。付加視点映像の復元映像は、付加視点映像の映像間予測のための参照映像として使われる。現在付加視点キー映像を復元する時、現在付加視点キー映像の参照映像である付加視点キー映像(参照キー映像)がまだ復元されていない場合に、現在付加視点キー映像とPOC順序が同じである基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。
図15は、本発明の一実施形態による符号化単位に基づいた映像復号化部500のブロック図を示す。
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て逆量子化されたデータとして出力され、逆変換部540を経て空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部550は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部560は、参照フレーム585を共に用いてインターモードの符号化単位に対して動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループフィルタリング部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びループフィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が行われる。
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループフィルタリング部580がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位それぞれにパーティション及び予測モードを定め、逆変換部540は、符号化単位ごとに変換単位のサイズを定めねばならない。
特に、映像復号化部500が、多視点ビデオ符号化構造のうち向上階層映像ストリームを復号化する場合に、動き補償部560は、映像間予測のための予測単位別に動き補償を行って付加視点映像を復元する。現在付加視点キー映像を復元する時、現在付加視点キー映像の参照映像である付加視点キー映像(参照キー映像)がまだ復元されてない場合に、現在付加視点キー映像とPOC順序が同じである基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。
図16は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。
一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められ、ユーザの要求に応じて多様に設定される。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高さ及び幅が64であり、最大深度が4である場合を図示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600のうち最大符号化単位であり、深度が0であり、符号化単位のサイズ、すなわち、高さ及び幅が64×64である。縦軸に沿って深度が深くなり、サイズ32×32の深度1の符号化単位620、サイズ16×16の深度2の符号化単位630、サイズ8×8の深度3の符号化単位640、サイズ4×4の深度4の符号化単位650が存在する。サイズ4×4の深度4の符号化単位650は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64×64の符号化単位610が予測単位ならば、予測単位は、サイズ64×64の符号化単位610に含まれるサイズ64×64のパーティション610、サイズ64×32のパーティション612、サイズ32×64のパーティション614、サイズ32×32のパーティション616に分割される。
同様に、深度1のサイズ32×32の符号化単位620の予測単位は、サイズ32×32の符号化単位620に含まれるサイズ32×32のパーティション620、サイズ32×16のパーティション622、サイズ16×32のパーティション624、サイズ16×16のパーティション626に分割される。
同様に、深度2のサイズ16×16の符号化単位630の予測単位は、サイズ16×16の符号化単位630に含まれるサイズ16×16のパーティション630、サイズ16×8のパーティション632、サイズ8×16のパーティション634、サイズ8×8のパーティション636に分割される。
同様に、深度3のサイズ8×8の符号化単位640の予測単位は、サイズ8×8の符号化単位640に含まれるサイズ8×8のパーティション640、サイズ8×4のパーティション642、サイズ4×8のパーティション644、サイズ4×4のパーティション646に分割される。
最後に、深度4のサイズ4×4の符号化単位650は、最小符号化単位であり、かつ最下位深度の符号化単位であり、該予測単位も、サイズ4×4のパーティション650のみに設定される。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を定めるために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。
同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度1の符号化単位1つが含むデータに対して、深度2の符号化単位は4つ必要である。よって、同じデータの符号化結果を深度別に比べるために、1つの深度1の符号化単位及び4つの深度2の符号化単位を用いてそれぞれ符号化されねばならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比べて最小符号化誤差が検索される。最大符号化単位610のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプと選択される。
図17は、本発明の一実施形態による、符号化単位及び変換単位の関係を示す。
一実施形態によるビデオ符号化装置100または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程のうち変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。
例えば、一実施形態によるビデオ符号化装置100または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64×64サイズである時、32×32サイズの変換単位720を用いて変換が行われる。
また、64×64サイズの符号化単位710のデータを、64×64サイズ以下の32×32、16×16、8×8、4×4サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。
図18は、本発明の一実施形態による深度別符号化情報を示す。
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに関する情報800、予測モードに関する情報810、変換単位サイズに関する情報820を符号化して伝送する。
パーティションタイプに関する情報800は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ2N×2Nの現在符号化単位CU_0は、サイズ2N×2Nのパーティション802、サイズ2N×Nのパーティション804、サイズN×2Nのパーティション806、サイズN×Nのパーティション808のうちいずれか1つのタイプに分割されて用いられる。その場合、現在符号化単位のパーティションタイプに関する情報800は、サイズ2N×2Nのパーティション802、サイズ2N×Nのパーティション804、サイズN×2Nのパーティション806及びサイズN×Nのパーティション808のうち1つを示すように設定される。
予測モードに関する情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報810を通じて、パーティションタイプに関する情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうちいずれか1つで予測符号化が行われるかが設定される。
また、変換単位サイズに関する情報820は、現在符号化単位をいかなる変換単位に基づいて変換を行うかを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2イントラ変換単位サイズ828のうち1つである。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報800、予測モードに関する情報810、変換単位サイズに関する情報820を抽出して復号化に用いる。
図19は、本発明の一実施形態による深度別符号化単位を示す。
深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。
深度0及び2N_0×2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0×2N_0サイズのパーティションタイプ912、2N_0×N_0サイズのパーティションタイプ914、N_0×2N_0サイズのパーティションタイプ916、N_0×N_0サイズのパーティションタイプ918を含む。予測単位が対称的な割合で分割されたパーティション912、914、916、918のみ例示されているが、前述したように、パーティションタイプはそれらに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
パーティションタイプごとに、1つの2N_0×2N_0サイズのパーティション、2つの2N_0×N_0サイズのパーティション、2つのN_0×2N_0サイズのパーティション、4つのN_0×N_0サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ2N_0×2N_0、サイズN_0×2N_0及びサイズ2N_0×N_0及びサイズN_0×N_0のパーティションに対しては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0×2N_0のパーティションに対してのみ予測符号化が行われる。
サイズ2N_0×2N_0、2N_0×N_0及びN_0×2N_0のパーティションタイプ912、914、916のうち1つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。
サイズN_0×N_0のパーティションタイプ918による符号化誤差が最も小さければ、深度0を1に変更しつつ分割し(920)、深度2及びサイズN_0×N_0のパーティションタイプの符号化単位930に対して繰り返して符号化を行って最小符号化誤差を検索する。
深度1及びサイズ2N_1×2N_1(=N_0×N_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1×2N_1のパーティションタイプ942、サイズ2N_1×N_1のパーティションタイプ944、サイズN_1×2N_1のパーティションタイプ946、サイズN_1×N_1のパーティションタイプ948を含む。
また、サイズN_1×N_1サイズのパーティションタイプ948による符号化誤差が最も小さければ、深度1を深度2に変更しつつ分割し(950)、深度2及びサイズN_2×N_2の符号化単位960に対して繰り返して符号化を行って最小符号化誤差を検索する。
最大深度がdである場合、深度別符号化単位は深度d−1まで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割されて(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)×2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)×2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)×N_(d−1)のパーティションタイプ994、サイズN_(d−1)×2N_(d−1)のパーティションタイプ996、サイズN_(d−1)×N_(d−1)のパーティションタイプ998を含む。
パーティションタイプののうち、1つのサイズ2N_(d−1)×2N_(d−1)のパーティション、2つのサイズ2N_(d−1)×N_(d−1)のパーティション、2つのサイズN_(d−1)×2N_(d−1)のパーティション、4つのサイズN_(d−1)×N_(d−1)のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)×N_(d−1)のパーティションタイプ998による符号化誤差が最も小さいとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)はそれ以上下位深度への分割過程を経ず、現在最大符号化単位900に対する符号化深度が深度d−1と定められ、パーティションタイプは、N_(d−1)×N_(d−1)と定められる。また最大深度がdであるので、深度d−1の符号化単位952に関する分割情報は設定されない。
データ単位999は、現在最大符号化単位に対する‘最小単位’であると称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正方形のデータ単位である。このような繰り返し的な符号化過程を通じて、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比べて、最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。
このような形で深度0、1、…、d−1、dのすべての深度別最小符号化誤差を比べて誤差の最も小さな深度が選択され、符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみが‘0’に設定され、符号化深度を除いた深度別分割情報は‘1’に設定されねばならない。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に対する符号化深度及び予測単位に関する情報を抽出して符号化単位912の復号化に用いる。一実施形態によるビデオ復号化装置200は、深度別分割情報を用いて分割情報が‘0’の深度を符号化深度と把握し、該深度に対する符号化モードに関する情報を用いて復号化に用いる。
図20ないし図22は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。
符号化単位1010は、最大符号化単位に対して一実施形態によるビデオ符号化装置100が定めた符号化深度別符号化単位である。予測単位1060は、符号化単位1010のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0ならば、符号化単位1012、1054は、深度が1、符号化単位1014、1016、1018、1028、1050、1052は、深度が2、符号化単位1020、1022、1024、1026、1030、1032、1048は、深度が3、符号化単位1040、1042、1044、1046は、深度が4である。
予測単位1060のうち一部のパーティション1014、1016、1022、1032、1048、1050、1052、1054は、符号化単位が分割された形態である。すなわち、パーティション1014、1022、1050、1054は、2N×Nのパーティションタイプであり、パーティション1016、1048、1052は、N×2Nのパーティションタイプ、パーティション1032は、N×Nのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。
変換単位1070のうち一部1052の映像データに対しては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014、1016、1022、1032、1048、1050、1052、1054は、予測単位1060のうち該予測単位及びパーティションと比べれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、同じ符号化単位に対するイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位に基づいて行える。
これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表1は、一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200で設定できる一例を示す。
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に関する符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に関する符号化情報を抽出する。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度dの分割情報が0ならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって1段階さらに分割されねばならない場合には、分割された4個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち1つで示す。イントラモード及びインターモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ2N×2Nのみで定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ2N×2N、2N×N、N×2N及びN×Nと、非対称的な割合で分割された非対称的パーティションタイプ2N×nU、2N×nD、nL×2N、nR×2Nを示す。非対称的パーティションタイプ2N×nU及び2N×nDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnL×2N及びnR×2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズは、イントラモードで2種のサイズ、インターモードで2種のサイズに設定される。すなわち、変換単位分割情報が0ならば、変換単位のサイズが現在符号化単位のサイズ2N×2Nに設定される。変換単位分割情報が1ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ2N×2Nの現在符号化単位に対するパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはN×N、非対称形パーティションタイプならば、N/2×N/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも1つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を1つ以上含む。
したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。
したがって、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接しているデータが検索されることで周辺符号化単位が参照される。
図23は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。
最大符号化単位1300は、符号化深度の符号化単位1302、1304、1306、1312、1314、1316、1318を含む。それらのうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2N×2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2N×2N 1322、2N×N 1324、N×2N 1326、N×N 1328、2N×nU 1332、2N×nD 1334、nL×2N 1336及びnR×2N 1338のうち1つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が対称形パーティションタイプ2N×2N 1322、2N×N 1324、N×2N 1326及びN×N 1328のうち1つに設定されている場合、変換単位分割情報が0ならば、サイズ2N×2Nの変換単位1342が設定され、変換単位分割情報が1ならば、サイズN×Nの変換単位1344が設定される。
パーティションタイプ情報が非対称形パーティションタイプ2N×nU 1332、2N×nD 1334、nL×2N 1336及びnR×2N 1338のうち1つに設定された場合、変換単位分割情報(TU size flag)が0ならば、サイズ2N×2Nの変換単位1352が設定され、変換単位分割情報が1ならば、サイズN/2×N/2の変換単位1354が設定される。
図23を参照して前述された変換単位分割情報(TU size flag)は、0または1の値を持つフラグであるが、一実施形態による変換単位分割情報が1ビットのフラグに限定されるものではなく、設定によって0、1、2、3…などに増加して変換単位が階層的に分割されることもある。変換単位分割情報は、変換インデックスの一実施形態として用いられる。
その場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を用いて、ビデオ復号化に用いる。
例えば、(a)現在符号化単位がサイズ64×64であり、最大変換単位サイズは32×32ならば、(a−1)変換単位分割情報が0の時に変換単位のサイズが32×32、(a−2)変換単位分割情報が1の時に変換単位のサイズが16×16、(a−3)変換単位分割情報が2である時に変換単位のサイズが8×8に設定される。
他の例として、(b)現在符号化単位がサイズ32×32であり、最小変換単位サイズは32×32ならば、(b−1)変換単位分割情報が0である時に変換単位のサイズが32×32に設定され、変換単位のサイズが32×32より小さいことはないので、これ以上の変換単位分割情報が設定されない。
さらに他の例として、(c)現在符号化単位がサイズ64×64であり、最大変換単位分割情報が1ならば、変換単位分割情報は0または1であり、他の変換単位分割情報が設定されない。
したがって、最大変換単位分割情報を‘MaxTransformSizeIndex’、最小変換単位サイズを‘MinTransformSize’、変換単位分割情報が0である場合の変換単位サイズを‘RootTuSize’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’は、下記の数式(1)のように定義される。
CurrMinTuSize
=max(MinTransformSize,
RootTuSize/(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’と比べて、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、システム上採択可能な最大変換単位サイズを示す。すなわち、数式(1)によれば、‘RootTuSize/(2^MaxTransformSizeIndex)’は、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘MinTransformSize’は、最小変換単位サイズであるので、それらのうち小さな値が、現在現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’である。
一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わる。
例えば、現在予測モードがインターモードならば、RootTuSizeは。下記の数式(2)によって定められる。数式(2)で‘MaxTransformSize’は、最大変換単位サイズ、‘PUSize’は、現在予測単位サイズを示す。
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインターモードならば、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。
現在パーティション単位の予測モードがイントラモードならば、‘RootTuSize’は、下記の数式(3)によって定められる。‘PartitionSize’は、現在パーティション単位のサイズを示す。
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。
但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘RootTuSize’は一実施形態に過ぎず、現在最大変換単位サイズを定める要因がそれに限定されるものではないということに留意せねばならない。
図11ないし図23を参照して前述されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって最大符号化単位ごとに復号化が行われつつ空間領域の映像データが復元され、ピクチャー及びピクチャーシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に記録されるか、または、ネットワークを通じて伝送される。
一方、詳述した本発明の実施形態はコンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(Read Only Memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD−ROM、DVDなど)のような記録媒体を含む。
説明の便宜上、前記図1ないし図23を参照して前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法または多視点ビデオ符号化方法によるビデオ符号化方法は、‘本発明のビデオ符号化方法’とする。また、前記図1ないし図23を参照して前述された多視点ビデオ予測復元方法または多視点ビデオ復号化方法によるビデオ復号化方法は、‘本発明のビデオ復号化方法’とする。
また、前記図1ないし図23を参照して前述された多視点ビデオ予測装置10、多視点ビデオ予測復元装置20、多視点ビデオ符号化装置100または映像符号化部400で構成されたビデオ符号化装置は、‘本発明のビデオ符号化装置’とする。また、前記図1ないし図23を参照して前述された多視点ビデオ予測復元装置20、多視点ビデオ復号化装置200または映像復号化部500で構成されたビデオ復号化装置は、‘本発明のビデオ復号化装置’とする。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク260である実施形態を、以下で詳述する。
図24Aは、一実施形態によるプログラムが保存されたディスク260の物理的構造を例示する。記録媒体として前述されたディスク260は、ハードドライブ、CD−ROMディスク、ブルーレイディスク、DVDディスクである。ディスク260は、複数の同心円のトラックtrで構成され、トラックは円周方向に沿って所定数のセクターSeに分割される。前記前述された一実施形態によるプログラムを保存するディスク260のうち特定領域に、前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述されたビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を用いて達成されたコンピュータシステムが、図24Bを参照して後述される。
図24Bは、ディスク260を用いてプログラムを記録して読み取るためのディスクドライブ268を示す。コンピュータシステム267は、ディスクドライブ268を用いて本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも1つを具現するためのプログラムをディスク260に保存する。ディスク260に保存されたプログラムをコンピュータシステム267上で実行するために、ディスクドライブ268によってディスク260からプログラムが読み取られ、プログラムがコンピュータシステム267に伝送される。
図24A及び図24Bで例示されたディスク260だけではなく、メモリカード、ROMカセット、SSD(Solid State Drive)にも本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも1つを具現するためのプログラムが保存される。
前述された実施形態によるビデオ符号化方法及びビデオ復号化方法の適用されたシステムが後述される。
図25は、コンテンツ流通サービスを提供するためのコンテンツ供給システム1100の全体的な構造を示す。通信システムのサービス領域は所定サイズのセルに分割され、各セルに、ベースステーションとなる無線基地局1170、1180、1190、1200が設けられる。
コンテンツ供給システム1100は、複数の独立デバイスを備える。例えば、コンピュータ1210、PDA(PersonalDigitalAssistant)1220、カメラ1230及び携帯電話1250のような独立デバイスが、インターネットサービス供給者1120、通信網1140、及び無線基地局1170、1180、1190、1200を経てインターネット1110に連結される。
しかし、コンテンツ供給システム1100は、図25に示された構造のみに限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局1170、1180、1190、1200を経ずに通信網1140に直接連結されてもよい。
ビデオカメラ1230は、デジタルビデオカメラのようにビデオ映像を撮影できる撮像デバイスである。携帯電話1250は、PDC(Personal Digital Communications)、CDMA(code division multiple access)、W−CDMA(wideband code division multiple access)、GSM(登録商標:Global System for Mobile Communications)、及びPHS(Personal Handyphone System)方式のような多様なプロトコルのうち少なくとも1つの通信方式を採択する。
ビデオカメラ1230は、無線基地局1190及び通信網1140を経てストリーミングサーバ1130に連結される。ストリーミングサーバ1130は、ユーザがビデオカメラ1230を使って伝送したコンテンツを、リアルタイム放送でストリーミング伝送する。ビデオカメラ1230から受信されたコンテンツは、ビデオカメラ1230またはストリーミングサーバ1130によって符号化される。ビデオカメラ1230で撮影されたビデオデータは、コンピュータ1210を経てストリーミングサーバ1130に伝送される。
カメラ1260で撮影されたビデオデータも、コンピュータ1210を経てストリーミングサーバ1130に伝送される。カメラ1260は、デジタルカメラのように静止画及びビデオ映像をいずれも撮影できる撮像装置である。カメラ1260から受信されたビデオデータは、カメラ1260またはコンピュータ1210によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ1210がアクセスできるCD−ROMディスク、フロッピー(登録商標)ディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで読み取り可能な記録媒体に記録される。
また携帯電話1250に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話1250から受信される。
ビデオデータは、ビデオカメラ1230、携帯電話1250またはカメラ1260に搭載されたLSI(Large scale integrated circuit)システムによって符号化される。
一実施形態によるコンテンツ供給システム1100で、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ1230、カメラ1260、携帯電話1250または他の撮像デバイスを用いて録画したコンテンツが符号化され、ストリーミングサーバ1130に伝送される。ストリーミングサーバ1130は、コンテンツデータを要請した他のクライアントにコンテンツデータをストリーミング伝送する。
クライアントは、符号化されたコンテンツデータを復号化できるデバイスであり、例えば、コンピュータ1210、PDA 1220、ビデオカメラ1230または携帯電話1250である。よって、コンテンツ供給システム1100は、クライアントが符号化されたコンテンツデータを受信して再生可能にする。またコンテンツ供給システム1100は、クライアントが符号化されたコンテンツデータを受信して、リアルタイムで復号化かつ再生可能にして、個人放送(personal broadcasting)を可能にする。
コンテンツ供給システム1100に備えられた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図26及び図27を参照して、コンテンツ供給システム1100のうち携帯電話1250の一実施形態が詳細に後述される。
図26は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話1250の外部構造を示す。携帯電話1250は、機能が制限されず、応用プログラムを通じて相当部分の機能を変更または拡張できるスマートフォンである。
携帯電話1250は、無線基地局1200とRF信号を交換するための内蔵アンテナ1251を備え、カメラ1253によって撮影された映像またはアンテナ1251によって受信されて復号化された映像をディスプレイするためのLCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diodes)画面のようなディスプレイ画面1252を備える。スマートフォン1251は、制御ボタン、タッチパネルを含む動作パネル1254を備える。ディスプレイ画面1252がタッチスクリーンである場合、動作パネル1254は、ディスプレイ画面1252のタッチ感知パネルをさらに備える。スマートフォン1251は、音声、音響を出力するためのスピーカー1258または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン1255または他の形態の音響入力部を備える。スマートフォン1251は、ビデオ及び静止画を撮影するためのCCDカメラのようなカメラ1253をさらに備える。また、スマートフォン1251は、カメラ1253によって撮影されるか、電子メールで受信されるか、または他の形態で獲得されたビデオや静止画のように、符号化または復号化されたデータを保存するための記録媒体1257、そして記録媒体1257を携帯電話1250に取り付けるためのスロット1256を備える。記録媒体1257は、SDカードまたはプラスチックケースに内蔵されたEEPROM(electrically erasable and programmable readonly memory)のような他の形態のフラッシュメモリである。
図27は、携帯電話1250の内部構造を示す。ディスプレイ画面1252及び動作パネル1254で構成された携帯電話1250の各パートを組織的に制御するために、電力供給回路1270、動作入力制御部1264、映像符号化部1272、カメラインターフェース1263、LCD制御部1262、映像復号化部1269、マルチプレクサ/デマルチプレクサ(MUX/DEMUX)1268、記録/読み取り部1267、変調/復調部1266及び音響処理部1265が、同期化バス1273を通じて中央制御部1271に連結される。
ユーザが電源ボタンを動作させて‘電源オフ’状態から‘電源オン’状態に設定すれば、電力供給回路1270は、バッテリーパックから携帯電話1250の各パートに電力を供給することで、携帯電話1250が動作モードにセットされる。
中央制御部1271は、CPU、ROM及びRAM(Random Access Memory)を備える。
携帯電話1250が外部に通信データを送信する過程では、中央制御部1271の制御によって携帯電話1250でデジタル信号が生成される。例えば、音響処理部1265ではデジタル音響信号が生成され、映像符号化部1272ではデジタル映像信号が生成され、動作パネル1254及び動作入力制御部1264を通じてメッセージのテキストデータが生成される。中央制御部1271の制御によって、デジタル信号が変調/復調部1266に伝達されれば、変調/復調部1266は、デジタル信号の周波数帯域を変調し、通信回路1261は、帯域変調されたデジタル音響信号に対してD/A変換(Digital−Analog conversion)及び周波数変換処理を行う。通信回路1261から出力された送信信号は、アンテナ1251を通じて音声通信基地局または無線基地局1200に送出される。
例えば、携帯電話1250が通話モードである時にマイクロフォン1255によって獲得された音響信号は、中央制御部1271の制御によって音響処理部1265でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部1266及び通信回路1261を経て送信信号に変換され、アンテナ1251を通じて送出される。
データ通信モードで電子メールのようなテキストメッセージが伝送される場合、動作パネル1254を用いてメッセージのテキストデータが入力され、テキストデータが動作入力制御部1264を通じて中央制御部1261に伝送される。中央制御部1261の制御によって、テキストデータは、変調/復調部1266及び通信回路1261を通じて送信信号に変換され、アンテナ1251を通じて無線基地局1200に送出される。
データ通信モードで映像データを伝送するために、カメラ1253によって撮影された映像データが、カメラインターフェース1263を通じて映像符号化部1272に提供される。カメラ1253によって撮影された映像データは、カメラインターフェース1263及びLCD制御部1262を通じてディスプレイ画面1252に直ちにディスプレイされる。
映像符号化部1272の構造は、前述された本発明のビデオ符号化装置の構造と相応する。映像符号化部1272は、カメラ1253から提供された映像データを、前述されたビデオ符号化装置100または映像符号化部400のビデオ符号化方式によって符号化して、圧縮符号化された映像データに変換し、符号化された映像データを多重化/逆多重化部1268に出力する。カメラ1253の録画中に携帯電話1250のマイクロフォン1255によって獲得された音響信号も、音響処理部1265を経てデジタル音響データに変換され、デジタル音響データは、多重化/逆多重化部1268に伝達される。
多重化/逆多重化部1268は、音響処理部1265から提供された音響データと共に、映像符号化部1272から提供された符号化された映像データを多重化する。多重化されたデータは、変調/復調部1266及び通信回路1261を通じて送信信号に変換され、アンテナ1251を通じて送出される。
携帯電話1250が外部から通信データを受信する過程では、アンテナ1251を通じて受信された信号を、周波数復元及びA/D変換処理を通じてデジタル信号に変換する。変調/復調部1266は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によってビデオ復号化部1269、音響処理部1265またはLCD制御部1262に伝達する。
携帯電話1250は、通話モードである時、アンテナ1251を通じて受信された信号を増幅し、周波数変換及びA/D変換処理を通じてデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部1271の制御によって、変調/復調部1266及び音響処理部1265を経てアナログ音響信号に変換され、アナログ音響信号がスピーカー1258を通じて出力される。
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ1251を通じて無線基地局1200から受信された信号は、変調/復調部1266の処理結果として、多重化されたデータを出力し、多重化されたデータは多重化/逆多重化部1268に伝達される。
アンテナ1251を通じて受信した多重化されたデータを復号化するために、多重化/逆多重化部1268は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと符号化されたオーディオデータストリームとを分離する。同期化バス1273によって、符号化されたビデオデータストリームはビデオ復号化部1269に提供され、符号化されたオーディオデータストリームは、音響処理部1265に提供される。
映像復号化部1269の構造は、前述された本発明のビデオ復号化装置の構造と相応する。映像復号化部1269は、前述されたビデオ復号化装置200または映像復号化部500のビデオ復号化方式を用いて、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、復元されたビデオデータを、LCD制御部1262を経てディスプレイ画面1252に提供する。
これによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータがディスプレイ画面1252でディスプレイされる。これと共に、音響処理部1265もオーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカー1258に提供する。これによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカー1258で再生される。
携帯電話1250または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える送受信端末機であるか、前述された本発明のビデオ符号化装置のみを備える伝送端末機であるか、または本発明のビデオ復号化装置のみを備える受信端末機である。
本発明の通信システムは、図25を参照して前述した構造に限定されるものではない。例えば、図28は、本発明による通信システムが適用されたデジタル放送システムを示す。図28の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を用いて、衛星または地上波ネットワークを通じて伝送されるデジタル放送を受信する。
具体的に説明すれば、放送局1289は、電波を通じてビデオデータストリームを通信衛星または放送衛星1290に伝送する。放送衛星1290は、放伝送号を伝送し、放伝送号は、家庭にあるアンテナ1286によって衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、TV受信機1281、セットトップボックス1287または他のデバイスによって復号化されて再生される。
再生装置1283で本発明のビデオ復号化装置が具現されることで、再生装置1283が、ディスク及びメモリカードのような記録媒体1282に記録された、符号化されたビデオストリームを読み取って復号化する。これによって復元されたビデオ信号は、例えば、モニタ1284で再生される。
衛星/地上波放送のためのアンテナ1286またはケーブルTV受信のためのケーブルアンテナ1285に連結されたセットトップボックス1287にも、本発明のビデオ復号化装置が搭載される。セットトップボックス1287の出力データもTVモニタ1288で再生される。
他の例として、セットトップボックス1287の代りにTV受信機1281自体に本発明のビデオ復号化装置が搭載される。
適当なアンテナ1291を備える自動車1292が、衛星1280または無線基地局1170から送出される信号を受信する。自動車1292に搭載された自動車ナビゲーションシステム1293のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に説明すれば、DVDレコーダによって映像信号がDVDディスク1296に保存されるか、または、ハードディスクレコーダ1295によってハードディスクに映像信号が保存される。他の例として、ビデオ信号はSDカード1297に保存される。ハードディスクレコーダ1295が一実施形態による本発明のビデオ復号化装置を備えれば、DVDディスク1296、SDカード1297または他の形態の記録媒体に記録されたビデオ信号がモニタ1288で再生される。
自動車ナビゲーションシステム1293は、図27のカメラ1253、カメラインターフェース1263及び映像符号化部1272を備えもしない。例えば、コンピュータ1210及びTV受信機1281も、図27のカメラ1253、カメラインターフェース1263及び映像符号化部1272を備えもしない。
図29は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を用いるクラウドコンピューティングシステムのネットワーク構造を示す。
本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ1400、ユーザDB 1410、コンピューティング資源1420及びユーザ端末機を備えて形成される。
クラウドコンピューティングシステムは、ユーザ端末機の要請に応じて、インターネットのような情報通信網を通じてコンピューティング資源のオン・デマンドアウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合して、ユーザに必要なサービスを提供する。サービスユーザは、アプリケーション、ストレージ、運用体制(OS)、保安などのコンピューティング資源を各ユーザ所有の端末にインストールして使うものではなく、仮想化技術を通じて生成された仮想空間上のサービスを、所望の時点に所望のほど選んで使える。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を通じてクラウドコンピューティングサーバ1400に接続する。ユーザ端末機は、クラウドコンピューティングサーバ1400からクラウドコンピューティングサービス、特に動画再生サービスを提供される。ユーザ端末機は、デスクトップPC 1430、スマートTV 1440、スマートフォン1450、ノート型パソコン1460、PMP(Portable Multimedia Player)1470、タブレットPC 1480など、インターネット接続の可能なすべての電子機器となる。
クラウドコンピューティングサーバ1400は、クラウド網に分散されている複数のコンピューティング資源1420を統合してユーザ端末機に提供する。複数のコンピューティング資源1420は様々なデータサービスを含み、ユーザ端末機からアップロードされたデータを含む。このような形でクラウドコンピューティングサーバ1400は、いろいろな所に分散されている動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 1410には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報とアドレス、名前などの個人信用情報を含む。また、ユーザ情報は、動画のインデックスを含む。ここで、インデックスは、再生済みの動画リストと、再生中の動画リストと、再生中の動画の停止時点などを含む。
ユーザDB 1410に保存された動画に関する情報は、ユーザデバイスの間に共有される。したがって、例えば、ノート型パソコン1460から再生要請されてノート型パソコン1460に所定動画サービスを提供した場合、ユーザDB 1410に所定動画サービスの再生ヒストリーが保存される。スマートフォン1450から同じ動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ1400は、ユーザDB 1410を参照して所定動画サービスを探して再生する。スマートフォン1450がクラウドコンピューティングサーバ1400を通じて動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前記の図27を参照して前述した携帯電話1250の動作と類似している。
クラウドコンピューティングサーバ1400は、ユーザDB 1410に保存された所定動画サービスの再生ヒストリーを参照する。例えば、クラウドコンピューティングサーバ1400は、ユーザ端末機から、ユーザDB 1410に保存された動画についての再生要請を受信する。動画がその前に既に再生中であったものならば、クラウドコンピューティングサーバ1400は、ユーザ端末機での選択によって、最初から再生するか、または以前の停止時点から再生し、それによってストリーミング方法が変わる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ1400がユーザ端末機に該動画を、最初のフレームからストリーミング伝送する。一方、端末機10が以前の停止時点から引き続いて再生するように要請した場合には、クラウドコンピューティングサーバ1400がユーザ端末機に該動画を、停止時点のフレームからストリーミング伝送する。
この時、ユーザ端末機は、図1ないし図23を参照して前述した本発明のビデオ復号化装置を備える。他の例として、ユーザ端末機は、図1ないし図23を参照して前述した本発明のビデオ符号化装置を備える。また、ユーザ端末機は、図1ないし図23を参照して前述した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える。
図1ないし図23を参照して前述した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態が、図24Aないし図29で説明された。しかし、図1ないし図23を参照して前述した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に記録されるか、または本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図24Aないし図29の実施形態に限定されるものではない。
これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は、本発明に含まれていると解釈されねばならない。