JP2017518706A - デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法 - Google Patents

デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法 Download PDF

Info

Publication number
JP2017518706A
JP2017518706A JP2016573766A JP2016573766A JP2017518706A JP 2017518706 A JP2017518706 A JP 2017518706A JP 2016573766 A JP2016573766 A JP 2016573766A JP 2016573766 A JP2016573766 A JP 2016573766A JP 2017518706 A JP2017518706 A JP 2017518706A
Authority
JP
Japan
Prior art keywords
video
unit
block
current block
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016573766A
Other languages
English (en)
Inventor
パク，ミン−ウ
リ，ジン−ヨン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017518706A publication Critical patent/JP2017518706A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

マルチレイヤビデオ復号方法に係り、現在ブロックのディスパリティベクトルを獲得する段階、及び現在ブロックサイズが既決定のブロックサイズより大きい場合、ディスパリティベクトルが示すデプスブロックに基づいて、現在ブロックを複数の領域に分割する段階を含むマルチレイヤビデオ復号方法である。

Description

本発明は、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復的に発生するデータを小サイズのデータに切り替えることにより、データ量を節減している。
マルチレイヤビデオコーデックは、第１レイヤビデオと、１以上の第２レイヤビデオとを符号化／復号する。第１レイヤビデオと第２レイヤビデオとの時間的／空間的重複性（redundancy）と、レイヤ間の重複性とを除去する方式で、第１レイヤビデオと第２レイヤビデオとのデータ量が節減される。
本発明が解決しようとする課題は、レイヤの類型情報を利用した効率的なマルチレイヤビデオ符号化方法及びその復号方法を提供することである。
前述の技術的課題を達成するための技術的手段として、本開示の１側面は、現在ブロックのディスパリティベクトルを獲得する段階、及び前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階を含むマルチレイヤビデオ復号方法を提供する。
その場合、前記既決定のブロックサイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つであることを特徴とする。
その場合、前記現在ブロックを複数個の領域に分割する段階は、前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割する段階を含んでもよい。
また、前述の技術的課題を達成するための技術的手段として、本開示の２側面は、現在ブロックの周辺ブロック候補を決定する段階、前記決定された周辺ブロック候補のディスパリティベクトルを獲得する段階、前記獲得されたディスパリティベクトルを、前記現在ブロックのディスパリティベクトルとして決定する段階、前記決定されたディスパリティベクトルを利用して、前記現在ブロックに対応するデプスブロックを決定する段階、及び前記デプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階を含むマルチレイヤビデオ復号方法を提供する。
また、前述の技術的課題を達成するための技術的手段として、本開示の３側面は、現在ブロックのディスパリティベクトルを獲得する段階、前記現在ブロックのディスパリティベクトルが示す参照ブロックのレジデュアル成分を獲得する段階、及び前記現在ブロックサイズが既決定の大きさより大きい場合、前記獲得された参照ブロックのレジデュアル成分を利用して、前記現在ブロックのレジデュアル成分を予測する段階を含むマルチレイヤビデオ復号方法を提供する。
その場合、既決定の大きさは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つであることを特徴とする。
前述の技術的課題を達成するための技術的手段として、本開示の４側面は、現在ブロックのディスパリティベクトルを獲得する段階、及び前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階を含むマルチレイヤビデオ符号化方法を提供する。
その場合、前記既決定のブロックサイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つであることを特徴とする。
その場合、前記現在ブロックを複数個の領域に分割する段階は、前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割する段階を含んでもよい。
また、前述の技術的課題を達成するための技術的手段として、本開示の５側面は、現在ブロックの周辺ブロック候補を決定する段階、前記決定された周辺ブロック候補のディスパリティベクトルを獲得する段階、前記獲得されたディスパリティベクトルを、前記現在ブロックのディスパリティベクトルとして決定する段階、前記決定されたディスパリティベクトルを利用して、前記現在ブロックに対応するデプスブロックを決定する段階、及び前記デプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階を含むマルチレイヤビデオ符号化方法を提供する。
また、前述の技術的課題を達成するための技術的手段として、本開示の６側面は、現在ブロックのディスパリティベクトルを獲得する段階、前記現在ブロックのディスパリティベクトルが示す参照ブロックのレジデュアル成分を獲得する段階、及び前記現在ブロックサイズが既決定の大きさより大きい場合、前記獲得された参照ブロックのレジデュアル成分を利用して、前記現在ブロックのレジデュアル成分を予測する段階を含むマルチレイヤビデオ符号化方法を提供する。
その場合、前記既決定の大きさは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つであることを特徴とする。
また、前述の技術的課題を達成するための技術的手段として、本開示の７側面は、現在ブロックのディスパリティベクトルを獲得し、前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する復号部を含むマルチレイヤビデオ復号装置を提供する。
その場合、前記既決定のブロックサイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つであることを特徴とする。
その場合、前記復号部は、前記現在ブロックを複数個の領域に分割する場合、前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割することを特徴とする。
また、前述の技術的課題を達成するための技術的手段として、本開示の８側面は、現在ブロックのディスパリティベクトルを獲得し、前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する符号化部を含むマルチレイヤビデオ符号化装置を提供する。
その場合、前記既決定のブロックサイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つであることを特徴とする。
その場合、前記復号部は、前記現在ブロックを複数個の領域に分割する場合、前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割することを特徴とする。
一実施形態によるマルチレイヤビデオ符号化装置のブロック図である。 一実施形態によるマルチレイヤビデオ符号化方法のフローチャートである。 他の一実施形態によるマルチレイヤビデオ符号化方法のフローチャートである。 さらに他の一実施形態によるマルチレイヤビデオ符号化方法のフローチャートである。 一実施形態によるマルチレイヤビデオ復号装置のブロック図である。 一実施形態によるマルチレイヤビデオ復号方法のフローチャートである。 他の一実施形態によるマルチレイヤビデオ復号方法のフローチャートである。 さらに他の一実施形態によるマルチレイヤビデオ復号方法のフローチャートである。 一実施形態によるインターレイヤ予測構造を図示する図面である。 一実施形態によるマルチレイヤビデオを示す図面である。 一実施形態による、現在ブロックのディスパリティベクトルについて説明するための図面である。 一実施形態による、現在ブロックの空間的周辺ブロック候補を利用して、ディスパリティベクトルを獲得する一例を示す図面である。 一実施形態による、現在ブロックの時間的周辺ブロック候補を利用して、ディスパリティベクトルを獲得する一例を示す図面である。 一実施形態による、デプスピクチャを利用して、現在ブロックのディスパリティベクトルを獲得する一例を示す図面である。 一実施形態による、現在ブロックに対応するデプスブロックを利用して、現在ブロックを分割する一例を示す図面である。 一実施形態による、現在ブロックサイズを考慮し、ＤＢＢＰ（depth based block partition）機能遂行いかんを決定する方法のフローチャートを示す図面である。 一実施形態による、現在ブロックサイズを考慮し、ＤＢＢＰの遂行いかんを決定するシンタックスの一例を示す図面である。 他の一実施形態による、現在ブロックサイズを考慮し、ＤＢＢＰの遂行いかんを決定するシンタックスの一例を示す図面である。 一実施形態による、レジデュアル予測を行う一例を示す図面である。 他の一実施形態による、レジデュアル予測を行う一例を示す図面である。 一実施形態による、現在ブロックサイズを考慮し、レジデュアル予測の遂行いかんを決定する方法のフローチャートを示す図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図を図示する図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図を図示する図面である。 一実施形態による符号化単位の概念を図示する図面である。 一実施形態による、符号化単位に基づいたビデオ符号化部のブロック図を図示する図面である。 一実施形態による、符号化単位に基づいたビデオ復号部のブロック図を図示する図面である。 一実施形態による、符号化単位及びパーティションを図示する図面である。 一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による符号化情報を図示する図面である。 一実施形態による符号化単位を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用してプログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本開示のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本開示のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 本開示による通信システムが適用されたデジタル放送システムを図示する図面である。 一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
以下、図１Ａないし図９を参照し、一実施形態による、デプスブロックを利用したマルチレイヤビデオ符号化技法及びマルチレイヤビデオ復号技法が提案される。
また、図１０ないし図２２を参照し、先立って提案したインターレイヤビデオ符号化技法及びその復号技法に適用可能な一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号技法が開示される。
また、図２３ないし図２９を参照し、先立って提案した、ビデオ符号化方法、ビデオ復号方法が適用可能な一実施形態が開示される。
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示す。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであって、プロセッシング対象になるデータを意味する。例えば、空間領域の映像における、ピクセル値またはブロックのレジデュアルがサンプルでもある。
以下、「現在ブロック（current block）」は、符号化したり復号したりする映像のブロックを意味する。
以下、「周辺ブロック（neighboring block）候補（candidate）」は、現在ブロックに隣接する符号化されたか、あるいは復号された少なくとも１つのブロックを示す。例えば、周辺ブロック候補は、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、または現在ブロックの左側上端に位置することができる。また、空間的に隣接するブロックだけではなく、時間的に隣接するブロックも含んでもよい。例えば、時間的に隣接する周辺ブロック候補は、参照ピクチャの現在ブロックと同一位置（co-located）ブロック、あるいは同一位置ブロックの周辺ブロックを含んでもよい。
以下、「レイヤ（layer）映像」は、特定視点または同一類型の映像を示す。多視点ビデオにおいて、１つのレイヤ映像は、特定視点に入力されたテクスチャ映像またはデプス映像を示す。例えば、三次元ビデオにおいて、左視点テクスチャ映像、右視点テクスチャ映像及びデプス映像は、それぞれ１つのレイヤ映像を構成する。左視点テクスチャ映像は、第１レイヤ映像を構成し、右視点テクスチャ映像は、第２レイヤ映像を構成し、デプス映像は、第３レイヤ映像を構成することができる。
図１Ａは、一実施形態によるマルチレイヤビデオ符号化装置のブロック図である。図１Ａを参照すれば、マルチレイヤビデオ符号化装置１０は、符号化部１２及びビットストリーム生成部１４を含んでもよい。
一実施形態によるマルチレイヤビデオ符号化装置１０は、スケーラブルビデオコーディング（scalable video coding）方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。ビデオ符号化装置１０は、第１レイヤ映像シーケンス及び第２レイヤ映像シーケンスを互いに異なるレイヤに符号化することができる。
例えば、符号化部１２は、第１レイヤ映像を符号化し、第１レイヤ映像の符号化データを含む第１レイヤストリームを出力することができる。また、符号化部１２は、第２レイヤ映像を符号化し、第２レイヤ映像の符号化データを含む第２レイヤストリームを出力することができる。
また、例えば、空間的スケーラビリティ（spatial scalability）に基づいたスケーラブルビデオコーディング方式によれば、低解像度映像が第１レイヤ映像として符号化され、高解像度映像が第２レイヤ映像として符号化される。第１レイヤ映像の符号化結果が第１レイヤストリームとして出力され、第２レイヤ映像の符号化結果が第２レイヤストリームとして出力される。
一実施形態によるマルチレイヤビデオ符号化装置１０は、第１レイヤストリーム及び第２レイヤストリームを、マルチプレクサ（multiplexer）を介して、１つのビットストリームとして表現して符号化することができる。
他の例として、多視点ビデオがスケーラブルビデオコーディング方式によって符号化される。左視点映像は、第１レイヤ映像として符号化され、右視点映像は、第２レイヤ映像として符号化される。または、中央視点映像、左視点映像及び右視点映像がそれぞれ符号化され、このうち中央視点映像は、第１レイヤ映像として符号化され、左視点映像は、第２レイヤ映像として符号化され、右視点映像は、第３レイヤ映像として符号化される。または、中央視点のテクスチャ映像、中央視点デプス映像、左視点テクスチャ映像、左視点デプス映像、右視点テクスチャ映像、右視点デプス映像は、それぞれ第１レイヤ映像、第２レイヤ映像、第３レイヤ映像、第４レイヤ映像、第５レイヤ映像、第６レイヤ映像として符号化される。
さらに他の例として、中央視点テクスチャ映像、中央視点デプス映像、左視点デプス映像、左視点テクスチャ映像、右視点デプス映像、右視点テクスチャ映像がそれぞれ第１レイヤ映像、第２レイヤ映像、第３レイヤ映像、第４レイヤ映像、第５レイヤ映像、第６レイヤ映像として符号化されもする。
他の例として、時間的スケーラビリティに基づいた時間階層的予測（temporal hierarchical prediction）によって、スケーラブルビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む第１レイヤストリームが出力される。フレームレート別に時間的階層（temporal level）が分類され、各時間的階層が各レイヤに符号化される。基本フレームレートの映像を参照し、さらに高いフレームレートの映像をさらに符号化し、高いフレームレートの符号化情報を含む第２レイヤストリームが出力される。
また、第１レイヤと、多数の拡張レイヤ（第２レイヤ、第３レイヤ、…、第Ｋレイヤ）に対するスケーラブルビデオコーディングが行われる。拡張レイヤが３以上である場合、第１レイヤ映像とＫ番目レイヤ映像とが符号化される。これにより、第１レイヤ映像の符号化結果が、第１レイヤストリームとして出力され、最初、２番目、…、Ｋ番目のレイヤ映像の符号化結果が、それぞれ最初、２番目、…、Ｋ番目のレイヤストリームとして出力される。
一実施形態によるマルチレイヤビデオ符号化装置１０は、単一レイヤ内の映像を参照して現在映像を予測するインター予測（inter prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動きベクトル（motion vector）を誘導し、参照映像を利用して生成された予測映像と現在映像との差成分であるレジデュアル成分を生成することができる。
また、一実施形態によるマルチレイヤビデオ符号化装置１０が、第１レイヤ、第２レイヤ、第３レイヤなど３以上のレイヤを許容する場合には、マルチレイヤ予測構造によって、１つの第１レイヤ映像と第３レイヤ映像とのインターレイヤ予測、第２レイヤ映像と第３レイヤ映像とのインターレイヤ予測を行うこともできる。
インターレイヤ予測において、現在映像のレイヤと参照映像のレイヤとが視点が異なる場合、現在映像と異なるレイヤの参照映像間のディスパリティベクトル（disparity vector）を誘導し、他のレイヤの参照映像を利用して生成された予測映像と、現在映像との差成分であるレジデュアル成分が生成される。ここで、ディスパリティベクトルは、視差ベクトルとされる。
インターレイヤ予測構造は、追って図３Ａを参照して詳細に説明する。
一実施形態によるマルチレイヤビデオ符号化装置１０は、各レイヤごとに、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。決定された大きさのデータ単位に制限されるものではない。ブロックは、ツリー構造による符号化単位においては、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット（coding tree unit）、コーディングブロックツリー（coding block tree）、ブロックツリー、ルートブロックツリー（root block tree）、コーディングツリー、コーディングルートまたはツリートランク（tree trunk）など多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化／復号方式は、図１０ないし図２２を参照して後述する。
インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基にも行われる。
一実施形態による符号化部１２は、第１レイヤ映像に対して、インター予測またはイントラ予測を含むソースコーディング動作を遂行し、シンボルデータを生成することができる。該シンボルデータは、各符号化パラメータの値、及びレジデュアルのサンプル値を含んでもよい。
例えば、符号化部１２は、第１レイヤ映像のデータ単位のサンプルに対して、インター予測またはイントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、第１レイヤストリームを生成することができる。
符号化部１２は、ツリー構造の符号化単位に基づいて、第２レイヤ映像を符号化することができる。符号化部１２は、第２レイヤ映像の符号化単位のサンプルに対して、インター／イントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、第２レイヤストリームを生成することができる。
一実施形態による符号化部１２は、第１レイヤ映像の予測情報を利用して、第２レイヤ映像を予測するインターレイヤ予測を行うことができる。符号化部１２は、インターレイヤ予測構造を介して、第２レイヤ映像シーケンスのうち第２レイヤ原本映像を符号化するために、第１レイヤ復元映像の動き情報を利用して、第２レイヤ現在映像の動き情報を決定し、決定された動き情報に基づいて、第２レイヤ予測映像を生成し、第２レイヤ原本映像と第２レイヤ予測映像との予測誤差を符号化することができる。
一方、符号化部１２は、第２レイヤ映像に対して、符号化単位または予測単位別に、インターレイヤ予測を行い、第２レイヤ映像のブロックが参照する第１レイヤ映像のブロックを決定することができる。例えば、第２レイヤ映像において、現在ブロックの位置に相応して位置する第１レイヤ映像の復元ブロックが決定される。符号化部１２は、第２レイヤブロックに相応する第１レイヤ復元ブロックを、第２レイヤの予測ブロックとして利用することができる。このとき、符号化部１２は、第２レイヤブロックに対応する地点に位置する第１レイヤ復元ブロックを利用して、第２レイヤ予測ブロックを決定することができる。
符号化部１２は、インターレイヤ予測構造によって、第１レイヤ復元ブロックを利用して決定された第２レイヤ予測ブロックを、第２レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することができる。符号化部１２は、第１レイヤ復元映像を利用して、第２レイヤ予測ブロックのサンプル値と第２レイヤ原本ブロックのサンプル値との誤差、すなわち、インターレイヤ予測によるレジデュアル成分を変換及び量子化し、量子化された変換係数をエントロピー符号化することができる。
前述の符号化部１２は、現在ブロックのディスパリティベクトルを決定することができる。
現在ブロックのディスパリティベクトルは、周辺ブロック候補またはデプス値を基に決定されもする。ディスパリティベクトルとしては、ＮＢＤＶ（neighboring block disparity vector）及びＤｏＮＢＤＶ（depth oriented ＮＢＤＶ）がある。ここで、ＮＢＤＶは、現在ブロックの周辺ブロック候補のうち獲得されたディスパリティベクトルを利用して予測された現在ブロックのディスパリティベクトルを意味する。
また、他のレイヤ映像において復号されたデプス映像が存在する場合、前述のＮＢＤＶを利用して、現在ブロックに対応するデプスブロックが決定される。このとき、決定されたデプスブロックに含まれたデプス値のうち代表デプス値に、カメラパラメータ（例えば、カメラの位置を考慮したスケール（scaling）値またはオフセット（offset）値など）が適用され、ディスパリティベクトルに変換される。その場合、ＤｏＮＢＤＶは、変換されたディスパリティベクトルを利用して予測された現在ブロックのディスパリティベクトルを意味する。
符号化部１２は、現在ブロックのディスパリティベクトルを、現在ブロックの周辺ブロック候補のディスパリティベクトルであるＮＢＤＶと同一に決定することができる。
または、符号化部１２は、周辺ブロック候補のディスパリティベクトルを利用して、現在ブロックのディスパリティベクトルを誘導することができる。例えば、符号化部１２は、周辺ブロック候補のディスパリティベクトルであるＮＢＤＶにカメラパラメータを適用し、現在ブロックのディスパリティベクトルであるＤｏＮＢＤＶを誘導することができる。
符号化部１２は、現在ブロックのディスパリティベクトルが決定されれば、決定されたディスパリティベクトルを利用して、現在ブロックに対応するデプスブロックを決定し、決定されたデプスブロックに基づいて、現在ブロックを分割するＤＢＢＰ（depth based block partiton）機能を遂行することができる。ＤＢＢＰによれば、現在ブロックに対応するデプスブロックに基づいて、現在ブロックが背景（background）セグメントと客体（foreground）セグメントとに分割され、各セグメント別に予測が行われる。
符号化部１２は、現在ブロックサイズを獲得し、現在ブロックサイズが既決定の大きさより大きい場合、ＤＢＢＰ機能を適用することができる。すなわち、符号化部１２は、現在ブロックサイズが既決定の大きさ以下である場合には、ＤＢＢＰ機能の遂行を省略することができる。例えば、符号化部１２は、現在ブロックサイズが８ｘ８より大きい場合、ＤＢＢＰ機能を遂行することができる。
または、符号化部１２は、現在ブロックサイズが、４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つより大きい場合、ＤＢＢＰ機能を遂行することができる。
符号化部１２は、ＤＢＢＰ機能を遂行するために、現在ブロックのディスパリティベクトルが示すデプスブロックを、現在ブロックに対応するデプスブロックであると決定することができる。
符号化部１２は、決定されたデプスブロックを複数の領域に分割することができる。例えば、符号化部１２は、デプスブロックを、臨界値を超えたサンプル値を有するサンプルの領域である第１領域と、臨界値以下のサンプル値を有するサンプルの領域である第２領域とに分割することができる。
符号化部１２は、現在ブロックを、現在ブロックに対応するデプスブロックの分割された形態に基づいて、複数の領域に分割することができる。例えば、現在ブロックに対応するデプスブロックが、第１領域と第２領域よに分割されたとき、符号化部１２は、第１領域及び第２領域を現在ブロックに対応させることにより、現在ブロックを２つの領域に分割することができる。
符号化部１２は、分割された複数の領域を利用して、現在ブロックに対して動き予測（または、ディスパリティ予測）を行うことができる。
例えば、符号化部１２は、現在ブロックの分割された２つの領域それぞれに対して、動きベクトル（または、ディスパリティベクトル）を決定することができる。符号化部１２は、２つの領域それぞれの参照ブロックを示す動きベクトル（または、ディスパリティベクトル）を決定し、参照ブロックを利用して、現在ブロックの２つの領域それぞれに対して、動き補償（または、ディスパリティ補償）を行うことができる。
また、符号化部１２は、現在ブロックのディスパリティベクトルが決定されれば、決定されたディスパリティベクトルを利用して、現在ブロックのレジデュアル予測（residual prediction）を行うことができる。
該レジデュアル予測は、現在ブロックの異なる視点、または異なる時間の映像において、現在ブロックに対応する参照ブロックのレジデュアル成分から、現在ブロックのレジデュアル成分を予測する技術である。
例えば、符号化部１２は、時間方向の予測を行う場合には、現在ブロックの異なる視点の参照ブロックが示すブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル予測を行うことができる。または、符号化部１２は、ビュー方向（inter-view）の予測を行う場合には、現在ブロックと同一視点の参照ブロックが示すブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル成分を予測することができる。
このとき、符号化部１２は、現在ブロックサイズが既決定のブロックサイズより大きい場合、レジデュアル予測を行うことができる。すなわち、符号化部１２は、現在ブロックサイズが既決定の大きさ以下である場合には、レジデュアル予測の遂行を省略することができる。例えば、符号化部１２は、現在ブロックサイズが８ｘ８より大きい場合、レジデュアル予測を行うことができる。
または、符号化部１２は、現在ブロックサイズが４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つより大きい場合、レジデュアル予測を行うことができる。
ビットストリーム生成部１４は、符号化部１２において、動き予測及びレジデュアル予測のうち少なくとも一つが行われた結果として生成されたデータを、ビットストリームとして生成することができる。
以下、マルチレイヤビデオ符号化装置１０の動作について、図１Ｂないし図１Ｄを参照して詳細に説明する。
図１Ｂは、一実施形態によるマルチレイヤビデオ符号化方法のフローチャートである。
段階Ｓ１１において、マルチレイヤビデオ符号化装置１０は、現在ブロックに隣接するブロックのうち参照可能な周辺ブロック候補を決定することができる。１以上の周辺ブロック候補のうち予測に利用される１つの周辺ブロック候補が決定される。
段階Ｓ１２において、マルチレイヤビデオ符号化装置１０は、決定された周辺ブロックのディスパリティベクトルを獲得することができる。
マルチレイヤビデオ符号化装置１０は、現在ブロックの周辺ブロック候補として、現在ブロックの空間的周辺ブロック候補、または時間的周辺ブロック候補を利用することができる。周辺ブロック候補のうち予測に利用される周辺ブロック候補から、ディスパリティベクトルを獲得することができる。マルチレイヤビデオ符号化装置１０がディスパリティベクトルを獲得する詳細な方法については、マルチレイヤビデオ復号装置２０を対象に、図４Ａないし図４Ｄにおいて、詳細に説明することとする。
段階Ｓ１３において、マルチレイヤビデオ符号化装置１０は、獲得された周辺ブロック候補のディスパリティベクトルを、現在ブロックのディスパリティベクトルとして決定することができる。すなわち、マルチレイヤビデオ符号化装置１０は、現在ブロックのディスパリティベクトルを、現在ブロックの周辺ブロック候補のディスパリティベクトルであるＮＢＤＶと同一に決定することができる。
段階Ｓ１４において、マルチレイヤビデオ符号化装置１０は、決定されたディスパリティベクトルを利用して、現在ブロックに対応するデプスブロックを決定することができる。例えば、マルチレイヤビデオ符号化装置１０は、ディスパリティベクトルが示すデプスピクチャの参照ブロックを、現在ブロックに対応するデプスブロックとして決定することができる。
段階Ｓ１４で決定されたデプスブロックの領域分割形態に基づいて、現在ブロックが複数の領域に分割される。図１Ｃは、他の一実施形態によるマルチレイヤビデオ符号化方法のフローチャートである。
段階Ｓ２１において、マルチレイヤビデオ符号化装置１０は、現在ブロックのディスパリティベクトルを獲得することができる。
段階Ｓ２２において、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが既決定の大きさより大きい場合、ディスパリティベクトルが示すデプスブロックに基づいて、現在ブロックを複数の領域に分割することができる。例えば、現在ブロックサイズが既決定の大きさより大きい場合、ＤＢＢＰ機能を適用することができる。すなわち、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが既決定の大きさ以下である場合には、ＤＢＢＰ機能の遂行を省略することができる。ここで、既決定のブロックサイズは、８ｘ８でもある。
または、既決定のブロックサイズは、４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つでもある。
マルチレイヤビデオ符号化装置１０が、ディスパリティベクトルが示すデプスブロックに基づいて、現在ブロックを複数の領域に分割する詳細な方法については、マルチレイヤビデオ復号装置２０を対象に、図５ないし図７Ｂで詳細に説明することにする。
図１Ｄは、さらに他の一実施形態によるマルチレイヤビデオ符号化方法のフローチャートである。
段階Ｓ３１において、マルチレイヤビデオ符号化装置１０は、現在ブロックのディスパリティベクトルを獲得することができる。
段階Ｓ３２において、マルチレイヤビデオ符号化装置１０は、現在ブロックのディスパリティベクトルが示す参照ブロックのレジデュアル成分を獲得することができる。マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが既決定の大きさより大きい場合、参照ブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル成分を予測することができる。すなわち、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが既決定の大きさ以下である場合には、レジデュアル予測の遂行を省略することができる。例えば、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが８ｘ８より大きい場合、レジデュアル予測を行うことができる。
または、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つより大きい場合、レジデュアル予測を行うことができる。
マルチレイヤビデオ符号化装置１０が、参照ブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル成分を予測する詳細な方法については、マルチレイヤビデオ復号装置２０を対象に、図８Ａないし図９で詳細に説明することにする。
マルチレイヤビデオ符号化装置１０は、現在ブロックのレジデュアル成分に対して、前記参照ブロックのレジデュアル成分を予測し、前記現在ブロックのレジデュアル成分と前記参照ブロックのレジデュアル成分との誤差を符号化することができる。
図２Ａは、一実施形態によるマルチレイヤビデオ復号装置のブロック図である。図２Ａを参照すれば、マルチレイヤビデオ復号装置２０は、獲得部２２及び復号部２４を含んでもよい。
一実施形態によるマルチレイヤビデオ復号装置２０において、１つのビットストリームから、レイヤ別にシンボルがパージングされる。
空間的スケーラビリティに基づいたマルチレイヤビデオ復号装置２０は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤに符号化されたストリームを受信することができる。第１レイヤストリームを復号し、低解像度映像シーケンスが復元され、第２レイヤストリームを復号し、高解像度映像シーケンスが復元される。
他の例として、多視点ビデオがスケーラブルビデオコーディング方式によって復号される。ステレオスコピックビデオストリームが多数レイヤに復号される場合、第１レイヤストリームを復号し、左視点映像が復元される。第１レイヤストリームに、第２レイヤストリームをさらに復号し、右視点映像が復元される。
または、多視点ビデオストリームが多数レイヤで復号される場合、第１レイヤストリームを復号し、中央視点映像が復元される。第１レイヤストリームに、第２レイヤストリームをさらに復号し、左視点映像が復元される。第１レイヤストリームに、第３レイヤストリームをさらに復号し、右視点映像が復元される。
他の例として、時間的スケーラビリティに基づいたスケーラブルビデオコーディング方式が遂行される。第１レイヤストリームを復号し、基本フレームレートの映像が復元される。第１レイヤストリームに、第２レイヤストリームをさらに復号し、高速フレームレートの映像が復元される。
また、第２レイヤが３以上である場合、第１レイヤストリームから第１レイヤ映像が復元され、第１レイヤ復元映像を参照し、第２レイヤストリームをさらに復号すれば、第２レイヤ映像がさらに復元される。第２レイヤ復元映像を参照し、Ｋ番目レイヤストリームをさらに復号すれば、Ｋ番目レイヤ映像がさらに復元される。
マルチレイヤビデオ復号装置２０は、第１レイヤストリーム及び第２レイヤストリームから、第１レイヤ映像及び第２レイヤ映像の符号化されたデータを獲得し、加えてインター予測によって生成された動きベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
例えば、マルチレイヤビデオ復号装置２０は、各レイヤ別に、インター予測されたデータを復号し、多数レイヤ間でインターレイヤ予測されたデータを復号することができる。符号化単位または予測単位を基に、動き補償（motion compensation）及びインターレイヤビデオ復号を介した復元が行われる。
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことにより、映像を復元することができる。動き補償は、現在映像の動きベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分と、を合成し、現在映像の復元映像を再構成する動作を意味する。
また、マルチレイヤビデオ復号装置２０は、インターレイヤ予測を介して予測された第２レイヤ映像を復号するために、第１レイヤ映像の予測情報を参照し、インターレイヤビデオ復号を行うこともできる。インターレイヤビデオ復号は、現在映像の動き情報を決定するために、他のレイヤの参照ブロックの予測情報を利用して、現在映像の動き情報を再構成する動作を意味する。
一実施形態によるマルチレイヤビデオ復号装置２０は、第２レイヤ映像を利用して予測された第３レイヤ映像を復元するためのインターレイヤビデオ復号を行うこともできる。インターレイヤ予測構造は、追って図３Ａを参照して詳細に説明する。
ただし、一実施形態による復号部２４が、第１レイヤ映像シーケンスを参照せずにも、第２レイヤストリームを復号することもできる。従って、復号部２４が第２レイヤ映像シーケンスを復号するために、インターレイヤ予測を行うと制限的に解釈しないように留意しなければならない。
マルチレイヤビデオ復号装置２０は、ビデオのそれぞれの映像のブロック別に復号する。ブロックは、ツリー構造による符号化単位においては、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
獲得部２２は、ビットストリームを受信し、受信されたビットストリームから、符号化された映像についての情報を獲得することができる。
復号部２４は、ビットストリームからパージングされた第１レイヤ映像のシンボルを利用し、第１レイヤ映像を復号することができる。マルチレイヤビデオ復号装置２０がツリー構造の符号化単位を基に符号化されたストリームを受信するならば、復号部２４は、第１レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号を行うことができる。
復号部２４は、最大符号化単位ごとにエントロピー復号を行い、符号化情報と、符号化されたデータとを獲得することができる。復号部２４は、ストリームから獲得した符号化されたデータに対して、逆量子化、逆変換を行い、レジデュアル成分を復元することができる。他の実施形態による復号部２４は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を行った、映像のレジデュアル成分が復元される。
復号部２４は、同一レイヤ映像間で、動き補償を介して、予測映像を決定し、予測映像とレジデュアル成分とを結合し、第１レイヤ映像を復元することができる。
復号部２４は、インターレイヤ予測構造によれば、第１レイヤ復元映像のサンプルを利用して、第２レイヤ予測映像を生成することができる。復号部２４は、第２レイヤストリームを復号し、インターレイヤ予測による予測誤差を獲得することができる。復号部２４は、第２レイヤ予測映像に予測誤差を結合することにより、第２レイヤ復元映像を生成することができる。
復号部２４は、復号部２４で復号された第１レイヤ復元映像を利用して、第２レイヤ予測映像を決定することができる。復号部２４は、インターレイヤ予測構造によって、第２レイヤ映像の符号化単位または予測単位が参照する第１レイヤ映像のブロックを決定することができる。例えば、第２レイヤ映像において、現在ブロックの位置に相応して位置する第１レイヤ映像の復元ブロックが決定される。復号部２４は、第２レイヤブロックに相応する第１レイヤ復元ブロックを利用して、第２レイヤ予測ブロックを決定することができる。復号部２４は、第２レイヤブロックと同一地点に位置（co-located）する第１レイヤ復元ブロックを利用して、第２レイヤ予測ブロックを決定することができる。
復号部２４は、インターレイヤ予測構造によって、第１レイヤ復元ブロックを利用して決定された第２レイヤ予測ブロックを、第２レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することもできる。この場合、復号部２４は、第１レイヤ復元映像を利用して決定した第２レイヤ予測ブロックのサンプル値と、インターレイヤ予測によるレジデュアル成分と、を合成することにより、第２レイヤブロックを復元することができる。
一方、前述の復号部２４は、現在ブロックのディスパリティベクトルを決定することができる。
復号部２４は、現在ブロックのディスパリティベクトルを、現在ブロックの周辺ブロック候補のディスパリティベクトルであるＮＢＤＶを利用して、決定することができる。
または、復号部２４は、周辺ブロック候補のディスパリティベクトルを利用して、現在ブロックのディスパリティベクトルを誘導することができる。例えば、符号化部１２は、周辺ブロック候補のディスパリティベクトルであるＮＢＤＶに、カメラパラメータを適用し、現在ブロックのディスパリティベクトルであるＤｏＮＢＤＶを誘導することができる。
復号部２４は、現在ブロックのディスパリティベクトルが決定されれば、決定されたディスパリティベクトルを利用して、現在ブロックを分割するＤＢＢＰ機能を遂行することができる。
このとき、復号部２４は、現在ブロックサイズが既決定の大きさより大きい場合、ＤＢＢＰ機能を適用することができる。すなわち、復号部２４は、現在ブロックサイズが既決定の大きさ以下である場合には、ＤＢＢＰ機能の遂行を省略することができる。例えば、復号部２４は、現在ブロックサイズが８ｘ８より大きい場合、ＤＢＢＰ機能を遂行することができる。
または、復号部２４は、現在ブロックサイズが４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つより大きい場合、ＤＢＢＰ機能を遂行することができる。
復号部２４は、ＤＢＢＰ機能によって、現在ブロックのディスパリティベクトルが示すデプスブロックを、現在ブロックに対応するデプスブロックであると決定することができる。
復号部２４は、決定されたデプスブロックを複数の領域に分割し、デプスブロックの分割形態に基づいて、現在ブロックを複数の領域に分割することができる。
復号部２４は、分割された複数の領域を利用して、現在ブロックに対して動き予測を行うことができる。例えば、復号部１２は、現在ブロックの分割された２つの領域それぞれに対して、動きベクトル（または、ディスパリティベクトル）を決定することができる。復号部２４は、決定された動きベクトルを利用して、２個の領域それぞれの参照ブロックを決定し、決定された参照ブロックを利用して、現在ブロックの２つの領域それぞれに対して、動き補償（motion compensation）（または、ディスパリティ補償（disparity compensation））を行うことができる。
また、復号部２４は、現在ブロックのディスパリティベクトルが決定されれば、決定されたディスパリティベクトルを利用して、現在ブロックのレジデュアル予測を行うことができる。
レジデュアル予測によれば、現在ブロックのレジデュアル成分が、他の視点または他の時間の映像において、現在ブロックに対応する参照ブロックのレジデュアル成分から予測される。
例えば、復号部２４は、時間方向の予測を行う場合には、現在ブロックと同一視点の参照ブロックが示すブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル予測を行うことができる。または、復号部２４は、ビュー方向（inter-view）の予測を行う場合には、現在ブロックと異なる視点の参照ブロックが示すブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル予測を行うことができる。
このとき、復号部２４は、現在ブロックサイズが既決定の大きさより大きい場合、レジデュアル予測を行うことができる。すなわち、復号部２４は、現在ブロックサイズが既決定の大きさ以下である場合には、レジデュアル予測の遂行を省略することができる。例えば、復号部２４は、現在ブロックサイズが８ｘ８より大きい場合、レジデュアル予測を行うことができる。
または、復号部２４は、現在ブロックサイズが４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つより大きい場合、レジデュアル予測を行うことができる。
復号部２４は、動き予測及びレジデュアル予測のうち少なくとも一つを行い、現在ブロックを復号することができる。
以下、マルチレイヤビデオ復号装置２０の動作について、図２Ｂないし図２Ｄを参照して詳細に説明する。
図２Ｂは、一実施形態によるマルチレイヤビデオ復号方法のフローチャートである。
段階Ｓ４１において、マルチレイヤビデオ復号装置２０は、現在ブロックに隣接するブロックのうち参照可能な周辺ブロック候補を決定することができる。１以上の周辺ブロック候補のうち予測に利用される周辺ブロック候補が決定される。
段階Ｓ４２において、マルチレイヤビデオ復号装置２０は、決定された周辺ブロックのディスパリティベクトルを獲得することができる。
マルチレイヤビデオ復号装置２０は、現在ブロックの周辺ブロック候補として、現在ブロックの空間的周辺ブロック候補または時間的周辺ブロック候補を利用することができる。周辺ブロック候補のうち予測に利用される周辺ブロック候補から、ディスパリティベクトルを獲得することができる。マルチレイヤビデオ復号装置２０がディスパリティベクトルを獲得する詳細な方法については、図４Ａないし図４Ｄで詳細に説明することにする。
段階Ｓ４３において、マルチレイヤビデオ復号装置２０は、獲得された周辺ブロック候補のディスパリティベクトルを、現在ブロックのディスパリティベクトルとして決定することができる。すなわち、マルチレイヤビデオ復号装置２０は、現在ブロックのディスパリティベクトルを、現在ブロックの周辺ブロック候補のディスパリティベクトルであるＮＢＤＶと同一に決定することができる。
段階Ｓ４４において、マルチレイヤビデオ復号装置２０は、決定されたディスパリティベクトルを利用して、現在ブロックに対応するデプスブロックを決定することができる。例えば、マルチレイヤビデオ復号装置２０は、ディスパリティベクトルが示すデプスピクチャの参照ブロックを、現在ブロックに対応するデプスブロックとして決定することができる。
図２Ｃは、他の一実施形態によるマルチレイヤビデオ復号方法のフローチャートである。
段階Ｓ５１において、マルチレイヤビデオ復号装置２０は、現在ブロックのディスパリティベクトルを獲得することができる。
段階Ｓ５２において、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが既決定の大きさより大きい場合、ディスパリティベクトルが示すデプスブロックに基づいて、現在ブロックを複数の領域に分割することができる。例えば、現在ブロックサイズが既決定の大きさより大きい場合、ＤＢＢＰ機能を適用することができる。すなわち、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが既決定の大きさ以下である場合には、ＤＢＢＰ機能の遂行を省略することができる。ここで、既決定のブロックサイズは、８ｘ８でもある。
または、既決定の大きさは、４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち一つでもある。
マルチレイヤビデオ復号装置２０が、ディスパリティベクトルが示すデプスブロックに基づいて、現在ブロックを複数の領域に分割する詳細な方法については、図５ないし図７Ｂで詳細に説明することにする。
図２Ｄは、他の一実施形態によるマルチレイヤビデオ復号方法のフローチャートである。
段階Ｓ６１において、マルチレイヤビデオ復号装置２０は、現在ブロックのディスパリティベクトルを獲得することができる。
段階Ｓ６２において、マルチレイヤビデオ復号装置２０は、現在ブロックに対応する参照ブロックのレジデュアル成分を獲得することができる。段階Ｓ６３において、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが既決定の大きさより大きい場合、参照ブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル成分を予測することができる。すなわち、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが既決定の大きさ以下である場合には、レジデュアル予測の遂行を省略することができる。例えば、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが８ｘ８より大きい場合、レジデュアル予測を行うことができる。
または、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが４ｘ４、１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つより大きい場合、レジデュアル予測を行うことができる。
マルチレイヤビデオ復号装置２０が参照ブロックのレジデュアル成分を利用して、現在ブロックのレジデュアル成分を予測する詳細な方法については、図８Ａないし図９で詳細に説明することにする。
図３Ａは、一実施形態によるインターレイヤ予測構造を図示している。
一実施形態によるマルチレイヤビデオ符号化装置１０は、図３Ａに図示された多視点ビデオ予測構造の再生順序５０によって、基本視点映像、左視点映像及び右視点映像を予測符号化することができる。
一実施形態によれば、基本視点、左視点、右視点の映像は、それぞれ異なるレイヤの映像に対応する。例えば、基本視点は、第１レイヤに対応し、左視点は、第２レイヤに対応し、右視点は、第３レイヤに対応する。
関連技術による多視点ビデオ予測構造の再生順序５０によれば、横方向に、同一視点（view）の映像が配列されている。従って、「left」と表記された左視点映像が、横方向に一列に配列され、「center」と表記された基本視点映像が、横方向に一列に配列され、「right」と表記された右視点映像が、横方向に一列に配列されている。基本視点映像は、左視点／右視点映像に対して、中央視点映像でもある。
また、縦方向に、ＰＯＣ順序が同一である映像が配列される。映像のＰＯＣ順序は、ビデオを構成する映像の再生順序を示す。多視点ビデオ予測構造５０で表示されている「ＰＯＣ Ｘ」は、当該列（column）に位置した映像の相対的な再生順序を示し、Ｘの数字が小さいほど、再生順序が先になり、大きくなるほど、再生順序が遅くなる。
従って、関連技術による多視点ビデオ予測構造の再生順序５０によれば、「left」と表記された左視点映像が、ＰＯＣ順序（再生順序）によって横方向に配列され、「center」と表記された基本視点映像が、ＰＯＣ順序（再生順序）によって横方向に配列され、「right」と表記された右視点映像が、ＰＯＣ順序（再生順序）によって横方向に配列されている。また、基本視点映像と同一列に位置した左視点映像及び右視点映像は、いずれも視点は異なるが、ＰＯＣ順序（再生順序）が同一映像である。
各視点別に、４個の連続映像が１つのＧＯＰ（group of picture）を構成している。各ＧＯＰは、連続するアンカーピクチャ間の映像と、１つのアンカーピクチャ（key picture）とを含む。
該アンカーピクチャは、ランダムアクセスポイント（random access point）であり、ビデオを再生するとき、映像の再生順序、すなわち、ＰＯＣ順序によって配列された映像のうち任意に再生位置が選択されれば、再生位置において、ＰＯＣ順序が最も隣接するアンカーピクチャが再生される。基本視点映像は、基本視点アンカーピクチャ５１，５２，５３，５４，５５を含み、左視点映像は、左視点アンカーピクチャ１３１，１３２，１３３，１３４，１３５を含み、右視点映像は、右視点アンカーピクチャ２３１，２３２，２３３，２３４，２３５を含む。
多視点映像は、ＧＯＰ順に再生されて予測（復元）される。まず、多視点ビデオ予測構造の再生順序５０によれば、各視点別に、ＧＯＰ ０に含まれた映像が再生された後、ＧＯＰ １に含まれた映像が再生される。すなわち、ＧＯＰ ０、ＧＯＰ １、ＧＯＰ ２、ＧＯＰ ３の順序で、各ＧＯＰに含まれた映像が再生される。また、多視点ビデオ予測構造のコーディング順序によれば、各視点別に、ＧＯＰ ０に含まれた映像が予測された後、ＧＯＰ １に含まれた映像が予測される。すなわち、ＧＯＰ ０、ＧＯＰ １、ＧＯＰ ２、ＧＯＰ ３の順序で、各ＧＯＰに含まれた映像が予測される。
多視点ビデオ予測構造の再生順序５０によれば、映像に対して、視点間予測（インターレイヤ予測）及びインター予測がいずれも行われる。多視点ビデオ予測構造において、矢印が始める映像が参照映像であり、矢印が終わる映像が、参照映像を利用して予測される映像である。
基本視点映像の予測結果は、符号化された後、基本視点映像ストリームの形態に出力され、付加視点映像の予測結果は、符号化された後、レイヤビットストリームの形態に出力される。また、左視点映像の予測符号化結果は、第１レイヤビットストリームとして出力され、右視点映像の予測符号化結果は、第２レイヤビットストリームとして出力される。
基本視点映像については、インター予測だけが行われる。すなわち、Ｉピクチャタイプであるアンカーピクチャ５１，５２，５３，５４，５５は、他の映像を参照しないが、Ｂピクチャタイプ及びｂピクチャタイプである残りの映像は、他の基本視点映像を参照して予測される。Ｂピクチャタイプ映像は、ＰＯＣ順序が先立つＩピクチャタイプアンカーピクチャと、後になるＩピクチャタイプアンカーピクチャとを参照して予測される。ｂピクチャタイプ映像は、ＰＯＣ順序が先立つＩピクチャタイプアンカーピクチャと、後になるＢピクチャタイプ映像とを参照したり、ＰＯＣ順序が先立つＢピクチャタイプ映像と、後になるＩピクチャタイプアンカーピクチャとを参照して予測される。
左視点映像及び右視点映像については、それぞれ異なる視点映像を参照する視点間予測（インターレイヤ予測）及び同一視点映像を参照するインター予測が行われる。
左視点アンカーピクチャ１３１，１３２，１３３，１３４，１３５に対して、それぞれＰＯＣ順序が同一である基本視点アンカーピクチャ５１，５２，５３，５４，５５を参照し、視点間予測（インターレイヤ予測）が行われる。右視点アンカーピクチャ２３１，２３２，２３３，２３４，２３５については、それぞれＰＯＣ順序が同一である基本視点映像５１，５２，５３，５４，５５または左視点アンカーピクチャ１３１，１３２，１３３，１３４，１３５を参照し、視点間予測が行われる。また、左視点映像及び右視点映像のうち、アンカーピクチャ１３１，１３２，１３３，１３４，１３５，２３１，２３２，２３３，２３４，２３５ではない残りの映像についても、ＰＯＣが同一である異なる視点の映像を参照する視点間予測（インターレイヤ予測）が行われる。
左視点映像及び右視点映像のうちアンカーピクチャ１３１，１３２，１３３，１３４，１３５，２３１，２３２，２３３，２３４，２３５ではない残りの映像は、同一視点映像を参照して予測される。
ただし、左視点映像及び右視点映像は、それぞれ、同一視点の付加視点映像のうち、再生順序が先行するアンカーピクチャを参照して予測されないこともある。すなわち、現在左視点映像のインター予測のために、現在左視点映像より再生順序が先行する左視点アンカーピクチャを除いた左視点映像が参照される。同様に、現在右視点映像のインター予測のために、現在右視点映像より再生順序が先行する右視点アンカーピクチャを除いた右視点映像が参照される。
また、現在左視点映像のインター予測のために、現在左視点映像が属した現在ＧＯＰより先行する以前ＧＯＰに属する左視点映像は、参照せず、現在ＧＯＰに属するが、現在左視点映像より先に復元される左視点映像を参照して予測が行われることが望ましい。右視点映像の場合も、同様である。
一実施形態によるマルチレイヤビデオ復号装置２０は、図３Ａに図示された多視点ビデオ予測構造の再生順序５０によって、基本視点映像、左視点映像及び右視点映像を復元することができる。
左視点映像は、基本視点映像を参照する視点間ディスパリティ補償と、左視点映像を参照するインター動き補償と、を介して復元される。右視点映像は、基本視点映像及び左視点映像を参照する視点間ディスパリティ補償と、右視点映像を参照するインター動き補償と、を介して復元される。左視点映像及び右視点映像のディスパリティ補償、及び動き補償のために、参照映像が先に復元されなければならない。
左視点映像のインター動き補償のために、復元された左視点の参照映像を参照するインター動き補償を介して、左視点映像が復元される。右視点映像のインター動き補償のために、復元された右視点の参照映像を参照するインター動き補償を介して、右視点映像が復元される。
また、現在左視点映像のインター動き補償のために、現在左視点映像が属した現在ＧＯＰより先行する以前ＧＯＰに属する左視点映像は、参照せず、現在ＧＯＰに属するが、現在左視点映像より先に復元される左視点映像だけ参照されることが望ましい。右視点映像の場合も、同様である。
また、一実施形態によるマルチレイヤビデオ復号装置２０は、多視点映像を符号化／復号するために、ディスパリティ予測（または、インターレイヤ予測）を行うだけでなく、視点間動きベクトル予測を介した映像間動き補償（または、インターレイヤ動き予測）を行うこともできる。
図３Ｂは、一実施形態によるマルチレイヤビデオを示している。
多様なネットワーク環境、及び多様な端末機において、最適のサービス提供を可能とするために、マルチレイヤビデオ符号化装置１０は、多様な空間的解像度（spatial resolution）、多様な画質（quality）、多様なフレーム率（frame-rate）、互いに異なる視点を有するマルチレイヤ映像シーケンスを符号化し、スケーラブルなビットストリームを出力することができる。すなわち、マルチレイヤビデオ符号化装置１０は、多様なスケーラビリティ類型によって、入力映像を符号化し、スケーラブルビデオビットストリームを生成して出力することができる。スケーラビリティは、時間的、空間的、画質的、多視点的なスケーラビリティ、及びかようなスケーラビリティの組み合わせを含む。かようなスケーラビリティは、各類型によって区分される。また、スケーラビリティは、各類型内において、次元識別子で区分される。
例えば、スケーラビリティは、時間的、空間的、画質的及び多視点的なスケーラビリティのようなスケーラビリティ類型を有する。そして、各類型によって、スケーラビリティ次元識別子で区分される。例えば、互いに異なるスケーラビリティを有するならば、互いに異なる次元識別子を有することができる。例えば、当該スケーラビリティ類型に係わる高次元的なスケーラビリティであればあるほど、スケーラビリティ次元を高く割り当てることもできる。
ビットストリームから、有効な（valid）サブストリームに分離することができる場合、該ビットストリームは、スケーラブル（scalable）であるとする。空間的にスケーラブルなビットストリームは、多様な解像度のサブストリームを含む。同一スケーラビリティ類型において、互いに異なるスケーラビリティを区別するために、スケーラビリティ次元を利用する。該スケーラビリティ次元は、スケーラビリティ次元識別子によって表現される。
例えば、空間的にスケーラブルなビットストリームは、ＱＶＧＡ、ＶＧＡ、ＷＶＧＡのような互いに異なる解像度を有するサブストリームに分離することができる。例えば、互いに異なる解像度を有する各レイヤは、次元識別子を利用して区別される。例えば、ＱＶＧＡサブストリームは、空間的スケーラビリティ次元識別子値として０を有することができ、ＶＧＡサブストリームは、空間的スケーラビリティ次元識別子値として１を有することができ、ＷＶＧＡサブストリームは、空間的スケーラビリティ次元識別子値として２を有することができる。
時間的にスケーラブルなビットストリームは、多様なフレーム率を有するサブストリームを含む。例えば、時間的にスケーラブルなビットストリームは、７．５Ｈｚのフレーム、１５Ｈｚのフレーム率、３０Ｈｚのフレーム率、６０Ｈｚのフレーム率を有するサブストリームに分離することができる。画質的にスケーラブルなビットストリームは、ＣＧＳ（coarse-grained scalability）方式、ＭＧＳ（medium-grained scalability）方式、ＦＧＳ（fine-grained scalability）方式によって、互いに異なる画質（quality）を有するサブストリームに分離することができる。時間的スケーラビリティも、互いに異なるフレーム率によって、互いに異なる次元に区分され、画質的スケーラビリティも、互いに異なる方式によって、互いに異なる次元に区分される。
多視点スケーラブルビットストリームは、１つのビットストリーム内において、互いに異なる視点のサブストリームを含む。一例として、ステレオスコピック（stereo scopic）映像の場合、ビットストリームは、左側映像及び右側映像を含む。また、スケーラブルビットストリームは、多視点映像及びデブスマップ（depth map）の符号化されたデータについてのサブストリームを含んでもよい。視点的スケーラビリティも、それぞれの視点によって、互いに異なる次元に区分される。
互いに異なるスケーラブル拡張類型は、互いに結合される。すなわち、スケーラブルビデオビットストリームは、時間的、空間的、画質的、多視点的なスケーラビリティのうち少なくとも一つが、互いに異なる映像で構成されたマルチレイヤの映像シーケンスを符号化したサブストリームを含んでもよい。
図３Ｂにおいては、互いに異なるスケーラブル拡張類型を有する映像シーケンス３０１０，３０２０，３０３０を図示している。第１レイヤの映像シーケンス３０１０、第２レイヤの映像シーケンス３０２０、及び第ｎ（ｎは、整数）レイヤの映像シーケンス３０３０は、解像度、画質、視点のうち少なくとも一つが互いに異なる映像シーケンスでもある。また、第１レイヤの映像シーケンス３０１０、第２レイヤの映像シーケンス３０２０及び第ｎ（ｎは、整数）レイヤの映像シーケンス３０３０のうち１つのレイヤの映像シーケンスは、基本レイヤの映像シーケンスであり、他のレイヤの映像シーケンスは、向上レイヤの映像シーケンスでもある。
一例として、第１レイヤの映像シーケンス３０１０は、第１視点の映像であり、第２レイヤの映像シーケンス３０２０は、第２視点の映像であり、第ｎレイヤの映像シーケンス３０３０は、第ｎ視点の映像でもある。他の例として、第１レイヤの映像シーケンス３０１０は、基本レイヤの左視点映像であり、第２レイヤの映像シーケンス３０２０は、基本レイヤの右視点映像であり、第ｎレイヤの映像シーケンス３０３０は、向上レイヤの右視点映像でもある。前述の例に限定されず、互いに異なるスケーラブル拡張類型を有する映像シーケンス３０１０，３０２０，３０３０は、それぞれ互いに異なる映像属性（attribute）を有する映像シーケンスでもある。
図４Ａは、一実施形態による、現在ブロックのディスパリティベクトルについて説明するための図面である。
図４Ａにおいて、マルチレイヤビデオ復号装置２０は、ディスパリティベクトル（ＤＶ）４３を利用して、現在ブロック４１に対応する他視点の参照ブロック４２を決定することができる。マルチレイヤビデオ復号装置２０は、決定された参照ブロック４２を利用して、現在ブロック４１を予測することができる。
ディスパリティベクトルは、別途の情報として、ビットストリームを介して、マルチレイヤビデオ符号化装置１０から、マルチレイヤビデオ復号装置２０にも伝送され、周辺ブロック候補またはデプス値を基に決定される。前述のように、ディスパリティベクトルとしては、前述のように、ＮＢＤＶ及びＤｏＮＢＤＶがある。
図４Ｂは、一実施形態による、現在ブロックの空間的周辺ブロック候補を利用して、ディスパリティベクトルを獲得する一例を示している。
図４Ｂを参照すれば、マルチレイヤビデオ復号装置２０は、現在ブロック５１のディスパリティベクトルを獲得するために、空間的周辺ブロック候補を、所定検索順序によって検索することができる。ここで、検索される周辺ブロック候補は、現在ブロック５１に、時間的または空間的に隣接する予測単位でもある。
ディスパリティベクトルを獲得するための空間的周辺ブロック候補の候補は、例として、現在ブロック５１の左側下端に位置する周辺ブロック候補Ａ０ ５１−１、現在ブロック５１の左側に位置する周辺ブロック候補Ａ１ ５１−２、現在ブロック５１の右側上端に位置する周辺ブロック候補Ｂ０ ５１−３、現在ブロック５１の上端に位置する周辺ブロック候補Ｂ１ ５１−４、現在ブロック５１の左側上端に位置する周辺ブロック候補Ｂ２ ５１−５にもなる。周辺ブロック候補が探索される順序は、例えば、Ａ１ ５１−２、Ｂ１ ５１−４、Ｂ０ ５１−３、Ａ０ ５１−１、Ｂ２ ５１−５の順序にもなる。
周辺ブロック候補のうち予測に利用される１つの周辺ブロック候補が決定され、決定された周辺ブロック候補のディスパリティベクトルを利用して、現在ブロック５１のディスパリティベクトルが決定される。
例を挙げれば、マルチレイヤビデオ復号装置２０は、周辺ブロック候補のうち空間的周辺ブロック候補から獲得されたディスパリティベクトルを、現在ブロック５１の基本ディスパリティベクトル（ＤｉｓｐＶｅｃ）であると決定することができる。また、空間的周辺ブロック候補から、ディスパリティベクトルを獲得することができない場合、マルチレイヤビデオ復号装置２０は、現在ブロックの基本ディスパリティベクトルを（０，０）ベクトルと設定することができる。
一方、ディスパリティベクトルを予測するための周辺ブロック候補の位置及び個数は、前記例に限定されずに変更される。
図４Ｃは、一実施形態による、現在ブロックの時間的周辺ブロック候補を利用して、ディスパリティベクトルを獲得する一例を示している。図４Ｃを参照すれば、マルチレイヤビデオ復号装置２０は、現在ブロック６１とコローケテッド（co-located）であるブロック６２、及びコローケテッドブロック６２の周辺のブロックのうち少なくとも一つを、時間的周辺ブロック候補に決定することができる。ここで、コローケテッドブロック６２は、コローケテッドピクチャのコローケテッドブロックでもあり、他の例として、ランダムアクセス（random access）ピクチャのコローケテッドブロックでもある。例えば、コローケテッドブロック６２の右側下端ブロック６２−１が、時間的周辺ブロック候補に決定される。マルチレイヤビデオ復号装置２０は、周辺ブロック候補のうち時間的周辺ブロック候補として、ディスパリティベクトルが獲得される場合、獲得されたディスパリティベクトルと同一に、現在ブロック５１の基本ディスパリティベクトル（ＭｖＤｉｓｐ）と決定することができる。
現在ブロックの空間的周辺ブロック候補及び時間的周辺ブロック候補を利用して、ディスパリティベクトルを獲得する一例は、次の通りである。ディスパリティベクトルを獲得するための空間的周辺ブロック候補は、他の例として、現在ブロック５１の左側に位置する周辺ブロック候補Ａ１ ５１−２、現在ブロック５１の上端に位置する周辺ブロック候補Ｂ１ ５１−４にもなり、時間的周辺ブロック候補の候補は、コローケテッドピクチャのコローケテッドブロック、ランダムアクセスピクチャのコローケテッドブロックにもなる。周辺ブロック候補が探索される順序は、例えば、コローケテッドピクチャのコローケテッドブロック、ランダムアクセスピクチャのコローケテッドブロックＡ１ ５１−２，Ｂ１ ５１−４の順序にもなる。
前述の図４Ｂ及び図４Ｃにおいて、周辺ブロック候補のうちディスパリティベクトルが既決定である周辺ブロック候補だけ現在ブロックのディスパリティベクトルを予測する参照ブロックにもなる。図４Ｄは、一実施形態による、デプスピクチャを利用して、現在ブロックのディスパリティベクトルを獲得する一例を示している。
マルチレイヤビデオ復号装置２０は、ビットストリームから獲得されたデプス換算情報（depth＿refinement＿flag）を利用して、第１レイヤのデプスピクチャ７３が利用可能であるか否かということを判断することができる。デプス換算情報（depth＿refinement＿flag）が、第１レイヤのデプスピクチャ７３の利用が可能であるということを示す場合、マルチレイヤビデオ復号装置２０は、周辺ブロック候補から獲得されたＮＢＤＶ ７５と、第１レイヤのデプスピクチャ７３とを利用して、現在ブロック７２のディスパリティを誘導することができる。
具体的には、マルチレイヤビデオ復号装置２０は、第２レイヤの現在ブロック７２の周辺ブロック候補から獲得されたＮＢＤＶ ７５が示す第１レイヤのデプスピクチャ７３の参照ブロック７４を決定することができる。次に、マルチレイヤビデオ復号装置２０は、決定された参照ブロック７４のエッジ７４−１，７４−２，７４−３，７４−４のデプス値のうち少なくとも一つにカメラパラメータを適用し、ＤｏＮＢＤＶ ７６に変換することができる。マルチレイヤビデオ復号装置２０は、ＤｏＮＢＤＶを、現在ブロックのディスパリティベクトルとして決定することができる。
図４Ａないし図４Ｄにおいて、前述の方法は、マルチレイヤビデオ復号装置２０の観点から記述されたが、マルチレイヤビデオ符号化装置１０にも適用される。
一方、マルチレイヤビデオ復号装置２０がＤｏＮＢＤＶを獲得するために、ＮＢＤＶが示すデプスピクチャの参照ブロックをメモリから引き出し（fetch）、現在ブロックの予測補償を行うために、ＤｏＮＢＤＶが示すデプスピクチャの参照ブロックをメモリから追加して引き出す（fetch）状況が発生する。特に、デプスピクチャは、一般的に、外部メモリ（external memory）に位置するために、その場合、メモリの帯域幅複雑度がさらに高くなる。
従って、他の一実施形態において、マルチレイヤビデオ復号装置２０は、現在ブロックのディスパリティベクトルを、現在ブロックの周辺ブロック候補のディスパリティベクトルであるＮＢＤＶと決定することができる。すなわち、マルチレイヤビデオ復号装置２０は、復号のための現在ブロックに対応するデプスブロックを、ＮＢＤＶが示すデプスブロックとして決定することができる。これにより、メモリの帯域幅複雑度が低くなり、メモリ利用効率が向上することができる。
そのために、シンタックスＭｖＤｉｓｐ［ｘＴｂ］［ｙＴｂ］を利用して、現在ブロックのディスパリティベクトルを決定する変数（ｍｖＤｉｓｐ）の値が、ＮＢＤＶ（ＭｖＤｉｓｐ［ｘＴｂ］［ｙＴｂ］）の値と同一であると決定される。または、シンタックスＤｉｓｐＶｅｃ［ｘＣｂ］［ｘＣｂ］を利用して、現在ブロックのディスパリティベクトルを決定する変数（ｄｉｓｐＶｅｃ）の値が、ＮＢＤＶ（ＤｉｓｐＶｅｃ［ｘＣｂ］［ｘＣｂ］）の値と同一であると決定される。
現在ブロックのディスパリティベクトルが決定されれば、決定されたディスパリティベクトルを利用して、現在ブロックに対応するデプスブロックを決定し、決定されたデプスブロックに基づいて、現在ブロックを分割するＤＢＢＰ機能が遂行される。
図５は一実施形態による、現在ブロックに対応するデプスブロックを利用して、現在ブロックを分割する一例を示している。
マルチレイヤビデオ復号装置２０は、現在ブロック８１を分割するために、現在ブロック８１に対応するデプスブロック８２を複数の領域に分割し、デプスブロック８２の分割された複数の領域に基づいて、現在ブロック８１を、複数の領域に分割することができる。
マルチレイヤビデオ復号装置２０は、デプスブロック８２を複数の領域に分割するために、臨界値を決定することができる。臨界値は、デプスブロック８２を複数の領域に分割するとき、分割の基準になる値を意味する。マルチレイヤビデオ復号装置２０は、デプスブロック８２のサンプル値を利用して、臨界値を決定することができる。例えば、マルチレイヤビデオ復号装置２０は、デプスブロック８２に含まれたサンプル値の平均を臨界値と決定することができる。詳細には、マルチレイヤビデオ復号装置２０は、デプスブロック８２のコーナーサンプルである左上サンプル８２−１、右上サンプル８２−２、左下サンプル８２−３及び右下サンプル８２−４であるコーナーサンプルのサンプル値の平均を臨界値として決定することができる。
次に、マルチレイヤビデオ復号装置２０は、デプスブロック８２を、臨界値を超えたサンプル値を有するサンプルの領域である第１領域８２−１と、臨界値以下のサンプル値を有するサンプルの領域である第２領域８２−２とに分割することができる。マルチレイヤビデオ復号装置２０は、現在ブロック８１を、デプスブロック８２の分割された形態に基づいて、複数の領域に分割することができる。例えば、デプスブロック８２が第１領域８２−１と第２領域８２−２とに分割された場合、マルチレイヤビデオ復号装置２０は、第１領域８２−１と第２領域８２−２とを現在ブロック８１に対応させ、現在ブロック８１を複数の領域に分割することができる。すなわち、マルチレイヤビデオ復号装置２０は、デプスブロック８２の第１領域８２−１と第２領域８２−２とを利用した分割マップを生成し、生成された分割マップを現在ブロック８１に対応させることにより、現在ブロック８１を、第１領域８１−１と第２領域８１−２とに分割することができる。
一方、マルチレイヤビデオ復号装置２０は、現在ブロックに対応する参照映像の領域にアクセスする場合、現在ブロックサイズが小さいほど、現在ブロックサイズ以上の領域を参照映像から持ってくるために、メモリの帯域幅は増大する。従って、メモリの帯域幅を狭くするために、現在ブロックサイズが決定された大きさ以下である場合には、テクスチャ映像またはデプス映像を参照する前述のＤＢＢＰの適用を省略する方法が考慮される。
図６は、一実施形態による、マルチレイヤビデオ復号装置２０が、現在ブロックサイズを考慮し、ＤＢＢＰ機能遂行いかんを決定する方法のフローチャートを示している。
段階Ｓ７１において、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが８ｘ８より大きいか否かということを判断することができる。すなわち、現在ブロックサイズ（ＣｂＳｉｚｅ）にｌｏｇ２を取り、現在ブロックサイズのログ（ｌｏｇ２ＣｂＳｉｚｅ）で表現した場合、マルチレイヤビデオ復号装置２０は、現在ブロックサイズのログ値が３より大きいか否かということを判断することができる。
段階Ｓ７２において、現在ブロックサイズのログ値が３より大きければ（Ｓ７１−はい）、マルチレイヤビデオ復号装置２０は、ＤＢＢＰ機能を遂行することができる。一方、現在ブロックサイズのログ値が３以下であるならば（Ｓ７１−いいえ）、マルチレイヤビデオ復号装置２０は、ＤＢＢＰ機能を遂行しない。
図７Ａは、一実施形態による、マルチレイヤビデオ復号装置２０が、現在ブロックサイズを考慮し、ＤＢＢＰの遂行いかんを決定するシンタックスの一例を示している。図７Ａにおいて、現在ブロックのコーディングのためのシンタックスcoding unit（）は、現在ブロックに対してＤＢＢＰの遂行いかんを決定するための条件文９１を含んでもよい。
条件文９１において、マルチレイヤビデオ復号装置２０は、現在ブロック（符号化単位（ＣＵ：coding unit））が含まれたレイヤのＤＢＢＰ遂行いかんを示すフラグ（depth＿based＿ｂｌｋ＿part＿flag）の値が「０」ではなく、現在ブロックの予測モード（ＣｕＰｒｅｄＭｏｄｅ）値がイントラモード（MODE＿INTRA）値ではなく、現在ブロックサイズ（ＣｂＳｉｚｅ）にｌｏｇ２を取った値が３より大きければ、現在ブロックのＤＢＢＰの遂行いかんを示すフラグｄｂｂｐ＿flagをビットストリームから獲得することができる。フラグｄｂｂｐ＿flag値が１であるならば、マルチレイヤビデオ復号装置２０は、現在ブロックに対してＤＢＢＰを行う。
ただし、フラグｄｂｂｐ＿flag値が０であるならば、マルチレイヤビデオ復号装置２０は、ＤＢＢＰを行わない。
すなわち、現在ブロックサイズが８ｘ８より大きければ、マルチレイヤビデオ復号装置２０は、ビットストリームからフラグｄｂｂｐ＿flagをパージングし、ＤＢＢＰを行うか、あるいは行わないかということを決定することができる。しかし、現在ブロックサイズが８ｘ８より小さいか、あるいは同じであるならば、マルチレイヤビデオ復号装置２０は、フラグｄｂｂｐ＿flagをパージングする必要もなしに、ＤＢＢＰを行わない。
図７Ｂは、他の一実施形態による、マルチレイヤビデオ復号装置２０が現在ブロックサイズを考慮し、ＤＢＢＰの遂行いかんを決定するシンタックスの一例を示している。
図７Ｂにおいて、現在ブロックのコーディングのためのシンタックスｃｕ＿extension（）は、現在ブロックに対して、ＤＢＢＰの遂行いかんを決定するための条件文９２を含んでもよい。
条件文９２において、マルチレイヤビデオ復号装置２０は、現在ブロックが含まれたレイヤのＤＢＢＰ遂行いかんを示すフラグ（ＤｂｂｐＥｎａｂｌｅｄＦｌａｇ）の値が「０」ではなく、現在ブロックのインタービュー参照ピクチャが存在する否かということを示すフラグ（ＤｉｓｐＡｖａｉｌＦｌａｇ）の値が「０」ではなく、現在ブロックのパーティションモードが、ＰＡＲＴ＿２ＮｘＮまたはＰＡＲＴ＿Ｎｘ２Ｎであり、現在ブロックサイズ（ＣｂＳｉｚｅ）にｌｏｇ２を取った値が３より大きければ、現在ブロックのＤＢＢＰの遂行いかんを示すフラグｄｂｂｐ＿flagをビットストリームから獲得することができる。すなわち、フラグｄｂｂｐ＿flag値によって、ＤＢＢＰ遂行いかんが決定される。
ただし、現在ブロックのパーティションモードが、ＰＡＲＴ＿２ＮｘＮ及びＰＡＲＴ＿Ｎｘ２Ｎではないならば、フラグｄｂｂｐ＿flagが獲得されず、ＤＢＢＰが行われない。
従って、図７Ｂで図示された実施形態によれば、現在ブロックサイズだけではなく、現在ブロックのパーティションモードによって、ＤＢＢＰ遂行いかんが決定される。現在ブロックが８ｘ８より大きく、現在ブロックのパーティーモードがＰＡＲＴ＿２ＮｘＮまたはＰＡＲＴ＿Ｎｘ２Ｎである場合、ＤＢＢＰが行われるためのフラグｄｂｂｐ＿flagがパージングされる
図５ないし図７Ｂで説明した方法は,マルチレイヤビデオ復号装置２０の観点から記述されたが、マルチレイヤビデオ符号化装置１０にも適用される。
例えば、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが既決定の大きさより大きく、ＤＢＢＰの機能を遂行することができる場合、ＤＢＢＰの遂行いかんを示すフラグ「ｄｂｂｐ＿flag」を設定することができる。ＤＢＢＰが行われる場合には、「ｄｂｂｐ＿flag」の値を１に設定し、ＤＢＢＰが行われない場合には、「ｄｂｂｐ＿flag」の値を０に設定することができる。
マルチレイヤビデオ符号化装置１０は、ＤＢＢＰ遂行いかんに係わる情報を符号化することができる。例えば、マルチレイヤビデオ符号化装置１０は、「ｄｂｂｐ＿flag」を符号化し、ビットストリームに含めることができる。
また、マルチレイヤビデオ符号化装置１０は、現在ブロックサイズが既決定の大きさ以下であり、ＤＢＢＰ機能を遂行しない場合、ＤＢＢＰの遂行いかんを示すフラグ「ｄｂｂｐ＿flag」を符号化する必要がない。
マルチレイヤビデオ復号装置２０は、現在ブロックのディスパリティベクトルが決定されれば、決定されたディスパリティベクトルを利用して、現在ブロックのレジデュアル予測を行うことができる。
図８Ａは、一実施形態による、マルチレイヤビデオ復号装置２０がレジデュアル予測を行う一例を示す図面である。図８Ａにおいて、マルチレイヤビデオ復号装置２０は、時間方向の予測を行う場合、第２レイヤの現在ピクチャ１０１に含まれた現在ブロック１０２の動きベクトル１０７が示す第２レイヤの以前ピクチャ１０３に含まれた参照ブロック１０４のサンプル値を獲得することができる。そして、マルチレイヤビデオ復号装置２０は、第２レイヤの現在ブロック１０２のディスパリティベクトル１０８が示す第１レイヤの現在ピクチャ１０５に含まれた参照ブロック１０６のレジデュアル成分を獲得することができる。そして、マルチレイヤビデオ復号装置２０は、第１レイヤの以前ピクチャ１０３に含まれた参照ブロック１０４のサンプル値と、第１レイヤの現在ピクチャ１０５に含まれた参照ブロック１０６のレジデュアル成分とを合成し、現在ブロック１０２を予測することができる。
次に、マルチレイヤビデオ復号装置２０は、ビットストリームから獲得したレジデュアル成分間の差値と、予測された現在ブロック１０２のサンプル値とを合成し、現在ブロック１０２を復元することができる。
図８Ｂは、他の一実施形態による、マルチレイヤビデオ復号装置２０がレジデュアル予測を行う一例を示す図面である。図８Ｂにおいて、マルチレイヤビデオ復号装置２０は、時間方向の予測を行う場合、第２レイヤの現在ピクチャ１１１に含まれた現在ブロック１１２の動きベクトル１１９が示す第２レイヤの以前ピクチャ１１３に含まれた参照ブロック１１４のサンプル値を獲得することができる。また、マルチレイヤビデオ復号装置２０は、第２レイヤの現在ブロック１１２のディスパリティベクトル１２１が示す第１レイヤの現在ピクチャ１１５に含まれた参照ブロック１１６に、動きベクトル１１９を適用し、（１１９−１）、動きベクトル１１９が示す第１レイヤの以前ピクチャ１１７に含まれた参照ブロック１１８のレジデュアル成分を獲得することができる。そして、マルチレイヤビデオ復号装置２０は、第２レイヤの以前ピクチャ１１３に含まれた参照ブロック１１６のサンプル値と、第１レイヤの以前ピクチャ１１７に含まれた参照ブロック１１８のレジデュアル成分とを合成し、現在ブロック１１２を予測することができる。
次に、マルチレイヤビデオ復号装置２０は、ビットストリームから獲得したレジデュアル成分間の差値と、予測された現在ブロック１１２のサンプル値とを合成し、現在ブロック１１２を復元することができる。
図８Ｂにおいて、マルチレイヤビデオ復号装置２０は、現在ブロックのレジデュアル予測を行うために、現在ブロックの参照リストごとに、３個の参照ブロックにアクセスする必要がある。特に、双方向へのレジデュアル予測が行われる場合、マルチレイヤビデオ復号装置２０は、現在ブロックを対象に、５個ないし６個の参照ブロックにアクセスする必要がある。
これにより、要求される多量のメモリの帯域幅を低減させるために、レジデュアル予測を、既決定のブロックサイズ以上でのみ行う方法が考慮される。
例えば、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが８ｘ８より大きい場合、レジデュアル予測を行うことができる。すなわち、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが８ｘ８以下である場合は、レジデュアル予測を行わない。
または、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが８ｘ８以下であるならば、クロマ（chroma）成分は、レジデュアル予測を行わず、ルマ（luma）成分は、レジデュアル予測を行うことができる。
または、マルチレイヤビデオ復号装置２０は、時間方向の予測を行う場合、現在ブロックサイズが８ｘ８以下であるならば、クロマ成分は、レジデュアル予測を行わず、ルマ成分は、レジデュアル予測を行うことができる。
また、マルチレイヤビデオ復号装置２０は、ビュー方向にレジデュアル予測を行う場合、現在ブロックサイズが８ｘ８以下であるならば、クロマ成分及びルマ成分のいずれも対象に、レジデュアル予測を行わない。
図９は、一実施形態による、マルチレイヤビデオ復号装置２０が現在ブロックサイズを考慮し、レジデュアル予測の遂行いかんを決定する方法のフローチャートを示している。
段階Ｓ８１において、マルチレイヤビデオ復号装置２０は、現在ブロックサイズが８ｘ８より大きいか否かということを判断することができる。すなわち、現在ブロックサイズ（ＣｂＳｉｚｅ）にｌｏｇ２を取り、現在ブロックサイズのログ（ｌｏｇ２ＣｂＳｉｚｅ）で表現した場合、マルチレイヤビデオ復号装置２０は、現在ブロックサイズのログ値が３より大きいか否かということを判断することができる。
段階Ｓ８２において、現在ブロックサイズのログ値が３より大きければ（Ｓ８１−はい）、マルチレイヤビデオ復号装置２０は、レジデュアル予測を行うことができる。一方、現在ブロックサイズのログ値が３以下であるならば（Ｓ８１−いいえ）、マルチレイヤビデオ復号装置２０は、レジデュアル予測を行わない。
図８Ａないし図９で説明した方法は、マルチレイヤビデオ復号装置２０の観点から記述されたが、マルチレイヤビデオ符号化装置１０にも適用される。
多様な実施形態によるマルチレイヤビデオ符号化装置１０、及び多様な実施形態によるマルチレイヤビデオ復号装置２０において、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があることは、前述の通りである。以下、図１０ないし図２２を参照し、多様な実施形態による、ツリー構造の符号化単位及び変換単位に基づいた、ビデオ符号化方法及びその装置、ビデオ復号方法及びその装置が開示される。
原則的に、マルチレイヤビデオのための符号化／復号過程において、第１レイヤ映像のための符号化／復号過程と、第２レイヤ映像のための符号化／復号過程とが別途に遂行される。すなわち、マルチレイヤビデオのうちインターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化／復号結果が相互参照されるが、シングルレイヤビデオごとに、別途の符号化／復号過程が発生する。
従って、説明の便宜のために、図１０ないし図２２を参照して説明する、ツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号過程は、シングルレイヤビデオに対するビデオ符号化過程及びビデオ復号過程であるので、インター予測及び動き補償について詳細に説明する。しかし、図１Ａないし図９を参照して説明したように、ビデオストリーム符号化／復号のために、基本視点映像と第２レイヤ映像とのインターレイヤ予測及び補償が行われる。
従って、多様な実施形態によるマルチレイヤビデオ符号化装置１０の符号化部１２が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとに、ビデオ符号化を行うために、図１０のビデオ符号化装置１００をマルチレイヤビデオのレイヤ個数ほど含み、各ビデオ符号化装置１００ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、マルチレイヤビデオ符号化装置１０は、各ビデオ符号化装置１００の別個単一視点の符号化結果を利用して、視点間予測を行うことができる。これにより、マルチレイヤビデオ符号化装置１０の符号化部１２は、レイヤ別に符号化結果を収録した基本視点ビデオストリームと、第２レイヤビデオストリームとを生成することができる。
これと類似して、多様な実施形態による、マルチレイヤビデオ復号装置２０の復号部２４が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを復号するためには、受信した第１レイヤビデオストリーム及び第２レイヤビデオストリームに対して、レイヤ別にビデオ復号を行うために、図１１のビデオ復号装置２００をマルチレイヤビデオのレイヤ個数ほど含み、各ビデオ復号装置２００ごとに割り当てられたシングルレイヤビデオの復号を行うように制御することができる。そして、マルチレイヤビデオ復号装置２０が、各ビデオ復号装置２００の別個シングルレイヤの復号結果を利用して、インターレイヤ補償を行うことができる。これにより、マルチレイヤビデオ復号装置２０の復号部２４は、レイヤ別に復元された第１レイヤ映像と第２レイヤ映像とを生成することができる。
図１０は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して呼ぶ。
符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。多様な実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。
多様な実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。多様な実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小である符号化誤差が発生する深度を選択して最終深度に決定する。決定された最終深度及び最大符号化単位別映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なって決定される。従って、１つの最大符号化単位に対して、最終深度が１以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によって区画される。
従って、多様な実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。多様な実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる最終深度は、他の領域に係わる最終深度と独立して決定される。
多様な実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。多様な実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。多様な実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４に設定され、第２最大深度は、５に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
多様な実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が利用されもし、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、多様な実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、該予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。多様な実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、多様な実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
多様な実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
多様な実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
深度別分割情報は、深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた深度だけでなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
多様な実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図１７ないし図１９を参照して詳細に後述する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの深度に基づいて、符号化された最大符号化単位の映像データ及び深度別分割情報をビットストリーム形態に出力する。
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて深度及び分割情報が設定される。
従って、多様な実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報が割り当てられる。
多様な実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。多様な実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測と係わる参照情報、動き情報、スライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などによって符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、多様な実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図１Ａを参照して説明したマルチレイヤビデオ符号化装置１０は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置１００を含んでもよい。
ビデオ符号化装置１００が、第１レイヤ映像を符号化する場合、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行うことができる。
ビデオ符号化装置１００が第２レイヤ映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行うことができる。
ビデオ符号化装置１００は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度差を符号化することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位についてのみ輝度補償が行われる。
図１１は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置２００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、「ビデオ復号装置２００」と縮約して呼ぶ。
多様な実施形態によるビデオ復号装置２００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図１０及びビデオ符号化装置１００を参照して説明したところと同一である。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出し、映像データ復号部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに対するヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部２３０が、最大符号化単位ごとに映像データを復号するようにできる。
最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出される。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別深度及び分割情報は、多様な実施形態によるビデオ符号化装置１００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号し、映像を復元することができる。
多様な実施形態による深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているのであるならば、同一深度及び同一分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号部２３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
映像データ復号部２３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号部２３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないことを示しているのであれば、現在深度が深度である。従って、映像データ復号部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して、復号することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部２３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。
図２Ａを参照して説明したマルチレイヤビデオ復号装置２０は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号装置２００を視点数ほど含んでもよい。
第１レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。
第２レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に、動き補償を行い、第２レイヤ映像を復元することができる。
抽出部２２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差と係わる情報をビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。
結局、ビデオ復号装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。
図１２は、多様な実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図１２に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上することができる。
図１３は、多様な実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
多様な実施形態による映像符号化部４００は、ビデオ符号化装置１００のピクチャ符号化部１２において、映像データの符号化において経る作業を遂行する。すなわち、イントラ予測部４２０は、現在映像４０５において、イントラモードの符号化単位に対して予測単位別にイントラ予測を行い、インター予測部４１５は、インターモードの符号化単位に対して、予測単位別に現在映像４０５及び復元ピクチャバッファ４１０で獲得された参照映像を利用して、インター予測を行う。現在映像４０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングが行われる。
イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に対する予測データを、現在映像４０５のエンコーディングされる符号化単位に係わるデータから差し引くことにより、レジデューデータを生成し、該レジデューデータは、変換部４２５及び量子化部４３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４４５、逆変換部４５０を介して、空間領域のレジデューデータに復元される。復元された空間領域のレジデューデータは、イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部４５５及びＳＡＯ遂行部４６０を経て復元映像に生成される。生成された復元映像は、復元ピクチャバッファ４１０に保存される。復元ピクチャバッファ４１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部４２５及び量子化部４３０で量子化された変換係数は、エントロピー符号化部４３５を経て、ビットストリーム４４０として出力される。
多様な実施形態による映像符号化部４００が、ビデオ符号化装置１００に適用されるために、映像符号化部４００の構成要素である、インター予測部４１５、イントラ予測部４２０、変換部４２５、量子化部４３０、エントロピー符号化部４３５、逆量子化部４４５、逆変換部４５０、デブロッキング部４５５及びＳＡＯ遂行部４６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。
特に、イントラ予測部４２０及びインター予測部４１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部４２５は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。
図１４は、多様な実施形態による符号化単位に基づいた映像復号部５００のブロック図を図示している。
エントロピー復号部５１５は、ビットストリーム５０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部５２０及び逆変換部５２５は、量子化された変換係数からレジデューデータを復元する。
イントラ予測部５４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部５３５は、現在映像のうちインターモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ５３０で獲得された参照映像を利用してインター予測を行う。
イントラ予測部５４０またはインター予測部５３５を経た各モードの符号化単位に係わる予測データと、レジデューデータとが加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部５４５及びＳＡＯ遂行部５５０を経て、復元映像５６０として出力される。また、復元ピクチャバッファ５３０に保存された復元映像は、参照映像として出力される。
ビデオ復号装置２００のピクチャ復号部２３０において映像データを復号するために、多様な実施形態による映像復号部５００のエントロピー復号部５１５以後の段階別作業が遂行される。
映像復号部５００が、多様な実施形態によるビデオ復号装置２００に適用されるために、映像復号部５００の構成要素である、エントロピー復号部５１５、逆量子化部５２０、逆変換部５２５、イントラ予測部５４０、インター予測部５３５、デブロッキング部５４５及びＳＡＯ遂行部５５０が、最大符号化単位ごとにツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて、作業を遂行することができる。
特に、イントラ予測部５４０及びインター予測部５３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部５２５は、符号化単位ごとに、四分木構造による変換単位の分割いかんを決定することができる。
図１３の符号化動作及び図１４の復号動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号動作を説明したものである。従って、図１Ａの符号化部１２が２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に、映像符号化部４００を含んでもよい。類似して、図２Ａの復号部２０が２以上のレイヤのビデオストリームを復号するならば、レイヤ別に、映像復号部５００を含んでもよい。
図１５は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。
多様な実施形態によるビデオ符号化装置１００、及び多様な実施形態によるビデオ復号装置２００は、映像特性を考慮するために、階層的な符号化単位を利用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
多様な実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。多様な実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる、予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
多様な実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も、増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小である符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の深度及びパーティションモードに選択される。
図１６は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
多様な実施形態によるビデオ符号化装置１００、または多様な実施形態によるビデオ復号装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号する。符号化過程のうち変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、多様な実施形態によるビデオ符号化装置１００、または多様な実施形態によるビデオ復号装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図１７は、多様な実施形態による符号化情報を図示している。
多様な実施形態によるビデオ符号化装置１００の出力部１３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションモードに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションモードについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションモードについての情報８００が示すパーティションがイントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるということが設定される。
また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
多様な実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションモードについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号に利用することができる。
図１８は、多様な実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１６，Ｎ＿０ｘＮ＿０サイズのパーティションモード９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０、２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割される必要ない。
サイズＮ＿０ｘＮ＿０のパーティションモード９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索する。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード９４６、サイズＮ＿１ｘＮ＿１のパーティションモード９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１のパーティションモード９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索する。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８を含んでもよい。
パーティションモードのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。多様な実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、多様な実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。
かように深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、深度として決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。
多様な実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる深度及び予測単位についての情報を抽出し、符号化単位９１２を復号するのに利用することができる。多様な実施形態によるビデオ復号装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を深度と把握し、当該深度に係わるる分割情報を利用し、復号に利用することができる。
図１９、図２０及び図２１は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位に対して、多様な実施形態によるビデオ符号化装置１００が決定した深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０のうち、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションモードであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１０３２は、ＮｘＮのパーティションモードである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較して見れば、互いに異なる大きさまたは形態のデータ単位である。すなわち、多様な実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それによって、最大符号化単位ごとに、領域別に、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、多様な実施形態によるビデオ符号化装置１００、及び多様な実施形態によるビデオ復号装置２００で設定する一例を示す。
Figure 2017518706
 多様な実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、多様な実施形態によるビデオ復号装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が下位深度の符号化単位に分割される否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ＮＲｘ２Ｎと、を示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが、対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。
多様な実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
図２２は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ＮＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。
例えば、パーティションモード情報が対称形パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションモード情報が、非対称形パーティションモード２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ＮＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図２２を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラグであるが、多様な実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって０、１、２、３、…などに増加して変換単位が階層的にも分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、多様な実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。多様な実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。多様な実施形態によるビデオ復号装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１でもあり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
多様な実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する多様な実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。
図１０ないし図２２を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
一方、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）；光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
説明の便宜のために、先に図１Ａないし図２２を参照して説明したインターレイヤビデオ符号化方法及び／またはビデオ符号化方法は、「本開示のビデオ符号化方法」とする。また、先に図１Ａないし図２２を参照して説明したインターレイヤビデオ復号方法及び／またはビデオ復号方法は、「本開示のビデオ復号方法」とする。
また、先に図１Ａないし図２２を参照して説明したマルチレイヤビデオ符号化装置１０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本開示のビデオ符号化装置」とする。また、先に図１Ａないし図２２を参照して説明したマルチレイヤビデオ復号装置２０、ビデオ復号装置２００または映像復号部５００で構成されたビデオ復号装置は、「本開示のビデオ復号装置」とする。
多様な実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク２６０００である実施形態について以下詳細に説明する。
図２３は、多様な実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として説明されたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤ（digital versatile disc）ディスクでもある。ディスク２６０００は、多数の同心円トラックＴｒで構成され、トラックＴｒは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の多様な実施形態によるプログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２４を参照して説明する。
図２４は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本開示のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピュータシステム２６７００に伝送される。
図２３及び図２４で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本開示のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。
図２５は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
しかし、コンテンツ供給システム１１０００は、図２５に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multipleaccess）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザがビデオカメラ１２３００を利用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００に撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。
カメラ１２６００に撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びその復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。
また、携帯電話１２５００に搭載されたカメラによって、ビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。
多様な実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
該クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムに復号して再生させ、個人放送（personal broadcasting）を可能にする。
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、本開示のビデオ符号化装置及びビデオ復号装置が適用される。
図２６及び図２７を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。
図２６は、多様な実施形態による、本開示のビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。
携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されるか、電子メール（Ｅ−mail）でもって受信されるか、あるいは他の形態で獲得されたビデオや静止映像のように、符号化されるか復号されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。
図２７は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭを含む。
携帯電話１２５００が外部に通信データを送信する過程としては、中央制御部１２７１０の制御によって、携帯電話１２５００において、デジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換処理（digital-analog conversion）及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て、送信信号に変換され、アンテナ１２５１０を介して送出される。
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
データ通信モードで、映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
映像符号化部１２７２０の構造は、前述の本開示のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本開示のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達することができる。
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
携帯電話１２５００が外部から通信データを受信する過程としては、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
映像復号部１２６９０の構造は、前述の本開示のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述の本開示のビデオ復号方法を利用して符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換して、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされた、ビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
携帯電話１２５００、または他の形態の通信端末機は、本開示のビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の本開示のビデオ符号化装置のみを含む送信端末機であるか、あるいは本開示のビデオ復号装置のみを含む受信端末機でもある。
本開示の通信システムは、図２６を参照して説明した構造に限定されるものではない。例えば、図２８は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図２８の多様な実施形態によるデジタル放送システムは、本開示の、ビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０、または他のデバイスによって復号されて再生される。
再生装置１２８３０において、本開示のビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本開示のビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
他の例として、セットトップボックス１２８７０の代わりにＴＶ受信機１２８１０自体に、本開示のビデオ復号装置が搭載される。
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。
ビデオ信号は、本開示のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、ハードディスクレコーダ１２９５０によってハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存される。ハードディスクレコーダ１２９５０が、多様な実施形態による本開示のビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
自動車ナビゲーションシステム１２９３０は、図２７のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２７のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
図２９は、多様な実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。
本開示のクラウドコンピューティングシステムは、クラウドコンピューディングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンドアウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして利用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望程度選んで利用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューディングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューディングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００のようなインターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューディングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かようにクラウドコンピューディングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報や、住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューディングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューディングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号し、ビデオを再生する動作は、先に図２６を参照して説明した携帯電話１２５００の動作と類似している。
クラウドコンピューディングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューディングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ１４１００に保存された動画に対する再生要請を受信する。動画がそれ以前に再生中であったのであるならば、クラウドコンピューディングサーバ１４１００は、ユーザ端末機からの選択によって、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューディングサーバ１４１００は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューディングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
このとき、ユーザ端末機は、図１Ａないし図２２を参照して説明した本開示のビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２２を参照して説明した本開示のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２２を参照して説明した本開示のビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。
図１Ａないし図２２を参照して説明した、ビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置が活用される多様な実施形態について、図２３ないし図２９で説明した。しかし、図１Ａないし図２２を参照して説明した、ビデオ符号化方法及びビデオ復号方法が、記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置が、デバイスで具現されたりする多様な実施形態は、図２３ないし図２９の実施形態に限定されるものではない。
以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。

Claims (19)

  1. マルチレイヤビデオ復号方法において、
    現在ブロックのディスパリティベクトルを獲得する段階と、
    前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階と、を含むマルチレイヤビデオ復号方法。
  2. 前記既決定のブロックサイズは、４ｘ４、８ｘ８，１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つであることを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
  3. 前記現在ブロックを複数個の領域に分割する段階は、
    前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割する段階を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
  4. マルチレイヤビデオ復号方法において、
    現在ブロックの周辺ブロック候補を決定する段階と、
    前記決定された周辺ブロック候補のうち少なくとも１つのブロックのディスパリティベクトルを獲得する段階と、
    前記獲得されたディスパリティベクトルを、前記現在ブロックのディスパリティベクトルとして決定する段階と、
    前記決定されたディスパリティベクトルを利用して、前記現在ブロックに対応するデプスブロックを決定する段階と、
    前記デプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階と、を含むマルチレイヤビデオ復号方法。
  5. マルチレイヤビデオ復号方法において、
    現在ブロックのディスパリティベクトルを獲得する段階と、
    前記現在ブロックのディスパリティベクトルが示す参照ブロックのレジデュアル成分を獲得する段階と、
    前記現在ブロックサイズが既決定の大きさより大きい場合、前記獲得された参照ブロックのレジデュアル成分を利用して、前記現在ブロックのレジデュアル成分を予測する段階と、を含むマルチレイヤビデオ復号方法。
  6. 前記既決定の大きさは、４ｘ４、８ｘ８，１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つであることを特徴とする請求項５に記載のマルチレイヤビデオ復号方法。
  7. マルチレイヤビデオ符号化方法において、
    現在ブロックのディスパリティベクトルを獲得する段階と、
    前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階と、を含むマルチレイヤビデオ符号化方法。
  8. 前記既決定のブロックサイズは、４ｘ４、８ｘ８，１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つであることを特徴とする請求項７に記載のマルチレイヤビデオ符号化方法。
  9. 前記現在ブロックを複数個の領域に分割する段階は、
    前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割する段階を含むことを特徴とする請求項７に記載のマルチレイヤビデオ符号化方法。
  10. マルチレイヤビデオ符号化方法において、
    現在ブロックの周辺ブロック候補を決定する段階と、
    前記決定された周辺ブロック候補のディスパリティベクトルを獲得する段階と、
    前記獲得されたディスパリティベクトルを、前記現在ブロックのディスパリティベクトルとして決定する段階と、
    前記決定されたディスパリティベクトルを利用して、前記現在ブロックに対応するデプスブロックを決定する段階と、
    前記デプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する段階と、を含むマルチレイヤビデオ符号化方法。
  11. マルチレイヤビデオ符号化方法において、
    現在ブロックのディスパリティベクトルを獲得する段階と、
    前記現在ブロックのディスパリティベクトルが示す参照ブロックのレジデュアル成分を獲得する段階と、
    前記現在ブロックサイズが既決定の大きさより大きい場合、前記獲得された参照ブロックのレジデュアル成分を利用して、前記現在ブロックのレジデュアル成分を予測する段階と、を含むマルチレイヤビデオ符号化方法。
  12. 前記既決定の大きさは、４ｘ４、８ｘ８，１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つであることを特徴とする請求項１１に記載のマルチレイヤビデオ符号化方法。
  13. マルチレイヤビデオ復号装置において、
    現在ブロックのディスパリティベクトルを獲得し、前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する復号部を含むマルチレイヤビデオ復号装置。
  14. 前記既決定のブロックサイズは、４ｘ４、８ｘ８，１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つであることを特徴とする請求項１３に記載のマルチレイヤビデオ復号装置。
  15. 前記復号部は、前記現在ブロックを複数個の領域に分割する場合、
    前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割することを特徴とする請求項１３に記載のマルチレイヤビデオ復号装置。
  16. マルチレイヤビデオ符号化装置において、
    現在ブロックのディスパリティベクトルを獲得し、前記現在ブロックサイズが既決定のブロックサイズより大きい場合、前記ディスパリティベクトルが示すデプスブロックの領域分割形態に基づいて、前記現在ブロックを複数の領域に分割する符号化部を含むマルチレイヤビデオ符号化装置。
  17. 前記既決定のブロックサイズは、４ｘ４、８ｘ８，１６ｘ１６、３２ｘ３２または６４ｘ６４のうち１つであることを特徴とする請求項１６に記載のマルチレイヤビデオ符号化装置。
  18. 前記復号部は、前記現在ブロックを複数個の領域に分割する場合、
    前記デプスブロックが複数個のサブブロックに分割される形態によって、前記現在ブロックのサブブロックに分割することを特徴とする請求項１６に記載のマルチレイヤビデオ符号化装置。
  19. 請求項１ないし１２のうちいずれか１項に記載の方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。
JP2016573766A 2014-06-18 2015-06-09 デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法 Pending JP2017518706A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462013688P 2014-06-18 2014-06-18
US62/013,688 2014-06-18
PCT/KR2015/005745 WO2015194781A1 (ko) 2014-06-18 2015-06-09 깊이 블록을 이용하는 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법

Publications (1)

Publication Number Publication Date
JP2017518706A true JP2017518706A (ja) 2017-07-06

Family

ID=54935719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573766A Pending JP2017518706A (ja) 2014-06-18 2015-06-09 デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法

Country Status (5)

Country Link
US (1) US20170127060A1 (ja)
JP (1) JP2017518706A (ja)
KR (1) KR20170019361A (ja)
CN (1) CN106664415A (ja)
WO (1) WO2015194781A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145756A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
CN118474340A (zh) 2016-10-04 2024-08-09 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和传输数据的方法
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
CN109120942B (zh) * 2018-09-27 2020-08-07 合肥工业大学 基于流水线架构的深度图像帧内预测的编码电路及其编码方法
CN113906749B (zh) * 2019-04-30 2023-05-23 北京达佳互联信息技术有限公司 色度残差联合编码方法和装置
CN114205622B (zh) * 2021-12-16 2024-06-14 福州大学 一种基于HEVC标准的帧内预测的64x64 CU预处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085416A1 (en) * 2011-06-15 2014-03-27 Mediatek Inc. Method and apparatus of texture image compress in 3d video coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526495B2 (en) * 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
KR101927967B1 (ko) * 2011-08-09 2018-12-12 삼성전자주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치
IN2014KN01040A (ja) * 2011-11-11 2015-10-09 Fraunhofer Ges Forschung
WO2015123806A1 (en) * 2014-02-18 2015-08-27 Mediatek Singapore Pte. Ltd. Methods for depth based block partitioning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085416A1 (en) * 2011-06-15 2014-03-27 Mediatek Inc. Method and apparatus of texture image compress in 3d video coding
JP2014517563A (ja) * 2011-06-15 2014-07-17 メディアテック インコーポレイテッド ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH ET AL.: "3D-HEVC Draft Text 7", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-K1001 (version 9), JPN6019043832, 7 April 2015 (2015-04-07), pages 20 - 73, ISSN: 0004280090 *
JAGER, FABIAN ET AL.: "CE3: Results on Depth-based Block Partitioning (DBBP)", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-F0137-v1.zip; JCT3V-F0137.docx.doc, JPN6019016407, 19 October 2013 (2013-10-19), pages 1 - 11, ISSN: 0004151400 *
ZHANG, XIANGUO ET AL.: "Simplification on depth-based block partitioning (DBBP)", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-H0073-v2.zip; JCT3V-H0073.doc, JPN6019016404, 30 March 2014 (2014-03-30), pages 1 - 6, ISSN: 0004151399 *

Also Published As

Publication number Publication date
CN106664415A (zh) 2017-05-10
US20170127060A1 (en) 2017-05-04
KR20170019361A (ko) 2017-02-21
WO2015194781A1 (ko) 2015-12-23

Similar Documents

Publication Publication Date Title
KR102329126B1 (ko) 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
KR102290420B1 (ko) 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR102149827B1 (ko) 인터 레이어 비디오 복호화 방법 및 그 장치 및 인터 레이어 비디오 부호화 방법 및 그 장치
KR102246546B1 (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
JP2016526853A (ja) 深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化方法及びその装置、並びに深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ符号化方法及びその装置
JP6742243B2 (ja) 輝度補償を利用したインターレイヤビデオ符号化方法及びその装置、該ビデオ復号化方法及びその装置
KR20160132893A (ko) 서브블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
JP2017523682A (ja) インターレイヤビデオ符号化／復号のためのデプス映像の予測モード伝送方法及びその装置
KR101710635B1 (ko) 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 블록 기반 디스패리티 벡터 예측 방법
KR20150105264A (ko) 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
KR20140122195A (ko) 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
KR20150010660A (ko) 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 깊이 영상의 화면내 예측 방법
KR102199461B1 (ko) 적응적 휘도 보상을 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150012223A (ko) 움직임 벡터 결정 방법 및 그 장치
KR20130119379A (ko) 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 복호화 방법 및 그 장치
JP2017518706A (ja) デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
KR102047501B1 (ko) 인터-레이어 예측을 이용한 멀티 레이어 영상 부호화 또는 복호화 방법 및 장치
KR20160138129A (ko) 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법.
KR20170019373A (ko) 다 시점 영상 부호화/복호화 방법 및 장치
JP2017505037A (ja) デプス符号化方法及びその装置、デプス復号化方法及びその装置
KR20150106381A (ko) 인터 레이어 비디오 부호화를 위한 디스패리티 벡터 예측 방법 및 장치와 인터 레이어 비디오 복호화를 위한 디스패리티 벡터 예측 방법 및 장치
KR101631281B1 (ko) 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
KR20140122673A (ko) 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20140122198A (ko) 시점 합성 예측을 이용하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP2017513426A (ja) 類型情報を利用した、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200609