JP2020534765A - 映像符号化方法及びその装置、映像復号方法及びその装置 - Google Patents

映像符号化方法及びその装置、映像復号方法及びその装置 Download PDF

Info

Publication number
JP2020534765A
JP2020534765A JP2020516891A JP2020516891A JP2020534765A JP 2020534765 A JP2020534765 A JP 2020534765A JP 2020516891 A JP2020516891 A JP 2020516891A JP 2020516891 A JP2020516891 A JP 2020516891A JP 2020534765 A JP2020534765 A JP 2020534765A
Authority
JP
Japan
Prior art keywords
sample
current
coding unit
value
video decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020516891A
Other languages
English (en)
Other versions
JP7170718B2 (ja
Inventor
チェー，ナレ
ジン，ボラ
パク，ミンウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020534765A publication Critical patent/JP2020534765A/ja
Priority to JP2022113556A priority Critical patent/JP7532450B2/ja
Application granted granted Critical
Publication of JP7170718B2 publication Critical patent/JP7170718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、現在サンプルのイントラ予測値を生成し、現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成し、現在サンプルのフィルタリングされた予測サンプル値を含む現在ブロックの予測ブロックを生成する映像復号方法である。

Description

本発明による方法及びその装置は、映像に含まれる多様な形態の符号化単位を利用し、映像を符号化または復号することができる。本発明による方法及びその装置は、イントラ予測方法及びその装置を含む。
高解像度または高画質映像のコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質映像のコンテンツを効果的に符号化または復号するコーデック（ｃｏｄｅｃ）の必要性が増大している。符号化された映像コンテンツは、復号されることによっても再生される。最近では、そのような高解像度または高画質映像のコンテンツを効果的に圧縮するための方法が実施されている。例えば、符号化しようとする映像を任意的方法で処理する過程を介した効率的映像圧縮方法が実施されている。
映像を圧縮するために、多様なデータ単位が利用されもし、そのようなデータ単位間に包含関係が存在しうる。そのような映像圧縮に利用されるデータ単位の大きさを決定するために、多様な方法により、データ単位が分割され、映像の特性により、最適化されたデータ単位が決定されることにより、映像の符号化または復号が行われるのである。
一実施形態による映像復号方法は、ビットストリームから、現在ブロックの変換係数に係わる情報を獲得する段階と、前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階と、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成する段階と、前記獲得された現在ブロックの変換係数に係わる情報を基に、前記現在ブロックの残差ブロックを獲得する段階と、前記現在ブロックの予測ブロック、及び前記現在ブロックの残差ブロックを基に、前記現在ブロックを復元する段階と、を含む。
前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階は、前記現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルに対応する原参照サンプルを決定する段階と、前記原参照サンプルのサンプル値に基づいて、前記現在サンプルのイントラ予測値を生成する段階と、を含んでもよい。
前記フィルタリング参照サンプルに係わる第１加重値は、前記フィルタリング参照サンプルと前記現在サンプルとの距離に基づいても決定される。
前記フィルタリング参照サンプルに係わる第１加重値は、前記フィルタリング参照サンプルと前記現在サンプルとの距離が遠くなるほど小さくもなる。
前記フィルタリング参照サンプルは、前記現在サンプルの水平方向に位置する原参照サンプル、及び前記現在サンプルの垂直方向に位置する原参照サンプルのうち少なくとも一つを含んでもよい。
前記現在ブロックのイントラ予測モードがアンギュラモード（ａｎｇｕｌａｒ ｍｏｄｅ）である場合、前記フィルタリング参照サンプルは、前記現在サンプルを通過する線上に位置する前記現在ブロックの左側及び上側の隣接サンプルのうち少なくとも一つを含むことを特徴とし、前記線は、前記アンギュラモードによって示される予測方向及び反対方向に向かうことができる。
前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階は、少なくとも１つの第２イントラ予測モードを決定する段階と、前記決定された少なくとも１つの第２イントラ予測モードを利用し、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、を含んでもよい。
前記少なくとも１つの第２イントラ予測モードは、ピクチャ単位ごとに決定されるか、あるいはブロック単位でも決定される。
前記少なくとも１つの第２イントラ予測モードは、前記イントラ予測モード、前記イントラ予測モードによって示される予測方向の反対方向を示すイントラ予測モード、水平モード及び垂直モードのうち少なくとも一つにも決定される。
前記第１加重値及び前記第２加重値は、正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）された値でもある。
前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階は、前記イントラ予測モードが、所定のイントラ予測モードである場合、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階を含んでもよい。
一実施形態による映像符号化方法は、現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階と、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成する段階と、前記現在ブロックの予測ブロックに基づいて、現在ブロックの変換係数に係わる情報を符号化する段階と、を含む。
一実施形態による映像復号装置は、ビットストリームから、現在ブロックの変換係数に係わる情報を獲得し、前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成し、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成し、前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成し、前記獲得された現在ブロックの変換係数に係わる情報を基に、前記現在ブロックの残差ブロックを獲得し、前記現在ブロックの予測ブロック、及び前記現在ブロックの残差ブロックを基に、前記現在ブロックを復元するプロセッサを含む。
本開示の一実施形態による映像復号方法に係わるコンピュータプログラムは、コンピュータで読み取り可能な記録媒体にも記録される。
多様な実施形態による映像復号装置のブロック図である。 多様な実施形態による映像復号方法のフローチャートである。 多様な実施形態による映像復号方法のフローチャートである。 多様な実施形態による映像復号部のブロック図である。 多様な実施形態による映像符号化装置のブロック図である。 多様な実施形態による映像符号化方法のフローチャートである。 多様な実施形態による映像復号方法のフローチャートである。 多様な実施形態による映像復号部のブロック図である。 一実施形態により、映像復号装置が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。 一実施形態により、映像復号装置が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。 一実施形態により、映像復号装置が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する図面である。 一実施形態により、映像復号装置が奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する図面である。 一実施形態により、映像復号装置が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する図面である。 一実施形態により、映像復号装置が、所定順序で符号化単位を処理することができない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する図面である。 一実施形態により、映像復号装置が第１符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。 一実施形態により、映像復号装置が第１符号化単位が分割されて決定された非正方形形態の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する図面である。 一実施形態により、分割形態モード情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置が正方形状の符号化単位を分割する過程を図示する図面である。 一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示した図面である。 一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。 一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ ｉｎｄｅｘ）を図示する図面である。 一実施形態により、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたことを図示する図面である。 一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。 一実施形態によるイントラ予測モードについて説明するための図面である。 本開示の一実施形態により、映像復号装置が、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。 本開示の一実施形態により、映像復号装置が現在ブロックのイントラ予測モードの予測方向により、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。 本開示の一実施形態により、映像復号装置が現在ブロックのイントラ予測モードの予測方向により、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。 本開示の一実施形態により、映像復号装置が、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。 本開示の一実施形態により、映像復号装置が、原参照サンプルと、再構成されたサンプルとを利用し、現在ブロックに対するイントラ予測を行う過程について説明するための図面である。 映像復号装置が原参照サンプル、並びに左側隣接ライン及び上側隣接ラインの再構成された参照サンプルを利用し、加重予測（ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）を行う過程について説明するための図面である。 映像復号装置が原参照サンプルを利用したイントラ予測を行って生成された予測値、並びに左側隣接ライン及び上側隣接ラインの再構成された参照サンプルを利用し、加重予測を行う過程について説明するための図面である。 映像復号装置が、現在ブロックのイントラ予測モードが、ＤＣモード、プラナモード、垂直モードのうち一つである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。 映像復号装置が、現在ブロックのイントラ予測モードが、左下側方向の対角モードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。 映像復号装置が、現在ブロックのイントラ予測モードが、右上側方向の対角モードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。 映像復号装置が、現在ブロックのイントラ予測モードが、左下側方向の対角モードに隣接したアンギュラモードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。 映像復号装置が、現在ブロックのイントラ予測モードが、右上側方向の対角モードに隣接したアンギュラモードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。 本開示の一実施形態により、符号化順序フラグに基づいて、符号化単位間の符号化／復号順序が正方向または逆方向に決定され、決定された符号化／復号順序により、右側または上側の参照ラインがイントラ予測のために利用されうることについて説明するための図面である。
多様な実施形態によるビデオ復号方法は、ビットストリームから、現在ブロックの変換係数に係わる情報を獲得する段階と、前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階と、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成する段階と、前記獲得された現在ブロックの変換係数に係わる情報を基に、前記現在ブロックの残差ブロックを獲得する段階と、前記現在ブロックの予測ブロック、及び前記現在ブロックの残差ブロックを基に、前記現在ブロックを復元する段階と、を含む。
多様な実施形態によるビデオ符号化方法は、現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階と、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成する段階と、前記現在ブロックの予測ブロックに基づいて、現在ブロックの変換係数に係わる情報を符号化する段階と、を含む。
多様な実施形態によるビデオ復号装置は、ビットストリームから、現在ブロックの変換係数に係わる情報を獲得し、前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成し、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成し、前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成し、前記獲得された現在ブロックの変換係数に係わる情報を基に、前記現在ブロックの残差ブロックを獲得し、前記現在ブロックの予測ブロック、及び前記現在ブロックの残差ブロックを基に、前記現在ブロックを復元するプロセッサを含む。
多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。
開示された実施形態の利点、特徴、及びそれらを達成する方法は、添付される図面と共に後述されている実施形態を参照すれば、明確になるであろう。しかし、本開示は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態にも具現され、ただし、本実施形態は、本開示が完全なものにし、本開示が属する技術分野で当業者に発明の範疇を完全に知らせるために提供されるものであるのみである。
本明細書で使用される用語について簡略に説明し、開示された実施形態について具体的に説明する。
本明細書で使用される用語は、本開示での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、関連分野に携わる技術者の意図、判例、または新たな技術の出現などによっても異なりうる。また、特定の場合には、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本開示の全般にわたる内容とを基に定義されなければならない。
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいことを意味する。
また、明細書で使用される「部」という用語は、ソフトウェア構成要素またはハードウェア構成要素を意味し、「部」は、ある役割を行う。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体に存在するようにも構成されるが、またはそれ以上のプロセッサを再生させるようにも構成される。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。該構成要素と「部」ないで提供される機能は、さらに少数の構成要素、及び「部」に結合されたり、追加的な構成要素、及び「部」にさらに分離されたりもする。
本開示の一実施形態によれば、「部」は、プロセッサ及びメモリによっても具現される。用語「プロセッサ」は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されなければならない。いくつかの環境においては、「プロセッサ」は、注文型半導体（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）などを指すこともできる。用語「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアと結合した１以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを指すこともできる。
用語「メモリ」は、電子情報を保存することができる任意の電子コンポーネントを含むように広く解釈されなければならない。用語「メモリ」は、任意アクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性任意アクセスメモリ（ＮＶＲＡＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去・プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学のデータ保存装置、レジスタのようなプロセッサ・読み取り可能媒体の多様な類型を指すこともできる。プロセッサがメモリから情報を読み取り、及び／またはメモリに情報を記録することができるならば、該メモリは、プロセッサと電子通信状態にあるとされる。該プロセッサに集積されたメモリは、プロセッサと電子通信状態にある。
以下、「映像」は、ビデオの停止状態のような静的イメージでもあり、動画、すなわち、ビデオそれ自体のような動的イメージを示すことができる。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値、変換領域上の変換係数がサンプルでもある。そのような少なくとも１つのサンプルを含む単位をブロックと定義することができる。
以下では、添付図面を参照し、本実施形態について、本開示が属する技術分野で当業者が容易に実施することができるように詳細に説明する。そして、図面において本開示について明確に説明するために、説明と関係ない部分は、省略する。
以下、図１ないし図２９を参照し、一実施形態による、映像符号化装置及び映像復号装置、映像符号化方法及び映像復号方法について詳述される。図３ないし図１６を参照し、一実施形態により、映像のデータ単位を決定する方法について説明され、図１、図２、図１７ないし図２９を参照し、一実施形態により、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行う符号化方法または復号方法、及びその装置について説明される。
以下、図１及び図２を参照し、本開示の一実施形態により、多様な形態の符号化単位に基づいて、適応的にイントラ予測を行うための符号化／復号方法及びその装置について詳述される。
図１Ａは、多様な実施形態による映像復号装置のブロック図を図示する。
多様な実施形態による映像復号装置１００は、獲得部１０５、イントラ予測部１１０及び映像復号部１１５を含んでもよい。
獲得部１０５、イントラ予測部１１０及び映像復号部１１５は、少なくとも１つのプロセッサを含んでもよい。また、獲得部１０５、イントラ予測部１１０及び映像復号部１１５は、少なくとも１つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。映像復号部１１５は、獲得部１０５、イントラ予測部１１０と別途のハードウェアによって具現されるか、あるいは獲得部１０５、イントラ予測部１１０を含んでもよい。
獲得部１０５は、ビットストリームから、現在ブロックの変換係数に係わる情報を獲得することができる。獲得部１０５は、ビットストリームから、現在ブロックの予測モードに係わる情報、及び現在ブロックのイントラ予測モードに係わる情報を獲得することができる。
獲得部１０５は、現在ブロックの予測モードに係わる情報は、イントラモードまたはインター予測モードを示す情報を含んでもよい。現在ブロックのイントラ予測モードに係わる情報は、複数のイントラ予測モードのうち、現在ブロックに適用されるイントラ予測モードに係わる情報でもある。例えば、イントラ予測モードは、ＤＣモード、プラナモード、及び予測方向を有する少なくとも１つのアンギュラ（ａｎｇｕｌａｒ）モードのうち一つでもある。アンギュラモードは、水平モード、垂直モード及び対角モードを含み、水平方向、垂直方向及び対角方向を除いた所定の方向を有するモードを含んでもよい。例えば、アンギュラモードの個数は、６５個または３３個でもある。
イントラ予測部１１０は、現在ブロックの予測モードがイントラ予測モードである場合、活性化されもする。
イントラ予測部１１０は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、原参照サンプル関連値を決定することができる。すなわち、イントラ予測部１１０は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、参照サンプルのうち少なくとも１つの原参照サンプルを決定し、決定された少なくとも１つの原参照サンプルに基づいて、原参照サンプル関連値を決定することができる。該原参照サンプルは、現在ブロックの周辺ブロックのサンプルであり、該原参照サンプルは、現在ブロックの左側隣接ブロックのサンプル、または上側隣接ブロックのサンプルを含んでもよい。例えば、該原参照サンプルは、現在ブロックの左側に隣接する垂直方向の所定ラインのサンプル、または現在ブロックの上側に隣接する水平方向の所定ラインのサンプルを含んでもよい。ただし、該原参照サンプルは、現在ブロックの左側隣接ブロックのサンプル、または上側隣接ブロックのサンプルを含むところに制限されるものではなく、現在ブロックの上側隣接ブロックのサンプル、または右側隣接ブロックのサンプルを含んでもよい。
イントラ予測部１１０は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、現在サンプルに係わるイントラ予測値を生成することができる。すなわち、イントラ予測部１１０は、現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、現在サンプルに対応する原参照サンプルを決定することができる。イントラ予測部１１０は、原参照サンプルのサンプル値に基づいて、現在サンプルのイントラ予測値を生成することができる。イントラ予測部１１０は、現在ブロックのイントラ予測モード、現在ブロック内現在サンプルの位置、及び現在ブロックの参照サンプルの位置のうち少なくとも一つに基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、フィルタリング参照サンプル関連値を決定することができる。
例えば、現在ブロックのイントラ予測モードが、プラナ、ＤＣ、水平及び垂直モードのうち一つである場合、イントラ予測部１１０は、現在ブロックの左上側コーナーに隣接するサンプル、現在ブロックの上側方向に位置する現在ブロックの隣接サンプル、及び現在ブロックの左側方向に位置する現在ブロックの隣接サンプルのうち少なくとも一つを、フィルタリング参照サンプルと決定することができる。
イントラ予測部１１０は、現在ブロックのイントラ予測モードが、対角モードを含むアンギュラモードである場合、現在ブロック内現在サンプルを通過する線上に位置する現在ブロックの左側及び上側の隣接サンプル、及び現在ブロックの左上側コーナーに隣接するサンプルのうち少なくとも一つを、フィルタリング参照サンプルと決定することができる。このとき、線は、アンギュラモードによって示される予測方向及び反対方向に向かうことができる。
イントラ予測部１１０は、現在ブロックのイントラ予測モード、及び現在ブロックの大きさのうち少なくとも一つに基づいて、フィルタリング参照サンプルに適用するフィルタのタップ数を決定することができる。
また、イントラ予測部１１０は、現在ブロックのイントラ予測モード、現在ブロック内現在サンプルの位置、及び参照サンプルの位置のうち少なくとも一つに基づき、フィルタリング参照サンプルに適用するフィルタの加重値を決定することに制限されるものではなく、現在ブロックの大きさに基づいて、フィルタリング参照サンプルに適用するフィルタの加重値を決定することができる。
イントラ予測部１１０は、イントラ予測モードによって特定される予測方向の水平方向成分及び垂直方向成分に基づいて、現在ブロックに隣接する参照ライン内サンプルのうち一部をフィルタリング参照サンプルと決定することができる。
イントラ予測部１１０は、現在ブロックのイントラ予測モードが、所定のイントラ予測モードである場合、現在ブロックのイントラ予測モード、現在ブロック内現在サンプルの位置、及び現在ブロックの参照サンプルの位置のうち少なくとも一つに基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプル、及びフィルタの加重値に基づいて、フィルタリング参照サンプル関連値を決定することができる。
イントラ予測部１１０は、少なくとも１つのイントラ予測モードを決定し、決定された少なくとも１つのイントラ予測モードを利用し、現在ブロック内現在サンプルの位置、及び現在ブロックの参照サンプルの位置のうち少なくとも一つを基にフィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定することができる。イントラ予測部１１０は、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、フィルタリング参照サンプル関連値を決定することができる。
このとき、少なくとも１つのイントラ予測モードは、ピクチャ単位ごとに決定されるか、あるいはブロック単位でも決定される。少なくとも１つのイントラ予測モードは、現在ブロックのイントラ予測モードに基づいて決定されるイントラ予測モードであるか、あるいは所定のイントラ予測モードでもある。所定のイントラ予測モードは、水平モード及び垂直モードのうち少なくとも一つでもある。
イントラ予測部１１０は、原参照サンプル関連値及びフィルタリング参照サンプル関連値のうち少なくとも一つに基づいて、現在ブロックの予測サンプルを含む現在ブロックの予測ブロックを獲得することができる。例えば、イントラ予測部１１０は、原参照サンプル関連値及びフィルタリング参照サンプル値をいずれも利用し、現在サンプルに係わるイントラ予測を行うか否かということを決定するか、あるいは原参照サンプル関連値及びフィルタリング参照サンプル関連値のうち一つを決定し、前記決定された値に基づいて、現在サンプルに係わるイントラ予測を行うか否かということを決定することができる。イントラ予測部１１０は、前記決定に基づいて、現在サンプルの予測サンプルを含む現在ブロックの予測ブロックを獲得することができる。
イントラ予測部１１０は、現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定することができる。フィルタリング参照サンプルに係わる第１加重値は、フィルタリング参照サンプルと現在サンプルとの距離に基づいても決定される。例えば、第１加重値は、現在ブロックの大きさ対比で、フィルタリング参照サンプルと現在サンプルとの距離に基づいても決定される。このとき、現在ブロックの大きさは、現在ブロックの高さまたは幅を意味する。該第１加重値は、フィルタリング参照サンプルと現在サンプルとの距離が遠くなるほど小さくもなる。該第２加重値も、第１加重値と類似した方式によっても決定される。当該の第１加重値及び第２加重値は、正規化された値でもある。
このとき、フィルタリング参照サンプルは、現在サンプルの水平方向に位置する原参照サンプル、及び現在サンプルの垂直方向に位置する原参照サンプルのうち少なくとも一つを含んでもよい。一方、現在ブロックのイントラ予測モードがアンギュラモードである場合、フィルタリング参照サンプルは、現在サンプルを通過する線上に位置する現在ブロックの左側及び上側の隣接サンプルのうち少なくとも一つを含んでもよい。このとき、前記線は、アンギュラモードによって示される予測方向及び反対方向に向かうことができる。
イントラ予測部１１０は、フィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成することができる。例えば、イントラ予測部１１０は、現在ブロックのイントラ予測モードが、所定のイントラ予測モードである場合にだけ、フィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成することができる。
例えば、イントラ予測部１１０は、少なくとも１つの第２イントラ予測モードを決定し、少なくとも１つの第２イントラ予測モードを利用し、現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、決定されるフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成することができる。このとき、少なくとも１つの第２イントラ予測モードは、ピクチャ単位ごとに決定されるか、あるいはブロック単位でも決定される。少なくとも１つの第２イントラ予測モードは、現在ブロックのイントラ予測モード、現在ブロックのイントラ予測モードによって示される予測方向の反対方向を示すイントラ予測モード、水平モード及び垂直モードのうち少なくとも一つにも決定される。
イントラ予測部１１０は、現在ブロックのフィルタリングされた予測サンプル値を含む現在ブロックの予測ブロックを生成することができる。
イントラ予測部１１０は、原参照サンプル関連値に係わる第１加重値、フィルタリング参照サンプル関連値に係わる第２加重値、原参照サンプル関連値及びフィルタリング参照サンプル関連値を基にフィルタリングを行い、現在ブロックの予測サンプルを獲得することができる。
イントラ予測部１１０は、フィルタリング参照サンプルから現在サンプルまでの距離が遠いほど、フィルタリング参照サンプル関連値に係わる第２加重値を小さく決定することができる。
映像復号部１１５は、現在ブロックの変換係数に係わる情報を基に、現在ブロックの残差ブロックを獲得することができる。すなわち、映像復号部１１５は、ビットストリームから、現在ブロックの変換係数に係わる情報を基に、逆量子化及び逆変換を行い、現在ブロックの残差ブロックに係わる残差サンプルを獲得することができる。
映像復号部１１５は、現在ブロックの予測ブロック、及び現在ブロックの残差ブロックを基に、現在ブロックを復元することができる。映像復号部１１５は、現在ブロックの予測ブロック内予測サンプルのサンプル値、及び現在ブロックの残差ブロック内残差サンプルのサンプル値を利用し、現在ブロック内復元サンプルを生成し、復元サンプルを基に、現在ブロックの復元ブロックを生成することができる。
一方、映像復号装置１００は、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うか否かということを示すフラグ情報をビットストリームから獲得し、フラグ情報を基に、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うか否かということを決定することができる。このとき、該フラグ情報は、ブロック別にも獲得され、特に、最大符号化単位別にも獲得される。
また、映像復号装置１００は、輝度成分及び色差成分に共通して適用されるフラグ情報を獲得することができる。または、映像復号装置１００は、輝度成分または色差成分にそれぞれ適用されるフラグ情報を獲得することができる。
または、映像復号装置１００は、ビットストリームからフラグ情報を獲得せず、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うか否かということを決定することができる。例えば、映像復号装置１００は、現在ブロックの予測モードが、所定のイントラ予測モードである場合、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うと決定することができる。
または、映像復号装置１００は、ビットストリームからフラグ情報を獲得せず、周辺ブロックの情報を利用し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うか否かということを決定することができる。例えば、映像復号装置１００は、現在ブロックの周辺ブロックに対し、フィルタリング参照サンプル、及びフィルタの加重値を基に、適応的にイントラ予測を行うか否かということを示す周辺ブロックのフラグ情報を基に、現在ブロックに対し、フィルタリング参照サンプル、及びフィルタの加重値を基に、適応的にイントラ予測を行うか否かということを決定することができる。
または、映像復号装置１００は、現在ブロックの大きさに基づいて、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うか否かということを決定することができる。例えば、映像復号装置１００は、現在ブロックの大きさが所定の第１ブロックサイズである場合、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うことができ、映像復号装置１００は、所定の第２ブロックサイズである場合、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行わず、従来のイントラ予測を行うことができる。
映像復号装置１００は、フィルタリング参照サンプル、及びフィルタの加重値に基づいた適応的なイントラ予測の符号化／復号ツールと類似したイントラ予測の符号化／復号ツールを互いに結合し、イントラ予測を行うことができる。または、映像復号装置１００は、複数のイントラ予測の符号化／復号ツール間の優先順位を付与し、符号化／復号ツール間の優先順位により、イントラ予測を行うことができる。すなわち、高い優先順位を有する符号化／復号ツールが利用される場合、低い優先順位を有する符号化／復号ツールは、利用されず、高い優先順位を有する符号化／復号ツールが利用されない場合、低い優先順位を有する符号化／復号ツールが利用されもする。
図１Ｂは、多様な実施形態による映像復号方法のフローチャートを図示する。
Ｓ１０５段階において、映像復号装置１００は、現在ブロックの変換係数に係わる情報を獲得することができる。
Ｓ１１０段階において、映像復号装置１００は、現在ブロックのイントラ予測モード、現在ブロック内現在サンプルの位置、及び現在ブロックの参照サンプルの位置のうち少なくとも一つに基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値に基づいて、フィルタリング参照サンプル関連値を決定することができる。
Ｓ１１５段階において、映像復号装置１００は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、原参照サンプル関連値を決定することができる。
Ｓ１２０段階において、映像復号装置１００は、原参照サンプル関連値及びフィルタリング参照サンプル関連値のうち少なくとも一つに基づいて、現在サンプルの予測サンプルを含む現在ブロックの予測ブロックを獲得することができる。
Ｓ１２５段階において、映像復号装置１００は、現在ブロックの変換係数に係わる情報を基に、現在ブロックの残差ブロックを獲得することができる。
Ｓ１３０段階において、映像復号装置１００は、現在ブロックの予測ブロック、及び現在ブロックの残差ブロックを基に、現在ブロックを復元することができる。
図１Ｃは、多様な実施形態による映像復号方法のフローチャートを図示する。
Ｓ１５５段階において、映像復号装置１００は、現在ブロックの変換係数に係わる情報を獲得することができる。
Ｓ１６０段階において、映像復号装置１００は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、現在サンプルに係わるイントラ予測値を生成することができる。
Ｓ１６５段階において、映像復号装置１００は、現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値及びフィルタ参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、フィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成することができる。
Ｓ１７０段階において、映像復号装置１００は、現在サンプルのフィルタリングされた予測サンプル値を含む現在ブロックの予測ブロックを生成することができる。
Ｓ１７５段階において、映像復号装置１００は、現在ブロックの変換係数に係わる情報を基に、現在ブロックの残差ブロックを獲得することができる。
Ｓ１８０段階において、映像復号装置１００は、現在ブロックの予測ブロック、及び現在ブロックの残差ブロックを基に、現在ブロックを復元することができる。
図１Ｄは、多様な実施形態による映像復号部６０００のブロック図を図示する。
多様な実施形態による映像復号部６０００は、映像復号装置１００の映像復号部１１５において、映像データを符号化するのに経る作業を遂行する。
図１Ｄを参照すれば、エントロピー復号部６１５０は、ビットストリーム６０５０から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部６２００）及び逆変換部６２５０は、量子化された変換係数から残差データを復元する。
イントラ予測部６４００は、ブロック別にイントラ予測を行う。図１Ｄのイントラ予測部６４００は、図１Ａのイントラ予測部１１０に対応する。
インター予測部６３５０は、ブロック別に、復元ピクチャバッファ６３００から獲得された参照映像を利用してインター予測を行う。イントラ予測部６４００またはインター予測部６３５０で生成された各ブロックに係わる予測データ及び残差データが加わることにより、現在映像のブロックに係わる空間領域のデータが復元され、デブロッキング部６４５０及びＳＡＯ遂行部６５００は、復元された空間領域のデータに対してループフィルタリングを行い、フィルタリングされた復元映像６６００を出力することができる。また、復元ピクチャバッファ６３００に保存された復元映像は、参照映像としても出力される。
映像復号装置１００の復号部（図示せず）において、映像データを復号するために、多様な実施形態による映像復号部６０００の段階別作業がブロック別にも遂行される。
図２Ａは、多様な実施形態による映像符号化装置のブロック図を図示する。
多様な実施形態による映像符号化装置１５０は、イントラ予測部１５５及び映像符号化部１６０を含んでもよい。
イントラ予測部１５５及び映像符号化部１６０は、少なくとも１つのプロセッサを含んでもよい。また、イントラ予測部１５５及び映像符号化部１６０は、少なくとも１つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。イントラ予測部１５５及び映像符号化部１６０と別途のハードウェアによって具現されるか、あるいはイントラ予測部１５５及び映像符号化部１６０を含んでもよい。
イントラ予測部１５５は、現在ブロックのイントラ予測モード、現在ブロック内現在サンプルの位置、及び現在ブロックの参照サンプルの位置のうち少なくとも一つに基づき、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値に基づいて、フィルタリング参照サンプル関連値を決定することができる。イントラ予測部１５５は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、原参照サンプル関連値を決定することができる。
イントラ予測部１５５は、原参照サンプル関連値及びフィルタリング参照サンプル関連値のうち少なくとも一つに基づいて、現在サンプルの予測サンプルを含む現在ブロックの予測ブロックを生成することができる。
または、イントラ予測部１５５は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、現在サンプルのイントラ予測値を生成することができる。イントラ予測部１５５は、現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定することができる。イントラ予測部１５５は、フィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成することができる。イントラ予測部１５５は、現在サンプルのフィルタリングされた予測サンプル値を含む現在ブロックの予測ブロックを生成することができる。
映像符号化部１６０は、現在ブロックの予測ブロックに基づいて、現在ブロックの変換係数に係わる情報を符号化することができる。すなわち、映像符号化部１６０は、現在ブロックの原本ブロック、及び現在ブロックの予測ブロックに基づいて、現在ブロックの残差ブロックを生成し、現在ブロックの残差ブロックを変換及び量子化し、現在ブロックの変換係数に係わる情報を符号化することができる。映像符号化部１６０は、現在ブロックの予測モードに係わる情報、及び現在ブロックのイントラ予測モードに係わる情報を符号化することができる。
映像符号化部１６０は、現在ブロックの変換係数に係わる情報を含むビットストリームを生成し、ビットストリームを出力することができる。
図２Ｂは、多様な実施形態による映像符号化方法のフローチャートを図示する。
Ｓ２０５段階において、映像符号化装置１５０は、現在ブロックのイントラ予測モード、現在ブロック内現在サンプルの位置、及び現在ブロックの参照サンプルの位置のうち少なくとも一つに基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値に基づいて、フィルタリング参照サンプル関連値を決定することができる。
Ｓ２１０段階において、映像符号化装置１５０は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、原参照サンプル関連値を決定することができる。
Ｓ２１５段階において、映像符号化装置１５０は、原参照サンプル関連値及びフィルタリング参照サンプル関連値のうち少なくとも一つに基づいて、現在サンプルの予測サンプルを含む現在ブロックの予測ブロックを生成することができる。
Ｓ２２０段階において、映像符号化装置１５０は、現在ブロックの予測ブロックに基づいて、現在ブロックの変換係数に係わる情報を符号化することができる。
図２Ｃは、多様な実施形態による映像符号化方法のフローチャートを図示する。
Ｓ２５０段階において、映像符号化装置１５０は、現在ブロック内現在サンプルの位置、及び現在ブロックのイントラ予測モードに基づいて、現在サンプルのイントラ予測値を生成することができる。
Ｓ２５５段階において、映像符号化装置１５０は、現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、現在サンプルのフィルタリングされた予測サンプル値を生成することができる。
Ｓ２６０段階において、映像符号化装置１５０は、現在サンプルのフィルタリングされた予測サンプル値を含む現在ブロックの予測ブロックを生成することができる。
Ｓ２６５段階において、映像符号化装置１５０は、現在ブロックの予測ブロックに基づいて、現在ブロックの変換係数に係わる情報を符号化することができる。
図２Ｄは、多様な実施形態による映像符号化部のブロック図を図示する。
多様な実施形態による映像符号化部７０００は、映像符号化装置１５０の映像符号化部１６０において、映像データを符号化するのに経る作業を遂行する。
すなわち、イントラ予測部７２００は、現在映像７０５０において、ブロック別にイントラ予測を行い、インター予測部７１５０は、ブロック別に、現在映像７０５０及び復元ピクチャバッファ７１００から獲得された参照映像を利用してインター予測を行う。
イントラ予測部７２００またはインター予測部７１５０から出力された各ブロックに係わる予測データを、現在映像７０５０のエンコードされるブロックに係わるデータから抜き取ることによって残差データを生成し、変換部７２５０及び量子化部７３００は、残差データに対して変換及び量子化を行い、ブロック別に量子化された変換係数を出力することができる。図２Ｄのイントラ予測部７２００は、図２Ａのイントラ予測部１５５に対応する。
逆量子化部７４５０、逆変換部７５００は、量子化された変換係数に対して逆量子化及び逆変換を行い、空間領域の残差データを復元することができる。復元された空間領域の残差データは、イントラ予測部７２００またはインター予測部７１５０から出力された各ブロックに係わる予測データと加えられることにより、現在映像７０５０のブロックに係わる空間領域のデータに復元される。デブロッキング部７５５０及びＳＡＯ遂行部は、復元された空間領域のデータに対してインループフィルタリングを行い、フィルタリングされた復元映像を生成する。生成された復元映像は、復元ピクチャバッファ７１００に保存される。復元ピクチャバッファ７１００に保存された復元映像は、他の映像のインター予測のための参照映像にも利用される。エントロピー符号化部７３５０は、量子化された変換係数に対してエントロピー符号化し、エントロピー符号化された係数が、ビットストリーム７４００としても出力される。
多様な実施形態による映像符号化部７０００が映像符号化装置１５０に適用されるために、多様な実施形態による映像符号化部７０００の段階別作業がブロック別にも遂行される。
以下では、本開示の一実施形態により、符号化単位の分割について詳細に説明する。
まず、１枚のピクチャは、１以上のスライスにも分割される。１つのスライスは、１以上の最大符号化単位（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）のシーケンスでもある。最大符号化単位（ＣＴＵ）と対比される概念として、最大符号化ブロック（ＣＴＢ：ｃｏｄｉｎｇ ｔｒｅｅ ｂｌｏｃｋ）がある。
最大符号化ブロック（ＣＴＢ）は、ＮｘＮ個のサンプルを含むＮｘＮブロックを意味する（Ｎは、整数である）。各カラー成分は、１以上の最大符号化ブロックにも分割される。
ピクチャが３個のサンプルアレイ（Ｙ，Ｃｒ，Ｃｂ成分別サンプルアレイ）を有する場合、最大符号化単位（ＣＴＵ）とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの２個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。ピクチャがモノクロームピクチャである場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、最大符号化単位とは、当該ピクチャと、ピクチャのサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
１つの最大符号化ブロック（ＣＴＢ）は、ＭｘＮ個のサンプルを含むＭｘＮ符号化ブロックにも分割される（Ｍ、Ｎは、整数である）。
ピクチャがＹ，Ｃｒ，Ｃｂ成分別サンプルアレイを有する場合、符号化単位（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの２個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。ピクチャがモノクロームピクチャである場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、符号化単位とは、当該ピクチャと、ピクチャのサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、（最大）符号化単位は、当該サンプルを含む（最大）符号化ブロックと、それに対応するシンタックス構造を含むデータ構造と、を意味する。しかし、当業者が（最大）符号化単位または（最大）符号化ブルロックが所定個数のサンプルを含む所定サイズのブロックを指すということを理解することができるので、以下、明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別しないで言及する。
映像は、最大符号化単位（ＣＴＵ）にも分割される。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。最大符号化単位の形態は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。
例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得される。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、２５６ｘ２５６のうち一つでもある。
例えば、ビットストリームから、２分割が可能なルマ符号化ブロックの最大サイズと、ルマブロックサイズ差とに係わる情報が獲得されもする。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と、２分割が可能な最大ルマ符号化ブロックとのサイズ差を示すことができる。従って、ビットストリームから獲得された２分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差とに係わる情報とを結合すれば、ルマ最大符号化単位の大きさが決定されもする。ルマ最大符号化単位の大きさを利用すれば、クロマ最大符号化単位の大きさも決定される。例えば、カラーフォーマットにより、Ｙ：Ｃｂ：Ｃｒ比が４：２：０であるならば、クロマブロックサイズは、ルマブロックサイズの半分でもあり、同様に、クロマ最大符号化単位の大きさは、ルマ最大符号化単位の大きさの半分でもある。
一実施形態によれば、バイナリ分割（ｂｉｎａｒｙ ｓｐｌｉｔ）が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリ分割が可能なルマ符号化ブロックの最大サイズは、可変的にも決定される。それと異なり、ターナリ分割（ｔｅｒｎａｒｙ ｓｐｌｉｔ）が可能なルマ符号化ブロックの最大サイズは、固定されもする。例えば、Ｉスライスでターナリ分割が可能なルマ符号化ブロックの最大サイズは、３２ｘ３２であり、ＰスライスまたはＢスライスでターナリ分割が可能なルマ符号化ブロックの最大サイズは、６４ｘ６４でもある。
また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づいて、符号化単位で階層的にも分割される。分割形態モード情報として、クアッド分割（ｑｕａｄ ｓｐｌｉｔ）いかんを示す情報、多分割いかんを示す情報、分割方向情報及び分割タイプ情報のうち少なくとも一つがビットストリームからも獲得される。
例えば、クアッド分割いかんを示す情報は、現在符号化単位がクアッド分割（ＱＵＡＤ＿ＳＰＬＩＴ）されるか、あるいはクアッド分割されないかということを示すことができる。
現在符号化単位がクアッド分割されなければ、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されない（ＮＯ＿ＳＰＬＩＴ）か、あるいはバイナリ／ターナリ分割されるかということを示すことができる。
現在符号化単位がバイナリ分割されるか、あるいはターナリ分割されれば、分割方向情報は、現在符号化単位が、水平方向または垂直方向のうち一つに分割されることを示す。
現在符号化単位が、水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位をバイナリ分割またはターナリ分割で分割することを示す。
当該の分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されもする。現在符号化単位が水平方向にバイナリ分割される場合の分割モードは、バイナリ水平分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）、水平方向にターナリ分割される場合のターナリ水平分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）、垂直方向にバイナリ分割される場合の分割モードは、バイナリ垂直分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）及び垂直方向にターナリ分割される場合の分割モードは、ターナリ垂直分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）とも決定される。
映像復号装置１００は、ビットストリームから、分割形態モード情報を１つのビンストリングから獲得することができる。映像復号装置１００が受信したビットストリームの形態は、ｆｉｘｅｄ ｌｅｎｇｔｈ ｂｉｎａｒｙ ｃｏｄｅ、ｕｎａｒｙ ｃｏｄｅ、ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｃｏｄｅ、既定のバイナリコードなどを含んでもよい。ビンストリングは、情報を２進数の羅列で示したものである。該ビンストリングは、少なくとも１つのビットによっても構成される。映像復号装置１００は、分割規則に基づいて、ビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置１００は、１つのビンストリングに基づいて、符号化単位をクアッド分割するか分割しないかということ、または分割方向及び分割タイプを決定することができる。
符号化単位は、最大符号化単位より小さいか、あるいはそれと同じである。例えば、最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。最大符号化単位に係わる分割形態モード情報が、分割されないことを示す場合、最大符号化単位に決定される符号化単位は、最大符号化単位の同じ大きさを有する。最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それらに限定されるものではなく、最大符号化単位及び符号化単位は、区別されもしない。符号化単位の分割については、図３ないし図１６でさらに詳細に説明する。
また、符号化単位から、予測のための１以上の予測ブロックが決定されもする。該予測ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。また、符号化単位から、変換のための１以上の変換ブロックが決定されもする。該変換ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。
変換ブロックと予測ブロックとの形態及び大きさは、互いに係わりがない。
他の実施形態において、符号化単位が予測ブロックとして、符号化単位を利用して予測が行われもする。また、符号化単位が変換ブロックとして、符号化単位を利用して変換が行われもする。
符号化単位の分割については、図３ないし図１６において、さらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち一つを示すことができる。また、現在ブロックまたは現在符号化単位は、現在復号または符号化が進められるブロック、または現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、現在ブロックから空間的または時間的に隣接している。該周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置することができる。
図３は、一実施形態による映像復号装置１００が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
ブロック形態は、４Ｎｘ４Ｎ、４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたはＮｘ８Ｎを含んでもよい。ここで、Ｎは、正の整数でもある。該ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを示す情報である。
符号化単位の形態は、正方形（ｓｑｕａｒｅ）及び非正方形（ｎｏｎ−ｓｑｕａｒｅ）を含んでもよい。符号化単位の幅及び高さの長さが同じである場合（すなわち、符号化単位のブロック形態が４Ｎｘ４Ｎである場合）、映像復号装置１００は、符号化単位のブロック形態情報を正方形と決定することができる。映像復号装置１００は、符号化単位の形態を非正方形にも決定することができる。
符号化単位の幅及び高さの長さが異なる場合（すなわち、符号化単位のブロック形態が４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたはＮｘ８Ｎである場合）、映像復号装置１００は、符号化単位のブロック形態情報を非正方形と決定することができる。符号化単位の形態が非正方形である場合、映像復号装置１００は、符号化単位のブロック形態情報において、幅及び高さの比率を、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、１：３２、３２：１のうち少なくとも一つに決定することができる。また、符号化単位幅の大きさ及び高さの大きさに基づいて、映像復号装置１００は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、符号化単位幅の大きさ、高さの大きさ、または広さのうち少なくとも一つに基づいて、映像復号装置１００は、符号化単位の大きさを決定することができる。
一実施形態による映像復号装置１００は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置１００が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されもする。
映像復号装置１００は、ビットストリームから、分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置１００及び映像符号化装置１５０は、ブロック形態情報に基づいて、あらかじめ約束された分割形態モード情報を決定することができる。映像復号装置１００は、最大符号化単位または最小符号化単位について、あらかじめ約束された分割形態モード情報を決定することができる。例えば、映像復号装置１００は、最大符号化単位について、分割形態モード情報をクアッド分割と決定することができる。また、映像復号装置１００は、最小符号化単位について、分割形態モード情報を「分割しない」と決定することができる。具体的には、映像復号装置１００は、最大符号化単位の大きさを２５６ｘ２５６に決定することができる。映像復号装置１００は、あらかじめ約束された分割形態モード情報をクアッド分割に決定することができる。該クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置１００は、分割形態モード情報に基づいて、２５６ｘ２５６サイズの最大符号化単位から、１２８ｘ１２８サイズの符号化単位を獲得することができる。また、映像復号装置１００は、最小符号化単位の大きさを４ｘ４に決定することができる。映像復号装置１００は、最小符号化単位について、「分割しない」を示す分割形態モード情報を獲得することができる。
一実施形態により、映像復号装置１００は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、映像復号装置１００は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかということを決定することができる。図３を参照すれば、現在符号化単位３００のブロック形態情報が正方形状を示す場合、復号部１２０は、分割されないことを示す分割形態モード情報により、現在符号化単位３００と同一サイズを有する符号化単位３１０ａを分割しないか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位３１０ｂ，３１０ｃ，３１０ｄ，３１０ｅ，３１０ｆを決定することができる。
図３を参照すれば映像復号装置１００は、一実施形態により、垂直方向に分割されることを示す分割形態モード情報に基づいて、現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。映像復号装置１００は、水平方向に分割されることを示す分割形態モード情報に基づいて、現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。映像復号装置１００は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づいて、現在符号化単位３００を垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。映像復号装置１００は、一実施形態により、垂直方向にターナリ分割されることを示す分割形態モード情報に基づいて、現在符号化単位３００を垂直方向に分割した３つの符号化単位３１０ｅを決定することができる。映像復号装置１００は、水平方向にターナリ分割されることを示す分割形態モード情報に基づいて、現在符号化単位３００を水平方向に分割した３つの符号化単位３１０ｆを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定の分割形態は、以下で、多様な実施形態を介して具体的に説明することにする。
図４は、一実施形態による映像復号装置１００が非正方形状である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態による映像復号装置１００は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。映像復号装置１００は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０のブロック形態情報が非正方形状を示す場合、映像復号装置１００は、分割されないことを示す分割形態モード情報により、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を決定するか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位４２０ａ，４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下で多様な実施形態を介して具体的に説明することにする。
一実施形態による映像復号装置１００は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図４を参照すれば、分割形態モード情報が２つの符号化単位に、現在符号化単位４００または４５０が分割されることを示す場合、映像復号装置１００は、分割形態モード情報に基づいて、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができる。
一実施形態による映像復号装置１００が、分割形態モード情報に基づいて、非正方形状の現在符号化単位４００または４５０を分割する場合、映像復号装置１００は、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置１００は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位を分割（ターナリ分割）することを示す場合、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態モード情報が、３個の符号化単位に、現在符号化単位４００または４５０を分割することを示す場合、映像復号装置１００は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃに分割することができる。
一実施形態により、現在符号化単位４００または４５０の幅及び高さの比率が、４：１または１：４でもある。幅及び高さの比率が４：１である場合、幅の大きさが高さの大きさより大きいので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が１：４である場合、幅の大きさが高さの大きさより小さいので、ブロック形態情報は、垂直方向でもある。映像復号装置１００は、分割形態モード情報に基づいて、現在符号化単位を奇数個のブロックに分割することを決定することができる。また、映像復号装置１００は、現在符号化単位４００または４５０のブロック形態情報に基づいて、現在符号化単位４００または４５０の分割方向を決定することができる。例えば、現在符号化単位４００が垂直方向である場合、映像復号装置１００は、現在符号化単位４００を水平方向に分割し、符号化単位４３０ａ，４３０ｂ，４３０ｃを決定することができる。また、現在符号化単位４５０が水平方向である場合、映像復号装置１００は、現在符号化単位４５０を垂直方向に分割し、符号化単位４８０ａ，４８０ｂ，４８０ｃを決定することができる。
一実施形態による映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさは、いずれも同じでなくともよい。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃにおいて、所定符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃがそれぞれ互いに異なる大きさを有することもできる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置１００は、分割されて生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して、所定の制限を置くことができる。図４を参照すれば、映像復号装置１００は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃのうち、中央に位置する符号化単位４３０ｂ，４８０ｂに係わる復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異ならせることができる。例えば、映像復号装置１００は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほどだけ分割されるように制限することができる。
図５は、一実施形態による映像復号装置１００が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
一実施形態による映像復号装置１００は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位５００を、符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に、第１符号化単位５００を分割することを示す場合、映像復号装置１００は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０を決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下においては、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものであると理解されもする。
一実施形態による映像復号装置１００は、決定された第２符号化単位５１０を、分割形態モード情報に基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、映像復号装置１００は、分割形態モード情報に基づいて、第１符号化単位５００を分割し、決定された非正方形状の第２符号化単位５１０を、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄに分割するか、あるいは第２符号化単位５１０を分割しない。映像復号装置１００は、分割形態モード情報を獲得することができ、映像復号装置１００は、獲得した分割形態モード情報に基づいて、第１符号化単位５００を分割し、例えば、多様な形態の複数個の第２符号化単位５１０に分割することができ、第２符号化単位５１０は、分割形態モード情報に基づいて、第１符号化単位５００が分割された方式によっても分割される。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わる分割形態モード情報に基づいて、第２符号化単位５１０に分割された場合、第２符号化単位５１０も、第２符号化単位５１０に係わる分割形態モード情報に基づいて、例えば、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づいて、再帰的にも分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されもする。
図５を参照すれば、非正方形状の第２符号化単位５１０が分割されて決定される奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて、所定符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的にも分割される。一実施形態により、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち一つである正方形状の第３符号化単位５２０ｂは、水平方向に分割され、複数個の第４符号化単位にも分割される。複数個の第４符号化単位５３０ａ，５３０ｂ，５３０ｃ，５３０ｄのうち一つである非正方形状の第４符号化単位５３０ｂまたは５３０ｄは、また複数個の符号化単位にも分割される。例えば、非正方形状の第４符号化単位５３０ｂまたは５３０ｄは、奇数個の符号化単位にさらにも分割される。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述することにする。
一実施形態による映像復号装置１００は、分割形態モード情報に基づいて、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄそれぞれを、符号化単位に分割することができる。また、映像復号装置１００は、分割形態モード情報に基づいて、第２符号化単位５１０を分割しないと決定することができる。映像復号装置１００は、一実施形態により、非正方形状の第２符号化単位５１０を、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。映像復号装置１００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて、所定の第３符号化単位に対し、所定の制限を置くことができる。例えば、映像復号装置１００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されるものであると制限することができる。
図５を参照すれば、映像復号装置１００は、非正方形状の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、あるいは所定の分割形態に分割（例えば、４個の符号化単位にだけ分割したり、第２符号化単位５１０が分割された形態に対応する形態に分割されたりすること）されると制限するか、あるいは所定の回数にだけ分割（例えば、ｎ回だけ分割する、ｎ＞０）すると制限することができる。ただし、真ん中に位置した符号化単位５２０ｃに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが、他の符号化単位５２０ｂ，５２０ｄと異なるように復号される多様な制限を含むと解釈されなければならない。
一実施形態による映像復号装置１００は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定位置で獲得することができる。
図６は、一実施形態による映像復号装置１００が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。
図６を参照すれば、現在符号化単位６００，６５０の分割形態モード情報は、現在符号化単位６００，６５０に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、真ん中に位置するサンプル６４０，６９０）からも獲得される。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得される現在符号化単位６００内の所定位置は、図６で図示する真ん中に位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位６００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下側、右側上端または右側下側など）が含まれてもよいと解釈されなければならない。映像復号装置１００は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
一実施形態による映像復号装置１００は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様であり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。
一実施形態による映像復号装置１００は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
一実施形態による映像復号装置１００は、奇数個の符号化単位のうち真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、映像復号装置１００は、現在符号化単位６００または現在符号化単位６５０を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃまたは、奇数個の符号化単位６６０ａ，６６０ｂ，６６０ｃを決定することができる。映像復号装置１００は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃまたは奇数個の符号化単位６６０ａ，６６０ｂ，６６０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂまたは真ん中符号化単位６６０ｂを決定することができる。例えば、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での座標間差を示す情報に該当する。すなわち、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル５３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を昇順または降順に整列したとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位に決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準に、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法について述べた方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。
一実施形態による映像復号装置１００は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定の基準により、符号化単位を選択することができる。例えば、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、大きさが異なる符号化単位６２０ｂを選択することができる。
一実施形態による映像復号装置１００は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。一実施形態により、映像復号装置１００は、上端符号化単位６２０ａの幅を、現在符号化単位６００の幅と決定することができる。映像復号装置１００は、上端符号化単位６２０ａの高さを、ｙｂ−ｙａと決定することができる。一実施形態による映像復号装置１００は、真ん中符号化単位６２０ｂの幅を、現在符号化単位６００の幅と決定することができる。映像復号装置１００は、真ん中符号化単位６２０ｂの高さを、ｙｃ−ｙｂと決定することができる。一実施形態による映像復号装置１００は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さとを利用して決定することができる。映像復号装置１００は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像復号装置１００は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位に決定することができる。ただし、前述の映像復号装置１００が、異なる符号化単位と異なる大きさとを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されもする。
映像復号装置１００は、左側符号化単位６６０ａの左側上端のサンプル６７０ａの位置を示す情報である（ｘｄ，ｙｄ）座標、真ん中符号化単位６６０ｂの左側上端のサンプル６７０ｂの位置を示す情報である（ｘｅ，ｙｅ）座標、右側符号化単位６６０ｃの左側上端のサンプル６７０ｃの位置を示す情報である（ｘｆ，ｙｆ）座標を利用し、符号化単位６６０ａ，６６０ｂ，６６０ｃそれぞれの幅または高さを決定することができる。映像復号装置１００は、符号化単位６６０ａ，６６０ｂ，６６０ｃの位置を示す座標である（ｘｄ，ｙｄ）、（ｘｅ，ｙｅ）、（ｘｆ，ｙｆ）を利用し、符号化単位６６０ａ，６６０ｂ，６６０ｃそれぞれの大きさを決定することができる。
一実施形態により、映像復号装置１００は、左側符号化単位６６０ａの幅を、ｘｅ−ｘｄと決定することができる。映像復号装置１００は、左側符号化単位６６０ａの高さを、現在符号化単位６５０の高さと決定することができる。一実施形態による映像復号装置１００は、真ん中符号化単位６６０ｂの幅を、ｘｆ−ｘｅと決定することができる。映像復号装置１００は、真ん中符号化単位６６０ｂの高さを、現在符号化単位６００の高さと決定することができる。一実施形態による映像復号装置１００は、右側符号化単位６６０ｃの幅または高さは、現在符号化単位６５０の幅または高さと、左側符号化単位６６０ａ及び真ん中符号化単位６６０ｂの幅及び高さを利用して決定することができる。映像復号装置１００は、決定された符号化単位６６０ａ，６６０ｂ，６６０ｃの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像復号装置１００は、左側符号化単位６６０ａ及び右側符号化単位６６０ｃの大きさと異なる大きさを有する真ん中符号化単位６６０ｂを、所定位置の符号化単位に決定することができる。ただし、前述の映像復号装置１００が異なる符号化単位と、異なる大きさとを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されもする。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されるとも解釈される。
一実施形態による映像復号装置１００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きき非正方形状であるならば、映像復号装置１００は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１００は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置１００は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１００は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
一実施形態による映像復号装置１００は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置１００は、現在符号化単位を分割（バイナリ分割）し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６で説明した奇数個の符号化単位のうち、所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。
一実施形態により、非正方形状の現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定の情報を利用することができる。例えば、映像復号装置１００は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。
図６を参照すれば、映像復号装置１００は、分割形態モード情報に基づいて、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位６２０ｂを決定することができる。さらには、映像復号装置１００は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００の分割形態モード情報は、現在符号化単位６００の真ん中に位置するサンプル６４０からも獲得され、前記分割形態モード情報に基づいて、現在符号化単位６００が複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割された場合、前記サンプル６４０を含む符号化単位６２０ｂを、真ん中に位置する符号化単位に決定することができる。ただし、真ん中に位置する符号化単位に決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多種の情報が、真ん中に位置する符号化単位を決定する過程においても利用される。
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定のサンプルからも獲得される。図６を参照すれば、映像復号装置１００は、現在符号化単位６００が分割されて決定された複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位６００内の所定位置のサンプル（例えば、現在符号化単位６００の真ん中に位置するサンプル）から獲得される分割形態モード情報を利用することができる。すなわち、映像復号装置１００は、現在符号化単位６００のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置１００は、現在符号化単位６００が分割されて決定される複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定の情報（例えば、分割形態モード情報）が獲得されるサンプルが含まれた符号化単位６２０ｂを決定し、所定の制限を置くことができる。図６を参照すれば、一実施形態による映像復号装置１００は、所定の情報が獲得されうるサンプルとして、現在符号化単位６００の真ん中に位置するサンプル６４０を決定することができ、映像復号装置１００は、そのようなサンプル６４０が含まれる符号化単位６２０ｂに対し、復号過程での所定制限を置くことができる。ただし、所定の情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位６２０ｂに含まれる任意の位置のサンプルとも解釈される。
一実施形態により、所定の情報が獲得されうるサンプルの位置は、現在符号化単位６００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によって所定の情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置１００は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定の情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、映像復号装置１００は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定の情報が獲得されうるサンプルと決定することができる。
一実施形態による映像復号装置１００は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態による映像復号装置１００は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置１００は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図５を介して説明したので、詳細な説明は、省略することにする。
一実施形態による映像復号装置１００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を、所定のブロック（例えば、現在符号化単位）によって決定することができる。
図７は、一実施形態による映像復号装置１００が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態による映像復号装置１００は、分割形態モード情報により、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定するか、第１符号化単位７００を水平方向に分割し、第２符号化単位７３０ａ，７３０ｂを決定するか、あるいは第１符号化単位７００を垂直方向及び水平方向に分割し、第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができる。
図７を参照すれば、映像復号装置１００は、第１符号化単位７００を垂直方向に分割して決定された第２符号化単位７１０ａ，７１０ｂが、水平方向（７１０ｃ）に処理されるように順序を決定することができる。映像復号装置１００は、第１符号化単位７００を水平方向に分割して決定された第２符号化単位７３０ａ，７３０ｂの処理順序を、垂直方向（７３０ｃ）に決定することができる。映像復号装置１００は、第１符号化単位７００を、垂直方向及び水平方向に分割して決定された第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄに対して、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタースキャン順序（ｒａｓｔｅｒ ｓｃａｎ ｏｒｄｅｒ）またはｚスキャン順序（ｚ ｓｃａｎ ｏｒｄｅｒ）（７５０ｅ））によって決定することができる。
一実施形態による映像復号装置１００は、符号化単位を再帰的に分割することができる。図７を参照すれば、映像復号装置１００は、第１符号化単位７００を分割し、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができ、決定された複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを分割する方法は、第１符号化単位７００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄは、それぞれ独立して、複数個の符号化単位にも分割される。図７を参照すれば、映像復号装置１００は、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定することができ、さらには、第２符号化単位７１０ａ，７１０ｂそれぞれを、独立して分割するか、あるいは分割しないと決定することができる。
一実施形態による映像復号装置１００は、左側の第２符号化単位７１０ａを、水平方向に分割し、第３符号化単位７２０ａ，７２０ｂに分割することができ、右側の第２符号化単位７１０ｂは、分割しない。
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置１００は、左側の第２符号化単位７１０ａが分割されて決定された第３符号化単位７２０ａ，７２０ｂが処理される順序を、右側の第２符号化単位７１０ｂと独立して決定することができる。左側の第２符号化単位７１０ａが水平方向に分割され、第３符号化単位７２０ａ，７２０ｂが決定されたので、第３符号化単位７２０ａ，７２０ｂは、垂直方向（７２０ｃ）にも処理される。また、左側の第２符号化単位７１０ａ及び右側の第２符号化単位７１０ｂが処理される順序は、水平方向（７１０ｃ）に該当するので、左側の第２符号化単位７１０ａに含まれる第３符号化単位７２０ａ，７２０ｂが垂直方向（７２０ｃ）に処理された後、右側符号化単位７１０ｂが処理されもする。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序により、独立しても処理される多様な方法に利用されると解釈されなければならない。
図８は、一実施形態による映像復号装置１００が所定順序で符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する。
一実施形態による映像復号装置１００は、獲得された分割形態モード情報に基づいて、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図８を参照すれば、正方形状の第１符号化単位８００が非正方形状の第２符号化単位８１０ａ，８１０ｂにも分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立して、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅにも分割される。一実施形態による映像復号装置１００は、第２符号化単位のうち左側符号化単位８１０ａは、水平方向に分割し、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割することができる。
一実施形態による映像復号装置１００は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが所定順序で処理されうるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図８を参照すれば、映像復号装置１００は、第１符号化単位８００を再帰的に分割し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅを決定することができる。映像復号装置１００は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて、第１符号化単位８００、第２符号化単位８１０ａ，８１０ｂまたは第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位８１０ａ，８１０ｂにおいて、右側に位置する符号化単位が、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅにも分割される。第１符号化単位８００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、ｚスキャン順序（８３０））にもなり、映像復号装置１００は、右側第２符号化単位８１０ｂが奇数個に分割されて決定された第３符号化単位８２０ｃ，８２０ｄ，８２０ｅが、前記所定順序によっても処理される条件を満足するか否かということを判断することができる。
一実施形態による映像復号装置１００は、第１符号化単位８００に含まれる第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが、所定順序によっても処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅの境界に沿い、第２符号化単位８１０ａ，８１０ｂの幅及び高さのうち少なくとも一つを半分に分割するか否かということに係わる。例えば、非正方形状の左側第２符号化単位８１０ａの高さを半分に分割して決定される第３符号化単位８２０ａ，８２０ｂは、条件を満足することができる。右側第２符号化単位８１０ｂを３個の符号化単位に分割して決定される第３符号化単位８２０ｃ，８２０ｄ，８２０ｅの境界が、右側第２符号化単位８１０ｂの幅または高さを半分に分割することができないので、第３符号化単位８２０ｃ，８２０ｄ，８２０ｅは、条件を満足することができないとも決定される。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶（ｄｉｓｃｏｎｎｅｃｔｉｏｎ）と判断し、判断結果に基づき、右側第２符号化単位８１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
図９は、一実施形態による映像復号装置１００が第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態による映像復号装置１００は、受信部（図示せず）を介して獲得した分割形態モード情報に基づいて、第１符号化単位９００を分割することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図９を参照すれば、第１符号化単位９００は、正方形であり、分割形態モード情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位９００を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モード情報が、第１符号化単位９００を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置１００は、正方形状の第１符号化単位９００を、奇数個の符号化単位として、垂直方向に分割して決定された第２符号化単位９１０ａ，９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ，９２０ｂ，９２０ｃに分割することができる。
一実施形態による映像復号装置１００は、第１符号化単位９００に含まれる第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃが、所定順序によっても処理される条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃの境界に沿い、第１符号化単位９００の幅及び高さのうち少なくとも一つを半分に分割するか否かということに係わる。図９を参照すれば、正方形状の第１符号化単位９００を垂直方向に分割して決定される第２符号化単位９１０ａ，９１０ｂ，９１０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によっても処理される条件を満足することができないとも決定される。また、正方形状の第１符号化単位９００を水平方向に分割して決定される第２符号化単位９２０ａ，９２０ｂ，９２０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によっても処理される条件を満足することができないとも決定される。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づいて、第１符号化単位９００は、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、映像復号装置１００は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。
図９を参照すれば、映像復号装置１００は、正方形状の第１符号化単位９００、非正方形状の第１符号化単位９３０または９５０を多様な形態の符号化単位に分割することができる。
図１０は、一実施形態による映像復号装置１００が、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する。
一実施形態による映像復号装置１００は、受信部（図示せず）を介して獲得した分割形態モード情報に基づいて、正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立しても分割される。それにより、映像復号装置１００は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれに係わる分割形態モード情報に基づいて、複数個の符号化単位に分割するか、あるいは分割しないことを決定することができる。一実施形態による映像復号装置１００は、垂直方向に、第１符号化単位１０００が分割されて決定された非正方形状の左側第２符号化単位１０１０ａを水平方向に分割し、第３符号化単位１０１２ａ，１０１２ｂを決定することができる。ただし、映像復号装置１００は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に、水平方向に分割されないように制限することができる。もし右側第２符号化単位１０１０ｂが同一方向に分割され、第３符号化単位１０１４ａ，１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ，１０１２ｂ，１０１４ａ，１０１４ｂが決定されうる。しかし、それは、映像復号装置１００が分割形態モード情報に基づいて、第１符号化単位１０００を４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割したところと同一結果であり、それは、映像復号側面で非効率的でもある。
一実施形態による映像復号装置１００は、水平方向に第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位１０２０ａまたは１０２０ｂを垂直方向に分割し、第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することができる。ただし、映像復号装置１００は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。
図１１は、一実施形態により、分割形態モード情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置１００が正方形状の符号化単位を分割する過程を図示する。
一実施形態による映像復号装置１００は、分割形態モード情報に基づいて、第１符号化単位１１００を分割し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂを決定することができる。分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれる場合がある。そのような分割形態モード情報によれば、映像復号装置１００は、正方形状の第１符号化単位１１００を４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割することができない。分割形態モード情報に基づいて、映像復号装置１００は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂを決定することができる。
一実施形態による映像復号装置１００は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂそれぞれが所定順序通り分割され、それは、分割形態モード情報に基づいて、第１符号化単位１１００が分割される方法に対応する分割方法でもある。
例えば、映像復号装置１００は、左側第２符号化単位１１１０ａが水平方向に分割され、正方形状の第３符号化単位１１１２ａ，１１１２ｂを決定することができ、右側第２符号化単位１１１０ｂが水平方向に分割され、正方形状の第３符号化単位１１１４ａ，１１１４ｂを決定することができる。さらには、映像復号装置１００は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂがいずれも水平方向に分割され、正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することもできる。そのような場合、第１符号化単位１１００が４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。
他の例を挙げれば、映像復号装置１００は、上端第２符号化単位１１２０ａが垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂを決定することができ、下端第２符号化単位１１２０ｂが垂直方向に分割され、正方形状の第３符号化単位１１２４ａ，１１２４ｂを決定することができる。さらには、映像復号装置１００は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０ｂがいずれも垂直方向に分割され、正方形状の第３符号化単位１１２６ａ，１１２６ｂ，１１２６ａ，１１２６ｂを決定することもできる。そのような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。
図１２は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。
一実施形態による映像復号装置１００は、分割形態モード情報に基づいて、第１符号化単位１２００を分割することができる。ブロック形態が正方形であり、分割形態モード情報が、第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、映像復号装置１００は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂを決定することができる。図１２を参照すれば、第１符号化単位１２００が水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、それぞれに係わる分割形態モード情報に基づいて、独立しても分割される。例えば、映像復号装置１００は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。そのような第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂの分割過程、は図１１と係わって説明したので、詳細な説明は、省略することにする。
一実施形態による映像復号装置１００は、所定順序により、符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図７と係わって説明したので詳細な説明は、省略することにする。図１２を参照すれば、映像復号装置１００は、正方形状の第１符号化単位１２００を分割し、４個の正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。一実施形態による映像復号装置１００は、第１符号化単位１２００が分割される形態により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄの処理順序を決定することができる。
一実施形態による映像復号装置１００は、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、映像復号装置１００は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ，１２１６ｃを垂直方向にまず処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｂ，１２１６ｄを垂直方向に処理する順序（１２１７）により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを処理することができる。
一実施形態による映像復号装置１００は、水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができ、映像復号装置１００は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ，１２２６ｂを水平方向にまず処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ，１２２６ｄを水平方向に処理する順序（１２２７）により、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを処理することができる。
図１２を参照すれば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂがそれぞれ分割され、正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄが決定されうる。垂直方向に分割されて決定された第２符号化単位１２１０ａ，１２１０ｂ、及び水平方向に分割されて決定された第２符号化単位１２２０ａ，１２２０ｂは、互いに異なる形態に分割されたものであるが、その後決定される第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄによれば、結局、同一形態の符号化単位に、第１符号化単位１２００が分割された結果になる。それにより、映像復号装置１００は、分割形態モード情報に基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
図１３は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わるにより、符号化単位の深度が決定される過程を図示する。
一実施形態による映像復号装置１００は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置１００は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長の２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増大されたと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現することにする。
図１３を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」を示すことができる）に基づいて、映像復号装置１００は、正方形状である第１符号化単位１３００を分割し、下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定することができる。正方形状の第１符号化単位１３００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位１３００の幅及び高さを１／２倍に分割して決定された第２符号化単位１３０２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位１３０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２の大きさを有することができる。その場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／４倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２倍である第２符号化単位１３０２の深度は、Ｄ＋１でもあり、第１符号化単位１３００の幅及び高さの１／４倍である第３符号化単位１３０４の深度は、Ｄ＋２でもある。
一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅よりおおきい非正方形であることを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより大きい非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、映像復号装置１００は、非正方形状である第１符号化単位１３１０または１３２０を分割し、下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定することができる。
映像復号装置１００は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することができる。すなわち、映像復号装置１００は、第１符号化単位１３１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮｘＮ／２サイズの第２符号化単位１３２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定することもできる。
一実施形態による映像復号装置１００は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することもできる。すなわち、映像復号装置１００は、第１符号化単位１３２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮ／２ｘＮサイズの第２符号化単位１３１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１３２２を決定することもできる。
一実施形態による映像復号装置１００は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、映像復号装置１００は、第２符号化単位１３０２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。
一実施形態による映像復号装置１００は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、映像復号装置１００は、第２符号化単位１３１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定することができる。
一実施形態による映像復号装置１００は、ＮｘＮ／２サイズの第２符号化単位１３２２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、映像復号装置１００は、第２符号化単位１３２２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。
一実施形態による映像復号装置１００は、例えば、正方形状の符号化単位１３００，１３０２，１３０４を水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１３１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１３２０を決定することができる。一実施形態により、深度が符号化単位の最長辺の長さに基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００の深度と同一でもある。
一実施形態により、第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／４倍に該当する。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３２２の深度は、Ｄ＋１でもあり、第１符号化単位１３１０または１３２０の幅及び高さの１／４倍である第３符号化単位１３１４、または１３２４の深度は、Ｄ＋２でもある。
図１４は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ ｉｎｄｅｘ）を図示する。
一実施形態による映像復号装置１００は、正方形状の第１符号化単位１４００を分割し、多様な形態の第２符号化単位を決定することができる。図１４を参照すれば、映像復号装置１００は、分割形態モード情報により、第１符号化単位１４００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。すなわち、映像復号装置１００は、第１符号化単位１４００に係わる分割形態モード情報に基づいて、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。
一実施形態により、正方形状の第１符号化単位１４００に係わる分割形態モード情報によって決定される第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄは、長辺長に基づいても深度が決定される。例えば、正方形状の第１符号化単位１４００の一辺長と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの長辺長とが同一であるので、第１符号化単位１４００と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂとの深度は、Ｄとして同一であると見ることができる。それに対し、映像復号装置１００が、分割形態モード情報に基づいて、第１符号化単位１４００を４個の正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄに分割した場合、正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの一辺長は、第１符号化単位１４００の一辺長の１／２倍であるので、第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの深度は、第１符号化単位１４００の深度であるＤより１深度下位であるＤ＋１の深度でもある。
一実施形態による映像復号装置１００は、高さが幅より長い形態の第１符号化単位１４１０を分割形態モード情報によって水平方向に分割し、複数個の第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。一実施形態による映像復号装置１００は、幅が高さより大きい形態の第１符号化単位１４２０を分割形態モード情報によって垂直方向に分割し、複数個の第２符号化単位１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃに分割することができる。
一実施形態により、非正方形状の第１符号化単位１４１０または１４２０に係わる分割形態モード情報によって決定される第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃ，１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃは、長辺長に基づいても深度が決定される。例えば、正方形状の第２符号化単位１４１２ａ，１４１２ｂの一辺長は、高さが幅より大きい非正方形状の第１符号化単位１４１０の一辺長の１／２倍であるので、正方形状の第２符号化単位１４１２ａ，１４１２ｂの深度は、非正方形状の第１符号化単位１４１０の深度Ｄより１深度下位の深度であるＤ＋１である。
さらには、映像復号装置１００が分割形態モード情報に基づいて、非正方形状の第１符号化単位１４１０を、奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃは、非正方形状の第２符号化単位１４１４ａ，１４１４ｃ、及び正方形状の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１４１４ａ，１４１４ｃの長辺長、及び正方形状の第２符号化単位１４１４ｂの一辺長は、第１符号化単位１４１０の一辺長の１／２倍であるので、第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。映像復号装置１００は、第１符号化単位１４１０に係わる符号化単位の深度を決定する前述の方式に対応する方式で、幅が高さより大きい非正方形状の第１符号化単位１４２０に係わる符号化単位の深度を決定することができる。
一実施形態による映像復号装置１００は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間サイズの比率に基づいて、インデックスを決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ，１４１４ｂ，１４１４ｃのうち、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと、幅は同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃの２個を含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。すなわち、インデックス値の不連続性が存在してしまう。一実施形態による映像復号装置１００は、そのような分割された符号化単位間区分のためのインデックス不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
一実施形態による映像復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像復号装置１００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。
一実施形態による映像復号装置１００は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第１符号化単位１４１０に係わる分割形態モード情報が、３個の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位１４１０を３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。映像復号装置１００は、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃそれぞれに係わるインデックスを割り当てることができる。映像復号装置１００は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置１００は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態による映像復号装置１００は、分割された符号化単位の区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間サイズの比率に基づいて、インデックスを決定することができる。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと、幅は同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。そのような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる。一実施形態により、分割形態モード情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置１００は、奇数個の符号化単位のうち、所定位置の符号化単位（例えば、真ん中符号化単位）が、他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置１００は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定のものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
一実施形態による映像復号装置１００は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
図１５は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
一実施形態により、所定のデータ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程で利用される最上位深度の符号化単位に該当する。以下においては、説明上の便宜のために、そのような所定のデータ単位を基準データ単位と称する。
一実施形態により、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一でもあり、２の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形状を示すことができ、その後、整数個の符号化単位にも分割される。
一実施形態による映像復号装置１００は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態による映像復号装置１００は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー（ｑｕａｄ−ｔｒｅｅ）構造を利用した分割過程に対応する。
一実施形態による映像復号装置１００は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、映像復号装置１００は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも１つの符号化単位を決定することができる。
図１５を参照すれば、映像復号装置１００は、正方形状の基準符号化単位１５００を利用することができ、または非正方形状の基準符号化単位１５０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）によっても決定される。
一実施形態による映像復号装置１００の受信部（図示せず）は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位の決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５０２に含まれる少なくとも１つの符号化単位の決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は、省略することにする。
一実施形態による映像復号装置１００は、所定の条件に基づいてあらかじめ決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部（図示せず）は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち、所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位のようなものごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置１００は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、既定である。すなわち、映像復号装置１００は、既定の基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
一実施形態による映像復号装置１００は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定されうる。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位をクアッドツリー構造によってｎ回分割した大きさでもある。すなわち、映像復号装置１００は、最大符号化単位をクアッドツリー構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位をブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。
図１６は、一実施形態により、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
一実施形態による映像復号装置１００は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順序通りに決定されうる。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとに異なりもする。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン、ｚスキャン、Ｎスキャン（Ｎ−ｓｃａｎ）、右上向き対角スキャン（ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎ）、水平的スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）、垂直的スキャン（ｖｅｒｔｉｃａｌ ｓｃａｎ）のような多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態による映像復号装置１００は、プロセッシングブロックサイズに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックサイズを決定することができる。映像復号装置１００は、プロセッシングブロックサイズに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックサイズを決定することができる。そのようなプロセッシングブロックサイズは、プロセッシングブロックサイズに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態による映像復号装置１００の受信部（図示せず）は、ビットストリームから、プロセッシングブロックサイズに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックサイズに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位で、ビットストリームから獲得されることができる。すなわち、受信部（図示せず）は、前記多くのデータ単位ごとに、ビットストリームから、プロセッシングブロックサイズに係わる情報を獲得することができ、映像復号装置１００は、獲得されたプロセッシングブロックサイズに係わる情報を利用してピクチャを分割する少なくとも１つのプロセッシングブロックサイズを決定することができ、そのようなプロセッシングブロックサイズは、基準符号化単位の整数倍の大きさでもある。
一実施形態による映像復号装置１００は、ピクチャ１６００に含まれるプロセッシングブロック１６０２，１６１２の大きさを決定することができる。例えば、映像復号装置１００は、ビットストリームから獲得されたプロセッシングブロックサイズに係わる情報に基づいて、プロセッシングブロックサイズを決定することができる。図１６を参照すれば、映像復号装置１００は、一実施形態により、プロセッシングブロック１６０２，１６１２の横大きさを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍に決定することができる。映像復号装置１００は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、映像復号装置１００は、プロセッシングブロックサイズに基づいて、ピクチャ１６００に含まれるそれぞれのプロセッシングブロック１６０２，１６１２を決定することができ、プロセッシングブロック１６０２，１６１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位サイズの決定を含んでもよい。
一実施形態による映像復号装置１００は、ビットストリームから、少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立しても決定される。
一実施形態による映像復号装置１００は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、受信部（図示せず）は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位路ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとにも獲得される。
映像復号装置１００は、一実施形態によって決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。
一実施形態により、受信部（図示せず）は、ビットストリームから、プロセッシングブロック１６０２，１６１２に係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置１００は、前記プロセッシングブロック１６０２，１６１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ１６００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１６を参照すれば、映像復号装置１００は、それぞれのプロセッシングブロック１６０２，１６１２に係わる少なくとも１つの基準符号化単位の決定順序（１６０４，１６１４）を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック１６０２，１６１２に係わる基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロック１６０２に係わる基準符号化単位決定順序１６０４がラスタースキャン順序である場合、プロセッシングブロック１６０２に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセッシングブロック１６１２に係わる基準符号化単位決定順序（１６１４）がラスタースキャン順序の逆順である場合、プロセッシングブロック１６１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
映像復号装置１００は、一実施形態によって決定された少なくとも１つの基準符号化単位を復号することができる。映像復号装置１００は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
一実施形態による映像復号装置１００は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報をビットストリームから獲得して利用することができる。分割形態モード情報は、多様なデータ単位に係わるビットストリームにも含まれる。例えば、映像復号装置１００は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）、スライスセグメントヘッダ（ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒ）に含まれた分割形態モード情報を利用することができる。さらに、映像復号装置１００は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントを、ビットストリームから獲得して利用することができる。
以下、本開示の一実施形態による分割規則を決定する方法について詳細に説明する。
映像復号装置１００は、映像の分割規則を決定することができる。該分割規則は、映像復号装置１００及び映像符号化装置１５０の間に既定のものでもある。映像復号装置１００は、ビットストリームから獲得された情報に基づいて、映像の分割規則を決定することができる。映像復号装置１００は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダのうち少なくとも一つから獲得された情報に基づいて、分割規則を決定することができる。映像復号装置１００は、分割規則を、フレーム、スライス、テンポラル層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）、最大符号化単位または符号化単位によって異なるように決定することができる。
映像復号装置１００は、符号化単位のブロック形態に基づいて、分割規則を決定することができる。ブロック形態は、符号化単位の大きさ、形態、幅及び高さの比率、並びに方向を含んでもよい。映像符号化装置１５０及び映像復号装置１００は、符号化単位のブロック形態に基づいて分割規則を決定することをあらかじめ決定することができる。しかし、それに限定されるものではない。映像復号装置１００は、映像符号化装置１５０から受信されたビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
符号化単位の形態は、正方形及び非正方形を含んでもよい。符号化単位の幅及び高さの長さが同じである場合、映像復号装置１００は、符号化単位の形態を正方形と決定することができる。また、符号化単位の幅及び高さの長さが同じではない場合、映像復号装置１００は、符号化単位の形態を非正方形と決定することができる。
符号化単位の大きさは、４ｘ４、８ｘ４、４ｘ８、８ｘ８、１６ｘ４、１６ｘ８、…、２５６ｘ２５６の多様な大きさを含んでもよい。符号化単位の大きさは、符号化単位の長辺長、短辺長または広さによっても分類される。映像復号装置１００は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置１００は、同一長辺の長さを有する符号化単位を同一サイズに分類することができる。また、映像復号装置１００は、同一長辺の長さを有する符号化単位に対し、同一分割規則を適用することができる。
符号化単位の幅及び高さの比率は、１：２、２：１、１：４、４：１、１：８、８：１、１：１６または１６：１などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。水平方向は、符号化単位幅の長さが高さの高さより大きい場合を示す。垂直方向は、符号化単位幅の長さが高さの高さより小さい場合を示す。
映像復号装置１００は、符号化単位の大きさに基づいて、分割規則を適応的に決定することができる。映像復号装置１００は、符号化単位の大きさに基づいて、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置１００は、符号化単位の大きさに基づいて、分割が許容されるか否かということを決定することができる。映像復号装置１００は、符号化単位の大きさにより、分割方向を決定することができる。映像復号装置１００は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。
符号化単位の大きさに基づいて分割規則を決定することは、映像符号化装置１５０と映像復号装置１００との間で既定の分割規則でもある。また、映像復号装置１００は、ビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
映像復号装置１００は、符号化単位の位置に基づいて、分割規則を適応的に決定することができる。映像復号装置１００は、符号化単位が映像で占める位置に基づいて、分割規則を適応的に決定することができる。
また、映像復号装置１００は、互いに異なる分割経路に生成された符号化単位が、同一ブロック形態を有さないように、分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路に生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路に生成された符号化単位は、互いに異なる復号処理順序を有することができる。該復号処理順序については、図１２と共に説明したので、詳細な説明は、省略する。
以下、図１７ないし図２９を参照し、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行う映像符号化／復号方法及びその装置について詳細に説明する。
図１７は、一実施形態によるイントラ予測モードについて説明するための図面である。
図１７を参照すれば、一実施形態によるイントラ予測モードは、プラナモード（０回モード）、ＤＣモード（１回モード）を含んでもよい。また、該イントラ予測モードは、予測方向を有するアンギュラモード（２回ないし６６回モード）を含んでもよい。該アンギュラモードは、対角モード（２回モードまたは６６回モード）、水平モード（１８回モード）及び垂直モード（５０回モード）を含んでもよい。
以上、図１７を参照し、一実施形態によるイントラ予測モードについて説明したが、それに制限されるものではなく、新たなイントラ予測モードを追加するか、あるいは既存のイントラ予測モードを取り去ることにより、多様な形態のイントラ予測モードを有することができ、各イントラ予測モードのモード番号は、場合によっても異なるということは、当業者は容易に理解することができるであろう。
図１８は、本開示の一実施形態により、映像復号装置が、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。
図１８を参照すれば、映像復号装置１００は、現在ブロック１８００に対するイントラ予測を行うために、原参照サンプル１８１０を利用して再構成されたサンプル１８２０を生成することができる。
例えば、映像復号装置１００は、原参照サンプル１８３０を利用し、原参照サンプルの位置に対応する再構成された参照サンプル１８３５を生成することができる。映像復号装置１００は、原参照サンプル１８３０及び原参照サンプル１８４０を利用し、原参照サンプル１８４０の位置に対応する再構成された参照サンプル１８４５を生成することができる。映像復号装置１００は、それと類似した方式で、原参照サンプル１８５０に対応する位置の再構成された参照サンプル１８５５を生成することができる。このとき、原参照サンプル１８１０において、原参照サンプル１８５０及び参照サンプル１８５０の左側に位置する原参照サンプルを利用して再構成された参照サンプル１８５５を生成することができる。すなわち、映像復号装置１００は、次のような数式（１）に基づいて、再構成された参照サンプルａ’ｎを生成することができる。
ここで、ａ’ｎは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち、最左側に位置する再構成された参照サンプルを基準に、ｎほど離れた参照サンプルを意味する。ａｉは、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、ｉほど離れた参照サンプルを意味する。Ｗｉは、ａｉサンプルに適用されるフィルタ加重値を意味する。
再構成された参照サンプルは、前述のように、少なくとも１つの原参照サンプルに対してフィルタリングを行うことによっても生成される。
図１８を参照し、再構成された参照サンプルが生成される一例について説明したが、それに制限されるものではなく、再構成された参照サンプルは、同一の加重値及びフィルタタップ数のフィルタを利用してフィルタリングを行うことによっても生成される。例えば、再構成された参照サンプルは、［１，４］フィルタを利用してフィルタリングを行うことによっても生成される。
または、映像復号装置１００は、原参照サンプルの位置、または現在ブロックのイントラ予測モードにより、フィルタの加重値及びフィルタタップ数を適応的に決定し、フィルタの加重値及びフィルタタップ数に基づいて、フィルタリングを行うことによって再構成された参照サンプルが生成されもする。または、再構成された参照サンプルは、現在ブロックの大きさにより、フィルタの加重値及びフィルタタップ数を適応的に決定し、フィルタの加重値及びフィルタタップ数に基づいて、フィルタリングを行うことによっても生成される。
図１９Ａ及び図１９Ｂは、本開示の一実施形態により、映像復号装置１００が、現在ブロックのイントラ予測モードの予測方向により、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。
図１９Ａ及び図１９Ｂを参照すれば、映像復号装置１００は、現在ブロックのイントラ予測モードの方向が、予測方向（１９０５）である場合、上側隣接ラインの再構成された参照サンプル１９２０を生成するためにフィルタリングが行われる上側隣接ラインの原参照サンプル１９２５を、予測方向（１９０５）のｘ軸方向（１９３０）に基づいて決定することができる。例えば、映像復号装置１００は、現在ブロックのイントラ予測モードの方向が、予測方向（１９０５）である場合、下記のような数式（２）により、再構成されたサンプルａ’ｊを生成することができる。
ここで、ａ’ｊは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち最左側に位置する再構成された参照サンプルを基準に、ｊほど離れた参照サンプルを意味する。ａｉは、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、ｉほど離れた原参照サンプルを意味する。Ｗｉは、ａｉサンプルに適用されるフィルタ加重値を意味する。
映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９１０）である場合、上側隣接ラインの再構成された参照サンプル１９２０を生成するためにフィルタリングが行われる上側隣接ラインの原参照サンプル１９２５を、予測方向（１９１０）のｘ軸方向（１９３５）に基づいて決定することができる。映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９１０）である場合、下記のような数式（３）により、再構成されたサンプルａ’ｊを生成することができる。
ここで、ａ’ｊは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち最左側に位置する再構成された参照サンプルを基準に、ｊほど離れた原参照サンプルを意味する。ａｉは、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、ｉほど離れた原参照サンプルを意味し、Ｎは、最左側に位置する再構成された参照サンプルを基準に、最も遠く離れたサンプルの距離を意味する。
映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９１５）である場合、上側隣接ラインの再構成された参照サンプル１９２０を生成するためにフィルタリングが行われる上側隣接ラインの原参照サンプル１９２５を予測方向（１９１５）のｘ軸方向（１９３５）に基づいて決定することができる。映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９１５）である場合、下記のような数式（４）により、再構成されたサンプルａ’ｊを生成することができる。
ここで、ａ’ｊは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち最左側に位置する再構成された参照サンプルを基準に、ｊほど離れた原参照サンプルを意味する。ａｉは、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、ｉほど離れた原参照サンプルを意味し、Ｎは、最左側に位置する再構成された参照サンプルを基準に、最も遠く離れたサンプルの距離を意味する。
映像復号装置１００は、上側隣接ラインの再構成参照サンプルを生成するところと類似した方式で、左側隣接ラインの再構成参照サンプルを生成することができる。
映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９０５）である場合、左側隣接ラインの再構成された参照サンプル１９４０を生成するためにフィルタリングが行われる左側隣接ラインの原参照サンプル１９４５を、予測方向（１９０５）のｙ軸方向（１９５０）に基づいて決定することができる。
映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９１０）である場合、左側隣接ラインの再構成参照サンプル１９４０を生成するためにフィルタリングが行われる左側隣接ラインの原参照サンプル１９４５を、予測方向（１９１０）のｙ軸方向（１９５０）に基づいて決定することができる。
映像復号装置１００は、現在ブロックのイントラ予測モードの方向が予測方向（１９１５）である場合、左側隣接ラインの再構成参照サンプル１９４０を生成するためにフィルタリングが行われる左側隣接ラインの原参照サンプル１９４５を、予測方向（１９１５）のｙ軸方向（１９５５）に基づいて決定することができる。
図２０は、本開示の一実施形態により、映像復号装置が、原参照サンプルを利用して再構成されたサンプルを生成する方法について説明するための図面である。
図２０を参照すれば、映像復号装置１００は、現在ブロック２０００に対するイントラ予測を行うために、原参照サンプルａ０、…、ａＮを利用して再構成されたサンプルａ’０、…、ａ’Ｎを生成することができる。
映像復号装置１００は、現在ブロック２０００のイントラ予測モードの予測方向が、左側から右側に向かう方向（すなわち、予測方向が、図１９Ａにおいて、第１四分面に位置する方向）である場合、映像復号装置１００は、原参照サンプル２０１０を利用し、原参照サンプルの位置に対応する再構成された参照サンプル２０１５を生成することができる。映像復号装置１００は、原参照サンプル２０１０及び原参照サンプル２０２０を利用し、原参照サンプル２０２０の位置に対応する再構成された参照サンプル２０２５を生成することができる。映像復号装置１００は、それと類似した方式で、原参照サンプル２０３０に対応する位置の再構成された参照サンプル２０３５を生成することができる。このとき、原参照サンプルのうち、原参照サンプル２０３０、及びすぐ左側に隣接した原参照サンプル２０３１を利用して再構成された参照サンプル２０３５を生成することができる。すなわち、映像復号装置１００は、次のような数式（５）に基づいて、再構成された参照サンプルａ’ｊを生成することができる。
ここで、ａ’ｊは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち最左側に位置する再構成された参照サンプルを基準に、ｊほど離れた再構成された参照サンプルを意味し、ａｊまたはａｊ−１は、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、ｊまたは（ｊ−１）ほど離れた原参照サンプルを意味する。
映像復号装置１００は、現在ブロック２０００のイントラ予測モードの予測方向が、右側から左側に向かう方向（すなわち、予測方向が、図１９Ａにおいて、第２四分面または第３四分面に位置する方向）である場合、映像復号装置１００は、原参照サンプル２０４０を利用し、原参照サンプルの位置に対応する再構成された参照サンプル２０４５を生成することができる。映像復号装置１００は、原参照サンプル２０４０及び原参照サンプル２０５０を利用し、原参照サンプル２０５０の位置に対応する再構成された参照サンプル２０５５を生成することができる。映像復号装置１００は、それと類似した方式で、原参照サンプル２０３０に対応する位置の再構成された参照サンプル２０３５を生成することができる。このとき、原参照サンプルのうち原参照サンプル２０３０、及びすぐ右側に隣接した原参照サンプル２０３２を利用して再構成された参照サンプル２０３５を生成することができる。すなわち、映像復号装置１００は、次のような数式（６）に基づいて、再構成された参照サンプルａ’ｊを生成することができる。
ここで、ａ’ｊは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち最左側に位置する再構成された参照サンプルを基準に、ｊほど離れた再構成された参照サンプルを意味し、ａｊまたはａｊ＋１は、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、ｊまたは（ｊ＋１）ほど離れた原参照サンプルを意味する。
映像復号装置１００は、上側隣接ラインの再構成参照サンプルを生成するところと類似した方式で、左側隣接ラインの再構成参照サンプルを生成することができる。映像復号装置１００は、現在ブロックのイントラ予測モードの予測方向のｙ軸方向が、下側から上側に向かう方向（すなわち、予測方向が、図１９Ａにおいて、第１四分面または第２四分面に位置する方向）である場合、ｘ軸方向が、右側から左側に向かう方向である場合、上側隣接ラインの再構成参照サンプルを生成するところと類似した方式で、左側隣接ラインの再構成参照サンプルを生成することができる。
映像復号装置１００は、上側隣接ラインの再構成参照サンプルを生成するところと類似した方式で、左側隣接ラインの再構成参照サンプルを生成することができる。映像復号装置１００は、現在ブロックのイントラ予測モードの予測方向のｙ軸方向が、上側から下側に向かう方向（すなわち、予測方向が、図１９Ａにおいて、第３四分面に位置する方向）である場合、ｘ軸方向が、左側から右側に向かう方向である場合、上側隣接ラインの再構成参照サンプルを生成するところと類似した方式で、左側隣接ラインの再構成参照サンプルを生成することができる。
映像復号装置１００は、方向性がないＤＣモード、プラナモード、または垂直方向成分のみを有する垂直モード、及び水平方向成分を有する水平モードである場合、次のような数式（７）に基づいて、左側または上側隣接ラインの再構成参照サンプルａ’ｊを生成することができる。
ここで、ａ’ｊは、現在ブロックの上側隣接ラインの再構成された参照サンプルのうち最左側に位置する再構成された参照サンプルを基準に、ｊほど離れた参照サンプルを意味し、ａｊ−１、ａｊまたはａｊ＋１は、現在ブロックの上側隣接ラインの原参照サンプルのうち最左側に位置する原参照サンプルを基準に、（ｊ−１）ｊまたは（ｊ＋１）ほど離れた原参照サンプルを意味する。
映像復号装置１００は、原参照サンプルに係わるフィルタリングを行って再構成されたサンプルを生成し、再構成されたサンプルを利用し、現在ブロックに係わるイントラ予測を行うことにより、原参照サンプルを利用してイントラ予測を行うときより、多様な参照サンプルを参照し、イントラ予測を行う効果を得ることができる。
図２１は、本開示の一実施形態による映像復号装置が、原参照サンプルと、再構成されたサンプルとを利用し、現在ブロックに係わるイントラ予測を行う過程について説明するための図面である。
映像復号装置１００は、原参照サンプル、及び再構成された参照サンプルを利用し、現在ブロック内現在サンプルの予測値を生成することができる。例えば、映像復号装置１００は、現在ブロック２１００のイントラ予測モードが垂直モードである場合、現在サンプル２１１０の上側に位置する原参照サンプル２１２１と、再構成された参照サンプル２１３１とを利用し、現在サンプル２１１０の予測値を生成することができる。例えば、映像復号装置１００は、数式（８）に基づいて、現在サンプルの予測値ｐｎを生成することができる。
ここで、ｐｎは、現在サンプルの予測値を意味し、ａｎは、現在サンプルの予測のために利用される原参照サンプルを意味し、ａ’ｎは、現在サンプルの予測のために利用される再構成された参照サンプルを意味し、ｗは、加重値を意味し、０と１との間の値を有することができる。また、ｆは、４タップフィルタなどの予測関数を意味する。このとき、ｗは、固定された値でもあるが、それに制限されるものではなく、現在ブロックの各サンプルごとに異なる値を有することができ、原参照サンプル、または再構成された参照サンプルからの距離に基づいた値でもある。
以上、映像復号装置１００が、数式（８）に基づいて、現在サンプルの予測値ｐｎの値を１回に生成する内容について説明したが、それに制限されるものではなく、映像復号装置１００は、先の従来技術のように、原参照サンプルを利用したイントラ予測を行って初期予測値を生成し、初期予測値、及び再構成された参照サンプルを利用し、フィルタリングを行う方式で、現在サンプルの最終予測値ｐ’ｎの値を生成することができる。
図２１を参照し、映像復号装置１００が、原参照サンプル、及び再構成された参照サンプルをいずれも利用し、現在ブロックに係わるイントラ予測を行う内容について説明したが、それに制限されるものではなく、原参照サンプルのみを利用し、現在ブロックに係わるイントラ予測を行うことができる。または、映像復号装置１００は、再構成されたサンプルのみを利用し、現在ブロックに係わるイントラ予測を行うことができる。
図２１を参照し、原参照サンプルのうち、イントラ予測に利用される原参照サンプルを決定するための現在ブロックの第１イントラ予測モードと、再構成された参照サンプルのうち、イントラ予測に利用される再構成された参照サンプルを決定するための第２イントラ予測モードとが同一であるということを前提に説明したが、それに制限されるものではなく、第１イントラ予測モードと別途にも第２イントラ予測モードが決定される。例えば、各ブロック別、または原参照サンプルのうち、イントラ予測に利用される原参照サンプルを決定するための現在ブロックのイントラ予測モード別に再構成された参照サンプルのためのイントラ予測モードが決定されうる。または、ピクチャ単位で、第２イントラ予測モードが決定されうる。
図２２は、映像復号装置が、原参照サンプル、並びに左側隣接ライン及び上側隣接ラインの再構成された参照サンプルを利用し、加重予測（ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）を行う過程について説明するための図面である。
映像復号装置１００は、現在ブロック２２００のイントラ予測モードに基づいて、原参照予測サンプルのうち、イントラ予測に利用される原参照サンプルを決定し、現在ブロック２２００のイントラ予測モードにかかわらず、イントラ予測に利用される現在ブロック２２００の左側隣接ラインの再構成されたサンプル、及び上側隣接ラインの再構成されたサンプルを決定し、原参照サンプル、及び再構成された参照サンプルを利用し、現在サンプル２２１０に対する加重予測を行い、現在サンプル２２１０に係わる予測値を生成することができる。
例えば、図２２を参照すれば、映像復号装置１００は、現在ブロックのイントラ予測モードが垂直モードである場合、上側隣接ラインの原参照サンプル２２２０において、現在サンプル２２１０の垂直方向に位置する原参照サンプルａｊを決定することができる。映像復号装置１００は、現在サンプル２２１０の垂直方向に位置する再構成された参照サンプルａ’ｊを決定することができる。また、映像復号装置１００は、現在サンプル２２１０の水平方向に位置する再構成された参照サンプルｂ’ｉを決定することができる。映像復号装置１００は、前記決定された原参照サンプルａｊ、及び再構成された参照サンプルａ’ｊ、ｂ’ｉを利用し、現在サンプル２２１０の予測値を生成することができる。すなわち、映像復号装置１００は、次の数式（９）に基づいて、現在サンプルの予測値ｐｉｊを生成することができる。
ここでｐｉｊは、（ｉ，ｊ）位置の現在サンプルの予測値を意味し、ａｊは、現在サンプルの予測のために利用される原参照サンプルを意味し、ａ’ｊは、現在サンプルの予測のために利用される上側隣接ラインの再構成された参照サンプルを意味し、ｂ’ｉは、現在サンプルの予測のために利用される左側隣接ラインの再構成された参照サンプルを意味する。また、ｆは、４タップフィルタなどの予測関数を意味する。このとき、ｗ１、ｗ２及びｗ３は、各サンプル別にも決定される、原参照サンプル、または再構成された参照サンプルと、現在サンプルとの距離に基づいても決定される。
図２２を参照し、映像復号装置１００が、原参照サンプル、及び現在サンプルの水平方向に位置する左側隣接ラインの再構成された参照サンプル、及び現在サンプルの垂直方向に位置する上側隣接ラインの再構成された参照サンプルを利用し、加重予測を行う過程について説明したが、それに制限されるものではなく、参照サンプルのグラジエント変化を考慮して現在サンプルについて再構成された参照サンプルを選択するための予測方向を決定することができる。すなわち、映像復号装置１００は、参照サンプルのグラジエント値と同一変化傾向性を有する参照サンプルのグラジエント方向を、現在サンプルについて再構成された参照サンプルを選択するための予測方向に決定することができる。
図２３は、映像復号装置が、原参照サンプルを利用したイントラ予測を行って生成された予測値、並びに左側隣接ライン及び上側隣接ラインの再構成された参照サンプルを利用し、加重予測を行う過程について説明するための図面である。
映像復号装置１００は、現在ブロック２３００のイントラ予測モードに基づいて、原参照予測サンプルに基づくイントラ予測を行い、現在ブロック内現在サンプルに係わる中間予測値を生成することができる。映像復号装置１００は、現在ブロック２３００のイントラ予測モードにかかわらず、左側隣接ラインの再構成された参照サンプルのうち少なくとも１つの参照サンプル、及び上側隣接ラインの再構成された参照サンプルのうち少なくとも１つの参照サンプルを決定することができる。映像復号装置１００は、現在ブロック２３００内現在サンプルに係わる中間予測値、左側隣接ラインの再構成された参照サンプル、及び上側隣接ラインの再構成された参照サンプルを利用し、現在ブロック２３００内現在サンプルに係わる最終予測値を生成することができる。
映像復号装置１００は、数式（１０）に基づいて、現在ブロック内現在サンプルの最終予測値ｐ’ｉｊを生成することができる。
このとき、ｐｉｊは、イントラ予測モードにより、原参照サンプルを利用したイントラ予測を行うことによって生成された現在ブロック内（ｉ，ｊ）に位置するサンプルの中間予測値を意味する。Ｃｉｊは、ｐｉｊ、ａ’ｉ及びａ’ｊに適用されるフィルタ係数を含む行列を意味する。Ｃａ’ｉ［ｉ，ｊ］は、ａ’ｉに適用されるフィルタ係数を含む二次元行列でもある。Ｃａ’ｊ［ｉ，ｊ］は、ａ’ｊに適用されるフィルタ係数を含む二次元行列でもある。Ｃｐｉｊ［ｉ，ｊ］は、ｐｉｊに適用されるフィルタ係数を含む二次元行列を意味する。
例えば、図２３を参照すれば、映像復号装置は、Ｃａｉ’［ｉ，ｊ］２３１０、Ｃａ’ｊ［ｉ，ｊ］２３２０及びＣｐｉｊ［ｉ，ｊ］２３３０を利用し、現在ブロック２３００内現在サンプルの最終予測値を生成することができる。ただし、図２３に開示されたフィルタ係数は、正規化されていない係数や、実際に、映像復号装置１００が、図２３に開示されたフィルタ係数を利用する場合、正規化を遂行（すなわち、フィルタ係数を１６に分ける演算に対応する作業遂行）して生成された係数が、最終的に利用されうるということは、当業者であるならば、容易に理解することができるであろう。
すなわち、映像復号装置１００は、次のような数式（１１）に基づいて、現在サンプルの最終予測値ｐ’ｉｊを決定することができる。
このとき、ｐｉｊは、イントラ予測モードにより、原参照サンプルを利用したイントラ予測を行うことによって生成された現在ブロック内（ｉ，ｊ）に位置するサンプルの中間予測値を意味する。Ｃａ［ｉ，ｊ］は、ａ’ｉ及びａ’ｊに適用されるフィルタ係数を含む二次元行列でもある。Ｃｐ［ｉ，ｊ］は、ｐｉｊに適用されるフィルタ係数を含む二次元行列を意味する。
一方、図２３を参照し、映像復号装置１００が、原参照サンプルを利用したイントラ予測を行って生成された予測値、及び現在サンプルの水平方向に位置する左側隣接ラインの再構成されたサンプル、及び現在サンプルの垂直方向の上側隣接ラインの再構成された参照サンプルを利用し、加重予測を行う過程について説明したが、それに制限されるものではなく、再構成された参照サンプルの代わりに、現在サンプルの水平方向に位置する左側隣接ラインの原参照サンプル、及び現在サンプルの垂直方向の上側隣接ラインの原参照サンプルを利用し、加重予測を行うことができるということは、当業者であるならば、容易に理解することができるであろう。
図２４は、映像復号装置が、現在ブロックのイントラ予測モードが、ＤＣモード、プラナモード、垂直モードのうち一つである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。
図２４を参照すれば、映像復号装置１００は、現在ブロック２４００内現在サンプル２４０５の中間予測値Ｐ（ｘ，ｙ）、現在サンプル２４０５の左側隣接参照サンプル２４１５のサンプル値Ｒ−１，ｙ、現在ブロックの左上側隣接参照サンプル２４２０のサンプル値Ｒ−１，−１、及び現在サンプル２４０５の上側隣接参照サンプル２４１０のサンプル値Ｒｘ，−１を利用し、現在サンプル２４０５の最終予測値Ｐ’（ｘ，ｙ）を決定することができる。
このとき、映像復号装置１００は、従来現在ブロックのイントラ予測モードによるイントラ予測に基づいて、現在サンプル２４０５の中間予測サンプル値Ｐ（ｘ，ｙ）を決定することができる。
例えば、映像復号装置１００は、下記のような数式（１２）に基づいて、現在サンプルの最終予測サンプル値Ｐ’（ｘ，ｙ）を決定することができる。
このとき、現在ブロックのイントラ予測モードが、ＤＣモード、プラナモード、水平モードまたは垂直モードのうち一つである場合、次のような数式（１３）により、ｗＴ、ｗＬ及びｗＴＬが決定されうる。ここで、ｗｉｄｔｈ及びｈｅｉｇｈｔは、現在ブロックの幅及び高さをそれぞれ意味する。
ｐｒｅｄＭｏｄｅＩｎｔｒａは、現在ブロックのイントラ予測モードを示し、ＩＮＴＲＡ＿ＤＣは、ＤＣモードを示すことができる。
図２５は、映像復号装置が、現在ブロックのイントラ予測モードが、左下側方向の対角モードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。
図２５を参照すれば、映像復号装置１００は、現在サンプル２５０５の中間予測値Ｐ（ｘ’，ｙ’）、現在サンプル２５０５から左下側対角線方向に向かう線上に位置するサンプル２５１０のサンプル値Ｒ（−１，ｙ）、及び現在サンプル２５０５から左下側対角線方向に向かう線の反対方向の線上に位置するサンプル２５１５のサンプル値Ｒ（ｘ，−１）を利用し、現在サンプル２５０５の予測値Ｐ（ｘ’，ｙ’）を生成することができる。
このとき、映像復号装置１００は、従来現在ブロックのイントラ予測モード（左下側方向の対角モード）によるイントラ予測に基づいて、現在サンプル２５０５の中間予測サンプル値Ｐ（ｘ’，ｙ’）を決定することができる。左下側方向の対角モードは、２回モードでもある。
例えば、映像復号装置１００は、下記のような数式（１４）及び数式（１５）に基づいて、現在サンプルの最終予測サンプル値Ｐ’（ｘ’，ｙ’）を決定することができる。
図２６は、映像復号装置が、現在ブロックのイントラ予測モードが、右上側方向の対角モードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。
図２６を参照すれば、映像復号装置１００は、現在サンプル２６０５の中間予測値Ｐ（ｘ’，ｙ’）、現在サンプル２６０５から右上側対角線方向に向かう線上に位置するサンプル２６１０のサンプル値Ｒ（ｘ，−１）、及び現在サンプル２６０５から右上側対角線方向に向かう線の反対方向に位置するサンプル２６１５のサンプル値Ｒ（−１，ｙ）を利用し、現在サンプル２６０５の予測値Ｐ’（ｘ’，ｙ’）を生成することができる。
このとき、映像復号装置１００は、従来現在ブロックのイントラ予測モード（右上側方向の対角モード）によるイントラ予測に基づいて、現在サンプル２６０５の中間予測サンプル値Ｐ（ｘ’，ｙ’）を決定することができる。右上側方向の対角モードは、６６回モードでもある。
例えば、映像復号装置１００は、下記のような数式（１６）及び（１７）に基づいて、現在サンプルの最終予測サンプル値Ｐ’（ｘ’，ｙ’）を決定することができる。
図２７は、映像復号装置が、現在ブロックのイントラ予測モードが、左下側方向の対角モードに隣接したアンギュラモードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。
図２７を参照すれば、映像復号装置１００は、現在ブロック２７００内現在サンプル２７０５の中間予測値Ｐ（ｘ’，ｙ’）、及び現在サンプル２７０５からアンギュラモードによる左下側方向に向かう線の反対方向に位置するサンプル２７１０のサンプル値Ｒ（ｘ，−１）を利用し、現在サンプル２７０５）の予測値を生成することができる。左下側方向の対角モードに隣接したアンギュラモードは、３回ないし１０回モードのうち、１つのモードでもある。
このとき、映像復号装置１００は、従来現在ブロックのイントラ予測モード（左下側方向のアンギュラモード）によるイントラ予測に基づいて、現在サンプル２７０５の中間予測サンプル値Ｐ（ｘ’，ｙ’）を決定することができる。
例えば、映像復号装置１００は、下記のような数式（１８）及び（１９）に基づいて、現在サンプルの最終予測サンプル値Ｐ’（ｘ’，ｙ’）を決定することができる。
一方、座標ｘが少数サンプル位置を示す場合、隣接する２つの整数サンプルのサンプル値と、座標ｘと隣接する整数サンプルとの距離に基づいて、Ｒｘ，−１のサンプル値が決定されうる。
図２８は、映像復号装置が、現在ブロックのイントラ予測モードが、右上側方向の対角モードに隣接したアンギュラモードである場合、現在サンプルの位置基盤イントラ予測を行う過程について説明するための図面である。
図２８を参照すれば、映像復号装置１００は、現在サンプル２８０５の中間予測値Ｐ（ｘ’，ｙ’）、現在サンプル２８０５からアンギュラモードによる右上側方向に向かう線の反対方向に位置するサンプル２８１０のサンプル値Ｒ（−１，ｙ）を利用し、現在サンプル２８０５の予測値を生成することができる。右上側方向の対角モードに隣接したアンギュラモードは、５８回ないし６５回モードのうち、１つのモードでもある。
このとき、映像復号装置１００は、従来現在ブロックのイントラ予測モード（右上側方向のアンギュラモード）によるイントラ予測に基づいて、現在サンプル２８０５の中間予測サンプル値Ｐ（ｘ’，ｙ’）を決定することができる。
例えば、映像復号装置１００は、下記のような数式（２０）及び（２１）に基づいて、現在サンプルの最終予測サンプル値Ｐ’（ｘ’，ｙ’）を決定することができる。
一方、座標ｙが少数サンプル位置を示す場合、隣接する２つの整数サンプルのサンプル値と、座標ｙと隣接する整数サンプルとの距離に基づいて、Ｒ−１，ｙのサンプル値が決定されうる。
以上、図１７ないし図２８を参照し、現在ブロックが正方形であることを前提に、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行う方法及びその装置について説明した。ただし、映像復号装置１００は、現在ブロックが長方形である場合にも、類似してフィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行うことができることは、当業者であるならば、容易に理解することができるであろう。このとき、現在ブロックが、ＷｘＨ（Ｗは、幅、Ｈは、高さである）サイズの長方形である場合、現在ブロックの上側隣接参照ラインのサンプル数は、２Ｗ個、左側隣接参照ラインのサンプル数は、２Ｈ個でもある。ただし、それに制限されるものではなく、現在ブロックが、ＷｘＨ（Ｗは、幅、Ｈは、高さである）サイズの長方形である場合、現在ブロックの上側隣接参照ラインの参照サンプル数は、Ｗ＋Ｈ個、左側隣接参照ラインの参照サンプル数は、Ｗ＋Ｈ個でもある。
図２９は、本開示の一実施形態により、符号化順序フラグに基づいて、符号化単位間の符号化／復号順序が正方向または逆方向に決定され、決定された符号化／復号順序により、右側または上側の参照ラインが、イントラ予測のために利用されうることについて説明するための図面である。
図２９を参照すれば、最大符号化単位２９５０は、複数個の符号化単位２９５６，２９５８，２９６０，２９６２，２９６８，２９７０，２９７２，２９７４，２９８０，２９８２，２９８４，２９８６に分割される。最大符号化単位２９５０は、ツリー構造の最上位ノード２９００に対応する。そして、複数個の符号化単位２９５６，２９５８，２９６０，２９６２，２９６８，２９７０，２９７２，２９７４，２９８０，２９８２，２９８４，２９８６は、それぞれ複数個のノード２９０６，２９０８，２９１０，２９１２，２９１８，２９２０，２９２２，２９２４，２９３０，２９３２，２９３４，２９３６に対応する。ツリー構造において、符号化順序を示す上端符号化順序フラグ２９０２，２９１４，２９２６は、矢印（２９５２，２９６４，２９７６）に対応し、上端符号化順序フラグ２９０４，２９１６，２９２８は、矢印（２９５４，２９６６，２９７８）に対応する。
上端符号化順序フラグは、４つの同一深度の符号化単位のうち、上端に位置した２つの符号化単位の符号化順序を示す。もし上端符号化順序フラグが０である場合、符号化は、正方向に遂行される。反対に、上端符号化順序フラグが１である場合、符号化は、逆方向に行われる。
同様に、下端符号化順序フラグは、４つの同一深度の符号化単位のうち、下端に位置した２つの符号化単位の符号化順序を示す。もし下端符号化順序フラグが０である場合、符号化は、正方向に遂行される。反対に、符号化順序フラグが１である場合、符号化は、逆方向に行われる。
例えば、上端符号化順序フラグ２９１４が０であるので、符号化単位２９６８，２９７０間の符号化順序は、正方向である左側から右側方向に決定される。そして、下端符号化順序フラグ２９１６が１であるので、符号化単位２９７２，２９７４間の符号化順序は、逆方向である右側から左側方向に決定される。
一実施例により、上端符号化順序フラグと下端符号化順序フラグとが同一値を有するようにも設定される。例えば、上端符号化順序フラグ２９０２が１に決定される場合、上端符号化順序フラグ２９０２に対応する下端符号化順序フラグ２９０４も、１に決定されうる。１ビットに、上端符号化順序フラグと下端符号化順序フラグとの値が決定されるので、符号化順序情報の情報量が低減する。
一実施例により、現在符号化単位の上端符号化順序フラグと下端符号化順序フラグは、現在符号化単位より深度が低い符号化単位に適用された上端符号化順序フラグ及び下端符号化順序フラグのうち少なくとも一つを、参照しても決定される。例えば、符号化単位２９８０，２９８２，２９８４，２９８６に適用された上端符号化順序フラグ２９２６と下端符号化順序フラグ２９２８は、符号化単位２９７２，２９７４に適用された下端符号化順序フラグ２９１６に基づいても決定される。従って、上端符号化順序フラグ２９２６と下端符号化順序フラグ２９２８は、符号化順序フラグ２９１６と同一値に決定されうる。上端符号化順序フラグと下端符号化順序フラグとの値を、現在符号化単位の上位符号化単位から決定するので、符号化順序情報がビットストリームから獲得されない。従って、符号化順序情報の情報量が低減する。
このとき、映像復号装置１００は、現在符号化単位２９８６より以前に復号された右側の隣接符号化単位２９５８に含まれたサンプルのデータ、及び上側隣接符号化単位２９８０，２９８２に含まれたサンプルのデータが利用可能であるために、右側隣接符号化単位２９５８に含まれたサンプル（右側参照ライン）のデータ、及び上側隣接符号化単位２９８０，２９８２に含まれたサンプル（上側参照ライン）のデータを利用し、本開示の実施形態による予測を行うことができる。
すなわち、図１７ないし図２８を参照し、フィルタ適用されるフィルタリング参照サンプル、及びフィルタの加重値を決定し、フィルタリング参照サンプル、及びフィルタの加重値に基づいて、適応的にイントラ予測を行う方法及びその装置について説明し、従来の符号化単位に係わる符号化／復号順序により、符号化／復号を行う場合を前提に、現在ブロックの上側または左側のコーナーに隣接する原参照サンプルに基づいて、イントラ予測を行う内容について説明したが、それに制限されるものではなく、図２９のように、一部隣接符号化単位間の符号化／復号順序が、右側符号化単位、左側符号化単位の逆方向順序になる場合には、現在ブロックの上側または右側のコーナーに隣接する原参照サンプルに基づいて、イントラ予測を行うことができるということは、当業者であるならば、容易に理解することができるであろう。
本開示の多様な実施形態によれば、従来イントラ予測で利用されていない参照サンプルの情報を利用することになるので、予測の正確度が向上し、原参照サンプルを再構成する過程において、レファレンススムージング（ｒｅｆｅｒｅｎｃｅ ｓｍｏｏｔｈｉｎｇ）効果が再構成された参照サンプルに適用され、従って、予測の正確度が向上する。また、再構成された参照サンプル及び原参照サンプルを選択的に利用し、多様な予測ブロックの生成が可能であるので、さらに効率的な予測ブロックを選択することができるので、予測正確度が向上する。また、本開示の多様な実施形態によれば、自然なパターンの予測ブロックを生成することになることにより、急激な予測偏差（ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ）が示されることを補正し、従って、変換の効率性が向上する。
以上、多様な実施形態を中心に説明した。本開示が属する技術分野で当業者であるならば、本開示が本開示の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本開示に含まれたものであると解釈されなければならないのである。
一方、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、プログラムを動作させる汎用デジタルコンピュータでも具現される。該コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、フロッピーディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）など）のような記録媒体を含む。

Claims (14)

  1. ビットストリームから、現在ブロックの変換係数に係わる情報を獲得する段階と、
    前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階と、
    前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、
    前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成する段階と、
    前記獲得された現在ブロックの変換係数に係わる情報を基に、前記現在ブロックの残差ブロックを獲得する段階と、
    前記現在ブロックの予測ブロック、及び前記現在ブロックの残差ブロックを基に、前記現在ブロックを復元する段階と、を含むことを特徴とする映像復号方法。
  2. 前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階は、
    前記現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルに対応する原参照サンプルを決定する段階と、
    前記原参照サンプルのサンプル値に基づいて、前記現在サンプルのイントラ予測値を生成する段階と、を含むことを特徴とする請求項１に記載の映像復号方法。
  3. 前記フィルタリング参照サンプルに係わる第１加重値は、前記フィルタリング参照サンプルと前記現在サンプルとの距離に基づいて決定されることを特徴とする請求項１に記載の映像復号方法。
  4. 前記フィルタリング参照サンプルに係わる第１加重値は、前記現在ブロックの大きさ対比で、前記フィルタリング参照サンプルと前記現在サンプルとの距離に基づいて決定されることを特徴とする請求項３に記載の映像復号方法、
  5. 前記フィルタリング参照サンプルに係わる第１加重値は、前記フィルタリング参照サンプルと前記現在サンプルとの距離が遠くなるほど小さくなることを特徴とする請求項３に記載の映像復号方法。
  6. 前記フィルタリング参照サンプルは、前記現在サンプルの水平方向に位置する原参照サンプル、及び前記現在サンプルの垂直方向に位置する原参照サンプルのうち少なくとも一つを含むことを特徴とする請求項１に記載のビデオ復号方法。
  7. 前記現在ブロックのイントラ予測モードがアンギュラモードである場合、
    前記フィルタリング参照サンプルは、前記現在サンプルを通過する線上に位置する前記現在ブロックの左側及び上側の隣接サンプルのうち少なくとも一つを含むことを特徴とし、前記線は、前記アンギュラモードによって示される予測方向及び反対方向に向かうことを特徴とする請求項１に記載の映像復号方法。
  8. 前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階は、
    少なくとも１つの第２イントラ予測モードを決定する段階と、
    前記決定された少なくとも１つの第２イントラ予測モードを利用し、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、を含むことを特徴とする請求項１に記載の映像復号方法。
  9. 前記少なくとも１つの第２イントラ予測モードは、ピクチャ単位ごとに決定されるか、あるいはブロック単位に決定されることを特徴とする請求項８に記載の映像復号方法。
  10. 前記少なくとも１つの第２イントラ予測モードは、前記イントラ予測モード、前記イントラ予測モードによって示される予測方向の反対方向を示すイントラ予測モード、水平モード及び垂直モードのうち少なくとも一つに決定されることを特徴とする請求項１に記載の映像復号方法。
  11. 前記第１加重値及び前記第２加重値は、正規化された値であることを特徴とする請求項１に記載の映像復号方法。
  12. 前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階は、
    前記イントラ予測モードが、所定のイントラ予測モードである場合、前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階を含むことを特徴とする請求項１に記載の映像復号方法。
  13. 現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成する段階と、
    前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成する段階と、
    前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成する段階と、
    前記現在ブロックの予測ブロックに基づいて、現在ブロックの変換係数に係わる情報を符号化する段階と、を含むことを特徴とする映像符号化方法。
  14. ビットストリームから、現在ブロックの変換係数に係わる情報を獲得し、
    前記現在ブロック内現在サンプルの位置、及び前記現在ブロックのイントラ予測モードに基づいて、前記現在サンプルのイントラ予測値を生成し、
    前記現在ブロック内現在サンプルの位置に基づき、フィルタ適用される少なくとも１つのフィルタリング参照サンプルのサンプル値、フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値を決定し、前記決定されたフィルタ適用されるフィルタリング参照サンプルのサンプル値、現在サンプルのイントラ予測値、前記フィルタリング参照サンプルに係わる第１加重値、及び現在サンプルのイントラ予測値に係わる第２加重値に基づいて、前記現在サンプルのフィルタリングされた予測サンプル値を生成し、
    前記現在サンプルのフィルタリングされた予測サンプル値を含む前記現在ブロックの予測ブロックを生成し、
    前記獲得された現在ブロックの変換係数に係わる情報を基に、前記現在ブロックの残差ブロックを獲得し、
    前記現在ブロックの予測ブロック、及び前記現在ブロックの残差ブロックを基に、前記現在ブロックを復元するプロセッサを含むことを特徴とする映像復号装置。
JP2020516891A 2017-09-28 2018-09-27 映像復号方法、映像符号化方法及び映像復号装置 Active JP7170718B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022113556A JP7532450B2 (ja) 2017-09-28 2022-07-14 映像復号方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564681P 2017-09-28 2017-09-28
US62/564,681 2017-09-28
PCT/KR2018/011390 WO2019066472A1 (ko) 2017-09-28 2018-09-27 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022113556A Division JP7532450B2 (ja) 2017-09-28 2022-07-14 映像復号方法

Publications (2)

Publication Number Publication Date
JP2020534765A true JP2020534765A (ja) 2020-11-26
JP7170718B2 JP7170718B2 (ja) 2022-11-14

Family

ID=65901780

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020516891A Active JP7170718B2 (ja) 2017-09-28 2018-09-27 映像復号方法、映像符号化方法及び映像復号装置
JP2022113556A Active JP7532450B2 (ja) 2017-09-28 2022-07-14 映像復号方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022113556A Active JP7532450B2 (ja) 2017-09-28 2022-07-14 映像復号方法

Country Status (6)

Country Link
US (5) US11695930B2 (ja)
EP (1) EP3661212A4 (ja)
JP (2) JP7170718B2 (ja)
KR (3) KR20230045102A (ja)
CN (1) CN111164979A (ja)
WO (1) WO2019066472A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427824B1 (ko) * 2010-12-08 2022-08-02 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
WO2019172676A1 (ko) 2018-03-08 2019-09-12 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
WO2019244116A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Border partition in video coding
WO2020256466A1 (ko) * 2019-06-19 2020-12-24 한국전자통신연구원 화면 내 예측 모드 및 엔트로피 부호화/복호화 방법 및 장치
EP4300964A3 (en) * 2019-06-21 2024-03-13 VID SCALE, Inc. Precision refinement for motion compensation with optical flow
MX2021005855A (es) * 2019-07-10 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo de prediccion de componentes de imagen, codificador, descodificador y medio de almacenamiento.
KR20220047824A (ko) * 2019-09-19 2022-04-19 엘지전자 주식회사 참조 샘플 필터링을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20220060734A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Intra prediction methods in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017058635A1 (en) * 2015-09-29 2017-04-06 Qualcomm Incorporated Improved video intra-prediction using position-dependent prediction combination for video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718135B1 (ko) 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
EP2658263B1 (en) * 2010-12-22 2022-12-14 LG Electronics Inc. Intra prediction method and apparatus using the method
US9930366B2 (en) 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US10306222B2 (en) 2011-06-20 2019-05-28 Hfi Innovation Inc. Method and apparatus of directional intra prediction
KR101587927B1 (ko) * 2013-06-24 2016-01-22 한양대학교 산학협력단 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
US9667965B2 (en) 2012-06-25 2017-05-30 Industry-University Cooperation Foundation Hanyang University Video encoding and decoding method
EP3203735A4 (en) 2014-11-05 2017-08-09 Samsung Electronics Co., Ltd. Per-sample prediction encoding apparatus and method
CN108293116A (zh) 2015-11-24 2018-07-17 三星电子株式会社 视频解码方法及设备和视频编码方法及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017058635A1 (en) * 2015-09-29 2017-04-06 Qualcomm Incorporated Improved video intra-prediction using position-dependent prediction combination for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEERT VAN DER AUWERA, ET AL.: "CE3: Simplified PDPC (Test 2.4.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0063, JPN6021029562, 10 July 2018 (2018-07-10), ISSN: 0004727606 *
JIAHAO LI, ET AL.: "EE6: Multiple line-based intra prediction", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-D0149, JPN6022041689, 8 October 2016 (2016-10-08), ISSN: 0004888131 *

Also Published As

Publication number Publication date
US20240015297A1 (en) 2024-01-11
US20230164323A1 (en) 2023-05-25
JP2022137229A (ja) 2022-09-21
KR102514436B1 (ko) 2023-03-27
KR20200037384A (ko) 2020-04-08
US11805258B2 (en) 2023-10-31
KR102389868B1 (ko) 2022-04-22
EP3661212A1 (en) 2020-06-03
US12075057B2 (en) 2024-08-27
EP3661212A4 (en) 2020-11-25
JP7170718B2 (ja) 2022-11-14
KR20220054705A (ko) 2022-05-03
KR20230045102A (ko) 2023-04-04
JP7532450B2 (ja) 2024-08-13
WO2019066472A1 (ko) 2019-04-04
US11695930B2 (en) 2023-07-04
US20240048715A1 (en) 2024-02-08
US12081764B2 (en) 2024-09-03
US20200252614A1 (en) 2020-08-06
CN111164979A (zh) 2020-05-15
US20240015296A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
JP7170718B2 (ja) 映像復号方法、映像符号化方法及び映像復号装置
KR102539068B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102525032B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102386291B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20200037365A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
KR20200134323A (ko) 하드웨어 설계를 고려한 비디오 부호화 방법, 부호화 장치, 비디오 복호화 방법, 복호화 장치
KR102606290B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP2024147825A (ja) 映像復号方法、映像符号化方法および装置
JP2024147826A (ja) 映像復号方法、映像符号化方法および装置
JP2024147827A (ja) 映像復号方法、映像符号化方法および装置
KR20200049780A (ko) 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220714

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220714

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220727

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R150 Certificate of patent or registration of utility model

Ref document number: 7170718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150