JP2017537539A - サンプル単位予測符号化装置及びその方法 - Google Patents

サンプル単位予測符号化装置及びその方法 Download PDF

Info

Publication number
JP2017537539A
JP2017537539A JP2017524041A JP2017524041A JP2017537539A JP 2017537539 A JP2017537539 A JP 2017537539A JP 2017524041 A JP2017524041 A JP 2017524041A JP 2017524041 A JP2017524041 A JP 2017524041A JP 2017537539 A JP2017537539 A JP 2017537539A
Authority
JP
Japan
Prior art keywords
sample
adjacent
current
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017524041A
Other languages
English (en)
Inventor
アルシナ，エレナ
アルシン，アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017537539A publication Critical patent/JP2017537539A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像を、少なくとも１つのブロックに分割する分割部と、現在ブロック内において、現在サンプルより先に予測され、現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び現在ブロック内において、現在サンプルより先に予測され、現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用し、現在サンプルを予測する予測部と、ビットストリームから獲得された現在サンプルのレジデュアル値と、現在サンプルの予測値とを利用し、映像を復号する復号部と、を含むビデオ復号装置である。

Description

本発明は、予測を含むビデオ符号化装置／ビデオ復号装置及びその方法に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。ビデオコンテンツは、原信号と予測信号とを除いたレジデュアル信号を変換して量子化することによって符号化される。かように符号化されたビデオコンテンツを復号することによって、ビデオコンテンツを再生することができる。
ビデオコンテンツの符号化過程において、原信号と予測信号との差に該当するレジデュアル信号を変換して量子化してビットストリームとして伝送するために、効率的な予測を介してレジデュアル信号を最小化する必要がある。
映像を、少なくとも１つのブロックに分割する分割部と、現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する予測部と、ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する復号部と、を含むビデオ復号装置が開示される。
一実施形態による符号化／復号装置及びその方法は、現在サンプルの位置によって適応的な予測を行うことができる。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図である。 一実施形態による、符号化単位の概念を図示する図面である。 一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 一実施形態による、符号化単位に基づいた映像復号部のブロック図である。 一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による深度別符号化情報を図示する図面である。 一実施形態による深度別符号化単位を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による多視点ビデオシステムを示す図面である。 多視点ビデオを構成するテクスチャ映像及びデプス映像を例示した図面である。 すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うビデオ符号化装置のブロック図である。 すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うビデオ復号装置のブロック図である。 現在ブロック内において、すでに予測されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の動作を図示する図面である。 現在ブロック内において、すでに予測されたサンプルに基づいて、現在サンプルを予測する他のサンプル単位予測の動作を図示する図面である。 現在サンプルを予測するために利用される隣接サンプルを図示する図面である。 隣接サンプルに適用される加重値を図示する図面である。 現在サンプルに対して横方向に隣接するサンプルに適用される第１加重値を図示する図面である。 現在サンプルに対して縦方向に隣接するサンプルに適用される第２加重値を図示する図面である。 現在ブロックの垂直境界に位置するサンプルを予測する動作を図示する図面である。 現在ブロックの水平境界に位置するサンプルを予測する動作を図示する図面である。 現在ブロックのエッジに位置するサンプルを予測する動作を図示する図面である。 参照サンプルパディングを行う動作を図示する図面である。 すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うビデオ符号化方法のフローチャートである。 すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うビデオ復号方法のフローチャートである。 すでに復元されたサンプルに基づいて、サンプル単位予測を行うビデオ符号化装置のブロック図である。 すでに復元されたサンプルに基づいて、サンプル単位予測を行うビデオ復号装置のブロック図である。 すでに復元されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の動作を図示する図面である。 現在サンプルを予測するために利用される隣接サンプルを図示する図面である。 現在サンプルから所定距離内に位置する候補サンプルを図示する図面である。 現在サンプルと候補サンプルとの距離に基づいて、コストを補正する動作を図示する図面である。 候補隣接サンプルが候補サンプルに隣接する方向に基づいて、コストを補正する動作を図示する図面である。 複数個のすでに復元されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の動作を図示する図面である。 複数個の候補隣接サンプルが候補サンプルに隣接する方向に基づいて、コストを補正する動作を図示する図面である。 複数個のすでに復元されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の他の動作を図示する図面である。 複数個の候補隣接サンプルが候補サンプルに隣接する方向に基づいて、コストを補正する動作を図示する図面である。 すでに復元された隣接サンプルに基づいて、サンプル単位予測を行うビデオ符号化方法のフローチャートを図示する図面である。 すでに復元された隣接サンプルに基づいて、サンプル単位予測を行うビデオ復号方法のフローチャートを図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、ビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造図示する図面である。 一実施形態による、ビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 一実施形態による、通信システムが適用されたデジタル放送システムを図示する図面である。 一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
映像を、少なくとも１つのブロックに分割する分割部と、現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する予測部と、ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する復号部と、を含むビデオ復号装置が開示される。
前記第１加重値は、前記現在サンプルに対して横方向に隣接する前記第１サンプルと、前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する前記第３サンプルとの差分値に比例する。
前記第２加重値は、前記現在サンプルに対して縦方向に隣接する前記第２サンプルと、前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する前記第３サンプルとの差分値に比例する。
前記第１加重値及び前記第２加重値は、同一でもある。
前記第１サンプルは、前記現在ブロックの境界に位置し、前記第１サンプルは、前記第１サンプルに対して横方向に隣接する前記現在ブロック外の第１参照サンプルに第４加重値が適用された値、及び前記第３サンプルに対して第５加重値が適用された値のうち少なくとも一つを利用して予測され、前記第４加重値は、前記第１参照サンプルと、前記第１サンプルに対して対角線方向に隣接する前記現在ブロック外の第２参照サンプルとの差分値に比例し、前記第５加重値は、前記第３サンプルと前記第２参照サンプルとの差分値に比例する。
前記第２サンプルは、前記現在ブロックの境界に位置し、前記第２サンプルは、前記第３サンプルに対して第４加重値が適用された値、及び前記第２サンプルに対して縦方向に隣接する前記現在ブロック外の第１参照サンプルに第５加重値が適用された値のうち少なくとも一つを利用して予測され、前記第４加重値は、前記第３サンプルと、前記第２サンプルに対して対角線方向に隣接する前記現在ブロック外の第２参照サンプルとの差分値に比例し、前記第５加重値は、前記第１参照サンプルと前記第２参照サンプルとの差分値に比例する。
前記第３サンプルは、前記現在ブロックの境界に位置し、前記第３サンプルは、前記第３サンプルに対して横方向に隣接する前記現在ブロック外の第１参照サンプルに第４加重値が適用された値、及び前記第３サンプルに対して縦方向に隣接する前記現在ブロック外の第２参照サンプルに第５加重値が適用された値のうち少なくとも一つを利用して獲得され、前記第４加重値は、前記第１参照サンプルと、前記第３サンプルに対して対角線方向に隣接する第３参照サンプルとの差分値に比例し、前記第５加重値は、前記第２参照サンプルと前記第３参照サンプルとの差分値に比例する。
映像を、少なくとも１つのブロックに分割する段階と、現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する段階と、ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する段階と、を含むビデオ復号方法が開示される。
映像を、少なくとも１つのブロックに分割する分割部と、現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する予測部と、前記現在サンプルの原本値と、前記現在サンプルの予測値とのレジデュアル値を符号化する符号化部と、を含むビデオ符号化装置が開示される。
映像を、少なくとも１つのブロックに分割する段階と、現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する段階と、前記現在サンプルの原本値と、前記現在サンプルの予測値とのレジデュアル値を符号化する段階と、を含むビデオ符号化方法が開示される。
映像を、少なくとも１つのブロックに分割する分割部と、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択し、前記現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち、前記隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択する候補選択部と、前記第１候補サンプルを利用し、前記現在サンプルを予測する予測部と、ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する復号部と、を含むビデオ復号装置が開示される。
前記候補サンプルは、前記現在サンプルから所定距離内に位置することができる。
前記第１候補サンプルは、前記現在サンプルに隣接する前記隣接サンプルと、前記候補サンプルに隣接するそれぞれの候補隣接サンプルとの差値、及び前記現在サンプルと、前記それぞれの候補サンプルとの距離に基づいても選択される。
前記候補サンプルが、前記候補隣接サンプルに隣接する方向は、前記現在サンプルが、前記隣接サンプルに隣接する方向と同一でもある。
前記第１候補サンプルは、前記現在サンプルに隣接する前記隣接サンプルと、前記候補サンプルに隣接するそれぞれの候補隣接サンプルとの差値、前記現在サンプルと前記隣接サンプルとの隣接方向、及び前記候補サンプルと前記候補隣接サンプルとの隣接方向に基づいても選択される。
映像を、少なくとも１つのブロックに分割する段階と、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択し、前記現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち、前記隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択する段階と、前記第１候補サンプルを利用し、前記現在サンプルを予測する段階と、ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する段階と、を含むビデオ復号方法が開示される。
映像を、少なくとも１つのブロックに分割する分割部と、現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに隣接する少なくとも１つの隣接サンプルを選択し、前記現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち、前記隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択する候補選択部と、前記第１候補サンプルを利用し、前記現在サンプルを予測する予測部と、前記現在サンプルの原本値と、前記現在サンプルの予測値とのレジデュアル値を符号化する符号化部と、を含むビデオ符号化装置が開示される。
映像を、少なくとも１つのブロックに分割する段階と、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択し、前記現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち、前記隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択する段階と、前記第１候補サンプルを利用し、前記現在サンプルを予測する段階と、前記現在サンプルの原本値と、前記現在サンプルの予測値とのレジデュアル値を符号化する段階と、含むビデオ符号化方法が開示される。
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示す。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータとして、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。
以下、「レイヤ（layer）映像」は、特定視点または同一類型の映像を示す。多視点ビデオにおいて、１つのレイヤ映像は、特定視点に入力されたカラー映像またはデプス映像を示す。
以下、図１ないし図１３を参照し、多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号技法が開示される。
図１は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」に縮約して指称する。
符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の自乗である正方形のデータ単位でもある。
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データは、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小符号化誤差が発生する深度を選択して最終深度と決定する。決定された最終深度別及び最大符号化単位別の映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なっても決定される。従って、１つの最大符号化単位に対して、最終深度が１以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によっても区画される。
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位うち、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において同一領域においては、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する最終深度は、他の領域に対する最終深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
最大符号化単位の予測符号化及び変換が行われもする。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使われもし、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。符号化単位が分割されたパーティションは、符号化単位、並びに符号化単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位が分割された形態のデータ単位、及び符号化単位と同一サイズのデータ単位を含んでもよい。予測の基盤になるパーティションは、「予測単位」と指称される。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインタモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインタモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図３ないし図１３を参照して詳細に説明する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの深度に基づいて、符号化された最大符号化単位の映像データ、及び深度別分割情報をビットストリーム形態に出力する。
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位に符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなればならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内でツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データに対して、深度及び分割情報が設定される。
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び当該符号化モードに係わる符号化情報が割り当てられる。
一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位、及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インタモードの推定方向についての情報、インタモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図２は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置２００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、「ビデオ復号装置２００」と縮約して指称する。
一実施形態によるビデオ復号装置２００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる、最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部２３０が、最大符号化単位ごとに映像データを復号する。
最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出されもする。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号して映像を復元することができる。
一実施形態による深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号部２３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
映像データ復号部２３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号部２３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度である。従って、映像データ復号部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して復号することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部２３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。
図３Ａを参照して説明した映像復号装置３０は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号装置２００を視点個数ほど含んでもよい。
第１レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。
第２レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第２レイヤ映像を復元することができる。
抽出部２２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差に係わる情報をビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。
結局、ビデオ復号装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ、及び符号化モードによって、効率的に映像データを復号して復元することができる。
図３は、多様な実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
図４は、多様な実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部４２０は、現在映像４０５において、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部４１５は、インターモードの符号化単位に対して、予測単位別に、現在映像４０５及び復元ピクチャバッファ４１０で獲得された参照映像を利用して、インター予測を行う。現在映像４０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングが行われることができる。
イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データを、現在映像４０５のエンコーディングされる符号化単位に係わるデータから差し引くことによってレジデューデータを生成し、該レジデューデータは、変換部４２５及び量子化部４３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４４５、逆変換部４５０を介して、空間領域のレジデューデータとして復元される。復元された空間領域のレジデューデータは、イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータとして復元される。復元された空間領域のデータは、デブロッキング部４５５及びＳＡＯ遂行部４６０を経て、復元映像として生成される。生成された復元映像は、復元ピクチャバッファ４１０に保存される。復元ピクチャバッファ４１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部４２５及び量子化部４３０で量子化された変換係数は、エントロピー符号化部４３５を経て、ビットストリーム４４０として出力される。
一実施形態による映像符号化部４００がビデオ符号化装置１００に適用されるために、映像符号化部４００の構成要素である、インター予測部４１５、イントラ予測部４２０、変換部４２５、量子化部４３０、エントロピー符号化部４３５、逆量子化部４４５、逆変換部４５０、デブロッキング部４５５及びＳＡＯ遂行部４６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。
特に、イントラ予測部４２０及びインター予測部４１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部４２５は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。
図５は、多様な実施形態による符号化単位に基づいた映像復号部５００のブロック図を図示している。
エントロピー復号部５１５は、ビットストリーム５０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部５２０及び逆変換部５２５は、量子化された変換係数からレジデューデータを復元する。
イントラ予測部５４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部５３５は、現在映像のうち、インターモードの符号化単位に対して予測単位別に、復元ピクチャバッファ５３０で獲得された参照映像を利用して、インター予測を行う。
イントラ予測部５４０またはインター予測部５３５を経た各モードの符号化単位に係わる予測データと、レジデューデータとが加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部５４５及びＳＡＯ遂行部５５０を経て、復元映像５６０として出力される。また、復元ピクチャバッファ５３０に保存された復元映像、は参照映像として出力される。
ビデオ復号装置２００のピクチャ復号部２３０において、映像データを復号するために、一実施形態による映像復号部５００のエントロピー復号部５１５後の段階別作業が遂行されることができる。
映像復号部５００が、一実施形態によるビデオ復号装置２００に適用されるために、映像復号部５００の構成要素である、エントロピー復号部５１５、逆量子化部５２０、逆変換部５２５、イントラ予測部５４０、インター予測部５３５、デブロッキング部５４５及びＳＡＯ遂行部５５０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて作業を遂行することができる。
特に、イントラ予測部５４０及びインター予測部５３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部５２５は、符号化単位ごとに四分木構造による変換単位の分割いかんを決定することができる。
図６は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高、最大幅及び最大深度は、映像の特性によって適応的にも決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、該最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の深度及びパーティションモードに選択される。
図７は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図８は、多様な実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置１００の出力部１３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションモードに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションモードについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションモードについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号に利用することができる。
図９は、多様な実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０、２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
サイズＮ＿０ｘＮ＿０のパーティションモード９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索する。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード９４６、サイズＮ＿１ｘＮ＿１のパーティションモード９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１のパーティションモード９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索する。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８を含んでもよい。
パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と指称される。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小符号化誤差が発生する深度を選択して深度を決定し、当該パーティションモード及び予測モードが、深度の符号化モードに設定される。
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度に決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで、符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる深度及び予測単位についての情報を抽出し、符号化単位９１２を復号するのに利用される。一実施形態によるビデオ復号装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を深度と把握し、当該深度に係わる分割情報を利用して、復号に利用することができる。
図１０、図１１及び図１２は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとするならば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０において一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションモードであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１０３２は、ＮｘＮのパーティションモードである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位１０７０において一部変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位において、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行される。
それによって、最大符号化単位ごとに、領域別に、階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。該符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００で設定することができる一例を示している。
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ＮＲｘ２Ｎと、を示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが、対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態による、ツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している、予測単位及び最小単位を１以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図１３は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定されることができる。
変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによっても変更される。
例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションモード情報が、非対称形パーティションモード２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図１３を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加させ、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（I）のように、定義される。
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （I）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（I）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（II）によって決定される。数式（I）Iにおいて、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize） （II）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（III）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （III）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。
図１ないし図１３を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
図１４は、一実施形態による多視点ビデオシステムを示している。
多視点ビデオシステム１０は、２台以上の多視点カメラ１１を介して獲得された多視点ビデオ映像、デプスカメラ１４を介して獲得された多視点映像のデプス映像、及び多視点カメラ１１に係わるカメラパラメータ情報を符号化し、ビットストリームを生成する多視点ビデオ符号化装置１２、並びにビットストリームを復号し、復号された多視点ビデオフレームを、視聴者の要求によって、多様な形態で提供する多視点ビデオ復号装置１３を含む。
多視点カメラ１１は、互いに異なる視点を有する複数台のカメラを結合して構成されながら、毎フレームごとに多視点ビデオ映像を提供する。以下の説明において、ＹＵＶ、ＹＣｂＣｒのように、所定カラーフォーマットによって、各視点別に獲得されたカラー映像は、テクスチャ（texture）映像と指称する。
デプスカメラ１４は、場面のデプス情報を、２５６段階の８ビット映像などで表現したデプス映像（depth image）を提供する。デプス映像の１ピクセルを表現するためのビット数は、８ビットではなく、変更されもする。デプスカメラ１４は、赤外線などを利用して、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有するデプス映像を提供することができる。このように、１視点の映像は、テクスチャ映像及びデプス映像を含む。
多視点ビデオ符号化装置１２において、多視点のテクスチャ映像と対応するデプス映像を符号化して伝送すれば、多視点ビデオ復号装置１３は、ビットストリームに具備された多視点のテクスチャ映像及びデプス映像を利用して、既存のステレオ映像や三次元映像を介して、立体感を提供するだけではなく、視聴者が所望する所定視点の三次元映像を合成して提供することができる。多視点ビデオデータのビットストリームには、データパケットに、デプス映像に係わる情報も含まれているか否かということを示すための情報、各データパケットがテキスチャ映像に係わるものであるか、あるいはデプス映像に係わるものであるかという映像類型を示す情報が含まれる。受信側のハードウェア性能によって、多視点ビデオ復号装置１３は、多視点ビデオ復元にデプス映像を利用する場合、受信されたデプス映像を利用して多視点ビデオを復号し、受信側のハードウェアが、多視点ビデオを支援せず、デプス映像を活用することができない場合には、デプス映像と係わって受信されたデータパケットを廃棄することができる。このように、受信側において、多視点ビデオ復号装置１３が多視点映像をディスプレイすることができない場合、多視点映像のうちある１視点の映像を二次元映像（２Ｄ映像）でディスプレイすることができる。
多視点ビデオデータは、視点の個数に比例して符号化されるデータ量が増加し、また立体感を具現するためのデプス映像も符号化されなければならないために、図１４に図示されているような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータが効率的に圧縮される必要がある。
図１５は、多視点ビデオを構成するテクスチャ映像及びデプス映像を例示した図面である。図１５では、第１視点（view ０）のテクスチャピクチャｖ０ ２１、第１視点（view ０）のテクスチャピクチャｖ０ ２１に対応するデプス映像ピクチャｄ０ ２４、第２視点（view １）のテクスチャピクチャｖ１ ２２、第２視点（view １）のテクスチャピクチャｖ１ ２２に対応するデプス映像ピクチャｄ１ ２５、第３視点（view ２）のテクスチャピクチャｖ２ ２３、及び第３視点（view ２）のテクスチャピクチャｖ２ ２３に対応するデプス映像ピクチャｄ２ ２６を図示している。図１５では、３個の視点（view ０，view １，view ２）での多視点のテクスチャピクチャｖ０ ２１，ｖ１ ２２，ｖ２ ２３及び対応するデプス映像ｄ０ ２４，ｄ１ ２５，ｄ２ ２６を図示したが、視点の個数は、それらに限定されるものではなく、変更されもする。多視点のテクスチャピクチャｖ０ ２１，ｖ１ ２２，ｖ２ ２３、及び対応するデプス映像ｄ０ ２４，ｄ１ ２５，ｄ２ ２６は、いずれも同一時間に獲得され、同一ＰＯＣ（picture order count）有するピクチャである。以下の説明において、多視点のテクスチャピクチャｖ０ ２１，ｖ１ ２２，ｖ２ ２３、及び対応するデプス映像ピクチャｄ０ ２４，ｄ１ ２５，ｄ２ ２６のように、同一ｎ（ｎは整数）のＰＯＣ値を有するピクチャグループ１５００を、ｎ番目ピクチャグループと指称する。同一ＰＯＣを有するピクチャグループは、１つのアクセス単位（access unit）を構成することができる。アクセス単位の符号化順序は、必ずしも映像のキャプチャ順序（獲得順序）やディスプレイ順序と同一である必要はなく、アクセス単位の符号化順序は、参照関係を考慮し、キャプチャ順序やディスプレイ順序と異なってもよい。
各視点のテクスチャ映像及びデプス映像の視点を特定するために、視点順序インデックス（view order index）である視点識別子（View ＩＤ）が利用される。同一視点のテクスチャ映像及びデプス映像は、同一視点識別子を有する。該視点識別子は、符号化順序決定に利用される。例えば、多視点ビデオ符号化装置１２は、視点識別子が小さい値から大きい値の順序で、多視点ビデオを符号化することができる。すなわち、多視点ビデオ符号化装置１２は、View ＩＤが０であるテキスチャ映像及びデプス映像を符号化した後、View ＩＤが１であるテクスチャ映像及びデプス映像を符号化することができる。このように、視点識別子を基準に符号化順序を決定する場合、多視点ビデオ復号装置１３は、エラーが発生しやすい環境において、視点識別子を利用して、受信されたデータのエラー発生いかんを識別することができる。ただし、視点識別子のサイズ順序に依存せず、各視点映像の符号化／復号順序が変更されもする。
以下、図１６ないし図４１を参照し、サンプル単位予測（Sample wise prediction）を行うビデオ符号化装置／ビデオ復号装置及びビデオ符号化装置／ビデオ復号装置方法について説明する。
具体的には、図１６ないし図２８を参照し、すでに予測された隣接サンプルに基づいた現在サンプルのイントラ予測符号化／復号装置及びイントラ予測符号化／復号方法について説明し、図２９ないし図４１を参照し、すでに復元されたサンプルに基づいた現在サンプルのイントラ予測符号化／復号装置及びイントラ予測符号化／復号方法について説明する。
図１６は、すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うことができるビデオ符号化装置のブロック図を図示している。
ビデオ符号化装置１６００は、分割部１６１０、予測部１６２０及び符号化部１６３０を含んでもよい。ビデオ符号化装置１６００は、分割部１６１０、予測部１６２０及び符号化部１６３０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、分割部１６１０、予測部１６２０及び符号化部１６３０は、それぞれの自体プロセッサ（図示せず）によって作動し、該プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１６００が全体的に作動することもできる。または、ビデオ符号化装置１６００の外部プロセッサ（図示せず）の制御によって、分割部１６１０、予測部１６２０及び符号化部１６３０が制御されもする。
ビデオ符号化装置１６００は、分割部１６１０、予測部１６２０及び符号化部１６３０の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１６００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
ビデオ符号化装置１６００は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、予測を含んだビデオ符号化動作を遂行することができる。ビデオ符号化装置１６００の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、ビデオ符号化装置１６００、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
ビデオ符号化装置１６００は、図１のビデオ符号化装置１００に含まれてもよい。具体的には、分割部１６１０は、最大符号化単位分割部１１０及び符号化単位決定部１２０に含まれてもよく、予測部１６２０は、イントラ予測部４２０に含まれてもよく、符号化部１６３０は、変換部４２５、量子化部１３０及びエントロピー符号化部４３５に含まれてもよい。従って、図１及び図４と重複する説明は省略する。
分割部１６１０は、映像を、少なくとも１つのブロックに分割する。ここで、「ブロック（block）」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。
具体的には、該ブロックは、符号化単位の最大サイズを決定するための符号化単位のサイズ情報に基づいて、映像から分割された最大符号化単位にもなる。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット（coding tree unit）、コーディングブロックツリー（coding block tree）、ブロックツリー、ルートブロックツリー（root block tree）、コーディングツリー、コーディングルートまたはツリートランク（tree trunk）などと多様に命名される。
または、該ブロックは、符号化単位の分割いかんを示す符号化単位分割情報に基づいて、最大符号化単位から分割された符号化単位にもなる。
または、該ブロックは、最終深度の符号化単位、すなわち、それ以上分割されない符号化単位から分割された予測単位にもなる。例えば、該ブロックは、パーティションモードに基づいて、最終深度の符号化単位、並びに最終深度の符号化単位の高さ及び幅のうち少なくとも一つが分割された第１予測単位及び第２予測単位を含んでもよい。該予測単位は、最終深度の符号化単位が分割された形態のデータ単位であり、該予測単位は、最終深度の符号化単位と同一サイズを有することができる。該パーティションモードは、符号化単位から分割された少なくとも１つの予測単位の形態を指示することができる。例えば、分割部１６１０は、パーティションモードが２ＮＸＮを指示するとき、２ＮＸ２Ｎサイズを有する最終深度の符号化単位を、２ＮＸＮサイズを有する２つの予測単位に分割することができる。
または、該ブロックは、最終深度の符号化単位から分割された変換単位にもなる。例えば、該ブロックは、変換単位分割情報に基づいて、変換単位から四分木構造に分割された変換単位にもなる。
ブロックのタイプは、正方形単位または長方形単位に制限されるものではない。
予測部１６２０は、映像から分割された現在ブロック内において、現在サンプルより先に予測された少なくとも１つのサンプルを利用して、現在サンプルの予測値を獲得する。具体的には、予測部１６２０は、現在ブロック内において、現在サンプルより先に予測され、現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び現在サンプルより先に予測され、現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用して、現在サンプルを予測することができる。
符号化部１６３０は、現在サンプルのレジデュアル値を符号化する。具体的には、符号化部１６３０は、現在サンプルの原本値と、予測部１６２０で獲得された現在サンプルの予測値とのレジデュアル値を獲得し、現在サンプルのレジデュアル値を変換し、変換されたレジデュアル値をエントロピー符号化し、エントロピー符号化されたレジデュアル値をビットストリームとして出力することができる。
図１７は、すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うことができるビデオ復号装置のブロック図を図示している。
ビデオ復号装置１７００は、分割部１７１０、予測部１７２０及び復号部１７３０を含んでもよい。ビデオ復号装置１７００は、分割部１７１０、予測部１７２０及び復号部１７３０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、分割部１７１０、予測部１７２０及び復号部１７３０は、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、ビデオ復号装置１７００が全体的に作動することもできる。または、ビデオ復号装置１７００の外部プロセッサ（図示せず）の制御によって、分割部１７１０、予測部１７２０及び復号部１７３０が制御されもする。
ビデオ復号装置１７００は、分割部１７１０、予測部１７２０及び復号部１７３０の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号装置１７００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
ビデオ復号装置１７００は、ビデオ復号結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、フィルタリングを含んだビデオ復号動作を遂行することができる。ビデオ復号装置１７００の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ復号動作を具現することができる。また、ビデオ復号装置１７００、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号動作を具現する場合も可能である。
ビデオ復号装置１７００が図２のビデオ復号装置２００に含まれてもよい。具体的には、分割部１７１０は、受信部２１０に含まれてもよく、予測部１７２０及び復号部１７３０は、映像データ復号部２３０に含まれてもよい。従って、図２と重複する説明は省略する。
分割部１７１０は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。
予測部１７２０は、映像から分割された現在ブロック内において、現在サンプルより先に予測されたサンプルを利用して、現在サンプルの予測値を獲得する。具体的には、予測部１７２０は、現在ブロック内において、現在サンプルより先に予測され、現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び現在サンプルより先に予測され、現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用して、現在サンプルを予測することができる。
復号部１７３０は、映像を復号する。具体的には、復号部１７３０は、ビットストリームから獲得された現在サンプルのレジデュアル値と、予測部１７２０で獲得された現在サンプルの予測値とを利用して映像を復元することができる。
図１８Ａは、現在ブロック内において、すでに予測されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の動作を図示している。
予測部１６２０，１７２０は、映像から分割された現在ブロック１８００において、現在サンプルＣに隣接し、現在サンプルＣより先に予測されたサンプルＡ１，Ａ２，Ａ３のうち少なくとも一つに基づいて、現在サンプルＣを予測することができる。
現在サンプルの隣接サンプルのうち現在サンプルＣを予測するために利用される少なくとも１つの隣接サンプルは、現在ブロック１８００の予測方向、及び現在ブロック１８００における現在サンプルＣの位置によって異なる。例えば、図１８Ａに図示されているように、予測が現在ブロック１８００の左上側から右下側に進めば、現在サンプルＣは、現在サンプルＣの左側に隣接するＡ１サンプルの予測値、現在サンプルＣの上側に隣接するＡ２サンプルの予測値、及び現在サンプルＣの左上側に隣接するＡ３サンプルの予測値に基づいて予測されもする。具体的には、予測部１６２０，１７２０は、数式（１）に基づいて、現在サンプルＣの予測値を獲得することができる。
数式（１）でｐＤｅｓｔ［ｉ，ｊ］は、現在ブロック内において、ｉ行ｊ列サンプルを意味する。例えば、図１８Ａの現在サンプルＣ、Ａ１サンプル、Ａ２サンプル及びＡ３サンプルは、それぞれｐＤｅｓｔ［１，１］、ｐＤｅｓｔ［０，１］、ｐＤｅｓｔ［１，０］、ｐＤｅｓｔ［０，０］に該当する。ｗＬ、ｗＡ及びｗＡＬは、現在サンプルを予測するために利用される隣接サンプルに適用される加重値を意味する。前記加重値については、以下、図２１、図２２及び図２３を参照して詳細に説明する。また、shift及びoffsetは、前記加重値を補償するためのパラメータに該当する。Ｈは、現在ブロック１８００の高さ（height）を意味し、Ｗは、現在ブロック１８００の幅（width）を意味する。
現在サンプルが現在ブロック１８００の境界に位置する場合、現在サンプルを予測するために利用されるサンプルは、現在ブロック１８００の参照サンプル１８１０にもなる。参照サンプル１８１０は、現在ブロック１８００より先に復元された、少なくとも１つの以前ブロックに含まれる復元サンプルを含んでもよい。また、参照サンプル１８１０は、現在ブロック１８００の境界に隣接することができる。例えば、図１８Ａに図示されているように、予測が現在ブロック１８００の左上側から右下側に進めば、Ａ３サンプルは、Ａ３サンプルの左側に隣接するＲ１参照サンプルの復元値、Ａ３サンプルの上側に隣接するＲ２参照サンプルの復元値、及びＡ３サンプルの左上側に隣接するＲ３参照サンプルの復元値に基づいて予測されもする。
参照サンプル１８１０が利用可能ではない場合、予測部１６２０，１７２０は、参照サンプルパディングを行うことができる。例えば、予測部１６２０，１７２０は、利用可能ではない参照サンプルに最も近い利用可能な参照サンプルを利用して、利用可能ではない参照サンプルを充填することができる。他の例として、全ての参照サンプルが利用可能ではない場合、予測部１６２０，１７２０は、表現可能な明るさ値範囲の中間値で、全ての参照サンプルを充填することができる。さらに他の例として、予測部１６２０，１７２０は、数式（２）に基づいて、参照サンプルパディングを行うことができる。
数式（２）でｐＳｒｃ［ｉ，ｊ］は、現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれるサンプルを意味する。ｐＤｅｓｔ［ｉ，−１］は、現在ブロック１８００の上側に隣接する参照サンプルを意味し、ｐＤｅｓｔ［−１，ｊ］は、現在ブロック１８００の左側に隣接する参照サンプルを意味し、ｐＤｅｓｔ［−１，−１］は、現在ブロック１８００の左上側に隣接する参照サンプルを意味する。例えば、Ｒ１参照サンプル、Ｒ２参照サンプル及びＲ３参照サンプルは、それぞれｐＤｅｓｔ［−１，０］、ｐＤｅｓｔ［０，−１］及びｐＤｅｓｔ［−１，−１］に該当する。また、ｆ［ｍ］は、フィルタ関数に該当し、ｍは、フィルタ係数を指示するインデックスに該当する。従って、現在ブロック１８００の参照サンプル１８１０は、以前ブロックに含まれる少なくとも１つのサンプルの復元値をフィルタリングして充填される。ｆ［ｍ］フィルタ関数の特性は、映像の特性に基づいて異なり、例えば、ｆ［ｍ］フィルタ関数は、ローパスフィルタ、ハイパスフィルタ、バンドフィルタなどに該当する。また、Ｒ３参照サンプルは、Ｒ３参照サンプルに最も近いＲ１参照サンプル及びＲ２参照サンプルの平均値でも充填される。
同じブロック内において、すでに予測されたサンプルに基づいて、現在サンプルを予測すれば、符号化／復号装置及びその方法は、現在サンプルの位置によって、適応的な予測を行い、符号化／復号の性能が向上する。
図１８Ｂは、現在ブロック内において、すでに予測されたサンプルに基づいて、現在サンプルを予測する他のサンプル単位予測の動作を図示している。
予測部１６２０，１７２０は、映像から分割された現在ブロック１８００において、現在サンプルＣに隣接し、現在サンプルＣより先に予測されたサンプルＡ１，Ａ２，Ａ３，Ａ８のうち少なくとも一つに基づいて、現在サンプルＣを予測することができる。
現在サンプルの隣接サンプルのうち現在サンプルＣを予測するために利用される少なくとも１つの隣接サンプルは、現在ブロック１８００の予測方向、及び現在ブロック１８００において、現在サンプルＣの位置によっても異なる。例えば、図１８Ｂに図示されているように、予測が現在ブロック１８００の左上側から右下側に進めば、現在サンプルＣは、現在サンプルＣの左側に隣接するＡ１サンプルの予測値、現在サンプルＣの上側に隣接するＡ２サンプルの予測値、現在サンプルＣの左上側に隣接するＡ３サンプルの予測値、及び現在サンプルＣの右上側に隣接するＡ８サンプルの予測値に基づいて予測されもする。具体的には、予測部１６２０，１７２０は、数式（３）に基づいて、現在サンプルＣの予測値を獲得することができる。
数式（３）でｐＤｅｓｔ［ｉ，ｊ］は、現在ブロック内において、ｉ行ｊ列サンプルを意味する。例えば、図１８Ｂの現在サンプルＣ、Ａ１サンプル、Ａ２サンプル、Ａ３サンプル及びＡ８サンプルは、それぞれｐＤｅｓｔ［１，１］、ｐＤｅｓｔ［０，１］、ｐＤｅｓｔ［１，０］、ｐＤｅｓｔ［０，０］、ｐＤｅｓｔ［０，２］に該当する。ｗＬ、ｗＡ、ｗＡＬ１、及びｗＡＬ２は、現在サンプルを予測するために利用される隣接サンプルに適用される加重値を意味する。前記加重値については、以下、図２１、図２２及び図２３を参照して詳細に説明する。また、shift及びoffsetは、前記加重値を補償するためのパラメータに該当する。Ｈは、現在ブロック１８００の高さを意味して、Ｗは、現在ブロック１８００の幅を意味する。
現在サンプルが現在ブロック１８００の境界に位置する場合、現在サンプルを予測するために利用されるサンプルは、現在ブロック１８００の参照サンプル１８１０にもなる。参照サンプル１８１０は、現在ブロック１８００より先に復元された少なくとも１つの以前ブロックに含まれる復元サンプルを含んでもよい。また、参照サンプル１８１０は、現在ブロック１８００の境界に隣接することができる。例えば、図１８Ａに図示されているように、予測が現在ブロック１８００の左上側から右下側に進めば、Ａ３サンプルは、Ａ３サンプルの左側に隣接するＲ１参照サンプルの復元値、Ａ３サンプルの上側に隣接するＲ２参照サンプルの復元値、Ａ３サンプルの左上側に隣接するＲ３参照サンプルの復元値、及びＡ３サンプルの右上側に隣接するＲ４参照サンプルの復元値に基づいて予測されもする。
図１９は、現在サンプルを予測するために利用される隣接サンプルを図示している。
前述のように、現在サンプルＣは、現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８のうち少なくとも一つを利用して予測されもする。現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８とは、現在サンプルＣに対して横方向に隣接するサンプルＡ１，Ａ４、現在サンプルＣに対して縦方向に隣接するサンプルＡ２，Ａ５のように、現在サンプルＣに最も近いサンプルを含んでもよい。また、現在サンプルＣの隣接サンプルは、現在サンプルＣに対して左上側に隣接するサンプルＡ３、右下側に隣接するサンプルＡ６、左下側に隣接するサンプルＡ７、及び右上側に隣接するサンプルＡ８のように、現在サンプルＣに対して対角線方向に隣接するサンプルを含んでもよい。
予測部１６２０，１７２０は、現在サンプルＣの位置に基づいて、現在ブロック１８００内のサンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８、及び現在ブロック１８００外の現在ブロック１８００の参照サンプル１９５０のうち、現在サンプルＣを予測するための少なくとも１つのサンプルを決定することができる。例えば、図１９に図示されているように、現在ブロック１８００内のサンプルＣが４Ｘ４サイズの現在ブロック１８００の境界に位置しない場合、予測部１６２０，１７２０は、現在ブロック１８００内に位置する左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３、右側隣接サンプルＡ４、下側隣接サンプルＡ５、右下側隣接サンプルＡ６、左下側隣接サンプルＡ７及び右上側隣接サンプルＡ８のうち、現在サンプルＣを予測するための少なくとも１つの隣接サンプルを決定することができる。他の例として、現在サンプルＣが、Ａ３サンプルのように、現在ブロック１８００の境界に位置する場合、予測部１６２０，１７２０は、現在ブロック１８００の参照サンプル１９５０のうち、現在サンプルＣを予測するための少なくとも１つの隣接サンプルを決定することができる。参照サンプルを利用した予測については、以下、図２３ないし図２６を参照して詳細に説明する。
予測部１６２０，１７２０は、現在ブロック１８００内の予測順序に基づいて、現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８のうち現在サンプルＣを予測するための少なくとも１つの隣接サンプルを決定することができる。現在サンプルＣの予測順序より予測順序が先立つサンプルを利用して、現在サンプルＣが予測されるために、現在サンプル予測に利用される隣接サンプルは、現在ブロック内の予測順序によっても異なる
例えば、４ｘ４サイズの現在ブロック１８００において、最上側行（ｉ＝０）から最下側行（ｉ＝３）まで順に水平方向予測１９１０が行われる場合、現在サンプルＣの左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３及び右上側隣接サンプルＡ８のうち少なくとも一つが、現在サンプルＣを予測するために利用される。
他の例として、４ｘ４サイズの現在ブロック１８００において、最左側列（ｊ＝０）から最右側列（ｊ＝３）まで順に垂直方向予測１９２０が行われる場合、現在サンプルＣの左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３及び左下側隣接サンプルＡ７のうち少なくとも一つが、現在サンプルＣを予測するために利用される。
他の例として、４ｘ４サイズの現在ブロック１８００において、最左上側サンプルＡ３から最右下側サンプルＥまで順に左下側対角線方向予測１９３０が行われる場合、現在サンプルＣの左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３及び右上側隣接サンプルＡ８のうち少なくとも一つが、現在サンプルＣを予測するために利用される。
さらに他の例として、４ｘ４サイズの現在ブロック１８００において、最右下側サンプルＳから最左上側サンプルＡ３まで順に右上側対角線方向予測１９３０が行われる場合、現在サンプルの右側隣接サンプルＡ４、下側隣接サンプルＡ５、右下側隣接サンプルＡ６及び左下側隣接サンプルＡ７のうち少なくとも一つが、現在サンプルＣを予測するために利用される。
現在ブロック１８００の予測方向は、図１９の水平方向予測１９１０、垂直方向予測１９２０、左下側対角線方向予測１９３０、右上側対角線方向予測１９４０に限定されるものではなく、現在サンプルＣを予測するために利用されるサンプルも、現在ブロック１８００内のサンプルＣの位置現在ブロック１８００の現在ブロック１８００の予測方向に基づいても異なる。
図２０は、隣接サンプルに適用される加重値を図示している。
予測部１６２０，１７２０は、隣接サンプルに対して加重値が適用された値を利用して、現在サンプルＣを予測することができる。
予測部１６２０，１７２０は、現在サンプルＣの隣接サンプルに対して既設定加重値を適用し、現在サンプルを予測することができる。例えば、予測部１６２０，１７２０は、現在サンプルＣに横方向に隣接するサンプル、及び現在サンプルＣに縦方向に隣接するサンプルに同一加重値を適用し、現在サンプルＣを予測することができる。
予測部１６２０，１７２０は、現在サンプルＣの隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、前記隣接サンプルに適用される加重値を決定することができる。現在サンプルＣに横方向に隣接するサンプルに適用される加重値と、現在サンプルＣに縦方向に隣接するサンプルに適用される加重値は、互いに独立している。予測部１６２０，１７２０は、現在ブロック１８００内の縦方向グラジエント（gradient）を獲得し、獲得された縦方向グラジエントに基づいて、現在サンプルＣに横方向に隣接するサンプルに適用される加重値を決定することができる。ここで、現在ブロック１８００の縦方向グラジエントは、現在ブロック１８００内のサンプルが縦方向に一貫性を有するか否かということを数値化した指数を意味する。例えば、予測部１６２０，１７２０は、現在ブロック１８００内において、縦方向に互いに隣接するサンプルの差値を利用して、現在ブロック１８００内の縦方向グラジエントを獲得することができる。予測部１６２０，１７２０は、現在ブロック１８００内の横方向グラジエント獲得し、獲得された横方向グラジエントに基づいて、現在サンプルＣに縦方向に隣接するサンプルに適用される加重値を決定することができる。ここで、現在ブロック１８００の横方向グラジエントは、現在ブロック１８００内のサンプルが横方向に一貫性を有するか否かということを数値化した指数を意味する。例えば、予測部１６２０，１７２０は、現在ブロック１８００内において、横方向に互いに隣接するサンプルの差値を利用して、現在ブロック１８００内の横方向グラジエントを獲得することができる。現在ブロック１８００の縦方向グラジエント及び横方向グラジエントについては、以下、図２１ないし図２２を参照して詳細に説明する。
例えば、現在ブロック１８００に対して、水平方向予測１９１０、垂直方向予測１９２０または左下側対角線方向予測１９３０が行われる場合、予測部１６２０，１７２０は、現在サンプルＣの左側隣接サンプルＡ１に対して、第１加重値ｗＡ（Ｃ）が適用された値、現在サンプルＣの上側隣接サンプルＡ２に対して、第２加重値ｗＬ（Ｃ）が適用された値、及び左上側サンプルＡ３に対して、第３加重値ｗＡＬ（Ｃ）が適用された値のうち少なくとも一つを利用して、現在サンプルＣを予測することができる。
予測部１６２０，１７２０は、既設定の第１加重値ｗＡ（Ｃ）、第２加重値ｗＬ（Ｃ）及び第３加重値ｗＡＬ（Ｃ）を利用して、現在サンプルＣを予測することができる。例えば、予測部１６２０，１７２０は、数式（１）の第１加重値ｗＡ（Ｃ）、第２加重値ｗＬ（Ｃ）及び第３加重値ｗＡＬ（Ｃ）を、数式（４）に基づいて設定することができる。
数式（４）でshiftは、数式（１）のshiftと同一であり、現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３に適用された加重値を補償するためのパラメータにもなる。具体的には、予測部１６２０，１７２０は、第１加重値ｗＡ（Ｃ）及び第２加重値ｗＬ（Ｃ）を同一値に既設定し、第３加重値ｗＡＬ（Ｃ）を、第１加重値ｗＬ（Ｃ）、第２加重値ｗＡ（Ｃ）及び加重値補償パラメータ（shift）に基づいて設定することができる。
予測部１６２０，１７２０は、現在サンプルＣの隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、第１加重値ｗＡ（Ｃ）、第２加重値ｗＬ（Ｃ）、第３加重値ｗＡＬ（Ｃ）を設定することができる。例えば、予測部１６２０，１７２０は、数式（５）の第１加重値ｗＡ（Ｃ）、第２加重値ｗＬ（Ｃ）及び第３加重値ｗＡＬ（Ｃ）を、数式（５）に基づいて設定することができる。
具体的には、予測部１６２０，１７２０は、現在サンプルＣの左側隣接サンプルＡ１に対して適用される第１加重値ｗＡ（Ｃ）を、現在サンプルＣの左側隣接サンプルＡ１、及び現在サンプルＣの左上側隣接サンプルＡ３の縦方向グラジエントに基づいて決定することができる。現在ブロック１８００の縦方向グラジエント値が高いほど、現在ブロック１８００内のサンプルの縦方向一貫性が小さくなるので、横方向加重値である第１加重値ｗＡ（Ｃ）の値が大きくなる。また、予測部１６２０，１７２０は、現在サンプルＣの上側サンプルＡ２に対して適用される第２加重値ｗＬ（Ｃ）を、現在サンプルＣの上側隣接サンプルＡ２、及び現在サンプルＣの左上側隣接サンプルＡ３の横方向グラジエントに基づいて決定することができる。現在ブロック１８００の横方向グラジエント値が高いほど、現在ブロック１８００内のサンプルの横方向一貫性が小さくなるので、縦方向加重値である第２加重値ｗＬ（Ｃ）の値が大きくなる。数式（５）でshiftは、数式（１）のshiftと同一であり、現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３に適用された加重値を補償するためのパラメータにもなる。また、予測部１６２０，１７２０は、第３加重値ｗＡＬ（Ｃ）を、第１加重値ｗＬ（Ｃ）、第２加重値ｗＡ（Ｃ）及び加重値補償パラメータ（shift）に基づいて設定することができる。
数式（３）のように、現在サンプルＣを予測するために、現在サンプルＣに対して、対角線方向に隣接する複数個の対角線隣接サンプルＡ３，Ａ８が利用される場合、予測部１６２０，１７２０は、同一加重値を、対角線隣接サンプルＡ３，Ａ８に適用することができる。例えば、現在サンプルＣに対して左上側対角線方向に隣接するＡ３サンプルに適用されるｗＡＬ１加重値と、現在サンプルＣに対して右上側対角線方向に隣接するＡ８サンプルに適用されるｗＡＬ２加重値は、同一値に設定されもする。
図２１は、現在サンプルに対して横方向に隣接するサンプルに適用される第１加重値を図示している。
第１加重値ｗＡ（Ｃ）は、現在ブロック１８００内において、現在サンプルＣより先に予測され、現在サンプルＣに対して横方向に隣接するサンプルＡ１と、現在ブロック１８００内で現在サンプルＣより先に予測され、現在サンプルに対して対角線方向に隣接するサンプルＡ３との差分値に比例する。
例えば、図１８Ａに図示されているように、予測が現在ブロック１８００の左上側から右下側に進めば、予測部１６２０，１７２０は、現在サンプルＣの左側隣接サンプルＡ１、及び現在サンプルＣの左上側隣接サンプルＡ３に基づいて、縦方向グラジエントを獲得し、獲得された縦方向グラジエントに基づいて、現在サンプルＣの左側隣接サンプルＡ１に適用される第１加重値ｗＡ（Ｃ）を獲得することができる。現在ブロック１８００の縦方向グラジエントが増大するほど、第１加重値ｗＡ（Ｃ）は、増加する。
現在ブロック１８００の縦方向グラジエントは、現在ブロック１８００の予測方向によっても異なる。具体的には、現在ブロック１８００内において、現在サンプルＣより先に予測されたサンプルを利用して、現在ブロック１８００の縦方向グラジエントが獲得されもする。例えば、現在ブロック１８００の予測方向によって、縦方向グラジエントは、現在サンプルＣの左側隣接サンプルＡ１と、左上側隣接サンプルＡ３との差、左側隣接サンプルＡ１と、左下側隣接サンプルＡ７との差、上側隣接サンプルＡ２と、下側隣接サンプルＡ５との差、右側隣接サンプルＡ４と、右上側隣接サンプルＡ８との差、または右側隣接サンプルＡ４と、右下側隣接サンプルＡ６との差の値にもなる。
図２２は、現在サンプルに対して縦方向に隣接するサンプルに適用される第２加重値を図示している。
第２加重値ｗＬ（Ｃ）は、現在ブロック１８００内において、現在サンプルＣより先に予測され、現在サンプルＣに対して縦方向に隣接するサンプルＡ２と、現在ブロック１８００内において、現在サンプルＣより先に予測され、現在サンプルに対して対角線方向に隣接するサンプルＡ３との差分値に比例する。
例えば、図１８Ａに図示されているように、予測が現在ブロック１８００の左上側から右下側に進めば、予測部１６２０，１７２０は、現在サンプルＣの上側隣接サンプルＡ２、及び現在サンプルＣの左上側隣接サンプルＡ３に基づいて、横方向グラジエントを獲得し、獲得された横方向グラジエントに基づいて、現在サンプルＣの上側隣接サンプルＡ２に適用される第２加重値ｗＬ（Ｃ）を獲得することができる。現在ブロック１８００の横方向グラジエントが増大するほど、第２加重値ｗＬ（Ｃ）は、増加する。
現在ブロック１８００の横方向グラジエントは、現在ブロック１８００の予測方向によっても異なる。具体的には、現在ブロック１８００内において、現在サンプルＣより先に予測されたサンプルを利用して、現在ブロック１８００の横方向グラジエントが獲得されもする。例えば、現在ブロック１８００の予測方向によって、横方向グラジエントは、現在サンプルＣの上側隣接サンプルＡ２と、左上側隣接サンプルＡ３との差、上側隣接サンプルＡ２と、右上側隣接サンプルＡ８との差、左側隣接サンプルＡ１と、右側隣接サンプルＡ４との差、左下側隣接サンプルＡ７と、下側隣接サンプルＡ５との差、または下側隣接サンプルＡ５と、右下側隣接サンプルＡ６との差の値にもなる。
図２３は、現在ブロックの垂直境界に位置するサンプルを予測する動作を図示している。
現在ブロック１８００の垂直境界２３１０に位置するサンプルは、現在ブロック１８００の垂直境界２３１０に隣接する少なくとも１つの参照サンプル２３１０を利用して予測されもする。具体的には、現在ブロック１８００の垂直境界２３１０に位置するサンプルは、前記サンプルに対して横方向に隣接する現在ブロック１８００外の少なくとも１つの参照サンプル２３１０に加重値が適用された値を利用して予測されもする。
例えば、現在サンプルＣの左側隣接サンプルＡ１（以下、Ａ１サンプルとする）が現在ブロック１８００の左側垂直境界２３１０に位置する場合、Ａ１サンプルは、Ａ１サンプルに対して横方向に隣接する現在ブロック１８００外の第１参照サンプルＲ１（以下、Ｒ１サンプルとする）に第４加重値ｗＡ（Ａ１）が適用された値、及び現在サンプルＣの上側隣接サンプルＡ３（以下、Ａ３サンプルとする）に対して、第５加重値ｗＬ（Ａ１）が適用された値のうち少なくとも一つを利用して予測されもする。
ここで、第４加重値ｗＡ（Ａ１）は、現在ブロック１８００の縦方向グラジエントに基づいて獲得されもする。例えば、第４加重値ｗＡ（Ａ１）は、Ａ１サンプルに対して左上側に隣接する現在ブロック１８００外の第２参照サンプルＲ２（以下、Ｒ２サンプルとする）とＲ１サンプルとの差値に比例する。
また、第５加重値ｗＬ（Ａ１）は、現在ブロック１８００の横方向グラジエントに基づいて獲得されもする。例えば、第５加重値ｗＬ（Ａ１）は、Ａ３サンプルとＲ２サンプルとの差値に比例する。
また、予測部１６２０，１７２０は、第４加重値ｗＡ（Ａ１）及び第５加重値ｗＬ（Ａ１）に基づいて、第６加重値ｗＡＬ（Ａ１）を決定し、Ｒ２サンプルに第６加重値ｗＡＬ（Ａ１）が適用された値を利用して、Ａ１サンプルを予測することができる。
図２４は、現在ブロックの水平境界に位置するサンプルを予測する動作を図示している。
現在ブロック１８００の水平境界２４２０に位置するサンプルは、現在ブロック１８００の水平境界２４２０に隣接する少なくとも１つの参照サンプル２４１０を利用して予測されもする。具体的には、現在ブロック１８００の水平境界２４２０に位置するサンプルは、前記サンプルに対して縦方向に隣接する現在ブロック１８００外の少なくとも１つの参照サンプル２４１０に加重値が適用された値を利用して予測されもする。
例えば、現在サンプルＣの上側隣接サンプルＡ２（以下、Ａ２サンプルとする）が、現在ブロック１８００の上側水平境界２４２０に位置する場合、Ａ２サンプルは、Ａ２サンプルに対して縦方向に隣接する現在ブロック１８００外の第１参照サンプルＲ１（以下、Ｒ１サンプルとする）に第４加重値ｗＡ（Ａ２）が適用された値、及び現在サンプルＣの左上側隣接サンプルＡ３（以下、Ａ３サンプルとする）に対して、第５加重値ｗＬ（Ａ２）が適用された値のうち少なくとも一つを利用して予測されもする。
ここで、第４加重値ｗＡ（Ａ２）は、現在ブロック１８００の縦方向グラジエントに基づいて獲得されもする。例えば、第４加重値ｗＡ（Ａ２）は、Ａ２サンプルに対して左上側に隣接する現在ブロック１８００外の第２参照サンプルＲ２（以下、Ｒ２サンプルとする）と、Ｒ１サンプルとの差値に比例する。
また、第５加重値ｗＬ（Ａ２）は、現在ブロック１８００の横方向グラジエントに基づいて獲得されもする。例えば、第５加重値ｗＬ（Ａ２）は、Ｒ１サンプルとＲ２サンプルとの差値に比例する。
また、予測部１６２０，１７２０は、第４加重値ｗＡ（Ａ２）及び第５加重値ｗＬ（Ａ２）に基づいて、第６加重値ｗＡＬ（Ａ２）を決定し、Ｒ２サンプルに第６加重値ｗＡＬ（２Ａ）が適用された値を利用して、Ａ２サンプルを予測することができる。
図２５は、現在ブロックのエッジに位置するサンプルを予測する動作を図示している。
現在ブロック１８００のエッジに位置するサンプルは、現在ブロック１８００の水平境界２４２０または垂直境界２３１０に隣接する少なくとも１つの参照サンプル２５１０を利用して予測されもする。具体的には、現在ブロック１８００のエッジに位置するサンプルは、前記サンプルに対して縦方向に隣接するか、あるいは横方向に隣接する現在ブロック１８００外の少なくとも１つの参照サンプル２５１０に加重値が適用された値を利用して予測されもする。
例えば、現在サンプルＣの左上側隣接サンプルＡ３（以下、Ａ３サンプルとする）が、現在ブロック１８００の上側水平境界２４２０及び左側垂直境界２３１０が出合うエッジに位置する場合、Ａ３サンプルは、Ａ３サンプルに対して横方向に隣接する現在ブロック１８００外の第１参照サンプルＲ１（以下、Ｒ１サンプルとする）に対して、第４加重値ｗＡ（Ａ３）が適用された値、及びＡ３サンプルに対して縦方向に隣接する現在ブロック１８００外の第２参照サンプルＲ２（以下、Ｒ２サンプルとする）に対して、第５加重値ｗＬ（Ａ３）が適用された値のうち少なくとも一つを利用して予測されもする。
ここで、第４加重値ｗＡ（Ａ３）は、現在ブロック１８００の縦方向グラジエントに基づいて獲得されもする。例えば、第４加重値ｗＡ（Ａ３）は、Ａ３サンプルに対して左上側に隣接する現在ブロック１８００外の第３参照サンプルＲ３（以下、Ｒ３サンプルとする）とＲ１サンプルとの差値に比例する。
また、第５加重値ｗＬ（Ａ３）は、現在ブロック１８００の横方向グラジエントに基づいて獲得されもする。例えば、第５加重値ｗＬ（Ａ３）は、Ｒ１サンプルとＲ３サンプルとの差値に比例する。
また、予測部１６２０，１７２０は、第４加重値ｗＡ（Ａ３）及び第５加重値ｗＬ（Ａ３）に基づいて第６加重値ｗＡＬ（Ａ３）を決定し、Ｒ３サンプルに第６加重値ｗＡＬ（Ａ）が適用された値を利用して、Ａ３サンプルを予測することができる。
図２６は、参照サンプルパディングを行う動作を図示している。
図１８Ａを介して説明したように、参照サンプルが利用可能ではない場合、予測部１６２０，１７２０は、参照サンプルパディングを行うことができる。例えば、現在ブロック１８００の上側水平境界２４２０及び左側垂直境界２３１０が出合うエッジに隣接するＲ３参照サンプル（以下、Ｒ３参照サンプルとする）が利用可能ではない場合、Ｒ３参照サンプルは、Ｒ３参照サンプルに最も近いＲ１参照サンプル及びＲ２参照サンプルの平均値で充填される。
図２７は、すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うことができるビデオ符号化方法のフローチャートを図示している。
２７１０段階において、ビデオ符号化方法２７００は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。ブロックのタイプは、正方形単位または長方形単位に制限されるものではない。２７１０段階の動作は、ビデオ符号化装置１６００の分割部１６１０によっても遂行される。
２７２０段階において、ビデオ符号化方法２７００は、映像から分割された現在ブロック内において、現在サンプルより先に予測された少なくとも１つのサンプルを利用して、現在サンプルの予測値を獲得する。具体的には、現在ブロック内において、現在サンプルより先に予測され、現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び現在サンプルより先に予測され、現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用して、現在サンプルが予測されもする。２７２０段階の動作は、ビデオ符号化装置１６００の予測部１６２０によって遂行されもする。
２７３０段階において、ビデオ符号化方法２７００は、現在サンプルのレジデュアル値を符号化する。具体的には、ビデオ符号化方法２７００は、現在サンプルの原本値と、２７３０段階で獲得された現在サンプルの予測値とのレジデュアル値を獲得し、現在サンプルのレジデュアル値を変換し、変換されたレジデュアル値をエントロピー符号化し、エントロピー符号化されたレジデュアル値をビットストリームとして出力することができる。２７３０段階の動作は、ビデオ符号化装置１６００の符号化部１６３０によって遂行されもする。
図２８は、すでに予測された隣接サンプルに基づいて、サンプル単位予測を行うことができるビデオ復号方法のフローチャートを図示している。
２８１０段階において、ビデオ復号方法２８００は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。ブロックのタイプは、正方形単位または長方形単位に制限されるものではない。２８１０段階の動作は、ビデオ復号装置１７００の分割部１７１０によって遂行されもする。
２８２０段階において、ビデオ復号方法２８００は、映像から分割された現在ブロック内において、現在サンプルより先に予測された少なくとも１つのサンプルを利用して、現在サンプルの予測値を獲得する。具体的には、現在ブロック内において、現在サンプルより先に予測され、現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び現在サンプルより先に予測され、現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用して、現在サンプルが予測されもする。２８２０段階の動作は、ビデオ復号装置１７００の予測部１７２０によって遂行されもする。
２８３０段階において、ビデオ復号方法２８００は、映像を復号する。具体的には、ビデオ復号方法は、ビットストリームから獲得された現在サンプルのレジデュアル値と、２８２０段階で獲得された現在サンプルの予測値とを利用し、映像を復元することができる。２８３０段階の動作は、ビデオ復号装置１７００の復号部１７３０によって遂行されもする。
図２９は、すでに復元されたサンプルに基づいて、サンプル単位予測を行うことができるビデオ符号化装置のブロック図を図示している。
ビデオ符号化装置２９００は、分割部２９１０、候補選択部２９２０、予測部２９３０及び符号化部２９４０を含んでもよい。ビデオ符号化装置２９００は、分割部２９１０、候補選択部２９２０、予測部２９３０及び符号化部２９４０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、分割部２９１０、候補選択部２９２０、予測部２９３０及び符号化部２９４０は、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置２９００が全体的に作動することもできる。または、ビデオ符号化装置２９００の外部プロセッサ（図示せず）の制御によって、分割部２９１０、候補選択部２９２０、予測部２９３０及び符号化部２９４０が制御されもする。
ビデオ符号化装置２９００は、分割部２９１０、候補選択部２９２０、予測部２９３０及び符号化部２９４０の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置２９００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
ビデオ符号化装置２９００は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、予測を含んだビデオ符号化動作を遂行することができる。ビデオ符号化装置２９００の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、ビデオ符号化装置２９００、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
ビデオ符号化装置２９００は、図１のビデオ符号化装置１００に含まれてもよい。具体的には、分割部２９１０は、最大符号化単位分割部１１０及び符号化単位決定部１２０に含まれてもよく、候補選択部２９２０及び予測部２９３０は、イントラ予測部４２０に含まれてもよく、符号化部２９４０は、変換部４２５、量子化部１３０及びエントロピー符号化部４３５に含まれてもよい。従って、図１及び図４と重複する説明は省略する。
分割部２９１０は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。
ブロックのタイプは、正方形単位または長方形単位に制限されるものではない。
候補選択部２９２０は、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択する。また、候補選択部２９２０は、現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち現在サンプルの隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択することができる。
予測部２９３０は、候補選択部２９２０によって選択された第１候補サンプルを利用して、現在サンプルの予測値を獲得する。具体的には、予測部２９３０は、現在ブロックより先に復元された以前ブロックに含まれる第１候補サンプルの復元値を利用して、現在サンプルの予測値を獲得することができる。
符号化部２９４０は、現在サンプルのレジデュアル値を符号化する。具体的には、符号化部２９４０は、現在サンプルの原本値と、予測部２９３０で獲得された現在サンプルの予測値とのレジデュアル値を獲得し、現在サンプルのレジデュアル値を変換し、変換されたレジデュアル値をエントロピー符号化し、エントロピー符号化されたレジデュアル値をビットストリームとして出力することができる。
図３０は、すでに復元されたサンプルに基づいて、サンプル単位予測を行うことができるビデオ復号装置のブロック図を図示している。
ビデオ復号装置３０００は、分割部３０１０、候補選択部３０２０、予測部３０３０及び復号部３０４０を含んでもよい。ビデオ復号装置３０００は、分割部３０１０、候補選択部３０２０、予測部３０３０及び復号部３０４０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、分割部３０１０、候補選択部３０２０、予測部３０３０及び復号部３０４０は、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号装置３０００が全体的に作動することもできる。または、ビデオ復号装置３０００の外部プロセッサ（図示せず）の制御によって、分割部３０１０、候補選択部３０２０、予測部３０３０及び復号部３０４０が制御されもする。
ビデオ復号装置３０００は、分割部３０１０、候補選択部３０２０、予測部３０３０及び復号部３０４０の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号装置３０００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
ビデオ復号装置３０００は、ビデオ復号結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、予測を含んだビデオ復号動作を遂行することができる。ビデオ復号装置３０００の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ復号動作を具現することができる。また、ビデオ復号装置３０００、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号動作を具現する場合も可能である。
ビデオ復号装置３０００が、図２のビデオ復号装置２００に含まれてもよい。具体的には、分割部３０１０は、受信部２１０に含まれてもよく、予測部３０３０、候補選択部３０２０及び復号部３０４０は、映像データ復号部２３０に含まれてもよい。従って、図２と重複する説明は省略する。
分割部３０１０は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。
ブロックのタイプは、正方形単位または長方形単位に制限されるものではない。
候補選択部３０２０は、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択する。また、候補選択部３０２０は、現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち現在サンプルの隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択することができる。
予測部３０３０は、候補選択部３０２０によって選択された第１候補サンプルを利用して、現在サンプルの予測値を獲得する。具体的には、予測部３０３０は、現在ブロックより先に復元された以前ブロックに含まれる第１候補サンプルの復元値を利用して、現在サンプルの予測値を獲得することができる。
復号部３０４０は、映像を復号する。具体的には、復号部３０４０は、ビットストリームから獲得された現在サンプルのレジデュアル値と、予測部３０３０で獲得された現在サンプルの予測値とを利用して映像を復元することができる。
図３１は、すでに復元されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の動作を図示している。
候補選択部２９２０，３０２０は、映像から分割された現在ブロック３１００内において、現在サンプルＣより先に予測され、現在サンプルＣに隣接する少なくとも１つの隣接サンプルＡを選択することができる。
現在サンプルＣの隣接サンプルのうち現在サンプルＣを予測するために選択される少なくとも１つの隣接サンプルは、現在ブロック３１００の予測方向によっても異なる。例えば、８Ｘ８サイズの現在ブロック３１００において、最上側行（ｉ＝０）から最下側行（ｉ＝７）まで順に水平方向予測３１１０が行われる場合、現在サンプルＣの隣接サンプルのうち現在サンプルＣの左側隣接サンプルＡが、現在サンプルＣを予測するためのサンプルに選択されもする。
候補選択部２９２０，３０２０は、現在ブロック３１００より先に復元された少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれる候補サンプルＣ１，Ｃ２，Ｃ３のうち、隣接サンプルＡと最も近い値を有する候補隣接サンプルＣ１Ａに隣接する第１候補サンプルＣ１を選択することができる。
符号化装置２９００において、現在サンプルＣの候補サンプルＣ１，Ｃ２，Ｃ３は、現在ブロック３１００より先に復元された少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれる全てのサンプルを含んでもよい。または、符号化装置２９００において、現在サンプルＣの候補サンプルＣ１，Ｃ２，Ｃ３は、現在ブロック３１００より先に復元された少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれるサンプルのうち現在サンプルＣから所定距離内に位置するサンプルを含んでもよい。前記通りは、現在ブロック３１００の大きさ、及び映像内のブロック３１００の位置に基づいて設定されもする。例えば、現在ブロック３１００の大きさが大きいほど、前記距離は、増大し、映像内において、現在ブロック３１００の復号順序が異なるブロックより後にあるほど、前記距離が増大する。
符号化装置２９００の候補選択部２９２０は、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとのコストに基づいて、候補サンプルＣ１，Ｃ２，Ｃ３において、第１候補サンプルＣ１を選択することができる。具体的には、符号化装置２９００の候補選択部２９２０は、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとのコストを計算し、候補サンプルＣ１，Ｃ２，Ｃ３のうち、現在サンプルＣに対して最小コストを有する第１候補サンプルＣ１を選択することができる。ここで、１つの候補サンプルＣ１，Ｃ２，Ｃ３のうち一つと、現在サンプルＣとのコストとは、前記候補サンプルと現在サンプルとの非類似性を数値化した指数を意味する。従って、符号化装置２９００の予測部２９３０は、候補サンプルＣ１，Ｃ２，Ｃ３において、現在サンプルに対して最も低いコストを有し、現在サンプルＣと最も類似した第１候補サンプルＣ１を利用して、現在サンプルＣを予測することができる。
例えば、第１候補サンプルＣ１と現在サンプルＣとのコストは、第１候補サンプルＣ１に隣接する少なくとも１つの候補隣接サンプルＣ１Ａと、現在サンプルＣに隣接する少なくとも１つの隣接サンプルＡとの差に基づいて獲得されもする。第１候補サンプルＣ１の候補隣接サンプルＣ１Ａと、現在サンプルＣの隣接サンプルＡとの差が小さいほど、第１候補サンプルＣ１が現在サンプルＣと類似しているので、第１候補サンプルＣ１と現在サンプルＣとのコストは、小さくもなる。
また、第１候補サンプルＣ１と現在サンプルＣとのコストは、現在サンプルＣと第１候補サンプルＣ１との距離、候補隣接サンプルＣ１Ａが候補サンプルＣ１に隣接する方向、及び隣接サンプルＡが現在サンプルＣに隣接する方向のうち少なくとも一つに基づいて補正されもする。具体的には、第１候補サンプルＣ１と現在サンプルＣとの距離が短いほど、第１候補サンプルＣ１が現在サンプルＣと類似しているので、第１候補サンプルＣ１と現在サンプルＣとのコストは、小さくもなる。一方、第１候補サンプルＣ１と現在サンプルＣとの距離が遠いほど、第１候補サンプルＣ１が現在サンプルＣと非類似であるので、第１候補サンプルＣ１と現在サンプルＣとのコストは、大きくもなる。また、候補隣接サンプルＣ１Ａが第１候補サンプルＣ１に隣接する方向が、隣接サンプルＡが現在サンプルＣに隣接する方向と一致すれば、第１候補サンプルＣ１が現在サンプルＣと類似しているので、第１候補サンプルＣ１と現在サンプルＣとのコストは、小さくもなる。一方、第１候補サンプルＣ１に隣接する方向が、隣接サンプルＡが現在サンプルＣに隣接する方向と一致しなければ、第１候補サンプルＣ１が現在サンプルＣと非類似であるので、第１候補サンプルＣ１と現在サンプルＣとのコストは、大きくもなる。
例えば、１つの候補サンプルと現在サンプルとのコストは、数式（６）に基づいて獲得されもする。
数式（６）でｐTemplateCand［ｙ］とは、映像内のｉｃ行、ｊｃ列に位置する候補サンプルCandidate［ｉｃ，ｊｃ］に隣接する候補隣接サンプルを意味する。候補隣接サンプルは、候補サンプルのように、現在ブロック３１００より先に復号された少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれてもよい。候補隣接サンプルｐTemplateCand［ｙ］のインデックスｙは、候補隣接サンプルが候補サンプルに対して隣接する方向を意味する。例えば、ｙ＝１であるとき、候補隣接サンプルは、候補サンプルの左側に隣接し、ｙ＝２であるとき、候補隣接サンプルは、候補サンプルの上側に隣接し、ｙ＝３であるとき、候補隣接サンプルは、候補サンプルの左上側に隣接することができる。例えば、図３１のように、Ｃ１候補サンプルの左側候補隣接サンプルＣ１Ａのｙインデックスは、１にもなり、Ｃ２候補サンプルの上側候補隣接サンプルＣ２Ａのｙインデックスは、２にもなり、Ｃ３候補サンプルの左上側候補隣接サンプルＣ３Ａのｙインデックスは、３にもなる。
数式（６）で、ｐTemplate［ｘ］とは、映像内のｉｐ行、ｊｐ列に位置する現在サンプルＰｒｅｄ［ｉｐ，ｊｐ］に隣接する候補サンプルを意味する。隣接サンプルｐTemplate［ｘ］のインデックスｘは、隣接サンプルが現在サンプルに対して隣接する方向を意味する。例えば、ｘ＝１であるとき、隣接サンプルは、現在サンプルの左側に隣接し、ｘ＝２であるとき、隣接サンプルは、現在サンプルの上側に隣接し、ｘ＝３であるとき、隣接サンプルは、現在サンプルの左上側に隣接することができる。例えば、図３１のように、現在サンプルＣの左側隣接サンプルＡのｘインデックスは、１にもなる。
符号化装置２９００は、復号装置３０００の演算量を減らすために、符号化装置２９００は、復号装置３０００に候補サンプルに係わる情報を伝送することができる。
例えば、符号化装置２９００は、少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれたサンプルのうち現在サンプルＣに対して最小のコストを有する第１候補サンプルＣ１を指示する情報を符号化し、復号装置３０００に伝送することができる。符号化装置２９００が復号装置３０００に、第１候補サンプルＣ１を指示する情報を伝送する場合、復号装置３０００の候補選択部３０２０は、現在サンプルＣに係わる候補サンプルＣ１，Ｃ２，Ｃ３のコストを計算する必要なく、受信された情報に基づいて、候補サンプルＣ１，Ｃ２，Ｃ３のうち第１候補サンプルＣ１を選択することができる。また、復号装置３０００の予測部３０３０は、第１候補サンプルＣ１の復元値を利用して、現在サンプルＣの予測値を獲得することができる。
他の例として、符号化装置２９００は、少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれたサンプルのうち、現在サンプルＣに対して、臨界値以下のコストを有する候補サンプルＣ１，Ｃ２，Ｃ３を指示する候補サンプルリストを符号化し、復号装置３０００に伝送することができる。符号化装置２９００が、復号装置３０００に候補サンプルリストを伝送する場合、復号装置３０００の候補選択部３０２０は、候補サンプルリストに含まれた候補サンプルＣ１，Ｃ２，Ｃ３のうち第１候補サンプルＣ１を選択することができる。具体的には、復号装置３０００の候補選択部３０２０は、候補サンプルリストに含まれた候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣに対して最小コストを有する第１候補サンプルＣ１を選択することができる。また、復号装置３０００の予測部３０３０は、選択された第１候補サンプルＣ１の復元値を利用して、現在サンプルＣを予測することができる。
さらに他の例として、符号化装置２９００は、少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれたサンプルのうち現在サンプルＣから所定の距離内に位置する候補サンプルＣ１，Ｃ２，Ｃ３を選択するための所定距離符号化し、復号装置３０００に伝送することができる。符号化装置２９００が復号装置３０００に、前記所定距離を伝送する場合、復号装置３０００の候補選択部３０２０は、受信された所定距離に基づいて、少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれたサンプルのうち候補サンプルＣ１，Ｃ２，Ｃ３を選択することができる。また、復号装置３０００の候補選択部３０２０は、現在サンプルＣから、所定距離内に位置する候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣに対して最小コストを有する第１候補サンプルＣ１を選択することができる。また、復号装置３０００の予測部３０３０は、選択された第１候補サンプルＣ１の復元値を利用して、現在サンプルＣを予測することができる。
少なくとも１つの以前ブロック３１２０，３１３０，３１４０に含まれたサンプルのうち現在サンプルＣから所定距離内に位置する候補サンプルＣ１，Ｃ２，Ｃ３を選択するための所定距離が現在ブロック３１００の大きさに基づいて決定される場合、復号装置３０００の候補選択部３０２０は、ビットストリームから獲得された現在ブロック３１００のサイズ情報、または現在ブロック３１００の分割情報に基づいて、候補サンプルＣ１，Ｃ２，Ｃ３を選択することができる。具体的には、復号装置３０００の候補選択部３０２０は、ビットストリームから獲得された現在ブロック３１００のサイズ情報、または現在ブロック３１００の分割情報に基づいて、前記所定距離を獲得することができる。また、復号装置３０００の候補選択部３０２０は、現在サンプルＣから所定距離内に位置する候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣに対して最小コストを有する第１候補サンプルＣ１を選択することができる。また、復号装置３０００の予測部３０３０は、選択された第１候補サンプルＣ１の復元値を利用して、現在サンプルＣを予測することができる。
同じブロック内においてすでに予測されたサンプルに基づいて、現在サンプルを予測すれば、符号化／復号装置及びその方法は、現在サンプルの位置によって、適応的な予測を行うことができ、符号化／復号の性能が向上する。
図３２は、現在サンプルを予測するために利用される隣接サンプルを図示している。
前述のように、候補サンプルのうち第１候補サンプルを選択するために、現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８のうち少なくとも１つの隣接サンプルが選択されもする。現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８とは、現在サンプルＣに対して横方向に隣接するサンプルＡ１，Ａ４、現在サンプルＣに対して縦方向に隣接するサンプルＡ２，Ａ５のように、現在サンプルＣに最も近いサンプルを含んでもよい。また、現在サンプルＣの隣接サンプルは、現在サンプルＣに対して左上側に隣接するサンプルＡ３、右下側に隣接するサンプルＡ６、左下側に隣接するサンプルＡ７、及び右上側に隣接するサンプルＡ８のように、現在サンプルＣに対して対角線方向に隣接するサンプルを含んでもよい。
候補選択部２９２０，３０２０は、現在サンプルＣの位置に基づいて、現在ブロック３２００内のサンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８、及び現在ブロック３２００外の現在ブロック３２００の参照サンプル３２５０のうち現在サンプルＣを予測するための少なくとも１つのサンプルを決定することができる。例えば、図３２に図示されているように、現在ブロック３２００内のサンプルＣが、４Ｘ４サイズの現在ブロック３２００の境界に位置しない場合、候補選択部２９２０，３０２０は、現在ブロック３２００内に位置する左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３、右側隣接サンプルＡ４、下側隣接サンプルＡ５、右下側隣接サンプルＡ６、左下側隣接サンプルＡ７及び右上側隣接サンプルＡ８のうち現在サンプルＣを予測するための少なくとも１つの隣接サンプルを決定することができる。他の例として、現在サンプルＣがＡ３サンプルのように、現在ブロック３２００の境界に位置する場合、候補選択部２９２０，３０２０は、現在ブロック３２００の参照サンプル３２５０のうち現在サンプルＣを予測するための少なくとも１つの隣接サンプルを決定することができる。
候補選択部２９２０，３０２０は、現在ブロック３２００内の予測順序に基づいて、現在サンプルＣの隣接サンプルＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８のうち現在サンプルＣを予測するための少なくとも１つの隣接サンプルを決定することができる。現在サンプルＣの予測順序より予測順序が先立つサンプルを利用して、現在サンプルＣが予測されるために、現在サンプルを予測するために利用される隣接サンプルは、現在ブロック内の予測順序によっても異なる
例えば、４ｘ４サイズの現在ブロック３２００でにおいて、最上側行（ｉ＝０）から最下側行（ｉ＝３）まで順に水平方向予測３２１０が行われる場合、現在サンプルＣの左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３及び右上側隣接サンプルＡ８のうち少なくとも一つが、現在サンプルＣを予測するために利用される。
他の例として、４ｘ４サイズの現在ブロック３２００でにおいて、最左側列（ｊ＝０）から最右側列（ｊ＝３）まで順に垂直方向予測３２２０が行われる場合、現在サンプルＣの左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３及び左下側隣接サンプルＡ７のうち少なくとも一つが、現在サンプルＣを予測するために利用される。
さらに他の例として、４ｘ４サイズの現在ブロック３２３０において、最左上側サンプルＡ３から最右下側サンプルＥまで順に左下側対角線方向予測１９３０が行われる場合、現在サンプルＣの左側隣接サンプルＡ１、上側隣接サンプルＡ２、左上側隣接サンプルＡ３及び右上側隣接サンプルＡ８のうち少なくとも一つが現在サンプルＣを予測するために利用される。
さらに他の例として、４ｘ４サイズの現在ブロック３２４０において、最右下側サンプルＳから最左上側サンプルＡ３まで順に右上側対角線方向予測１９３０が行われる場合、現在サンプルの右側隣接サンプルＡ４、下側隣接サンプルＡ５、右下側隣接サンプルＡ６及び左下側隣接サンプルＡ７のうち少なくとも一つが現在サンプルＣを予測するために利用される。
現在ブロック３２００の予測方向は、図１９の水平方向予測１９１０、垂直方向予測１９２０、左下側対角線方向予測１９３０、右上側対角線方向予測１９４０に限定されるものではなく、現在サンプルＣを予測するために利用されるサンプルも、現在ブロック３２００内のサンプルＣの位置、現在ブロック３２００の現在ブロック３２００の予測方向に基づいても異なる。
図３３は、現在サンプルから所定距離内に位置する候補サンプルを図示している。
候補選択部２９２０，３０２０は、映像から分割された現在ブロック３３００より先に復号された少なくとも１つの以前ブロック３３１０，３３２０，３３３０に含まれるサンプルのうち現在サンプルＣから所定距離ｄ１内に位置する候補サンプルを選択することができる。例えば、現在サンプルＣを中心に、所定距離ｄ１に該当する半径を有する円３３４０に含まれるサンプルが候補サンプルにもなる。
映像内のサンプルのうち候補サンプルを限定するための所定距離ｄ１は、現在ブロック３３００の大きさ、及び映像内のブロック３３００の復号順序に基づいて決定される。例えば、現在ブロック３３００の大きさが大きいほど、さらに多くのい候補サンプルが必要であるので、前記距離ｄ１が増大する。他の例として、映像内において、現在ブロック３３００の復号順序が後になるほど、参照することができるサンプルが多くなるので、前記距離ｄ１が増大する。
図３４は、現在サンプルと候補サンプルとの距離に基づいて、コストを補正する動作を図示している。
候補選択部２９２０，３０２０は、現在サンプルＣに隣接する隣接サンプルＡと、候補サンプルＣ１，Ｃ２，Ｃ３に隣接するそれぞれの候補隣接サンプルＣ１Ａ，Ｃ２Ａ，Ｃ３Ａとの差値、及び現在サンプルＣと、それぞれの候補サンプルＣ１，Ｃ２，Ｃ３との距離に基づいて、候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣを予測するための１候補サンプルＣ１を選択することができる。
具体的には、候補選択部２９２０，３０２０は、候補隣接サンプルＣ１Ａ，Ｃ２Ａ，Ｃ３Ａと隣接サンプルＡとのコストを獲得し、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとの距離に基づいて、コストを補正することができる。候補選択部２９２０，３０２０は、候補サンプルＣ１，Ｃ２，Ｃ３のうち補正された最小コストを有する第１候補サンプルＣ１を選択することができる。
例えば、候補サンプルＣ１，Ｃ２，Ｃ３のうち一つと、現在サンプルＣとの距離が短いほど、候補サンプルＣ１，Ｃ２，Ｃ３のうち一つと、現在サンプルＣとのコストは、小さくもなる。一方、候補サンプルＣ１，Ｃ２，Ｃ３のうち一つと、現在サンプルＣとの距離が遠いほど、候補サンプルＣ１，Ｃ２，Ｃ３のうち一つと、現在サンプルＣとのコストは、大きくもなる。
図３４に図示されているように、現在サンプルＣと第３候補サンプルＣ３との距離ｄｃ３が、現在サンプルＣと第１候補サンプルＣ１との距離ｄｃ１より長く、現在サンプルＣと第２候補サンプルＣ２との距離ｄｃ２より短い場合、現在サンプルＣとＣ３候補サンプルとのコストが増大する量は、現在サンプルＣとＣ１候補サンプルとのコストが増大する量より多く、現在サンプルＣとＣ２候補サンプルとのコストが増大する量より少ない。
図３５は、候補隣接サンプルが、候補サンプルに隣接する方向に基づいて、コストを補正する動作を図示している。
候補選択部２９２０，３０２０は、現在サンプルに隣接する隣接サンプルＡと、候補サンプルＣ１，Ｃ２，Ｃ３に隣接するそれぞれの候補隣接サンプルとの差値、現在サンプルＣと隣接サンプルＡとの隣接方向、及び候補サンプルＣ１，Ｃ２，Ｃ３と候補隣接サンプルＣ１Ａ，Ｃ２Ａ，Ｃ３Ａとの隣接方向に基づいて、候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣを予測するための１候補サンプルＣ１を選択することができる。
具体的には、候補選択部２９２０，３０２０は、候補隣接サンプルＣ１Ａ，Ｃ２Ａ，Ｃ３Ａと隣接サンプルＡとのコストを獲得し、候補隣接サンプルＣ１Ａ，Ｃ２Ａ，Ｃ３Ａが候補サンプルＣ１，Ｃ２，Ｃ３に隣接する方向、及び隣接サンプルＡが現在サンプルＣに隣接する方向に基づいて、コストを補正することができる。
例えば、候補隣接サンプルＣ１Ａが候補サンプルＣ１に隣接する方向が、隣接サンプルＡが現在サンプルＣに隣接する方向と一致すれば、候補サンプルＣ１と現在サンプルＣとのコストは、alphaほど小さくもなる。一方、候補隣接サンプルＣ２Ａ，Ｃ３Ａが候補サンプルＣ２，Ｃ３に隣接する方向が、隣接サンプルＡが現在サンプルＣに隣接する方向と一致しなければ、候補サンプルＣ２，Ｃ３と現在サンプルＣとのコストは、alphaほど大きくもなる。
図３６は、複数個のすでに復元されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の動作を図示している。
候補選択部２９２０，３０２０は、映像から分割された現在ブロック３６００内において、現在サンプルＣより先に予測され、現在サンプルＣに隣接する複数個の隣接サンプルＡ１，Ａ２を選択することができる。
候補選択部２９２０，３０２０は、現在ブロック３６００より先に復元された少なくとも１つの以前ブロック３６２０，３６３０，３６４０に含まれる候補サンプルＣ１，Ｃ２，Ｃ３のうち、複数個の隣接サンプルＡ１，Ａ２と最も近い値を有する複数個の候補隣接サンプルＣ１Ａ１，Ｃ１Ａ２に隣接する第１候補サンプルＣ１を選択することができる。
符号化装置２９００の候補選択部２９２０は、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとのコストに基づいて、候補サンプルＣ１，Ｃ２，Ｃ３のうち第１候補サンプルＣ１を選択することができる。具体的には、符号化装置２９００の候補選択部２９２０は、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとのコストを計算し、候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣに対して最小コストを有する第１候補サンプルＣ１を選択することができる。例えば、１つの候補サンプルと現在サンプルとのコストは、数式（７）に基づいて獲得されもする。
具体的には、候補選択部２９２０，３０２０は、Ｃ１Ａ１候補隣接サンプルとＡ１隣接サンプルとの差に、ｗ１加重値を適用した値、Ｃ１Ａ２候補隣接サンプルとＡ２隣接サンプルとの差に、ｗ２加重値を適用した値を利用して、現在サンプルＣとＣ１候補サンプルとのコストを獲得することができる。候補選択部２９２０，３０２０は、Ｃ１候補サンプルと現在サンプルＣとの距離に基づいて、Ｃ１候補サンプルと現在サンプルＣとのコストを補正することができる。候補選択部２９２０，３０２０は、Ｃ１Ａ１候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向、Ｃ１Ａ２候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向、Ａ１隣接サンプルが、現在サンプルＣに隣接する方向、及びＡ２隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ１候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ２Ａ４候補隣接サンプルとＡ１隣接サンプルとの差に、ｗ１加重値を適用した値、Ｃ２Ａ５候補隣接サンプルとＡ２隣接サンプルとの差に、ｗ２加重値を適用した値を利用して、現在サンプルＣとＣ２候補サンプルとのコストを獲得することができる。候補選択部２９２０，３０２０は、Ｃ２候補サンプルと現在サンプルＣとの距離に基づいて、Ｃ２候補サンプルと現在サンプルＣとのコストを補正することができる。候補選択部２９２０，３０２０は、Ｃ２Ａ４候補隣接サンプルが、Ｃ２候補サンプルに隣接する方向、Ｃ２Ａ５候補隣接サンプルが、Ｃ２候補サンプルに隣接する方向、Ａ１隣接サンプルが、現在サンプルＣに隣接する方向、及びＡ２隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ２候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ３Ａ１候補隣接サンプルとＡ１隣接サンプルとの差に、ｗ１加重値を適用した値、Ｃ３Ａ３候補隣接サンプルとＡ２隣接サンプルとの差に、ｗ２加重値を適用した値を利用して、現在サンプルＣとＣ３候補サンプルとのコストを獲得することができる。候補選択部２９２０，３０２０は、Ｃ３候補サンプルと現在サンプルＣとの距離に基づいて、Ｃ３候補サンプルと現在サンプルＣとのコストを補正することができる。候補選択部２９２０，３０２０は、Ｃ３Ａ１候補隣接サンプルが、Ｃ３候補サンプルに隣接する方向、Ｃ３Ａ３候補隣接サンプルが、Ｃ３候補サンプルに隣接する方向、Ａ１隣接サンプルが、現在サンプルＣに隣接する方向、及びＡ２隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ３候補サンプルと現在サンプルＣとのコストを補正することができる。
ここで、現在サンプルに対して横に隣接するＡ１隣接サンプルに係わるｗ１加重値は、図２１を介して説明したように、現在ブロック３６００の縦グラジエントに比例する。ここで、現在サンプルの左側隣接サンプルＡに係わるｗ１加重値は、図２１を介して説明したように、現在ブロック３６００の縦グラジエントに比例する。また、現在サンプルに対して縦に隣接するＡ２隣接サンプルに係わるｗ２加重値は、図２２を介して説明したように、現在ブロック３６００の横グラジエントに比例する。または、ｗ１加重値とｗ２加重値は、同一値として既設定にもなる。
候補選択部２９２０，３０２０は、候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルに対して最小コストを有する第１候補サンプルＣ１を選択し、予測部２９３０，３０３０は、第１候補サンプルＣ１の復元値を利用して、現在サンプルＣの予測値を獲得することができる。
図３７は、複数個の候補隣接サンプルが候補サンプルに隣接する方向に基づいて、コストを補正する動作を図示している。
候補選択部２９２０，３０２０は、Ｃ１Ａ１候補隣接サンプル及びＣ１Ａ２候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向、並びにＡ１隣接サンプル及びＡ２隣接サンプルが現在サンプルＣに隣接する方向に基づいて、Ｃ１候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ２Ａ４候補隣接サンプル及びＣ２Ａ５候補隣接サンプルがＣ２候補サンプルに隣接する方向、並びにＡ１隣接サンプル及びＡ２隣接サンプルが現在サンプルＣに隣接する方向に基づいて、Ｃ２候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ３Ａ１候補隣接サンプル及びＣ３Ａ３候補隣接サンプルがＣ３候補サンプルに隣接する方向、並びにＡ１隣接サンプル及びＡ２隣接サンプルが現在サンプルＣに隣接する方向に基づいて、Ｃ３候補サンプルと現在サンプルＣとのコストを補正することができる。
例えば、ｎ個の候補隣接サンプルが候補サンプルに隣接する方向に基づいて補正されるコストの範囲は、−ｎ＊alpha以上＋ｎ＊alpha以下にもなる。具体的には、ｎ個の候補隣接サンプルが候補サンプルに隣接する方向が、隣接サンプルが現在サンプルに隣接する方向といずれも一致すれば、コストの補正値は、−ｎ＊alphaにもなる。一方、ｎ個の候補隣接サンプルが候補サンプルに隣接する方向が、隣接サンプルが現在サンプルに隣接する方向といずれも一致しなければ、コストの補正値は、＋ｎ＊alphaにもなる。
例えば、Ｃ１Ａ２候補隣接サンプル及びＣ１Ａ２候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向は、Ａ１隣接サンプル及びＡ２隣接サンプルが、現在サンプルＣに隣接する方向といずれも一致するので、Ｃ１候補サンプルと現在サンプルＣとのコストに対する補正値は、−２＊alphaにもなる。
また、Ｃ２Ａ４候補隣接サンプル及びＣ２Ａ５候補隣接サンプルが、Ｃ２候補サンプルに隣接する方向は、Ａ１隣接サンプル及びＡ２隣接サンプルが、現在サンプルＣに隣接する方向といずれも一致しないので、Ｃ２候補サンプルと現在サンプルＣとのコストに対する補正値は、＋２＊alphaにもなる。
また、Ｃ３Ａ１候補隣接サンプルがＣ３候補サンプルに隣接する方向は、Ａ１隣接サンプルが現在サンプルＣに隣接する方向と一致する一方、Ｃ３Ａ３候補隣接サンプルがＣ３候補サンプルに隣接する方向は、Ａ２隣接サンプルが現在サンプルＣに隣接する方向と一致しないので、Ｃ３候補サンプルと現在サンプルＣとのコストに対する補正値は、alpha−alpha＝０にもなる。
図３８は、複数個のすでに復元されたサンプルに基づいて、現在サンプルを予測するサンプル単位予測の他の動作を図示している。
候補選択部２９２０，３０２０は、映像から分割された現在ブロック３８００内において、現在サンプルＣより先に予測され、現在サンプルＣに隣接する複数個の隣接サンプルＡ１，Ａ２，Ａ３を選択することができる。
候補選択部２９２０，３０２０は、現在ブロック３８００より先に復元された少なくとも１つの以前ブロック３８２０，３８３０，３８４０に含まれる候補サンプルＣ１，Ｃ２，Ｃ３のうち、複数個の隣接サンプルＡ１，Ａ２，Ａ３と最も近い値を有する複数個の候補隣接サンプルＣ１Ａ１，Ｃ１Ａ２，Ｃ１Ａ３に隣接する第１候補サンプルＣ１を選択することができる。
符号化装置２９００の候補選択部２９２０は、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとのコストに基づいて、候補サンプルＣ１，Ｃ２，Ｃ３のうち第１候補サンプルＣ１を選択することができる。具体的には、符号化装置２９００の候補選択部２９２０は、候補サンプルＣ１，Ｃ２，Ｃ３と現在サンプルＣとのコストを計算し、候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルＣに対して最小コストを有する第１候補サンプルＣ１を選択することができる。例えば、１つの候補サンプルと現在サンプルとのコストは、数式（８）に基づいて獲得されもする。
具体的には、候補選択部２９２０，３０２０は、Ｃ１Ａ１候補隣接サンプルとＡ１隣接サンプルとの差に、ｗ１加重値を適用した値、Ｃ１Ａ２候補隣接サンプルとＡ２隣接サンプルとの差に、ｗ２加重値を適用した値、及びＣ１Ａ３候補隣接サンプルとＡ３隣接サンプルとの差に、ｗ３加重値を適用した値を利用して、現在サンプルＣとＣ１候補サンプルとのコストを獲得することができる。候補選択部２９２０，３０２０は、Ｃ１候補サンプルと現在サンプルＣとの距離に基づいて、Ｃ１候補サンプルと現在サンプルＣとのコストを補正することができる。候補選択部２９２０，３０２０は、Ｃ１Ａ１候補隣接サンプルがＣ１候補サンプルに隣接する方向、Ｃ１Ａ２候補隣接サンプル、Ｃ１Ａ２候補隣接サンプル及びＣ１Ａ３候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向、並びにＡ１隣接サンプル、Ａ２隣接サンプル、及びＡ３隣接サンプルが現在サンプルＣに隣接する方向に基づいて、Ｃ１候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ２Ａ４候補隣接サンプルとＡ１隣接サンプルとの差に、ｗ１加重値を適用した値、Ｃ２Ａ５候補隣接サンプルとＡ２隣接サンプルとの差に、ｗ２加重値を適用した値、及びＣ２Ａ６候補隣接サンプルとＡ３隣接サンプルとの差に、ｗ３加重値を適用した値を利用して、現在サンプルＣとＣ２候補サンプルとのコストを獲得することができる。候補選択部２９２０，３０２０は、Ｃ２候補サンプルと現在サンプルＣとの距離に基づいて、Ｃ２候補サンプルと現在サンプルＣとのコストを補正することができる。候補選択部２９２０，３０２０は、Ｃ２Ａ４候補隣接サンプル、Ｃ２Ａ５候補隣接サンプル及びＣ２Ａ６候補隣接サンプルが、Ｃ２候補サンプルに隣接する方向、Ａ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ２候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ３Ａ４候補隣接サンプルとＡ１隣接サンプルとの差に、ｗ１加重値を適用した値、Ｃ３Ａ２候補隣接サンプルとＡ２隣接サンプルとの差に、ｗ２加重値を適用した値、及びＣ３Ａ８候補隣接サンプルとＡ３隣接サンプルとの差に、ｗ３加重値を適用した値を利用して、現在サンプルＣとＣ３候補サンプルとのコストを獲得することができる。候補選択部２９２０，３０２０は、Ｃ３候補サンプルと現在サンプルＣとの距離に基づいて、Ｃ３候補サンプルと現在サンプルＣとのコストを補正することができる。候補選択部２９２０，３０２０は、Ｃ３Ａ２候補隣接サンプル、Ｃ３Ａ４候補隣接サンプル及びＣ３Ａ８候補隣接サンプルが、Ｃ３候補サンプルに隣接する方向、Ａ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ３候補サンプルと現在サンプルＣとのコストを補正することができる。
ここで、現在サンプルに対して横に隣接するＡ１隣接サンプルに係わるｗ１加重値は、図２１を介して説明したように、現在ブロック３８００の縦グラジエントに比例する。ここで、現在サンプルの左側隣接サンプルＡに係わるｗ１加重値は、図２１を介して説明したように、現在ブロック３８００の縦グラジエントに比例する。また、現在サンプルに対して縦に隣接するＡ２隣接サンプルに係わるｗ２加重値は、図２２を介して説明したように、現在ブロック３８００の横グラジエントに比例する。または、ｗ１加重値とｗ２加重値は、同一値として既設定にもなる。また、ｗ３加重値は、ｗ１加重値及びｗ２加重値に基づいて設定されもする。
候補選択部２９２０，３０２０は、候補サンプルＣ１，Ｃ２，Ｃ３のうち現在サンプルに対して最小コストを有する第１候補サンプルＣ１を選択し、予測部２９３０，３０３０は、第１候補サンプルＣ１の復元値を利用して、現在サンプルＣの予測値を獲得することができる。
図３９は、複数個の候補隣接サンプルが、候補サンプルに隣接する方向に基づいて、コストを補正する動作を図示している。
候補選択部２９２０，３０２０は、Ｃ１Ａ１候補隣接サンプル、Ｃ１Ａ２候補隣接サンプル及びＣ１Ａ３候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向、並びにＡ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ１候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ２Ａ４候補隣接サンプル、Ｃ２Ａ５候補隣接サンプル及びＣ２Ａ６候補隣接サンプルが、Ｃ２候補サンプルに隣接する方向、並びにＡ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ２候補サンプルと現在サンプルＣとのコストを補正することができる。
候補選択部２９２０，３０２０は、Ｃ３Ａ２候補隣接サンプル、Ｃ３Ａ４候補隣接サンプル及びＣ３Ａ８候補隣接サンプルが、Ｃ３候補サンプルに隣接する方向、並びにＡ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向に基づいて、Ｃ３候補サンプルと現在サンプルＣとのコストを補正することができる。
例えば、ｎ個の候補隣接サンプルが、候補サンプルに隣接する方向に基づいて補正されるコストの範囲は、−ｎ＊alpha以上＋ｎ＊alpha以下にもなる。具体的には、ｎ個の候補隣接サンプルが候補サンプルに隣接する方向が、隣接サンプルが現在サンプルに隣接する方向といずれも一致すれば、コストの補正値は、−ｎ＊alphaにもなる。一方、ｎ個の候補隣接サンプルが候補サンプルに隣接する方向が、隣接サンプルが現在サンプルに隣接する方向といずれも一致しなければ、コストの補正値は、＋ｎ＊alphaにもなる。
例えば、Ｃ１Ａ１候補隣接サンプル、Ｃ１Ａ２候補隣接サンプル及びＣ１Ａ３候補隣接サンプルが、Ｃ１候補サンプルに隣接する方向は、Ａ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向といずれも一致するので、Ｃ１候補サンプルと現在サンプルＣとのコストに対する補正値は、−３＊alphaにもなる。
また、Ｃ２Ａ４候補隣接サンプル、Ｃ２Ａ５候補隣接サンプル及びＣ２Ａ６候補隣接サンプルが、Ｃ２候補サンプルに隣接する方向は、Ａ１隣接サンプル、Ａ２隣接サンプル及びＡ３隣接サンプルが、現在サンプルＣに隣接する方向といずれも一致しないので、Ｃ２候補サンプルと現在サンプルＣとのコストに対する補正値は、＋３＊alphaにもなる。
また、Ｃ３Ａ２候補隣接サンプルがＣ３候補サンプルに隣接する方向は、Ａ２隣接サンプルが現在サンプルＣに隣接する方向と一致する一方、Ｃ３Ａ４候補隣接サンプル及びＣ３Ａ８候補隣接サンプルがＣ３候補サンプルに隣接する方向は、Ａ１隣接サンプル及びＡ３隣接サンプルが現在サンプルＣに隣接する方向と一致しないので、Ｃ３候補サンプルと現在サンプルＣとのコストに対する補正値は、２alpha−alpha＝alphaにもなる。
図４０は、すでに復元された隣接サンプルに基づいて、サンプル単位予測を行うことができるビデオ符号化方法のフローチャートを図示している。
４０１０段階において、ビデオ符号化方法４０００は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。４０１０段階の動作は、ビデオ符号化装置２９００の分割部２９１０で遂行されもする。
４０２０段階において、ビデオ符号化方法４０００は、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択する。また、ビデオ符号化方法４０００は、現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち現在サンプルの隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択することができる。４０２０段階の動作は、ビデオ符号化装置２９００の候補選択部２９２０で遂行されもする。
４０３０段階において、ビデオ符号化方法４０００は、候補４０２０段階で選択された第１候補サンプルを利用して、現在サンプルの予測値を獲得する。具体的には、ビデオ符号化方法４０００は、現在ブロックより先に復元された以前ブロックに含まれる第１候補サンプルの復元値を利用して、現在サンプルの予測値を獲得することができる。４０３０段階の動作は、ビデオ符号化装置２９００の予測部２９３０で遂行されもする。
４０４０段階において、ビデオ符号化方法４０００は、現在サンプルのレジデュアル値を符号化する。具体的には、ビデオ符号化方法４０００は、現在サンプルの原本値と、４０２０段階で獲得された現在サンプルの予測値とのレジデュアル値を獲得し、現在サンプルのレジデュアル値を変換し、変換されたレジデュアル値をエントロピー符号化し、エントロピー符号化されたレジデュアル値をビットストリームとして出力することができる。４０４０段階の動作は、ビデオ符号化装置２９００の変換部２９４０で遂行されもする。
図４１は、すでに復元された隣接サンプルに基づいて、サンプル単位予測を行うことができるビデオ復号方法のフローチャートを図示している。
４１１０段階において、ビデオ復号方法４１００は、映像を、少なくとも１つのブロックに分割する。ここで「ブロック」は、符号化したり復号したりする映像から分割された最大符号化単位、符号化単位、変換単位または予測単位を意味する。４１１０段階の動作は、ビデオ復号装置３０００の分割部３０１０で遂行されもする。
４１２０段階において、ビデオ復号方法４１００は、現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択する。また、ビデオ復号方法４１００は、現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち現在サンプルの隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択することができる。４１２０段階の動作は、ビデオ復号装置３０００の候補選択部３０２０で遂行されもする。
４１３０段階において、ビデオ復号方法４１００は、候補４１２０段階で選択された第１候補サンプルを利用して、現在サンプルの予測値を獲得する。具体的には、ビデオ復号方法４１００は、現在ブロックより先に復元された以前ブロックに含まれる第１候補サンプルの復元値を利用して、現在サンプルの予測値を獲得することができる。４１３０段階の動作は、ビデオ復号装置３０００の予測部３０３０で遂行されもする。
４１４０段階において、ビデオ復号方法４１００は、現在サンプルのレジデュアル値を復号する。具体的には、ビデオ復号方法４１００は、ビットストリームから獲得された現在サンプルのレジデュアル値と、予測部３０３０で獲得された現在サンプルの予測値とを利用して映像を復元することができる。４１４０段階の動作は、ビデオ復号装置３０００の変換部３０４１で遂行されもする。
図１６ないし図４１を介して説明したサンプル単位予測を行うことができる符号化／復号装置及びその方法は、現在サンプルの位置によって、適応的な予測を行うことができ、符号化／復号の性能が向上する。
一方、前述の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
説明の便宜のために、先に図１ないし図４１を参照して説明した映像符号化方法及び／またはビデオ符号化方法は、「ビデオ符号化方法」と総称する。また、先に図１ないし図４１を参照して説明した映像復号方法及び／またはビデオ復号方法は、「ビデオ復号方法」と指称する
一実施形態によるプログラムが保存されるコンピュータ可読記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。
図４２は、多様な実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として説明されたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤ（digital versatile disc）ディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、該トラックＴＲは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００において特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存されもする。
前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図４３を参照して説明する。
図４３は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、一実施形態による、ビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムをディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムをコンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムが、コンピュータシステム２６７００に伝送されもする。
図４２及び図４３で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭ（read-only memory）カセット、ＳＳＤ（solid state drive）にも、一実施形態による、ビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存されもする。
前述の実施形態による、ビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。
図４４は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１８００，１２０００が設置される。
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１８００，１２０００を経て、インターネット１１１００に連結される。
しかし、コンテンツ供給システム１１０００は、図４４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されもする。独立デバイスは、無線基地局１１７００，１１８００，１１８００，１２０００を経ず、通信網１１４００に直接連結されもする。
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）、Ｗ−ＣＤＭＡ（wideband code division multiple access）、ＧＳＭ（登録商標（global system for mobile communication））及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
ビデオカメラ１２３００は、無線基地局１１８００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザがビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化されもする。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。
カメラ１２６００に撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化されもする。ビデオ符号化及びビデオ復号のためのソフトウェアはコンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータ可読記録媒体に保存されもする。
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信されもする。
該ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化されもする。
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
該クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントが符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントが符号化されたコンテンツデータを受信し、リアルタイムで復号して再生させ、個人放送（personal broadcasting）が可能にさせる。
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、一実施形態によるビデオ符号化装置及びビデオ復号装置が適用されもする。
図４５及び図４６を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。
図４５は、多様な実施形態による、ビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。
携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２３１０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diode）画面のようなディスプレイ画面１２４２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２４２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２４２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２３１０をさらに含む。また、スマートフォン１２５１０は、カメラ１２３１０によって撮影されるか、電子メール（Ｅ−mail）に受信されるか、あるいは他の形態によって獲得されたビデオや静止映像のように、符号化されたり復号されたりするデータを保存するための記録媒体１２５７０と、前記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０と、を含んでもよい。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable programmable read-only memory）のような他の形態のフラッシュメモリでもある。
図４６は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２４２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulatioｎ）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。
携帯電話１２５００が外部に通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０においては、デジタル音響信号が生成され、映像符号化部１２７２０においては、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成されもする。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出されもする。
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出されもする。
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
データ通信モードにおいて映像データを伝送するために、カメラ１２３１０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２３１０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２４２０に直ちにディスプレイされもする。
映像符号化部１２７２０の構造は、前述の一実施形態によるビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２３１０から提供された映像データを、前述のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２３１０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して伝送信号に変換され、アンテナ１２５１０を介して送出されもする。
携帯電話１２５００が外部から通信データを受信する過程においては、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
映像復号部１２６９０の構造は、前述のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述のビデオ復号方法を利用して、符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされもする。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号を、スピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生されもする。
携帯電話１２５００、または他の形態の通信端末機は、一実施形態による、ビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の一実施形態によるビデオ符号化装置のみを含む送信端末機であるか、あるいは一実施形態によるビデオ復号装置のみを含む受信端末機でもある。
一実施形態による通信システムは、図４６を参照して説明した構造に限定されるものではない。例えば、図４７は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図４７の一実施形態によるデジタル放送システムは、一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に述べれば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０、または他のデバイスによって復号されて再生されもする。
再生装置１２８３０において、一実施形態によるビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、一実施形態によるビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
他の例として、セットトップボックス１２８７０の代りに、ＴＶ受信機１２８１０自体に、一実施形態によるビデオ復号装置が搭載される。
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。
ビデオ信号は、一実施形態によるビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に述べれば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存される。ハードディスクレコーダ１２９５０が、一実施形態による一実施形態によるビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
自動車ナビゲーションシステム１２９３０は、図４８のカメラ１２３１０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図４６のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
図４８は、多様な実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。
一実施形態によるクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
該クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点に所望する程度選んで使用することができる。
特定サービスユーザのユーザ端末機はインターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピュータサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報と、を含んでもよい。また、該ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを求めて再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号してビデオを再生する動作は、先に図４６を参照して説明した携帯電話１２５００の動作と類似している。
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。該動画が、それ以前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機による選択によって、最初から再生するか、以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
このとき、該ユーザ端末機は、図１ないし図４１を参照して説明した一実施形態によるビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１ないし図４１を参照して説明した一実施形態によるビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１ないし図４１を参照して説明した一実施形態によるビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。
図１ないし図４１を参照して説明した映像符号化方法及び映像復号方法、映像符号化装置及び映像復号装置が活用される多様な実施形態について、図４２ないし図４８で説明した。しかし、図１ないし図４１を参照して説明した、ビデオ符号化方法及びビデオ復号方法が記録媒体に保存されるか、あるいはビデオ符号化装置及びビデオ復号装置がデバイスで具現される多様な実施形態は、図４２ないし図４８の実施形態に限定されるものではない。
以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。

Claims (15)

  1. 映像を、少なくとも１つのブロックに分割する分割部と、
    現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する予測部と、
    ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する復号部と、を含むビデオ復号装置。
  2. 前記第１加重値は、前記現在サンプルに対して横方向に隣接する前記第１サンプルと、前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する第３サンプルとの差分値に比例することを特徴とする請求項１に記載のビデオ復号装置。
  3. 前記第２加重値は、前記現在サンプルに対して縦方向に隣接する前記第２サンプルと、前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する第３サンプルとの差分値に比例することを特徴とする請求項１に記載のビデオ復号装置。
  4. 前記第１加重値及び前記第２加重値は、同一であることを特徴とする請求項１に記載のビデオ復号装置。
  5. 前記第１サンプルは、前記現在ブロックの境界に位置し、
    前記第１サンプルは、前記第１サンプルに対して横方向に隣接する前記現在ブロック外の第１参照サンプルに第４加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する第３サンプルに対して、第５加重値が適用された値のうち少なくとも一つを利用して予測され、
    前記第４加重値は、前記第１参照サンプルと、前記第１サンプルに対して対角線方向に隣接する前記現在ブロック外の第２参照サンプルとの差分値に比例し、
    前記第５加重値は、前記第３サンプルと前記第２参照サンプルとの差分値に比例することを特徴とする請求項１に記載のビデオ復号装置。
  6. 前記第２サンプルは、前記現在ブロックの境界に位置し、
    前記第２サンプルは、前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する第３サンプルに対して、第４加重値が適用された値、及び前記第２サンプルに対して縦方向に隣接する前記現在ブロック外の第１参照サンプルに第５加重値が適用された値のうち少なくとも一つを利用して予測され、
    前記第４加重値は、前記第３サンプルと、前記第２サンプルに対して対角線方向に隣接する前記現在ブロック外の第２参照サンプルとの差分値に比例し、
    前記第５加重値は、前記第１参照サンプルと前記第２参照サンプルとの差分値に比例することを特徴とする請求項１に記載のビデオ復号装置。
  7. 前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して対角線方向に隣接する第３サンプルは、前記現在ブロックの境界に位置し、
    前記第３サンプルは、前記第３サンプルに対して横方向に隣接する前記現在ブロック外の第１参照サンプルに第４加重値が適用された値、及び前記第３サンプルに対して縦方向に隣接する前記現在ブロック外の第２参照サンプルに第５加重値が適用された値のうち少なくとも一つを利用して獲得され、
    前記第４加重値は、前記第１参照サンプルと、前記第３サンプルに対して対角線方向に隣接する第３参照サンプルとの差分値に比例し、
    前記第５加重値は、前記第２参照サンプルと前記第３参照サンプルとの差分値に比例することを特徴とする請求項１に記載のビデオ復号装置。
  8. 映像を、少なくとも１つのブロックに分割する段階と、
    現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する段階と、
    ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する段階と、を含むビデオ復号方法。
  9. 映像を、少なくとも１つのブロックに分割する分割部と、
    現在ブロック内において、現在サンプルより先に予測され、前記現在サンプルに対して横方向に隣接する第１サンプルに対して、第１加重値が適用された値、及び前記現在ブロック内において、前記現在サンプルより先に予測され、前記現在サンプルに対して縦方向に隣接する第２サンプルに対して、第２加重値が適用された値のうち少なくとも一つを利用し、前記現在サンプルを予測する予測部と、
    前記現在サンプルの原本値と、前記現在サンプルの予測値とのレジデュアル値を符号化する符号化部と、を含むビデオ符号化装置。
  10. 映像を、少なくとも１つのブロックに分割する分割部と、
    現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択し、前記現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち、前記隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択する候補選択部と、
    前記第１候補サンプルを利用し、前記現在サンプルを予測する予測部と、
    ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する復号部と、を含むビデオ復号装置。
  11. 前記候補サンプルは、前記現在サンプルから所定距離内に位置することを特徴とする請求項１０に記載のビデオ復号装置。
  12. 前記第１候補サンプルは、前記現在サンプルに隣接する前記隣接サンプルと、前記候補サンプルに隣接するそれぞれの候補隣接サンプルとの差値、及び前記現在サンプルと、前記それぞれの候補サンプルとの距離に基づいて選択されることを特徴とする請求項１０に記載のビデオ復号装置。
  13. 前記候補サンプルが、前記候補隣接サンプルに隣接する方向は、前記現在サンプルが、前記隣接サンプルに隣接する方向と同一であることを特徴とする請求項１０に記載のビデオ復号装置。
  14. 前記第１候補サンプルは、前記現在サンプルに隣接する前記隣接サンプルと、前記候補サンプルに隣接するそれぞれの候補隣接サンプルとの差値、前記現在サンプルと前記隣接サンプルとの隣接方向、及び前記候補サンプルと前記候補隣接サンプルとの隣接方向に基づいて選択されることを特徴とする請求項１０に記載のビデオ復号装置。
  15. 映像を、少なくとも１つのブロックに分割する段階と、
    現在ブロック内において、現在サンプルに隣接する少なくとも１つの隣接サンプルを選択し、前記現在ブロックより先に復元された少なくとも１つの以前ブロックに含まれる複数個の候補サンプルのうち、前記隣接サンプルと最も近い値を有する候補隣接サンプルに隣接する第１候補サンプルを選択する段階と、
    前記第１候補サンプルを利用し、前記現在サンプルを予測する段階と、
    ビットストリームから獲得された前記現在サンプルのレジデュアル値と、前記現在サンプルの予測値とを利用し、前記映像を復号する段階と、を含むビデオ復号方法。
JP2017524041A 2014-11-05 2015-11-04 サンプル単位予測符号化装置及びその方法 Pending JP2017537539A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462075429P 2014-11-05 2014-11-05
US62/075,429 2014-11-05
PCT/KR2015/011810 WO2016072753A1 (ko) 2014-11-05 2015-11-04 샘플 단위 예측 부호화 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2017537539A true JP2017537539A (ja) 2017-12-14

Family

ID=55909402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524041A Pending JP2017537539A (ja) 2014-11-05 2015-11-04 サンプル単位予測符号化装置及びその方法

Country Status (7)

Country Link
US (1) US10404982B2 (ja)
EP (1) EP3203735A4 (ja)
JP (1) JP2017537539A (ja)
KR (1) KR20170078683A (ja)
CN (1) CN107005711A (ja)
MX (1) MX2017005892A (ja)
WO (1) WO2016072753A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052118A1 (ko) * 2015-09-23 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10555006B2 (en) * 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
JP7170718B2 (ja) 2017-09-28 2022-11-14 サムスン エレクトロニクス カンパニー リミテッド 映像復号方法、映像符号化方法及び映像復号装置
WO2019244116A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Border partition in video coding
EP3841743A4 (en) * 2018-08-31 2022-10-05 HFI Innovation Inc. METHOD AND APPARATUS FOR UNGROUPING SUBGROUPS IN VIDEO CODING
WO2020094066A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
EP3871415A4 (en) 2018-12-07 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. CONTEXT-BASED INTRAPREDICTION
KR102472756B1 (ko) 2019-02-24 2022-12-01 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측을 위한 파라미터 유도
CN113767631B (zh) 2019-03-24 2023-12-15 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
EP2835976B1 (en) 2008-04-16 2016-09-21 GE Video Compression, LLC Bit-depth scalability
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
TW201123908A (en) 2009-07-02 2011-07-01 Mediatek Inc Methods of intra prediction, video encoder, and video decoder thereof
US9083974B2 (en) 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
CN103201950B (zh) 2010-11-16 2016-08-03 瑞典爱立信有限公司 用于功率放大器数字预失真中的具有可变抽头延迟线的联合过程估计器
FI3985979T3 (fi) 2010-12-13 2024-04-23 Electronics & Telecommunications Res Inst Menetelmä vertailuyksikön määrittämiseksi
US20130229485A1 (en) 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
JP5944044B2 (ja) 2012-04-20 2016-07-05 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． Ｈｅｖｃの無損失符号化におけるイントラ予測の向上
WO2014003421A1 (ko) 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
CN103020643B (zh) 2012-11-30 2015-05-13 武汉大学 基于提取核特征早期预测多变量时间序列类别的分类方法
KR101582501B1 (ko) 2014-06-13 2016-01-07 에스케이텔레콤 주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
KR20170078683A (ko) 2017-07-07
US20180309988A1 (en) 2018-10-25
US10404982B2 (en) 2019-09-03
CN107005711A (zh) 2017-08-01
WO2016072753A1 (ko) 2016-05-12
MX2017005892A (es) 2017-06-27
EP3203735A1 (en) 2017-08-09
EP3203735A4 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
JP6622870B2 (ja) ビデオ復号化方法及びその装置
KR101838112B1 (ko) 인터 예측 방법 및 그 장치, 움직임 보상 방법 및 그 장치
KR102329126B1 (ko) 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
KR102254118B1 (ko) 인트라 블록 복사 예측을 이용한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR102199463B1 (ko) 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치
JP2016526853A (ja) 深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化方法及びその装置、並びに深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ符号化方法及びその装置
JP2017537539A (ja) サンプル単位予測符号化装置及びその方法
KR102457810B1 (ko) 3d 영상에 관련된 블록의 파티션 경계에서 필터링 수행 방법
JP2014529214A (ja) 多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置
JP2017523682A (ja) インターレイヤビデオ符号化／復号のためのデプス映像の予測モード伝送方法及びその装置
JP2016507988A (ja) デコーダ設定のためのビデオ符号化方法及びその装置、並びにデコーダ設定に基づいたビデオ復号化方法及びその装置
JP2015526012A (ja) ブロックサイズによってインター予測の参照ピクチャリストを決定するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP6742243B2 (ja) 輝度補償を利用したインターレイヤビデオ符号化方法及びその装置、該ビデオ復号化方法及びその装置
KR102199461B1 (ko) 적응적 휘도 보상을 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP6367965B2 (ja) デプス映像を符号化または復号する方法、及びその装置
JP2016528792A (ja) インターレイヤビデオ復号化装置及びインターレイヤビデオ符号化装置、並びにその方法のためのブロック基盤ディスパリティベクトル予測方法
KR20130119379A (ko) 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 복호화 방법 및 그 장치
KR102399593B1 (ko) 다 시점 영상 부호화/복호화 방법 및 장치
KR20140122192A (ko) 깊이맵 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP6374605B2 (ja) 映像を復号する方法、装置及び記録媒体
JP2017518706A (ja) デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
JP2017505037A (ja) デプス符号化方法及びその装置、デプス復号化方法及びその装置
KR20130119380A (ko) 슬라이스 헤더를 이용하는 3차원 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치
KR20170057315A (ko) 다 시점 영상 부호화/복호화 방법 및 장치
JP2017513426A (ja) 類型情報を利用した、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526