JP2021052425A - 画面内予測を利用した映像符号化／復号化方法および装置 - Google Patents

Abstract

【課題】より柔軟なブロック形態を使用して符号化効率を向上させる符号化及び復号方法を提供する。【解決手段】復号化装置で遂行される画面内予測を利用した復号化方法であって、ビットストリームを受信する段階、受信したビットストリームで復号化情報を獲得する段階、獲得した復号化情報を利用して復号化しようとする現在ブロックに対する予測ブロックを生成する段階およびビットストリームで獲得した残差ブロックと予測ブロックを加算して現在ブロックを復元する段階を含む。【選択図】図３９

Description

本発明は画面内予測を利用した映像符号化／復号化方法および装置に関し、さらに詳細には画面内予測で現在ブロック内の既に符号化された領域を参照し、符号化しようとする画素に近い参照画素を使用し、バイナリ分割を混用したブロックサイズを使用して画面内予測を遂行することによって、予測の正確度を向上させる方法および装置に関する。

高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ
Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は次世代動映像符号化技術であって、既存にＨ．２６４／ＭＰＥＧ−４ ＡＶＣを開発したＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ−Ｔの映像符号化専門家グループ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がＪｏｉｎｔ
Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）として２０１０年１月にチームを結成して標準化作業を進行し、次世代最終標準案として承認された。

ＨＥＶＣはブロック単位の予測に基づいて、符号化しようとする現在ブロックの空間的相関性または時間的相関性を利用した予測ブロックを生成し、現在ブロックと予測ブロックの差分から得た残差ブロックを導き出す。

この時、空間的相関性を利用して予測ブロックを生成する過程を画面内予測またはイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼称するが、既存の画面内予測方法は参照画素をそのままコピーして使用するため、予測しようとする画素との距離が遠いと予測値が不正確となり符号化効率が低下する問題点があった。

また、既存の符号化方法はブロックの形態が固定された形態をしており、分割方法はクアッドツリー分割方式に従うため、複雑な画面や横または縦に類似する形態を有する画面で符号化効率が減少する問題点があった。

したがって、より正確な画面内予測値を使用し、より柔軟なブロックの形態を使用して符号化効率を向上させるための方法が必要であるのが実情である。

前記のような問題点を解決するための本発明の目的は、画面内予測を利用した復号化方法を提供することである。

前記のような問題点を解決するための本発明の他の目的は、画面内予測を利用した復号化装置を提供することである。

前記目的を達成するための本発明は、画面内予測を利用した復号化方法を提供する。
復号化装置で遂行される画面内予測を利用した復号化方法は、ビットストリームを受信する段階；受信したビットストリームで復号化情報を獲得する段階；獲得した復号化情報を利用して復号化しようとする現在ブロックに対する予測ブロックを生成する段階；前記ビットストリームで獲得した残差ブロックと前記予測ブロックを加算して前記現在ブロックを復元する段階を含んでいる。
前記予測ブロックを生成する段階は、前記現在ブロックと隣接したブロックに属するか
または前記現在ブロックの少なくとも一つのサブブロックに属する復元画素のうち、選定された少なくとも一つの主参照画素を利用して前記現在ブロックの各画素に対する予測値を生成することによって、前記現在ブロックに対する予測ブロックを生成する。
前記主参照画素は、前記復元画素のうち画面内予測方向上に位置した画素である。
前記予測ブロックを生成する段階は、前記画面内予測方向上に位置した主参照画素が二つ以上である場合、前記現在ブロック内に予測しようとする現在画素を基準として前記画面内予測方向の前後に前記現在画素と最も近い二つの主参照画素を利用して前記現在ブロックに対する予測ブロックを生成する段階を含んでいる。
前記現在画素と最も近い二つの主参照画素を利用して前記現在ブロックに対する予測ブロックを生成する段階は、前記二つの主参照画素の平均または前記二つの主参照画素に加重値をそれぞれ適用して足した値を前記現在画素に対する予測値として前記予測ブロックを生成する。
前記少なくとも一つのサブブロックは、クアッドツリー方式およびバイナリツリー方式のうち一つを利用して前記現在ブロックを分割することによって獲得されるか、前記クアッドツリー方式と前記バイナリツリー方式を混用して前記現在ブロックを分割することによって獲得される。
前記少なくとも一つのサブブロックは、前記現在ブロック内で横に偶数または奇数番目に位置した画素ラインで構成される。
前記少なくとも一つのサブブロックは、前記現在ブロック内で縦に偶数または奇数番目に位置した画素ラインで構成される。
前記少なくとも一つのサブブロックは、前記現在ブロック内の各画素座標（ｘ、ｙ）のｘおよびｙ座標が偶数である座標で構成されるか、ｘおよびｙ座標のうち一つは偶数であり他の一つは奇数である座標で構成されるか、ｘおよびｙ座標が奇数である座標で構成される。
前記予測ブロックを生成する段階は、前記復元画素のうち前記主参照画素および前記現在ブロック内に予測しようとする現在画素の間の位置と画面内予測方向を基準として相応する位置にある両画素間の差分値を利用して前記主参照画素を補正する段階；および補正された主参照画素を利用して前記予測ブロックを生成する段階を含んでいる。
前記主参照画素を補正する段階は、前記差分値を前記主参照画素に足すか、前記差分値に加重値を適用した値を前記主参照画素に加算することによって前記主参照画素を補正する。
前記主参照画素を補正する段階は、前記現在画素のうち一定の範囲内に属する画素に対する予測時に限って前記主参照画素を補正する。
前記主参照画素を補正する段階は、前記差分値が二つ以上導き出される場合、二つ以上の差分値に対する平均または前記２つ以上の差分値のそれぞれに加重値を付与して導き出された値を利用して前記主参照画素を補正する。

本発明の前記目的を達成するための他の側面は画面内予測を利用した復号化装置を提供する。
画面内予測を利用した復号化装置において、前記復号化装置は、少なくとも一つのプロセッサ（ｐｒｏｃｅｓｓｏｒ）；および
前記少なくとも一つのプロセッサが少なくとも一つの段階を遂行するように命令する命令語を保存するメモリー（ｍｅｍｏｒｙ）を含んでいる。
前記少なくとも一つの段階は、ビットストリームを受信する段階；受信したビットストリームで復号化情報を獲得する段階；
獲得した復号化情報を利用して復号化しようとする現在ブロックに対する予測ブロックを生成する段階；および 前記ビットストリームで獲得した残差ブロックと前記予測ブロ
ックを加算して前記現在ブロックを復元する段階を含んでいる。
前記予測ブロックを生成する段階は、前記現在ブロックと隣接したブロックに属するかまたは前記現在ブロックの少なくとも一つのサブブロックに属する復元画素のうち、選定
された少なくとも一つの主参照画素を利用して前記現在ブロックの各画素に対する予測値を生成することによって、前記現在ブロックに対する予測ブロックを生成する。
前記主参照画素は、前記復元画素のうち画面内予測方向上に位置した画素である。
前記予測ブロックを生成する段階は、前記画面内予測方向上に位置した主参照画素が二つ以上である場合、前記現在ブロック内に予測しようとする現在画素を基準として前記画面内予測方向の前後に前記現在画素と最も近い二つの主参照画素を利用して前記現在ブロックに対する予測ブロックを生成する段階を含んでいる。
前記現在画素と最も近い二つの主参照画素を利用して前記現在ブロックに対する予測ブロックを生成する段階は、前記二つの主参照画素の平均または前記二つの主参照画素に加重値をそれぞれ適用して足した値を前記現在画素に対する予測値として前記予測ブロックを生成する。
前記少なくとも一つのサブブロックは、クアッドツリー方式およびバイナリツリー方式のうち一つを利用して前記現在ブロックを分割することによって獲得されるか、前記クアッドツリー方式と前記バイナリツリー方式を混用して前記現在ブロックを分割することによって獲得される。
前記予測ブロックを生成する段階は、前記復元画素のうち前記主参照画素および前記現在ブロック内に予測しようとする現在画素の間の位置と画面内予測方向を基準として相応する位置にある両画素間の差分値を利用して前記主参照画素を補正する段階；および 補
正された主参照画素を利用して前記予測ブロックを生成する段階を含んでいる。
前記主参照画素を補正する段階は、前記差分値を前記主参照画素に足すか、前記差分値に加重値を適用した値を前記主参照画素に加算することによって前記主参照画素を補正する。
前記主参照画素を補正する段階は、前記現在画素のうち一定の範囲内に属する画素に対する予測時に限って前記主参照画素を補正する。

上述のような本発明に係る画面内予測を利用した復号化方法および装置を利用する場合には、符号化および復号化効率を向上させることができる。

また、映像の圧縮率をさらに向上させることができる長所がある。

本発明の一実施例に係る映像符号化および復号化システムの概念図。 本発明の一実施例に係る映像符号化装置のブロック図。 本発明の一実施例に係る映像復号化装置３０の構成図。 本発明の一実施例に係るブロック分割を説明するための例示図。 本発明の一実施例に係るクアッドツリー方式とバイナリツリー方式の分割を説明するための例示図。 本発明の一実施例に係る符号化ブロックを分割して獲得される予測ブロックの形態に対する例示図。 本発明の一実施例に係る予測ブロックを符号化ブロックから分割する例示図。 本発明の一実施例に係る変換ブロックの分割形態を説明するための例示図。 本発明の一実施例に係る変換ブロックが符号化ブロックから分割される方法を説明するための例示図。 ＨＥＶＣで遂行される画面内予測モードを説明するための例示図。 本発明の一実施例に係る画面内予測モードを説明するための例示図。 本発明の一実施例に係る水平または垂直モードで適用可能な参照画素を説明するための例示図。 一般的なブロック基盤予測と画素基盤予測を比較するための例示図。 一般的な画面内予測方法を説明するための例示図。 本発明の一実施例に係る画面内予測後に独立的に残差ブロックに対する変換と量子化が進行される過程を説明するための例示図。 本発明の一実施例に係る画面内予測で現在ブロック内に符号化が完了したサブブロックを参照して依存的画面内予測を説明するための例示図。 本発明の一実施例に係るバイナリ分割が適用された現在ブロックに対して、残差ブロックの独立的な変換および量子化が進行される過程を説明するための例示図。 本発明の一実施例に係るバイナリ分割が適用された現在ブロックに対して、現在ブロックの符号化が完了したサブブロックを参照して依存的画面内予測を説明するための例示図。 本発明の一実施例に係る画素基盤予測を導入した画面内予測方法についての例示図。 本発明の一実施例に係るブロック基盤画面内予測で、参照画素の傾きまたは差分値を利用して予測する方法についての例示図。 本発明の一実施例に係る垂直モード画面内予測で、横分割されたサブブロックの予測方法についての例示図。 本発明の一実施例に係る垂直モード画面内予測で、縦分割されたサブブロックの予測方法についての例示図。 本発明の一実施例に係る垂直モード画面内予測で、画素ラインで分割されたサブブロックの予測方法の第１例示図。 本発明の一実施例に係る垂直モード画面内予測で、画素ラインで分割されたサブブロックの予測方法の第２例示図。 本発明の一実施例に係る垂直モード画面内予測で、クアッドツリー方式で分割されたサブブロックの予測方法の第１例示図。 本発明の一実施例に係る垂直モード画面内予測で、クアッドツリー方式で分割されたサブブロックの予測方法の第２例示図。 本発明の一実施例に係る垂直モード画面内予測で、奇数または偶数座標により分割されたサブブロックの予測方法の第２例示図。 本発明の一実施例に係る対角線モードの画面内予測で、参照画素の傾きまたは差分値をさらに利用して予測を遂行する方法についての例示図。 本発明の一実施例に係る対角線モードの画面内予測で、バイナリモードで横分割されたサブブロックに対して予測を遂行する方法についての第１例示図。 本発明の一実施例に係る対角線モードの画面内予測で、バイナリモードで横分割されたサブブロックに対して予測を遂行する方法についての第２例示図。 本発明の一実施例に係る対角線モードの画面内予測で、バイナリモードで縦分割されたサブブロックに対して予測を遂行する方法についての第１例示図。 本発明の一実施例に係る対角線モードの画面内予測で、バイナリモードで縦分割されたサブブロックに対して予測を遂行する方法についての第２例示図。 本発明の一実施例に係る対角線モードの画面内予測で、画素ラインで分割されたサブブロックの予測方法の第１例示図。 本発明の一実施例に係る対角線モードの画面内予測で、画素ラインで分割されたサブブロックの予測方法の第２例示図。 変換ブロック単位で符号化係数の有無を指示するフラグの例示図。 ＨＥＶＣで残差ブロックに対するシンタックスの例。 本発明の一実施例に係る符号化係数の符号化を説明するための例示図。 現在符号化係数の前に符号化係数および数学式１５の値を決定する係数に関する例示図。 本発明の一実施例に係る画面内予測を利用した復号化方法のフローチャート。 本発明の一実施例に係る画面内予測を利用した復号化装置のブロック図。

本発明は多様な変更を加えることができ、多様な実施例を有することができるところ、特定の実施例を図面に例示し、詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定するためのものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。各図面の説明において、類似の参照符号は類似の構成要素に付与した。
第１、第２、Ａ、Ｂなどの用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を別の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく、かつ第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。「および／または」という用語は、複数の関連して記載された項目の組み合わせまたは複数の関連して記載された項目中のいずれかの項目を含む。
ある構成要素が別の構成要素に「連結されて」いるとか「接続されて」いると言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあり得ると理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
本出願で使った用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するためのものであり、一つまたはそれ以上の別の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
別途に定義されない限り、技術的又は科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般に理解されることと同じ意味を有している。一般に使われる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されるべきであり、本出願で明白に定義しない限り、理想的又は過度に形式的な意味に解釈されない。
以下、本発明に係る好ましい実施例を添付図面を参照して詳細に説明する。
図１は、本発明の一実施例に係る映像符号化および復号化システムの概念図である。

図１を参照すると、映像符号化装置１０５および復号化装置１００は、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートパソコン、個人携帯端末機（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯型マルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、プレイステーションポータブル（ＰＳＰ：ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ）、無線通信端末機（Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｒｍｉｎａｌ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ＴＶなどのような使用者端末機であるか応用サーバーとサービスサーバーなどのサーバー端末機であり得、各種機器または有無線通信網と通信を遂行するための通信モデムなどの通信装置、映像を符号化または復号化するためにインターまたはイントラ予測するための各種プログラムとデータを保存するためのメモリー（ｍｅｍｏｒｙ、１２０、１２５）、プログラムを遂行して演算および制御するためのプロセッサ（ｐｒｏｃｅｓｓｏｒ、１１０、１１５）等を具備する多様な装置を含むことができる。また、映像符号化装置１０５によりビットストリームに符号化された映像は、リアルタイムまたは非リアルタイムでインターネット、近距離無線通信網、無線ＬＡＮ網、ワイヤレスブロードバンド網、移動通信網などの有無線通信網（Ｎｅｔｗｏｒｋ）等を通じて、またはケーブル、汎用直列バス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ
Ｓｅｒｉａｌ Ｂｕｓ）等のような多様な通信インターフェースを通じて映像復号化装
置１００に伝送され、映像復号化装置１００で復号化されて映像に復元され再生され得る。また、映像符号化装置１０５によりビットストリームに符号化された映像は、コンピュータ読み取り可能な記録媒体を通じて映像符号化装置１０５から映像復号化装置１００に伝達され得る。

図２は、本発明の一実施例に係る映像符号化装置のブロック図である。

本実施例に係る映像符号化装置２０は、図２に示した通り、予測部２００、減算部２０５、変換部２１０、量子化部２１５、逆量子化部２２０、逆変換部２２５、加算部２３０、フィルタ部２３５、復号化ピクチャバッファ２４０およびエントロピー符号化部２４５を含むことができる。

予測部２００は、映像において現在符号化しようとするブロックに対して、画面内予測または画面間予測により予測を行うことができる。画面内予測または画面間予測における既決定された最適の予測モードによって予測ブロックを生成し、このとき、予測モードは画面内予測モード、動き関連情報などが含まれ得る。

減算部２０５は符号化する現在ブロックの画素値から予測ブロックの画素値を減算して画素差分値を導き出すことによって、残差（ｒｅｓｉｄｕｅ）映像ブロックを生成することができる。

変換部２１０は減算部２０５から伝達された残差ブロックを変換して変換ブロックを生成することができる。すなわち、空間領域に属する残差信号を周波数領域に属する残差変換信号に変換することができる。この時、使用される変換方法としては、アダマール変換（Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）、離散コサイン変換（ＤＣＴ Ｂａｓｅｄ−Ｔｒａｎｓｆｏｒｍ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（ＤＳＴ Ｂａｓｅｄ−Ｔｒａｎｓｆｏｒｍ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等のような変換技法が利用されてもよいが、これに限定されず、これを改良および変形した技法のような多様な変換技法が利用され得る。

量子化部２１５は変換ブロックを量子化して量子化された変換ブロックを生成することができる。すなわち、変換部から獲得される残差変換信号を量子化された残差変換信号に量子化することができる。この時、使用される量子化方法としては、デッドゾーン均一しきい値量子化（ＤＺＵＴＱ：Ｄｅａｄ Ｚｏｎｅ Ｕｎｉｆｏｒｍ Ｔｈｒｅｓｈｏｌｄ
Ｑｕａｎｔｉｚａｔｉｏｎ）、量子化加重値マトリックス（Ｑｕａｎｔｉｚａｔｉｏｎ
ｗｅｉｇｈｔｅｄ ｍａｔｒｉｘ）またはこれを改良した技法を使用することができる。

エントロピー符号化部２４５は、量子化された変換ブロックを符号化してビットストリームを出力することができる。この時、符号化方法としては、文脈適応可変長符号化（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、文脈適応２進算術符号化（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等を使用することができる。また、符号化過程で必要とされる付加的な情報を含むビットストリームを生成して出力することができ、このとき、付加的な情報はブロック分割についての情報、予測モードについての情報、変換情報、量子化係数などが含まれ得る。

逆量子化部２２０および逆変換部２２５は、逆量子化および逆変換をそれぞれ適用して画素信号で残差ブロックを再構成することができる。再構成された残差ブロックは加算部２３０で予測ブロックと加算されて復元ブロックを生成することができ、復元されたブロ
ックは復号化ピクチャバッファ２４０に保存されてブロック単位またはピクチャ単位で累積されて予測部２００に伝達されて、次のブロックまたは次のピクチャなどで参照されて使用され得る。

フィルタ部２３５は前記復元された映像ブロックに対して、必要に応じてブロッキング（ｂｌｏｃｋｉｎｇ）現象を除去するためにデブロッキングフィルタを適用してもよく、前記ビデオ品質を向上させるために追加のループフィルタが適用されてフィルタリングしてもよい。

図３は、本発明の一実施例に係る映像復号化装置３０の構成図である。

図３を参照すると、映像復号化装置３０は、符号化ピクチャバッファ３００、エントロピー復号化部３０５、予測部３１０、逆量子化部３１５、逆変換部３２０、加減算器３２５、フィルタ３３０、復号化ピクチャバッファ３３５を含んで構成され得る。

また、予測部３１０は画面内予測モジュールおよび画面間予測モジュールを含んで構成され得る。

まず、映像符号化装置２０から伝達された映像ビットストリームが受信されると、符号化ピクチャバッファ３００に保存され得る。

エントロピー復号化部３０５はビットストリームから量子化された変換ブロックを復元することができる。また、ビットストリームから復号化過程に必要な付加的な情報を復元することができ、これに対する情報は予測部３１０、逆量子化部３１５、逆変換部３２０等に伝達され得る。

予測部３１０はエントロピー復号化部３０５から伝達されたデータに基づいて現在ブロックに対する予測ブロックを生成することができる。予測ブロックは復号化ピクチャバッファ３３５に保存された参照映像と復元された予測ブロック情報に基づいて生成することができ、このとき、予測ブロック情報は予測モード情報、予測ブロック獲得情報（本例でブロックの大きさおよび形態、ブロックの分割情報）等を含むことができる。

逆量子化部３１５はビットストリームで提供されてエントロピー復号化部３０５により復号化された量子化された変換係数を逆量子化することができる。

逆変換部３２０は量子化された変換係数に逆変換技法を適用して残差ブロックを生成することができる。

この時、逆量子化部３１５、逆変換部３２０は前述した映像符号化装置２０の変換部２１０および量子化部２１５で遂行した過程を逆に遂行し、多様な方法で具現され得る。例えば、変換部２１０および量子化部２１５と共有する同一の過程および逆変換を使用してもよく、映像符号化装置２０から変換および量子化過程に関する情報（例えば、変換大きさ、変換形状、量子化タイプなど）を利用して変換および量子化過程を逆に遂行することができる。

逆量子化および逆変換過程を経た残差ブロックは、予測部３１０により導き出された予測ブロックと加算されて復元された映像ブロックが生成され得る。このような加算は加減算器３２５により行われ得る。

その後、フィルタ３３０は復元された映像ブロックに対して、必要に応じてブロッキン
グ（ｂｌｏｃｋｉｎｇ）現象を除去するためにデブロッキングフィルタを適用してもよく、前記復号化過程の前後に他のループフィルタをビデオ品質を向上させるために使用してもよい。

このように復元およびフィルタを経た映像ブロックは復号化ピクチャバッファ３３５に保存され得る。

次いで、本発明のブロック設定部について詳細に説明する。

映像符号化装置２０および映像復号化装置３０には、図示されていないがブロック設定部をさらに含むことができる。ブロック設定部は映像符号化および復号化装置の各構成部に関係して設定され得、この過程を通じてブロックの大きさおよび形態が決定され得る。この時、設定されるブロックは構成部により異なって定義され得、予測部２００の場合は予測ブロック、変換部２１０の場合は変換ブロックがこれに該当し得る。すなわち、構成部によりブロック単位が定義され得、本発明では符号化ブロック、予測ブロック、変換ブロックを中心に説明するが、これに限定されず、他の構成部によるブロック単位がさらに定義され得る。ブロックの大きさおよび形態はブロックが有する横、縦長によって定義され得る。

ブロック設定部はブロック単位が有することができる大きさおよび形態（本例において、最大値と最小値関連情報など）を定義することができる。また、ブロック設定部はブロック単位でのブロック分割設定（本例において、分割方式、分割深度など）を定義することができる。前記過程を通じてブロック単位で獲得され得る少なくとも一つの大きさと形態（本例において、個別的な横／縦長による正方形または少なくとも一つのアスペクト比を有する長方形の形態）を有するブロックが定義され得る。前記定義された設定はシークエンス、ピクチャ、スライス、タイルなどの単位で決定され得、ビットストリームに収録されてもよく、復号化器でパッシングされて関連情報として復元され得る。これは符号化および復号化過程の開始前段階で遂行され得る。また、各映像単位別に一つの設定を有することができ、二つ以上の設定を有することもできる。これは、スライスタイプ（Ｉ／Ｐ／Ｂ）、符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ）、カラー成分（Ｙ／Ｃｂ／Ｃｒ）、時間的階層（Ｔｅｍｐｏｒａｌ Ｉｄ）等の情報のうち一つまたは二つ以上の情報の組み合わせにより決定され得る。二つ以上の設定を有する場合に黙示的に関連情報が定められ得、または明示的に関連情報が生成されてもよい。

前記定義によりブロック単位で獲得され得る少なくとも一つの大きさと形態を有するブロックのうち最適のブロック単位（本例において、ブロックの大きさおよび形態）を決定するためのブロック情報が生成され得る。前記ブロック分割設定による定義（本例において、分割方式、分割深度など）により関連情報が生成（本例において、分割フラグ、分割インデックスなど）され得る。ブロック分割情報はブロック単位で決定されてビットストリームに収録され得、復号化器でパッシングされて関連情報として復元され得る。これは符号化および復号化過程の構成部開始前段階で決定され得る。前記定義と現在ブロック単位の状態（本例において、分割遂行前または分割遂行中のブロックの大きさおよび形態）に基づいて獲得され得るブロックが一つである場合には黙示的にブロック分割情報（本例において、分割遂行後のブロックの大きさおよび形態情報）が決定され得、二つ以上の場合には明示的にブロック分割情報が生成されてもよい。例えば、該当ブロック単位の最大ブロックの大きさ、最小ブロックの大きさ、深度、現在ブロックの大きさなどの情報が考慮されて黙示的または明示的な方法のうち一つが決定され得る。

また、ブロック単位によって同一の分割設定または異なる分割設定に従うことができる。例えば、符号化ブロックと予測ブロックで同一の分割方式（本例において、ツリー構造
による分割を遂行し、そのうちのクアッドツリー方式）を使用することができ、同一の分割許容深度の深さを使用することができる。または、予測ブロックと変換ブロックにおいて異なる分割方式（本例において、予測ブロックはインデックス選択による分割を遂行し、変換ブロックはツリー構造による分割を遂行し、そのうちのクアッドツリー方式）を使用することができ、異なる階層的分割方式（本例において、予測ブロックは単一の階層内でインデックス選択による分割を遂行し、変換ブロックは分割深度が１以上である多重階層でツリー構造による分割を遂行）を使用することができる。または符号化ブロックと変換ブロックにおいて異なる分割方式（本例において、ツリー構造による分割を遂行し、符号化ブロックはクアッドツリー方式とバイナリツリー方式であり、変換ブロックはクアッドツリー方式である）を使用することができ、同一の分割許容深度の深さを使用することができる。

ブロック分割設定のうち分割深度はブロック単位の初期ブロックを基準として空間的に分割した回数（本例において、初期ブロックの深度は０）を意味し、深度が増加するほどさらに小さいブロックに分割され得る。これは分割方式により深度関連の設定を別にすることができる。例えば、ツリー構造による分割を遂行する方式のうちクアッドツリー方式での深度とバイナリツリー方式での深度は、共通する一つの深度を使用することができ、個別に使用することができる。

上位ブロック単位の分割結果により下位ブロック単位の初期ブロック（本例において、分割遂行前のブロック）の大きさおよび形態が決定され、分割関連情報（本例において、分割遂行後のブロック情報）の生成に影響を与え得る。符号化ブロックは予測ブロックと変換ブロックの上位単位であり得、予測ブロックは変換ブロックの上位単位であってもよく、なくてもよい。これは符号化設定によって決定され得る。例えば、符号化モードがＩｎｔｒａの場合には予測ブロックは変換ブロックの上位単位であり得、Ｉｎｔｅｒの場合には予測ブロックは変換ブロックに独立的な単位であり得る。

また、一つ以上のブロック単位が結合されて一つの分割方式を共有することができる。例えば、符号化ブロックと予測ブロックが一つの単位で結合される場合、分割を通じて獲得された一つの最適のブロック（本例において、一つのブロックの大きさおよび形態）を有することができ、これは符号化および予測の基本単位（本例において、追加に分割を遂行しない単位）であり得る。または符号化ブロックと変換ブロックが一つの単位で結合される場合、一つの最適のブロックを有することができ、これは符号化および変換の基本単位であり得る。または符号化ブロックと予測ブロック、変換ブロックが一つの単位で結合される場合、一つの最適のブロックを有することができ、これは符号化、予測および変換の基本単位であり得る。これはスライスタイプ、符号化モード、カラー成分などの情報のうち一つまたは二つ以上の情報の組み合わせにより決定され得る。

本発明は各ブロック単位が個別的の場合を中心に説明するが、他のブロック単位への適用が可能であり得、各ブロック単位の二つ以上の統合的な場合への変形も適用可能である。

図４は、本発明の一実施例に係るブロック分割を説明するための例示図である。

図４を参照すると、符号化ブロックを分割する方法として、ツリー構造による分割形態を説明することができる。

本発明はツリー構造による分割に対する例としてクアッドツリー（Ｑｕａｄ ｔｒｅｅ）方式とバイナリツリー（Ｂｉｎａｒｙ ｔｒｅｅ）方式による分割の場合を例にして説明するが、これに限定されず、これを改良および変形した分割方法も利用され得る。

まず、クアッドツリー方式を符号化ブロック獲得方式として使用するＨＥＶＣの場合、獲得可能な符号化ブロックは４ａ（分割無）と４ｄ（横と縦方向にそれぞれ二分割）であり得る。一方、バイナリツリー方式を使用する場合、獲得可能な符号化ブロックは４ａ、４ｂ（横方向に二分割）、４ｃ（縦方向に二分割）であり得、両方式を混用する場合、獲得可能な符号化ブロックは４ａ、４ｂ、４ｃ、４ｄであり得る。クアッドツリー方式の場合、分割と関連して一つの分割フラグを支援し、該当フラグが０である場合には４ａ、１である場合には４ｄのブロックの形態を有することができる。バイナリツリー方式の場合は一つ以上の分割フラグを支援し、そのうち一つは分割の有無を表すフラグであり得、そのうち一つは横／縦分割の有無を表すフラグであり得、そのうち一つは横／縦分割の重なりの有無を表すフラグであり得る。

Ｌ１（横分割）とＬ２（縦分割）はバイナリツリー分割を遂行する場合、ブロック間の境界を分ける線であり得、Ｌ３とＬ４はクアッドツリー分割を遂行する場合、ブロック間の境界を分ける線であり得る。分割方式および設定によりＬ３とＬ４はＬ１とＬ２のように横分割、縦分割のようなバイナリツリー分割での境界線であり得、Ｌ３とＬ４の境界線の重なりが許容される使用設定下ではＬ３とＬ４の境界線でクアッドツリー分割を遂行することもできる。また、他の例として、Ｌ３とＬ４の境界線の重なりが許容されない設定下では獲得可能な符号化ブロックは４ａ、４ｂ、４ｃであり得、境界線の重なりがの許容される設定下では獲得可能な符号化ブロックは４ａ、４ｂ、４ｃ、４ｄであり得る。

したがって、分割前符号化ブロックが４ａ〜４ｄのように正方形の形態（Ｍ×Ｍ）の場合、Ｍ×Ｍ／２、Ｍ／２×Ｍ、Ｍ／２×Ｍ／２等のような分割ブロックが獲得され得る。

分割前符号化ブロックが長方形の形態Ｍ×Ｎの場合、Ｍ×Ｎ／２、Ｍ／２×Ｎ、Ｍ／２×Ｎ／２等のような分割ブロックが獲得され得る。さらに、符号化ブロックの横／縦比と深度によりＭ×Ｎ／４、Ｍ×Ｎ／８、Ｍ／４×Ｎ、Ｍ／８×Ｎ、Ｍ／２×Ｎ／４、Ｍ／４×Ｎ／２等のような横／縦比を有する符号化ブロックが獲得され得る。

また、前記例において、クアッドツリー、バイナリツリー、これを変形したその他の方式等を通して追加的な分割ブロック（例えば、横／縦比が前記例と異なる形式）が可能であり得る。

図４による例示はＭ×Ｍの大きさを有する分割形態として説明したが、最大符号化ブロックの大きさ、最小符号化ブロックの大きさ、許容可能な深度、分割方式、符号化モード、スライスタイプなどにより獲得され得る符号化ブロックはこれと異なり得る。最大符号化単位のブロックがＭ×Ｍの正方形の形態を有するのに比べ、使用される分割方式により（前記例において）２Ｍ×Ｍ、Ｍ×２Ｍと同じＭ×Ｎの長方形の形態であり得る。

図５は、本発明の一実施例に係るクアッドツリー方式とバイナリツリー方式の分割を説明するための例示図である。

図５を参照すると、太い実線Ｌ０は最大符号化ブロックを、太い実線と異なる線Ｌ１〜Ｌ５で区画されたブロックは分割された符号化ブロックを意味し、ブロック内部の数字は分割されたサブブロックの位置（本例において、Ｒａｓｔｅｒ Ｓｃａｎの順に従う）を意味し、「−」の個数は該当ブロックが有する深度深さを意味し、ブロック間の境界線の数字は分割された回数を意味し得る。例えば、四分割された場合（本例において、クアッドツリー方式）、ＵＬ（０）−ＵＲ（１）−ＤＬ（２）−ＤＲ（３）の順序を、二分割された場合（本例において、バイナリツリー方式）はＬまたはＵ（０）−ＲまたはＤ（１）の順序を有することができ、これは各深度深さで定義され得る。

一方、様々な要因により獲得可能な符号化ブロックが制限的であり得る。

一例として、５ａの最大符号化ブロックが６４×６４であり、最小符号化ブロックは１６×１６であり、クアッドツリー分割を使用すると仮定する。この場合、２−０、２−１、２−２ブロック（本例において、１６×１６の大きさ）が最小符号化ブロックの大きさと同じであるため、２−３−０、２−３−１、２−３−２、２−３−３ブロック（本例において、８×８大きさ）のようなさらに小さいブロックには分割されないこともある。この場合、２−０、２−１、２−２、２−３ブロックでは獲得可能なブロックは１６×１６ブロック、すなわち一つの候補群を有するためブロック分割情報が生成されない。

一例として、５ｂの最大符号化ブロックが６４×６４であり、最小符号化ブロックは横または縦長で８、許容可能な深度は３であると仮定する。この場合、１−０−１−１（本例において、１６×１６の大きさ、深度深さは３）ブロックが最小符号化ブロック条件を満足するので、さらに小さいブロックに分割され得る。しかし、許容可能な深度と同じであるためさらに深い深度のブロック（本例において、１−０−１−０−０、１−０−１−０−１ブロック）に分割されないこともある。この場合１−０−１−０、１−０−１−１ブロックでは獲得可能なブロックは１６×８ブロック、すなわち一つの候補群を有するためブロック分割情報が生成されない。

このように、符号化設定により、クアッドツリー方式の分割を支援するか、バイナリツリー方式の分割を支援することができる。またはクアッドツリー方式の分割とバイナリツリー方式の分割を混合して支援することもできる。例えば、ブロックの大きさ、深度などにより前記方式のうち一つまたはそれらを混合して支援することができる。ブロックが第１ブロック範囲（Ｍｉｎ＿Ｑ〜Ｍａｘ＿Ｑ）に属する場合にはクアッドツリー方式を、第２ブロック範囲（Ｍｉｎ＿Ｂ〜Ｍａｘ＿Ｂ）に属する場合にはバイナリツリー方式を支援することができる。一つ以上の分割方式が支援される場合に有することができる各方式による最大符号化ブロックの大きさ、最小符号化ブロックの大きさ、許容可能な深度などの設定を一つ以上有することができる。前記範囲は相互の範囲が重なって設定されてもよく、そうでなくてもよい。またはいずれか一つの範囲が他の範囲を含む設定も可能であり得る。これに対する設定はスライスタイプ、符号化モード、カラー成分などの個別的であるか混合的な要素により決定され得る。

一例として、スライスタイプによりブロック分割設定が決定され得る。Ｉスライスの場合に支援されるブロック分割設定は、クアッドツリー方式の場合、１２８×１２８〜３２×３２範囲での分割を、バイナリツリー方式の場合、３２×３２〜８×８範囲での分割を支援することができる。Ｐ／Ｂスライスの場合に支援されるブロック分割設定は、クアッドツリー方式の場合、１２８×１２８〜３２×３２範囲での分割を、バイナリツリー方式の場合、６４×６４〜８×８範囲での分割を支援することができる。

一例として、符号化モードによりブロック分割設定が決定され得る。Ｉｎｔｒａの場合に支援されるブロック分割設定は、バイナリツリー方式の場合、６４×６４〜８×８範囲での分割と許容可能な深度２を支援することができる。Ｉｎｔｅｒの場合に支援されるブロック分割設定は、バイナリツリー方式の場合、３２×３２〜８×８範囲での分割と許容可能な深度３を支援することができる。

一例として、カラー成分によりブロック分割設定が決定され得る。輝度成分の場合にクアッドツリー方式の場合、２５６×２５６〜６４×６４範囲での分割を、バイナリツリー方式の場合、６４×６４〜１６×１６範囲での分割を支援することができる。色差成分の場合にクアッドツリー方式の場合、輝度成分と同じ設定（本例において、色差フォーマッ
トに従って各ブロックの長さが比例する設定）を、バイナリツリー方式の場合、６４×６４〜４×４範囲（本例において、これに同一の輝度成分での範囲は１２８×１２８〜８×８、４：２：０での仮定）での分割を支援することができる。

図６は、本発明の一実施例に係る符号化ブロックを分割して獲得される予測ブロックの形態に対する例示図である。

予測ブロックを分割する方法で単一の階層（本例において、一つの深度、０）で一つ以上の候補群を有するブロック分割形態を支援することができ、追加的な深度の支援下でブロック分割を支援することができる。単一の階層で予測ブロックの分割を支援する場合には、二つ以上のブロック分割形態に対する多様な２進化過程を通じてインデックス情報を生成してブロック分割形態についての情報を表すことができ、多重階層で予測ブロックの分割を支援する場合には、分割方式（本例において、クアッドツリー、バイナリツリーなど）による分割フラグについての情報を生成してブロック分割形態についての情報を表すことができる。本発明の予測ブロック分割では、単一の階層で二つ以上のブロックの形態をインデックス情報の生成を通じて、ブロック分割形態についての情報を表す方法を中心に説明する。

図６は、単一の階層で獲得可能なブロック分割形態に対する例を示している。ここでは符号化ブロックが正方形の形態の場合を示しているが、長方形の形態である場合は図６と同一の横／縦比で変更適用され得る。

符号化設定により図６の候補群のうち一部を予測ブロック候補群に設定することができる。ＨＥＶＣの場合、符号化モードが画面内予測（Ｉｎｔｒａ）の場合６ａと６ｈを予測ブロックの形態の候補群を置くことができる。画面間予測（Ｉｎｔｅｒ）の場合６ａ、６ｂ、６ｃ、６ｄを候補群として置くことができる。不均等な分割候補群を含む設定では６ａ〜６ｈを候補群に置くことができる。

図７は、本発明の一実施例に係る予測ブロックを符号化ブロックから分割する例示図である。

図７を参照すると、実線は符号化ブロックを、実線と点線で区画されたブロックは予測ブロックを意味し、ブロック内部の数字は各符号化ブロックで分割された予測ブロックの位置（本例において、Ｒａｓｔｅｒ Ｓｃａｎ順に従う）を意味する。

７ａはクアッドツリー分割を通じて正方形の形態の符号化ブロックが獲得され、符号化ブロックで予測ブロックが獲得される例を示し、７ｂはバイナリツリー分割を通じて長方形の形態の符号化ブロックが獲得され、符号化ブロックで予測ブロックが獲得される例を示している。または７ａは符号化ブロックから予測ブロックへの分割はクアッドツリー方式またはバイナリツリー方式を使用することができ、７ｂは符号化ブロックから予測ブロックへの分割はクアッドツリー方式またはバイナリツリー方式を使用することができる。

ここで支援される予測ブロックの形態が図６の６ａ、６ｂ、６ｃ、６ｈであると仮定する時、正方形の形態の符号化ブロックで獲得される予測ブロックはＭ×Ｍ、Ｍ×Ｍ／２、Ｍ／２×Ｍ、Ｍ／２×Ｍ／２であり得、長方形の形態の符号化ブロックで獲得される予測ブロックはＭ×Ｎ、Ｍ×Ｎ／２、Ｍ／２×Ｎ、Ｍ／２×Ｎ／２であり得る。正方形の形態の符号化ブロックで獲得される予測ブロックは横／縦または縦／横比が１：１または１：２の比率を有するのに比べ、長方形の形態の符号化ブロックで獲得される予測ブロックは予測ブロック分割前に符号化ブロックの横／縦または縦／横比により１：１から１：ｋの比率を有することができる。この時、ｋは最大符号化ブロックの大きさ、最小符号化ブロ
ックの大きさ、許容可能な深度、予測ブロックの形態、予測ブロックの分割方式などによって決定され得る。

符号化ブロックの分割方式により予測ブロックの分割形態または方式を異なるように設定することができる。または予測ブロック分割前符号化ブロックが正方形の形態の場合と長方形の形態の場合により予測ブロックの分割形態または方式を異なるように設定することができる。または符号化モードにより予測ブロックの分割形態または方式を異なるように設定することができる。または符号化ブロックの大きさまたは深度により予測ブロックの分割形態または方式を異なるように設定することができる。

一例として、クアッドツリー方式で符号化ブロックを分割するか符号化ブロックが正方形の形態の場合は、図６の６ａ〜６ｈとそれ以外の追加的な分割形態を含む候補群のうち一部を予測ブロックの分割形態に含むことができる。またはクアッドツリー方式で予測ブロックを分割して図６の６ａ、６ｂ、６ｃの分割形態を含むことができる。

一例として、バイナリツリー方式で符号化ブロックを分割するか符号化ブロックが長方形の形態である場合は、６ａを予測ブロックの分割形態Ｍ×Ｎに含むことができる。またはバイナリツリー方式で予測ブロックを分割して６ａの分割形態Ｍ×Ｎを含むことができる。これは予測ブロック単位では追加的な分割を支援しないことを意味し得る。これは符号化ブロック獲得過程において、正方形の形態に追加して長方形の形態の符号化ブロックの獲得が可能であるため、予測単位での分割を特に支援しないことを意味し得る。これは符号化ブロックと予測ブロックが結合されて一つの分割方式を共有する例であって、予測ブロック分割形態についての情報は生成しないこともある。

一例として、符号化ブロックが長方形の形態であり、符号化モードはＩｎｔｒａであり、画面内予測の予測ブロックは正方形の形態を支援する時は、符号化ブロックの短い長さを有する横または縦に合わせて予測ブロックが分割され得る。符号化ブロックが２Ｍ×Ｍであり、符号化モードはＩｎｔｒａであるとき、このとき予測ブロックは２つのＭ×Ｍブロックに分割され得る。これは分割についての情報は生成しないこともある。

一例として、符号化ブロックが長方形の形態であり、符号化モードはＩｎｔｒａであり、画面内予測ブロックは正方形と長方形の形態を支援する時は、図６の６ａ〜６ｈとそれ以外の追加的な分割形態を含む候補群のうち一部を予測ブロックの分割形態に含むことができる。またはクアッドツリー方式で予測ブロックを分割して図６の６ａ、６ｈの分割形態を含むことができる。

一例として、符号化ブロックが正方形の形態であり、符号化モードはＩｎｔｒａであり、画面内予測ブロックは正方形と長方形の形態を支援する時は、図６の６ａ〜６ｈとそれ以外の追加的な分割形態を含む候補群のうち一部を予測ブロックの分割形態に含むことができる。またはバイナリツリー方式で予測ブロックを分割して図６の６ａ、６ｂ、６ｃの分割形態を含むことができる。

一例として、符号化ブロックが第１ブロック範囲（Ｍｉｎ１〜Ｍａｘ１）に属する時は、図６の６ａ〜６ｈとそれ以外の追加的なブロックの形態を含む候補群のうち一部（候補群１）を予測ブロック分割形態に含むことができ、第２ブロック範囲（Ｍｉｎ２〜Ｍａｘ２）に属する時は、図６の６ａ〜６ｈとそれ以外の追加的な分割形態を含む候補群のうち一部（候補群２）を予測ブロック分割形態に含むことができる。

予測ブロックの最大の大きさは最大符号化ブロックの大きさと同じであるか小さくてもよく、予測ブロックの最小の大きさは最小符号化ブロックの大きさと同じであるか小さく
てもよい。これに伴い、予測ブロックの分割形態は制限的に支援され得る。

一例として、最大符号化ブロックの大きさは６４×６４であり、現在符号化ブロックは６４×６４であり、最大予測ブロックの大きさは３２×３２であり、支援可能な予測ブロック候補群がＭ×Ｎ（符号化ブロック基準）、Ｍ×Ｎ／２、Ｍ／２×Ｎ、Ｍ／２×Ｎ／２であると仮定する時、このとき予測ブロック候補群は６４×６４、６４×３２、３２×６４、３２×３２であり得る。このうち３２×３２が支援可能な候補群であり得、予測ブロック候補群についての情報を生成することなく黙示的に３２×３２に分割情報が決定され得る。

一例として、最小符号化ブロックの大きさが８×８であり、現在符号化ブロックは１６×８であり、最小予測ブロックの大きさは８×８であり、支援可能な予測ブロック候補群がＭ×Ｎ（符号化ブロック基準）、Ｍ×Ｎ／２、Ｍ／２×Ｎ、Ｍ／２×Ｎ／２であると仮定する時、このとき予測ブロック候補群は１６×８、１６×４、８×８、８×４であり得る。このうち一部は最小予測ブロックの大きさより小さいので、これを除いた１６×８、８×８が予測ブロック候補群に含まれ得、これを候補群にした２進化を通じてインデックス情報を生成することができる。

図８は、本発明の一実施例に係る変換ブロックの分割形態を説明するための例示図である。

変換ブロックの場合、変換の基本単位であって、符号化ブロックの分割を通じて一つ以上のブロックの形態を有することができる。または予測ブロックの分割を通じて一つ以上のブロックの形態を有することができる。

ＨＥＶＣの場合、符号化ブロックからクアッドツリー方式を通じて分割することができ、最小変換ブロックの大きさ、許容可能な深度などにより一つ以上の正方形の形態の変換ブロックを獲得することができる。

符号化ブロックが正方形の形態に追加して長方形の形態で構成される場合には、符号化器の設定により支援可能な変換ブロックの大きさおよび形態が決定され得る。

図８を参照すると、クアッドツリー方式を変換ブロック獲得方式として使用するＨＥＶＣの場合、獲得可能な変換ブロックは８ａと８ｄ（本例は一つの深度を基準）であり得る。したがって、バイナリツリー方式を使用する場合、獲得可能な変換ブロックは８ａ、８ｂ、８ｃであり得、両方式を混用する場合、獲得可能な変換ブロックは８ａ、８ｂ、８ｃ、８ｄであり得る。クアッドツリー方式の場合、分割と関連して分割フラグを支援し、該当フラグが１である場合には８ａ、０である場合には８ｄのブロックの形態を表す。バイナリツリー方式の場合は一つ以上の分割フラグを支援し、そのうち一つは分割の有無を表すフラグであり得、そのうち一つは横／縦の分割の有無を表すフラグであり得、そのうち一つは横／縦分割の重なりの有無を表すフラグであり得る。

分割前符号化ブロックが前記例のように正方形の形態（Ｍ×Ｍ）の場合、Ｍ×Ｍ／２、Ｍ／２×Ｍ、Ｍ／２×Ｍ／２等のような変換ブロックを獲得することができる。

分割前符号化ブロックが長方形の形態Ｍ×Ｎの場合、Ｍ×Ｎ／２、Ｍ／２×Ｎ、Ｍ／２×Ｎ／２等のような変換ブロックを獲得することができる。符号化ブロックの横／縦比と深度によりＭ×Ｎ／４、Ｍ×Ｎ／８、Ｍ／４×Ｎ、Ｍ／８×Ｎ、Ｍ／２×Ｎ／４、Ｍ／４×Ｎ／２等のような横／縦比を有する変換ブロックも獲得され得る。

ここで、クアッドツリー、バイナリツリー、これを変形したその他の方式等を通して追加的な分割ブロック（例えば、横／縦比が前記例と異なる形式）が可能であり得る。

変換ブロックは符号化器の設定により最大変換ブロックの大きさ、最小変換ブロックの大きさ、許容可能な深度、分割方法などの情報により多様な大きさおよび形態の変換ブロックが獲得され得る。この時、深度は符号化ブロックを基準（本例において、符号化ブロックでの深度は０）としてチェックされ、深度が大きくなるほどさらに小さい変換単位に分割され、最小変換単位まで分割することができる。

図９は、本発明の一実施例に係る変換ブロックが符号化ブロックから分割される方法を説明するための例示図である。

図９を参照すると、９ａと９ｂは符号化ブロックに基づいて実線または点線で分割した変換ブロックを示し、各変換ブロックを指示するためにブロック内に数字で表記した。

９ａの場合、符号化ブロックはクアッドツリー方式で分割され、９ｂはバイナリツリー方式で分割された、９ａと９ｂの変換ブロックはクアッドツリー方式とバイナリツリー方式が混用された形態を有すると仮定すると、変換ブロックは図８の８ａ、８ｂ、８ｃ、８ｄが獲得可能な変換ブロックであると仮定することができる。また、本例において符号化ブロックは図７の分割形態を有し、図９と図７は変換単位の分割と予測単位の分割に対する例を示していると仮定する。

９ａで４番ブロックはクアッドツリー方式で分割された正方形の符号化ブロックであり、深度０で分割されない図８の８ａのような形態の変換ブロックを意味し、１、２および３番ブロックの結合で構成されるブロックはクアッドツリー方式で分割された正方形符号化ブロックであり、１番と２番ブロックは深度１で分割された図８の８ｃのような形態の変換ブロックを意味し、３番ブロックは深度０で分割された図８の８ｂのような形態の変換ブロックを意味する。４番ブロック（変換ブロック）を図７の７ａで前記４番ブロックと同じ位置にある０と１番ブロック（予測ブロック）と比較すると、７ａで０と１番ブロックに分割されたのとは異なって８ａの４番ブロックは分割されないため、予測ブロックと変換ブロックの相互間に影響がない。しかし、１〜３番ブロック（変換ブロック）を図７の７ａで前記１〜３番ブロックと同じ位置にある０〜１番ブロック（予測ブロック）と比較すると、７ａの予測ブロックの分割形態が前記１〜３番ブロックの分割形態に影響を及ぼしたことを確認することができる。すなわち、符号化器の設定により変換ブロックの分割と予測ブロックの分割が独立的な分割を遂行するか依存的な分割を遂行するかを決定することができる。

符号化ブロックの分割方式により変換ブロックの分割形態を異なるように設定することができる。または変換ブロック分割前符号化ブロックが正方形の形態の場合と長方形の形態の場合によって、変換ブロックの分割形態を異なるように設定することができる。または符号化モードによって変換ブロックの分割形態を異なるように設定することができる。または符号化ブロックの大きさまたは深度によって変換ブロックの分割形態を異なるように設定することができる。

一例として、クアッドツリー方式で符号化ブロックを分割するか符号化ブロックが正方形の形態であり、変換ブロックは正方形の形態を支援する時は、図８の８ａ、８ｄのようにクアッドツリー方式の変換ブロックの分割形態を含むことができる。８ｄのように二つ以上のブロックに分割された場合、深度により追加的なクアッドツリー方式の分割が可能である。

一例として、クアッドツリー方式で符号化ブロックを分割するか符号化ブロックが正方形の形態であり、変換ブロックは正方形と長方形の形態を支援する時は、図８の８ａ、８ｂ、８ｃのようにバイナリツリー方式の変換ブロックの分割形態を含むことができる。８ｂ、８ｃのように二つ以上のブロックに分割された場合、深度により追加的なバイナリツリー方式の分割が可能である。

一例として、バイナリツリー方式で符号化ブロックを分割するか符号化ブロックが長方形の形態であり、変換ブロックは正方形の形態を支援する時は、図８の８ｂ、８ｃのようにバイナリツリー方式の変換ブロックの分割形態を含むことができる。すなわち、ブロックの短い長さを有する横または縦に合わせて変換ブロックを分割することができる。例えば、２Ｎ×Ｎが符号化ブロックの場合は８ｃは二つのＮ×Ｎ変換ブロックを獲得できるが、８ｂの場合は二つの２Ｎ×Ｎ／２変換ブロックを獲得することになって正方形の形態の変換ブロックを支援する条件と合わないため、これは変換ブロックの分割候補から除外され得る。この場合、バイナリツリー方式の変換ブロック分割フラグは省略され得るが、その理由は８ｃが唯一の候補であるためである。他の例として、Ｎ×４Ｎが符号化ブロックの場合、この時は８ｂや８ｃを通じては正方形の形態の変換ブロックを獲得し難い。この場合、深度０で８ｂを通じて２つのＮ×２Ｎの変換ブロックに分割され、各深度１で８ｂを通じて２つのＮｘＮ変換ブロックに分割されて合計４個のＮ×Ｎ変換ブロックに分割され得る。この場合、変換ブロック分割フラグも省略され得るが、その理由は各深度での分割フラグ候補は８ｂのみが存在するためである。

一例として、バイナリツリー方式で符号化ブロックを分割するか符号化ブロックが長方形の形態である場合は、図８の８ａを変換ブロックの分割形態Ｍ×Ｎに含むことができる。これは変換ブロック単位では追加的な分割を支援しないことを意味し得る。これは変換ブロック分割フラグが省略され得るということを意味する。

符号化設定によりクアッドツリー方式の分割を支援するか、バイナリツリー方式の分割を支援することができる。またはクアッドツリー方式の分割とバイナリツリー方式の分割を混合して支援することもできる。例えば、ブロックの大きさ、深度などにより前記方式のうち一つまたはそれらを混合して支援することができる。ブロックが第１ブロック範囲（Ｍｉｎ＿Ｑ〜Ｍａｘ＿Ｑ）に属する場合にはクアッドツリー方式を、第２ブロック範囲（Ｍｉｎ＿Ｂ〜Ｍａｘ＿Ｂ）に属する場合にはバイナリツリー方式を支援することができる。一つ以上の分割方式が支援される場合、有することができる各方式による最大変換ブロックの大きさ、最小変換ブロックの大きさ、許容可能な深度などの設定を一つ以上有することができる。前記範囲は相互の範囲が重なって設定されてもよく、そうでなくてもよい。またはいずれか一つの範囲が他の範囲を含む設定も可能であり得る。これに対する設定はスライスタイプ、符号化モード、カラー空間などの個別的であるか混合的な要素により決定され得る。

一例として、スライスタイプによりブロック分割設定が決定され得る。Ｉスライスの場合に支援されるブロック分割設定は、クアッドツリー方式の場合は６４×６４〜１６×１６範囲での分割を、バイナリツリー方式の場合は１６×１６〜４×４範囲での分割を支援することができる。Ｐスライスの場合に支援されるブロック分割設定は、クアッドツリー方式の場合は６４×６４〜１６×１６範囲での分割を、バイナリツリー方式の場合は３２×３２〜４×４範囲での分割を支援することができる。

一例として、符号化モードによりブロック分割設定が決定され得る。Ｉｎｔｒａの場合に支援されるブロック分割設定は、バイナリツリー方式の場合、１６×１６〜４×４範囲での分割と許容可能な深度３を支援することができる。Ｉｎｔｅｒの場合に支援されるブロック分割設定は、バイナリツリー方式の場合、３２×３２〜４×４範囲での分割と許容
可能な深度４を支援することができる。

一例として、カラー成分によりブロック分割設定が決定され得る。輝度成分の場合に、クアッドツリー方式の場合は６４×６４〜８×８範囲での分割を、バイナリツリー方式の場合は３２×３２〜８×８範囲での分割を支援することができる。色差成分の場合に、クアッドツリー方式の場合は輝度成分と同じ設定（本例において、色差フォーマットに従って各ブロックの長さが比例する設定）を、バイナリツリー方式の場合は８×８〜４×４範囲での分割を支援することができる。

また、符号化設定により正方形の形態の変換ブロックを支援するか長方形の形態の変換ブロックを支援することができる。または正方形の形態の変換ブロックと長方形の形態の変換ブロックを混合して支援することができる。例えば、ブロックの大きさ、深度などにより前記形態のうち一つまたはそれらを混合して支援することができる。ブロックが第１ブロック範囲（Ｍｉｎ＿Ｓ〜Ｍａｘ＿Ｓ）に属する場合には正方形の形態を、第２ブロック範囲（Ｍｉｎ＿Ｒ〜Ｍａｘ＿Ｒ）に属する場合には長方形の形態を支援することができる。一つ以上のブロックの形態が支援される場合、有することができる各形態による最大変換ブロックの大きさ、最小変換ブロックの大きさ、許容可能な深度などの設定を一つ以上有することができる。前記範囲は相互の範囲が重なって設定されてもよく、そうでなくてもよい。またはいずれか一つの範囲が他の範囲を含む設定も可能であり得る。これに対する設定はスライスタイプ、符号化モード、カラー空間などの一つ以上の要因またはこれらの組み合わせにより決定され得る。

変換ブロックの最大の大きさは最大符号化ブロックの大きさと同じであるか小さくてもよく、変換ブロックの最小の大きさは最小符号化ブロックの大きさと同じであるか小さくてもよい。したがって、変換ブロックの分割形態は制限的に支援され得る。

一例として、最大符号化ブロックの大きさが６４×６４であり、現在符号化ブロックは６４×６４であり、最大変換ブロックの大きさは３２×３２であり、支援される変換ブロック候補は３２×３２、３２×１６、１６×３２、１６×１６であり、支援される変換ブロック分割方法としてバイナリツリー方式とクアッドツリー方式が混用される図８の８ａ、８ｂ、８ｃ、８ｄが候補群であるとする時、深度０で８ａ、８ｂ、８ｃは分割候補から除外され得る。分割しない８ａの場合は支援される変換ブロックが存在せず、８ｂ、８ｃの場合、分割して獲得される６４×３２、３２×６４は追加に分割する場合に支援される変換ブロック分割候補群は（６４×３２を基準として説明）６４×３２（ａ）、３２×３２（ｂ）、６４×１６（ｃ）、３２×１６（ｄ）であり得るが、深度１でも依然として６４×３２、６４×１６は支援される変換ブロックではないこともある。その反面、深度１で図８の８ｄを分割する場合、支援される変換ブロック分割候補群は３２×３２（ａ）、３２×１６（ｂ）、１６×３２（ｃ）、１６×１６（ｄ）であり得るが、深度１ですべての候補群が支援される変換ブロックであり得る。

一例として、現在符号化ブロックが１６×８であり、変換ブロックの最小の大きさは４×４であり、支援される変換ブロック候補は１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４であり、許容可能な深度は２であり、支援される変換ブロック分割方法としてバイナリツリー方式とクアッドツリー方式が混用される図８の８ａ、８ｂ、８ｃ、８ｄが候補群であるとする時、深度０で支援される変換ブロック分割候補群は１６×８（ａ）、１６×４（ｂ）、８×８（ｃ）、８×４（ｄ）であり得るが、１６×４の場合は支援される変換ブロックではないので、これを除いた１６×８、８×８、８×４が変換ブロック候補群に含まれ得、これを候補群とした２進化を通じて分割情報を生成することができる。

次いで、本発明の変換部について詳細に説明する。

変換部に使用される変換方法でアダマール変換、離散コサイン変換、離散サイン変換などのような技法が利用され得る。前記変換のうち少なくとも一つの変換技法が支援され得、各変換技法から少なくとも一つの細部変換技法が支援され得る。この時、少なくとも一つの細部変換技法は各変換技法において基底ベクトルの一部が異なるように構成される変換技法であり得る。例えば、変換技法としてＤＣＴ基盤の変換とＤＳＴ基盤の変換が支援され得、ＤＣＴの場合はＤＣＴ−Ｉ、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＩＩ、ＤＣＴ−Ｖ、ＤＣＴ−ＶＩなどの細部変換技法が支援され得る。

前記変換のうち一つの変換（一つの変換技法＆＆一つの細部変換技法）が基本変換技法として設定され得、これに追加的な変換技法（二つ以上の変換技法｜｜二つ以上の細部変換技法）を支援することができる。追加的な変換技法支援の有無はシークエンス、ピクチャ、スライス、タイルなどの単位で決定され、前記単位で関連情報が生成され得る。

変換は水平、垂直方向に遂行され得る。例えば、変換での基底ベクトルを利用して水平方向に１次元変換を遂行し、垂直方向に１次元変換を遂行して総２次元変換を遂行することによって、空間軸の画素値を周波数軸に変換することができる。

また、水平、垂直方向に変換が適応的に適用され得る。例えば、画面内予測の場合で予測モードが水平モードの場合には、水平方向にはＤＣＴ−Ｉが、垂直方向にはＤＳＴ−Ｉが使用され得、垂直モードの場合には、水平方向にはＤＳＴ−ＩＩが、垂直方向にはＤＣＴ−ＩＩが使用され得、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔの場合には、水平方向にはＤＣＴ−Ｉ、垂直方向にはＤＣＴ−ＩＩが使用され得、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔの場合には、水平方向にはＤＳＴ−Ｉ、垂直方向にはＤＳＴ−ＩＩが使用され得る。

符号化設定により正方形の形態の変換に加えて長方形の形態の変換を支援することができる。正方形と長方形の形態の変換が支援される場合に対する多様な場合を変換ブロック分割過程を通じて説明した。

前記変換形態のうち正方形の形態の変換が基本変換形態と設定され得、これに対する追加的な変換形態（本例において、長方形の形態）を支援することができる。追加的な変換形態支援の有無はシークエンス、ピクチャ、スライス、タイルなどの単位で決定され、前記単位で関連情報が生成され得る。

変換ブロックの形態の支援は符号化情報により決定され得る。この時、符号化情報はスライスタイプ、符号化モード、ブロックの大きさおよび形態、ブロック分割方式などが該当し得る。少なくとも一つの符号化情報により一つの変換形態が支援され得、少なくとも一つの符号化情報により二つ以上の変換形態が支援され得る。前者の場合は黙示的な状況であり得、後者の場合は明示的な状況であり得る。明示的な場合は二つ以上の候補群のうち最適の候補群を表す適応的な選択情報を生成してこれをビットストリームに収録することができる。

一例として、スライスタイプにより長方形の形態の変換支援が決定され得る。Ｉスライスの場合に支援される変換形態は正方形の形態の変換であり得、Ｐ／Ｂスライスの場合は正方形の形態または長方形の形態の変換であり得る。

一例として、符号化モードにより長方形の形態の変換支援が決定され得る。Ｉｎｔｒａの場合に支援される変換形態は正方形の形態の変換であり得、Ｉｎｔｅｒの場合に支援さ
れる変換形態は正方形の形態とまたは長方形の形態の変換であり得る。

一例として、ブロックの大きさおよび形態により長方形の形態の変換支援が決定され得る。一定の大きさ以上のブロックで支援される変換形態は正方形の形態の変換であり得、一定の大きさ未満のブロックで支援される変換形態は正方形の形態または長方形の形態の変換であり得る。

一例として、ブロック分割方式により長方形の形態の変換支援が決定され得る。変換が遂行されるブロックがクアッドツリー分割方式を通じて獲得されたブロックの場合に支援される変換の形態は正方形の形態の変換であり得、バイナリツリー分割方式を通じて獲得されたブロックの場合に支援される変換の形態は正方形の形態または長方形の形態の変換であり得る。

前記例は一つの符号化情報による変換形態支援に対する例であり、二つ以上の情報が組み合わせられて追加的な変換形態支援設定に関与することもできる。前記例は多様な符号化設定により追加的な変換形態支援に対する一例に過ぎず、これに限定されず、多様な変形の例が可能であり得る。

符号化設定または映像の特性によって変換過程は省略することができる。例えば、量子化パラメーター（本例においては、ＱＰ＝０、無損失圧縮環境）により変換過程は省略することができる。他の例として、映像の特性により変換を通じての圧縮性能が発揮されない場合に変換過程を省略することができる。この時、省略する変換は全体単位であり得るか、水平、垂直単位のうち一つの単位が省略され得、これはブロックの大きさおよび形態によりこのような省略の支援の有無が決定され得る。

例えば、水平と垂直の変換の省略が束ねられる設定では、変換省略フラグが１である場合には水平、垂直方向に変換が遂行されず、０である時は水平、垂直方向に変換が遂行され得る。水平と垂直の変換の省略が独立的に動作する設定では、第１変換省略フラグが１である場合には水平方向に変換が遂行されず、０である場合には水平方向に変換が遂行され、第２変換省略フラグが１である場合には垂直方向に変換が遂行されず、０である場合には垂直方向に変換が遂行される。

ブロックの大きさが範囲Ａに該当する場合には変換省略が支援され得、範囲Ｂに該当する場合には変換省略を支援することができない。例えば、ブロックの横長がＭより大きかったりブロックの縦長がＮより大きい場合には、前記変換省略フラグは支援することができず、ブロックの横長がｍより小さかったりブロックの縦長がｎより小さい場合には前記変換省略フラグが支援され得る。Ｍ（ｍ）とＮ（ｎ）は同じであるか異なり得る。前記変換関連設定はシークエンス、ピクチャ、スライスなどの単位で決定され得る。

追加的な変換技法が支援される場合、変換技法設定は符号化情報により決定され得る。この時、符号化情報はスライスタイプ、符号化モード、ブロックの大きさおよび形態、予測モードなどが該当し得る。

一例として、スライスタイプにより変換技法の支援が決定され得る。Ｉスライスの場合に支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩ、ＤＳＴ−Ｉ、ＤＳＴ−ＩＩであり得、Ｐスライスの場合に支援される変換技法はＤＣＴ−Ｉ、ＤＳＴ−Ｉ、ＤＳＴ−ＩＩであり得、Ｂスライスの場合に支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩ、ＤＳＴ−Ｉであり得る。

一例として、符号化モードにより変換技法の支援が決定され得る。Ｉｎｔｒａの場合に
支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＩＩ、ＤＳＴ−Ｉ、ＤＳＴ−ＩＩであり得、Ｉｎｔｅｒの場合に支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩ、ＤＳＴ−ＩＩであり得る。

一例として、ブロックの大きさおよび形態により変換技法の支援が決定され得る。一定の大きさ以上のブロックで支援される変換技法はＤＣＴ−Ｉであり得、一定の大きさ未満のブロックで支援される変換技法はＤＣＴ−Ｉ、ＤＳＴ−Ｉであり得、一定の大きさ以上と一定の大きさ未満のブロックで支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩ、ＤＳＴ−Ｉであり得る。また、正方形の形態で支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩであり得、長方形の形態で支援される変換技法はＤＣＴ−Ｉ、ＤＳＴ−Ｉであり得る。

一例として、予測モードにより変換技法の支援が決定され得る。予測モードＡで支援される変換技法はＤＣＴ−Ｉ、ＤＣＴ−ＩＩであり得、予測モードＢで支援される変換技法はＤＣＴ−Ｉ、ＤＳＴ−Ｉであり得、予測モードＣで支援される変換技法はＤＣＴ−Ｉであり得る。この時、予測モードＡ、Ｂは方向性モード、予測モードＣは非方向性モードであり得る。

前記例は一つの符号化情報による変換技法支援に対する例であり、二つ以上の情報が組み合わせられて追加的な変換技法支援設定に関与することもできる。また、前記例の場合にのみ限定されず、他の例への変形も可能であり得る。

次いで、本発明の予測部の画面内予測について詳細に説明する。

画面内予測の予測ブロック生成前に参照画素準備過程が必要である。隣り合う符号化が完了したブロック（本例において、左側、左側の下、左側の上、上側、右側の上のブロック）の画素をその対象とすることができ、現在ブロックに隣接した隣のブロックの画素を予測ブロック生成に参照画素として使用することができる。隣り合うブロックが利用不可の場合には、利用可能な隣のブロックからの一つ以上の画素を利用して利用不可のブロックの画素位置に詰め込むことができる。この時、利用不可の場合は、該当ブロックの位置が映像（ピクチャ、スライス、タイルなど）の境界の外に位置するか符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ）により使用を制限する条件に属し得る。この時、利用可能な隣のブロックの位置は符号化設定によって決定され得る。例えば、詰め込む画素と空間的な距離が近い利用可能な画素を使用できるか詰め込む画素と相関性が高いと判断される利用可能な画素（予測モードと関係し得る）を使用することができる。これは現在ブロックのサブブロック位置により決定されてもよく、これについては後述する実施例を通じて説明する。現在ブロックの予測に使用される参照画素は一つの臨時メモリーを通じて管理され得、これは現在ブロックの予測過程でのみ使用されるメモリーであり得る。

このように構成された参照画素にフィルタリングを適用することができる。これは量子化エラーが含まれた少なくとも一つの参照画素に低帯域通過（Ｌｏｗ Ｐａｓｓ ｆｉｌｔｅｒ）フィルタを適用して量子化エラーによる予測誤差を減らすための目的である。予測ブロックまたは変換ブロックの大きさおよび形態、画面内予測モード、現在ブロック内のサブブロック位置などにより適用されるフィルタ情報（一つ以上のフィルタ係数、一つ以上のフィルタ長）、フィルタリング適用参照画素の位置および個数、フィルタリング情報の生成の有無などの設定が適応的に定められ得る。

予測モードにより整数単位の参照画素だけでなく小数単位の参照画素を補間して予測を遂行することができる。この時、補間に使用される画素は補間しようとする位置の隣接した両側の画素となり得、それ以上の画素が使用され得る。補間に使用される画素の個数により４−ｔａｐ、６−ｔａｐフィルタなどが適用され得、フィルタ情報（一つ以上のフィ
ルタ長、一つ以上のフィルタ係数）はブロックの大きさおよび形態により適応的に決定され得る。

図１０は、ＨＥＶＣで遂行される画面内予測モードを説明するための例示図である。

図１０を参照すると、ＨＥＶＣでは合計３５種類のモード（方向性モード３３個、非方向性モード２個）を含んで画面内予測を支援している。支援される画面内予測モードはブロックの大きさにより可変的であり得る。例えば、６４×６４ブロックには６７個の予測モードを、３２×３２ブロックには３５個の予測モードを、１６×１６ブロックには１９個の予測モードを支援することができる。

また、支援される画面内予測モードはブロックの形態により可変的であるかまたは画面内モードに対する定義（本例においては、方向性を有するモード間隔）が変更され得る。

図１１は、本発明の一実施例に係る画面内予測モードを説明するための例示図である。

図１１を参照すると、予測ブロックの形態が正方形２Ｎ×２Ｎの場合は図１１の１１ａ、横が長い長方形２Ｎ×Ｎの場合は１１ｂ、縦が長い長方形Ｎ×２Ｎの場合は１１ｃのような画面内予測モードが支援され得る。前記例は横、縦のうち長さが長い方向に狭いモード間隔を有し、短い方向に広いモード間隔を有する例であり得る。予測ブロックの大きさ、形態により予測モードの数、予測モードの間隔などの要素は固定的であるかまたは前記例の可変的な場合を含んで多様な変形が可能である。

図１２は、本発明の一実施例に係る水平または垂直モードで適用可能な参照画素を説明するための例示図である。

図１２を参照すると、方向性モードで水平モードと垂直モードに対する画面内予測を説明することができる。ｐは参照画素から予測される画素を表し、ｑは予測に使用する隣のブロックの参照画素を意味する。参照画素の場合、符号化が完了したブロックから獲得され得、左側、左側の上、左側の下、上側、右側の上のブロックに属した画素（現在ブロックの大きさがＭ×Ｎ＜ｐ_０、０〜ｐ_{Ｍ−１、Ｎ−１}＞である場合、ｑ_−１、０〜ｑ_{−１、２Ｎ−１}、ｑ_{−１、−１}〜ｑ_{２Ｍ−１、−１}）であり得る。

図１３は、一般的なブロック基盤予測と画素基盤予測を比較するための例示図である。

方向性を有する画面内予測モードの場合、予測モードの方向により参照画素ｑを外挿することによってｐの画素値を予測することができる。方向性を有する画面内予測モードの場合、二種類の方法を使用して予測ブロックを生成できるが、そのうち一つはブロック基盤の予測方法または画素基盤の予測方法であり得る。

図１３を参照すると、１３ａはブロック基盤画面内予測方法であって、現在ブロックと隣接したブロックに属する参照画素ｑが現在ブロック内の画素を予測するのにすべて適用され得る。

その反面、１３ｂは画素基盤画面内予測方法であって、ここで参照画素ｑはとなりの画素の予測にのみ使用され、それぞれの画素はそれと隣接し、符号化が完了した画素から予測が遂行され得る。

数１において、ｄはブロック基盤の予測方法で入力画素と予測画素の差分値を表し、（１）、（２）番の数式は予測モードがそれぞれ水平と垂直モードの場合（下記の数式もこのようなモード順で）を表す。前記のようなモードを含む整数単位の参照画素のみを使用して予測値を生成する場合もあり、異なる方向性を有するモードでは整数単位の参照画素の間の小数単位の参照画素を獲得して予測値を生成する場合もある。本発明では説明の便宜のために整数単位の参照画素を使用する場合の例を挙げる。これは小数単位の参照画素を使用する他の予測モードにより変更適用され得る。

前記数式において、ｄ’は画素基盤の予測方法で入力画素と予測画素の差分値を表し、（３）、（４）番の数式は予測モードがそれぞれ水平と垂直モードである場合を表す。画素単位の予測では予測方向前に置かれた最も隣接した画素を利用して予測をするため、各予測モードで最初の列と最初の行にある画素は参照画素との差分値を、それ以外の画素は以前画素の差分値を得ることができる。例えば、水平モードの場合はｄ_ｘ、ｙはｐ_ｘ、ｙとｐ_{ｘ−１、ｙ}の差分値であり得、垂直モードの場合はｄ_ｘ、ｙはｐ_ｘ、ｙとｐ_{ｘ、ｙ−１}の差分値であり得る。

数３を参照すると、ブロック基盤の予測を通じて獲得された差分値を利用して画素基盤の差分値を（５）、（６）のように表すことができる。すなわち、ブロック基盤の予測を通じて獲得された差分値で画素基盤の予測を通じての差分値を獲得できるということを意味する。各予測モードで最初の列と最初の行にある画素の差分値はブロック基盤の差分値と画素基盤の差分値と同じである点を除外すると、（５）、（６）の数式を通じて画素基盤の予測を通じての差分値を獲得することができる。

前記差分値の集合である残差ブロックを構成してこれを変換、量子化とその逆過程を通じて残差ブロックを復元することができる。量子化パラメーターにより無損失または損失した残差ブロックを獲得することができ、これをブロックまたは画素基盤の予測ブロック
を加算して画素を復元することができる。

数４はブロック基盤の予測を通じて復元される過程を含んでいる。ｐ’_ｘ、ｙは復元画素を意味し、ｄ＊_ｘ、ｙは復元された差分値を意味し、量子化パラメーターにより無損失または損失した値を獲得することができる。

数５は画素基盤の予測を通じて復元される過程を含んでいる。ｐ’_ｘ、ｙは復元画素を意味し、ｄ’＊_ｘ、ｙは復元された差分値を意味し、量子化パラメーターにより無損失または損失した値を獲得することができる。

数６は数３の（５）、（６）による表現方法を数５に適用して誘導された式である。

画素基盤の予測の場合、基本的な予測および符号化を遂行した後に後処理で追加的な予測をすることまたは基本的な予測および符号化で画素基盤の予測を適用することが可能である。本発明ではブロック基盤の予測の場合は損失圧縮で、画素基盤の予測の場合は無損失圧縮での例を挙げ、基本的な説明はブロック基盤の予測を基準として説明する。画面内予測の場合、予測ブロック、変換ブロックの大きさおよび形態により予測および符号化の順序が異なるように適用され得る。下記の例において、符号化ブロックの形態を正方形、予測ブロックと変換ブロックの場合は正方形と長方形の形態が可能であるという仮定下で説明するが、符号化ブロックの形態は長方形にも適用可能であるなど、前記条件にのみ限定されず、他の条件にも変更適用可能である。以下、本発明の一実施例に係る画面内予測方法を説明する。

図１４は、一般的な画面内予測方法を説明するための例示図である。

図１４を参照すると、隣接ブロックに属し、符号化する現在ブロックと隣接した参照画素を利用して現在ブロック２Ｎ×２Ｎの画面内予測を遂行し、予測ブロック１４−２を生成することができる。符号化する現在ブロック２Ｎ×２Ｎ、１４−１と予測ブロック２Ｎ×２Ｎ、１４−２の差分で残差ブロック２Ｎ×２Ｎ、１４−３を獲得した後に変換して変換ブロック２Ｎ×２Ｎを獲得し、変換ブロックに量子化を遂行して符号化過程を展開することができる。復号化側からは再び逆量子化および逆変換を通じて残差ブロック１４−３を復元し、復元された残差ブロックと予測ブロック１４−２を結合して現在ブロック１４−１を復元することができる。

図１５は、本発明の一実施例に係る画面内予測後に独立的に残差ブロックに対する変換と量子化が行われる過程を説明するための例示図である。

図１５を参照すると、現在ブロックは２Ｎ×２Ｎのブロックの形態を有し、変換ブロックはＮ×Ｎの形態を有することができる。この時、変換ブロックの大きさに合わせて符号化過程を展開すると、隣接ブロックにある参照画素を利用して、現在ブロック１４−１のサブブロック（変換ブロックの大きさを有する）ａ、ｂ、ｃ、ｄでそれぞれ独立的に予測が遂行され得、それにより獲得されたＡ、Ｂ、Ｃ、Ｄで構成された予測ブロック１４−２は再びａとＡの残差ブロックに対する符号化およびｂとＢの残差ブロック、ｃとＣの残差ブロックおよびｄとＤの残差ブロックに対する独立的符号化が遂行され得る。このような独立的符号化を通じて符号化の並列処理が可能であり得る。ただし、独立的符号化は予測の正確度が低下する問題が発生する可能性がある。

図１６は本発明の一実施例に係る画面内予測で現在ブロック内に符号化が完了したサブブロックを参照して依存的画面内予測を説明するための例示図である。

図１６を参照すると、図１５と同様に現在ブロックは２Ｎ×２Ｎのブロックの形態を有し、変換ブロックはＮ×Ｎの形態を有することができる。まず、隣接したブロックに属し、現在ブロックと隣接した参照画素を利用して現在ブロックのサブブロックａに対する画面内予測を遂行し、その結果、予測ブロックＡが先に生成され得る。その次にａとＡの残差ブロックを導き出し、変換、量子化、逆量子化、逆変換過程を経て、ａの復元ブロックを生成し、その次にサブブロックｂに対する画面内予測に活用することができる。

すなわち、サブブロックｂの画面内予測で隣接ブロックに属し、現在ブロックと隣接した参照画素だけでなく、すでに符号化が完了して復元されたサブブロックａ内にサブブロックｂと隣接した画素を追加的な参照画素として利用して予測を遂行することによってＢを導き出すことができる。同様に、ｃおよびｄに対しても先に符号化されたサブブロックを利用して予測および符号化が遂行され得る。

このように、すでに符号化が完了したサブブロックの画素を参照する場合、予測過程が依存的に遂行されるので並列処理に制約があり得るが、予測の正確度が高くなり得る。

図１７は、本発明の一実施例に係るバイナリ分割が適用された現在ブロックに対して、残差ブロックの独立的な変換および量子化が進行される過程を説明するための例示図である。

図１７を参照すると、現在ブロックは２Ｎ×２Ｎのブロックの形態を有し、変換ブロックはバイナリ分割によって２Ｎ×Ｎの形態を有することができる。

ここで、サブブロックａおよびｂに対する独立した画面内予測が遂行される場合、隣接ブロックに属し、現在ブロックと隣接した参照画素を利用してサブブロックａとｂの予測および符号化が独立的に遂行され得る。

したがって、ここでは図１５と変換ブロックの形態は相違するものの、予測過程は同じ方法で遂行され得る。

図１８は、本発明の一実施例に係るバイナリ分割が適用された現在ブロックに対して、現在ブロックの符号化が完了したサブブロックを参照して依存的画面内予測を説明するための例示図である。

図１８を参照すると、図１７のように現在ブロックは２Ｎ×２Ｎのブロックの形態を有し、変換ブロックはバイナリ分割によって２Ｎ×Ｎの形態を有することができる。

図１８は図１６の予測過程と同様に、サブブロックａをまず現在ブロックと隣接したブロックに属する画素を主参照画素として利用して符号化が遂行され、サブブロックｂの予測からは符号化が完了したａに属する画素を参照して画面内予測が遂行され得る。すなわち、ここでも図１６と同様に、符号化が完了したサブブロックの参照画素も共に活用して予測が遂行され得、予測の依存性によって順次的な予測および符号化が進行され得る。

以下ではこのように符号化が完了したサブブロックの参照画素を利用する方法を例にして説明し、この時、画素を表現する方法として、ｄ［ｘ］［ｙ］は任意の（ｘ、ｙ）画素座標から現在画素に対する予測値を引いた差分画素を指示し、ｒ［ｘ］［ｙ］は差分画素に対して変換および量子化とその逆過程が進行された後の復元された差分画素を指示し、ｐ’［ｘ］［ｙ］は現在画素に対する予測および符号化を経て復元された画素を指示するものと定義する。

図１９は一般的な画素基盤画面内予測とブロック基盤画面内予測を垂直モードで説明した例示図である。

まず、１９ａは画素基盤画面内予測であって、符号化が完了して復元された隣接参照画素から現在画素の予測および符号化が進行され、符号化が完了して復元された現在画素を参照して予測方向に隣接した画素の予測および符号化が順次遂行され得る。

現在ブロック２Ｍ×２Ｎの画素座標［ｘ］［ｙ］に基づいて予測画素の導き出し過程を数式で表示すると次の数７のように表すことができる。

また、予測画素は復元された差分画素ｒで表現すれば次の数８のように表現することもできる。

次いで、１９ｂはブロック基盤画面内予測であって、現在ブロックと隣接したブロックに属する参照画素を利用して現在ブロックを予測することができ、具体的には、参照画素を垂直方向にコピーすることによって、現在ブロックに対する予測ブロックを生成することができる。これを数式で表現すれば下記の数９の通りである。

図２０は、本発明の一実施例に係るブロック基盤画面内予測で参照画素の傾きまたは差分値を利用して予測する方法についての例示図である。

図２０を参照すると、１９ａおよび１９ｂとは異なってブロック基盤予測を一部結合して現在画素を予測する方法を説明することができる。現在ブロック内の任意の画素２０−１を予測する場合、画素基盤予測であれば現在画素２０−１および現在画素と隣接した復元画素２０−２を参照画素として利用して予測することになるが、そのままコピーして予測値として使用すると予測が不正確となり得る。したがって、現在画素２０−１および現在画素と隣接した復元画素２０−２間の差分値を現在画素と隣接した画素を参照して予測することによって、現在画素と隣接した復元画素２０−２を補正することができる。

例えば、現在画素２０−１および現在画素と隣接した復元画素２０−２の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値であるｄ２またはｄ４を現在画素２０−１と隣接した復元画素２０−２に付加することによって、現在画素２０−１を予測することができる。この時、ｄ２を利用するかｄ４を利用するかは、いずれを利用した予測結果が現在画素２０−１と近いのかによって決定され得、加重値がｄ２もｄ４に適用されてもよい。

ここで、差分値ｄ３またはｄ４を利用して現在画素を予測することは、ｄ３およびｄ４の値を導き出す画素が復元されなければならないため、一般的には画素基盤予測で使用され得る。しかし、本発明の場合、現在ブロックより予測のブロック単位（ＨＥＶＣでの変換ブロック）が異なる場合、そのような予測ブロックの単位として現在ブロックのサブブロックが先に符号化および復元され得るという点を考慮して、ブロック基盤予測で適用する。例えば、図２０でｄ４を導き出すのに使用される両画素が現在ブロック内の復元されたサブブロックに属するのであれば、図２０のように差分値ｄ４を参照することが可能であり得る。

一方、現在画素２０−１をブロック基盤の予測によるのであれば、現在画素２０−１と隣接した復元画素２０−２ではなく現在ブロックと隣接した復元画素２０−３を参照して
画面内予測が遂行され得る。この時も前述した方法と同様に、現在画素２０−１および現在ブロックと隣接した復元画素２０−３の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値ｄ１、ｄ３を現在ブロックと隣接した復元画素２０−３に付加することによって、現在画素２０−１の予測値を生成することができる。この時、ｄ１を利用するかｄ３を利用するかはいずれを利用した予測結果が現在画素２０−１と近いのかにより決定され得、加重値がｄ１やｄ３に適用されてもよい。

ここで、差分値ｄ１〜ｄ４は以下において両画素間の傾き値で表現してもよい。

一つの例として、差分値ｄ４と現在画素２０−１および現在画素と隣接した復元画素２０−２の関係を数式で表現すると、次の数１０のように導き出され得る。

ここで、ｗ０、ｗ１、ｗ２、ｗ３は加重値を意味し得、加重値は互いに同じであってもよく、１より小さい値でもよい。

さらに他の例として、差分値ｄ１と現在画素２０−１および現在ブロックと隣接した復元画素２０−３の関係を数式で表現すると、次の数１１のように導き出され得る。

数１１で、ｋは差分値ｄ１を適用する領域を設定する値であって、設定により一定の範囲のｘ座標を有する画素に対してのみ差分値を利用し、それ以外には使わない目的で適用され得る。また、ｗ０は差分値ｄ１に適用される加重値を意味し、１より小さくてもよく、ｗ０の影響を調節する追加的な加重値を置いてもよい。また、ｋ値により差分値が適用される加重値を異なるように設定することもできる。また、加重値は予測しようとする現在画素２０−１と主参照画素の間の距離に基づいて決定され得る。

以下では現在ブロックに属した現在画素の画面内予測値を生成するにおいて、現在画素２０−１と隣接した復元画素２０−２を主参照画素とするか、現在ブロックと隣接した復元画素２０−３を主参照画素として予測する方法を説明し、ひいてはｄ１〜ｄ４のうち少なくとも一つの差分値を利用する方法まで例を挙げて説明する。

図２１は、本発明の一実施例に係る垂直モード画面内予測で横分割されたサブブロックの予測方法についての例示図である。

図２１を参照すると、画面内予測モードで垂直モード（ｖｅｒｔｉｃａｌ）が遂行された時、それぞれのサブブロック単位で予測ブロックを生成する過程を説明することができる。ここで、それぞれのサブブロックは画面内予測が遂行される単位であって、現在ブロックと予測が遂行される単位が互いに異なるケースに該当し得、現在ブロックを２Ｍ×２Ｎと定義すると、サブブロックは２Ｍ×Ｎと定義され得る。また、それぞれのサブブロックはＨＥＶＣの用語で変換ブロックを指し示すこともある。

まず、２１ａでは第１サブブロックに対して現在ブロックより先に符号化されて復元された隣接ブロックに属し、現在ブロックと隣接した画素を参照して予測が遂行され得る。さらに詳細には現在ブロックと隣接したブロックに属する画素の画素値を垂直方向にコピーして第１サブブロックに対する予測ブロックを生成することができる。ただし、この時に追加的に、予測しようとする現在画素および現在ブロックと隣接した参照画素の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値で参照画素を補正することによって、現在画素の予測値を生成することができる。詳細には参照画素に差分値を足した値を第１サブブロック内に画素に対する予測値として第１サブブロックの予測ブロックを生成することができる。

次に、２１ｂを参照すると、符号化されて復元された第１サブブロック内に第２サブブロックと隣接した画素を主参照画素として第２サブブロックに対する予測が遂行され得る。ここでも同様に、予測しようとする現在画素および現在ブロックと隣接した主参照画素の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値で主参照画素を補正することによって、現在画素の予測値を生成することができる。詳細には主参照画素に前記差分値を足した値を第２サブブロック内に画素に対する予測値として第２サブブロックの予測ブロックを生成することができる。

２１ｃを２１ｂと比較して参照すると、２１ｂでの主参照画素に対して画面内予測方向と同じ方向に置いた画素にフィルタリングを遂行して量子化エラーなどを除去した後、参照画素として使用することができる。この時、フィルタリングされた主参照画素をそのまま使用できることは言うまでもなく、２１ｂのように差分値で補正して使用することもできる。これは現在ブロック内の画面内予測モード、サブブロック位置により適応的な参照画素フィルタリングが適用される例であり得る。詳細には、同じ予測ブロック（本例においては、変換ブロック単位で予測が遂行されるがブロック構成部で獲得されるブロックを意味し、該当ブロック内のサブブロックは同じ予測モードを有するケースに該当）に属し、サブブロックが参照する領域が現在ブロック内の符号化されたサブブロックであるとき適用される例であり得る。またはサブブロックが参照する領域が現在ブロックに隣接したブロックであるとき、参照ブロックの予測モードが現在ブロックの予測モードが同じである場合に適用され得る例であり得る。

２１ｄを参照すると、前述した主参照画素で現在画素を予測するにおいて、２１ｂとは異なる差分値を使用することができる。具体的には、現在ブロックと隣接したブロックに属する画素と主参照画素の間の差分値を利用して主参照画素を補正することによって、現在画素に対する予測値を生成することができる。すなわち、画面内予測モードの方向を基準として相応する位置に置かれた画素の傾き情報ではない主参照画素を含み、画面内予測モードの方向に置かれた以前の画素の傾き情報を主参照画素に補正することによって、予測値を生成することができる。前記傾き情報は現在画素と主参照画素の距離に基づいて補正され得る。

図２２は、本発明の一実施例に係る垂直モード画面内予測で縦分割されたサブブロックの予測方法についての例示図である。

２２ａを参照すると、現在ブロックと隣接したブロックに属する画素を主参照画素として第１サブブロックに対する予測が遂行され得る。ここで、第１サブブロックに属する現在画素の予測値は主参照画素をコピーして使用することができる。

しかし、２２ｂを参照すると、予測しようとする現在画素および現在ブロックと隣接した主参照画素の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値で主参照画素を補正することによって、現在画素の予測値を生成することができる。詳細には主参照画素に差分値を足した値を第１サブブロック内にある画素に対する予測値として第１サブブロックの予測ブロックを生成することができる。

２２ｃを参照すると、現在ブロックと隣接したブロックに属する画素が画面内予測方向上に位置しているので主参照画素となり、ここでも２２ｂのように予測しようとする現在画素および主参照画素の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値で主参照画素を補正することによって、現在画素の予測値を生成することができる。ただし、第１サブブロックがすでに符号化が完了して復元されたので、現在画素および主参照画素の位置と画面内予測モードの方向を基準として相応する位置にある画素は２つ以上特定され得る。すなわち、２１ｃでの差分値はｄ１とｄ２が考慮され得る。ここで、ｄ１で主参照画素を補正してもよく、ｄ２で主参照画素を補正してもよく、ｄ１とｄ２をすべて利用して主参照画素を補正することができる。また、ｄ１とｄ２に対する加重値を付与した値で主参照画素を補正することもできる。

図２３は、本発明の一実施例に係る垂直モード画面内予測で画素ラインで分割されたサブブロックの予測方法の第１例示図である。

まず、２３ａを参照すると、符号化しようとする現在ブロックの第１サブブロックは現在ブロックに対して横に偶数番目に位置した画素ラインで設定され得る。ここで、第１サブブロックに対する予測ブロックを生成する過程は、現在ブロックと隣接したブロックに属する画素を主参照画素として第１サブブロック内の各画素に予測値を生成することができる。さらに詳細には主参照画素の画素値を画面内予測方向にコピーして第１サブブロックに対する予測ブロックを生成することができる。

２３ｂを参照すると、第１サブブロックに対する予測および復元が完了した後に第２サブブロックに対する予測が遂行され得る。ここで、第２サブブロックは現在ブロックに対して横に奇数番目に位置した画素ラインで設定され得る。ここで、第２サブブロックに対する予測ブロックを生成する過程は、現在ブロックと隣接したブロックに属する画素だけでなく、符号化されて復元された第１サブブロックの画素も画面内予測方向上に位置しているため、そのような画素のすべてが第２サブブロックの予測に参照され得る。

詳細には、予測しようとする現在画素と画面内予測方向上に位置して現在画素と隣接した両画素を参照して第２サブブロックに対する予測を遂行することができる。この時、２３ｂを参照すると、予測モードが垂直モードであるので、現在画素と隣接した画素は現在画素の上下に位置しており、したがって、上下に位置した両画素を利用して第２サブブロックに対する予測ブロックを生成することができる。例えば、上下に位置した両画素値に対するそれぞれの加重値を付与して足した値を予測値として予測ブロックを生成することができる。

図２４は、本発明の一実施例に係る垂直モード画面内予測において画素ラインで分割されたサブブロックの予測方法の第２例示図である。

２４ａを参照すると、符号化しようとする現在ブロックの第１サブブロックは、現在ブロックに対して縦に偶数番目に位置した画素ラインで構成される領域で設定され得る。ここで、第１サブブロックに対する予測ブロックを生成する過程は、現在ブロックと隣接したブロックに属し、画面内予測方向上に位置した画素を主参照画素として第１サブブロック内の各画素に予測値を生成することができる。さらに詳細には、主参照画素の画素値を画面内予測方向にコピーして第１サブブロックに対する予測ブロックを生成することができる。

２４ｂを参照すると、第１サブブロックに対する予測および復元が完了した後に第２サブブロックに対する予測が遂行され得る。ここで、第２サブブロックは、現在ブロックに対して縦に奇数番目に位置した画素ラインで構成される領域で設定され得る。ここで、第２サブブロックに対する予測ブロックを生成する過程は、現在ブロックと隣接したブロックに属する画素を主参照画素として使用することができる。また、画面内予測方向上に位置していない第１サブブロックの画素は主参照画素の補正に使用することができる。

例えば、予測しようとする現在画素および主参照画素の位置と画面内予測モードの方向（垂直モードの場合）を基準として相応する位置にある両画素の差分値で主参照画素を補正することができるが、両画素は２４ｂでのように第１サブブロックに属する画素と現在ブロックと隣接したブロックに属する画素で構成され得る。

２４ｂを参照すると、主参照画素を補正する差分値はｄ１とｄ２が導き出され得るが、ｄ１のみを利用してもよく、ｄ２のみを利用してもよく、ｄ１とｄ２に加重値を付与した値で使用することもできる。

図２５は、本発明の一実施例に係る垂直モード画面内予測でクアッドツリー方式で分割されたサブブロックの予測方法の第１例示図である。

図２５の２５ａ、２５ｂ、２５ｃ、２５ｄを参照すると、符号化しようとする現在ブロックに対して、クアッドツリー方式で分割された第１サブブロック〜第４サブブロックに対する符号化過程を説明することができる。

具体的には、２５ａを参照すると、現在ブロックと隣接したブロックに属し、画面内予測方向上に位置した画素を主参照画素として第１サブブロックに対する予測が遂行され得る。

次に、２５ｂのように現在ブロックと隣接したブロックに属し、画面内予測方向上に位置した画素を主参照画素として第２サブブロックに対する予測が遂行され得る。

２５ｃを参照すると、第１サブブロックが符号化および復元が完了しているため、第１サブブロック内に属し、第３サブブロックと隣接した画素が画面内予測方向上に位置しているため、このような画素を主参照画素として第３サブブロックに対する予測が遂行され得る。

２５ｄを参照すると、第２サブブロックに対する符号化および復元が完了すると、第２サブブロック内に属し、第４サブブロックと隣接した画素を主参照画素として第４サブブロックに対する予測が遂行され得る。

図２６は、本発明の一実施例に係る垂直モード画面内予測でクアッドツリー方式で分割されたサブブロックの予測方法の第２例示図である。

図２６を参照すると、図２５のように第１サブブロック〜第４サブブロックに分割された現在ブロックの符号化が遂行され、この時、差分値を利用して主参照画素を補正したり、主参照画素に対するフィルタリングをさらに適用することができる。

まず、２６ａを参照すると、第１サブブロックに対する予測ブロックを遂行する過程は、現在ブロックと隣接したブロックに属する画素を主参照画素とすることができ、予測しようとする現在画素および主参照画素の位置と画面内予測方向に相応する位置にある両画素の差分値を利用して主参照画素を補正することができる。また、ここで差分値を利用して主参照画素を補正することは、２６ａのｋ範囲のように一定の距離内にある画素に対してのみ遂行されてもよい。

２６ｂを参照すると、第２サブブロックに対する予測ブロックを遂行する過程は、現在ブロックと隣接したブロックに属する画素を主参照画素とし、予測しようとする現在画素および主参照画素の位置と画面内予測方向に相応する位置にある両画素の差分値を利用して主参照画素を補正することができる。ここで、両画素は符号化および復元が完了した第１サブブロック内に位置することができる。

２６ｃを参照すると、符号化が完了した第１サブブロック内に位置し、第３サブブロックと隣接した画素を主参照画素として第３サブブロックに対する予測が遂行され得、この時、主参照画素に対して画面内予測方向と同じ方向に置かれた画素にフィルタリングがさらに遂行され得る。

２６ｄを参照すると、第４サブブロックに対する予測ブロックを生成する過程は、符号化および復元が完了した第２サブブロックに属し、第４サブブロックと隣接した画素を主参照画素として予測が遂行され得る。ここで、主参照画素に対して、２６ｄに表記された差分値を利用して追加的な補正が遂行され、補正された主参照画素で予測が遂行され得る。また、差分値に対して加重値が適用され得、加重値は主参照画素と予測しようとする現在画素の間の距離に基づいて設定され得る。

図２７は、本発明の一実施例に係る垂直モード画面内予測で奇数または偶数座標により分割されたサブブロックの予測方法の第２例示図である。

２７ａを参照すると、第１サブブロックは符号化しようとする現在ブロックのｘとｙ座標が奇数である画素で構成され得る。第１サブブロックに対する予測ブロックを生成する過程は、現在ブロックと隣接したブロックに属する画素を主参照画素として予測ブロックを生成することができ、さらに詳細には主参照画素を画面内予測方向（垂直）に第１サブブロックにコピーして予測ブロックを生成することができる。

２７ｂを参照すると、第２サブブロックは現在ブロックのｘ座標は奇数であり、ｙ座標は偶数である画素で構成され得る。第２サブブロックに対する予測ブロックを生成する過程で、主参照画素は現在ブロックと隣接したブロックに属する画素が含まれ得る。また、ここで主参照画素は符号化および復元された第１サブブロックが画面内予測方向上に位置しているため、第１サブブロック内の画素をさらに含むことができる。

ここで、予測しようとする第２サブブロックの各画素はその上下に復元が完了した画素を主参照画素として予測が遂行され得、さらに詳細には上下に位置した主参照画素に対してそれぞれ加重値を付与して予測値として使用することができる。

２７ｃを参照すると、第３サブブロックは現在ブロックのｘ座標は偶数であり、ｙ座標は奇数である画素で構成され得る。第３サブブロックに対する予測ブロックを生成する過
程で、主参照画素は画面内予測方向上に復元されたサブブロックがないため、現在ブロックと隣接したブロックに属する画素であり得る。

ここで、予測しようとする第３サブブロックの現在画素および主参照画素の位置と画面内予測方向に相応する位置にある両画素間の差分値を利用して主参照画素を補正することができる。２７ｃで画面内予測方向に相応する位置にある両画素は予測しようとする現在画素の左右のいずれにも存在することができるため、差分値ｄ１およびｄ３が予測に利用され得る。

２７ｄを参照すると、第４サブブロックは現在ブロックのｘとｙ座標が偶数である画素で構成され得る。ここで第４サブブロックの各画素に対する予測値は画面内予測方向上に位置した画素が第４サブブロックの上下に位置しているため、上下に位置した両画素を主参照画素として使用することができ、現在画素の上下に位置した両画素に加重値を付与して予測値として使用することもできる。

また、２７ｄで第４サブブロックの各画素の周辺の８個の画素がすべて復元されているので、復元されている周辺の８個の画素をすべて主参照画素にして第４サブブロックに対する予測ブロックを生成することができるが、予測しようとする現在画素周辺の８個の画素に対してそれぞれ加重値を付与した値を予測値として使用することができる。

図２８は、本発明の一実施例に係る対角線モードの画面内予測で参照画素の傾きまたは差分値をさらに利用して予測を遂行する方法についての例示図である。

図２８の２８ａと２８ｂにおいて斜線で表示された画素は現在ブロックと隣接したブロックに属する画素であって、符号化および復元が完了した画素を指示することができる。

２８ａを参照すると、一般的な対角線モードの予測であって、画面内予測方向（対角線）に位置し、現在ブロックと隣接したブロックに属する画素を主参照画素として予測を遂行することができる。さらに詳細には主参照画素の画素値を画面内予測方向にで現在ブロックにコピーすることによって、現在ブロックの各画素に対する予測値を生成することができる。

２８ｂを参照すると、現在ブロックと隣接したブロックに属する画素のうち画面内予測方向上に位置する画素を主参照画素として予測を遂行することができる。この時、２８ｂでの予測方向を詳察すると、斜線で表示された画素がｑ［−１］［−１］を除くとすべて予測方向上に位置しているため、主参照画素となり得る。さらに詳細には、一つの画面内予測方向に対して二つの斜線で表示された画素が存在しているので、両画素の平均値を予測値とするか、両画素のそれぞれに対する加重値を適用して足した値を予測値とすることができる。

ここで、主参照画素として設定される二つの参照画素のうち、ｋで表示された領域の外にある画素は予測方向の開始点にある第１主参照画素のみを利用して予測値を生成してもよく、２８ｂのｋで表示された領域にある画素に対しては第１主参照画素と第２主参照画素を利用して予測値を生成してもよい。

以下では垂直モードではなく対角線モードを基準として本発明の一実施例に係る画面内予測方法を説明し、この時、垂直モードで説明した方法が予測方向を異ならせて同一に適用され得ることは自明であるので、重複する説明は省略され得、一部サブブロックの形態も省略され得る。

前記例とは異なって少なくとも一つのモードのうち一部のモードの場合、第１主参照画素のみを利用して予測値を生成することもできる。例えば、Ｄｉａｇｏｎａｌ Ｄｏｗｎ
Ｌｅｆｔのようなモード（本例において、左側の上で開始点を有し、右側の下方向にコピーされるモードと仮定）は、参照できる第２主参照画素が存在しないこともある。第１主参照画素を基本参照画素として設定することができ、追加的な参照画素（本例において、第２主参照画素）を予測値の生成に使用することができる。第１主参照画素と第２主参照画素を使用できるすべてのモードに対して、第１主参照画素と追加的な主参照画素を使用して予測値を生成してもよく、一部のモードに対してのみ適用され得、これはブロックの大きさおよび形態、予測モードなどにより定められ得る。

図２９は、本発明の一実施例に係る対角線モードの画面内予測でバイナリモードで横分割されたサブブロックに対して予測を遂行する方法についての第１例示図である。

２９ａおよび２９ｂで第１サブブロック２Ｍ×Ｎおよび第２サブブロック２Ｍ×Ｎは現在ブロック２Ｍ×２Ｎを横分割して獲得され得る。

２９ａを参照すると、第１サブブロックは現在ブロックと隣接したブロックに属する画素のうち画面内予測方向（対角線）上に位置した画素を主参照画素に決定し、主参照画素を利用して予測が遂行され得る。さらに詳細には画面内予測方向の開始点に位置し、現在ブロックと隣接したブロックに属する画素を主参照画素として第１サブブロックに対する予測値を生成することができる。例えば、主参照画素を予測方向にコピーすることによって、予測値を生成することができる。

２９ｂを参照すると、画面内予測方向の開始点に位置し、第２サブブロックに属する画素を主参照画素として予測値を生成することができる。この時、画面内予測方向上に第１サブブロックの画素が存在しないこともあるが、このような場合、現在ブロックと隣接したブロックに属する画素を主参照画素とするか、第１サブブロックの画素を予測方向上にコピー（Ｐａｄｄｉｎｇ）して主参照画素として使用することができる。

図３０は、本発明の一実施例に係る対角線モードの画面内予測でバイナリモードで横分割されたサブブロックに対して予測を遂行する方法についての第２例示図である。

３０ａを参照すると、現在ブロックと隣接したブロックに属する画素が画面内予測方向（対角線）上に二つずつ存在するので、両画素（第１主参照画素、第２主参照画素）を主参照画素に決定し、主参照画素を利用して第１サブブロックに対する予測値を生成することができる。ここで、第１主参照画素は予測方向の開始点に位置し、第２主参照画素は予測方向の終点に位置することができる。また、ｋで表現された領域内に位置した画素に対して第１主参照画素と第２主参照画素をすべて利用して予測値を生成することができ、ｋで表現された領域の外に位置した画素に対しては第１主参照画素のみを利用して予測値を生成することもできる。具体的には、第１主参照画素をコピーした値を第１サブブロックに対する予測値とするか、第１主参照画素および第２主参照画素の平均またはそれぞれに加重値を付与した値を第１サブブロックに対する予測値とすることができる。

３０ｂを参照すると、第１サブブロックに対する予測および復元が完了した後に第２サブブロックに対する予測ブロックを生成する過程を説明することができる。ここで、画面内予測方向の開始点には復元された第１サブブロックに属する画素が位置し、終点には現在ブロックと隣接した画素が位置するので、両画素を主参照画素として第２サブブロックに対する予測を遂行することができる。ここでも、ｋで設定された範囲内の画素に対しては第１サブブロックに属する画素のみを主参照画素にして予測し、ｋで設定された範囲の外に位置した画素に対しては予測方向の終点に位置した画素をさらに主参照画素にして予
測を遂行することもできる。また、予測方向の開始点に位置した第１サブブロックに属する画素が一部の予測方向に対しては存在しないこともあるが、この時は２９ｂでのように第１サブブロックに属する画素を予測方向上にコピーしたり、現在ブロックと隣接したブロックに属する画素を利用して予測を遂行することができる。

３０ｃを参照すると、第２サブブロックに対する予測ブロックを生成するさらに他の過程を説明することができる。３０ｂでのように予測方向上に位置し、第１サブブロックに属する画素を主参照画素として使用できるということは言うまでもなく、第１サブブロックに属する画素に対してフィルタリングを遂行し、フィルタリングが遂行された画素値を主参照画素として使用することもできる。この時、フィルタリングが遂行される方向は予測方向と同じであるか類似し得、該当方向に置かれた画素にフィルタリングが遂行され得る。

３０ｄを参照すると、第２サブブロックに対する予測ブロックを生成するさらに他の過程を説明することができる。具体的には、第１サブブロックに属し、画面内予測方向の開始点に位置した画素を第１主参照画素とするものの、現在ブロックと隣接したブロックに属し、画面内予測方向の延長された開始点に位置した画素を第２主参照画素として予測を遂行することができる。例えば、第１主参照画素と第２主参照画素の間の差分値で第１主参照画素を補正した値を第２サブブロックの予測値として決定することができる。または第１主参照画素と第２主参照画素の間の差分値を第１主参照画素に足すか、差分値に加重値を付与して第１参照画素に足した値を第２サブブロックの予測値として決定することができる。詳細には、第１主参照画素を含んで画面内予測モードの方向に置かれた以前の画素（本例において、第２主参照画素を含む）の傾き情報を第１主参照画素に補正することができ、前記傾き情報は現在画素と第１主参照画素の距離に基づいて補正され得る。

図３１は、本発明の一実施例に係る対角線モードの画面内予測でバイナリモードで縦分割されたサブブロックに対して予測を遂行する方法についての第１例示図である。

３１ａおよび３１ｂで第１サブブロックおよび第２サブブロックは、現在ブロック２Ｍ×２Ｎを基準としてＭ×２Ｎの大きさを有することができる。

３１ａを参照すると、第１サブブロックに対して、現在ブロックと隣接したブロックに属し、画面内予測方向上に位置した画素を主参照画素として予測が遂行され得る。さらに詳細には画面内予測方向の開始点に位置した画素を主参照画素として予測が遂行され得る。

３１ｂを参照すると、３１ａの第１サブブロックと同様に、第２サブブロックに対して、現在ブロックと隣接したブロックに属し、画面内予測方向の開始点に位置した画素を主参照画素として予測が遂行され得る。

図３２は、本発明の一実施例に係る対角線モードの画面内予測でバイナリモードで縦分割されたサブブロックに対して予測を遂行する方法についての第２例示図である。

３２ａを参照すると、現在ブロックと隣接したブロックに属する画素のうち画面内予測方向上に位置した画素が現在ブロックの上端と左側に二つずつ位置することができる。したがって、現在ブロックの上端に画面内予測方向の開始点に位置した画素を第１主参照画素とし、現在ブロックの左側に画面内予測方向の終点に位置した画素を第２主参照画素として第１サブブロックに対する予測を遂行することができる。この時、ｋで設定された領域内に位置した画素に対しては第１主参照画素および第２主参照画素をすべて利用し、ｋで設定された領域の外に位置した画素に対しては第１主参照画素のみを利用することがで
きる。第１主参照画素および第２主参照画素をすべて利用する場合、両画素の平均または両画素のそれぞれに加重値を付与して足した値を第１サブブロック内の各画素に対する予測値として決定することができる。

３２ｂを参照すると、現在ブロックと隣接したブロックに属する第１主参照画素を利用できることは３２ａと同じであるが、符号化および復元が完了した第１サブブロック内の画素が画面内予測方向上に位置するので、第１サブブロック内の画素を第２主参照画素として利用することができる。第１主参照画素および第２主参照画素を利用する方法は３２ａと同じであるため、重複する説明は省略する。

３２ｃを参照すると、３２ｂのように第１主参照画素を利用したり、符号化および復元が完了した第１サブブロック内の画素をさらに利用することができる。この時、第２主参照画素からさらに進んで、第２主参照画素と画面内予測方向に隣接し、第１サブブロック内に位置した第３主参照画素をさらに利用して第２サブブロックの予測を遂行することができる。例えば、第１主参照画素、第２主参照画素および第３主参照画素のそれぞれに加重値を付与して足した値を第２サブブロックの各画素に対する予測値とするか、第１主参照画素〜第３主参照画素の平均値を第２サブブロックの各画素に対する予測値とすることができる。

図３３は、本発明の一実施例に係る対角線モードの画面内予測で画素ラインで分割されたサブブロックの予測方法の第１例示図である。

３３ａを参照すると、符号化しようとする現在ブロックの第１サブブロックは現在ブロックに対して横に偶数番目に位置した画素ラインで構成され得る。ここで、第１サブブロックの各画素に対する予測値は現在ブロックの上端または右上端に位置したブロック内に属する画素を主参照画素として、主参照画素値を予測方向にコピーすることによって生成することができる。

３３ｂを参照すると、符号化しようとする現在ブロックの第２サブブロックは現在ブロックに対して横に奇数番目に位置した画素ラインで構成され得る。ここで、予測しようとする現在画素の予測方向の前後にすでに復元された第１サブブロックの画素または現在ブロックと隣接したブロックに属する画素が存在するので、予測方向の前後にある両画素をそれぞれ主参照画素とし、第２サブブロックに対する予測が遂行され得る。具体的には、現在画素の予測方向の前と後にある両画素の平均または両画素のそれぞれに加重値を付与して足した値を現在画素の予測値として決定することができる。

３３ａまたは３３ｂで画面内予測方向上に位置した主参照画素がない場合には、前記と同様に主参照画素を予測方向の上にコピー（ｐａｄｄｉｎｇ）して参照することができる。

図３４は、本発明の一実施例に係る対角線モードの画面内予測で画素ラインで分割されたサブブロックの予測方法の第２例示図である。

３４ａを参照すると、符号化しようとする現在ブロックの第１サブブロックは現在ブロックに対して縦に偶数番目に位置した画素ラインで構成され得る。ここで、第１サブブロックの各画素に対する予測値は現在ブロックの上端または右上端に位置したブロック内に属する画素を主参照画素として、主参照画素値を予測方向にコピーすることによって生成することができる。

３４ｂを参照すると、符号化しようとする現在ブロックの第２サブブロックは、現在ブ
ロックに対して縦に奇数番目に位置した画素ラインで構成され得る。ここで、予測しようとする現在画素の予測方向の前後にすでに復元された第１サブブロックの画素または現在ブロックと隣接したブロックに属する復元された画素が存在するので、予測方向の前後にある両画素をそれぞれ主参照画素とし、第２サブブロックに対する予測が遂行され得る。具体的には、現在画素の予測方向の前と後にある両画素の平均または両画素のそれぞれに加重値を付与して足した値を現在画素の予測値として決定することができる。

３４ａまたは３４ｂで画面内予測方向上に位置した主参照画素がない場合には、前記と同様に主参照画素を予測方向の上にコピー（ｐａｄｄｉｎｇ）して参照することができる。

前記実施例は、対角線方向の予測モードで参照画素は整数単位の画素を使用して予測が遂行される場合を含む。一部のモードの場合、予測モードの方向により整数単位の画素だけでなく小数単位の画素を補間して予測が遂行される場合も含むことができる。前記例では、第１主参照画素は予測方向の開始点に位置する整数単位画素を、第２主参照画素は予測方向の終点に位置する整数単位画素に対する例を挙げたが、一部の予測モードにより第１主参照画素は予測方向の開始点に置かれた整数単位画素または小数単位画素を意味し得、第２主参照画素は予測方向の終点に位置する整数単位画素または小数単位の画素を意味し得る。または第１主参照画素は予測方向の開始点に置かれた一つの整数単位画素または小数単位画素を意味し得、第２主参照画素は予測方向の終点に位置する二つ以上の整数単位画素を意味し得る。この時、二つ以上の整数単位画素は予測方向の終点位置に隣接する画素であり得る。

前記実施例において、二つ以上のサブブロック単位に分割されて符号化が進行された時、サブブロック単位で同じであるか異なる変換技法を使用して変換を遂行することができる。例えば、符号化ブロック単位で変換関連の設定（本例において、変換の遂行の有無、変換の種類など）を完了した場合、サブブロックには前記単位で決定された同一の変換技法を適用することができる。他の例として、変換ブロック単位で変換関連の設定を完了した場合、サブブロックで独立的な変換技法を適用することができる。

図３５は、変換ブロック単位で符号化係数の有無を指示するフラグの例示図である。

図３５の３５ａおよび３５ｂで、太い実線は符号化ブロック区画線を、薄い実線は符号化ブロック基準深度０で変換ブロック区画線を、点線は深度１で変換ブロック区画線を意味する。

３５ａはクアッドツリー方式で符号化ブロックを分割するか符号化ブロックが正方形の形態であり、クアッドツリー方式で変換ブロックを変換するか変換ブロックが正方形の形態のとき、符号化係数の有無フラグ（本例において、ｃｂｆ． ｃｏｄｅｄ ｂｌｏｃｋ
ｆｌａｇ）の設定に対する例を表す。３５ａの（大きいブロックが２Ｎ×２Ｎであるとした場合）左側の上のブロックＮ×Ｎと右側の上のブロックＮ×Ｎは変換ブロックの分割を支援せず、符号化ブロックが決定されたときに共に変換ブロックの大きさおよび形態が決定されたブロックの例であり得る。すなわち、符号化ブロックで変換ブロックの大きさおよび形態についての情報を支援しないブロックであり得る。

左側の上のブロックＮ×Ｎと右側の上のブロックＮ×Ｎは変換ブロックの分割なしに変換ブロックが決定されたブロックであるため、各カラー成分に対するｃｂｆを支援し、追加的なｃｂｆ情報を生成しない。

左側の下のブロックＮ×Ｎの場合、変換ブロックが分割Ｎ／２×Ｎ／２され、分割され
たブロックの符号化係数の有無についての情報が必要となり得る。この時、ｃｂｆの情報により下位単位に分割された変換ブロックに追加的なｃｂｆ情報の生成を決定することができる。本例では各カラー成分に対するｃｂｆ情報が０であり、分割された変換ブロックには各成分の符号化係数が発生しないので、ｃｂｆ情報を追加に生成しない。

右側の下のブロックＮ×Ｎの場合、変換ブロックが分割Ｎ／２×Ｎ／２され、分割されたブロックの符号化係数の有無についての情報が必要となり得る。この時、一部のｃｂｆ情報は省略され得る。一部のカラー成分（Ｌｕｍａ）の場合、変換ブロックが分割された時に下位変換ブロックのうち少なくとも一つのブロックで符号化係数が発生するという仮定下でそのように設定され得る（左側の下のブロックではそのまま伝送）。したがって、右側の下のブロックの場合、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒの情報のみを生成することができる。本例では、ｌｕｍａは符号化係数が存在するという設定（ｃｂｆ＿Ｌ＝１）下で省略されており、ｃｂｆ＿ｃｂが１であるため、下位の変換ブロックに対するｃｂｆ＿ｃｂを追加に生成することができる。

右側の下のブロックＮ×Ｎで追加に変換ブロックが分割されないブロック（左側の上と左側の下、右側の下のブロック＜Ｎ／２×Ｎ／２＞）の場合、ｃｂｆ＿ｃｒは上位単位で０と設定されて生成されず、ｃｂｆ＿Ｌとｃｂｆ＿ｃｂの情報が生成され得、追加的なｃｂｆ情報を生成しない。

右側の上のブロックＮ／２×Ｎ／２の場合、変換ブロックが分割Ｎ／４×Ｎ／４され、上位単位でのように変換ブロックが分割されたので、ｃｂｆ＿Ｌの情報が生成されず（ｃｂｆ＿Ｌ＝１）、ｃｂｆ＿ｃｂについての情報のみを生成することができる。本例ではｃｂｆ＿ｃｂが０に設定されるため下位単位ではｃｂｆ＿ｃｂに対する追加的な情報を生成しない。

前記下位ブロックＮ／４×Ｎ／４では、追加的な変換ブロックの分割がない場合、現在段階まで残っているｃｂｆ情報を生成することができる。本例ではｃｂｆ＿Ｌがそれによるｃｂｆ情報であり得る。

３５ｂはバイナリツリー方式で符号化ブロックを分割するか符号化ブロックが長方形の形態であり、バイナリツリー方式で変換ブロックを分割するか変換ブロックが長方形の形態であるとき、符号化係数の有無フラグの設定に対する例を表す。３５ｂの（前記大きいブロックが２Ｎ×２Ｎであるとした場合）左側から最初のブロックＮ／２×２Ｎと二番目のブロックＮ／２×２Ｎは変換ブロックの分割を支援せず、符号化ブロックが決定されたときに共に変換ブロックの大きさおよび形態が決定されたブロックの例であり得る。すなわち、符号化ブロックで変換ブロックの大きさおよび形態についての情報を支援しないブロックであり得る。

右側の上のブロックＮ×Ｎの場合、変換ブロックが分割Ｎ×Ｎ／２され、分割されたブロックの符号化係数の有無についての情報が必要となり得る。この時、ｃｂｆの情報により下位単位に分割された変換ブロックに追加的なｃｂｆ情報の生成を決定することができる。本例では、各カラー成分に対するｃｂｆ＿Ｌが０であり、分割された変換ブロックには各成分の符号化係数が発生しないので、ｃｂｆ＿Ｌ情報を追加に生成しない。前記ブロック分割過程で説明したように、符号化、予測、変換ブロックはＬｕｍａでの分割形態をＣｂ、Ｃｒからカラーフォーマットによりリサイジング（Ｒｅｓｉｚｉｎｇ）された後で真似をする依存的な設定が可能であり得、ＬｕｍａとＣｂ、Ｃｒの分割形態を独立的な設定にすることも可能であり得る。この場合、ｃｂｆ＿ｃｒ、ｃｂｆ＿ｃｂはｃｂｆ＿Ｌと独立的に処理され得る。本例ではＬｕｍａの場合、点線の形態で追加に分割された形態を有するが、ｃｂｆ＿Ｌ＝０であるため下位単位に追加的なｃｂｆ＿Ｌ情報を生成せず、ｃ
ｂ、ｃｒの場合、Ｎ×Ｎの分割形態（符号化ブロックと同一大きさおよび形態）であるため、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒを追加的に生成しない場合であり得る。前記設定はスライスタイプ、ブロックの大きさおよび形態などに条件により独立的な分割を支援するか依存的な分割を支援するかが決定され得る。

右側の下のブロックＮ×Ｎの場合（ｃｂ、ｃｒがｌｕｍａに従う設定）変換ブロックが分割Ｎ／２×Ｎされ、分割されたブロックの符号化係数の有無についての情報が必要となり得る。一部のカラー成分（Ｌｕｍａ）のｃｂｆは下位単位の変換ブロックが存在するという仮定下で省略されたと仮定する（ｃｂｆ＿Ｌ＝１）。本例でｃｂｆ＿ｃｂは０であるので、下位単位でのｃｂｆ＿ｃｂ情報はそれ以上生成されず、ｃｂｆ＿ｃｒは１であるので、下位単位の変換ブロックに追加的なｃｂｆ＿ｃｒ情報が生成され得る。分割された変換ブロックのうち左側ブロックＮ／２×Ｎは追加的な分割がないので、ｃｂｆ＿Ｌとｃｂｆ＿ｃｒを生成することができる。分割された変換ブロックのうち右側ブロックＮ／２×Ｎは変換ブロック分割（点線）がなされるので、ｃｂｆ＿Ｌは省略し、ｃｂｆ＿ｃｒを生成することができる。追加的に分割された変換ブロックＮ／４×Ｎはそれ以上分割されないので、ｃｂｆ＿Ｌとｃｂｆ＿ｃｒの情報をそれぞれ生成することができる。

したがって、右側の下のブロックの場合、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒの情報のみを生成することができる。本例では、ｌｕｍａは符号化係数が存在するという設定（ｃｂｆ＿Ｌ＝１）下で省略されており、ｃｂｆ＿ｃｂが１であるため、下位変換ブロックに対するｃｂｆ＿ｃｂを追加に生成することができる。

前記のような過程を通じて、各変換ブロック単位で符号化係数の存在の有無についての情報を確認することができる。前記ｃｂｆ＿が１である場合にのみ符号化係数のための符号化過程を遂行することができる。

図３６は、ＨＥＶＣで残差ブロックに対するシンタックスの例である。

符号化係数（損失圧縮の場合）は変換、量子化過程によりＤＣと低周波成分側に多く発生する性質がある。そのため、変換ブロックＭ×Ｎのすべての位置での係数成分を符号化するのは非効率的であり得る。いずれの位置で符号化係数が最後に発生したかについての情報（ｘ、ｙ）を送ると効率的であり得る。ブロックのある特定の座標（ブロックの左側の上、右側の上、左側の下、右側下のうち一つ。符号化設定＜例えば、ＱＰ＞により決定され得、２つ以上の候補群を置いてこれを決定することができる）を基準として横および縦長の情報を送ることによって、これを表現することができる。図３６を参照すると、いずれの位置で符号化係数が最後に発生したかについての情報に関するシンタックスは、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ〜ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘである。

ＨＥＶＣでは変換ブロックを４×４単位のサブブロックに分割して符号化係数を処理する。図３５のｃｂｆと類似するように、各４×４サブブロック内に０ではない符号化係数の有無に対する内容を扱うシンタックスはｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇであり、この値が１である場合にのみ該当ブロックの符号化係数を符号化する。前記ように変換ブロックの大きさと形態に関わらず、常に固定された大きさおよび形態を有する（符号化係数符号化のための）サブブロック単位を有してもよく、変換ブロックの大きさと形態により適応的な大きさおよび形態を有するサブブロック単位を有してもよい。例えば、サブブロックの単位は４×４を含んで追加的な大きさおよび形態（例として、８×８）を支援することができ、このとき、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇが支援される単位は４×４または追加的な大きさおよび形態単位となり得る。また、サブブロックの単位の大きさおよび形態により前記シンタックスに対する設定が変わり得る。また、符号
化モードにより前記シンタックスに対する設定が変わり得る。例えば、第１サブブロックでは各ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ（符号化係数の絶対値が１より大きいかを表すフラグ）、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ２＿ｆｌａｇ（符号化係数の絶対値が２より大きいかを表すフラグ）を最大ａ、ｂ個まで支援するのであれば、第２サブブロックには各シンタックスを最大ｃ、ｄ個まで支援することができ、ａはｃより大きいか同じであり得、ｂはｄより大きいか同じであり得、このとき第１サブブロックの大きさは第２サブブロックより大きくてもよい。他の例として、符号化モードがＩｎｔｒａの場合に、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ２＿ｆｌａｇを最大ａ、ｂ個まで支援するのであれば、Ｉｎｔｅｒの場合に最大ｃ、ｄ個まで支援することができ、ａとｃは同じであるか異なり得、ｂとｄは同じであるか異なり得る。

現在変換ブロックは４×４であり、この場合、一つの４×４サブブロックで構成されているので、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇは生成せず、ｃｂｆ情報（変換ブロック単位で支援）を生成し、４×４ブロックの符号化係数のスキャン順は前記のような対角線スキャン（右側の上から左側下へ）順に従うという仮定下で説明する。

図３７は、本発明の一実施例に係る符号化係数の符号化を説明するための例示図である。

３７ａは符号化係数を、３７ｂは符号化係数のスキャン順を表す。各符号化係数ごとにｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが生成され、これは符号化係数が０であるかどうかを意味するシンタックスであり得る。符号化係数ではない時のこの値は、０である時には該当係数に追加的なシンタックスは発生せず、１である時には符号化係数に対する追加的なシンタックス情報が生成され得る。ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇは該当係数がどのような符号を有するかについての情報を含んでおり、この値が０であれば正数、１であれば負数を意味し得る。そして、該当係数の絶対値が１より大きいかを指示するシンタックス（ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ）を確認し、この値が０である時は追加的なシンタックスは発生せず、１である時は該当係数の絶対値が２より大きいかを指示するシンタックス（ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ２＿ｆｌａｇ）を確認し、この値が０である時は追加的なシンタックスは発生せず、１である時は該当係数の残りの値に対するシンタックス（ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇ）が支援され得る。

ここで、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇは、サブブロック単位で支援される各係数に対するシンタックスで処理できない場合に支援されるシンタックスと言える。

前記表１は、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ１＿ｆｌａｇとｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ２＿ｆｌａｇがそれぞれ最大８個、１個が支援される場合、３７ａの符号化係数および３７ｂのスキャン順（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）により符号化係数（ｃｏｅｆｆｉｃｉｅｎｔ）および関連シンタックスを表したものである。スキャン順において最初に０ではない符号化係数から始めて前記シンタックスが支援され、前記最大個数だけ発生すると、その後に発生する係数は十分に大きい係数が発生するという仮定下で前記のように設定され得、これはサブブロックの大きさおよび形態などにより異なるように設定され得る。

ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇの場合、符号化係数でｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ、ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ２＿ｆｌａｇを考慮して残った係数値が下記の数１２によって計算され得る。

各係数ごとに生成されるシンタックスにより前記数１２が計算され得、シンタックスｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇが生成されない場合に該当シンタックスの値は０に設定することができる。下記で言及されるシンタックスの他にもｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇに到達するために使用される追加的なシンタックス要素が考慮されてもよい。

前記シンタックスの基本設定は損失符号化に合わせて設定されている。一般的な損失符号化の場合、周波数ドメインでの残差係数は変換ブロックの左側の上であるＤＣ成分の近くに多く発生するという前提条件が含まれているのである。しかし、一部の映像特性および量子化パラメーターの設定により基本前提条件に違背する状況が発生し得る。例えば、変換係数の分布が一般的なＤＣ成分に集まらない場合に備えて変換または量子化を省略することができ、前記シンタックスの動作に対する定義を変更することができる。

ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇは下記のような条件式を通じて２進化を支援することができる。

数１３で、ｐｒｅｆｉｘ（ｐ）はｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ、ｓｕｆｆｉｘ（ｓ）はｂｉｎａｒｙ ｒｅｐｒｅｓｅｎｔａｔｉｏｎで構成し、下記の表２のような２進化テーブルを有するとする。

前記表２で、ｋは２進化テーブルのための変数であり、ｋによりｖに割り当てられるコードワードが調整され得る。ｋによりｖに異なるコードワードが割り当てられるのが特徴である。例えば、小さい値が多く発生する状況ではｋは低い値を有するのがｖに平均的にさらに短いコードワードを発生させ、大きい値が多く発生する状況ではｋは大きい値を有するのがｖに平均的にさらに短いコードワードを発生させて、平均コードワードを短く維持するために調整される変数であり得る。前記ｐｒｅｆｉｘ、ｓｕｆｆｉｘなどのようにコードワードの生成に使用される２進化とｐｒｅｆｉｘ、ｓｕｆｆｉｘの分類は、前記方法を含む他の方法が使用され得、特定のパラメーターの変数により各値（本例においては、符号化係数）に割り当てられるコードワードを調節することによって、平均的に短いコードワードを発生させるようにする方法の一例ということができ、このような概念を含む他の変形の事例も可能であり得る。

数１４はｋパラメーターのアップデート条件のための数式であり、数１４の条件を満足する場合、ｋはｋ’にアップデートされ得、ｋが到達できる最大値は４である。ｋはビット深度（ｂｉｔ＿ｄｅｐｔｈ）と量子化パラメーターなどの条件により設定することができる。

サブブロックでのスキャン順により符号化係数の符号化を遂行する時、最初に設定されるｋは０であり得る。前記ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇの値（ｖ）によるコードワードを割り当てた後に、前記数式条件と比較してｋ値のアップデート条件を確認する。もし、前記条件に満足する場合、ｋ値はｋ’にアップデートされて次の
ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｎｉｎｇの値の符号化時のｋとして使用することができる。ｋ値は一度のアップデート過程で最大１だけの増加が可能であり、前記において設定された最大値（４）まで増加してｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇのコードワードの割り当てに関与することができる。また、ｋはアップデート過程で変動がないか増加する性質を有することができる。これはスキャン順の方向が進行されるほど一般的な符号化環境（損失）では周波数ドメインに変換後に量子化を遂行するので、ＤＣ成分（残差ブロックの左側の上）で絶対値が大きい係数が多く発生し、右側の下（高周波領域）に位置するほど絶対値が小さい係数が発生する特性を考慮したためである。ｋ値に対するアップデート条件は変換ブロック単位で他の設定を有することができる。また、符号化設定（本例においては、量子化パラメーター、画面内予測方法＜ブロック単位の予測／画素単位の予測＞）により他の設定を有することができる。例えば、予測および符号化過程で現在ブロックと隣接したブロックに属する参照画素を通じて、予測および符号化されたブロックと現在ブロックと隣接したブロックに属する画素だけでなく、現在ブロック内にすでに復元されたサブブロック内の画素を追加に参照して予測および符号化されたブロックの場合、異なるｋ値アップデート条件を適用することができる。後者の場合、正確な予測ブロック生成による変換および量子化過程後の符号化係数（量子化された変換係数列または予測後の差分画素列）の特性が異なり得るためである。これは画面内予測方式により異なるアップデート条件を有する例と連結され得るが、ブロック基盤の予測と画素基盤の予測方法によりそれによる符号化係数の特性が異なり得るためである。他の例として、無損失圧縮の場合、損失圧縮の場合は異なる符号化係数特性を有するため、他のアップデート条件を適用することができる。

前記のようなｋパラメーターのアップデート設定は映像の特性をよく考慮できず、適当でないコードワードの割り当てに影響を及ぼしかねない。また、他の符号化設定による特性も考慮できない場合もある。

ｋ値に対する特性（既存の場合、ｋ値は減少せずに増加する性質を有し、一度の増加幅は１）に対する候補群を二つ以上設定して効率的な符号化を遂行することができる。一例として、ｋ値の特性は、ｋ値は増加または減少する性質を有することができる。一例として、ｋ値の増加幅（または減少幅）は１以上であり得る。一例として、ｋの範囲は０からｔまでに設定することができ、ｔは一つ以上の候補群を有することができる。前記のような多様な設定などを組み合わせて一つ以上のｋに対する設定を置くことができる。これに対する設定はシークエンス、ピクチャ、スライスなどの単位で決定することができる。

もし、前記で追加に言及したｋ値の特性を定義するのであれば、既存のｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇに対する２進化を決定する数式も変更される必要がある。

数１５において、Ｓｉは各（０ではない）符号化係数を意味し、Ｔ（）は前記ｋによる２進化テーブルでいずれのｋ値を有するかを決定する境界値条件を意味する。ＮはＴ（）を求めるために使用される現在符号化係数の位置の以前の（０ではない）符号化係数の個数を意味する。Ｔ（Ｓｉ）は現在符号化係数以前の連続する符号化係数の平均を利用して求めることができる。

図３８は、現在符号化係数の前に符号化係数および数１５の値を決定する係数に関する例示図である。

３８ａは現在符号化係数の前に符号化係数（灰色が０ではない係数）を表し、そのうち一部の符号化係数がＴ（Ｓｉ）を計算するために使用された。数１４を通じて、ｋ値がｋ’をアップデートする係数の範囲は下記の表３のように整理することができる。

表３において、０から２までのＴ（ｓｉ）はｋ＝０であるコードワードを割り当て、３から５まではｋ＝１であるコードワードを割り当てることができる。すなわち、Ｔ（ｓｉ）を通じてアップデートされたｋのコードワードを割り当てるのにこれを表３のように整理することができる。下記とｋパラメーターにより各係数値が有することができる最小コードワードを有する一つのテーブルに整理することができる。例えば、現在係数（３と仮定）に対する前記アップデート過程を通じてｋが１にアップデートされたとすると、ｋが１のとき３に対するコードワードである１０１を割り当てることができる。

このような追加的なｋアップデート設定を置いて適応的なコードワードを割り当てることができる。例えば、量子化パラメーターにより無損失圧縮環境では前記方法を、損失圧縮環境では既存の方法を使用することができる。上のようにシンタックスの動作に対する設定だけでなくエントロピー符号化段階でスキャンに対する設定を変えることでも符号化効率の向上が可能である。

表４は画面内予測でのスキャン方法について定義している。ＨＥＶＣでは画面内予測モードによってスキャン方法を異なるようにしている。しかし、映像特性または量子化パラメーターなどによって既存のスキャン方向が合わない可能性がある。前記テーブルではブロックの大きさおよび予測モードによりｄｉａｇ、ｖｅｒ、ｈｏｒの三つのスキャンパターンを設けているが、例えば量子化パラメーターが０ではない時と量子化パラメーターが０であるとき（すなわち、無損失）のスキャンパターンを変更（矢印方向に）することができる。すなわち、既存のブロックの大きさ、予測モードによりスキャン方法を異なるようにしたのであれば、この例では量子化パラメーターによって再び異なるスキャン方法を適用するということである。前記場合にはスキャンパターンは三つであって、量子化パラメーターの条件によっても既存のスキャンパターンを使用するが、これは量子化パラメーター条件によって既存のスキャンパターン以外の追加的なパターンを適用することもできる。前記スキャンパターンの設定に影響を与える追加的な要素として、ブロックの形態、ブロック分割方法（本例において、変換ブロック）等が考慮され得る。

図３９は、本発明の一実施例に係る画面内予測を利用した復号化方法のフローチャートである。

図３９を参照すると、復号化装置で遂行される画面内予測を利用した復号化方法は、ビットストリームを受信する段階（Ｓ１００）、受信したビットストリームで復号化情報を獲得する段階（Ｓ２００）、獲得した復号化情報を利用して復号化しようとする現在ブロックに対する予測ブロックを生成する段階（Ｓ３００）およびビットストリームで獲得した残差ブロックと予測ブロックを加算して現在ブロックを復元する段階（Ｓ４００）を含むことができる。

ここで、予測ブロックを生成する段階（Ｓ３００）は、現在ブロックと隣接したブロックに属するかまたは現在ブロックの少なくとも一つのサブブロックに属する復元画素のうち、選定された少なくとも一つの主参照画素を利用して現在ブロックの各画素に対する予測値を生成することによって、現在ブロックに対する予測ブロックを生成することができる。

ここで、主参照画素は、復元画素のうち画面内予測方向上に位置した画素であり得る。

ここで、予測ブロックを生成する段階（Ｓ３００）は、画面内予測方向上に位置した主参照画素が二つ以上である場合、現在ブロック内に予測しようとする現在画素を基準として画面内予測方向の前後に現在画素と最も近い二つの主参照画素を利用して現在ブロックに対する予測ブロックを生成する段階を含むことができる。

ここで、現在画素と最も近い二つの主参照画素を利用して現在ブロックに対する予測ブロックを生成する段階は、二つの主参照画素の平均または二つの主参照画素に加重値をそれぞれ適用して足した値を現在画素に対する予測値として予測ブロックを生成することが
できる。

ここで、少なくとも一つのサブブロックは、クアッドツリー方式およびバイナリツリー方式のうち一つを利用して現在ブロックを分割することによって獲得されるか、クアッドツリー方式とバイナリツリー方式を混用して現在ブロックを分割することによって獲得され得る。

ここで、少なくとも一つのサブブロックは、現在ブロック内で横に偶数または奇数番目に位置した画素ラインで構成され得る。

ここで、少なくとも一つのサブブロックは、現在ブロック内で縦に偶数または奇数番目に位置した画素ラインで構成され得る。

ここで、少なくとも一つのサブブロックは、現在ブロック内の各画素座標（ｘ、ｙ）のｘおよびｙ座標が偶数である座標で構成されるか、ｘおよびｙ座標のうち一つは偶数であり他の一つは奇数である座標で構成されるか、ｘおよびｙ座標が奇数である座標で構成され得る。

ここで、予測ブロックを生成する段階（Ｓ３００）は、復元画素のうち主参照画素および現在ブロック内に予測しようとする現在画素の間の位置と画面内予測方向を基準として相応する位置にある両画素間の差分値を利用して主参照画素を補正する段階および補正された主参照画素を利用して予測ブロックを生成する段階を含むことができる。

ここで、主参照画素を補正する段階は、差分値を主参照画素に足すか、差分値に加重値を適用した値を主参照画素に加算することによって主参照画素を補正することができる。

ここで、主参照画素を補正する段階は、現在画素のうち一定の範囲内に属する画素に対する予測時に限って主参照画素を補正することができる。

ここで、主参照画素を補正する段階は、差分値が二つ以上導き出される場合、二つ以上の差分値に対する平均または２つ以上の差分値のそれぞれに加重値を付与して導き出された値を利用して主参照画素を補正することができる。

図４０は、本発明の一実施例に係る画面内予測を利用した復号化装置のブロック図である。

図４０を参照すると、画面内予測を利用した復号化装置３０は、少なくとも一つのプロセッサ（ｐｒｏｃｅｓｓｏｒ、３１）および少なくとも一つのプロセッサが少なくとも一つの段階を遂行するように命令する命令語を保存（記憶）するメモリー（ｍｅｍｏｒｙ、３２）を含むことができる。

ここで、少なくとも一つの段階は、ビットストリームを受信する段階、受信したビットストリームで復号化情報を獲得する段階、獲得した復号化情報を利用して復号化しようとする現在ブロックに対する予測ブロックを生成する段階およびビットストリームで獲得した残差ブロックと予測ブロックを加算して現在ブロックを復元する段階を含むことができる。

ここで、予測ブロックを生成する段階は、現在ブロックと隣接したブロックに属するかまたは現在ブロックの少なくとも一つのサブブロックに属する復元画素のうち、選定された少なくとも一つの主参照画素を利用して現在ブロックの各画素に対する予測値を生成す
ることによって現在ブロックに対する予測ブロックを生成することができる。

ここで、主参照画素は、復元画素のうち画面内予測方向上に位置した画素であり得る。

ここで、予測ブロックを生成する段階は、画面内予測方向上に位置した主参照画素が二つ以上である場合、現在ブロック内に予測しようとする現在画素を基準として画面内予測方向の前後に現在画素と最も近い二つの主参照画素を利用して現在ブロックに対する予測ブロックを生成する段階を含むことができる。

ここで、現在画素と最も近い二つの主参照画素を利用して現在ブロックに対する予測ブロックを生成する段階は、二つの主参照画素の平均または二つの主参照画素に加重値をそれぞれ適用して足した値を現在画素に対する予測値として予測ブロックを生成することができる。

ここで、少なくとも一つのサブブロックは、クアッドツリー方式およびバイナリツリー方式のうち一つを利用して現在ブロックを分割することによって獲得されるか、クアッドツリー方式とバイナリツリー方式を混用して現在ブロックを分割することによって獲得され得る。

ここで、予測ブロックを生成する段階は、復元画素のうち主参照画素および現在ブロック内に予測しようとする現在画素の間の位置と画面内予測方向を基準として相応する位置にある両画素間の差分値を利用して主参照画素を補正する段階および補正された主参照画素を利用して予測ブロックを生成する段階を含むことができる。

ここで、主参照画素を補正する段階は、差分値を主参照画素に足すか、差分値に加重値を適用した値を主参照画素に加算することによって主参照画素を補正することができる。

ここで、主参照画素を補正する段階は、現在画素のうち一定の範囲内に属する画素に対する予測時に限って主参照画素を補正することができる。

その他にも本発明の一実施例に係る復号化装置３０は、図３９に係る復号化方法と同一または相応する方法を遂行するように構成され得、重複叙述は省略した。

また、復号化装置３０は例えば、通信可能なデスクトップコンピュータ（ｄｅｓｋｔｏｐ ｃｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、モバイルフォン（ｍｏｂｉｌｅ ｐｈｏｎｅ）、スマートウォッチ（ｓｍａｒｔ ｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、電子ブックリーダー、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、携帯用ゲーム機、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）装置、デジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａ）、ＤＭＢ（ｄｉｇｉｔａｌ ｍｕｌｔｉｍｅｄｉａ ｂｒｏａｄｃａｓｔｉｎｇ）再生機、デジタル音声録音機（ｄｉｇｉｔａｌ ａｕｄｉｏ ｒｅｃｏｒｄｅｒ）、デジタル音声再生機（ｄｉｇｉｔａｌ ａｕｄｉｏ ｐｌａｙｅｒ）、デジタル動映像録画機（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｒｅｃｏｒｄｅｒ）、デジタル動映像再生機（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｐｌａｙｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等であり得る。

また、復号化装置３０は使用者の入力を受信して復号化された映像を表示する入出力部３３をさらに含むことができるが、入出力部３３は例えば、キーボード、マウス、タッチスクリーン、ディスプレイ装置などを含むことができる。

また、復号化装置３０は復号化過程の前後の処理された映像、フレーム、ブロックなどを保存するストレージ（ｓｔｏｒａｇｅ、３４）をさらに含むことができるが、ストレージ３４は例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等を含むことができる。

本発明に係る方法は、多様なコンピュータ手段を通じて遂行され得るプログラム命令形態で具現されてコンピュータ読み取り可能な媒体に記録され得る。コンピュータ読み取り可能な媒体はプログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。コンピュータ読み取り可能な媒体に記録されるプログラム命令は、本発明のために特に設計されて構成されたものであるかコンピュータソフトウェア当業者に公知とされて使用可能なものであり得る。

コンピュータ読み取り可能な媒体の例には、ＲＯＭ、ＲＡＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）等のようにプログラム命令を保存して遂行するように特に構成されたハードウェア装置が含まれ得る。プログラム命令の例には、コンパイラ（ｃｏｍｐｉｌｅｒ）により作成されるような機械語コードだけでなく、インタープリタ（ｉｎｔｅｒｐｒｅｔｅｒ）等を使用してコンピュータによって遂行され得る高級な言語コードを含むことができる。前述したハードウェア装置は、本発明の動作を遂行するために少なくとも一つのソフトウェアモジュールで作動するように構成され得、その逆も同じである。

また、前述した方法または装置はその構成や機能の全部または一部が結合されて具現されたり、分離されて具現され得る。

Claims (6)

1. 復号化装置で遂行される画面内予測を利用した復号化方法において、
   ビットストリームを受信する段階；
   受信したビットストリームから獲得した復号化情報を利用して、復号化装置で予め定義された利用可能な画面内予測モードから現在ブロックの画面内予測モードを獲得する段階；
   獲得した画面内予測モードを利用して、前記現在ブロックに対する予測ブロックを生成する段階；および
   前記ビットストリームで獲得した残差ブロックと前記予測ブロックを加算して前記現在ブロックを復元する段階を含み、
   前記利用可能な画面内予測モードは、左下対角予測モードと左上対角予測モードとの間の第１方向予測モードと、左上対角予測モードと右上対角予測モードとの間の第２方向予測モードとを含み、
   前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、第１方向予測モードの数は第２の方向予測モードの数より小さく、
   前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、第１方向予測モードの数は第２方向予測モードの数よりも大きい、復号化方法。
2. クアッドツリー方式またはバイナリツリー方式の少なくとも一つに基づいて、第１の符号化ブロックを複数の第２の符号化ブロックに分割する段階；をさらに含む、請求項１に記載の復号化方法。
3. 前記現在ブロックは前記第２の符号化ブロックの１つである、請求項２に記載の復号化方法。
4. 前記第１の符号化ブロックの大きさが予め定義されたしきい値よりも大きい場合に、前記クアッドツリー方式のみ利用され、第１の符号化ブロックの大きさが前記予め定義されたしきい値以下の場合は、前記クアッドツリー方式と前記バイナリツリー方式の両方が利用される、請求項２に記載の復号化方法。
5. 符号化装置で遂行される画面内予測を利用した符号化方法において、
   現在ブロックに対する予測ブロックを生成する段階；
   前記現在ブロックのオリジナルブロックから前記予測ブロックを減算して前記現在ブロックに対する残差ブロックを生成する段階；および
   前記残差ブロックを符号化してビットストリームを生成する段階を含み
   前記予測ブロックは、前記符号化装置で予め定義された利用可能な画面内予測モードの１つを利用して生成され、
   前記利用可能な画面内予測モードは、左下対角予測モードと左上対角予測モードとの間の第１方向予測モードと、左上対角予測モードと右上対角予測モードとの間の第２方向予測モードとを含み、
   前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、第１方向予測モードの数は第２の方向予測モードの数より小さく、
   前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、第１方向予測モードの数は第２方向予測モードの数よりも大きい、符号化方法。
6. プロセッサによって実行されたとき復号化方法を遂行する保存されたインストラクションを有する非一時的なコンピュータ読み取り可能な媒体において、前記復号化方法は、
   ビットストリームを受信する段階；
   受信したビットストリームから獲得した復号化情報を利用して、復号化装置で予め定義された利用可能な画面内予測モードから現在ブロックの画面内予測モードを獲得する段階；
   獲得した画面内予測モードを利用して、前記現在ブロックに対する予測ブロックを生成する段階；および
   前記ビットストリームで獲得した残差ブロックと前記予測ブロックを加算して前記現在ブロックを復元する段階を含み、
   前記利用可能な画面内予測モードは、左下対角予測モードと左上対角予測モードとの間の第１方向予測モードと、左上対角予測モードと右上対角予測モードとの間の第２方向予測モードとを含み、
   前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、第１方向予測モードの数は第２の方向予測モードの数より小さく、
   前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、第１方向予測モードの数は第２方向予測モードの数よりも大きい、非一時的なコンピュータ読み取り可能な媒体。

Images