開示された実施形態の利点、特徴、及びそれらを達成する方法は、添付される図面と共に後述されている実施形態を参照すれば、明確になるであろう。しかし、本開示は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態にも具現され、ただし、本実施形態は、本開示を完全なものにし、本開示が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるのみである。
本明細書で使用される用語ついて簡略に説明し、開示された実施形態について具体的に説明する。
本明細書で使用される用語は、本開示での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、関連分野に携わる技術者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合には、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本開示の全般にわたる内容とを基に定義されなければならない。
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。
また、明細書で使用される「部」という用語は、ソフトウェア構成要素またはハードウェア構成要素を意味し、「部」は、ある役割を遂行する。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるようにも構成され、またはそれ以上のプロセッサを再生させるようにも構成される。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス・関数・属性・プロシージャ・サブルーチン・プログラムコードのセグメント・ドライバ・ファームウエア・マイクロコード・回路・データ・データベース・データ構造・テーブル・アレイ及び変数と、を含む。構成要素と「部」とうのうちで提供される機能は、さらに少数の構成要素及び「部」に結合されるか、あるいはさらなる構成要素と「部」とにさらに分離されもする。
本開示の一実施形態によれば、「部」は、プロセッサ及びメモリによっても具現される。用語「プロセッサ」とは、汎用プロセッサ、中央処理装置(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されなければならない。いくつかの環境においては、「プロセッサ」とは、注文型半導体(ASIC)、プログラム可能ロジックデバイス(PLD)、フィールドプログラム可能ゲートアレイ(FPGA)などを称することもできる。用語「プロセッサ」とは、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと結合した1以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを称することもできる。
用語「メモリ」とは、電子情報を保存することができる任意の電子コンポーネントを含むように広く解釈されなければならない。用語「メモリ」は、任意アクセスメモリ(RAM)、読み取り専用メモリ(ROM)、不揮発性任意アクセスメモリ(NVRAM)、プログラム可能読み取り専用メモリ(PROM)、消去・プログラム可能読み取り専用メモリ(EPROM)、電気的に消去可能PROM(EEPROM)、フラッシュメモリ、磁気または光学のデータ保存装置、レジスタのようなプロセッサ・読み取り可能媒体の多様な類型を称することもできる。プロセッサがメモリから/に情報を読み取り/書き込みを行うことができるならば、該メモリは、プロセッサと電子通信状態にあるとされる。プロセッサに集積されたメモリは、プロセッサと電子通信状態にある。
以下、「映像」は、ビデオの停止映像のような静的イメージであるか、あるいは動画、すなわち、ビデオそれ自体のような動的イメージを示すことができる。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位を、ブロックと定義することができる。
以下、添付した図面を参照し、実施形態について、本開示が属する技術分野で当業者が容易に実施することができるように詳細に説明する。そして、図面において、本開示について明確に説明するために、説明と関係ない部分は、省略する。
以下、図1ないし図24を参照し、一実施形態によって、映像符号化装置及び映像復号装置、映像符号化方法及び映像復号方法について詳細に説明する。図3ないし図16を参照し、一実施形態によって、映像のデータ単位を決定する方法について説明され、図1、図2、及び図17ないし図24を参照し、一実施形態によって、コンテクストモデル(context model)について、多様な形態の符号化単位に基づいて、適応的に選択するための符号化または復号方法、及びその装置について説明される。
以下、図1及び図2を参照し、本開示の一実施形態によって、コンテクストモデルについて、多様な形態の符号化単位に基づいて、適応的に選択するための方法及びその装置について詳細に説明する。
図1は、一実施形態によって、映像復号装置100の概略的なブロック図を図示する。
映像復号装置100は、受信部110及び復号部120を含んでもよい。受信部110及び復号部120は、少なくとも1つのプロセッサを含んでもよい。また、受信部110及び復号部120は、少なくとも1つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。
受信部110は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置2200が映像を符号化した情報を含む。また、該ビットストリームは、映像符号化装置2200から送信される。映像符号化装置2200及び映像復号装置100は、有線または無線で連結され、受信部110は、有線または無線を介して、ビットストリームを受信することができる。受信部110は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部120は、受信されたビットストリームから獲得された情報に基づいて、映像を復元することができる。復号部120は、映像を復元するためのシンタックスエレメントを、ビットストリームから獲得することができる。復号部120は、シンタックスエレメントに基づいて、映像を復元することができる。
映像復号装置100の動作については、図2と共に、さらに詳細に説明する。
図2は、一実施形態によって、映像復号方法のフローチャートを図示する。
本開示の一実施形態によれば、受信部110は、ビットストリームを受信する。
映像復号装置100は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する段階(210)を遂行する。映像復号装置100は、符号化単位の分割規則を決定する段階(220)を遂行する。また、映像復号装置100は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づいて、符号化単位を、複数の符号化単位に分割する段階(230)を遂行する。映像復号装置100は、分割規則を決定するために、符号化単位の幅及び高さの比率による、前記符号化単位の大きさの許容可能な第1範囲を決定することができる。映像復号装置100は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第2範囲を決定することができる。
以下においては、本開示の一実施形態によって、符号化単位の分割について詳細に説明する。
映像は、最大符号化単位にも分割される。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。該最大符号化単位の形態は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。また、該最大符号化単位は、ビットストリームから獲得された分割形態モードに係わる情報に基づいて、符号化単位に階層的に分割される。該分割形態モードに係わる情報は、分割いかんを示す情報、分割方向情報、及び分割タイプ情報のうち少なくとも一つを含んでもよい。分割いかんを示す情報は、符号化単位を分割するか否かということを示す。分割方向情報は、水平方向または垂直方向のうち一つに分割することを示す。分割タイプ情報は、符号化単位をバイナリ分割、トリ分割またはクアッド分割のうち一つで分割することを示す。
例えば、分割形態モードに係わる情報(split_mode)は、現在符号化単位が分割されない(NO_SPLIT)ということを示すことができる。また、分割形態モードに係わる情報は、クアッド分割(QUAD_SPLIT)を示すことができる。また、分割形態モードに係わる情報は、バイナリ垂直分割(BI_VER_SPLIT)を示すことができる。また、分割形態モードに係わる情報は、バイナリ垂直分割を示すことができる。また、分割形態モードに係わる情報は、バイナリ水平分割(BI_HOR_SPLIT)を示すことができる。また、分割形態モードに係わる情報は、トリ垂直分割(TRI_VER_SPLIT)を示すことができる。また、分割形態モードに係わる情報は、トリ水平分割(TRI_HOR_SPLIT)を示すことができる。
映像復号装置100は、ビットストリームから、分割形態モードに係わる情報を1つのビンストリングから獲得することができる。映像復号装置100が受信したビットストリームの形態は、Fixed length binary code、Unary code、Truncated unary code、あらかじめ決定されたバイナリコードなどを含んでもよい。該ビンストリングは、情報を2進数の羅列で示したものである。該ビンストリングは、少なくとも1つのビットによっても構成される。映像復号装置100は、分割規則に基づいて、ビンストリングに対応する分割形態モードに係わる情報を獲得することができる。映像復号装置100は、1つのビンストリングに基づいて、符号化単位を分割するか否かということ、分割方向、及び分割タイプを決定することができる。
該符号化単位は、最大符号化単位より小さいか、あるいはそれと同じである。例えば、分割形態モードに係わる情報が分割されないということを示す場合、該符号化単位は、最大符号化単位と同じサイズを有する。該分割形態モードに係わる情報が分割されるということを示す場合、最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モードに係わる情報が分割を示す場合、該符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されもしない。該符号化単位の分割については、図3ないし図16でさらに詳細に説明する。
また、該符号化単位は、映像予測のための予測単位にも分割される。該予測単位は、符号化単位と同じであるか、あるいはそれよりも小さい。また、該符号化単位は、映像の変換のための変換単位にも分割される。該変換単位は、符号化単位と同じであるか、あるいはそれよりも小さい。当該の変換単位と予測単位の形態及び大きさは、互いに係わりを有さない。該符号化単位は、予測単位及び変換単位とも区別されるが、当該の符号化単位、予測単位及び変換単位は、互いに同一でもある。予測単位及び変換単位の分割は、符号化単位の分割と同一方式によっても行われる。符号化単位の分割については、図3ないし図16でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測単位及び変換単位のうち一つを示すことができる。また、現在ブロックまたは現在符号化単位は、現在復号または符号化が進められるブロック、または現在分割が進行されているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、現在ブロックから、空間的または時間的に隣接している。該周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置することができる。
図3は、一実施形態によって、映像復号装置100が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxNまたはNx4Nを含んでもよい。ここで、Nは、正の整数でもある。該ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを示す情報である。
符号化単位の形態は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの長さが同じである場合(すなわち、符号化単位のブロック形態が4Nx4Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を正方形であると決定することができる。映像復号装置100は、符号化単位の形態を非正方形と決定することができる。
符号化単位の幅及び高さの長さが異なる場合(すなわち、符号化単位のブロック形態が、4Nx2N、2Nx4N、4NxNまたはNx4Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を非正方形であると決定することができる。符号化単位の形態が非正方形である場合、映像復号装置100は、符号化単位のブロック形態情報において、幅及び高さの比率を、1:2、2:1、1:4、4:1、1:8または8:1のうち少なくとも一つに決定することができる。また、符号化単位の幅の長さ及び高さの長さに基づいて、映像復号装置100は、符号化単位が水平方向なであるか、あるいは垂直方向であるかということを決定することができる。また、該符号化単位の幅の長さ、高さの長さ、または広さのうち少なくとも一つに基づいて、映像復号装置100は、符号化単位の大きさを決定することができる。
一実施形態によって、映像復号装置100は、ブロック形態情報を利用し、符号化単位の形態を決定することができるし、分割形態モードに係わる情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置100が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態モードに係わる情報が示す符号化単位の分割方法が決定される。
映像復号装置100は、ビットストリームから、分割形態モードに係わる情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置100及び映像符号化装置2200は、ブロック形態情報に基づいて、あらかじめ約束された分割形態モードに係わる情報を決定することができる。映像復号装置100は、最大符号化単位または最小符号化単位について、あらかじめ約束された分割形態モードに係わる情報を決定することができる。例えば、映像復号装置100は、最大符号化単位について、分割形態モードに係わる情報をクアッド分割と決定することができる。また、映像復号装置100は、最小符号化単位について、分割形態モードに係わる情報を「分割せず」と決定することができる。具体的には、映像復号装置100は、最大符号化単位の大きさを、256x256に決定することができる。映像復号装置100は、あらかじめ約束された分割形態モードに係わる情報をクアッド分割と決定することができる。クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置100は、分割形態モードに係わる情報に基づいて、256x256サイズの最大符号化単位から、128x128サイズの符号化単位を獲得することができる。また、映像復号装置100は、最小符号化単位の大きさを4x4に決定することができる。映像復号装置100は、最小符号化単位について、「分割せず」を示す分割形態モードに係わる情報を獲得することができる。
一実施形態により、映像復号装置100は、現在符号化単位が正方形状であるということを示すブロック形態情報を利用することができる。例えば、映像復号装置100は、分割形態モードに係わる情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは4個の符号化単位に分割するかということを決定することができる。図3を参照すれば、現在符号化単位300のブロック形態情報が正方形の形態を示す場合、復号部120は、分割されないということを示す分割形態モードに係わる情報により、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定の分割方法を示す分割形態モードに係わる情報に基づいて分割された符号化単位310b,310c,310dを決定することができる。
図3を参照すれば、映像復号装置100は、一実施形態によって、垂直方向に分割されることを示す分割形態モードに係わる情報に基づいて、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。映像復号装置100は、水平方向に分割されることを示す分割形態モードに係わる情報に基づいて、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。映像復号装置100は、垂直方向及び水平方向に分割されることを示す分割形態モードに係わる情報に基づいて、現在符号化単位300を垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モードに係わる情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介して具体的に説明することにする。
図4は、一実施形態によって、映像復号装置100が非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態によって、映像復号装置100は、現在符号化単位が非正方形状であるということを示すブロック形態情報を利用することができる。映像復号装置100は、分割形態モードに係わる情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形の形態を示す場合、映像復号装置100は、分割されないということを示す分割形態モードに係わる情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を決定するか、あるいは所定の分割方法を示す分割形態モードに係わる情報に基づいて分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下において、多様な実施形態を介して具体的に説明することにする。
一実施形態によって、映像復号装置100は、分割形態モードに係わる情報を利用し、符号化単位が分割される形態を決定することができ、その場合、分割形態モードに係わる情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示すことができる。図4を参照すれば、分割形態モードに係わる情報が2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、映像復号装置100は、分割形態モードに係わる情報に基づいて、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420bまたは470a,470bを決定することができる。
一実施形態によって、映像復号装置100が分割形態モードに係わる情報に基づいて、非正方形の形態の現在符号化単位400または450を分割する場合、映像復号装置100は、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置100は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
一実施形態により、分割形態モードに係わる情報が奇数個のブロックに符号化単位を分割(トリ分割)することを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態モードに係わる情報が、3個の符号化単位に、現在符号化単位400または450を分割することを示す場合、映像復号装置100は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480cに分割することができる。
一実施形態により、現在符号化単位400または450の幅及び高さの比率が、4:1または1:4でもある。幅及び高さの比率が4:1である場合、幅の長さが高さの長さより長いので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が1:4である場合、幅の長さが高さの長さより短いので、ブロック形態情報は、垂直方向でもある。映像復号装置100は、分割形態モードに係わる情報に基づいて、現在符号化単位を、奇数個のブロックに分割することを決定することができる。また、映像復号装置100は、現在符号化単位400または450のブロック形態情報に基づいて、現在符号化単位400または450の分割方向を決定することができる。例えば、現在符号化単位400が垂直方向である場合、映像復号装置100は、現在符号化単位400を水平方向に分割し、符号化単位430a,430b,430cを決定することができる。また、現在符号化単位450が水平方向である場合、映像復号装置100は、現在符号化単位450を垂直方向に分割し、符号化単位480a,480b,480cを決定することができる。
一実施形態によって、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさが、いずれも同一ではない。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480cのうち、所定の符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有することもできる。すなわち、現在符号化単位400または450が分割されて決定される符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480cがそれぞれ互いに異なる大きさを有することもできる。
一実施形態によって、分割形態モードに係わる情報が奇数個のブロックに、符号化単位が分割されることを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置100は、分割して生成される奇数個の符号化単位のうち、少なくとも1つの符号化単位について、所定の制限を置くことができる。図4を参照すれば、映像復号装置100は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480cのうち、中央に位置する符号化単位430b,480bに係わる復号過程を、他の符号化単位430a,430c,480a,480cと異ならせる。例えば、映像復号装置100は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほど分割されるように制限することができる。
図5は、一実施形態によって、映像復号装置100がブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、分割形態モードに係わる情報が、水平方向に第1符号化単位500を分割することを示す場合、映像復号装置100は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができる。一実施形態によって、利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定される。以下においては、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるものであるとも理解される。
一実施形態によって、映像復号装置100は、決定された第2符号化単位510を、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位500を分割し、決定された非正方形の形態の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するか、あるいは第2符号化単位510を分割しない。映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを獲得することができ、映像復号装置100は、獲得したブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位500を分割し、例えば、多様な形態の複数個の第2符号化単位510を分割することができ、第2符号化単位510は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位500が分割された方式によっても分割される。一実施形態により、第1符号化単位500が、第1符号化単位500に係わるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第2符号化単位510に分割された場合、第2符号化単位510も、第2符号化単位510に係わるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、例えば、第3符号化単位520a,520b,520c,520dにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モードに係わる情報及びブロック形態情報のうち、少なくとも一つに基づいて、再帰的にも分割される。従って、非正方形状の符号化単位に正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定される。
図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dのうち、例えば、所定の符号化単位(真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的にも分割される。一実施形態によって、奇数個の第3符号化単位520b,520c,520dにおいて、1つの正方形状の第3符号化単位520bは、水平方向に分割され、複数個の第4符号化単位にも分割される。複数個の第4符号化単位530a,530b,530c,530dのうち1つの非正方形状の第4符号化単位530bまたは530dは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第4符号化単位530bまたは530dは、奇数個の符号化単位にさらに分割される。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述することにする。
一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第3符号化単位520a,520b,520c,520dそれぞれを符号化単位に分割することができる。また、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第2符号化単位510を分割しないと決定することができる。映像復号装置100は、一実施形態によって、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、所定の第3符号化単位に対して所定の制限を置くことができる。例えば、映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。
図5を参照すれば、映像復号装置100は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cは、それ以上分割されないか、所定の分割形態に分割(例えば、4個の符号化単位にだけ分割するか、あるいは第2符号化単位510が分割された形態に対応する形態に分割)されると制限するか、あるいは、所定の回数にだけ分割(例えば、n回だけ分割する;n>0)すると制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが、異なる符号化単位520b,520dと異なるように復号される多様な制限を含むものであると解釈されなければならない。
一実施形態によって、映像復号装置100は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。
図6は、一実施形態によって、映像復号装置100が奇数個の符号化単位のうち所定の符号化単位を決定するための方法を図示する。
図6を参照すれば、現在符号化単位600,650のブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つは、現在符号化単位600,650に含まれる複数個のサンプルのうち所定位置のサンプル(例えば、真ん中に位置するサンプル640,690)からも獲得される。ただし、そのようなブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つが獲得される現在符号化単位600内の所定位置が、図6で図示する真ん中の位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位600内に含まれる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など)が含まれてもよいと解釈されなければならない。映像復号装置100は、所定位置から獲得されるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
一実施形態によって、映像復号装置100は、現在符号化単位が所定個数の符号化単位に分割された場合、そのうち一つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様であり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。
一実施形態によって、映像復号装置100は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
一実施形態によって、映像復号装置100は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、映像復号装置100は、現在符号化単位600または現在符号化単位650を分割し、奇数個の符号化単位620a,620b,620cまたは奇数個の符号化単位660a,660b,660cを決定することができる。映像復号装置100は、奇数個の符号化単位620a,620b,620cまたは奇数個の符号化単位660a,660b,660cの位置に係わる情報を利用し、真ん中符号化単位620bまたは真ん中符号化単位660bを決定することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、映像復号装置100は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態によって、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態によって、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内での座標間の差を示す情報に該当する。すなわち、映像復号装置100は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位620bの左側上端のサンプル530bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示すことができる。映像復号装置100は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を、昇順または降順で整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法によって解釈されなければならない。
一実施形態によって、映像復号装置100は、現在符号化単位600を複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定の基準により、符号化単位を選択することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cのうち、大きさが異なる符号化単位620bを選択することができる。
一実施形態によって、映像復号装置100は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。一実施形態により、映像復号装置100は、上端符号化単位620aの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、上端符号化単位620aの高さを、yb-yaと決定することができる。一実施形態によって、映像復号装置100は、真ん中符号化単位620bの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、真ん中符号化単位620bの高さを、yc-ybと決定することができる。一実施形態によって、映像復号装置100は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さと、を利用して決定することができる。映像復号装置100は、決定された符号化単位620a,620b,620cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
映像復号装置100は、左側符号化単位660aの左側上端のサンプル670aの位置を示す情報である(xd,yd)座標、真ん中符号化単位660bの左側上端のサンプル670bの位置を示す情報である(xe,ye)座標、右側符号化単位660cの左側上端のサンプル670cの位置を示す情報である(xf,yf)座標を利用し、符号化単位660a,660b,660cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位660a,660b,660cの位置を示す座標である(xd,yd)、(xe,ye)、(xf,yf)を利用し、符号化単位660a,660b,660cそれぞれの大きさを決定することができる。
一実施形態により、映像復号装置100は、左側符号化単位660aの幅を、xe-xdと決定することができる。映像復号装置100は、左側符号化単位660aの高さを、現在符号化単位650の高さに決定することができる。一実施形態によって、映像復号装置100は、真ん中符号化単位660bの幅を、xf-xeと決定することができる。映像復号装置100は、真ん中符号化単位660bの高さを、現在符号化単位600の高さに決定することができる。一実施形態によって、映像復号装置100は、右側符号化単位660cの幅または高さは、現在符号化単位650の幅または高さと、左側符号化単位660a及び真ん中符号化単位660bの幅及び高さと、を利用して決定することができる。映像復号装置100は、決定された符号化単位660a,660b,660cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、左側符号化単位660a及び右側符号化単位660cの大きさと異なる大きさを有する真ん中符号化単位660bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されもする。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されるとも解釈される。
一実施形態によって、映像復号装置100は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置100は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置100は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
一実施形態によって、映像復号装置100は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置100は、現在符号化単位を分割(バイ分割:binary split)し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した奇数個の符号化単位のうち、所定位置(例えば、真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定の情報を利用することができる。例えば、映像復号装置100は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを利用することができる。
図6を参照すれば、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位620bを決定することができる。さらには、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600のブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つは、現在符号化単位600の真ん中に位置するサンプル640から獲得され、前記ブロック形態情報及び前記分割形態モードに係わる情報のうち、少なくとも一つに基づいて、現在符号化単位600が、複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位に決定するために利用される情報が、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに限定して解釈されるものではなく、多種の情報が、真ん中に位置する符号化単位を決定する過程において利用される。
一実施形態によって、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定のサンプルからも獲得される。図6を参照すれば、映像復号装置100は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cのうち、所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の真ん中に位置するサンプル)から獲得されるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを利用することができる。すなわち、映像復号装置100は、現在符号化単位600のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置100は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cにおいて、所定の情報(例えば、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つ)が獲得されるサンプルが含まれた符号化単位620bを決定し、所定の制限を置くことができる。図6を参照すれば、一実施形態によって、映像復号装置100は、所定の情報が獲得されるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、映像復号装置100は、そのようなサンプル640が含まれる符号化単位620bに対し、復号過程での所定制限を置くことができる。ただし、所定の情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位620bに含まれる任意の位置のサンプルとも解釈される。
一実施形態によって、所定の情報が獲得されるサンプルの位置は、現在符号化単位600の形態によっても決定される。一実施形態によって、ブロック形態情報は、現在符号化単位の形態が正方形であるか、または非正方形であるかということを決定することができ、形態によっては、所定の情報が獲得されるサンプルの位置を決定することができる。例えば、映像復号装置100は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち、少なくとも一つを利用し、現在符号化単位の幅及び高さのうち、少なくとも一つを半分に分割する境界上に位置するサンプルを、所定の情報が獲得されるサンプルと決定することができる。他の例を挙げれば、映像復号装置100は、現在符号化単位に係わるブロック形態情報が非正方形状であるということを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定の情報が獲得されるサンプルと決定することができる。
一実施形態によって、映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを利用することができる。一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置100は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モードに係わる情報及びブロック形態情報のうち、少なくとも一つを利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図5を介して説明したので、詳細な説明は、省略することにする。
一実施形態によって、映像復号装置100は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定のブロック(例えば、現在符号化単位)によって決定することができる。
図7は、一実施形態によって、映像復号装置100が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bが水平方向710cに処理されるように、順序を決定することができる。映像復号装置100は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a,730bの処理順序を、垂直方向730cに決定することができる。映像復号装置100は、第1符号化単位700を垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dに対し、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序(例えば、ラスタースキャン順序((raster scan order)またはzスキャン順序(z scan order)(750e)など)によって決定することができる。
一実施形態によって、映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、映像復号装置100は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立して、複数個の符号化単位にも分割される。図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
一実施形態によって、映像復号装置100は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しない。
一実施形態によって、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置100は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向720cに処理される。また、左側の第2符号化単位710a及び右側の第2符号化単位710bが処理される順序は、水平方向710cに該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが垂直方向720cに処理された後、右側符号化単位710bが処理される。前述の内容は、符号化単位がそれぞれ分割前の符号化単位により、処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定の順序により、独立して処理される多様な方法でもって利用されると解釈されなければならない。
図8は、一実施形態によって、映像復号装置100が、所定の順序符号化単位を処理することができない場合、現在符号化単位が、奇数個の符号化単位に分割されるということを決定する過程を図示する。
一実施形態によって、映像復号装置100は、獲得されたブロック形態情報及び分割形態モードに係わる情報に基づいて、現在符号化単位が奇数個の符号化単位に分割されることを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が非正方形状の第2符号化単位810a,810bに分割され、第2符号化単位810a,810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d、820eにも分割される。一実施形態によって、映像復号装置100は、第2符号化単位のうち左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割することができる。
一実施形態によって、映像復号装置100は、第3符号化単位820a,820b,820c,820d,820eが所定の順序によって処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、映像復号装置100は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d,820eを決定することができる。映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d,820eが分割される形態のうち奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bにおいて、右側に位置する符号化単位が奇数個の第3符号化単位820c,820d,820eにも分割される。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定の順序(例えば、zスキャン順序830)にもなり、映像復号装置100は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定の順序によって処理される条件を満足するか否かということを判断することができる。
一実施形態によって、映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが、所定の順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界により、第2符号化単位810a,810bの幅及び高さのうち、少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、条件を満足することができる。右側第2符号化単位810bを3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないと決定される。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、該判断結果に基づいて、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態によって、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
図9は、一実施形態によって、映像復号装置100が、第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態によって、映像復号装置100は、受信部110を介して獲得したブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、ブロック形態情報が、第1符号化単位900が正方形であることを示し、分割形態モードに係わる情報が、非正方形の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位900を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モードに係わる情報が、第1符号化単位900を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置100は、正方形状の第1符号化単位900を、奇数個の符号化単位として、垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
一実施形態によって、映像復号装置100は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが、所定の順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界により、第1符号化単位900の幅及び高さのうち、少なくとも一つが半分に分割されるか否かということと係わる。図9を参照すれば、正方形状の第1符号化単位900を垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理される条件を満足することができないと決定される。また、正方形状の第1符号化単位900を水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理される条件を満足することができないと決定される。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づいて、第1符号化単位900は、奇数個の符号化単位に分割されると決定することができる。一実施形態によって、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、映像復号装置100は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
図9を参照すれば、映像復号装置100は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
図10は、一実施形態によって、映像復号装置100が第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位が、所定条件を満足する場合、第2符号化単位が分割される形態が制限されることを図示する。
一実施形態によって、映像復号装置100は、受信部110を介して獲得したブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、正方形状の第1符号化単位1000を、非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立しても分割される。それにより、映像復号装置100は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わるブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないことを決定することができる。一実施形態によって、映像復号装置100は、垂直方向に第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、映像復号装置100は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一水平方向に分割されないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定される。しかし、それは、映像復号装置100が、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位1000を4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面で非効率的なものである。
一実施形態によって、映像復号装置100は、水平方向に第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、映像復号装置100は、第2符号化単位のうち一つ(例えば、上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例えば、下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一垂直方向に分割されないように制限することができる。
図11は、一実施形態によって、分割形態モードに係わる情報が、4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置100が正方形状の符号化単位を分割する過程を図示する。
一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bを決定することができる。分割形態モードに係わる情報には、符号化単位が分割される多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態モードに係わる情報によれば、映像復号装置100は、正方形状の第1符号化単位1100を、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。分割形態モードに係わる情報に基づいて、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを決定することができる。
一実施形態によって、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bをそれぞれ独立して分割することができる。再帰的な方法を介して、第2符号化単位1110a,1110b,1120a,1120bそれぞれが所定の順によって分割され、それは、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、第1符号化単位1100が分割される方法に対応する分割方法でもある。
例えば、映像復号装置100は、左側第2符号化単位1110aが水平方向に分割され、正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bが水平方向に分割され、正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、映像復号装置100は、左側第2符号化単位1110a及び右側第2符号化単位1110bいずれも水平方向に分割され、正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態で符号化単位が決定される。
他の例を挙げれば、映像復号装置100は、上端第2符号化単位1120aが垂直方向に分割され、正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bが垂直方向に分割され、正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、映像復号装置100は、上端第2符号化単位1120a及び下端第2符号化単位1120bいずれも垂直方向に分割され、正方形状の第3符号化単位1126a,1126b,1126a,1126bを決定することもできる。そのような場合、第1符号化単位1100が4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態で符号化単位が決定される。
図12は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうるということを図示したものである。
一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報に基づいて、第1符号化単位1200を分割することができる。ブロック形態情報が正方形状を示し、分割形態モードに係わる情報が、第1符号化単位1200が水平方向及び垂直方向のうち、少なくとも1つの方向に分割されることを示す場合、映像復号装置100は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220bを決定することができる。図12を参照すれば、第1符号化単位1200が水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わるブロック形態情報及び分割形態モードに係わる情報に基づいて、独立しても分割される。例えば、映像復号装置100は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを水平方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図11と係わって説明したので、詳細な説明は、省略することにする。
一実施形態によって、映像復号装置100は、所定の順序により、符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図7と係わって説明したの、で詳細な説明は、省略することにする。図12を参照すれば、映像復号装置100は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dを決定することができる。一実施形態によって、映像復号装置100は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dの処理順序を決定することができる。
一実施形態によって、映像復号装置100は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、映像復号装置100は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216cを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b,1216dを垂直方向に処理する順序(1217)により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
一実施形態によって、映像復号装置100は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、映像復号装置100は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序(1227)により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割され、正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定される。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、その後に決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位であり、第1符号化単位1200が分割された結果になる。それにより、映像復号装置100は、ブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定し、また、同一形態に決定された複数個の符号化単位を互いに異なる順序で処理することができる。
図13は、一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
一実施形態によって、映像復号装置100は、符号化単位の深度を、所定の基準によって決定することができる。例えば、所定の基準は、符号化単位の長辺長にもなる。映像復号装置100は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より2n(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりnほど深度が増大したと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現することにする。
図13を参照すれば、一実施形態によって、正方形状であるということを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示すことができる)に基づいて、映像復号装置100は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有することができる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有することができる。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、D+1でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、D+2でもある。
一実施形態によって、非正方形状を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より大きい非正方形であるということを示す「1:NS_VER」、または幅が高さより大きい非正方形であるということを示す「2:NS_HOR」を示すことができる)に基づいて、映像復号装置100は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324などを決定することができる。
映像復号装置100は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち、少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することができる。すなわち、映像復号装置100は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
一実施形態によって、映像復号装置100は、2NxNサイズの第1符号化単位1320の幅及び高さのうち、少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することもできる。すなわち、映像復号装置100は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
一実施形態によって、映像復号装置100は、NxNサイズの第2符号化単位1302の幅及び高さのうち、少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1302を垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態によって、映像復号装置100は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち、少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/4サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/4xN/2サイズの第3符号化単位1314を決定することができる。
一実施形態によって、映像復号装置100は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち、少なくとも一つを分割し、例えば、第3符号化単位1304、1314、1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1322を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/4xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態によって、映像復号装置100は、例えば、正方形状の符号化単位1300,1302,1304を水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態によって、深度が符号化単位の最長の長辺長に基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
一実施形態によって、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍に該当する。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、D+1でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または1324の深度は、D+2でもある。
図14は、一実施形態によって、符号化単位の形態及び大きさによって決定される深度、及び符号化単位区分のためのインデックスを図示する。
一実施形態によって、映像復号装置100は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、映像復号装置100は、分割形態モードに係わる情報により、第1符号化単位1400を垂直方向及び水平方向のうち、少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、映像復号装置100は、第1符号化単位1400に係わる分割形態モードに係わる情報に基づいて、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
一実施形態によって、正方形状の第1符号化単位1400に係わる分割形態モードに係わる情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺長に基づいても深度が決定される。例えば、正方形状の第1符号化単位1400の一辺長と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺長とが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとのの深度は、Dとして同一であると見ることができる。それに反し、映像復号装置100が分割形態モードに係わる情報に基づいて、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺長は、第1符号化単位1400の一辺長の1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位であるD+1の深度でもある。
一実施形態によって、映像復号装置100は、高さが幅より大きい形態の第1符号化単位1410を、分割形態モードに係わる情報により、水平方向に分割し、複数個の第2符号化単位1412a,1412b,1414a,1414b,1414cに分割することができる。一実施形態によって、映像復号装置100は、幅が高さより大きい形態の第1符号化単位1420を、分割形態モードに係わる情報により、垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
一実施形態によって、非正方形状の第1符号化単位1410または1420に係わる分割形態モードに係わる情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1414c。1422a,1422b,1424a,1424b,1424cは、長辺長に基づいても深度が決定される。例えば、正方形状の第2符号化単位1412a,1412bの一辺長は、高さが幅より大きい非正方形状の第1符号化単位1410の一辺長の1/2倍であるので、正方形状の第2符号化単位1412a,1412bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度であるD+1である。
さらには、映像復号装置100が分割形態モードに係わる情報に基づいて、非正方形状の第1符号化単位1410を、奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含んでもよい。その場合、非正方形状の第2符号化単位1414a,1414cの長辺長、及び正方形状の第2符号化単位1414bの一辺長は、第1符号化単位1410の一辺長の1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位であるD+1の深度でもある。映像復号装置100は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
一実施形態によって、映像復号装置100は、分割された符号化単位の区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2増加した3でもある。すなわち、インデックス値の不連続性が存在する。一実施形態によって、映像復号装置100は、そのような分割された符号化単位間区分のためのインデックスの不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
一実施形態によって、映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像復号装置100は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態によって、該インデックス(PID)は、それぞれの符号化単位の所定位置のサンプル(例えば、左側上端サンプル)からも獲得される。
一実施形態によって、映像復号装置100は、符号化単位の区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態によって、高さが幅より大きい長方形状の第1符号化単位1410に係わる分割形態モードに係わる情報が、3個の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位1410を3個の符号化単位1414a,1414b,1414cに分割することができる。映像復号装置100は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックスを割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置100は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態によって、映像復号装置100は、分割された符号化単位区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと幅は、同一であるものの、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2増加した3でもある。そのような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる。一実施形態によって、分割形態モードに係わる情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置100は、奇数個の符号化単位のうち、所定位置の符号化単位(例えば、真ん中符号化単位)が異なる符号化単位と、大きさが異なる形態とに現在符号化単位を分割することができる。その場合、映像復号装置100は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックスを決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定されたものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置、及び大きさが利用されると解釈されなければならない。
一実施形態によって、映像復号装置100は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
図15は、一実施形態によって、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
一実施形態によって、所定のデータ単位は、符号化単位がブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つを利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当する。以下においては、説明上の便宜のために、そのような所定のデータ単位を基準データ単位と称する。
一実施形態によって、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一であってもよく、2の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位にも分割される。
一実施形態によって、映像復号装置100は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態によって、映像復号装置100は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モードに係わる情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を利用した分割過程に対応する。
一実施形態によって、映像復号装置100は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、映像復号装置100は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態モードに係わる情報を利用し、少なくとも1つの符号化単位を決定することができる。
図15を参照すれば、映像復号装置100は、正方形状の基準符号化単位1500を利用することができ、または非正方形状の基準符号化単位1502を利用することもできる。一実施形態によって、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例えば、シーケンス(sequence)、ピクチャ(picture)、スライス(slice)、スライスセグメント(slice segment)、最大符号化単位など)によっても決定される。
一実施形態によって、映像復号装置100の受信部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち、少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1502に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略することにする。
一実施形態によって、映像復号装置100は、所定の条件に基づいてあらかじめ決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部110は、ビットストリームから、前記多様なデータ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など)のうち所定の条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスだけを獲得することができる。映像復号装置100は、インデックスを利用することにより、前記所定の条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではなくなるので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち、少なくとも一つは、あらかじめ決められている。すなわち、映像復号装置100は、あらかじめ決定された基準符号化単位の大きさ及び形態のうち、少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち、少なくとも一つを決定することができる。
一実施形態によって、映像復号装置100は、1つの最大符号化単位に含む少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して符号化単位が決定される。一実施形態によって、最大符号化単位の幅及び高さのうち、少なくとも一つは、基準符号化単位の幅及び高さのうち、少なくとも1つの整数倍に該当する。一実施形態によって、基準符号化単位の大きさは、最大符号化単位をクアッドツリー構造により、n回分割した大きさでもある。すなわち、映像復号装置100は、最大符号化単位をクアッドツリー構造により、n回分割し、基準符号化単位を決定することができ、多様な実施形態によって、基準符号化単位をブロック形態情報及び分割形態モードに係わる情報のうち、少なくとも一つに基づいて分割することができる。
図16は、一実施形態によって、ピクチャ1600に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
一実施形態によって、映像復号装置100は、ピクチャを分割する少なくとも1つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも1つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも1つの基準符号化単位は、特定順にも決定される。すなわち、それぞれのプロセッシングブロックで決定される少なくとも1つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン、Zスキャン、Nスキャン(N-scan)、右上向き対角スキャン(up-right diagonal scan)、水平的スキャン(horizontal scan)、垂直的スキャン(vertical scan)のような多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態によって、映像復号装置100は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。映像復号装置100は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態によって、映像復号装置100の受信部110は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位で、ビットストリームからも獲得される。すなわち、受信部110は、前記多くのデータ単位ごとにビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、映像復号装置100は、獲得されたプロセッシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも1つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態によって、映像復号装置100は、ピクチャ1600に含まれるプロセッシングブロック1602,1612の大きさを決定することができる。例えば、映像復号装置100は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図16を参照すれば、映像復号装置100は、一実施形態によって、プロセッシングブロック1602,1612の横サイズを、基準符号化単位横サイズの4倍、縦サイズを基準符号化単位の縦サイズの4倍と決定することができる。映像復号装置100は、少なくとも1つのプロセッシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、映像復号装置100は、プロセッシングブロックの大きさに基づいて、ピクチャ1600に含まれるそれぞれのプロセッシングブロック1602,1612を決定することができ、プロセッシングブロック1602,1612に含まれる少なくとも1つの基準符号化単位の決定順序を決定することができる。一実施形態によって、基準符号化単位の決定は、基準符号化単位サイズの決定を含んでもよい。
一実施形態によって、映像復号装置100は、ビットストリームから、少なくとも1つのプロセッシングブロックに含まれる少なくとも1つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも1つの基準符号化単位が決定される順序を決定することができる。決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定される。
一実施形態によって、映像復号装置100は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、受信部110は、基準符号化単位の決定順序に係わる情報を映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとにも獲得される。
映像復号装置100は、一実施形態によって、決定された順序に基づいて、少なくとも1つの基準符号化単位を決定することができる。
一実施形態によって、受信部110は、ビットストリームから、プロセッシングブロック1602,1612と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置100は、前記プロセッシングブロック1602,1612に含まれた少なくとも1つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ1600に含まれる少なくとも1つの基準符号化単位を決定することができる。図16を参照すれば、映像復号装置100は、それぞれのプロセッシングブロック1602,1612と係わる少なくとも1つの基準符号化単位の決定順序(1604、1614)を決定することができる。例えば、基準符号化単位の決定順序に係わる情報がプロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック1602,1612と係わる基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロック1602と係わる基準符号化単位決定順序(1604)がラスタースキャン順序である場合、プロセッシングブロック1602に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに反し、他のプロセッシングブロック1612と係わる基準符号化単位決定順序(1614)がラスタースキャン順序の逆順である場合、プロセッシングブロック1612に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
映像復号装置100は、一実施形態により、決定された少なくとも1つの基準符号化単位を復号することができる。映像復号装置100は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
一実施形態によって、映像復号装置100は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モードに係わる情報をビットストリームから獲得して利用することができる。ブロック形態情報または分割形態モードに係わる情報は、多様なデータ単位と係わるビットストリームに含まれる。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)に含まれたブロック形態情報または分割形態モードに係わる情報を利用することができる。さらには、映像復号装置100は、最大符号化単位、基準符号化単位、プロセッシングブロックごとにビットストリームから、ブロック形態情報または分割形態モードに係わる情報に対応するシンタックスエレメントをビットストリームから獲得して利用することができる。
以下、本開示の一実施形態による分割規則を決定する方法について詳細に説明する。
映像復号装置100は、映像の分割規則を決定することができる。分割規則は、映像復号装置100と映像符号化装置2200との間であらかじめ決められている。映像復号装置100は、ビットストリームから獲得された情報に基づいて、映像の分割規則を決定することができる。映像復号装置100は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダのうち、少なくとも一つから獲得された情報に基づいて、分割規則を決定することができる。映像復号装置100は、分割規則を、フレーム、スライス、テンポラルレイヤ(temporal layer)、最大符号化単位または符号化単位によって異なるように決定することができる。
映像復号装置100は、符号化単位のブロック形態情報に基づいて分割規則を決定することができる。映像復号装置100は、符号化単位のブロック形態情報を決定することができる。ブロック形態情報は、符号化単位の大きさ、形態、幅及び高さの比率、方向の情報を含んでもよい。映像符号化装置2200及び映像復号装置100は、符号化単位のブロック形態情報に基づいて分割規則を決定することをあらかじめ決定することができる。しかし、それに限定されるものではない。映像復号装置100は、映像符号化装置2200から受信されたビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
符号化単位の形態は、正方形及び非正方形を含んでもよい。符号化単位の幅及び高さの長さが同じである場合、映像復号装置100は、符号化単位の形態を正方形と決定することができる。また、符号化単位の幅及び高さの長さが同じではない場合、映像復号装置100は、符号化単位の形態を非正方形と決定することができる。
符号化単位の大きさは、4x4、8x4、4x8、8x8、16x4、16x8、…、256x256の多様な大きさを含んでもよい。符号化単位の大きさは、符号化単位の長辺長、短辺長、または幅によっても分類される。映像復号装置100は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置100は、同一長辺長を有する符号化単位を同一サイズに分類することができる。また、映像復号装置100は、同一長辺長を有する符号化単位に対して、同一分割規則を適用することができる。
符号化単位の幅及び高さの比率は、1:2、2:1、1:4、4:1、1:8、8:1、1:16または16:1などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。該水平方向は、符号化単位の幅の長さが高さより大きい場合を示すことができる。該垂直方向は、符号化単位の幅の長さが高さより小さい場合を示すことができる。
映像復号装置100は、符号化単位の大きさに基づいて、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位の大きさに基づいて、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置100は、符号化単位の大きさに基づいて、分割が許容されるか否かということを決定することができる。映像復号装置100は、符号化単位の大きさにより、分割方向を決定することができる。映像復号装置100は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。
符号化単位の大きさに基づいて分割規則を決定することは、映像符号化装置2200及び映像復号装置100の間にあらかじめ決定された分割規則でもある。また、映像復号装置100は、ビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
映像復号装置100は、符号化単位の位置に基づいて、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位が、映像で占める位置に基づいて、分割規則を適応的に決定することができる。
また、映像復号装置100は、互いに異なる分割経路に生成された符号化単位が同一ブロック形態を有さないように、分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路に生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路に生成された符号化単位は、互いに異なる復号処理順序を有することができる。復号処理順序については、図12と共に説明したので、詳細な説明は、省略する。
また、映像復号装置100は、符号化されたフレーム(または、スライス)の分割形態モードに係わる情報、現在ブロックに隣接した周辺ブロックの分割形態モードに係わる情報に基づいて、分割規則を適応的に決定することができる。以下、図17ないし図24と共に、分割規則を決定方法について詳細に説明する。
図17は、本開示の一実施形態によって、符号化単位の大きさによって分割規則を決定する方法について説明するための図面である。
本開示の一実施形態によれば、映像復号装置100は、許容可能な符号化単位の大きさを、最大MxNから最小PxQまで許容することができる。映像復号装置100及び映像符号化装置2200は、符号化単位の最小サイズまたは最大サイズをあらかじめ決定することができる。M、N、P、Qは、正の整数でもある。MとNは、同一値でもあり、異なる値でもある。PとQは、同一値でもあり、異なる値でもある。MxNは、256x256、128x128または64x64のうち一つを含んでもよい。また、PxQは、4x4を含んでもよい。
本開示の一実施形態によれば、映像復号装置100は、符号化単位の最大サイズまたは最小サイズを、ビットストリームから獲得することができる。映像復号装置100は、あらかじめ決定された最小一辺長に基づいて、符号化単位の最大サイズまたは最小サイズを、ビットストリームから獲得することができる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定された符号化単位の最小長をKと決定することができる。符号化単位の新たな最小サイズは、PxQでもある。符号化単位の新たな最大サイズは、MxNでもある。映像復号装置100は、Pを決定するために、ビットストリームから、log2(A)を受信することができる。ここで、log2(A)の値は、log2(P)-log2(K)の通りである。映像復号装置100は、Pを、下記数式(1)のように獲得することができる。
映像復号装置100は、同一方式で、Q、M、Nを決定することができる。
本開示の一実施形態によれば、映像復号装置100は、符号化単位の新たな最大サイズ(MxN)を、符号化単位の新たな最小サイズに基づいて獲得することができる。例えば、映像復号装置100が、数式(1)により、符号化単位の新たな最小サイズの一辺長Pを獲得した場合、映像復号装置100は、符号化単位の最大サイズの一辺長Mを、数式(2)のように獲得することができる。
ここで、log2(B)は、映像復号装置100がビットストリームから獲得した値であり、log2(M)-log(P)の通りである。
本開示の一実施形態によれば、映像復号装置100は、最大符号化単位を第1サイズの符号化単位に分割することができる。映像復号装置100は、最大符号化単位を分割し、第1サイズの符号化単位を獲得することができる。例えば、映像復号装置100は、現在符号化単位が最大符号化単位である場合、分割形態モードに対応するビンストリングなしに、最大符号化単位をクアッド分割し、第1サイズの符号化単位を獲得することができる。さらに具体的には、現在符号化単位1701の大きさが256x256であり、256x256サイズが符号化単位の最大サイズである場合、映像復号装置100は、ビンストリングなしに、現在符号化単位を、128x128サイズの符号化単位1702にクアッド分割することができる。
映像復号装置100が第1サイズの符号化単位を、前記分割形態モードに対応するビンストリング、及び分割規則に基づいて、複数の符号化単位に分割することができる。例えば、映像復号装置100は、256X256サイズの符号化単位をクアッド分割して獲得された128x128サイズの符号化単位1702を分割形態モードに対応するビンストリング、及び分割規則に基づいて、複数の符号化単位に分割することができる。
また、本開示の一実施形態によれば、現在符号化単位が、符号化単位の大きさが符号化単位の最小サイズと同一である場合、映像復号装置100は、現在符号化単位をそれ以上分割しない。
また、本開示の一実施形態によれば、映像復号装置100は、現在符号化単位の大きさに基づいて、符号化単位の分割方向を決定することができる。例えば、映像復号装置100は、現在符号化単位の短辺長が符号化単位の一辺の最小長と同一である場合、現在符号化単位の長辺長を分ける方向に、現在符号化単位を分割することができる。例えば、符号化単位の一辺の最小長が4でもある。映像復号装置100は、8x4サイズの符号化単位1711を垂直方向にバイナリ分割し、4x4サイズの符号化単位1712を獲得することができる。8x4サイズの符号化単位を水平方向にバイナリ分割する場合、符号化単位の高さの長さが2になるので、映像復号装置100は、水平方向の分割を許容しない。
また、本開示の一実施形態によれば、映像復号装置100は、非正方形の符号化単位をトリ分割する場合、符号化単位の長辺を分割する方向だけにトリ分割することができる。映像復号装置100は、正方形である符号化単位をトリ分割する場合、水平方向または垂直方向のうちいずれか1つの方向にトリ分割することができる。例えば、映像復号装置100は、32x8サイズの符号化単位1721をトリ分割すると決定することができる。32x8サイズの符号化単位1721は、幅が長い符号化単位であるので、映像復号装置100は、符号化単位を垂直方向に分割すると決定することができる。映像復号装置100は、垂直方向にトリ分割し、8x8サイズの符号化単位1722,1724、及び16x8サイズの符号化単位1723を獲得することができる。
また、映像復号装置100は、8x32サイズの符号化単位をトリ分割すると決定することができる。8x32サイズの符号化単位1731は、高さが大きい符号化単位であるので、映像復号装置100は、符号化単位を水平方向に分割すると決定することができる。映像復号装置100は、水平方向にトリ分割し、8x8サイズの符号化単位1732,1734、及び8x16サイズの符号化単位1733を獲得することができる。
図18は、本開示の一実施形態による分割形態モードについて説明するための図面である。
分割形態モードに係わる情報に基づいて、符号化単位に階層的にも分割される。分割形態モードに係わる情報は、分割いかんを示す情報、分割方向情報、及び分割タイプ情報のうち、少なくとも一つを含んでもよい。該分割タイプは、バイナリ分割、トリ分割またはクアッド分割のうち、少なくとも一つを含んでもよい。
映像復号装置100は、符号化単位をバイナリ分割することができる。該バイナリ分割は、符号化単位の幅または高さのうち一つを1:1に分割することを意味する。符号化単位の幅及び高さの比率が1:1である符号化単位1801、1:2である符号化単位1804、2:1である符号化単位1805、1:4である符号化単位、または4:1である符号化単位は、垂直方向に二等分される。符号化単位の幅及び高さの比率が1:1である符号化単位1802、1:2である符号化単位1803、2:1である符号化単位1806、1:4である符号化単位、または4:1である符号化単位は、水平方向に二等分される。
映像復号装置100は、符号化単位をトリ分割することができる。該トリ分割は、符号化単位の幅または高さを1:2:1に分割することを意味する。しかし、それに限定されるものではなく、トリ分割は、1:1:2、2:1:1に分割することも意味する。符号化単位の幅及び高さの比率が1:1である符号化単位1811、1:2である符号化単位1813、1:4である符号化単位1815、または1:8である符号化単位は、水平方向にトリ分割される。また、符号化単位の幅及び高さの比率が1:1である符号化単位1812、2:1である符号化単位1814、4:1である符号化単位1816、または8:1である符号化単位は、垂直方向にトリ分割される。
映像復号装置100は、符号化単位をクアッド分割することができる。該クアッド分割は、符号化単位の幅及び高さを二等分することを意味することができる。符号化単位の幅及び高さの比率が1:1である符号化単位1821、1:2である符号化単位、2:1である符号化単位、1:4である符号化単位、4:1である符号化単位、1:8である符号化単位、及び8:1である符号化単位のうち、少なくとも一つは、クアッド分割される。
映像復号装置100及び映像符号化装置2200は、複数の分割タイプのうち一部の分割タイプを使用することを決定することができる。すなわち、映像復号装置100及び映像符号化装置2200は、映像復号及び映像符号化のために使用する許容可能な分割タイプを決定することができる。許容可能な分割タイプは、映像復号装置100と映像符号化装置2200との間であらかじめ決定されている。ただし、それに限定されるものではなく、映像復号装置100は、ビットストリームから獲得された情報に基づいて、許容可能な分割タイプを決定することができる。例えば、映像復号装置100は、バイナリ分割、トリ分割またはクアッド分割をいずれも使用することができる。また、映像復号装置100は、バイナリ分割またはトリ分割を使用することができる。また、映像復号装置100は、バイナリ分割またはクアッド分割を使用することができる。
以下、図19と共に、分割規則を決定するための方法についてさらに詳細に説明する。
図19は、本開示の一実施形態によって、分割規則を決定する方法について説明するための図面である。
図19は、本開示の一実施形態により、映像復号装置100が許容する分割規則の一部を表で示したものである。映像復号装置100は、符号化単位の幅及び高さの許容可能な比率を決定することができる。映像復号装置100及び映像符号化装置2200は、符号化単位の幅及び高さの許容可能な比率をあらかじめ決定することができる。例えば、映像復号装置100は、ビットストリームから受信された情報なしに、あらかじめ決定された符号化単位の幅及び高さの許容可能な比率を獲得することができる。セル(1910)を参照すれば、映像復号装置100は、1:1、1:2、2:1、1:4、4:1、1:8及び8:1の比率を許容可能な比率と決定することができる。
映像復号装置100は、ビットストリームから獲得された情報に基づいて、幅及び高さの許容可能な比率を獲得することができる。許容可能な比率は、1:2^Nまたは2^N:1にもなる。ここで、Nは、0を含んだ正の整数である。例えば、映像復号装置100は、ビットストリームからフラグを受信し、1:1、1:2、2:1、1:4、4:1、1:8、8:1、1:16及び16:1の比率それぞれを使用するか否かということを決定することができる。例えば、映像復号装置100は、符号化単位の幅及び高さの1:1比率を使用するか否かということを示すフラグに基づいて、1:1比率を使用するか否かということを決定することができる。
映像復号装置100は、受信されたインデックスまたはビンストリングに基づいて、少なくとも1つの許容可能な幅及び高さの比率を決定することができる。例えば、映像復号装置100は、符号化単位の幅及び高さの比率をグル-ム化することができる。第1グループは1:1比率を含んでもよい。第2グループは1:1、1:2及び2:1の比率を含んでもよい。第3グループは1:1、1:2、2:1、1:4、4:1の比率を含んでもよい。受信されたインデックスまたはビンストリングが第3グループを示す場合、映像復号装置100は、1:1、1:2、2:1、1:4、4:1の比率を許容可能な比率に決定することができる。セル(1910)を参照すれば、映像復号装置100は、1:1、1:2、2:1、1:4、4:1、1:8及び8:1の比率を許容可能な比率と決定することができる。
映像復号装置100は、符号化単位の幅及び高さの比率による、符号化単位の大きさの許容可能な第1範囲を決定することができる。符号化単位の大きさは、符号化単位の幅の長さ、高さの高さ、長辺長、短辺長、または広さのうち、少なくとも一つを含んでもよい。大きさの許容可能な第1範囲は、符号化単位の最小サイズまたは最大サイズを含んでもよい。映像復号装置100は、符号化単位の幅及び高さの比率による、符号化単位の長辺長の許容可能な第1範囲を決定することができる。該第1範囲は、符号化単位の長辺長の最大値及び最小値を含んでもよい。
映像復号装置100及び映像符号化装置2200は、符号化単位の幅及び高さの比率による、符号化単位の長辺長の許容可能な第1範囲をあらかじめ決定することができる。映像復号装置100は、ビットストリームから受信された情報なしに、あらかじめ決定された符号化単位の幅及び高さの比率による、符号化単位の長辺長の許容可能な第1範囲を獲得することができる。符号化単位の幅及び高さの比率による符号化単位の長辺長の許容可能な第1範囲はセル(1930)の通りである。
映像復号装置100は、ビットストリームから獲得された情報に基づいて、符号化単位の幅及び高さの比率による、符号化単位の長辺長の許容可能な第1範囲を獲得することができる。映像復号装置100は、ビットストリームに獲得された情報に基づいて、セル(1930)のような符号化単位の幅及び高さの比率による符号化単位の長辺長の許容可能な第1範囲を決定することができる。
ビットストリームから獲得された情報は、配列形式を有することができる。例えば、映像復号装置100は、{{6,0},{5,1},{4,2},{0,0}}を受信することができる。映像復号装置100は、受信された{{6,0},{5,1},{4,2},{0,0}}に基づいて、セル(1930)のような幅及び高さの比率による符号化単位の長辺長の許容可能な第1範囲を獲得することができる。{6,0}は、1:1比率である符号化単位の長辺の第1範囲を示すことができる。{5,1}は、1:2または2:1の比率である符号化単位の長辺の第1範囲を示すことができる。{4,2}は、1:4または4:1の比率である符号化単位の長辺の第1範囲を示すことができる。{0,0}は、1:8または8:1の比率である符号化単位の長辺の第1範囲を示すことができる。
映像復号装置100は、数式(1)に基づいて、配列から長辺長の許容可能な第1範囲を獲得することができる。例えば、{6,0}は、1:1比率である符号化単位の長辺の第1範囲を示すことができる。ここで、「6」は、1:1の比率である符号化単位の長辺の最大値に係わる情報でもある。また、「0」は、1:1比率である符号化単位の長辺の最小値に係わる情報でもある。映像復号装置100は、数式(1)に基づいて、2^(6+log2(4))を計算し、256を符号化単位の長辺の最大値とする。ここで、あらかじめ決定された符号化単位の最小サイズ(K)は、4でもある。また、映像復号装置100は、数式(1)に基づいて、2^(0+log2(4))を計算し、4を符号化単位の長辺の最小値とする。
映像復号装置100は、数式(1)、符号化単位の長辺の最大長、または符号化単位の長辺の最小長のうち、少なくとも一つに基づいて、符号化単位の幅及び高さの許容可能な比率を決定することができる。映像復号装置100は、ビットストリームから獲得された情報に基づいて、長辺長の第1範囲を獲得することができる。符号化単位の長辺長の第1範囲は、符号化単位の長辺の最大長、または符号化単位の長辺の最小長を含んでもよい。映像復号装置100は、幅及び高さの比率、及び長辺長の範囲に基づいて、短辺長の範囲を獲得することができる。短辺長の最大値または最小値があらかじめ決定された符号化単位の最小サイズ(K)より小さい場合、映像復号装置100は、当該の幅及び高さの比率が許容可能ではない決定することができる。例えば、{0,0}が、1:8または8:1の比率である符号化単位の長辺の範囲を示す場合、映像復号装置100は、数式(1)に基づいて、2^(0+log2(4))を計算し、4を符号化単位の長辺の最大値とする。しかし、1:8または8:1の比率の符号化単位において、長辺長が4である場合、短辺長は、0.5にならなければならない。0.5は、あらかじめ決定された符号化単位の最小サイズである4より小さいので、映像復号装置100は、1:8または8:1の比率が許容可能ではないと決定することができる。
映像復号装置100は、分割規則に基づいて、所定の分割形態モードに係わる情報を許容するか否かということを決定することができる。例えば、映像復号装置100は、第1符号化単位を、第1分割形態モードに係わる情報に基づいて分割することが可能であるか否かということを決定することができる。映像復号装置100が、第1符号化単位を、第1分割形態モードに係わる情報によって分割する場合、第2符号化単位を獲得することができる。第2符号化単位が、「許容可能な符号化単位の幅及び高さの比率」、または「比率による符号化単位の長辺長の許容可能な範囲」のうち、少なくとも一つを満足しない場合、映像復号装置100は、第1分割形態モードを許容しない。反対に、第2符号化単位が、「許容可能な符号化単位の幅及び高さの比率」、及び「比率による符号化単位の長辺長の許容可能な範囲」を満足する場合、映像復号装置100は、第1分割形態モードを許容することができる。
映像復号装置100は、符号化単位の許容可能な分割形態モードを決定することができる。映像復号装置100及び映像符号化装置2200は、符号化単位の許容可能な分割形態モードをあらかじめ決定することができる。映像復号装置100は、ビットストリームから受信された情報なしに、あらかじめ決定された符号化単位の許容可能な分割形態モードを獲得することができる。セル(1920)を参照すれば、映像復号装置100は、バイナリ分割及びトリ分割を、許容可能な分割形態モードと決定することができる。ただし、それに限定されるものではなく、映像復号装置100は、クアッド分割も、許容可能な分割形態モードと決定することができる。
映像復号装置100は、ビットストリームから、符号化単位の許容可能な分割形態モードを獲得することができる。映像復号装置100は、ビットストリームからフラグを受信し、それぞれの分割形態モードを使用するか否かということを決定することができる。また、映像復号装置100は、インデックスまたはビンストリングを受信し、許容可能な分割形態モードを決定することができる。例えば、セル(1920)を参照すれば、映像復号装置100は、バイナリ分割及びトリ分割を許容することができる。ただし、それに限定されるものではなく、映像復号装置100は、クアッド分割も、許容可能な分割形態モードと決定することができる。
映像復号装置100は、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第2範囲を決定することができる。符号化単位の大きさは、符号化単位の幅の長さ、高さの高さ、長辺長、短辺長、または広さのうち一つを含んでもよい。大きさの許容可能な第2範囲は、符号化単位の最小サイズまたは最大サイズを含んでもよい。映像復号装置100は、符号化単位の分割形態モードによる、符号化単位の長辺長の許容可能な第2範囲を決定することができる。映像復号装置100及び映像符号化装置2200は、符号化単位の分割形態モードによる、符号化単位の長辺長の許容可能な第2範囲をあらかじめ決定することができる。映像復号装置100は、ビットストリームから受信された情報なしに、あらかじめ決定された符号化単位の分割形態モードによる、符号化単位の長辺長の許容可能な第2範囲を獲得することができる。符号化単位の分割形態モードによる符号化単位の長辺長の許容可能な第2範囲は、セル(1940)の通りである。
映像復号装置100は、ビットストリームから獲得された情報に基づいて、符号化単位の分割形態モードによる、符号化単位の長辺長の許容可能な第2範囲を獲得することができる。ビットストリームから獲得された情報は、配列形式を有することができる。例えば、映像復号装置100は,{{5,1},{4,2}}を受信することができる。映像復号装置は、受信された{{5,1},{4,2}}に基づいて、セル(1940)のような分割形態モードによる、符号化単位の長辺長の許容可能な第2範囲を獲得することができる。{5,1}は、バイナリ分割が可能な符号化単位の長辺の第2範囲を示すことができる。{4,2}は、トリ分割が可能な符号化単位の長辺の第2範囲を示すことができる。
映像復号装置100は、数式(1)に基づいて、配列から長辺長の許容可能な第2範囲を獲得することができる。例えば、{5,1}は、バイナリ分割が可能な符号化単位の長辺の第2範囲を示すことができる。ここで、「5」は、バイナリ分割が可能な符号化単位の長辺の最大値に係わる情報でもある。また、「1」は、バイナリ分割が可能な符号化単位の長辺の最小値に係わる情報でもある。映像復号装置100は、数式(1)に基づいて、2^(5+log2(4))を計算し、128を符号化単位の長辺の最大値とする。ここで、あらかじめ決定された符号化単位の最小サイズ(K)は、4でもある。また、映像復号装置100は、数式(1)に基づいて、2^(1+log2(4))を計算し、8を符号化単位の長辺の最小値とする。
映像復号装置100は、ビットストリームから獲得された情報に基づいて、分割規則のうち、少なくとも一つを変更することができる。映像復号装置100は、ビットストリームから獲得された情報に基づいて、分割規則を全体的に変更するか、分割規則を一部変更するか、あるいは分割規則を変更しないと決定することができる。ビットストリームが分割規則を一部変更することを示す場合、映像復号装置100は、ビットストリームから獲得された情報に基づいて、「変更される分割規則」と、「分割規則の内容」とに係わる情報を獲得することができる。例えば、「変更される分割規則」は、バイナリ分割が可能な符号化単位の長辺長の最大値でもある。また、「分割規則の内容」は、「4」でもある。映像復号装置100は、数式(1)に基づいて、バイナリ分割が可能な符号化単位の長辺長の最大値を64に決定することができる。
映像復号装置100は、分割規則に基づいて、所定の分割形態モードに係わる情報を許容するか否かということを決定することができる。例えば、映像復号装置100は、現在符号化単位の長辺長が、第1分割形態モードによる符号化単位の長辺長の許容可能な範囲を満足しないと決定することができる。映像復号装置100は、現在符号化単位について、第1分割形態モードに係わる情報が許容されないと決定することができる。反対に、映像復号装置100は、現在符号化単位の長辺長が、第1分割形態モードによる符号化単位の長辺長の許容可能な範囲を満足すると決定することができる。映像復号装置100は、現在符号化単位について、第1分割形態モードに係わる情報が許容される可能性があることを決定することができる。
以下、図19と共に、分割規則の多様な実施形態について説明する。
本開示の一実施形態によれば、符号化単位の大きさが所定サイズより小さい場合、映像復号装置100は、トリ分割を許容しない。例えば、セル(1940)を参照すれば、現在符号化単位の長辺長が16より小さい場合、映像復号装置100は、現在符号化単位に対して、トリ分割を許容しない。
また、本開示の一実施形態によれば、映像復号装置100は、長辺長が、最大Mから最小Nまでである符号化単位について、バイナリ分割が可能になるように、分割規則を決定することができる。ここで、M及びNは、正の整数である。例えば、映像復号装置100は、バイナリ分割が可能な長辺の最大長を128に決定することができる。また、映像復号装置100は、バイナリ分割が可能な長辺の最小長を8に決定することができる。すなわち、128x128、128x64、64x128、…、64x64、64x32、32x64、8x4、4x8であるブロックについて、映像復号装置100は、バイナリ分割を許容することができる。
また、本開示の一実施形態によれば、映像復号装置100は、長辺長が最大128から最小8までである符号化単位について、バイナリ分割が可能になるように、分割規則を決定することができる。また、映像復号装置100は、1:1比率、1:2比率及び2:1比率の符号化単位が可能になるように、分割規則を決定することができる。その場合には、映像復号装置100は、128x128、128x64、64x128、64x64、64x32、32x64、32x32、…、16x8、8x16、8x8のサイズの符号化単位で、バイナリ分割を許容することができる。
また、本開示の一実施形態によれば、映像復号装置100は、長辺長が最大128から最小8までである符号化単位について、バイナリ分割が可能になるように、分割規則を決定することができる。また、映像復号装置100は、1:1比率、1:2比率、2:1比率、1:4比率、4:1比率の符号化単位が可能になるように、分割規則を決定することができる。その場合には、映像復号装置100は、128x128、128x64、128x32、32x128、64x128、…、16x16、16x4、4x16、8x8のサイズの符号化単位で、バイナリ分割を許容することができる。
また、本開示の一実施形態によれば、映像復号装置100は、符号化単位の長辺長がMより小さい場合にだけ、トリ分割を使用するように分割規則を決定することができる。ここで、Mは、正の整数である。例えば、映像復号装置100は、符号化単位の長辺長が32より小さい場合にだけ、トリ分割を使用するように決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、符号化単位の長辺長がMより小さい、あるいはそれと同じであり、Nより大きいというような場合にだけ、トリ分割を使用するように、分割規則を決定することができる。ここで、M及びNは、正の整数である。例えば、セル(1940)を参照すれば、映像復号装置100は、符号化単位の長辺長が64より小さく、16より大きい場合にだけ、トリ分割を使用するように決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、現在符号化単位の一辺長がMより小さいか、あるいはそれと同じであり、Nより大きいというような場合にだけ、1:4比率または4:1比率の符号化単位に分割するように、分割規則を決定することができる。ここで、M及びNは、正の整数である。
また、本開示の一実施形態によれば、映像復号装置100は、現在符号化単位の一辺長がMより小さいか、あるいはそれと同じであり、Nより大きいというような場合にだけ、1:2比率または2:1比率の符号化単位に分割するように、分割規則を決定することができる。ここで、M及びNは、正の整数である。
また、本開示の一実施形態によれば、映像復号装置100は、クアッド分割を使用することを決定することができる。映像復号装置100は、長辺長が、MとNとの間である符号化単位について、クアッド分割を許容することができる。ここで、M及びNは、正の整数である。例えば、映像復号装置100は、長辺長が128ないし8である符号化単位について、クアッド分割を許容することができる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定されたM及びNを使用することができる。しかし、それに限定されるものではない。映像復号装置100は、ビットストリームから獲得された情報に基づいて、M及びNを決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、バイナリ分割を使用することを決定することができる。映像復号装置100は、長辺長が、MとNとの間である符号化単位について、バイナリ分割を許容することができる。ここで、M及びNは、正の整数である。例えば、セル(1920)及びセル(1940)を参照すれば、映像復号装置100は、長辺長が128ないし8である符号化単位について、バイナリ分割を許容することができる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定されたM及びNを使用することができる。しかし、それに限定されるものではない。映像復号装置100は、ビットストリームから獲得された情報に基づいて、M及びNを決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、トリ分割を使用することを決定することができる。映像復号装置100は、長辺長が、MとNとの間である符号化単位について、トリ分割を許容することができる。ここで、M及びNは、正の整数である。例えば、セル(1920)及びセル(1940)を参照すれば、映像復号装置100は、長辺長が64ないし16である符号化単位について、トリ分割を許容することができる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定されたM及びNを使用することができる。しかし、それに限定されるものではない。映像復号装置100は、ビットストリームから獲得された情報に基づいて、M及びNを決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、正方形符号化単位を使用することを決定することができる。映像復号装置100は、長辺長が、MからNである正方形符号化単位を許容することができる。ここで、M及びNは、正の整数である。例えば、映像復号装置100は、長辺長が128ないし4である正方形符号化単位を許容することができる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定されたM及びNを使用することができる。しかし、それに限定されるものではない。映像復号装置100は、ビットストリームから獲得された情報に基づいて、M及びNを決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、幅及び高さの比率が1:2または2:1である符号化単位を使用することを決定することができる。映像復号装置100は、長辺長が、MからNである1:2または2:1の比率の符号化単位を許容することができる。ここで、M及びNは、正の整数である。例えば、セル(1910)及びセル(1930)を参照すれば、映像復号装置100は、長辺長が128ないし8である1:2または2:1の比率の符号化単位を許容することができる。すなわち、許容可能な符号化単位の大きさは、128x64、64x128、64x32、32x64、32x16、16x32,16x8、8x16、8x4、4x8にもなる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定されたM及びNを使用することができる。しかし、それに限定されるものではない。映像復号装置100は、ビットストリームから獲得された情報に基づいて、M及びNを決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、幅及び高さの比率が1:4または4:1である符号化単位を使用することを決定することができる。映像復号装置100は、長辺長がMからNである1:4または4:1比率の符号化単位を許容することができる。ここで、M及びNは、正の整数である。例えば、セル(1910)及びセル(1930)を参照すれば、映像復号装置100は、長辺長が64ないし16である1:4または4:1の比率の符号化単位を許容することができる。すなわち、許容可能な符号化単位の大きさは、64x16、16x64、32x8、8x32,16x4、4x16にもなる。映像復号装置100及び映像符号化装置2200は、あらかじめ決定されたM及びNを使用することができる。しかし、それに限定されるものではない。映像復号装置100は、ビットストリームから獲得された情報に基づいて、M及びNを決定することができる。
また、本開示の一実施形態によれば、映像復号装置100は、幅及び高さの比率が1:8、8:1、1:16または16:1である符号化単位を使用することを決定することができる。映像復号装置100は、長辺長が、MからNである1:8、8:1、1:16または16:1の比率の符号化単位を許容することができる。
映像復号装置100は、映像の複雑度レベルを定義することができる。映像の複雑度レベルは、映像を表示するために必要なビット資源の量でもある。すなわち、映像の複雑度レベルが高いということは、映像を表示するために必要なビット資源の量が多いということを意味する。また、複雑度レベルが低いということは、映像を表示するために必要なビット資源の量が少ないということを意味する。
映像復号装置100は、映像の複雑度レベルに基づいて、分割規則を適応的に決定することができる。すなわち、該分割規則は、映像の複雑度レベル別にも決定される。映像復号装置100は、映像の複雑度レベルに基づいて、許容可能な分割形態モードを決定することができる。映像復号装置100は、映像の複雑度レベルをN個に分けることができる。映像復号装置100は、映像のN個の複雑度レベルそれぞれについて、許容可能な分割形態モードを独立して割り当てることができる。割り当てられた許容可能な分割形態モードは、互いに同一であってもよく、異なっていてもよい。映像復号装置100は、ビットストリームから、映像の複雑度レベルに係わる情報を受信することができる。映像復号装置100は、受信された映像の複雑度レベルに基づいて、許容可能な分割形態モードを決定することができる。
例えば、ビットストリームから受信された情報が第1複雑度レベルを示す場合、映像復号装置100は、クアッド分割を許容することができる。ビットストリームから受信された情報が第2複雑度レベルを示す場合、映像復号装置100は、クアッド分割及びバイナリ分割を許容することができる。ビットストリームから受信された情報が第3複雑度レベルを示す場合、映像復号装置100は、クアッド分割、バイナリ分割及びトリ分割を許容することができる。映像復号装置100及び映像符号化装置2200は、映像の複雑度レベルによる許容可能な分割形態モードをあらかじめ決定することができる。しかし、それに限定されるものではなく、映像復号装置100は、映像の複雑度レベルによる許容可能な分割形態モードを、ビットストリームから獲得することができる。
映像復号装置100は、映像の複雑度レベルに基づいて、許容可能なブロック形態情報を決定することができる。映像復号装置100は、映像の複雑度レベルをN個に分けることができる。映像復号装置100は、映像のN個の複雑度レベルそれぞれについて、許容可能なブロック形態情報を割り当てることができる。映像復号装置100は、ビットストリームから、映像の複雑度レベルに係わる情報を受信することができる。映像復号装置100は、受信された映像の複雑度レベルに基づいて、許容可能なブロック形態情報を決定することができる。
例えば、ビットストリームから受信された情報が第1複雑度レベルを示す場合、映像復号装置100は、正方形の符号化単位を許容することができる。ビットストリームから受信された情報が第2複雑度レベルを示す場合、映像復号装置100は、幅及び高さの比率が1:1、1:2または2:1である符号化単位を許容することができる。ビットストリームから受信された情報が第3複雑度レベルを示す場合、映像復号装置100は、幅及び高さの比率が1:1、1:2、2:1、1:4または4:1である符号化単位を許容することができる。映像復号装置100及び映像符号化装置2200は、映像の複雑度レベルによる許容可能なブロック形態情報をあらかじめ決定することができる。しかし、それに限定されるものではなく、映像復号装置100は、映像の複雑度レベルによる許容可能なブロック形態情報を、ビットストリームから獲得することができる。
図20は、本開示の一実施形態によって、分割規則を決定する方法について説明するための図面である。
映像復号装置100は、予測モードに基づいて分割規則を決定することができる。予測モードは、イントラモード及びインタモードを含んでもよい。映像復号装置100及び映像符号化装置2200は、あらかじめ決定された予測モードによる分割規則を使用することができる。しかし、それに限定されるものではない。映像復号装置100は、予測モードによる分割規則を、ビットストリームから獲得することができる。
表(2000)を参照すれば、映像復号装置100は、インタモードである場合、幅及び高さの比率が1:8または8:1である符号化単位を許容しない。セル(2010)を参照すれば、幅及び高さの比率が1:8または8:1である場合、映像復号装置100は、符号化単位の許容可能な長辺の最大長及び許容可能な長辺の最小長を0に設定することができる。すなわち、映像復号装置100は、幅及び高さの比率が1:8または8:1である符号化単位を許容しない。表(2000)に図示されていないが、イントラモードである場合にも、映像復号装置100は、幅及び高さの比率が1:8または8:1である符号化単位を許容しない。
図24は、現在符号化単位の分割を示す方法について説明する図面である。
split_unit()は、現在符号化単位を分割するためのシンタックスを示すことができる。分割形態モードに係わる情報は、分割いかんを示す情報、分割方向情報、及び分割タイプ情報のうち、少なくとも一つを含んでもよい。分割いかんを示す情報は、現在符号化単位を分割するか否かということを示す。該分割方向情報は、水平方向または垂直方向のうち一つに分割することを示す。
該分割タイプ情報は、符号化単位をバイナリ分割、トリ分割またはクアッド分割のうち一つで分割することを示す。該バイナリ分割は、符号化単位の高さまたは幅のうち一つを、1/2に分割することを意味する。トリ分割は、符号化単位の高さまたは幅のうち一つを、1:2:1に分割することを意味する。また、クアッド分割は、符号化単位の高さ及び幅を、1/2に分割することを意味する。
説明の便宜のために、本開示は、分割形態モードに係わる情報を、分割いかんを示す情報、分割方向情報、及び分割タイプ情報に区分して説明したが、それらに限定されるものではない。分割形態モードに係わる情報は、分割いかんを示す情報、分割方向情報、または分割タイプ情報を組み合わせても表現される。例えば、分割形態モードに係わる情報は、現在符号化単位が分割されないというを示すことができる。また、分割形態モードに係わる情報は、クアッド分割を示すことができる。また、分割形態モードに係わる情報は、バイナリ垂直分割を示すことができる。また、分割形態モードに係わる情報は、バイナリ垂直分割を示すことができる。また、分割形態モードに係わる情報は、バイナリ水平分割を示すことができる。また、分割形態モードに係わる情報は、トリ垂直分割を示すことができる。また、分割形態モードに係わる情報は、トリ水平分割を示すことができる。
映像復号装置100は、分割形態モードに係わる情報を、ビンストリングに基づいて獲得することができる。映像復号装置100は、ビンストリングに基づいて、符号化単位を分割するか否かということ、分割方向、及び分割タイプを決定することができる。
該ビンストリングは、情報を2進数の羅列で示したものである。該ビンストリングは、少なくとも1つのビットによっても構成される。映像復号装置100は、現在符号化単位から、許容可能な分割形態モードの個数に基づいて、ビンストリングのビットの個数を決定することができる。例えば、映像復号装置100は、現在符号化単位を分割するか、あるいは分割しないモードがあることを決定することができる。すなわち、現在符号化単位から、許容可能な分割形態モードの個数は、2個でもある。映像復号装置100は、1つのビットを含む分割形態モードに係わる情報のビンストリングに基づいて、符号化単位の分割形態モードに係わる情報を決定することができる。1つのビットは、分割いかんを示すことができる。該ビットは、分割しないを示すことができる。該ビットが分割を示す場合、映像復号装置100は、現在符号化単位の許容可能な分割形態モードに基づいて、分割方向または分割タイプを決定することができる。
また、現在符号化単位から、許容可能な分割形態モードの個数が3個である場合、映像復号装置100は、2個のビットを含むビンストリングに基づいて、符号化単位の分割形態モードに係わる情報を決定することができる。ビンストリングの最初ビットは、分割いかんを示すことができる。ビンストリングの2番目ビットは、分割タイプまたは分割方向を示すことができる。映像復号装置100は、現在符号化単位の許容可能な分割形態モードに基づいて、分割方向または分割タイプを決定することができる。
また、現在符号化単位から、許容可能な分割形態モードの個数が4個または5個である場合、映像復号装置100は、3個のビットを含むビンストリングに基づいて、符号化単位を分割することができる。ビンストリングの最初ビットは、分割いかんを示すことができる。ビンストリングの2番目ビットは、分割タイプまたは分割方向を示すことができる。ビンストリングの3番目ビットは、分割方向または分割タイプを示すことができる。映像復号装置100は、現在符号化単位の許容可能な分割形態モードに基づいて、分割方向または分割タイプを決定することができる。
映像復号装置100は、ビットストリームから、分割形態モードに係わる情報を獲得することができるが、それに限定されるものではない。映像復号装置100は、映像符号化装置2200とあらかじめ約束された分割規則に基づいて、分割形態モードに係わる情報を決定することができる。映像復号装置100は、現在符号化単位の大きさに基づいて、あらかじめ約束された分割形態モードに係わる情報を決定することができる。例えば、映像復号装置100は、最大サイズの符号化単位について、分割形態モードに係わる情報をクアッド分割と決定することができる。また、映像復号装置100は、最小サイズの符号化単位について、分割形態モードに係わる情報を分割しないと決定することができる。
図21は、本開示の一実施形態による符号化単位の分割形態モードに係わる情報を送受信するための方法について説明するための表である。
映像復号装置100は、映像符号化装置2200から、ビットストリームを受信することができる。映像復号装置100は、ビットストリームから、分割形態モードに対応するビンストリングを獲得することができる。映像復号装置100は、ビンストリングに基づいて、分割形態モードに係わる情報を獲得することができる。映像復号装置100は、分割形態モードに係わる情報に基づいて、現在符号化単位を分割することができる。
映像復号装置100は、分割規則に基づいて、現在符号化単位に適用可能な候補分割形態モードを獲得することができる。映像復号装置100は、図19の表(1900)または図20の表(2000)を参照し、現在符号化単位に適用可能な候補分割形態モードを獲得することができる。
例えば、現在符号化単位は、64x32サイズを有することができる。図19を参照すれば、現在符号化単位の長辺長は、64であるので、映像復号装置100は、バイナリ分割及びトリ分割を利用することができる。映像復号装置100は、現在符号化単位を分割しない場合を、第1候補分割形態モードと決定することができる。映像復号装置100は、現在符号化単位を、水平にバイナリ分割する場合を、第2候補分割形態モードと決定することができる。映像復号装置100は、現在符号化単位を、垂直にバイナリ分割する場合を、第3候補分割形態モードと決定することができる。また、映像復号装置100は、現在符号化単位を、垂直にトリ分割する場合を、第4候補分割形態モードと決定することができる。また、映像復号装置100は、現在符号化単位を、水平にトリ分割する場合を、第5候補分割形態モードと決定することができる。
映像復号装置100は、分割規則において、許容可能ではない分割形態モードを候補分割形態モードから除外することができる。本開示の一実施形態によれば、該分割規則は、符号化単位の長辺のみをトリ分割するようにも決定される。従って、該符号化単位は、64x32サイズの符号化単位を、水平方向にトリ分割する第5候補分割形態モードを候補分割形態モードから除外することができる。
また、映像復号装置100は、符号化単位を分割形態モードによって分割し、分割規則において、許容可能ではないブロック形態を有する符号化単位が導き出される場合、当該分割形態モードを候補分割形態モードから除外することができる。例えば、現在符号化単位は、64x16サイズを有することができる。現在符号化単位が水平にトリ分割される場合、分割後符号化単位は、64x8、64x4の大きさを有することができる。その場合、64x4は、16:1の比率を有する。図19の表(1900)による分割規則は、1:16または16:1を許容しないので、映像復号装置100は、水平にトリ分割するモードを、候補分割形態モードから除外することができる。
映像復号装置100は、候補分割形態モード、分割形態モードに対応するビンストリング、及び現在符号化単位のブロック形態情報のうち、少なくとも一つに基づいて、現在符号化単位の分割形態モードに係わる情報を決定することができる。さらに具体的には、映像復号装置100は、候補分割形態モードの個数、及び分割形態モードに対応するビンストリングに基づいて、現在符号化単位の分割形態モードインデックスを獲得することができる。映像復号装置100は、分割形態モードインデックス及び現在符号単位のブロック形態情報に基づいて、現在符号化単位の分割形態モードに係わる情報を決定することができる。
映像復号装置100が分割形態モードインデックスを獲得する過程は、以下の通りである。映像復号装置100は、候補分割形態モードの個数を獲得することができる。また、映像復号装置100は、ビットストリームから、分割形態モードに対応するビンストリングを獲得することができる。また、映像復号装置100は、表(または、配列)に基づいて、現在符号化単位の分割形態モードインデックスを決定することができる。該表は、候補分割形態モードの個数及び分割形態モードインデックスによるビンストリングの値を含んでもよい。
例えば、映像復号装置100は、ビットストリームから、「110」を分割形態モードに対応するビンストリングから獲得することができる。映像復号装置100は、表(2120)に基づいて、ビンストリングから、分割形態モードインデックスを獲得することができる。前述のように、映像復号装置100は、現在符号化単位が、第1候補分割形態モードないし第4候補分割形態モードの4個の候補分割形態モードを有することができるということを決定することができる。従って、映像復号装置100は、候補分割形態モードの個数が「4」である列(2121)を参照することができる。映像復号装置100は、ビンストリングである「110」に基づいて、分割形態モードインデックスを「2」に獲得することができる。
映像復号装置100は、分割形態モードインデックス、及び符号化単位のブロック形態情報のうち、少なくとも一つに基づいて、分割形態モードに係わる情報を獲得することができる。映像復号装置100は、現在符号化単位のブロック形態情報を獲得することができる。映像復号装置100は、獲得された現在符号化単位のブロック形態情報に基づいて、分割形態モードに係わる情報を選択することができる。映像復号装置100は、表(または、配列)に基づいて、分割形態モードに係わる情報を獲得することができる。該表は、分割形態モードインデックス、及び符号化単位のブロック形態情報による分割形態モードに係わる情報を含んでもよい。該ブロック形態情報は、符号化単位の方向、大きさ、形態、幅及び高さの比率を含んでもよい。
例えば、分割形態モードインデックスが「2」である場合、映像復号装置100は、表(2110)のセル(2111)を参照することができる。映像復号装置100は、現在符号化単位が、64x32サイズを有すると決定することができる。現在符号化単位の幅が高さより大きいので、映像復号装置100は、「w>h」と表示された行を参照することができる。「w>h」は、現在符号化単位が水平方向であるということを意味する。映像復号装置100は、分割形態モードに係わる情報を、水平方向バイナリ分割(Horizontal Bi split)に決定することができる。
映像復号装置100は、分割形態モードに係わる情報に基づいて、現在符号化単位を分割することができる。例えば、現在符号化単位が64x32サイズを有し、分割形態モードが水平方向バイナリ分割である場合、現在符号化単位は、2つの64x16サイズの符号化単位にも分割される。
表(2120)を参照すれば、映像復号装置100及び映像符号化装置2200は、分割規則に基づいて、適応的にビットストリームを使用することができる。映像復号装置100及び映像符号化装置2200は、分割規則に基づいて、分割形態モードに係わる情報が使用するビット数を決定することができる。例えば、候補分割形態モードの個数が5個である場合、映像復号装置100及び映像符号化装置2200は、4ビットを利用し、分割形態モードに係わる情報を生成する。しかし、該候補分割形態モードの個数が4個である場合、3ビットを利用し、分割形態モードに係わる情報を生成することができる。映像復号装置100及び映像符号化装置2200は、分割規則によって許容能ではないブロック形態及び分割形態モードを除外してビットストリームを生成するので、ビットの効率性を高めることができる。
図22は、一実施形態によって、映像符号化装置の概略的なブロック図を図示する。
映像符号化装置2200は、符号化部2210及びビットストリーム生成部2220を含んでもよい。符号化部2210は、入力映像を受信し、入力映像を符号化することができる。ビットストリーム生成部2220は、符号化された入力映像に基づいて、ビットストリームを出力することができる。また、映像符号化装置2200は、ビットストリームを映像復号装置100に伝送することができる。映像符号化装置2200の詳細な動作については、図13と共に詳細に説明する。
図23は、一実施形態によって、映像符号化方法のフローチャートを図示する。
図23は、映像符号化方法に係わるものであり、図3ないし図21で説明された映像復号方法及びその装置と類似した内容を含んでおり、重複される説明は、省略する。
映像符号化装置2200は、符号化単位の分割規則を決定する段階(2310)を遂行する。映像符号化装置2200は、分割規則、及び符号化単位の分割形態モードに係わる情報のうち、少なくとも一つに基づいて、符号化単位を、複数の符号化単位に分割するための分割形態モードに対応するビンストリングを獲得する段階(2320)を遂行する。映像符号化装置2200は、分割形態モードに対応するビンストリングをエントロピー符号化してビットストリームを生成する段階(2330)を遂行する。映像符号化装置2200は、分割規則を決定するために、符号化単位の幅及び高さの比率による、前記符号化単位の長辺長の許容可能な範囲を決定する段階を遂行する。映像符号化装置2200は、分割規則を決定するために、符号化単位の分割形態モードによる、前記符号化単位の長辺長の許容可能な範囲を決定する段階を遂行する。
映像符号化装置2200は、現在符号化単位の分割形態モードに対応するビンストリングをエントロピー符号化するために、CABAC(context-adaptive binary arithmetic coding)またはCAVLC(context-adaptive variable length coding)を利用することができる。映像符号化装置2200は、現在符号化単位のブロック形態情報に基づいて、ビンストリングに係わるコンテクストモデルを決定することができる。また、映像符号化装置2200は、コンテクストモデルに基づいて、現在符号化単位に係わるビンストリングをエントロピー符号化することができる。映像復号装置100は、現在符号化単位のブロック形態情報に基づいて、コンテクストモデルを決定することができる。また、映像復号装置100は、コンテクストモデルに基づいて、ビットストリームをエントロピー復号し、現在符号化単位の分割形態モードに対応するビンストリングを獲得することができる。
映像符号化装置2200は、分割規則に基づいて、ビットストリームを生成することができる。しかし、それに限定されるものではなく、該分割規則は、映像符号化装置2200と映像復号装置100との間であらかじめ決定されてもいる。
また、分割形態モードは、バイナリ分割、トリ分割またはクアッド分割のうち、少なくとも一つを含んでもよい。
また、映像符号化装置2200は、最大符号化単位を、第1サイズの符号化単位にクアッド分割することができる。映像符号化装置2200は、第1サイズの符号化単位を分割規則に基づいて、複数の符号化単位に分割するための分割形態モードに係わる情報を生成することができる。
映像符号化装置2200は、映像の複雑度レベル別に分割規則を決定することができる。映像符号化装置2200は、映像の複雑度を測定し、複雑度レベルを決定することができる。映像符号化装置2200は、複雑度レベルを、ビットストリームを介して映像復号装置100に伝送することができる。映像復号装置100は、複雑度レベルにより、分割規則を決定することができる。複雑度レベルによる分割規則は、映像符号化装置2200と映像復号装置100との間であらかじめ決定されてもる。
映像符号化装置2200は、分割形態モードに係わる情報に係わるビンストリングを獲得するために、分割規則に基づいて、現在符号化単位に適用可能な候補分割形態モードを獲得することができる。映像符号化装置2200は、図19の表(1900)または図20の表(2000)を参照し、現在符号化単位に適用可能な候補分割形態モードを獲得することができる。
例えば、現在符号化単位は、64x32サイズを有することができる。図19を参照すれば、現在符号化単位の長辺長は、64であるので、映像符号化装置2200は、バイナリ分割及びトリ分割を利用することができる。また、映像符号化装置2200は、現在符号化単位を分割しない場合を、第1候補分割形態モードと決定することができる。映像符号化装置2200は、現在符号化単位を、水平にバイナリ分割する場合を、第2候補分割形態モードと決定することができる。映像符号化装置2200は、現在符号化単位を、垂直にバイナリ分割する場合を、第3候補分割形態モードと決定することができる。また、映像符号化装置2200は、現在符号化単位を、垂直にトリ分割する場合を、第4候補分割形態モードと決定することができる。
映像符号化装置2200は、現在符号化単位の分割形態モードに係わる情報を獲得することができる。映像符号化装置2200は、多様な分割形態モードにより、現在符号化単位を符号化することができる。映像符号化装置2200は、多様な分割形態モードのうち最適の分割形態モードを選択することができる。最適の分割形態モードを選択するために、rate-distortionコストを考慮することができる。映像符号化装置2200は、最適の分割形態モードに基づいて、分割形態モードに係わる情報を獲得することができる。
映像符号化装置2200は、現在符号化単位のブロック形態情報、候補分割形態モード及び分割形態モードのうち、少なくとも一つに基づいて、分割形態モードに係わる情報を獲得することができる。
映像符号化装置2200は、符号化単位のブロック形態情報、及び符号化単位の分割形態モードに基づいて、分割形態モードインデックスを決定することができる。例えば、映像符号化装置2200は、現在符号化単位の分割形態モードを、水平方向バイナリ分割に決定することができる。映像符号化装置2200は、現在符号化単位のブロック形態情報が64x32サイズであると決定することができる。表(2110)を参照すれば、現在符号化単位の幅が高さより大きいので、映像符号化装置2200は、「w>h」と表示された行を参照することができる。また、現在符号化単位の分割形態モードは、水平方向バイナリ分割であるので、映像符号化装置2200は、分割形態モードインデックスを「2」に決定することができる。
映像符号化装置2200は、分割形態モードインデックス及び候補分割形態モードの個数に基づいて、分割形態モードに係わる情報を獲得することができる。例えば、前述のように、映像符号化装置2200は、現在符号化単位が第1候補分割形態モードないし第4候補分割形態モードの4個の候補分割形態モードを有することができると決定することができる。従って、映像符号化装置2200は、候補分割形態モードの個数が「4」である列(2121)を参照することができる。映像復号装置100は、分割形態モードインデックス「2」に基づいて、分割形態モードに係わる情報を「110」に獲得することができる。
以上、多様な実施形態を中心に説明した。本開示が属する技術分野で当業者であるならば、本開示が本開示の本質的な特性から外れない範囲で変形された形態にも具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本開示に含まれたものであると解釈されなければならないのである。
なお、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、プログラムを動作させる汎用デジタルコンピュータによっても具現される。コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピーディスク、ハードディスクなど)、光学的読み取り媒体(例えば、CD-ROM(compact disc read only memory)、DVD(digital versatile disc)など)のような記録媒体を含む。