JP2022105158A - 映像の符号化及び復号のための映像の分割方法及びその装置 - Google Patents

Abstract

【課題】映像の効率的な符号化及び復号のための映像の分割方法及びその装置を提供する。【解決手段】映像復号方法は、第１符号化ブロック及び第１符号化ブロックに対応する第２符号化ブロックを決定する段階と、第１符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、第１分割形態モード情報及び第２分割形態モード情報を獲得する段階と、第１分割形態モード情報に基づき、第１符号化ブロックの分割モードを決定し、第２分割形態モード情報に基づき、第２符号化ブロックの分割モードを決定する段階と、第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック及び第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを復号する段階と、を含む。【選択図】図２３

Description

本発明は、映像の符号化分野及び復号分野に係り、さらに具体的には、映像の効率的な符号化及び復号のための映像の分割方法及びその装置に関する。

高解像度及び高画質の映像を再生、保存することができるハードウェアの開発により、高解像度及び高画質の映像を効果的に符号化及び復号することができるコーデック（codec）の必要性が増大している。

最近、そのような高解像度及び高画質の映像を効果的に符号化するための方法が提案されている。例えば、符号化する映像を任意的方法で処理した後、映像を符号化する方法が提案されている。

映像を符号化するために、多様なデータ単位が利用され、そのようなデータ単位間に包含関係が存在しうる。映像符号化に利用されるデータ単位の大きさを決定するために、多様な方法により、データ単位が分割され、映像特性によって最適化されたデータ単位が決定された後、映像の符号化及び復号が行われうる。

一実施形態よる、映像の分割方法及びその装置は、映像の効率的な分割を介し、映像を低ビットレートで符号化及び復号することを技術的課題にする。

一実施形態による映像の復号方法は、映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する段階と、前記第１符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、前記第１符号化ブロックに係わる第１分割形態モード情報、及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得する段階と、前記第１分割形態モード情報に基づき、前記第１符号化ブロックの分割モードを決定し、前記第２分割形態モード情報に基づき、前記第２符号化ブロックの分割モードを決定する段階と、前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、を含んでもよい。

一実施形態による映像の分割方法及びその装置は、映像の効率的な分割を介し、映像を低ビットレートで符号化及び復号することができる。

ただし、一実施形態による映像の分割方法及びその装置が達成することができる効果は、以上で言及したところに制限されるものではなく、言及されていない他の効果は、以下の記載から、本開示が属する技術分野で当業者に明確に理解されるであろう。

本明細書において引用される図面について、さらに十分に理解するために、各図面の簡単な説明が提供される。
一実施形態による映像復号装置のブロック図である。 一実施形態による映像符号化装置のブロック図である。 一実施形態により、映像復号装置が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。 一実施形態により、映像復号装置が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。 一実施形態により、映像復号装置がブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する図面である。 一実施形態により、映像復号装置が奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する図面である。 一実施形態により、映像復号装置が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する図面である。 一実施形態により、映像復号装置が、所定順序で符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する図面である。 一実施形態により、映像復号装置が第１符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。 一実施形態により、映像復号装置が第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する図面である。 一実施形態により、分割形態モード情報が、４個の正方形状の符号化単位に分割されることを示すことができない場合、映像復号装置が正方形状の符号化単位を分割する過程を図示する図面である。 一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によっても異なることを図示した図面である。 一実施形態により、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにおり、符号化単位の深度が決定される過程を図示する図面である。 一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：part index）を図示する図面である。 一実施形態により、映像に含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する図面である。 一実施形態により、映像に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する図面である。 一実施形態により、符号化単位が分割されうる形態の組み合わせが映像ごとに互いに異なる場合、それぞれの映像ごとに決定されうる符号化単位を図示する図面である。 一実施形態により、バイナリー（binary）コードによっても表現される分割形態モード情報に基づき、決定されうる符号化単位の多様な形態を図示する。 一実施形態により、バイナリーコードによっても表現される分割形態モード情報に基づいても決定される符号化単位の他の形態を図示する図面である。 ループフィルタリングを行う映像の符号化システム及び復号システムのブロック図を示した図面である。 一実施形態による符号化単位の分割方法について説明するための図面である。 一実施形態による符号化単位から変換単位を決定する方法について説明するための図面である。 一実施形態による映像復号方法について説明するための順序図である。 一実施形態による映像符号化方法について説明するための順序図である。

本開示の一実施形態によれば、映像の復号方法において、映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する段階と、前記第１符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、前記第１符号化ブロックに係わる第１分割形態モード情報、及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得する段階と、前記第１分割形態モード情報に基づき、前記第１符号化ブロックの分割モードを決定し、前記第２分割形態モード情報に基づき、前記第２符号化ブロックの分割モードを決定する段階と、前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、を含んでもよい。

一実施形態において、前記第１符号化ブロックの大きさが所定サイズより大きければ、前記第１符号化ブロック及び前記第２符号化ブロックの分割モードを既定の分割モードに決定する段階と、前記既定の分割モードにより、前記第１符号化ブロックから決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックから決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、をさらに含んでもよい。

前記映像の復号方法は、前記既定の分割モードにより、前記第１符号化ブロックから決定された第１カラー成分の符号化ブロックの大きさが、前記所定サイズ以下であるならば、前記第１カラー成分の符号化ブロック、及びそれに対応する第２カラー成分の符号化ブロックの分割モードを、前記ビットストリームから獲得される第１分割形態モード情報及び第２分割形態モード情報に基づき、独立して決定する段階をさらに含んでもよい。

前記第２符号化ブロックは、再帰的に分割されるが、第２符号化ブロックが再帰的に分割されることによって決定される前記第２カラー成分の符号化ブロックのチャイルド符号化ブロックの大きさが最小サイズ以下であるならば、前記第２カラー成分の符号化ブロックの分割は、許容されないのである。

前記第１符号化ブロックの許容可能な最大深度は、前記第２符号化ブロックの許容可能な最大深度よりも大きくなる。

前記映像の復号方法は、前記第１符号化ブロックの分割モードを考慮し、前記第１符号化ブロックから決定された前記第１カラー成分の符号化ブロックの分割モードを決定する段階をさらに含んでもよい。

前記映像の復号方法は、前記第１符号化ブロックから決定された前記第１カラー成分の符号化ブロックのブロック形態、及び前記第１カラー成分の符号化ブロックから決定されうるチャイルド符号化ブロックのブロック形態のうち少なくとも一つに基づき、前記第１カラー成分の符号化ブロックについて許容可能な分割モードを決定する段階と、前記許容可能な分割モード、及び前記第１カラー成分の符号化ブロックについて許容されない分割モードを区分するのに必要な情報を、前記ビットストリームからパージングしない段階と、をさらに含んでもよい。

前記第１符号化ブロックから決定された前記第１カラー成分の符号化ブロックが、第１符号化ブロックからターナリー分割された符号化ブロックのうち、所定位置の符号化ブロックに該当する場合、前記第１カラー成分の符号化ブロックの分割は、許容されないのである。

前記映像の復号方法は、前記第１カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が２^ｎに対応しない場合、幅または幅が２^ｎに対応する符号化ブロックの変換係数を逆変換する段階をさらに含んでもよい。

前記映像の復号方法は、前記第１カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が２^ｎに対応しない場合、前記第１カラー成分の符号化ブロックの予測モードを、逆変換が不要な予測モードに決定する段階をさらに含んでもよい。

前記映像の復号方法は、前記第１カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が２^ｎに対応しない場合、前記変換ブロックの変換係数を０に決定するか、あるいは前記ビットストリームから獲得されるＤＣ値に決定する段階をさらに含んでもよい。

前記第１カラー成分の符号化ブロックの幅または幅が２^ｎに対応しない場合、前記第１カラー成分の符号化ブロックは、幅及び幅が２^ｎに対応する少なくとも１つの符号化ブロックにも分割される。

本開示の一実施形態によれば、映像の復号装置において、前記映像の符号化結果を含むビットストリームを獲得するビットストリーム獲得部と、前記映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定し、前記第１符号化ブロックの大きさが所定サイズ以下であるならば、前記ビットストリームから、前記第１符号化ブロックに係わる第１分割形態モード情報、及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得し、前記第１分割形態モード情報に基づき、前記第１符号化ブロックの分割モードを決定し、前記第２分割形態モード情報に基づき、前記第２符号化ブロックの分割モードを決定し、前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する復号部と、を含んでもよい。

本開示の一実施形態によれば、映像の符号化方法において、映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する段階と、前記第１符号化ブロックの大きさが所定サイズ以下であるならば、前記第１符号化ブロックに係わる第１分割モード、及び前記第２符号化ブロックに係わる第２分割形態モードを決定する段階と、前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを符号化する段階と、前記第１分割モードを示す第１分割形態モード情報及び前記第２分割モードを示す第２分割形態モード情報を含むビットストリームを生成する段階と、を含んでもよい。

本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それについて詳細な説明を介して詳細に説明する。しかし、それらは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物あるいは代替物を含むものであると理解されなければならない。

本実施形態についての説明において、関連公知技術に係わる具体的な説明が、本開示の要旨を必要以上に不明確にしうると判断される場合、その詳細な説明を省略する。また、明細書の説明過程において利用される数（例えば、第１、第２など）は、１つの構成要素を他の構成要素と区分するための識別記号に過ぎない。

また、本明細書において、一構成要素が他の構成要素と「連結される」としたり、「接続される」としたりするように言及されたときには、前記一構成要素が、前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特別に反対となる記載が存在しない以上、中間に、さらに他の構成要素を媒介させて連結されたり、接続されたりもすると理解されなければならないのである。

また、本明細書において、「～部（ユニット）」、「モジュール」のように表現される構成要素は、２個以上の構成要素が１つの構成要素に合わされるか、あるいは１つの構成要素がさらに細分化され、機能別に２個以上にも分化される。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち一部、または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素によって専用担当されても遂行されるということは、言うまでもない。

また、本明細書において、「映像（image）」または「ピクチャ」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。

また、本明細書において「サンプル」は、映像のサンプリング位置に割り当てられたデータであって、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも１つのサンプルを含む単位をブロックと定義することができる。

以下においては、図１ないし図２４を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づく、映像符号化方法及びその装置、映像復号方法及びその装置が開示される。

図１は、一実施形態による映像復号装置１００のブロック図を図示する。

映像復号装置１００は、ビットストリーム獲得部１１０及び復号部１２０を含んでもよい。

ビットストリーム獲得部１１０及び復号部１２０は、少なくとも１つのプロセッサを含んでもよい。また、ビットストリーム獲得部１１０及び復号部１２０は、少なくとも１つのプロセッサが遂行するインストラクションを保存するメモリを含んでもよい。

ビットストリーム獲得部１１０は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置２００が映像を符号化した情報を含む。また、該ビットストリームは、映像符号化装置２００からも送信される。映像符号化装置２００及び映像復号装置１００は、有線または無線によっても連結され、ビットストリーム獲得部１１０は、有線ネットワークまたは無線ネットワークを介し、該ビットストリームを受信することができる。ビットストリーム獲得部１１０は、光学メディア、ハードディスクのような記録媒体から該ビットストリームを受信することもできる。

復号部１２０は、受信されたビットストリームから獲得された情報に基づき、映像を復元することができる。復号部１２０は、映像復元のためのシンタックスエレメントをビットストリームから獲得することができる。復号部１２０は、該シンタックスエレメントに基づき、映像を復元することができる。

復号部１２０の動作について詳細に説明すれば、復号部１２０は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する動作を遂行することができる。そして、復号部１２０は、符号化単位の分割規則を決定する動作を遂行することができる。また、復号部１２０は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づき、符号化単位を、複数の符号化単位に分割する動作を遂行することができる。

以下においては、本開示の一実施形態により、符号化単位の分割について詳細に説明する。

まず、１つの映像は１以上のスライス、または１以上のタイルにも分割される。１つのスライス、または１つのタイルは、１以上の最大符号化単位（ＣＴＵ：coding tree unit）のシーケンスでもある。最大符号化単位（ＣＴＵ）と対比される概念として、最大符号化ブロック（ＣＴＢ：coding tree block）がある。

最大符号化ブロック（ＣＴＢ）は、ＮｘＮ個のサンプルを含むＮｘＮブロックを意味する（Ｎは、整数である）。各カラー成分は、１以上の最大符号化ブロックにも分割される。

映像が３個のサンプルアレイ（Ｙ，Ｃｒ，Ｃｂ成分別のサンプルアレイ）を有する場合、最大符号化単位（ＣＴＵ）とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの２個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。映像がモノクローム映像である場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。

１つの最大符号化ブロック（ＣＴＢ）は、ＭｘＮ個のサンプルを含むＭｘＮ符号化ブロ
ック（coding block）にも分割される（Ｍ、Ｎは、整数である）。

映像がＹ，Ｃｒ，Ｃｂ成分別サンプルアレイを有する場合、符号化単位（ＣＵ：coding unit）とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの２個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。映像がモノクローム映像である場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。

前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、（最大）符号化単位は、サンプルを含む（最大）符号化ブロックと、それに対応するシンタックス構造と、を含むデータ構造を意味する。しかし、当業者が（最大）符号化単位または（最大）符号化ブロックが所定個数のサンプルを含む所定サイズのブロックを指すということを理解することができるので、以下、明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別せずに言及する。

映像は、最大符号化単位（ＣＴＵ）にも分割される。最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。最大符号化単位の形態は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。

例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、２５６ｘ２５６のうち一つでもある。

例えば、ビットストリームから、２分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロック大きさ差に係わる情報とが獲得されうる。ルマブロックサイズ差に係わる情報は、最大ルマ符号化ブロックと、２分割が可能な最大ルマ符号化ブロックとの大きさ差を示すことができる。従って、ビットストリームから獲得された２分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報と、を結合すれば、ルマ最大符号化ブロックの大きさが決定されうる。ルマ最大符号化ブロックの大きさを利用すれば、クロマ最大符号化ブロックの大きさも決定されうる。例えば、カラーフォーマットにより、Ｙ：Ｃｂ：Ｃｒ比率が４：２：０であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化ブロックの大きさは、ルマ最大符号化ブロックの大きさの半分でもある。

一実施形態によれば、バイナリー分割（binary split）が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリー分割が可能なルマ符号化ブロックの最大サイズは、可変的に決定されうる。それと異なり、ターナリー分割（ternary split）が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、Ｉ映像において、ターナリー分割が可能なルマ符号化ブロックの最大サイズは、３２ｘ３２であり、Ｐ映像またはＢ映像において、ターナリー分割が可能なルマ符号化ブロックの最大サイズは、６４ｘ６４でもある。

また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づき、符号化単位に階層的にも分割される。分割形態モード情報として、多分割いかんを示す情報、クアッド分割（quad split）いかんを示す情報、分割方向情報、及び分割タイプ情報のうち少なくとも一つがビットストリームから獲得されうる。

例えば、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか（NO＿SPLIT）、あるいは分割されるか（SPLIT）ということを示すことができる。

現在符号化単位が分割される場合、クアッド分割（quad split）いかんを示す情報は、現在符号化単位がクアッド分割（QUAD＿SPLIT）されるか、あるいはクアッド分割されないかということを示すことができる。

現在符号化単位がクアッド分割されなければ、分割方向情報は、現在符号化単位が、水平方向または垂直方向のうち一つに分割されることを示す。

現在符号化単位が水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位がバイナリー分割またはターナリー分割によって分割されることを示す。

分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリー分割される場合の分割モードは、バイナリー水平分割（SPLIT＿BT＿HOR）、水平方向にターナリー分割される場合の分割モードは、ターナリー水平分割（SPLIT＿TT＿HOR）、垂直方向にバイナリー分割される場合の分割モードは、バイナリー垂直分割（SPLIT＿BT＿VER）、及び垂直方向にターナリー分割される場合の分割モードは、ターナリー垂直分割（SPLIT＿BT＿VER）に決定されうる。

復号部１２０は、ビットストリームから、分割形態モード情報を１つのビンストリングから獲得することができる。ビットストリーム獲得部１１０が受信したビットストリームの形態は、Fixed length binary code、Unary code、Truncated unary code、既定のバイナリーコードなどを含んでもよい。該ビンストリングは、情報を２進数の羅列で示したものである。該ビンストリングは、少なくとも１ビットによっても構成される。復号部１２０は、分割規則に基づき、該ビンストリングに対応する分割形態モード情報を獲得することができる。復号部１２０は、１つのビンストリングに基づき、符号化単位を分割しないか否かということ、クアッド分割するか否かということ、分割方向及び分割タイプを決定することができる。

符号化単位は、最大符号化単位より小さいか、あるいはそれと同じでもある。例えば、最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。最大符号化単位に係わる分割形態モード情報が分割されないということを示す場合、最大符号化単位に決定される符号化単位は、最大符号化単位と同サイズを有する。最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されえない。符号化単位の分割については、図３ないし図１６において、さらに詳細に説明する。

また、符号化単位から、予測のための１以上の予測単位が決定されうる。予測単位の大きさは、符号化単位の大きさと同じであるか、あるいは符号化単位の大きさよりも小さい。また、符号化単位から、変換のための１以上の変換単位が決定されうる。変換単位の大きさは、符号化単位の大きさと同じであるか、あるいは符号化単位の大きさよりも小さい。

変換単位と予測単位との形態及び大きさは、互いに係わりがないのである。

一実施形態において、符号化単位が予測単位として、符号化単位を利用した予測が行われうる。また、符号化単位が変換単位として、符号化単位を利用した変換が行われうる。

多様な分割形態モードにより、符号化単位から決定される変換単位の幅または高さが２^ｎ（ｎは、整数である）に該当しないのである。言い換えれば、変換単位の幅方向または高さ方向に沿って配列されたサンプルの個数が、２^ｎ個に該当しないのである。変換単位に含まれる変換係数を逆変換するための変換カーネル（transform kernel）の幅及び高さが２^ｎに該当する場合、幅または高さが２^ｎに該当しない変換単位に対する逆変換に変換カーネルを利用することができない。その場合、幅または高さが２^ｎに該当しない変換カーネルが必要になるが、それは、変換及び逆変換の複雑性を増大させることになる。従って、本開示においては、変換単位の幅または高さが２^ｎに該当せず、正確な周波数変換または周波数逆変換がなされない問題点を解決するための方案を提案する。それについては、図２１及び図２２を参照して後述する。

符号化単位の分割については、図３ないし図１６において、さらに詳細に説明する。

図３は、一実施形態により、復号部１２０が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

ブロック形態は、４Ｎｘ４Ｎ、４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたはＮｘ８Ｎを含んでもよい。ここで、Ｎは、正の整数でもある。ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを示す情報である。

符号化単位の形態は、正方形（square）及び非正方形（non－square）を含んでもよい。符号化単位の幅及び高さが同じである場合（すなわち、符号化単位のブロック形態が、４Ｎｘ４Ｎである場合）、復号部１２０は、符号化単位のブロック形態情報を正方形に決定することができる。

符号化単位の幅及び高さが異なる場合（すなわち、符号化単位のブロック形態が、４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたはＮｘ８Ｎである場合）、復号部１２０は、符号化単位のブロック形態情報を非正方形に決定することができる。符号化単位の形態が非正方形である場合、復号部１２０は、符号化単位のブロック形態情報において、幅及び高さの比率を、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、１：３２、３２：１のうち少なくとも一つに決定することができる。また、符号化単位の幅の長さ及び高さの長さに基づき、復号部１２０は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、符号化単位の幅の長さ、高さの高さ、または広さのうち少なくとも一つに基づき、復号部１２０は、符号化単位の大きさを決定することができる。

一実施形態により、復号部１２０は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、復号部１２０が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されうる。

復号部１２０は、ビットストリームから、分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、復号部１２０及び映像符号化装置２００の符号化部２２０は、ブロック形態情報に基づき、あらかじめ約束された分割形態モード情報を決定することができる。復号部１２０は、最大符号化単位または最小符号化単位に対し、あらかじめ約束された分割形態モード情報を決定することができる。例えば、復号部１２０は、最大符号化単位に対し、分割形態モード情報をクアッド分割と決定することができる。また、復号部１２０は、最小符号化単位に対し、分割形態モード情報を「分割しない」と決定することができる。具体的には、復号部１２０は、最大符号化単位の大きさを２５６ｘ２５６に決定することができる。復号部１２０は、あらかじめ約束された分割形態モード情報をクアッド分割に決定することができる。クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。復号部１２０は、分割形態モード情報に基づき、２５６ｘ２５６サイズの最大符号化単位から、１２８ｘ１２８サイズの符号化単位を獲得することができる。また、復号部１２０は、最小符号化単位の大きさを４ｘ４に決定することができる。復号部１２０は、最小符号化単位に対し、「分割しない」を示す分割形態モード情報を獲得することができる。

また、復号部１２０は、親（parent）符号化単位の分割形態モード情報に基づき、チャイルド（child）符号化単位の分割形態モード情報を決定することができる。チャイルド符号化単位は、符号符号化単位から分割された符号化単位を意味する。例えば、親符号化単位の分割形態モード情報がバイナリー垂直分割である場合、チャイルド符号化単位の分割形態は、バイナリー垂直分割以外の分割形態でもある。

また、復号部１２０は、親符号化単位が分割されることによって生成されるチャイルド符号化単位のブロック形態を考慮し、親符号化単位の分割形態を決定することもできる。例えば、親符号化単位が、ターナリー垂直分割されることによって生成されるチャイルド符号化単位の大きさが、既定の大きさより小さければ、復号部１２０は、親符号化単位の分割形態を、ターナリー垂直分割以外の分割形態に決定することができる。

一実施形態により、復号部１２０は、現在符号化単位が正方形状であるということを示すブロック形態情報を利用することができる。例えば、復号部１２０は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、４個の符号化単位に分割するかということなどを決定することができる。

図３を参照すれば、現在符号化単位３００のブロック形態情報が、正方形状を示す場合、復号部１２０は、分割されないことを示す分割形態モード情報により、現在符号化単位３００から分割されていない符号化単位３１０ａを決定するか、あるいは所定分割方法を示す分割形態モード情報に基づき、現在符号化単位３００から分割された符号化単位３１０ｂ，３１０ｃ，３１０ｄ，３１０ｅ，３１０ｆを決定することができる。

図３を参照すれば、復号部１２０は、一実施形態により、垂直方向にバイナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。復号部１２０は、水平方向にバイナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。復号部１２０は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を、垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。復号部１２０は、垂直方向にターナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を垂直方向に分割した３つの符号化単位３１０ｅを決定することができる。復号部１２０は、水平方向にターナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を水平方向に分割した３つの符号化単位３１０ｆを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位の分割形態は、以下において、多様な実施形態を介して具体的に説明することにする。

図４は、一実施形態により、復号部１２０が非正方形状である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

一実施形態により、復号部１２０は、現在符号化単位が非正方形状であるということを示すブロック形態情報を利用することができる。復号部１２０は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法によって分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０のブロック形態情報が非正方形状を示す場合、復号部１２０は、分割されないことを示す分割形態モード情報により、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を決定するか、あるいは所定分割方法を示す分割形態モード情報に基づいて分割された符号化単位４２０ａ、４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下において、多様な実施形態を介して具体的に説明することにする。

一実施形態により、復号部１２０は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図４を参照すれば、分割形態モード情報が２つの符号化単位に、現在符号化単位４００または４５０が分割されることを示す場合、復号部１２０は、分割形態モード情報に基づき、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができる。

一実施形態により、復号部１２０が分割形態モード情報に基づき、非正方形状の現在符号化単位４００または４５０を分割する場合、復号部１２０は、非正方形の現在符号化単位４００または４５０の長辺位置を考慮し、現在符号化単位を分割することができる。例えば、復号部１２０は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができる。

一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位を分割（ターナリー分割）することを示す場合、復号部１２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態モード情報が、３個の符号化単位に、現在符号化単位４００または４５０を分割することを示す場合、復号部１２０は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃまたは４８０ａ，４８０ｂ，４８０ｃに分割することができる。

一実施形態により、現在符号化単位４００または４５０の幅及び高さの比率が、４：１または１：４でもある。幅及び高さの比率が４：１である場合、幅の長さが高さの高さより大きいので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が１：４である場合、幅の長さが高さの高さより小さいので、ブロック形態情報は、垂直方向にもある。復号部１２０は、分割形態モード情報に基づき、現在符号化単位を奇数個のブロックに分割することを決定することができる。また、復号部１２０は、現在符号化単位４００または４５０のブロック形態情報に基づき、現在符号化単位４００または４５０の分割方向を決定することができる。例えば、現在符号化単位４００が垂直方向である場合、復号部１２０は、現在符号化単位４００を水平方向に分割し、符号化単位４３０ａ，４３０ｂ，４３０ｃを決定することができる。また、現在符号化単位４５０が水平方向である場合、復号部１２０は、現在符号化単位４５０を垂直方向に分割し、符号化単位４８０ａ，４８０ｂ，４８０ｃを決定することができる。

一実施形態により、復号部１２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではないのである。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃにおいて、所定符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃがそれぞれ互いに異なる大きさを有することもできる。

一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位が分割されることを示す場合、復号部１２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには、復号部１２０は、分割されて生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対し、所定制限を置くことができる。図４を参照すれば、復号部１２０は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃのうち、中央に位置する符号化単位４３０ｂ，４８０ｂに対する復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異ならせることができる。例えば、復号部１２０は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどだけ分割されるように制限することができる。

図５は、一実施形態により、復号部１２０が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する。

一実施形態により、復号部１２０は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、正方形状の第１符号化単位５００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に第１符号化単位５００を分割することを示す場合、復号部１２０は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０ｄ，５１０ｅを決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係理解のために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下においては、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるとも理解される。

一実施形態により、復号部１２０は、第２符号化単位５１０ｅを、分割形態モード情報に基づき、第３符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、復号部１２０は、分割形態モード情報に基づき、第１符号化単位５００を分割して決定された非正方形状の第２符号化単位５１０ｅを、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄに分割するとか、あるいは第２符号化単位５１０ｅを分割しないのである。

復号部１２０は、分割形態モード情報を獲得することができ、復号部１２０は、獲得した分割形態モード情報に基づき、第１符号化単位５００を分割し、多様な形態の複数個の第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉを決定することができ、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉは、分割形態モード情報に基づき、第１符号化単位５００が分割された方式によっても分割される。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わる分割形態モード情報に基づき、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉに分割された場合、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉも、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉに係わる分割形態モード情報に基づき、第３符号化単位にも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づき、再帰的にも分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されうる。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わる分割形態モード情報に基づき、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉに分割された場合、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉの分割形態は、第１符号化単位５００の分割形態以外の分割形態を有することができる。例えば、第１符号化単位５００の分割形態モード情報が、クアッド分割を示す場合、第２符号化単位５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉの分割形態は、クアッド分割以外の分割形態を有することができる。その場合、復号部１２０は、第２符号化単位５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉの分割形態モードを決定するとき、クアッド分割いかんを示す情報は、ビットストリームからパージングしないのである。また、第１符号化単位５００の分割形態モード情報がバイナリー垂直分割を示す場合、第２符号化単位５１０ｂ，５１０ｃの分割形態は、バイナリー垂直分割以外の分割形態を有することができる。その場合、復号部１２０は、第２符号化単位５１０ｂ，５１０ｃの分割形態を決定するとき、垂直方向を示す分割方向情報、及びバイナリー分割を示す分割タイプ情報は、ビットストリームからパージングしないのである。

図５を参照すれば、非正方形状の第２符号化単位５１０ｅが分割されて決定される奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて、所定符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的にも分割される。一実施形態により、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち１つの正方形状の第３符号化単位５２０ｃは、水平方向に分割され、複数個の第４符号化単位にも分割される。複数個の第４符号化単位５３０ａ，５３０ｂ，５３０ｃ，５３０ｄのうち１つの非正方形状の第４符号化単位５３０ｂまたは５３０ｄは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第４符号化単位５３０ｂまたは５３０ｄは、奇数個の符号化単位にもさらに分割される。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して後述することにする。

一実施形態により、復号部１２０は、分割形態モード情報に基づき、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄそれぞれを、第４符号化単位に分割することができる。また、復号部１２０は、分割形態モード情報に基づき、第２符号化単位５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ，５１０ｆ，５１０ｇ，５１０ｈ，５１０ｉを分割しないと決定することができる。復号部１２０は、一実施形態により、非正方形状の第２符号化単位５１０ｅを、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。復号部１２０は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち所定第３符号化単位に対し、所定制限を置くことができる。例えば、復号部１２０は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。

図５を参照すれば、復号部１２０は、非正方形状の第２符号化単位５１０ｅに含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、あるいは所定分割形態に分割（例えば、４個の符号化単位への分割、第２符号化単位５１０ｅの分割形態と同一分割形態への分割、第２符号化単位５１０ｅの分割形態以外の分割形態への分割、または第２符号化単位５１０ｅの分割方向以外の分割方向への分割）されると制限するか、あるいは所定回数だけに分割（例えば、ｎ回だけ分割、ｎ＞０）されると制限することができる。本開示において、符号化単位の分割形態が、所定分割形態（例えば、分割せず、クアッド分割、バイナリー水平分割、バイナリー垂直分割、ターナリー水平分割またはターナリー垂直分割）に制限されるというのは、符号化単位が、所定分割形態だけに分割されうるということを意味する。また、符号化単位の分割回数が、所定分割回数に制限されるというのは、符号化単位が、所定分割回数だけに分割可能であるということを意味する。

奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃの分割が許容されない場合、復号部１２０は、真ん中に位置する符号化単位５２０ｃの分割形態モード情報を、ビットストリームからパージングしないのである。また、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃの分割形態が、所定分割形態に制限された場合、復号部１２０は、前記所定分割形態を決定するために必要な情報を、ビットストリームからパージングしないのである。例えば、復号部１２０は、符号化単位５２０ｃの分割形態が水平分割に制限される場合、水平方向または垂直方向を示す分割方向情報は、ビットストリームからパージングしないのである。復号部１２０は、符号化単位５２０ｃの分割形態がバイナリー分割に制限される場合、バイナリー分割またはターナリー分割を示す分割タイプ情報は、ビットストリームからパージングしないのである。ただし、真ん中に位置した符号化単位５２０ｃに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが、他の符号化単位５２０ｂ，５２０ｄと異なるようにも復号される多様な制限を含むものであると解釈されなければならない。

一実施形態により、復号部１２０は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定位置から獲得することができる。

図６は、一実施形態により、復号部１２０が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。

図６を参照すれば、現在符号化単位６００，６５０の分割形態モード情報は、現在符号化単位６００，６５０に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、真ん中に位置するサンプル６４０，６９０）からも獲得される。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得されうる現在符号化単位６００内の所定位置が、図６で図示する真ん中位置に限定して解釈されるものではなく、所定位置には、現在符号化単位６００内に含まれうる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端）が含まれてもよいと解釈されなければならない。復号部１２０は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。

一実施形態により、復号部１２０は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様でもあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。

一実施形態により、復号部１２０は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。

一実施形態により、復号部１２０は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、復号部１２０は、現在符号化単位６００または現在符号化単位６５０を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃ、または奇数個の符号化単位６６０ａ，６６０ｂ，６６０ｃを決定することができる。復号部１２０は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃ、または奇数個の符号化単位６６０ａ，６６０ｂ，６６０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂまたは真ん中符号化単位６６０ｂを決定することができる。例えば、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定サンプルの位置を示す情報に基づき、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づき、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。

一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃの映像内における位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃの映像内における座標間差を示す情報にも該当する。すなわち、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの映像内における位置または座標に係わる情報を直接利用するか、あるいは座標間差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。

一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル５３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を昇順または降順に整列させたとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位に決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、映像内における絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準に、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。

一実施形態により、復号部１２０は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定基準により、符号化単位を選択することができる。例えば、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち大きさが異なる符号化単位６２０ｂを選択することができる。

一実施形態により、復号部１２０は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。一実施形態により、復号部１２０は、上端符号化単位６２０ａの幅を、現在符号化単位６００の幅に決定することができる。復号部１２０は、上端符号化単位６２０ａの高さを、ｙｂ－ｙａに決定することができる。一実施形態により、復号部１２０は、真ん中符号化単位６２０ｂの幅を、現在符号化単位６００の幅に決定することができる。復号部１２０は、真ん中符号化単位６２０ｂの高さを、ｙｃ－ｙｂに決定することができる。一実施形態により、復号部１２０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さと、を利用して決定することができる。復号部１２０は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、復号部１２０は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位に決定することができる。ただし、前述の復号部１２０が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。

復号部１２０は、左側符号化単位６６０ａの左側上端のサンプル６７０ａの位置を示す情報である（ｘｄ，ｙｄ）座標、真ん中符号化単位６６０ｂの左側上端のサンプル６７０ｂの位置を示す情報である（ｘｅ，ｙｅ）座標、右側符号化単位６６０ｃの左側上端のサンプル６７０ｃの位置を示す情報である（ｘｆ，ｙｆ）座標を利用し、符号化単位６６０ａ，６６０ｂ，６６０ｃそれぞれの幅または高さを決定することができる。復号部１２０は、符号化単位６６０ａ，６６０ｂ，６６０ｃの位置を示す座標である（ｘｄ，ｙｄ）、（ｘｅ，ｙｅ）、（ｘｆ，ｙｆ）を利用し、符号化単位６６０ａ，６６０ｂ，６６０ｃそれぞれの大きさを決定することができる。

一実施形態により、復号部１２０は、左側符号化単位６６０ａの幅を、ｘｅ－ｘｄに決定することができる。復号部１２０は、左側符号化単位６６０ａの高さを、現在符号化単位６５０の高さと決定することができる。一実施形態により、復号部１２０は、真ん中符号化単位６６０ｂの幅を、ｘｆ－ｘｅに決定することができる。復号部１２０は、真ん中符号化単位６６０ｂの高さを、現在符号化単位６００の高さと決定することができる。一実施形態により、復号部１２０は、右側符号化単位６６０ｃの幅または高さは、現在符号化単位６５０の幅または高さと、左側符号化単位６６０ａ及び真ん中符号化単位６６０ｂの幅及び高さと、を利用して決定することができる。復号部１２０は、決定された符号化単位６６０ａ，６６０ｂ，６６０ｃの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、復号部１２０は、左側符号化単位６６０ａ及び右側符号化単位６６０ｃの大きさと異なる大きさを有する真ん中符号化単位６６０ｂを、所定位置の符号化単位に決定することができる。ただし、前述の復号部１２０が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。

ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されうるとも解釈される。

一実施形態により、復号部１２０は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位において、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、復号部１２０は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、復号部１２０は、水平方向に位置を異ならせる符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、復号部１２０は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、復号部１２０は、垂直方向に位置を異ならせる符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。

一実施形態により、復号部１２０は、偶数個の符号化単位において、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。復号部１２０は、現在符号化単位を分割（バイナリー分割）し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６において説明した奇数個の符号化単位において、所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。

一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位において、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、復号部１２０は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。

図６を参照すれば、復号部１２０は、分割形態モード情報に基づき、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位６２０ｂを決定することができる。さらには、復号部１２０は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００の分割形態モード情報は、現在符号化単位６００の真ん中に位置するサンプル６４０からも獲得され、前記分割形態モード情報に基づき、現在符号化単位６００が、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割された場合、前記サンプル６４０を含む符号化単位６２０ｂを、真ん中に位置する符号化単位に決定することができる。ただし、真ん中に位置する符号化単位に決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程で利用されうる。

一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定サンプルからも獲得される。図６を参照すれば、復号部１２０は、現在符号化単位６００が分割されて決定された複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位６００内の所定位置のサンプル（例えば、現在符号化単位６００の真ん中に位置するサンプル）から獲得される分割形態モード情報を利用することができる。すなわち、復号部１２０は、現在符号化単位６００のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、復号部１２０は、現在符号化単位６００が分割されて決定される複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、所定情報（例えば、分割形態モード情報）が獲得されうるサンプルが含まれた符号化単位６２０ｂを決定し、所定制限を置くことができる。図６を参照すれば、一実施形態により、復号部１２０は、所定情報が獲得されうるサンプルとして、現在符号化単位６００の真ん中に位置するサンプル６４０を決定することができ、復号部１２０は、そのようなサンプル６４０が含まれる符号化単位６２０ｂを、復号過程における所定制限を置くことができる。ただし、所定情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位６２０ｂに含まれる任意の位置のサンプルとも解釈される。

一実施形態により、所定情報が獲得されうるサンプルの位置は、現在符号化単位６００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が、正方形であるか、または非正方形であるかということを決定することができ、形態により、所定情報が獲得されうるサンプルの位置を決定することができる。例えば、復号部１２０は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、復号部１２０は、現在符号化単位に係わるブロック形態情報が非正方形状であるということを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されうるサンプルと決定することができる。

一実施形態により、復号部１２０は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位において、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態により、復号部１２０は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、復号部１２０は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図５を介して説明したので、詳細な説明は、省略することにする。

一実施形態により、復号部１２０は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。

図７は、一実施形態により、復号部１２０が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。

一実施形態により、復号部１２０は、分割形態モード情報により、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定するか、第１符号化単位７００を水平方向に分割し、第２符号化単位７３０ａ，７３０ｂを決定するか、あるいは第１符号化単位７００を、垂直方向及び水平方向に分割し、第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができる。

図７を参照すれば、復号部１２０は、第１符号化単位７００を垂直方向に分割して決定された第２符号化単位７１０ａ，７１０ｂに対し、水平方向７１０ｃに処理されるように順序を決定することができる。復号部１２０は、第１符号化単位７００を水平方向に分割して決定された第２符号化単位７３０ａ，７３０ｂの処理順序を、垂直方向７３０ｃに決定することができる。復号部１２０は、第１符号化単位７００を、垂直方向及び水平方向に分割して決定された第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタースキャン順序（（raster scan order）またはｚスキャン順序（Ｚ scan order）７５０ｅによって決定することができる。

一実施形態により、復号部１２０は、符号化単位を再帰的に分割することができる。図７を参照すれば、復号部１２０は、第１符号化単位７００を分割し、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができ、決定された複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄそれぞれを、再帰的に分割することができる。複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを分割する方法は、第１符号化単位７００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄは、それぞれ独立し、複数個の符号化単位にも分割される。図７を参照すれば、復号部１２０は、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定することができ、さらには、第２符号化単位７１０ａ，７１０ｂそれぞれを独立させて分割するか、あるいは分割しないと決定することができる。

一実施形態により、復号部１２０は、左側の第２符号化単位７１０ａを水平方向に分割し、第３符号化単位７２０ａ，７２０ｂに分割することができ、右側の第２符号化単位７１０ｂは、分割しないのである。

一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。復号部１２０は、左側の第２符号化単位７１０ａが分割されて決定された第３符号化単位７２０ａ，７２０ｂが処理される順序を、右側の第２符号化単位７１０ｂと独立させて決定することができる。左側の第２符号化単位７１０ａが水平方向に分割され、第３符号化単位７２０ａ，７２０ｂが決定されたので、第３符号化単位７２０ａ，７２０ｂは、垂直方向７２０ｃにも処理される。また、左側の第２符号化単位７１０ａ、及び右側の第２符号化単位７１０ｂが処理される順序は、水平方向７１０ｃに該当するので、左側の第２符号化単位７１０ａに含まれる第３符号化単位７２０ａ，７２０ｂが、垂直方向７２０ｃに処理された後、右側符号化単位７１０ｂが処理されうる。前述の内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理されることができる多様な方法によっても利用されると解釈されなければならない。

図８は、一実施形態により、復号部１２０が、所定順序で符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する。

一実施形態により、復号部１２０は、獲得された分割形態モード情報に基づき、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図８を参照すれば、正方形状の第１符号化単位８００が非正方形状の第２符号化単位８１０ａ，８１０ｂにも分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅにも分割される。一実施形態により、復号部１２０は、第２符号化単位において、左側符号化単位８１０ａは、水平方向に分割し、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割することができる。

一実施形態により、復号部１２０は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが所定順序にも処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図８を参照すれば、復号部１２０は、第１符号化単位８００を再帰的に分割し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅを決定することができる。復号部１２０は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、第１符号化単位８００、第２符号化単位８１０ａ，８１０ｂまたは第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位８１０ａ，８１０ｂにおいて、右側に位置する符号化単位が、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅにも分割される。第１符号化単位８００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、Ｚスキャン順序８３０）にもなり、復号部１２０は、右側第２符号化単位８１０ｂが奇数個に分割されて決定された第３符号化単位８２０ｃ，８２０ｄ，８２０ｅが、前記所定順序によっても処理される条件を満足するか否かということを判断することができる。

一実施形態により、復号部１２０は、第１符号化単位８００に含まれる第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが、所定順序によっても処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅの境界に沿い、第２符号化単位８１０ａ，８１０ｂの幅及び高さのうち少なくとも一つを半分に分割するか否かということと係わる。例えば、非正方形状の左側第２符号化単位８１０ａの高さを半分に分割して決定される第３符号化単位８２０ａ，８２０ｂは、条件を満足することができる。右側第２符号化単位８１０ｂを、３個の符号化単位に分割して決定される第３符号化単位８２０ｃ，８２０ｄ，８２０ｅの境界が、右側第２符号化単位８１０ｂの幅または高さを半分に分割することができないので、第３符号化単位８２０ｃ，８２０ｄ，８２０ｅは、条件を満足することができないとも決定される。復号部１２０は、そのような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、該判断結果に基づき、右側第２符号化単位８１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、復号部１２０は、奇数個の符号化単位に分割される場合、分割された符号化単位において、所定位置の符号化単位に対し、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。

図９は、一実施形態により、復号部１２０が第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

一実施形態により、復号部１２０は、ビットストリーム獲得部１１０を介して獲得した分割形態モード情報に基づき、第１符号化単位９００を分割することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図９を参照すれば、第１符号化単位９００は、正方形であり、分割形態モード情報が、非正方形の符号化単位に分割されることを示す場合、復号部１２０は、第１符号化単位９００を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モード情報が、第１符号化単位９００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、復号部１２０は、正方形状の第１符号化単位９００を、奇数個の符号化単位として垂直方向に分割されて決定された第２符号化単位９１０ａ，９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ，９２０ｂ，９２０ｃに分割することができる。

一実施形態により、復号部１２０は、第１符号化単位９００に含まれる第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃが、所定順序によっても処理される条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃの境界に沿い、第１符号化単位９００の幅及び高さのうち少なくとも一つを半分に分割するか否かということと係わる。図９を参照すれば、正方形状の第１符号化単位９００を垂直方向に分割して決定される第２符号化単位９１０ａ，９１０ｂ，９１０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によっても処理される条件を満足することができないとも決定される。また、正方形状の第１符号化単位９００を水平方向に分割して決定される第２符号化単位９２０ａ，９２０ｂ，９２０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によっても処理される条件を満足することができないとも決定される。復号部１２０は、そのような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づき、第１符号化単位９００は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、復号部１２０は、奇数個の符号化単位に分割される場合、分割された符号化単位において、所定位置の符号化単位に対し、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。

図９を参照すれば、復号部１２０は、正方形状の第１符号化単位９００、非正方形状の第１符号化単位９３０または９５０を多様な形態の符号化単位に分割することができる。

図１０は、一実施形態により、第１符号化単位１０００から分割されて決定された非正方形状の第２符号化単位が、所定条件を満足する場合、第２符号化単位の分割形態が制限されることを図示する。

一実施形態により、復号部１２０は、ビットストリーム獲得部１１０を介して獲得した分割形態モード情報に基づき、正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立して分割されうる。それにより、復号部１２０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれに係わる分割形態モード情報に基づき、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、復号部１２０は、垂直方向に、第１符号化単位１０００が分割されて決定された非正方形状の左側第２符号化単位１０１０ａを水平方向に分割し、第３符号化単位１０１２ａ，１０１２ｂを決定することができる。ただし、復号部１２０は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第２符号化単位１０１０ｂが同一方向に分割され、第３符号化単位１０１４ａ，１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ，１０１２ｂ，１０１４ａ，１０１４ｂが決定されうる。しかし、それは、復号部１２０が、分割形態モード情報に基づき、第１符号化単位１０００を、４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割したところと同一結果であり、それは、映像復号側面において、非効率的でもある。

一実施形態により、復号部１２０は、水平方向に、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位１０２０ａまたは１０２０ｂを、垂直方向に分割し、第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することができる。ただし、復号部１２０は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。

また、一実施形態により、復号部１２０は、ビットストリーム獲得部１１０を介して獲得した分割形態モード情報に基づき、正方形状の第１符号化単位１０００をターナリー垂直分割し、非正方形状の第２符号化単位１０４０ａ，１０４０ｂ，１０４０ｃを決定することができる。第２符号化単位１０４０ａ，１０４０ｂ，１０４０ｃは、独立して分割されうる。それにより、復号部１２０は、第２符号化単位１０４０ａ，１０４０ｂ，１０４０ｃそれぞれに係わる分割形態モード情報に基づき、第２符号化単位１０４０ａ，１０４０ｂ，１０４０ｃを、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、復号部１２０は、第１符号化単位１０００がターナリー垂直分割されて決定された非正方形状の左側第２符号化単位１０４０ａ及び右側第２符号化単位１０４０ｃを分割しないと決定した場合、真ん中符号化単位１０４０ｂの分割形態を、バイナリー垂直分割以外の分割形態に制限することができる。なぜならば、第１符号化単位１０００がバイナリー垂直分割されると決定された第２符号化単位１０１０ａ，１０１０ｂそれぞれをバイナリー垂直分割した結果（すなわち、第３符号化単位１０１１ａ，１０１１ｂ，１０１１ｃ，１０１１ｄ）と同一結果であり、それは、映像復号側面において、非効率的でもあるためである。

分割規則により、符号化単位の所定分割形態への分割が許容されない場合、復号部１２０は、前記所定分割形態を決定するために、必要な情報をビットストリームからパージングしないのである。例えば、復号部１２０は、符号化単位の水平分割が許容されない場合、水平方向または垂直方向を示す分割方向情報は、ビットストリームからパージングしないのである。また、復号部１２０は、符号化単位のバイナリー分割が許容されない場合、バイナリー分割またはターナリー分割を示す分割タイプ情報は、ビットストリームからパージングしないのである。

図１１は、一実施形態により、分割形態モード情報が、４個の正方形状の符号化単位に分割されることを示すことができない場合、復号部１２０が正方形状の符号化単位を分割する過程を図示する。

一実施形態により、復号部１２０は、分割形態モード情報に基づき、第１符号化単位１１００を分割し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂを決定することができる。分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれえない場合がある。そのような分割形態モード情報によれば、復号部１２０は、正方形状の第１符号化単位１１００を、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割することができない。分割形態モード情報に基づき、復号部１２０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂを決定することができる。

一実施形態により、復号部１２０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂをそれぞれ独立して分割することができる。再帰的な方法を介し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂそれぞれが所定順にも分割され、それは、分割形態モード情報に基づき、第１符号化単位１１００が分割される方法に対応する分割方法でもある。

例えば、復号部１２０は、左側第２符号化単位１１１０ａから水平方向に分割された正方形状の第３符号化単位１１１２ａ，１１１２ｂを決定することができ、右側第２符号化単位１１１０ｂから水平方向に分割された正方形状の第３符号化単位１１１４ａ，１１１４ｂを決定することができる。さらには、復号部１２０は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂのいずれもから水平方向に分割された正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することもできる。そのような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。

他の例を挙げれば、復号部１２０は、上端第２符号化単位１１２０ａから垂直方向に分割された正方形状の第３符号化単位１１２２ａ，１１２２ｂを決定することができ、下端第２符号化単位１１２０ｂから垂直方向に分割された正方形状の第３符号化単位１１２４ａ，１１２４ｂを決定することができる。さらには、復号部１２０は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０ｂのいずれもから垂直方向に分割された正方形状の第３符号化単位１１２６ａ，１１２６ｂ，１１２６ａ，１１２６ｂを決定することもできる。そのような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。

図１２は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によっても異なることを図示したものである。

一実施形態により、復号部１２０は、分割形態モード情報に基づき、第１符号化単位１２００を分割することができる。ブロック形態が正方形であり、分割形態モード情報が、第１符号化単位１２００が、水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、復号部１２０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂを決定することができる。図１２を参照すれば、第１符号化単位１２００が水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、それぞれに係わる分割形態モード情報に基づき、独立して分割されうる。例えば、復号部１２０は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。そのような第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂの分割過程は、図１１と係わって説明したので、詳細な説明は、省略することにする。

一実施形態により、復号部１２０は、所定順序によって符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図７と係わって説明したので、詳細な説明は、省略することにする。図１２を参照すれば、復号部１２０は、正方形状の第１符号化単位１２００を分割し、４個の正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄまたは１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。一実施形態により、復号部１２０は、第１符号化単位１２００が分割される形態により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄまたは１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄの処理順序を決定することができる。

一実施形態により、復号部１２０は、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、復号部１２０は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ，１２１６ｃを垂直方向にまず処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｂ，１２１６ｄを垂直方向に処理する順序１２１７により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを処理することができる。

一実施形態により、復号部１２０は、水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができ、復号部１２０は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ，１２２６ｂを水平方向にまず処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ，１２２６ｄを水平方向に処理する順序１２２７により、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを処理することができる。

図１２を参照すれば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂがそれぞれ分割され、正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄが決定されうる。垂直方向に分割されて決定された第２符号化単位１２１０ａ，１２１０ｂ、及び水平方向に分割されて決定された第２符号化単位１２２０ａ，１２２０ｂは、互いに異なる形態に分割されたものであるが、その後決定される第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄによれば、結局、同一形態の符号化単位に、第１符号化単位１２００が分割された結果になる。それにより、復号部１２０は、分割形態モード情報に基づき、異なる過程を介し、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定するにしても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。

図１３は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。

一実施形態により、復号部１２０は、符号化単位の深度を所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。復号部１２０は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より、２^ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増大されたと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現することにする。

図１３を参照すれば、一実施形態により、正方形状であるということを示すブロック形態情報（例えば、ブロック形態情報は、「０：SQUARE」を示すことができる）に基づき、復号部１２０は、正方形状である第１符号化単位１３００を分割し、下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定することができる。正方形状の第１符号化単位１３００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位１３００の幅及び高さを１／２倍に分割して決定された第２符号化単位１３０２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位１３０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２の大きさを有することができる。その場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／４倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２倍である第２符号化単位１３０２の深度は、Ｄ＋１でもあり、第１符号化単位１３００の幅及び高さの１／４倍である第３符号化単位１３０４の深度は、Ｄ＋２でもある。

一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であるということを示す「１：ＮＳ＿ＶＥＲ」または幅が高さより大きい非正方形であるということを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づき、復号部１２０は、非正方形状である第１符号化単位１３１０または１３２０を分割し、下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定することができる。

復号部１２０は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することができる。すなわち、復号部１２０は、第１符号化単位１３１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮｘＮ／２サイズの第２符号化単位１３２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定することもできる。

一実施形態により、復号部１２０は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することもできる。すなわち、復号部１２０は、第１符号化単位１３２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮ／２ｘＮサイズの第２符号化単位１３１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１３２２を決定することもできる。

一実施形態により、復号部１２０は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、復号部１２０は、第２符号化単位１３０２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。

一実施形態により、復号部１２０は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、復号部１２０は、第２符号化単位１３１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定することができる。

一実施形態により、復号部１２０は、ＮｘＮ／２サイズの第２符号化単位１３２２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、復号部１２０は、第２符号化単位１３２２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。

一実施形態により、復号部１２０は、例えば、正方形状の符号化単位１３００，１３０２，１３０４を水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１３１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１３２０を決定することができる。一実施形態により、深度が、符号化単位の最長辺長に基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００の深度と同一でもある。

一実施形態により、第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／４倍にも該当する。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３２２の深度は、Ｄ＋１でもあり、第１符号化単位１３１０または１３２０の幅及び高さの１／４倍である第３符号化単位１３１４または１３２４の深度は、Ｄ＋２でもある。

図１４は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：part index）を図示する。

一実施形態により、復号部１２０は、正方形状の第１符号化単位１４００を分割し、多様な形態の第２符号化単位を決定することができる。図１４を参照すれば、復号部１２０は、分割形態モード情報により、第１符号化単位１４００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。すなわち、復号部１２０は、第１符号化単位１４００に係わる分割形態モード情報に基づき、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。

一実施形態により、正方形状の第１符号化単位１４００に係わる分割形態モード情報によって決定される第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄは、長辺長に基づき、深度が決定されうる。例えば、正方形状の第１符号化単位１４００の一辺長と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの長辺長とが同一であるので、第１符号化単位１４００と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂとの深度は、Ｄとして同一であると見ることができる。それに対し、復号部１２０が分割形態モード情報に基づき、第１符号化単位１４００を４個の正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄに分割した場合、正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの一辺長は、第１符号化単位１４００の一辺長の１／２倍であるので、第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの深度は、第１符号化単位１４００の深度であるＤより１深度下位であるＤ＋１の深度でもある。

一実施形態により、復号部１２０は、高さが幅より大きい形態の第１符号化単位１４１０を分割形態モード情報によって水平方向に分割し、複数個の第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。一実施形態により、復号部１２０は、幅が高さより大きい形態の第１符号化単位１４２０を分割形態モード情報によって垂直方向に分割し、複数個の第２符号化単位１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃに分割することができる。

一実施形態により、非正方形状の第１符号化単位１４１０または１４２０に係わる分割形態モード情報によって決定される第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃ，１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃは、長辺長に基づき、深度が決定されうる。例えば、正方形状の第２符号化単位１４１２ａ，１４１２ｂの一辺長は、高さが幅より大きい非正方形状の第１符号化単位１４１０の一辺長の１／２倍であるので、正方形状の第２符号化単位１４１２ａ，１４１２ｂの深度は、非正方形状の第１符号化単位１４１０の深度Ｄより１深度下位の深度であるＤ＋１である。

さらには、復号部１２０が分割形態モード情報に基づき、非正方形状の第１符号化単位１４１０を、奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃは、非正方形状の第２符号化単位１４１４ａ，１４１４ｃ、及び正方形状の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１４１４ａ，１４１４ｃの長辺長、及び正方形状の第２符号化単位１４１４ｂの一辺長は、第１符号化単位１４１０の一辺長の１／２倍であるので、第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。復号部１２０は、第１符号化単位１４１０と係わる符号化単位の深度を決定する前記方式に対応する方式により、幅が高さより大きい非正方形状の第１符号化単位１４２０と係わる符号化単位の深度を決定することができる。

一実施形態により、復号部１２０は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が互いに等しいサイズではない場合、符号化単位間の大きさの比率に基づき、インデックス（ＰＩＤ）を決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ，１４１４ｂ，１４１４ｃのうち、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと幅は同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックス（ＰＩＤ）が２増加した３でもある。すなわち、インデックス（ＰＩＤ）値の不連続性が存在しうる。一実施形態により、復号部１２０は、そのような分割された符号化単位間区分のためのインデックス（ＰＩＤ）の不連続性の存在いかんに基づき、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。

一実施形態により、復号部１２０は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス（ＰＩＤ）値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、復号部１２０は、高さが幅より大きい直方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。復号部１２０は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、インデックス（ＰＩＤ）は、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。

一実施形態により、復号部１２０は、符号化単位区分のためのインデックス（ＰＩＤ）を利用して分割されて決定された符号化単位において、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい直方形状の第１符号化単位１４１０に係わる分割形態モード情報が、３個の符号化単位に分割されることを示す場合、復号部１２０は、第１符号化単位１４１０を３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。復号部１２０は、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃそれぞれに係わるインデックス（ＰＩＤ）を割り当てることができる。復号部１２０は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックス（ＰＩＤ）を比較することができる。復号部１２０は、符号化単位のインデックス（ＰＩＤ）に基づき、インデックス（ＰＩＤ）のうち真ん中値に該当するインデックス（ＰＩＤ）を有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態により、復号部１２０は、分割された符号化単位区分のためのインデックス（ＰＩＤ）決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づき、インデックス（ＰＩＤ）を決定することができる。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと幅は同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックス（ＰＩＤ）が２増加した３でもある。そのような場合のように、均一にインデックス（ＰＩＤ）が増加していていて、増加幅が異なる場合、復号部１２０は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態モード情報が、奇数個の符号化単位に分割されることを示す場合、復号部１２０は、奇数個の符号化単位において、所定位置の符号化単位（例えば、真ん中符号化単位）が、他の符号化単位と大きさが異なる形態に、現在符号化単位を分割することができる。その場合、復号部１２０は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス（ＰＩＤ）、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス（ＰＩＤ）、符号化単位の位置及び大きさが利用されうると解釈されなければならない。

一実施形態により、復号部１２０は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。

図１５は、一実施形態により、映像に含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。

一実施形態により、所定データ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在映像を分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位にも該当する。以下では、説明上の便宜のために、そのような所定データ単位を、基準データ単位と称することにする。

一実施形態により、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一であっても、異なっていてもよく、２の乗数で表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形状を示すことができ、この後、整数個の符号化単位にも分割される。

一実施形態により、復号部１２０は、現在映像を、複数個の基準データ単位に分割することができる。一実施形態により、復号部１２０は、現在映像を分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー（quad－tree）構造を利用した分割過程にも対応する。

一実施形態により、復号部１２０は、現在映像に含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、復号部１２０は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも１つの符号化単位を決定することができる。

図１５を参照すれば、復号部１２０は、正方形状の基準符号化単位１５００を利用することができ、または非正方形状の基準符号化単位１５０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（sequence）、映像（picture）、スライス（slice）、スライスセグメント（slice segment）、タイル（tile）、タイルグループ（tile group）、最大符号化単位など）によっても決定される。

一実施形態により、ビットストリーム獲得部１１０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前述の多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５０２に含まれる少なくとも１つの符号化単位の決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は、省略することにする。

一実施形態により、復号部１２０は、所定条件に基づいてあらかじめ決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部１１０は、ビットストリームから、前述の多様なデータ単位（例えば、シーケンス、映像、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。復号部１２０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、該ビットストリームの利用効率が良好でもないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、あらかじめ決められてもいる。すなわち、復号部１２０は、既定の基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。

一実施形態により、復号部１２０は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介し、符号化単位が決定されうる。一実施形態により、該最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍にも該当する。一実施形態により、該基準符号化単位の大きさは、最大符号化単位を、クアッドツリー構造により、ｎ回分割した大きさでもある。すなわち、復号部１２０は、最大符号化単位を、クアッドツリー構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。

図１６は、一実施形態により、映像１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する。

一実施形態により、復号部１２０は、映像を分割する少なくとも１つのプロセシングブロックを決定することができる。プロセシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順に決定されうる。すなわち、それぞれのプロセシングブロックと決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序の種類のうち一つに該当し、それぞれのプロセシングブロックと決定される基準符号化単位決定順序は、プロセシングブロックごとにも異なる。プロセシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（raster scan）、Ｚスキャン（Ｚ－scan）、Ｎスキャン（Ｎ－scan）、右上向き対角スキャン（up－right diagonal scan）、水平的スキャン（horizontal scan）、垂直的スキャン（vertical scan）のような多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。

一実施形態により、復号部１２０は、プロセシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセシングブロックの大きさを決定することができる。復号部１２０は、プロセシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセシングブロックの大きさを決定することができる。そのようなプロセシングブロックの大きさは、プロセシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。

一実施形態により、ビットストリーム獲得部１１０は、ビットストリームから、プロセシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセシングブロックの大きさに係わる情報は、映像、シーケンス、映像、スライス、スライスセグメント、タイル、タイルグループのようなデータ単位で、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部１１０は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセシングブロックの大きさに係わる情報を獲得することができ、復号部１２０は、獲得されたプロセシングブロックの大きさに係わる情報を利用し、映像を分割する少なくとも１つのプロセシングブロックの大きさを決定することができ、そのようなプロセシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。

一実施形態により、復号部１２０は、映像１６００に含まれるプロセシングブロック１６０２，１６１２の大きさを決定することができる。例えば、復号部１２０は、ビットストリームから獲得されたプロセシングブロックの大きさに係わる情報に基づき、プロセシングブロックの大きさを決定することができる。図１６を参照すれば、復号部１２０は、一実施形態により、プロセシングブロック１６０２，１６１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍に決定することができる。復号部１２０は、少なくとも１つのプロセシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。

一実施形態により、復号部１２０は、プロセシングブロックの大きさに基づき、映像１６００に含まれるそれぞれのプロセシングブロック１６０２，１６１２を決定することができ、プロセシングブロック１６０２，１６１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は基準符号化単位の大きさ決定を含んでもよい。

一実施形態により、復号部１２０は、ビットストリームから、少なくとも１つのプロセシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づき、少なくとも１つの基準符号化単位が決定される順序を決定することができる。決定順序に係わる情報は、プロセシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセシングブロックごとに独立して決定されうる。

一実施形態により、復号部１２０は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部１１０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、映像、スライス、スライスセグメント、タイル、タイルグループ、プロセシングブロックのようなデータ単位路ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセシングブロック内における基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセシングブロックを含む特定データ単位ごとにも獲得される。

復号部１２０は、一実施形態により、決定された順序に基づき、少なくとも１つの基準符号化単位を決定することができる。

一実施形態により、ビットストリーム獲得部１１０は、ビットストリームから、プロセシングブロック１６０２，１６１２と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、復号部１２０は、前記プロセシングブロック１６０２，１６１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、映像１６００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１６を参照すれば、復号部１２０は、それぞれのプロセシングブロック１６０２，１６１２と係わる少なくとも１つの基準符号化単位の決定順序１６０４，１６１４を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセシングブロックごとに獲得される場合、それぞれのプロセシングブロック１６０２，１６１２と係わる基準符号化単位決定順序は、プロセシングブロックごとにも異なる。プロセシングブロック１６０２と係わる基準符号化単位決定順序１６０４がラスタースキャン順序である場合、プロセシングブロック１６０２に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセシングブロック１６１２と係わる基準符号化単位決定順序１６１４がラスタースキャン順序の逆順である場合、プロセシングブロック１６１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。

復号部１２０は、一実施形態により、決定された少なくとも１つの基準符号化単位を復号することができる。復号部１２０は、前述の実施形態を介して決定された基準符号化単位に基づき、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。

一実施形態により、復号部１２０は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報を、ビットストリームから獲得して利用することができる。分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれてもよい。例えば、復号部１２０は、シーケンスパラメータセット（sequence parameter set）、映像パラメータセット（picture parameter set）、ビデオパラメータセット（video parameter set）、スライスヘッダ（slice header）、スライスセグメントヘッダ（slice segment header）、タイルヘッダ（tile header）、タイルグループヘッダ（tile group header）に含まれた分割形態モード情報を利用することができる。さらには、復号部１２０は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントをビットストリームから獲得して利用することができる。

以下、本開示の一実施形態による分割規則を決定する方法について詳細に説明する。

復号部１２０は、映像の分割規則を決定することができる。該分割規則は、映像復号装置１００及び映像符号化装置２００の間に既定でもある。復号部１２０は、ビットストリームから獲得された情報に基づき、映像の分割規則を決定することができる。復号部１２０は、シーケンスパラメータセット、映像パラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダ、タイルヘッダ、タイルグループヘッダのうち少なくとも一つから獲得された情報に基づき、分割規則を決定することができる。復号部１２０は、分割規則を、フレーム、スライス、タイル、テンポラルレイヤ（temporal layer）、最大符号化単位または符号化単位により、異ならせて決定することができる。

復号部１２０は、符号化単位のブロック形態に基づき、分割規則を決定することができる。ブロック形態は、符号化単位の大きさ、形態、広さ、幅及び高さの比率、方向を含んでもよい。映像符号化装置２００及び映像復号装置１００は、符号化単位のブロック形態に基づき、分割規則をあらかじめ決定することができる。復号部１２０は、映像符号化装置２００から受信されたビットストリームから獲得された情報に基づき、分割規則を決定することもできる。

符号化単位の形態は、正方形（square）及び非正方形（non－square）を含んでもよい。符号化単位の幅及び高さの大きさが同じである場合、復号部１２０は、符号化単位の形態を正方形に決定することができる。また、符号化単位の幅及び高さの大きさが同じではない場合、復号部１２０は、符号化単位の形態を非正方形に決定することができる。

符号化単位の大きさは、４ｘ４、８ｘ４、４ｘ８、８ｘ８、１６ｘ４、１６ｘ８、…、２５６ｘ２５６の多様な大きさを含んでもよい。符号化単位の大きさは、符号化単位の長辺長、短辺長、またはそれらの広さによっても分類される。復号部１２０は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、復号部１２０は、同一長辺長を有する符号化単位を、同一サイズに分類することができる。また、復号部１２０は、同一長辺長を有する符号化単位に対し、同一分割規則を適用することができる。

符号化単位の幅及び高さの比率は、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、３２：１または１：３２などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。水平方向は、符号化単位の幅の長さが、高さの高さより大きい場合を示すことができる。垂直方向は、符号化単位の幅の長さが、高さの高さより小さい場合を示すことができる。

復号部１２０は、符号化単位のブロック形態に基づき、分割規則を適応的に決定することができる。復号部１２０は、ブロック形態に基づき、許容可能な分割形態モードを異ならせて決定することができる。例えば、復号部１２０は、符号化単位の大きさに基づき、分割が許容されるか否かということを決定することができる。復号部１２０は、符号化単位の大きさにより、分割方向を決定することができる。復号部１２０は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。

復号部１２０は、符号化単位の大きさ、形態、広さ、幅及び高さの比率及び方向のうち少なくとも一つを所定基準と比較し、符号化単位の分割形態を、所定分割形態に制限することができる。例えば、符号化単位の大きさがＭｘＮであり、高さと幅との比率が１：４である場合、符号化単位は、分割が許容されないか、バイナリー水平分割だけが許容されるか、あるいはクアッド分割が許容されないのである。その場合、復号部１２０は、符号化単位に対して許容される分割形態を決定するための情報は、ビットストリームからパージングしないのである。例えば、符号化単位に対し、クアッド分割が許容されない場合、復号部１２０は、クアッド分割いかんを示す情報をパージングしないのである。

符号化単位の大きさに基づき、分割規則決定は、映像符号化装置２００及び映像復号装置１００の間に既定の分割規則でもある。また、復号部１２０は、ビットストリームから獲得された情報に基づき、分割規則を決定することもできる。

復号部１２０は、符号化単位の位置に基づき、分割規則を適応的に決定することができる。復号部１２０は、符号化単位が映像で占める位置に基づき、分割規則を適応的に決定することができる。

また、復号部１２０は、互いに異なる分割経路に生成された符号化単位が、同一ブロック形態を有さないように、分割規則を決定することができる。例えば、図１０と係わって説明したように、第１符号化単位１０００のクアッド分割が可能である場合、第１符号化単位１００からバイナリー垂直分割を介して決定される第２符号化単位１０１０ａ，１０１０ｂいずれものバイナリー水平分割は、許容されず、第１符号化単位１０００からバイナリー水平分割を介して決定される第２符号化単位１０２０ａ，１０２０ｂいずれものバイナリー垂直分割は、許容されないのである、ただし、それに限定されるものではなく、互いに異なる分割経路に生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路に生成された符号化単位は、互いに異なる復号処理順序を有することができる。復号処理順序については、図１２と共に説明したので、詳細な説明は、省略する。

図１７は、一実施形態により、符号化単位が分割されうる形態の組み合わせが、映像ごとに互いに異なる場合、それぞれの映像ごとに決定されうる符号化単位を図示する。

図１７を参照すれば、復号部１２０は、映像ごとに符号化単位が分割されうる分割形態の組み合わせを異ならせて決定することができる。例えば、復号部１２０は、４個の符号化単位にも分割される映像１７００、２個または４個の符号化単位にも分割される映像１７１０、及び２個、３個または４個の符号化単位にも分割される映像１７２０を利用して映像を復号することができる。復号部１２０は、映像１７００を、複数個の符号化単位に分割するために、４個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。復号部１２０は、映像１７１０を分割するために、２個または４個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。復号部１２０は、映像１７２０を分割するために、２個、３個または４個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、復号部１２０の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されうると解釈されなければならない。

一実施形態により、ビットストリーム獲得部１１０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位単位（例えば、シーケンス、映像、スライス、スライスセグメント、タイルまたはタイルグループなど）ごとに獲得することができる。例えば、ビットストリーム獲得部１１０は、シーケンスパラメータセット、映像パラメータセット、スライスヘッダ、タイルヘッダまたはタイルグループヘッダにおいて、分割形態情報の組み合わせを示すインデックスを獲得することができる。復号部１２０は、獲得したインデックスを利用し、所定データ単位ごとに、符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに、互いに異なる分割形態の組み合わせを利用することができる。

図１８は、一実施形態により、バイナリー（binary）コードによっても表現される分割形態モード情報に基づいても決定される符号化単位の多様な形態を図示する。

一実施形態により、復号部１２０は、ビットストリーム獲得部１１０を介して獲得したブロック形態情報、及び分割形態モード情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態にも該当する。

図１８を参照すれば、復号部１２０は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。

一実施形態により、復号部１２０が正方形状の符号化単位を、水平方向及び垂直方向に分割し、４個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態モード情報が示すことができる分割形態は、４種でもある。一実施形態により、分割形態モード情報は、２桁のバイナリーコードとしても表現され、それぞれの分割形態ごとに、バイナリーコードが割り当てられるのである。例えば、符号化単位が分割されない場合、分割形態モード情報は、（００）ｂとも表現され、符号化単位が、水平方向及び垂直方向に分割される場合、分割形態モード情報は、（０１）ｂとも表現され、符号化単位が水平方向に分割される場合、分割形態モード情報は、（１０）ｂとも表現され、符号化単位が垂直方向に分割される場合、分割形態モード情報は、（１１）ｂとも表現される。

一実施形態により、復号部１２０は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態モード情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによっても決定される。図１８を参照すれば、復号部１２０は、一実施形態により、非正方形状の符号化単位を３個まで分割することができる。復号部１２０は、符号化単位を、２つの符号化単位に分割することができ、その場合、分割形態モード情報は、（１０）ｂとも表現される。復号部１２０は、符号化単位を３つの符号化単位に分割することができ、その場合、分割形態モード情報は、（１１）ｂとも表現される。復号部１２０は、符号化単位を分割しないと決定することができ、その場合、分割形態モード情報は、（０）ｂとも表現される。すなわち、復号部１２０は、分割形態モード情報を示すバイナリーコードを利用するために、固定長コーディング（ＦＬＣ：fixed length coding）ではなく、可変長コーディング（ＶＬＣ：variable length coding）を利用することができる。

一実施形態により、図１８を参照すれば、符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードは、（０）ｂとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードが（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態モード情報がないにもかかわらず、２ビットの分割形態モード情報のバイナリーコードをいずれも利用しなければならない。しかし、図１８で図示するように、非正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、復号部１２０は、分割形態モード情報として、１ビットのバイナリーコード（０）ｂを利用しても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す非正方形状の符号化単位の分割形態は、ただ図１８で図示する３種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。

図１９は、一実施形態により、バイナリーコードによっても表現される分割形態モード情報に基づいても決定される符号化単位の他の形態を図示する。

図１９を参照すれば、復号部１２０は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、分割形態モード情報は、正方形状の符号化単位を一方方向に分割されることを示すことができる。そのような場合正方形状の符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードは、（０）ｂとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードが（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態モード情報がないにもかかわらず、２ビットの分割形態モード情報のバイナリーコードをいずれも利用しなければならない。しかし、図１９で図示するように、正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、復号部１２０は、分割形態モード情報として、１ビットのバイナリーコード（０）ｂを利用しても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す正方形状の符号化単位の分割形態は、ただ図１９で図示する３種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。

一実施形態により、ブロック形態情報または分割形態モード情報は、バイナリーコードを利用しても表現され、そのような情報が、直ちにビットストリームにも生成される。また、バイナリーコードによっても表現されるブロック形態情報または分割形態モード情報は、すぐビットストリームに生成されず、ＣＡＢＡＣ（context adaptive binary arithmetic coding）に入力されるバイナリーコードとしても利用される。

一実施形態により、復号部１２０は、ＣＡＢＡＣを介し、ブロック形態情報または分割形態モード情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部１１０を介し、前記シンタックスに係わるバイナリーコードを含むビットストリームを獲得することができる。復号部１２０は、獲得したビットストリームに含まれるビンストリングを逆二進化し、ブロック形態情報または分割形態モード情報を示すシンタックス要素（syntax element）を検出することができる。一実施形態により、復号部１２０は、復号するシンタックス要素に該当するバイナリービンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、復号部１２０は、そのような復号されたビンで構成されるビンストリングが、以前に求めたビンストリングのうち一つと同じになるまで反復することができる。復号部１２０は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。

一実施形態により、復号部１２０は、適応的二陣算術コーディング（adaptive binary arithmetic ccoding）の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、復号部１２０は、ビットストリーム獲得部１１０を介して獲得したビンに係わる確率モデルを更新することができる。図１８を参照すれば、ビットストリーム獲得部１１０は、一実施形態により、分割形態モード情報を示すバイナリーコードを示すビットストリームを獲得することができる。獲得した１ビットまたは２ビットの大きさを有するバイナリーコードを利用し、復号部１２０は、分割形態モード情報に係わるシンタックスを決定することができる。復号部１２０は、分割形態モード情報に係わるシンタックスを決定するために、２ビットのバイナリーコードにおいて、それぞれのビットに係わる確率を更新することができる。すなわち、復号部１２０は、２ビットのバイナリーコードのうち最初ビンの値が、０または１のうちいずれの値であるということかにより、次のビンを復号するとき、０または１の値を有する確率を更新することができる。

一実施形態により、復号部１２０は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程において利用されるビンに係わる確率を更新することができ、復号部１２０は、前記ビンストリングにおいて特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。

図１８を参照すれば、非正方形状の符号化単位に係わる分割形態モード情報を示すビンストリングを利用し、シンタックスを決定する過程において、復号部１２０は、非正方形状の符号化単位を分割しない場合には、０の値を有する１つのビンを利用し、分割形態モード情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位は、非正方形状であるということを示す場合、分割形態モード情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、０であり、２個または３個の符号化単位に分割される場合、１でもある。それにより、非正方形の符号化単位に係わる分割形態モード情報のビンストリングの最初ビンが０である確率は、１／３であり、１である確率は、２／３でもある。前述のように、復号部１２０は、非正方形状の符号化単位が分割されないことを示す分割形態モード情報は、０の値を有する１ビットのビンストリングのみが表現されうるので、復号部１２０は、分割形態モード情報の最初ビンが１である場合だけ、２番目ビンが０であるか、または１であるかということを判断し、分割形態モード情報に係わるシンタックスを決定することができる。一実施形態により、復号部１２０は、分割形態モード情報に係わる最初ビンが１である場合、２番目ビンが０または１である確率は、互いに同一確率であると見て、ビンを復号することができる。

一実施形態により、復号部１２０は、分割形態モード情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態により、復号部１２０は、非正方形ブロックの方向に沿い、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。一実施形態により、復号部１２０は、現在符号化単位の広さまたは長辺長により、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。一実施形態により、復号部１２０は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。

一実施形態により、復号部１２０は、所定サイズ以上の符号化単位については、分割形態モード情報に係わるビンの確率を同一であると決定することができる。例えば、符号化単位の長辺長を基準に、６４サンプル以上の大きさの符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。

一実施形態により、復号部１２０は、分割形態モード情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ（例えば、Ｉスライス、ＰスライスまたはＢスライス）に基づいても決定される。

一実施形態において、復号部１２０は、符号化単位の分割形態モード情報を決定するとき、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを独立して決定することができる。例えば、復号部１２０は、デュアルツリー分割が遂行されるということを示す情報（例えば、dual＿tree＿flag）がビットストリームに含まれている場合、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを独立して決定することができる。また、復号部１２０は、デュアルツリー分割が行われるということを示す情報が、ビットストリームに含まれており、分割対象である符号化単位を含む現在スライスが、Ｉスライスである場合、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを独立して決定することができる。

復号部１２０は、デュアルツリー分割が行われないということを示す情報が、ビットストリームに含まれているか、あるいは符号化単位を含む現在スライスが、Ｉスライスではない場合、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを同一に決定（すなわち、シングルツリー分割）することができる。

一例において、デュアルツリー分割が行われる場合、復号部１２０は、所定サイズ以下のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを、ビットストリームから獲得することができる。そして、復号部１２０は、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロックを分割し、クロマ符号化ブロックの分割形態モード情報により、クロマ符号化ブロックを分割することができる。ルマ符号化ブロック及びクロマ符号化ブロックは、前述のように、クアッド分割、ターナリー分割、バイナリー分割などにより、再帰的にも分割される。前記所定サイズは、３２ｘ３２、６４ｘ６４、１２８ｘ１２８または２５６ｘ２５６でもあるが、それに限定されるものではない。一実施形態において、所定サイズ以下のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが再帰的に分割される間、クロマ符号化ブロックのチャイルド符号化ブロックの大きさが、既定最小サイズ以下であるならば、親ブロックに該当するクロマ符号化ブロックの分割は、許容されないのである。また、一実施形態において、所定サイズ以下のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが分割されるとき、分割結果として生成されるクロマ符号化ブロックの最大深度は、分割結果として生成されるルマ符号化ブロックの最大深度よりも低い。

デュアルツリー分割が行われる場合、復号部１２０は、所定サイズ（例えば、６４ｘ６４）より大きいルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、既定の分割モード、例えば、クアッド分割モードで、ルマ符号化ブロック及びクロマ符号化ブロックを分割することができる。その場合、ルマ符号化ブロックとクロマ符号化ブロックは、同一形態にも分割される。他の例として、復号部１２０は、所定サイズ（例えば、６４ｘ６４）より大きいルマ符号化ブロックの分割形態モード情報をビットストリームから獲得し、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを分割することができる。すなわち、所定サイズより大きいルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックは、ルマ符号化ブロックの分割形態モード情報により、同一分割形態にも分割される。所定サイズ（例えば、６４ｘ６４）より大きいルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックに係わる分割結果として、所定サイズ以下のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックが決定されれば、前述のように、ルマ符号化ブロックの分割形態モード情報、及びクロマ符号化ブロックの分割形態モード情報により、所定サイズ以下のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックが独立して分割されうる。

他の例として、デュアルツリー分割が行われる場合、復号部１２０は、所定深度以上のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを、ビットストリームから獲得することができる。そして、復号部１２０は、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロックを分割し、クロマ符号化ブロックの分割形態モード情報により、クロマ符号化ブロックを分割することができる。一実施形態において、所定深度以上のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが再帰的に分割される間、クロマ符号化ブロックのチャイルド符号化ブロックの大きさが、既定の最小サイズ以下であるならば、親ブロックに該当するクロマ符号化ブロックの分割は、許容されないのである。また、一実施形態において、所定深度以上のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが分割されるとき、分割結果として生成されるクロマ符号化ブロックの最大深度は、分割結果として生成されるルマ符号化ブロックの最大深度よりも低い。

デュアルツリー分割が行われる場合、復号部１２０は、所定深度より低いルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、既定の分割モード、例えば、クアッド分割モードにより、ルマ符号化ブロック及びクロマ符号化ブロックを分割することができる。他の例として、復号部１２０は、所定深度より低いルマ符号化ブロックの分割形態モード情報を、ビットストリームから獲得することができる。そして、復号部１２０は、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを同一に分割することができる。

さらに他の例として、デュアルツリー分割が行われる場合、復号部１２０は、所定サイズ以下または所定深度以上のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報を、ビットストリームから獲得し、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロックを分割し、ルマ符号化ブロックの分割形態モード情報と無関係に、クロマ符号化ブロックを、既定の分割モードによって分割することもできる。復号部１２０は、所定サイズより大きいか、あるいは所定深度より低いルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するときには、既定の分割モードにより、ルマ符号化ブロック及びクロマ符号化ブロックを分割するか、あるいはルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを同一に分割することができる。

さらに他の例として、デュアルツリー分割が行われる場合、復号部１２０は、所定サイズ以下または所定深度以上のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報を、ビットストリームから獲得し、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを同一に分割することができる。このとき、分割形態モード情報に基づいて決定される分割形態により、クロマ符号化ブロックが分割されたときに決定されるチャイルド符号化ブロックの大きさが、最小サイズ以下であるならば、親ブロックに該当するクロマ符号化ブロックの分割は、許容されないのである。

図２０は、ループフィルタリングを行う映像の符号化システム及び復号システムのブロック図を示した図面である。

映像の符号化システム及び復号システム２０００の符号化端２０１０は、映像の符号化されたビットストリームを伝送し、復号化端２０５０は、ビットストリームを受信して復号することによって復元映像を出力する。ここで、符号化端２０１０は、後述する映像符号化装置２００にも対応し、復号化端２０５０は、映像復号装置１００にも対応する。

符号化端２０１０において、予測符号化部２０１５は、符号化単位に係わるインター予測及びイントラ予測を介して予測データを出力し、変換及び量子化部２０２０は、予測データと現在入力映像とのレジデュアルデータを、変換単位を基準で変換し、変換係数を量子化して出力する。エントロピー符号化部２０２５は、量子化された変換係数を符号化し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部２０３０を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部２０３５及びループフィルタリング部２０４０を経て、復元映像として出力される。該復元映像は、予測符号化部２０１５を経て、次の入力映像の参照映像としても使用される。

復号化端２０５０に受信されたビットストリームにおいて符号化された映像データは、エントロピー復号部２０５５と逆量子化及び逆変換部２０６０とを経て、空間領域のレジデュアルデータに復元される。予測復号部２０７５から出力された予測データ及びレジデュアルデータが組み合わされ、空間領域の映像データが構成され、デブロッキングフィルタリング部２０６５及びループフィルタリング部２０７０は、空間領域の映像データに対してフィルタリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部２０７５により、次の原本映像に係わる参照映像としても利用されうる。

符号化端２０１０のループフィルタリング部２０４０は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部２０４０によって使用されたフィルタ情報は、エントロピー符号化部２０２５に出力され、符号化された映像データと共に、復号化端２０５０に伝送される。復号化端２０５０のループフィルタリング部２０７０は、復号化端２０５０から入力されたフィルタ情報に基づき、ループフィルタリングを行うことができる。

前述のように、変換係数の逆変換は、変換単位を基準にも行われる。多様な分割形態モードにより、符号化単位から決定される変換単位の幅または高さが、２^ｎ（ｎは、整数である）に該当しないのである。言い換えれば、変換単位の幅方向または高さ方向に沿って配列されたサンプルの個数が２^ｎ個に該当しないのである。変換単位に含まれる変換係数を逆変換するための変換カーネル（transform kernel）の幅及び高さが２^ｎに該当する場合、幅または高さが２^ｎに該当しない変換単位に係わる逆変換に変換カーネルが利用されえる。その場合、幅または高さが２^ｎではない変換カーネルが必要になるが、それは、変換及び逆変換の複雑性を増大させる要因になる。

一実施形態において、復号部１２０は、現在変換単位の幅または高さが２^ｎに該当しない場合、復号部１２０は、現在変換単位を含む符号化単位を基準に逆変換を行うことができる。言い換えれば、現在符号化単位から現在変換単位が決定され、現在変換単位の幅または高さが２^ｎに該当しない場合、復号部１２０は、現在符号化単位に含まれる変換係数を逆変換することができる。復号部１２０は、現在変換単位を含む符号化単位の幅または高さが２^ｎに該当しない場合には、符号化単位の親符号化単位を基準に変換係数を逆変換することができる。

一実施形態において、復号部１２０は、現在変換単位の幅または高さが２^ｎに該当しない場合、現在変換単位を含む現在符号化単位の予測モードを、逆変換が必要ではない予測モードに決定することができる。例えば、現在符号化単位の予測モードをスキップ（skip）モード、マージスキップ（merge skip）モードまたはアフィンスキップ（affine skip）モードに決定することができる。復号部１２０は、現在変換単位の幅または高さが２^ｎに該当しない場合、現在符号化単位の予測モード情報をビットストリームから獲得せず、現在符号化単位の予測モードをスキップモード、マージスキップモードまたはアフィンスキップモードに決定することができる。現在変換単位を含む現在符号化単位の予測モードを逆変換が必要ではない予測モードに決定することは、符号化単位を基準に逆変換が行われる場合に有用でもある。すなわち、再帰的分割過程を介して決定された現在符号化単位の幅または高さが２^ｎに該当しない場合、復号部１２０は、現在符号化単位の予測モードを逆変換が必要ではない予測モードに決定することができる。

また、一実施形態において、復号部１２０は、現在変換単位の幅または高さが２^ｎに該当しない場合、現在変換単位につき、逆変換が必要ではないと決定することができる。復号部１２０は、現在変換単位の逆変換の必要いかんを示す情報（例えば、transform skip flag）をビットストリームから獲得せず、現在変換単位に係わる逆変換が必要ではないと決定することができる。その場合、ビットストリームには、量子化されたレジデュアルデータが含まれ、復号部１２０は、量子化されたレジデュアルデータを逆量子化し、空間領域のレジデュアルデータを獲得することができる。

また、一実施形態において、復号部１２０は、現在変換単位の幅または高さが２^ｎに該当しない場合、現在変換単位に含まれる変換係数の値を０に決定することができる。復号部１２０は、０ではない変換係数が現在変換単位に含まれているか否かということを示す情報（例えば、ｔｕ＿ｃｂｆ）をビットストリームから獲得せず、現在変換単位に含まれた変換係数の値がいずれも０であると決定することができる。

また、一実施形態において、復号部１２０は、現在変換単位の幅または高さが２^ｎに該当しない場合、現在変換単位の変換係数をビットストリームから獲得されるＤＣ値に決定することができる。該ＤＣ値は、現在変換単位に含まれる変換係数の平均値でもある。復号部１２０は、現在変換単位に対して逆変換を行わず、現在変換単位の変換係数の値を、ビットストリームから獲得されるＤＣ値に決定することができる。

また、一実施形態において、図２１に図示されているように、復号部１２０は、現在符号化単位２１００の幅（３ｘ２^ｂ）または高さ（２^ａ）が２^ｎに該当しない場合、チャイルド符号化単位の幅及び高さが２^ｎに該当するように、現在符号化単位を分割することができる。該チャイルド符号化単位の幅及び高さが２^ｎに該当することにより、該チャイルド符号化単位から決定される変換単位の幅及び高さも、２^ｎにも該当する。

また、一実施形態において、図２２に図示されているように、復号部１２０は、現在符号化単位２２００の幅（３ｘ２^ｂ）または高さ（２^ａ）が２^ｎに該当しない場合、幅及び高さが２^ｎに該当する変換単位を、現在符号化単位から決定することもできる。

前述の多様な実施形態は、映像復号装置１００が遂行する映像復号方法と係わる動作について説明したものである。以下においては、そのような映像復号方法に対して逆順の過程に該当する映像符号化方法を遂行する映像符号化装置２００の動作について、多様な実施形態を介して説明することにする。

図２は、一実施形態により、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、映像を符号化することができる映像符号化装置２００のブロック図を図示する。

映像符号化装置２００は、符号化部２２０及びビットストリーム生成部２１０を含んでもよい。符号化部２２０は、入力映像を受信し、入力映像を符号化することができる。符号化部２２０は、入力映像を符号化し、少なくとも１つのシンタックスエレメントを獲得することができる。該シンタックスエレメントは、skip flag、prediction mode、motion vector difference、motion vector prediction method（または、index）、transform quantized coefficient、coded block pattern、coded block flag、intra prediction mode、direct flag、merge flag、delta ＱＰ、reference index、prediction direction、transform Index、dual tree flagのうち少なくとも一つを含んでもよい。符号化部２２０は、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを含むブロック形態情報に基づき、コンテクストモデルを決定することができる。

ビットストリーム生成部２１０は、符号化された入力映像に基づき、ビットストリームを生成することができる。例えば、ビットストリーム生成部２１０は、コンテクストモデルに基づき、シンタックスエレメントをエントロピー符号化することにより、ビットストリームを生成することができる。また、映像符号化装置２００は、ビットストリームを、映像復号装置１００に伝送することができる。

一実施形態により、映像符号化装置２００の符号化部２２０は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、あるいは非正方形状を有することができ、そのような形態を示す情報は、ブロック形態情報に含まれてもよい。

一実施形態により、符号化部２２０は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部２２０は、符号化単位に含まれる少なくとも１つの符号化単位の形態を決定することができ、ビットストリーム生成部２１０は、そのような符号化単位の形態に係わる情報を含む分割形態モード情報を含むビットストリームを生成することができる。符号化部２２０は、符号化単位のデュアルツリー分割が行われるか否かということを決定し、ビットストリーム生成部２１０は、当該情報を含むビットストリームを生成することができる。

一実施形態により、符号化部２２０は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部２２０が、符号化単位に１つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部２１０は、符号化単位が分割されないことを示す分割形態モード情報を含むビットストリームを生成することができる。また、符号化部２２０が、符号化単位を、複数個の符号化単位に分割すると決定した場合、ビットストリーム生成部２１０は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態モード情報を含むビットストリームを生成することができる。

一実施形態により、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が、分割形態モード情報に含まれてもよい。例えば、該分割形態モード情報は、垂直方向及び水平方向のうち少なくとも１つの方向に分割することを示すか、あるいは分割しないということを示すことができる。

符号化部２２０の映像分割過程は、図３ないし図２２を参照して説明した映像復号装置１００の映像分割過程に対応するので、詳細な説明は、省略する。ただし、ビットストリーム生成部２１０は、符号化単位の分割形態が、分割規則により、所定分割形態に制限されるか、符号化単位の分割が許容されないか、あるいは符号化単位の分割形態が所定分割形態以外の分割形態だけに許容される場合、それと係わる情報を、ビットストリームに含めないのである。例えば、符号化単位の分割形態が水平分割に制限される場合、水平方向または垂直方向を示す分割方向情報は、ビットストリームに含めないのである。また、符号化単位の分割形態がバイナリー分割に制限される場合、バイナリー分割またはターナリー分割を示す分割タイプ情報は、ビットストリームに含めないのである。また、符号化単位の分割が許容されない場合、符号化単位の分割いかんを示す情報は、ビットストリームに含めないのである。すなわち、符号化単位の分割形態が、映像復号装置１００及び映像符号化装置２００に既定分割規則による場合、分割規則による分割形態モードを決定するために、必要な情報は、ビットストリームに含めないのである。

また、一実施形態において、ビットストリーム生成部２１０は、符号化単位の予測モードが、既定の規則により、所定予測モードに制限される場合、符号化単位の予測モードを示す情報をビットストリームに含めないのである。例えば、符号化単位の予測モードが、変換係数の逆変換を制限するモード（例えば、スキップモード、マージスキップモードまたはアフィンスキップモード）に決定される場合、現在変換単位の逆変換の必要いかんを示す情報（例えば、transform skip flag）は、ビットストリームに含めないのである。

また、一実施形態において、現在変換単位の幅または高さが２^ｎに該当しない場合、０ではない変換係数が現在変換単位に含まれているか否かということを示す情報（例えば、ｔｕ＿ｃｂｆ）は、ビットストリームに含めないのである。

また、一実施形態において、現在変換単位の幅または高さが２^ｎに該当しない場合、ビットストリーム生成部２１０は、現在変換単位の変換係数の平均値をビットストリームに含めないのである。

符号化部２２０は、符号化単位の分割形態モードに基づき、分割形態モードに係わる情を決定する。符号化部２２０は、符号化単位の形態、方向、幅及び高さの比率または大
きさのうち少なくとも一つに基づき、コンテクストモデルを決定する。そして、ビットストリーム生成部２１０は、該コンテクストモデルに基づき、符号化単位を分割するための分割形態モードに係わる情報をビットストリームに生成する。

符号化部２２０は、コンテクストモデルを決定するために、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つと、コンテクストモデルに係わるインデックスとを対応させるための配列を獲得することができる。符号化部２２０は、該配列において、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つに基づき、コンテクストモデルに係わるインデックスを獲得することができる。符号化部２２０は、該コンテクストモデルに対するインデックスに基づき、コンテクストモデルを決定することができる。

符号化部２２０は、コンテクストモデルを決定するために、符号化単位に隣接した周辺符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを含むブロック形態情報にさらに基づき、コンテクストモデルを決定することができる。また、該周辺符号化単位は、符号化単位の左下側、左側、左上側、上側、右上側、右側または右下側に位置した符号化単位のうち少なくとも一つを含んでもよい。

また、符号化部２２０は、コンテクストモデルを決定するために、上側周辺符号化単位の幅長と、符号化単位の幅長を比較することができる。また、符号化部２２０は、左側及び右側の周辺符号化単位の高さの高さと、符号化単位の高さの高さとを比較することができる。また、映像符号化装置２００は、該比較結果に基づき、コンテクストモデルを決定することができる。

映像符号化装置２００の動作は、図３ないし図２２で説明したビデオ復号装置１００の動作と類似した内容を含んでいるので、詳細な説明は、省略する。

図２３は、一実施形態による映像復号方法について説明するための順序図である。

Ｓ２３１０段階において、映像復号装置１００は、映像から分割された第１カラー成分の第１符号化ブロック、及び第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する。前記第１カラー成分は、ルマでもあり、第２カラー成分は、クロマでもある。前述のように、ルマ符号化ブロック及びクロマ符号化ブロックは、符号化単位に含まれてもよい。カラーフォーマットにより、Ｙ：Ｃｂ：Ｃｒ比率が、４：２：０であるならば、クロマ符号化ブロックの大きさは、ルマ符号化ブロックの大きさの半分でもある。

Ｓ２３２０段階において、映像復号装置１００は、第１符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、第１符号化ブロックに係わる第１分割形態モード情報、及び第２符号化ブロックに係わる第２分割形態モード情報を獲得する。該第１分割形態モード情報及び該第２分割形態モード情報は、分割いかんを示す情報、クアッド分割いかんを示す情報、分割タイプを示す情報、及び分割方向を示す情報のうち少なくとも一つを含んでもよい。

Ｓ２３３０段階において、映像復号装置１００は、第１分割形態モード情報に基づき、第１符号化ブロックの分割モードを決定し、第２分割形態モード情報に基づき、第２符号化ブロックの分割モードを決定する。該分割モードは、分割せず、クアッド分割、バイナリー垂直分割、バイナリー水平分割、ターナリー垂直分割またはターナリー水平分割を含んでもよい。前述のように、ブロック形態、親符号化ブロックの分割モード、及びチャイルド符号化ブロックのブロック形態のうち少なくとも一つにより、第１符号化ブロック及び第２符号化ブロックの分割モードが制限されうる。

Ｓ２３４０段階において、映像復号装置１００は、第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する。第１カラー成分の符号化ブロックの大きさは、第１符号化ブロックの大きさと同じであるか、あるいはそれよりもさらに小さくもあり、第２カラー成分の符号化ブロックの大きさは、第２符号化ブロックの大きさと同じでもあるか、あるいはそれよりもさらに小さくもある。

映像復号装置１００は、ビットストリームから獲得された予測モード情報により、第１カラー成分の符号化ブロック、及び第２カラー成分の符号化ブロックの予測データを生成することができる。そして、映像復号装置１００は、ビットストリームから獲得されるレジデュアルデータを逆変換及び逆量子化した後、予測データに加え、第１カラー成分の符号化ブロック、及び第２カラー成分の符号化ブロックを復号することができる。該予測モードにより、前記レジデュアルデータは、ビットストリームに含まれもせず、その場合、該予測データに基づき、第１カラー成分の符号化ブロック、及び第２カラー成分の符号化ブロックが復号されうる。

一実施形態において、映像復号装置１００は、第１カラー成分の符号化ブロック、及び第２カラー成分の符号化ブロックを、ビットストリームから獲得される分割形態モード情報に基づき、独立的及び階層的に分割することができる。

一実施形態において、図２３に図示されたＳ２３２０ないしＳ２３４０は、第１符号化ブロックの深度が、所定深度以上である場合にも遂行される。

また、映像復号装置１００は、第１符号化ブロックの大きさが、所定サイズより大きい（あるいは、深度が所定深度未満である）ものであるならば、第１符号化ブロック及び第２符号化ブロックを、既定の分割モードにより、同一に分割することができる。

図２４は、一実施形態による映像符号化方法について説明するための順序図である。

Ｓ２４１０段階において、映像符号化装置２００は、映像から分割された第１カラー成分の第１符号化ブロック、及び第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する。前記第１カラー成分は、ルマでもあり、第２カラー成分は、クロマでもある。

Ｓ２４２０段階において、映像符号化装置２００は、第１符号化ブロックの大きさが所定サイズ以下であるならば、第１符号化ブロックの第１分割モード、及び第２符号化ブロックの第２分割モードを決定する。映像符号化装置２００は、第１分割モード及び第２分割モードを独立して決定することができる。

Ｓ２４３０段階において、映像符号化装置２００は、第１分割モードに基づき、第１符号化ブロックから決定された第１カラー成分の符号化ブロック、及び第２分割モードに基づき、第２符号化ブロックから決定された第２カラー成分の符号化ブロックを符号化する。

映像符号化装置２００は、第１カラー成分の符号化ブロック、及び第２カラー成分の符号化ブロックの予測モードを決定し、該予測モードにより、予測データを生成することができる。そして、映像符号化装置１００は、第１カラー成分の符号化ブロック、及び第２カラー成分の符号化ブロックのサンプル値と予測データとのレジデュアルデータを決定し、該レジデュアルデータを変換及び量子化することができる。量子化された変換係数と係わる情報は、エントロピー符号化され、ビットストリームに含まれてもよい。

Ｓ２４４０段階において、映像符号化装置１００は、第１符号化ブロックに係わる第１分割形態モード情報、及び第２符号化ブロックに係わる第２分割形態モード情報を含むビットストリームを生成する。

一実施形態において、図２４に図示されたＳ２４２０ないしＳ２４４０は、第１符号化
ブロックの深度が所定深度以上である場合にも遂行される。

また、映像符号化装置１００は、第１符号化ブロックの大きさが、所定サイズより大きければ（あるいは、深度が所定深度以下であるなば）、既定の分割モードにより、第１符号化ブロックと第２符号化ブロックとを同一に分割することができる。

なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。

該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体；ＣＤ－ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；並びにＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通させたりするサイト、サーバなどで管理する記録媒体あるいは記録媒体も挙げることができる。

以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野で当業者により、さまざまな変形及び変更が可能である。

以下に出願当初の特許請求の範囲の内容を実施例として記載しておく。
［実施例１］
映像の復号方法において、
映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する段階と、
前記第１符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、前記第１符号化ブロックに係わる第１分割形態モード情報、及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得する段階と、
前記第１分割形態モード情報に基づき、前記第１符号化ブロックの分割モードを決定し、前記第２分割形態モード情報に基づき、前記第２符号化ブロックの分割モードを決定する段階と、
前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、を含むことを特徴とする映像の復号方法。
［実施例２］
前記映像の復号方法は、
前記第１符号化ブロックの大きさが、所定サイズより大きければ、前記第１符号化ブロック及び前記第２符号化ブロックの分割モードを、既定の分割モードに決定する段階と、
前記既定の分割モードにより、前記第１符号化ブロックから決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックから決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、をさらに含むことを特徴とする実施例１に記載の映像の復号方法。
［実施例３］
前記映像の復号方法は、
前記既定の分割モードにより、前記第１符号化ブロックから決定された第１カラー成分の符号化ブロックの大きさが、前記所定サイズ以下であるならば、前記第１カラー成分の符号化ブロック、及びそれに対応する第２カラー成分の符号化ブロックの分割モードを、前記ビットストリームから獲得される第１分割形態モード情報及び第２分割形態モード情報に基づき、独立して決定する段階をさらに含むことを特徴とする実施例２に記載の映像の復号方法。
［実施例４］
前記第２符号化ブロックは、再帰的に分割されるものの、
第２符号化ブロックが再帰的に分割されることによって決定される前記第２カラー成分の符号化ブロックのチャイルド符号化ブロックの大きさが最小サイズ以下であるならば、前記第２カラー成分の符号化ブロックの分割は、許容されないことを特徴とする実施例１に記載の映像の復号方法。
［実施例５］
前記第１符号化ブロックの許容可能な最大深度は、前記第２符号化ブロックの許容可能な最大深度より高いことを特徴とする実施例１に記載の映像の復号方法。
［実施例６］
前記映像の復号方法は、
前記第１符号化ブロックの分割モードを考慮し、前記第１符号化ブロックから決定された前記第１カラー成分の符号化ブロックの分割モードを決定する段階をさらに含むことを特徴とする実施例１に記載の映像の復号方法。
［実施例７］
前記映像の復号方法は、
前記第１符号化ブロックから決定された前記第１カラー成分の符号化ブロックのブロック形態、及び前記第１カラー成分の符号化ブロックから決定されうるチャイルド符号化ブロックのブロック形態のうち少なくとも一つに基づき、前記第１カラー成分の符号化ブロックについて許容可能な分割モードを決定する段階と、
前記許容可能な分割モード、及び前記第１カラー成分の符号化ブロックについて許容されない分割モードを区分するのに必要な情報を、前記ビットストリームからパージングしない段階と、をさらに含むことを特徴とする実施例１に記載の映像の復号方法。
［実施例８］
前記第１符号化ブロックから決定された前記第１カラー成分の符号化ブロックが、第１符号化ブロックからターナリー分割された符号化ブロックのうち、所定位置の符号化ブロックに該当する場合、前記第１カラー成分の符号化ブロックの分割は、許容されないことを特徴とする実施例１に記載の映像の復号方法。
［実施例９］
前記映像の復号方法は、
前記第１カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が、２^ｎ（ｎは、整数である）に対応しない場合、幅または幅が２^ｎに対応する符号化ブロックの変換係数を逆変換する段階をさらに含むことを特徴とする実施例１に記載の映像の復号方法。
［実施例１０］
前記映像の復号方法は、
前記第１カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が、２^ｎに対応しない場合、前記第１カラー成分の符号化ブロックの予測モードを、逆変換が不要な予測モードに決定する段階をさらに含むことを特徴とする実施例１に記載の映像の復号方法。
［実施例１１］
前記映像の復号方法は、
前記第１カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が、２^ｎに対応しない場合、前記変換ブロックの変換係数を０に決定するか、あるいは前記ビットストリームから獲得されるＤＣ値に決定する段階をさらに含むことを特徴とする実施例１に記載の映像の復号方法。
［実施例１２］
前記第１カラー成分の符号化ブロックの幅または幅が、２^ｎに対応しない場合、前記第１カラー成分の符号化ブロックは、幅及び幅が２^ｎに対応する少なくとも１つの符号化ブロックに分割されることを特徴とする実施例１に記載の映像の復号方法。
［実施例１３］
映像の復号装置において、
前記映像の符号化結果を含むビットストリームを獲得するビットストリーム獲得部と、
前記映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定し、前記第１符号化ブロックの大きさが所定サイズ以下であるならば、前記ビットストリームから、前記第１符号化ブロックに係わる第１分割形態モード情報、及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得し、前記第１分割形態モード情報に基づき、前記第１符号化ブロックの分割モードを決定し、前記第２分割形態モード情報に基づき、前記第２符号化ブロックの分割モードを決定し、前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する復号部と、を含むことを特徴とする映像の復号装置。
［実施例１４］
映像の符号化方法において、
映像から分割された第１カラー成分の第１符号化ブロック、及び前記第１符号化ブロックに対応する第２カラー成分の第２符号化ブロックを決定する段階と、
前記第１符号化ブロックの大きさが所定サイズ以下であるならば、前記第１符号化ブロックに係わる第１分割モード、及び前記第２符号化ブロックに係わる第２分割形態モードを決定する段階と、
前記第１符号化ブロックの分割モードに基づいて決定された第１カラー成分の符号化ブロック、及び前記第２符号化ブロックの分割モードに基づいて決定された第２カラー成分の符号化ブロックを符号化する段階と、
前記第１分割モードを示す第１分割形態モード情報、及び前記第２分割モードを示す第２分割形態モード情報を含むビットストリームを生成する段階と、を含むことを特徴とする映像の符号化方法。
［実施例１５］
実施例１に記載の映像復号方法を実行するためのプログラムを保存するコンピュータで読み取り可能な記録媒体。

Claims (2)

1. 映像の復号方法において、
   第１カラー成分の第１符号化ブロックと第２カラー成分の第２符号化ブロックのうち、前記第１符号化ブロックの大きさが所定の大きさより大きければ、前記第１符号化ブロックと前記第２符号化ブロックとを第１分割モードによって分割する段階と、
   前記第１符号化ブロックの大きさが前記所定の大きさ以下であれば、ビットストリームから前記第１符号化ブロックに係わる第１分割形態モード情報及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得する段階と、
   前記第１分割形態モード情報から確認された第２分割モードによって前記第１符号化ブロックを分割する段階と、
   前記第２分割形態モード情報から確認された第３分割モードによって前記第２符号化ブロックを分割する段階と、
   前記第１符号化ブロックの分割結果として獲得された第３符号化ブロックと、前記第２符号化ブロックの分割結果として獲得された第４符号化ブロックとを復号する段階と、を含むことを特徴とする映像の復号方法。
2. 映像の復号装置において、
   前記映像の符号化結果を含むビットストリームを獲得するビットストリーム獲得部と、
   第１カラー成分の第１符号化ブロックと第２カラー成分の第２符号化ブロックのうち、前記第１符号化ブロックの大きさが所定の大きさよりも大きければ、前記第１符号化ブロックと前記第２符号化ブロックとを第１分割モードによって分割し、前記第１符号化ブロックの大きさが前記所定の大きさ以下であれば、前記ビットストリームから前記第１符号化ブロックに係わる第１分割形態モード情報及び前記第２符号化ブロックに係わる第２分割形態モード情報を獲得し、前記第１分割形態モード情報から確認された第２分割モードによって前記第１符号化ブロックを分割し、前記第２分割形態モード情報から確認された第３分割モードによって前記第２符号化ブロックを分割し、前記第１符号化ブロックの分割結果として獲得された第３符号化ブロックと前記第２符号化ブロックの分割結果として獲得された第４符号化ブロックとを復号する復号部と、を含むことを特徴とする映像の復号装置。

Images